【爬虫】 - #1

2017年07月24 - 在之前已经实现了将爬取到的信息直接打印出来，但这样是远远不够的，要对数据进行进一步的处理，就要将其存放在数据库中，我的方法是先将数据调整格式后储存在本地的Excel中，然后再由Excel导入数据库。对

2014年08月12 - JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写，同时也易于机器解析和生成。写爬虫程序时发现页面很多内容都是基于json传输的，而且都是unicode编码，需要读取并转换为汉字，这可以直接使用python的json包处理python的json.dumps方法默认会输出成这种格式"\u535a\u5

求助大神！用Jsoup抓取网页只能抓取一部分繁体

2016年07月01 - 刚入手网络爬虫，抓取猫眼论坛这个网站，主页面的帖子URL，标题，作者都取到了，但是利用每个帖子的URL获取超链接里面的内容时出了问题，获取到的页面缺少很多内容，头部尾部都有，但是看中间的内容和浏览器上审查出来的代码很多不匹配，获取论坛首页的时候就没有这个问题还有就是我用Jsoup直接解析这个网站会报很多Unkown Source的错误，用原生的URL一步步解析才可以下面是主要代码

Python网络爬虫(一)：初步认识网络爬虫繁体

2017年07月05 - 不管你是因为什么原因想做一个网络爬虫，首先做的第一件事情就是要了解它。在了解网络爬虫之前一定要牢记下面4个要点，这是做网络爬虫的基础： 1.抓取 py的urllib不一定去用。可是要学。假设你还没用过的话。比較好的替代品有requests等第三方更人性化、成熟的库，假设pyer不了解各种库。那就白学了。抓取最基本就是拉网页回来。

python爬虫糗事百科繁体

2017年08月14 - #coding:utf-8import urllib2import re# 工具类class Tools(object): remove_n = re.compile(r'\n') rep

scrapy-redis案例（三）爬取中国红娘相亲网站繁体

2018年04月24 - 前言：本案例将分为三篇。第一篇，使用scrapy框架来实现爬取中国红娘相亲网站。第二篇，使用scrapy-redis 简单的方式爬取中国红娘相亲网站。（使用redis存储数据，请求具

用c+libcurl+PCRE写爬虫2--好用的正则表达式繁体

2017年04月24 - 写爬虫最重要的就是正则表达式的处理（爬出来的数据的筛选，清洗，过滤等操作）。通过一篇文章 http://blog.csdn.net/quaful/article/details/6460880 来确定使用pcre来实现c的正则表达式操作。

java爬虫案例学习繁体

2019年04月19 - 最近几天很无聊，学习了一下java的爬虫，写一些自己在做这个案例的过程中遇到的问题和一些体会1.学习目标练习爬取京东的数据，图片+价格+标题等等 2.学习过程 1·开发工具 JDK1.8 IntelliJ IDEA IDEA自带的Maven 2.使用技术 Spring

python简单文本爬虫繁体

2015年12月20 - 一.基本正则表达式re模块导入re模块：import repython通过re模块提供对正则表达式的支持。（1）常用方法：findall，search，

Python Cookbook(第3版)中文版：15.16 不确定编码格式的C字符串繁体

2018年03月10 - 15.16 不确定编码格式的C字符串¶ 问题¶ 你要在C和Python直接来回转换字符串，但是C中的编码格式并不确定。例如，可能C中的数据期望是UTF-8，但是并没有强制它