课程大纲：

章节 一 初识爬虫

[视频] 1.1-爬虫产生背景 10分

[视频] 1.2-什么是网络爬虫 5分

[视频] 1.3-爬虫的用途 7分

[视频] 1.4-爬虫分类 13分

章节 二 爬虫的实现原理和技术

[视频] 2.1-通用爬虫的工作原理（课程工具与源码下载） 7分

[视频] 2.2-聚焦爬虫工作流程 9分

[视频] 2.3-通用爬虫抓取网页的详细流程 11分

[视频] 2.4-通用爬虫网页分类 5分

[视频] 2.5-robots.txt文件 4分

[视频] 2.6-sitemap.xml文件 4分

[视频] 2.7-反爬应对策略 10分

[视频] 2.8-为什么选择Python作为爬虫开发语言 9分

章节 三 网页请求原理

[视频] 3.1_浏览网页的过程 4分

[视频] 3.2_统一资源定位符URL 6分

[视频] 3.3_计算机域名系统DNS 7分

[视频] 3.4_浏览器显示完整页面的过程 6分

[视频] 3.5_Fiddler工作原理_备份 3分

[视频] 3.5_客户端HTTP请求的格式 10分

[视频] 3.6_服务端HTTP响应格式 6分

[视频] 3.7_Fillder代理服务的工作原理 4分

[视频] 3.8_fidder的下载与安装 4分

[视频] 3.9_Fiddle界面详解 15分

[视频] 3.10_Fiddler_https配置 4分

[视频] 3.11_使用Fiddler捕获Chrome的会话 5分

章节 四 抓取网页数据

[视频] 4.1_什么是urllib库 2分

[视频] 4.2_快速抓取一个网页 8分

[视频] 4.3_分析urlopen方法 12分

[视频] 4.4_HTTPResponse对象的使用 6分

[视频] 4.5_构造Request对象 12分

[视频] 4.6_URL编码转换 6分

[视频] 4.7_处理GET请求 9分

[视频] 4.8_处理POST请求 10分

[视频] 4.9_添加特定Headers—请求伪装 8分

[视频] 4.10_简单的自定义opener 9分

[视频] 4.11_设置代理服务器 22分

[视频] 4.12_超时设置 5分

[视频] 4.13_URLError异常和捕获 5分

[视频] 4.14_HttpError异常和捕获 4分

[视频] 4.15_什么是requests库 8分

[视频] 4.16_requests库发送请求 14分

[视频] 4.17_requests库返回响应 12分

章节 五 数据解析

[视频] 5.1_网页数据格式 3分

[视频] 5.2_查看网页结构 4分

[视频] 5.3_数据解析技术 11分

[视频] 5.4_正则表达式 8分

[视频] 5.4_正则表达式备份 8分

[视频] 5.5_什么是Xpath 6分

[视频] 5.5_什么是Xpath备分 3分

[视频] 5.6_XPath开发工具 6分

[视频] 5.7_XPath语法 16分

[视频] 5.8_什么是lxml库 19分

[视频] 5.9_lxml的基本使用 15分

[视频] 5.10_什么是BeautifulSoup 26分

[视频] 5.11_构建BeautifulSoup对象 11分

[视频] 5.12_通过操作方法进行解读搜索 23分

[视频] 5.13_通过CSS选择器进行搜索 11分

[视频] 5.14_什么是JSON 3分

[视频] 5.15_JSON与XML语言比较 3分

[视频] 5.16_json模块介绍 3分

[视频] 5.17_json模块基本使用 18分

[视频] 5.18_jsonpath介绍 1分

[视频] 5.19_JSONPath与XPath语法对比 19分

章节 六 并发下载

[视频] 6.1_多线程爬虫流程分析 5分

[视频] 6.2_queue（队列）模块简介 20分

[视频] 6.3_Queue类简介 19分

[视频] 6.4_协程爬虫的流程分析 6分

[视频] 6.5_第三方库gevent 11分

章节 七 抓取动态内容

[视频] 7.1_动态网页介绍 6分

[视频] 7.2_selenium和PhantomJS概述 2分

[视频] 7.3_selenium_PhantomJS安装配置 11分

[视频] 7.4_入门操作 24分

[视频] 7.5_定位页面元素 28分

[视频] 7.6_鼠标动作链 26分

[视频] 7.7_填充表单 11分

[视频] 7.8_弹窗处理 5分

[视频] 7.9_弹窗处理 7分

[视频] 7.10_页面的前进和后退 3分

[视频] 7.11_获取页面Cookies 7分

[视频] 7.12_页面等待 18分

章节 八 图像识别与文字处理

[视频] 8.1_OCR技术简介 6分

[视频] 8.2_tesseract下载与安装 8分

[视频] 8.3_tesseract下载与安装 4分

[视频] 8.4_PIL库简介 15分

[视频] 8.5_读取图像中格式规范的文字 5分

[视频] 8.6_对图片进行阈值过滤和降噪处理 10分

[视频] 8.7_识别图像的中文字符 6分

[视频] 8.8_验证码分类 4分

[视频] 8.9_简单识别图形验证码 13分

章节 九 存储爬虫数据

[视频] 9.1_数据存储简介 5分

[视频] 9.2_什么是MongoDB 6分

[视频] 9.3_Windows平台安装MongoDB数据库 14分

[视频] 9.4_比较MongoDB和MySQL的术语 11分

[视频] 9.5_什么是PyMongo 3分

[视频] 9.6_PyMongo的基本操作 30分

章节 十 初识爬虫框架Scrapy

[视频] 10.1_常见爬虫框架介绍 11分

[视频] 10.2_Scrapy框架的架构 15分

[视频] 10.3_Scrapy框架的运作流程 4分

[视频] 10.4_安装Scrapy框架 7分

[视频] 10.5_新建一个Scrapy项目 8分

[视频] 10.6_明确抓取目标 8分

[视频] 10.7_制作Spiders爬取网页 27分

[视频] 10.8_永久性存储数据 6分

章节 十一 Scrapy终端与核心组件

[视频] 11.1_启用Scrapy shell 7分

[视频] 11.2_使用Scrapy shell 11分

[视频] 11.3_Spiders—抓取和提取结构化数据 37分

[视频] 11.4_自定义Item Pipeline 19分

[视频] 11.5_Downloader Middlewares—防止反爬虫 43分

[视频] 11.6_Settings—定制Scrapy组件 17分

章节 十二 自动抓取网页的爬虫CrawlSpider

[视频] 12.1_初识爬虫类CrawlSpider 15分

[视频] 12.2_CrawlSpider类的工作原理 34分

[视频] 12.3_通过Rule类决定爬取规则 28分

[视频] 12.4_通过LinkExtractor类提取链接 27分

章节 十三 Scrapy-Redis分布式爬虫

[视频] 13.1_Scrapy-Redis简介 2分

[视频] 13.2_Scrapy-Redis的完整架构 6分

[视频] 13.3_Scrapy-Redis的运作流程 4分

[视频] 13.4_Scrapy-Redis的主要组件 13分

[视频] 13.5_安装Scrapy-Redis 2分

[视频] 13.6_安装和启动Redis数据库 12分

[视频] 13.7_修改配置文件 redis.conf 11分

[视频] 13.8_分布式策略 2分

[视频] 13.9_测试Slave端远程连接Master端 6分

[视频] 13.10_创建Scrapy项目和设置Scrapy-Redis组件 12分

[视频] 13.11_明确抓取目标 2分

[视频] 13.12_制作Spider爬取网页 12分

[视频] 13.13_执行分布式爬虫 6分

[视频] 13.14_使用多个管道存储 26分

[视频] 13.15_处理Redis数据库里的数据 11分