Python网络爬虫权威指南（第2版）
神烦小宝 译
出版时间：2019年04月
页数：241
作为一种采集和理解网络上海量信息的方式，网页抓取技术变得越来越重要。而编写简单的自动化程序（网络爬虫），一次就可以自动抓取上百万个网页中的信息，实现高效的数据采集和处理，满足大量数据需求应用场景。
本书采用简洁强大的Python语言，全面介绍网页抓取技术，解答诸多常见问题和误解，是掌握从数据爬取到数据清洗全流程的系统实践指南。书中内容分为两部分。第一部分深入讲解网页抓取的基础知识，重点介绍BeautifulSoup、Scrapy等Python库的应用。第二部分介绍网络爬虫编写相关的主题，以及各种数据抓取工具和应用程序，帮你深入互联网的每个角落，分析原始数据，获取数据背后的故事，轻松解决遇到的各类网页抓取问题。第2版全面更新，新增网络爬虫模型、Scrapy和并行网页抓取相关章节。
● 解析复杂的HTML页面
● 使用Scrapy框架开发爬虫
● 学习存储数据的方法
● 从文档中读取和提取数据
● 清洗格式糟糕的数据
● 自然语言处理
● 通过表单和登录窗口抓取数据
● 抓取JavaScript及利用API抓取数据
● 图像识别与文字处理
● 避免抓取陷阱和反爬虫策略
● 使用爬虫测试网站
本书采用简洁强大的Python语言，全面介绍网页抓取技术，解答诸多常见问题和误解，是掌握从数据爬取到数据清洗全流程的系统实践指南。书中内容分为两部分。第一部分深入讲解网页抓取的基础知识，重点介绍BeautifulSoup、Scrapy等Python库的应用。第二部分介绍网络爬虫编写相关的主题，以及各种数据抓取工具和应用程序，帮你深入互联网的每个角落，分析原始数据，获取数据背后的故事，轻松解决遇到的各类网页抓取问题。第2版全面更新，新增网络爬虫模型、Scrapy和并行网页抓取相关章节。
● 解析复杂的HTML页面
● 使用Scrapy框架开发爬虫
● 学习存储数据的方法
● 从文档中读取和提取数据
● 清洗格式糟糕的数据
● 自然语言处理
● 通过表单和登录窗口抓取数据
● 抓取JavaScript及利用API抓取数据
● 图像识别与文字处理
● 避免抓取陷阱和反爬虫策略
● 使用爬虫测试网站
- 前言
- 第一部分 创建爬虫
- 第1章 初见网络爬虫
- 1.1 网络连接
- 1.2 BeautifulSoup简介
- 1.2.1 安装BeautifulSoup
- 1.2.2 运行BeautifulSoup
- 1.2.3 可靠的网络连接以及异常的处理
- 第2章 复杂HTML解析
- 2.1 不是一直都要用锤子
- 2.2 再端一碗BeautifulSoup
- 2.2.1 BeautifulSoup的find()和find_all()
- 2.2.2 其他BeautifulSoup对象
- 2.2.3 导航树
- 2.3 正则表达式
- 2.4 正则表达式和BeautifulSoup
- 2.5 获取属性
- 2.6 Lambda表达式
- 第3章 编写网络爬虫
- 3.1 遍历单个域名
- 3.2 抓取整个网站
- 3.3 在互联网上抓取
- 第4章 网络爬虫模型
- 4.1 规划和定义对象
- 4.2 处理不同的网站布局
- 4.3 结构化爬虫
- 4.3.1 通过搜索抓取网站
- 4.3.2 通过链接抓取网站
- 4.3.3 抓取多种类型的页面
- 4.4 关于网络爬虫模型的思考
- 第5章 Scrapy
- 5.1 安装Scrapy
- 5.2 创建一个简易爬虫
- 5.3 带规则的抓取
- 5.4 创建item
- 5.5 输出item
- 5.6 item管线组件
- 5.7 Scrapy日志管理
- 5.8 更多资源
- 第6章 存储数据
- 6.1 媒体文件
- 6.2 把数据存储到CSV
- 6.3 MySQL
- 6.3.1 安装MySQL
- 6.3.2 基本命令
- 6.3.3 与Python整合
- 6.3.4 数据库技术与最佳实践
- 6.3.5 MySQL里的“六度空间游戏”
- 6.4 Email
- 第二部分 高级网页抓取
- 第7章 读取文档
- 7.1 文档编码
- 7.2 纯文本
- 7.3 CSV
- 7.4 PDF
- 7.5 微软Word和.docx
- 第8章 数据清洗
- 8.1 编写代码清洗数据
- 8.2 数据存储后再清洗
- 第9章 自然语言处理
- 9.1 概括数据
- 9.2 马尔可夫模型
- 9.3 自然语言工具包
- 9.3.1 安装与设置
- 9.3.2 用NLTK做统计分析
- 9.3.3 用NLTK做词性分析
- 9.4 其他资源
- 第10章 穿越网页表单与登录窗口进行抓取
- 10.1 Python Requests库
- 10.2 提交一个基本表单
- 10.3 单选按钮、复选框和其他输入
- 10.4 提交文件和图像
- 10.5 处理登录和cookie
- 10.6 其他表单问题
- 第11章 抓取JavaScript
- 11.1 JavaScript简介
- 11.2 Ajax和动态HTML
- 11.2.1 在Python中用Selenium执行JavaScript
- 11.2.2 Selenium的其他webdriver
- 11.3 处理重定向
- 11.4 关于JavaScript的最后提醒
- 第12章 利用API抓取数据
- 12.1 API概述
- 12.1.1 HTTP方法和API
- 12.1.2 更多关于API响应的介绍
- 12.2 解析JSON 数据
- 12.3 无文档的API
- 12.3.1 查找无文档的API
- 12.3.2 记录未被记录的API
- 12.3.3 自动查找和记录API
- 12.4 API与其他数据源结合
- 12.5 再说一点API
- 第13章 图像识别与文字处理
- 13.1 OCR库概述
- 13.1.1 Pillow
- 13.1.2 Tesseract
- 13.1.3 NumPy
- 13.2 处理格式规范的文字
- 13.2.1 自动调整图像
- 13.2.2 从网站图片中抓取文字
- 13.3 读取验证码与训练Tesseract
- 13.4 获取验证码并提交答案
- 第14章 避开抓取陷阱
- 14.1 道德规范
- 14.2 让网络机器人看着像人类用户
- 14.2.1 修改请求头
- 14.2.2 用JavaScript处理cookie
- 14.2.3 时间就是一切
- 14.3 常见表单安全措施
- 14.3.1 隐含输入字段值
- 14.3.2 避免蜜罐
- 14.4 问题检查表
- 第15章 用爬虫测试网站
- 15.1 测试简介
- 15.2 Python单元测试
- 15.3 Selenium单元测试
- 15.4 单元测试与Selenium单元测试的选择
- 第16章 并行网页抓取
- 16.1 进程与线程
- 16.2 多线程抓取
- 16.2.1 竞争条件与队列
- 16.2.2 threading模块
- 16.3 多进程抓取
- 16.3.1 多进程抓取
- 16.3.2 进程间通信
- 16.4 多进程抓取的另一种方法
- 第17章 远程抓取
- 17.1 为什么要用远程服务器
- 17.1.1 避免IP地址被封杀
- 17.1.2 移植性与扩展性
- 17.2 Tor代理服务器
- 17.3 远程主机
- 17.3.1 从网站主机运行
- 17.3.2 从云主机运行
- 17.4 其他资源
- 第18章 网页抓取的法律与道德约束
- 18.1 商标、版权、专利
- 18.2 侵害动产
- 18.3 计算机欺诈与滥用法
- 18.4 robots.txt和服务协议
- 18.5 3个网络爬虫
- 18.5.1 eBay起诉Bidder’s Edge侵害其动产
- 18.5.2 美国政府起诉Auernheimer与《计算机欺诈与滥用法》
- 18.5.3 Field起诉Google：版权和robots.txt
- 18.6 勇往直前
书名：Python网络爬虫权威指南（第2版）
作者：Ryan Mitchell 著
译者：神烦小宝 译
国内出版社：人民邮电出版社
出版时间：2019年04月
页数：241
书号：978-7-115-50926-0
原版书书名：Web Scraping with Python, 2nd Edition
原版书出版商：O'Reilly Media
购买选项
|
© 2024，奥莱利技术咨询(北京)有限公司。版权所有。 传真: +86-10-88097463 京ICP备05003502号 |
|