Python Selenium库的使用

Selenium是用于浏览器测试的自动化工具,可以直接运行在浏览器中,模拟用户的各种操作。在爬虫领域的应用,主要就是模拟人的操作,打开浏览器,获取网页源码。获得网页源码之后就可以再利用BeautifulSoup、XPath等去解析和提取我们需要的数据了。……

阅读更多

Python爬虫循序渐进实例入门

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。……

阅读更多

Python 网络爬虫

爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息。
Python 爬虫架构主要由五个部分组成:
调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)。……

阅读更多