月份：2021年11月

xpath解析案例-全国城市名称爬取

– xpath解析原理：
– 1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
– 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。……

阅读更多

xpath解析案例-4k图片解析爬取

– xpath解析原理：
– 1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
– 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。……

阅读更多

 

xpath解析基础-二手房案例

– xpath解析原理：
– 1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
– 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。……

阅读更多

bs4解析基础案例

bs4进行数据解析
– 数据解析的原理：
– 1.标签定位
– 2.提取标签、标签属性中存储的数据值
– bs4数据解析的原理：
– 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
– 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取……

阅读更多

正则解析-分页爬取

爬虫解析数据的方法有很多种，我们需要根据不同的格式选择相应的解析方法。
其中，正则表达式是相对通用的一种方法。……

阅读更多

 

数据解析概述

聚焦爬虫:爬取页面中指定的页面内容。
– 编码流程：
– 指定url
– 发起请求
– 获取响应数据
– 数据解析
– 持久化存储……

阅读更多

python gui神器Gooey替代tkinter

GUI是一个人机交互的界面，换句话说，它是人类与计算机交互的一种方法。GUI主要使用窗口，图标和菜单，也可以通过鼠标和键盘进行操作。

GUI库包含部件。部件是一系列图形控制元素的集合。在构建GUI程序时，通常使用层叠方式。众多图形控制元素直接叠加起来。

当使用python编写应用程序时，你就必须使用GUI库来完成。对于Python GUI库，你可以有很多的选择。

之前我用的最多的是 Tkinter ，这个 GUI 库比较灵活，可以做出比较复杂的界面。但是在页面布局和控件使用上比较复杂，想画出一个好看的界面还是要花很多功夫的。

今天给大家介绍一个 GUI 库 —— Gooey ，一行代码就可以快速生成 GUI 应用程序。……

阅读更多

 

requests实战之药监总局相关数据爬取

需要的打开抓取工具，并选到XHR，再次点击进行抓包，通过查看抓到的Headers能知道URL是：http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword；是一个POST请求，有五个参数，返回数据类型是text，知道这些之后不难写出如下代码。……

阅读更多

requests实战之豆瓣电影爬取

爬虫的基本原理——通用框架

1.挑选种子URL；

2.讲这些URL放入带抓取的URL列队；

3.取出带抓取的URL，下载并存储进已下载网页库中。此外，讲这些URL放入带抓取URL列队，进入下一循环。

4.分析已抓取列队中的URL，并且将URL放入带抓取URL列队，从而进去下一循环。……

阅读更多