xpath解析案例-全国城市名称爬取

– xpath解析原理:
– 1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中。
– 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。……

阅读更多

xpath解析案例-4k图片解析爬取

– xpath解析原理:
– 1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中。
– 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。……

阅读更多

   
 
 

xpath解析基础-二手房案例

– xpath解析原理:
– 1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中。
– 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。……

阅读更多

bs4解析基础案例

bs4进行数据解析
– 数据解析的原理:
– 1.标签定位
– 2.提取标签、标签属性中存储的数据值
– bs4数据解析的原理:
– 1.实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中
– 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取……

阅读更多

正则解析-分页爬取

爬虫解析数据的方法有很多种,我们需要根据不同的格式选择相应的解析方法。
其中,正则表达式是相对通用的一种方法。……

阅读更多

   
 
 

数据解析概述

聚焦爬虫:爬取页面中指定的页面内容。
– 编码流程:
– 指定url
– 发起请求
– 获取响应数据
– 数据解析
– 持久化存储……

阅读更多

python gui神器Gooey替代tkinter

GUI是一个人机交互的界面,换句话说,它是人类与计算机交互的一种方法。GUI主要使用窗口,图标和菜单,也可以通过鼠标和键盘进行操作。

GUI库包含部件。部件是一系列图形控制元素的集合。在构建GUI程序时,通常使用层叠方式。众多图形控制元素直接叠加起来。

当使用python编写应用程序时,你就必须使用GUI库来完成。对于Python GUI库,你可以有很多的选择。

之前我用的最多的是 Tkinter ,这个 GUI 库比较灵活,可以做出比较复杂的界面。但是在页面布局和控件使用上比较复杂,想画出一个好看的界面还是要花很多功夫的。

今天给大家介绍一个 GUI 库 —— Gooey ,一行代码就可以快速生成 GUI 应用程序。……

阅读更多

   
 
 

requests实战之药监总局相关数据爬取

需要的打开抓取工具,并选到XHR,再次点击进行抓包,通过查看抓到的Headers能知道URL是:http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword;是一个POST请求,有五个参数,返回数据类型是text,知道这些之后不难写出如下代码。……

阅读更多

requests实战之豆瓣电影爬取

爬虫的基本原理——通用框架

1.挑选种子URL;

2.讲这些URL放入带抓取的URL列队;

3.取出带抓取的URL,下载并存储进已下载网页库中。此外,讲这些URL放入带抓取URL列队,进入下一循环。

4.分析已抓取列队中的URL,并且将URL放入带抓取URL列队,从而进去下一循环。……

阅读更多