爬虫案例——模拟登录QQ空间
学了2个多月的爬虫了,终于找到一点儿好玩的东西可以写一写。
模拟登录QQ空间,完成这个的要求:
首先需要下载库selenium,这个在anaconda中是没有的,需要下载。(在这就不说怎么下载了)
其次就是下载某某浏览器的驱动程序(这个其实也好下载,就是在配置的时候容易出错,如果出错去网上搜索就能够找到好的解决方法,读者自行解决)……
学了2个多月的爬虫了,终于找到一点儿好玩的东西可以写一写。
模拟登录QQ空间,完成这个的要求:
首先需要下载库selenium,这个在anaconda中是没有的,需要下载。(在这就不说怎么下载了)
其次就是下载某某浏览器的驱动程序(这个其实也好下载,就是在配置的时候容易出错,如果出错去网上搜索就能够找到好的解决方法,读者自行解决)……
iframe 动作链是什么?
iframe 一个标签
动作链 模拟人类的拖动的操作……
一、需求分析
需求:
打开淘宝网站,在搜索框中输入商品名称,点击搜索;
打开滚轮向下滚动;……
selenium模块的基本使用
问题:selenium模块和爬虫之间具有怎样的关联?
– 便捷的获取网站中动态加载的数据
– 便捷实现模拟登录
什么是selenium模块?
– 基于浏览器自动化的一个模块。……
高性能异步爬虫
目的:在爬虫中使用异步实现高性能的数据爬取操作。……
协程,又称微线程,纤程。英文名Coroutine。协程是python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因为它自带CPU上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。(可以在任意时候,切换协程任务,不需要通过函数来进行调度,切换的次数已经时间都根据开发者的想法实现)……
协程,又称微线程,纤程。英文名Coroutine。
协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。
子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。
所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。
子程序调用总是一个入口,一次返回,调用顺序是明确的。而协程的调用和子程序不同。
协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。
注意,在一个子程序中中断,去执行其他子程序,不是函数调用,有点类似CPU的中断。……
用Python实现定时任务的四种方法
while True: + sleep()
threading.Timer定时器
调度模块schedule
任务框架APScheduler……
photoimage(file=’./pic/123.jpg’
./代表的是vscode工程根目录,
不一是项目根目录。
可能需要改为:
photoimage(file=’./mypro/pic/123.jpg’……