多任务异步协程实战演练

高性能异步爬虫
目的:在爬虫中使用异步实现高性能的数据爬取操作。

Python 网络爬虫

异步爬虫的方式

  • 多线程,多进程(不建议):
    好处:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步执行。
    弊端:无法无限制的开启多线程或者多进程。
  • 线程池、进程池(适当的使用):
    好处:我们可以降低系统对进程或者线程创建和销毁的一个频率,从而很好的降低系统的开销。
    弊端:池中线程或进程的数量是有上限。
  • 单线程+异步协程(推荐):
    event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,
    当满足某些条件的时候,函数就会被循环执行。coroutine:协程对象,我们可以将协程对象注册到事件循环中,它会被事件循环调用。
    我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回
    一个协程对象。task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。future:代表将来执行或还没有执行的任务,实际上和 task 没有本质区别。async 定义一个协程.await 用来挂起阻塞方法的执行

使用异步协程方法爬取4k网站图片

代码实现

import requests
from lxml import etree
import time
import os
start = time.time()
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
if not os.path.exists('./libs'):
    os.mkdir('./libs')
url = 'http://pic.netbian.com/4kmeinv/index_%d.html'
a = []
for page in range(2,50):
    new_url = format(url%page)
    page_text = requests.get(url=new_url,headers=headers).text
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//div[@class="slist"]/ul/li')
    for li in li_list:
        img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]
        name = img_src.split('/')[-1]
        # data = requests.get(url=img_src).content
        # path = './libs/'+name
        # with open(path,'wb') as fp:
        #     fp.write(data)
        #     print(name,'下载成功')
        a.append(name)
print(len(a))
print('总耗时:',time.time()-start)

发表评论

邮箱地址不会被公开。 必填项已用*标注