1.图虫网多线程爬取-写在前面

经历了一顿噼里啪啦的操作之后，终于我把博客写到了第10篇，后面，慢慢的会涉及到更多的爬虫模块，有人问scrapy 啥时候开始用，这个我预计要在30篇以后了吧，后面的套路依旧慢节奏的，所以莫着急了，100篇呢，预计4~5个月写完，常见的反反爬后面也会写的，还有fuck login类的内容。

2.图虫网多线程爬取-爬取图虫网

为什么要爬取这个网站，不知道哎~ 莫名奇妙的收到了，感觉图片质量不错，不是那些妖艳贱货 可以比的，所以就开始爬了，搜了一下网上有人也在爬，但是基本都是py2，py3的还没有人写，所以顺手写一篇吧。

3.图虫网多线程爬取-起始页面

这个页面中有很多的标签，每个标签下面都有很多图片，为了和谐，我选择了一个非常好的标签花卉 你可以选择其他的，甚至，你可以把所有的都爬取下来。

https://tuchong.com/tags/%E8%8A%B1%E5%8D%89/  # 花卉编码成了  %E8%8A%B1%E5%8D%89  这个无所谓

我们这次也玩点以前没写过的，使用python中的queue，也就是队列

下面是我从别人那顺来的一些解释，基本爬虫初期也就用到这么多

1. 初始化： class Queue.Queue(maxsize) FIFO 先进先出2. 包中的常用方法:    - queue.qsize() 返回队列的大小    - queue.empty() 如果队列为空，返回True,反之False    - queue.full() 如果队列满了，返回True,反之False    - queue.full 与 maxsize 大小对应    - queue.get([block[, timeout]])获取队列，timeout等待时间3. 创建一个“队列”对象    import queue    myqueue = queue.Queue(maxsize = 10)4. 将一个值放入队列中    myqueue.put(10)5. 将一个值从队列中取出    myqueue.get()

4.图虫网多线程爬取-开始编码

首先我们先实现主要方法的框架，我依旧是把一些核心的点，都写在注释上面

def main():    # 声明一个队列，使用循环在里面存入100个页码    page_queue  = Queue(100)    for i in range(1,101):        page_queue.put(i)    # 采集结果(等待下载的图片地址)    data_queue = Queue()    # 记录线程的列表    thread_crawl = []    # 每次开启4个线程    craw_list = ['采集线程1号','采集线程2号','采集线程3号','采集线程4号']    for thread_name in craw_list:        c_thread = ThreadCrawl(thread_name, page_queue, data_queue)        c_thread.start()        thread_crawl.append(c_thread)    # 等待page_queue队列为空，也就是等待之前的操作执行完毕    while not page_queue.empty():        passif __name__ == '__main__':    main()

代码运行之后，成功启动了4个线程，然后等待线程结束，这个地方注意，你需要把 ThreadCrawl 类补充完整

class ThreadCrawl(threading.Thread):    def __init__(self, thread_name, page_queue, data_queue):        # threading.Thread.__init__(self)        # 调用父类初始化方法        super(ThreadCrawl, self).__init__()        self.threadName = thread_name        self.page_queue = page_queue        self.data_queue = data_queue    def run(self):        print(self.threadName + ' 启动************')

运行结果

线程已经开启，在run方法中，补充爬取数据的代码就好了,这个地方引入一个全局变量，用来标识爬取状态

CRAWL_EXIT = False

先在main方法中加入如下代码

CRAWL_EXIT = False  # 这个变量声明在这个位置class ThreadCrawl(threading.Thread):    def __init__(self, thread_name, page_queue, data_queue):        # threading.Thread.__init__(self)        # 调用父类初始化方法        super(ThreadCrawl, self).__init__()        self.threadName = thread_name        self.page_queue = page_queue        self.data_queue = data_queue    def run(self):        print(self.threadName + ' 启动************')        while not CRAWL_EXIT:            try:                global tag, url, headers,img_format  # 把全局的值拿过来                # 队列为空 产生异常                page = self.page_queue.get(block=False)   # 从里面获取值                spider_url = url_format.format(tag,page,100)   # 拼接要爬取的URL                print(spider_url)            except:                break            timeout = 4   # 合格地方是尝试获取3次，3次都失败，就跳出            while timeout > 0:                timeout -= 1                try:                    with requests.Session() as s:                        response = s.get(spider_url, headers=headers, timeout=3)                        json_data = response.json()                        if json_data is not None:                            imgs = json_data["postList"]                            for i in imgs:                                imgs = i["images"]                                for img in imgs:                                    img = img_format.format(img["user_id"],img["img_id"])                                    self.data_queue.put(img)  # 捕获到图片链接，之后，存入一个新的队列里面，等待下一步的操作                    break                except Exception as e:                    print(e)            if timeout <= 0:                print('time out!')def main():    # 代码在上面    # 等待page_queue队列为空，也就是等待之前的操作执行完毕    while not page_queue.empty():        pass    # 如果page_queue为空，采集线程退出循环    global CRAWL_EXIT    CRAWL_EXIT = True        # 测试一下队列里面是否有值    print(data_queue)

经过测试，data_queue 里面有数据啦！！，哈哈，下面在使用相同的操作，去下载图片就好喽

完善main方法

def main():    # 代码在上面    for thread in thread_crawl:        thread.join()        print("抓取线程结束")    thread_image = []    image_list = ['下载线程1号', '下载线程2号', '下载线程3号', '下载线程4号']    for thread_name in image_list:        Ithread = ThreadDown(thread_name, data_queue)        Ithread.start()        thread_image.append(Ithread)    while not data_queue.empty():        pass    global DOWN_EXIT    DOWN_EXIT = True    for thread in thread_image:        thread.join()        print("下载线程结束")

还是补充一个 ThreadDown 类，这个类就是用来下载图片的。

class ThreadDown(threading.Thread):    def __init__(self, thread_name, data_queue):        super(ThreadDown, self).__init__()        self.thread_name = thread_name        self.data_queue = data_queue    def run(self):        print(self.thread_name + ' 启动************')        while not DOWN_EXIT:            try:                img_link = self.data_queue.get(block=False)                self.write_image(img_link)            except Exception as e:                pass    def write_image(self, url):        with requests.Session() as s:            response = s.get(url, timeout=3)            img = response.content   # 获取二进制流        try:            file = open('image/' + str(time.time())+'.jpg', 'wb')            file.write(img)            file.close()            print('image/' + str(time.time())+'.jpg 图片下载完毕')        except Exception as e:            print(e)            return

运行之后,等待图片下载就可以啦~~

关键注释已经添加到代码里面了,收图吧 (◕ᴗ◕)，这次代码回头在上传到github上 因为比较简单

她专科学历27岁从零开始学习c，c++，python编程语言29岁编写百例教程30岁掌握10种编程语言，用自学的经历告诉你，学编程就找梦想橡皮擦

欢迎关注她的公众号，非本科程序员

当你把上面的花卉修改成比如xx啥的~，就是天外飞仙了