【python编程】用python制作爬虫批量下载图片站上的漂亮小姐
本来想另外找一个漂亮小姐姐的图片站，可是百度了一下，那些网站的图片尺度略大，我的博客又是备案过的，不敢瞎搞，所以还是找了一个中规中矩的cosplay网站来写这篇文章。这个网站之前我用火车头爬过，看之前的文章：
https://www.xiaoweigod.com/share/1425.html
不过用这种爬虫软件来爬，说实话不如自己写程序来得方便。今天就来演示一下怎么用python来爬这个网站的图片。当然这篇文章的方法也适用于其他的图片站，大家学会了就可以自由发挥了(～￣▽￣)～。
准备工具：python环境的电脑，python的requests模块和beautifulsoup4模块，谷歌浏览器，有一点代码基础。
目标站：http://www.cosplaymore.com/
目标：爬取cos板块所有帖子中的图片。
一、环境配置
这篇文章我们用的是python3环境，可以直接去python官网下载：https://www.python.org/downloads/
下载完了直接安装就行。requests模块和beautifulsoup4模块直接在cmd里执行pip install requests 和 pip install beautifulsoup4就行了。
这里不多说，如果连安装都有问题，那么下面可能就不用看了。
二、分析网页
爬虫的本质其实是找到网页的规律，然后通过这个规律去编写一个适应这个规律的程序，然后通过这个程序来获取我们需要的东西。所以首先我们要分析网页，来找到这个规律。
1.分析第一级页面规则，获取所有帖子的链接。
打开谷歌浏览器，进入我们需要爬取的网站，切换到 cos 这一栏。我们今天就来爬cos这一栏里所有帖子的图片。
可以看到网址是一个比较规则的地址，我们把网址后缀的 "30-1.html"改为“30-2.html”，页面就会跳转到第二页。
观察一下网页排版，看下我们需要爬取的东西和不需要的东西。
我们需要的是下面帖子区域的内容，一共有98页2729个帖子：
右键其中一个帖子，然后右键“检查”，在右边弹出的任务栏里，鼠标往上移动，直到移动到一个位置，网页全选了整个帖子的部分，这个被选中的标签 <div class="con">就是帖子区域的的标签层，包含了整个帖子区域。在这个层里，包含了所有的帖子链接。
可以看到，这个div层下每个<li>标签都包含了一个帖子：
再展开其中一个<li>标签，看到它包含了这个帖子的2个链接和1个缩略图链接，我们需要的是是帖子链接。
这里我们就找到了帖子排布的规律，那么第一级页面的规则也基本分析完成了。规则如下：
① 通过改变网页链接，实现翻页。
② 找到<dlv class="con">这个标签。
③找到②中div包含的所有<li>标签中的链接。
一级页面爬取后，即可获得cosplay板块所有帖子的链接。
2.分析二级页面规则，获得所有图片的链接。
随便打开一个帖子，同样右键一张帖子里的图片，然后右键“检查”。往上移动鼠标，直到整个帖子区域被选中：
这个class="PiccontentPart fl 的div标签，里面包含了整个帖子的图片内容。同样，可以看到这个div下的每个<p>标签里包含的就是每张图片的信息。可以看到，<p>标签里很简单粗暴地包含了一个图片地址。
那么二级页面的规则也分析完了。规则如下：
① 通过一级页面获得的帖子链接，进入帖子，找到 class="PiccontentPart fl 的div标签
② 找到上面div标签中的<p>标签
③ 获得<p>标签中的链接
三、开始写python程序
上面我们安装的requests模块用于网页访问，beautifulsoup4模块用于网页解析。
1.获取第一级页面并解析出帖子中的链接
注释在程序里已经写好了，其中的requests的get传递的参数headers可以不填，这个是拿来表明身份的，表示你是浏览器而不是python程序。
运行一下效果图：
一共爬到了2729个帖子链接，一共98页，每页是28个帖子，数量刚好差不多。
2.解析二级页面：帖子中图片的地址
这里我贴了其中两个帖子做测试，结果如下:
当然我们也可以改进下，找到帖子的标题，也是层级查找：
3.合并完整程序
最后我们把两个查找合并嵌套一下，获取所有帖子中的所有图片的链接，控制下访问速度，再做下错误处理并完善下提示。
import requests
from bs4 import BeautifulSoup
from time import sleep
header ={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'cookie':'UM_distinctid=1663384985d6fd-03db9719bc459f-8383268-1fa400-1663384985f5c5; CNZZDATA1256110375=1639678596-1538460026-%7C1538460026; pgv_pvi=6300302336; pgv_si=s7801597952; yunsuo_session_verify=61e64cd8bf75fa31a03c96c3195f46f5'}
topic_count = 0
img_count = 0
err_count = 0
for i in range(1,99):
try:
#根据规律遍历生成98个页面地址
url = 'http://www.cosplaymore.com/list-30-'+str(i)+'.html';
#使用requests的get方法访问这98个页面
r = requests.get(url=url,headers=header,timeout=30)
#将返回的页面内容通过beautifulsoup的网页解析器解析出来
r_html = BeautifulSoup(r.text,'html.parser')
#查找class名字为'con'的div
html_board = rhtml.find('div',class='con')
#遍历class名字为‘pic imgholder’的a标签
for topic_link in html_board.findall('a',class='pic imgholder'):
sleep(5)
topic_count+=1
print('访问第'+str(topic_count)+'个帖子')
# 访问每一个帖子
r_topic = requests.get(url=topic_link.get('href'), headers=header, timeout=30)
# 将帖子内容解析为html网页
topic_html = BeautifulSoup(r_topic.text, 'html.parser')
# 找出帖子的标题
topic_title = topichtml.find('div', class='PiccontentTitle').find('font').text
# 找出这个帖子中的贴图区域
topic_board = topichtml.find('div', class='PiccontentPart fl')
# 从贴图区域找出所有的img标签
title_count=0
for img_link in topic_board.find_all('img'):
# 从img标签中获取链接
#print(img_link.get('src'))
title_count += 1
img_count += 1
#print(topic_title+str(title_count))
#下载图片保存到d盘的img文件夹
img_file = requests.get(url=img_link.get('src'),headers=header,timeout=30)
img_path = 'd:/img/'+topic_title+str(title_count)+'.jpg'
with open(img_path,'wb') as f:
f.write(img_file.content)
print('图片已保存=====>'+img_path)
except:
err_count+=1
print('出错，跳过'+str(err_count))
print('共爬取到'+str(topic_count)+'个帖子链接')
print('共爬取到'+str(img_count)+'张图片地址')
print('出错的帖子：'+str(err_count)+'个')完整代码如下：
