[Python] Week5 情话网小爬虫
作者:CC下载站 日期:2020-12-19 00:00:00 浏览:60 分类:编程开发
太久没写爬虫了,手生到连xpath怎么提取出来都忘记了,requests取回的数据编码都忘记怎么转换了
于是乎在百度上随便搜了一个情话网,来进行爬取。
目标地址:https://www.qinghuawang.net/
一如既往的习惯,打开网站后F12,看是不是ajax请求
也是,看着就很老的一个网站怎么会用ajax呢,想多了。
于是就用原始的Xpath咯。
打开浏览器里面的xpath helper
按住shift键,去选择文章标题
这样就获取到了一条标题的内容,然后就是稍微修改修改xpath,从原始的
/html/body[@class='listBody']/div[@class='bodyMain']/div[@class='bodyMainBody']/div[@class='infoList']/ul[@class='infoListUL mt5']/li[1]/a[@class='articleTitle fl']
修改一下
//li/a[@class='articleTitle fl']
就可以取到所有的标题了。
但是这样取出来的数据并不是纯文本,他还包含了一些html标签,于是乎在后面加上一个/text()
//li/a[@class='articleTitle fl']/text()
这样就可以获取到一页中的标题了
用python随便写一下试试。
发现取出来之后是乱码,那就肯定是编码问题了,打开F12,查看html中的head,发现是gb2312
提笔忘字之,怎么转换编码来着,百度了一下。
res=requests.get(url).content res=res.decode("gb2312")
以前怎么写的忘记了,但应该不是这么麻烦的。
然后是这样的
获取了一页的标题后,然后再获取详情页的链接,因为是a标签,[email protected]个属性了
//li/a[@class='articleTitle fl'][email protected]
还得进入里面去获取文章内容咯,于是随便点进去看一下,
详情页地址:https://www.qinghuawang.net/a/1808.html
xpath发现,都是包含在p标签内
于是只要把/p后面的[1]去掉就可以获取到所有的段落咯,再加上一个text()就可以获取到文本了。
然后放到python里面试一下。
然后又报错了,大概意思是gb2312无法解析0xfd
于是百度了一下,
解决之后。
然后就是将这些话保存至txt咯。
最后加几个For循环去爬取所有的内容咯
最后整理代码如下,没进行清洗了,就开了个多线程:
#-*-coding:utf-8-*- """ ------------------------------------------------- @Author:Lan @Blog:www.lanol.cn @Date:2020/12/19 @Description:I'minchargeofmyCode ------------------------------------------------- """ importparsel importrequests importthreading defgetContet(urls): foriinurls: url='https://www.qinghuawang.net/'+i res=requests.get(url).content res=res.decode("gb2312",errors='ignore') xpath=parsel.Selector(res) content=xpath.xpath("//p/text()").extract() withopen('sentence.txt','a+',encoding='utf8')asf: forjincontent: f.write(j+" ") print(j) defgetAll(): foriinrange(1,20): url=f'https://www.qinghuawang.net/qinghua/list_1_{i}.html' res=requests.get(url).content xpath=parsel.Selector(res.decode('gb2312')) urlList=xpath.xpath("//li/a[@class='articleTitlefl'][email protected]").extract() threading.Thread(target=getContet,args=(urlList,)).start() if__name__=='__main__': getAll()
废了,废了
猜你还喜欢
- 03-29 [编程相关] Winform窗体圆角以及描边完美解决方案
- 03-29 [前端问题] has been blocked by CORS policy跨域问题解决
- 03-29 [编程相关] GitHub Actions 入门教程
- 03-29 [编程探讨] CSS Grid 网格布局教程
- 10-12 [编程相关] python实现文件夹所有文件编码从GBK转为UTF8
- 10-11 [编程算法] opencv之霍夫变换:圆
- 10-11 [编程算法] OpenCV Camshift算法+目标跟踪源码
- 10-11 [Python] python 创建 Telnet 客户端
- 10-11 [编程相关] Python 基于 Yolov8 + CPU 实现物体检测
- 03-15 [脚本工具] 使用go语言开发自动化脚本 - 一键定场、抢购、预约、捡漏
- 01-08 [编程技术] 秒杀面试官系列 - Redis zset底层是怎么实现的
- 01-05 [编程技术] 《Redis设计与实现》pdf
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[跨境电商] TikTok中视频课程30天线上陪跑
[电影] [摩登笑探 冇面俾].1995.HDTV1080i.国语中字
[电影] 非常偵探/The Private Eye Blues 1994
[摄影] 让手机秒变单反的手机拍摄好物
[电影](香港怀旧老电影)《情义我心知》1989.VCDRip.MKV[粤语双字]
[电影] [五个堕落的男女][HD-MKV/1.88G][国语中字][1080P]
[游戏娱乐] 《赤痕:夜之仪式》v1.50中文版
[游戏娱乐] 《极乐迪斯科》v20230509导演剪辑版
[电影] 2023年美国剧情片《包围》BD中英双字
[课程] 张景明教授《一病一讲·100集》
[资料] [大学期末救急课] 猴博士+高斯课堂+斐多课堂,全集视频合集
[云资源] 价值2万元的老男孩Python教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[云资源] 花了一千多元买的私人健身教程
[下载工具] Internet Download Manager 6.42.7 (IDM)
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[资料] 3000 套电影电视剧 LOGO 宣传片常用音效合集包
[安卓软件] 酷我音乐APP_v10.7.6.4 去广告破解豪华VIP版
[即时通讯] 微信PC版WeChat 3.9.9.43 多开防撤回绿色版
[安卓软件] Solid Explorer文件管理器APP 2.8.38 破解版
[云资源] 价值2万元的老男孩Python教程
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[云资源] 花了一千多元买的私人健身教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[动画] 北斗神拳(1984) [两季合集] [MKV]
[资料] 抗战阵亡将士资料+续编
[电视剧] 三体 (2024) 全8集 网飞版本 中文字幕 合集
[纪录片] 河西走廊【10集 国语 中文字幕 1080P 10.8G MP4】
[电影] 2024年喜剧片·热辣滚烫 [mp4]
[影视] 铁爪 WEB-DL版下载 2023 The Iron Claw 23.48G
- 最新评论
-
杂物房内的旧档资源不保证有效CC下载站 评论于:05-14 不能**123 评论于:05-14 我想看看mw2ddyy 评论于:04-26 好东西阿zfy123123 评论于:04-18 谢谢楼主xiaoqi 评论于:04-12 勿在线解压,勿手机解压,请在电脑上用最新款压缩软件解压!推荐360压缩或者好压CC下载站 评论于:04-10 无法解压啊,客服能不能给个解压教程ravengrey 评论于:04-10 谢谢支持!!CC下载站 评论于:03-26 很棒的资源,感谢分享云体风身 评论于:03-26 感谢分享,好东西云体风身 评论于:03-26
- 热门tag