[Python] 贝壳租房爬虫
作者:CC下载站 日期:2021-11-25 00:00:00 浏览:62 分类:编程开发
import urllib.request as request
from bs4 import BeautifulSoup
import os
def downloadImg(url: str, name):
soup = BeautifulSoup(str(request.urlopen(url).read(), encoding='utf-8'), features='html.parser')
savePath = f"./result/images/{name.replace('/', '-')}"
if not os.path.exists(savePath):
os.mkdir(savePath)
for img in soup.select('div.content__article__slide__item > img'):
img = img.get('data-src')
with open(f"{savePath}/{img.split('/')[-1].split('!')[0].split('?')[0]}", 'wb') as f:
f.write(request.urlopen(img).read())
def a():
with open('./result/list.txt', 'w', encoding='utf-8') as f:
for i in range(1, 11):
url = f'https://cs.zu.ke.com/zufang/pg{i}/#contentList'
data = str(request.urlopen(url).read(), encoding='utf-8')
soup = BeautifulSoup(data, features='html.parser')
for item in soup.find_all('div', attrs={'class': 'content__list--item'}):
imgTag = item.find('img')
imgUrl = imgTag.get('data-src')
print(imgUrl)
title = imgTag.get('alt')
print(title)
downloadImg(
f"https://cs.zu.ke.com{item.find('a', attrs={'class': 'content__list--item--aside'}).get('href')}",
title)
des = item.find('p', attrs={'class': 'content__list--item--des'}) \
.get_text().replace('\n', '').replace(' ', '')
print(des)
price = item.find('span', attrs={'class': "content__list--item-price"}).get_text()
print(price)
tags = [tag.get_text() for tag in
item.find('p', attrs={'class': 'content__list--item--bottom oneline'}).select('p > i')]
print(tags)
f.write(f'{title},{des},{price},{tags}\n')
print('*' * 30)
if __name__ == '__main__':
os.mkdir('/result')
a()
猜你还喜欢
- 03-29 [编程相关] Winform窗体圆角以及描边完美解决方案
- 03-29 [前端问题] has been blocked by CORS policy跨域问题解决
- 03-29 [编程相关] GitHub Actions 入门教程
- 03-29 [编程探讨] CSS Grid 网格布局教程
- 10-12 [编程相关] python实现文件夹所有文件编码从GBK转为UTF8
- 10-11 [编程算法] opencv之霍夫变换:圆
- 10-11 [编程算法] OpenCV Camshift算法+目标跟踪源码
- 10-11 [Python] python 创建 Telnet 客户端
- 10-11 [编程相关] Python 基于 Yolov8 + CPU 实现物体检测
- 03-15 [脚本工具] 使用go语言开发自动化脚本 - 一键定场、抢购、预约、捡漏
- 01-08 [编程技术] 秒杀面试官系列 - Redis zset底层是怎么实现的
- 01-05 [编程技术] 《Redis设计与实现》pdf
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[网文网语] 潭岭、江州、绿藤、津港……悬疑剧中哪座“虚拟城市”最常出现?
[在线工具] Playground AI - ai绘画网站
[知识分享] 「科普」不知道电影资源那么长一大串名字是什么意思?看完这个你就明白了!
[趣味源码] Douyin:一个基于 Vue 的模仿抖音移动端短视频项目
[趣味源码] 抖音在线点赞任务发布接单运营平台PHP网站源码 多个支付通道+分级会员制度
[源码主题] zibll-V7.6最新版完美破解授权可用(含主题+教程)
[趣味源码] Ypay源支付最新免授权牛角魔改版
[游戏娱乐] 《荒野大镖客2》v1491.50终极版
[游戏娱乐] 《星之海洋2:重制版》v1.10中文版
[课程] 面授系统课-王氏中药外治疗法6节
[资料] [大学期末救急课] 猴博士+高斯课堂+斐多课堂,全集视频合集
[云资源] 价值2万元的老男孩Python教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[云资源] 花了一千多元买的私人健身教程
[下载工具] Internet Download Manager 6.42.7 (IDM)
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[即时通讯] 腾讯QQ PC版9.7.22.29315去广告绿色纯净版
[开发环境] PhpStorm2023中文激活版v2023.3.3 正式版
[资料] 3000 套电影电视剧 LOGO 宣传片常用音效合集包
[安卓软件] 酷我音乐APP_v10.7.6.4 去广告破解豪华VIP版
[云资源] 价值2万元的老男孩Python教程
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[云资源] 花了一千多元买的私人健身教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[动画] 北斗神拳(1984) [两季合集] [MKV]
[资料] 抗战阵亡将士资料+续编
[电视剧] 三体 (2024) 全8集 网飞版本 中文字幕 合集
[纪录片] 河西走廊【10集 国语 中文字幕 1080P 10.8G MP4】
[电影] 2024年喜剧片·热辣滚烫 [mp4]
[影视] 铁爪 WEB-DL版下载 2023 The Iron Claw 23.48G
- 最新评论
-
我想看看mw2ddyy 评论于:04-26 好东西阿zfy123123 评论于:04-18 谢谢楼主xiaoqi 评论于:04-12 勿在线解压,勿手机解压,请在电脑上用最新款压缩软件解压!推荐360压缩或者好压CC下载站 评论于:04-10 无法解压啊,客服能不能给个解压教程ravengrey 评论于:04-10 谢谢支持!!CC下载站 评论于:03-26 很棒的资源,感谢分享云体风身 评论于:03-26 感谢分享,好东西云体风身 评论于:03-26 谢谢支持!CC下载站 评论于:03-14 央视精品,感谢付出提供。qwer9009 评论于:03-14
- 热门tag