当前位置:网站首页 > 更多 > 编程开发 > 正文

[人工智能] PYTHON3-SCRAPY学习之SHELL配置AGENT

作者:CC下载站 日期:2018-10-08 00:01:56 浏览:2138 分类:编程开发

在cmd测试scrapy的时候进场会报500错误或者400错误

例如:

scrapy shell https://www.zhihu.com/question/269297730/answer/389393234

[人工智能]  PYTHON3-SCRAPY学习之SHELL配置AGENT

,这是由于我们没有配置USER-AGENT 那么我们在cmd里面怎么使用user-agent呢

只需要这样做:

scrapy shell -s USER_AGENT="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36" https://www.zhihu.com/question/269297730/answer/389393234

这样就可以了,如下图状态码返回200

[人工智能]  PYTHON3-SCRAPY学习之SHELL配置AGENT


您需要 登录账户 后才能发表评论

取消回复欢迎 发表评论:

关灯