首页 ›存档› 技术 › 查看内容

python大规模爬取京东

2018-3-30 13:00 |来自: 互联网 363 0

摘要: python大规模爬取京东主要工具 scrapy BeautifulSoup requests 分析步骤打开京东首页，输入裤子将会看到页面跳转到了这里，这就是我们要分析的起点我们可以看到这个页面并不是完全的，当我们往下拉的时候将 ...

主要工具

打开京东首页，输入裤子将会看到页面跳转到了这里，这就是我们要分析的起点
我们可以看到这个页面并不是完全的，当我们往下拉的时候将会看到图片在不停的加载，这就是ajax,但是当我们下拉到底的时候就会看到整个页面加载了60条裤子的信息，我们打开chrome的调试工具，查找页面元素时可以看到每条裤子的信息都在

声明：文章版权归原作者所有部分文章转自互联网如有侵权请联系 [邮箱地址] 删除

上一篇：Python打造12306火车票预定系统直播教程下一篇：Python爬虫技术与机器学习实战研讨会