使用python进行web抓取

2016-3-22 11:02 2286 1

摘要: 书籍下载地址：https://bitbucket.org/xurongzhong/python-chinese-library/downloads源码地址：https://bitbucket.org/wswp/code演示站点：http://example.webscraping.com/演示站点代码：http://bitbucket.org/wsw ...

书籍下载地址：https://bitbucket.org/xurongzhong/python-chinese-library/downloads

源码地址：https://bitbucket.org/wswp/code

演示站点：http://example.webscraping.com/

演示站点代码：http://bitbucket.org/wswp/places

推荐的python基础教程： http://www.diveintopython.net

HTML和JavaScript基础：

http://www.w3schools.com

web抓取简介

为什么要进行web抓取？

网购的时候想比较下各个网站的价格，也就是实现惠惠购物助手的功能。有API自然方便，但是通常是没有API，此时就需要web抓取。

web抓取是否合法？

抓取的数据，个人使用不违法，商业用途或重新发布则需要考虑授权，另外需要注意礼节。根据国外已经判决的案例，一般来说位置和电话可以重新发布，但是原创数据不允许重新发布。

http://www.austlii.edu.au/au/cases/cth/FCA/2010/44.html

http://caselaw.findlaw.com/us-supreme-court/499/340.html

背景研究

robots.txt和Sitemap可以帮助了解站点的规模和结构，还可以使用谷歌搜索和WHOIS等工具。

比如：http://example.webscraping.com/robots.txt

1
2
3
4
5
6
7
8
9
10
11
# section 1
User-agent: BadCrawler
Disallow: /
 
# section 2
User-agent: *
Crawl-delay: 5
Disallow: /trap 
 
# section 3
Sitemap: http://example.webscraping.com/sitemap.xml

更多关于web机器人的介绍参见 http://www.robotstxt.org。
Sitemap的协议： http://www.sitemaps.org/protocol.html，比如：

1
2
3
4
http://example.webscraping.com/view/Afghanistan-1
http://example.webscraping.com/view/Aland-Islands-2
http://example.webscraping.com/view/Albania-3
...

站点地图经常不完整。

站点大小评估：
通过google的site查询比如：site:automationtesting.sinaapp.com

站点技术评估：

1
2
3
4
5
6
7
8
9
10

                      声明：文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 
                      [邮箱地址] 删除
                    
路过

雷人

握手

鲜花

鸡蛋

收藏
分享
邀请

下一篇：日常收集整理正则表达式验证大全