首页 ›存档› 技术 › 查看内容

Python爬虫之urllib2

2018-3-30 13:00 |来自: 互联网 469 0

摘要: 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib2。 urllib2在 python3.x 中被改为urllib.request 1.urlopen 一、get请求#cod ...

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib2。

urllib2在 python3.x 中被改为urllib.request

1.urlopen

一、get请求#coding=utf-8

#python3urllib2变成urllib.request

importurllib.request

deftest():

url=urllib.request.urlopen('http://www.baidu.com')

html=url.read()

print(html.decode('utf-8'))

if__name__=='__main__':

test()

2.Request

在我们第一个例子里，urlopen()的参数就是一个url地址；

但是如果需要执行更复杂的操作，比如增加HTTP报头，必须创建一个 Request 实例来作为urlopen()的参数；而需要访问的url地址则作为 Request 实例的参数。#coding=utf-8

#python3urllib2变成urllib.request

importurllib.request

deftest():

request=urllib.request.Request('http://www.baidu.com')

url=urllib.request.urlopen(request)

html=url.read()

print(html.decode('utf-8'))

if__name__=='__main__':

test()

3.User-Agent

但是这样直接用urllib2给一个网站发送请求的话，确实略有些唐突了，就好比，人家每家都有门，你以一个路人的身份直接闯进去显然不是很礼貌。而且有一些站点不喜欢被程序（非人为访问）访问，有可能会拒绝你的访问请求。

但是如果我们用一个合法的身份去请求别人网站，显然人家就是欢迎的，所以我们就应该给我们的这个代码加上一个身份，就是所谓的User-Agent头。

浏览器就是互联网世界上公认被允许的身份，如果我们希望我们的爬虫程序更像一个真实用户，那我们第一步，就是需要伪装成一个被公认的浏览器。用不同的浏览器在发送请求的时候，会有不同的User-Agent头。 urllib2默认的User-Agent头为：Python-urllib/x.y（x和y是Python主版本和次版本号,例如 Python-urllib/2.7）

#coding=utf-8

#python3urllib2变成urllib.request

importurllib.request

deftest():

url='http://www.baidu.com'

headers={"User-Agent":"Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0;"}

request=urllib.request.Request(url,headers=headers)

url=urllib.request.urlopen(request)

html=url.read()

print(html.decode('utf-8'))

if__name__=='__main__':

test()