爬蟲學習——urllib2三種方法的實例


不說廢話直接插代碼

 1 # coding:utf-8
2 import urllib2
3 import cookielib
4
5 url= "http://www.baidu.com"
6 print "第一種方法:"
7 response1 = urllib2.urlopen(url)
8 print response1.getcode()
9 print len(response1.read())
10
11 print "第二種方法:"
12 request=urllib2.Request(url)
13 request.add_header('user-agent','Mozilla/5.0')
14 response2 = urllib2.urlopen(request)
15 print response2.getcode()
16 print len(response2.read())
17
18 print "第三種方法:"
19 cj = cookielib.CookieJar()
20 opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
21 urllib2.install_opener(opener)
22 response3=urllib2.urlopen(url)
23 print response3.getcode()
24

運行后如下圖所示

 


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com