发布网友
共3个回答
懂视网
这篇文章主要介绍了Python实现的下载网页源码功能,涉及Python基于http请求与响应实现的网页源码读取功能相关操作技巧,需要的朋友可以参考下
本文实例讲述了Python实现的下载网页源码功能。分享给大家供大家参考,具体如下:
#!/usr/bin/python import httplib httpconn = httplib.HTTPConnection("www.baidu.com") httpconn.request("GET", "/index.html") resp = httpconn.getresponse() if resp.reason == "OK": resp_data = resp.read() print resp_data print len(resp_data) httpconn.close()
要下载的网页源码被读取到了resp_data中了
运行效果图如下:
热心网友
这个需要你分析网页,提取其中的链接,然后下载链接
python自带的urllib2, urllib可以用来处理网页,不过比较麻烦,需要自记写很多代码
或者用beautiful soap之类的库,处理html就比较轻松了;可以自己看Beautiful Soap的文档,有中文版本的,链接我就不贴了,百度老会发神经屏蔽;按文档写几个例子,就能处理你自己的事情了,很容易的
热心网友
好像有个urllib库可以用来访问网页。追问可以具体点是怎么 用python是怎么写的吗
追答from urllib import urlopen
if __name__ == "__main__":
url = "http://www.bing.com/"
webdata = urlopen(url).read()
output = open("page.html", "w")
output.write(webdata)
output.close()