问题描述：

没有设置timeout参数，结果在网络环境不好的情况下，时常出现read()方法没有任何反应的问题，程序卡死在read()方法里，搞了大半天，才找到问题，给urlopen加上timeout就ok了，设置了timeout之后超时之后read超时的时候会抛出socket.timeout异常，想要程序稳定，还需要给urlopen加上异常处理，再加上出现异常重试，程序就完美了。

import urllib2 url=' fails = 0 while True: try: if fails >= 20: break req = urllib2.Request(url) response = urllib2.urlopen(req, None, 3) page = response.read() except: fails += 1 print '网络连接出现问题, 正在尝试再次请求: ', fails else: break

解决方案：

有时候我们在爬取网络数据时，会因为对方网速缓慢、服务器超时等原因，导致 urllib2.urlopen() 之后的 read()操作（下载内容）卡死，要解决这个问题方法有如下几个：

1、为urlopen设置可选参数 timeout

import urllib2# r = urllib2.Request("")try:        print 111111111111111111        f = urllib2.urlopen(r, data=None, timeout=3)        print 2222222222222222        result =  f.read()        print 333333333333333333except Exception,e:        print "444444444444444444---------" + str(e)print "55555555555555"

2、设置全局的socket超时：

import socketsocket.setdefaulttimeout(10.0) 或者使用：httplib2 or timeout_urllib2

3、使用定时器 timer

from urllib2 import urlopenfrom threading import Timerurl = ""def handler(fh):        fh.close()fh = urlopen(url)t = Timer(20.0, handler,[fh])t.start()data = fh.read()    #如果二进制文件需要换成二进制的读取方式t.cancel()

转载地址：http://esbci.baihongyu.com/

你可能感兴趣的文章

Zebra Bar-One 不能批量打印离散号码

查看>>

Platform创建WinCE内核时的编译错误

查看>>

玻璃杯

查看>>