python3下urllib.request库高级应用之Handle处理器和自定义Opener

python3下urllib.request库高级应用之Handle处理器和自定义Opener

经过前面对urllib.request库的频繁使用，都知道我们使用urllib库请求是都是使用urlopen()方法实现的。实际上它的底层是使用HTTPHandler个Opener来实现的。查看urllib.request库里的urlopen()方法的源码。

def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,

*, cafile=None, capath=None, cadefault=False, context=None):

global _opener

if cafile or capath or cadefault:

if context is not None:

raise ValueError(

“You can’t pass both context and any of cafile, capath, and “

“cadefault”

)

if not _have_ssl:

raise ValueError(‘SSL support not available’)

context = ssl.create_default_context(ssl.Purpose.SERVER_AUTH,

cafile=cafile,

capath=capath)

https_handler = HTTPSHandler(context=context)

opener = build_opener(https_handler)

elif context:

https_handler = HTTPSHandler(context=context)

opener = build_opener(https_handler)

elif _opener is None:

_opener = opener = build_opener()

else:

opener = _opener

return opener.open(url, data, timeout)

def install_opener(opener):

global _opener

_opener = opener_url_tempfiles = []

opener是 urllib.request.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。

我们采用urlopen()的方式去请求，其实是有些局限性的，比如我们需要打开debug模式，或通过代理模式去请求，就不行了。如果要实现debug模式或代理请求的话，我们需要自己定义Handler和opener。

可以使用相关的 Handler处理器 来创建特定功能的处理器对象；

然后通过 urllib.request.build_opener()方法使用这些处理器对象，创建自定义opener对象；

使用自定义的opener对象，调用open()方法发送请求。

如果程序里所有的请求都使用自定义的opener，可以使用urllib.request.install_opener() 将自定义的 opener 对象 定义为 全局opener，表示如果之后凡是调用urlopen，都将使用这个opener（根据自己的需求来选择）

在urllib库中，给我们提供了一些Handler，如：HTTPHandler，HTTPSHandler，ProxyHandler，BaseHandler，AbstractHTTPHandler，FileHandler，FTPHandler，分别用于处理HTTP，HTTPS，Proxy代理等。

例子一： 简单的自定义opener()

import urllib.request

# 第一步：构建一个HTTPHandler 处理器对象，支持处理HTTP请求

http_handler = urllib.request.HTTPHandler()

# 第二步：调用urllib2.build_opener()方法，创建支持处理HTTP请求的opener对象

opener = urllib.request.build_opener(http_handler)

# 第三步：构建 Request请求

request = urllib.request.Request(“http://www.baidu.com/”)

# 第四步：调用自定义opener对象的open()方法，发送request请求

response = opener.open(request)

# 第五步：获取服务器响应内容

print(response.read())

程序运行的结果：

这种方式发送请求得到的结果，和使用urllib.request.urlopen()发送HTTP/HTTPS请求得到的结果是一样的。

HTTPHandler的debug模式

HTTPHandler的debug模式，是通过在HTTPHandler的参数中传入debuglevel=1，1表示打开debug模式。0表示关闭，默认是0。：

例子二：HTTPHandler的debug模式

import urllib.request

# 第一步：构建一个HTTPHandler 处理器对象，支持处理HTTP请求,同时开启Debug Log

http_handler = urllib.request.HTTPHandler(debuglevel=1)

# 第二步：调用urllib2.build_opener()方法，创建支持处理HTTP请求的opener对象

opener = urllib.request.build_opener(http_handler)

# 第三步：构建 Request请求

request = urllib.request.Request(“http://www.baidu.com/”)

# 第四步：调用自定义opener对象的open()方法，发送request请求

response = opener.open(request)

# 第五步：获取服务器响应内容

print(response.read().decode(‘utf-8’))

运行结果：

如果在 HTTPHandler()增加 debuglevel=1参数，就会将 Debug Log 打开，这样程序在执行的时候，会把收包和发包的报头在屏幕上自动打印出来，方便调试，有时可以省去抓包的工作。