urllib模块-Python3

urllib是Python 3用于操作URL的模块。如果你用过Python2,那么你应该知道在Python2中有urllib和urllib2两个模块。你可能对于Python中两个独立存在的urllib和urllib2感到好奇,其实它们并不可以相互代替,2并不是1的升级版,这也是混合使用它们的原因。

Python 3的urllib模块合并了Python2中urllib和urllib2这两个模块的功能。

urllib包含的模块:

  • urllib.request
  • urllib.error
  • urllib.parse
  • urllib.rebotparser

官方的urllib的文档建议使用高级的requests模块。

urllib.request

urllib.request模块主要用来打开下载网页,一个例子:

urlopen默认使用GET请求,要想使用POST请求,需要指定data参数。

下载文件,例如下载本博客的一个图片:

#1

#2 还可以使用urlretrieve方法

指定使用User Agent

urllib.parse

urllib.parse是用来解析url字符串的,可以使用它分解或合并url字符串。一个小例子:

一个例子:

上面是google搜索关键字Python的URL。

假如要搜索关键字“abc”:

urllib模块-Python3

urllib.robotparser

robotparser模块只分析处理一种文件robot.txt。例子:

参考文档:https://docs.python.org/3/library/urllib.html

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注