Python网络爬虫与信息提取(一):网络爬虫之规则

此系列笔记来源于
中国大学MOOC-北京理工大学-嵩天老师的Python系列课程


1. Requests库入门

  • 安装:管理员方式打开CMD-输入pip install requests

    《Python网络爬虫与信息提取(一):网络爬虫之规则》

    安装Requests库
  • Requests库的七个主要方法:

    《Python网络爬虫与信息提取(一):网络爬虫之规则》

    库方法
  • get方法
    r = requests.get(url):右边构造一个向服务器请求资源的Requests对象,左边返回一个包含服务器资源的Response对象给r
    完整参数:requests.get(url,params=None,**kwargs),实则由request方法封装
    Resonse对象的五个属性:

    《Python网络爬虫与信息提取(一):网络爬虫之规则》

    属性
  • 爬取网页的通用代码框架
    Requests库爬取网页会遇到异常:

    《Python网络爬虫与信息提取(一):网络爬虫之规则》

    6种常用异常

    使用r.raise_for_status()方法构建通用代码框架:

  • def getHTMLText(url)
    try:
      r = requests.get(url,timeout = 30)
      r.raise_for_status()
      r.encoding = r.apparent_encoding
      return r.text
    except:
      return "产生异常"

     

  • HTTP协议及Requests库方法
    HTTP(Hypertext Transfer Protocol,超文本传输协议)是一个基于”请求与响应”模式的/无状态的应用层协议;URL是通过HTTP协议存取资源的Internet路径
    HTTP协议对资源的操作:

    《Python网络爬虫与信息提取(一):网络爬虫之规则》

    HTTP方法

    Requests库主要方法:requests.request(method,url,**kwargs)

    • method(请求方式)包括:
      GET/HEAD/POST/PUT/PATCH/delete/OPTIONS
    • **kwargs(控制访问参数)包括:
      params(添加键值到url后)/data(字典/字节序列等作为Request的内容)/json/headers(HTTP定制头)/cookies(Request中的cookie)/auth(元祖,支持HTTP认证)/files(传输文件)/timeout/proxies(设定访问代理服务器)/allow_redirects(重定向开关)/stream(获取内容立即下载开关)/verify(认证SSL证书开关)/cert(本地SSL证书路径)

2. 网络爬虫的盗亦有道

  • 网络爬虫引发的问题

    《Python网络爬虫与信息提取(一):网络爬虫之规则》

    网络爬虫的尺寸
    • 网络爬虫可能会给Web服务器带来巨大的资源开销
    • 网络爬虫获取数据后可能会带来法律风险
    • 网络爬虫可能会造成隐私泄露
      对网络爬虫的限制:
    • 来源审查:检查来访HTTP协议头的User-Agent域
    • 发布公告:Robots协议
  • Robots协议(Robots Exclusion Standard,网络爬虫排除标准)
    爬虫应自动或人工识别robots.txt,但Robots协议是建议但非约束性

    《Python网络爬虫与信息提取(一):网络爬虫之规则》

    Robots协议需要遵守吗?

    3. Requests库爬取实例

  • 京东商品页面的爬取
  • import requests
    url = "http://item.jd.com/2967929.html"
    try:
      r=requests.get(url)
      r.raise_for_status()
      r.encoding=r.apparent_encoding
      print(r.text[:1000])
    except:
      print("爬取失败")

     

  • 亚马逊商品页面的爬取
    按实例1的步骤去做发现出现了错误:

    《Python网络爬虫与信息提取(一):网络爬虫之规则》

    意外错误

    发现是由于亚马逊有自身的头部审查,故我们模拟浏览器访问:

  • import requests
    url = "http://www.amazon.cn/gp/product/B01M8L5Z3Y"
    try:
      kv = {'user-agent':'Mozilla/5.0'}
      r= requests.get(url,header = kv)
      r.raise_for_status()
      r.encoding=r.apparent_encoding
      print(r.text[1000:2000])
    except:
      print("爬取失败")

     

  • 百度/360搜索关键词提交
    首先我们需要知道搜索关键词的提交接口:
    百度:http://www.baidu.com/s?wd=keyword
    360:http://www.so.com/s?q=keyword
    接下来我们可以利用params参数将关键词加入,代码如下:
  • import requests
    keyword = "Python"
    try:
      kv = {'wd':keyword}
      r= requests.get("http://www.baidu.com/s",params = kv)
      print(r.requrst.url)
      r.raise_for_status()
      print(len(r.text))
    except:
      print("爬取失败")

     

  • 网络图片的爬取和存储
  • import requests
    import os
    url = "http://image.nationalgeographic.com.cn/2017/0311/20170311024522382.jpg"
    root = "D://pics//"
    path = root +url.split('/')[-1]
    try:
      if not os.path.exists(root):
        os.mkdir(root)
      if not os.path.exists(path):
        r=requests.get(url)
        with open(path,'wb') as f:
          f.writr(r.content)
          f.close()
          print("文件保存成功")
      else:
          print("文件已存在")
    except:
      print("爬取失败")

     

  • IP地址归属地的查询
  • import requests
    url = "http://m.ip138.com/ip.asp?ip="
    try:
      r= requests.get(url + '202.204.80.112')
      r.raise_for_status()
      r.encoding=r.apparent_encoding
      print(r.text[-500:])
    except:
      print("爬取失败")

     

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注