Python网络爬虫与信息提取(二):网络爬虫之提取

此系列笔记来源于
中国大学MOOC-北京理工大学-嵩天老师的Python系列课程


4. Beautiful Soup库入门

Beautiful Soup库可对HTML/XML格式进行解析并提取相关信息

  • 安装:管理员方式打开CMD-输入pip install beautifulsoup4
    小测:

    《Python网络爬虫与信息提取(二):网络爬虫之提取》

    获得链接的HTML代码内容

    《Python网络爬虫与信息提取(二):网络爬虫之提取》

    使用beautifulsoup解析
  • Beautiful Soup库的基本元素
    Beautiful Soup库是解析/遍历/维护”标签熟”的功能库,引用方式:
    from bs4 import BeautifulSoup
    import bs4
    Beautiful Soup库的4种解析器:

    《Python网络爬虫与信息提取(二):网络爬虫之提取》

    Beautiful Soup类的基本元素:

    《Python网络爬虫与信息提取(二):网络爬虫之提取》

    bs类基本元素
    • Tag标签
      《Python网络爬虫与信息提取(二):网络爬虫之提取》

      任何存在于HTML语法中的标签都可用**soup.<tag>访问获得,存在多个取第一个

    • Tag的name
      《Python网络爬虫与信息提取(二):网络爬虫之提取》

      每个<tag>有自己的名字,通过<tag>.name获取,字符串类型

    • Tag的attrs
      《Python网络爬虫与信息提取(二):网络爬虫之提取》
    • Tag的NavigableString
      《Python网络爬虫与信息提取(二):网络爬虫之提取》
    • Tag的Comment
      《Python网络爬虫与信息提取(二):网络爬虫之提取》
  • 基于bs4库的HTML内容遍历方法

    《Python网络爬虫与信息提取(二):网络爬虫之提取》

    三种遍历方式
    • 下行遍历

      《Python网络爬虫与信息提取(二):网络爬虫之提取》

      属性

      《Python网络爬虫与信息提取(二):网络爬虫之提取》

      遍历
    • 上行遍历

      《Python网络爬虫与信息提取(二):网络爬虫之提取》

      属性

      《Python网络爬虫与信息提取(二):网络爬虫之提取》

      遍历
    • 平行遍历

      《Python网络爬虫与信息提取(二):网络爬虫之提取》

      属性

      《Python网络爬虫与信息提取(二):网络爬虫之提取》

      遍历
  • 基于bs4库的HTML格式输出
    使用prettify()方法,为HTML文本<>及其内容增加”\n’并且可用于标签/方法

5.信息组织与提取方法

  • 信息标记的三种形式及比较
    XML(eXtensible Markup Language)是最早的通用信息标记语言,可扩展性好,但繁琐;标签由名字和属性构成,形式有:
  • <name>...</name>
    <name />
    <!--   -->
  • JSON(JavaScript Objection Notation)适合程序处理,较XML简洁;有类型的键值对,形式有:
  • "key":"value"
    "key":["value1","value2"]
    "key":{"subkey":"subvalue"}
  •  

    YAML(YAML Ain’t Markup Language)文本信息比例最高,可读性好;无类型的键值对,形式有:

  • key:value
    key:#Comment
    -value1
    -value2
    key:
      subkey:subvalue

     

  • 信息提取的一般方法
    • 完整解析信息的标记形式再提取关键信息,需要标记解析器;优点是解析准确,缺点是提取繁琐且慢
    • 无视标记形式,直接搜索关键信息;优点是提取速度快,缺点是准确性与信息内容相关
    • 结合两种方法,需要标记解析器和文本搜索功能
  • 基于bs4库的HTML内容查找方法
  • <>.find_all(name,attrs,recursive,string,**kwargs)`
    #返回一个列表类型,存储查找的结果
    #name:对标签名称的检索字符串
    #attrs:对标签属性值的检索字符串,可标注属性检索
    #recursive:是否对子孙全部搜索,默认True
    #string:对字符串域进行检索

     
    由find_all()扩展的七个方法:

    《Python网络爬虫与信息提取(二):网络爬虫之提取》

    扩展方法

6.实例一:中国大学排名爬虫

步骤1:从网络上获取大学排名网页内容getHTMLText()
步骤2:提取网页内容中信息到合适的数据结构fillUnivList()
步骤3:利用数据结构展示并输出结果printUnivLise()

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "error" 

def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[3].string])

def printUnivList(ulist,num):
    tplt="{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))

def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)
main()

 

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注