Requests 函数库

requests 函数库 ( 模组 ) 是相当流行的 Python 外部函数库，具备了 GET、POST...等各种 request 用法，透过 requests 能够轻松抓取网页的数据，这篇教学会介绍 requests 函数库的基本用法。

快速导览：

• 安装 requests 模组
• import requests
• requests 的 HTTP 方法
• Response 对象的属性与方法
• 爬取第一个静态网页内容
• 处理乱码问题
• 透过 API 爬取第一个开放数据
• HTTP 状态代码
• 传递参数

本篇使用的 Python 版本为 3.7.12，所有范例可使用 Google Colab 实作，不用安装任何软件 ( 参考：使用 Google Colab )

安装 requests 模组

如果是使用 Colab 或 Anaconda，默认已经安装了 requests 函数库，不用额外安装，如果是本机环境，输入下列指令，就能安装 requests 函数库 ( 依据每个人的作业环境不同，可使用 pip 或 pip3 或 pipenv )。

pip install requests

import requests

要使用 requests 必须先 import requests 模组，或使用 from 的方式，单独 import 特定的类型。

import requests
from requests import get

requests 的 HTTP 方法

requests 可以使用下列 HTTP 六个方法，使用后会传回一个 Response 对象，六个方法里，GET 和 POST 是最常用的两个方法，两个的差别在于 GET 提交的参数会放在标头中传送 ( 公开 )，而 POST 则是放在内容中传送 ( 隐密 )。

Response 对象的属性与方法

当服务器收到 requests HTTP 方法所发出的请求后，会传回一个 Response 对象，对象里包含服务器回应的消息信息，可以透过下列的属性与方法，查询相关内容 ( bytes 表示数据以 bytes 表示，str 以字串表示，dict 以字典表示 )。

爬取第一个静态网页内容

知道 requests 的使用方法后，就可以开始爬取第一个网页内容，范例使用的网站为“台湾水库即时水情”的网站，使用 requests.get 取得回应的对象后，就可以印出 text 的内容 ( 其他文章会介绍如何爬取更多不同的网站 )。

台湾水库即时水情：https://water.taiwanstat.com/

import requests
web = requests.get('https://water.taiwanstat.com/')  # 使用 get 方法
print(web.text)    # 讀取並印出 text 屬性

处理乱码文题

如果发现爬取的内容是乱码，往往是网页与系统的编码设定不同导致，只要在爬取到内容后设定 encoding 为 utf-8 通常就能顺利解决。

import requests
web = requests.get('https://water.taiwanstat.com/')  # 使用 get 方法
web.encoding='utf-8'       # 因為該網頁編碼為 utf-8，加上 .encoding 避免亂碼
print(web.text)

透过 API 爬取第一个开放数据

除了可以爬取网页数据，也可以透过 requests 透过 API，取得政府机关所提供的开放数据，范例使用的是“高雄轻轨月均运量统计”的 JSON 文件，取得数据后，印出 json() 的内容 ( 注意，如果使用 json() 必须要确定回应的数据是 json 格式 )。

• 高雄轻轨月均运量统计：https://data.gov.tw/dataset/106199
• JSON 文件链接：https://data.kcg.gov.tw/dataset/6f29f6f4-2549-4473-aa90-bf60d10895dc/resource/30dfc2cf-17b5-4a40-8bb7-c511ea166bd3/download/lightrailtraffic.json

import requests
web = requests.get('https://data.kcg.gov.tw/dataset/6f29f6f4-2549-4473-aa90-bf60d10895dc/resource/30dfc2cf-17b5-4a40-8bb7-c511ea166bd3/download/lightrailtraffic.json')
print(web.json())

HTTP 状态代码

在爬取网页时，和浏览网页相同，有时会遇到网页无法浏览的情况，这时可以使用“status_code”读取网页的回应状态代码，网页有下列几种常见的回应状态代码：

下方的例子会读取一个不存在的网页，接着判断如果 status_code 为 404，印出“找不到网页”的文字。

import requests
web = requests.get('https://data.kcg.gov.tw/12345')
if web.status_code == 404:
  print('找不到網頁')

传递参数

requests 在使用方法时，也可加入指定的参数，最常用的是 params ( GET 使用 )、data ( POST 使用 )、headers 和 cookies。

下方的例子会使用 get 的方式发送 request 给范例的网址，并会加入 params 参数，当网址收到数据后，就会回传指定的文字。

get 范例网址：https://script.google.com/macros/s/AKfycbw5PnzwybI_VoZaHz65TpA5DYuLkxIF-HUGjJ6jRTOje0E6bVo/exec

import requests
# 設定參數
params = {
    'name':'oxxo',
    'age':'18'
}
# 加入參數
web = requests.get('https://script.google.com/macros/s/AKfycbw5PnzwybI_VoZaHz65TpA5DYuLkxIF-HUGjJ6jRTOje0E6bVo/exec', params=params)
print(web.text)

参考数据

• Requests ( 官方网站 )

意见反馈