↓快轉到主要內容
  1. 教學文章/

不用一直複製貼上:把網頁表格整理成 CSV

·8 分鐘· loading · loading · ·
Python BeautifulSoup HTML CSV 日常自動化
每日拍拍
作者
每日拍拍
科學家 X 科技宅宅
目錄
Python 學習 - 本文屬於一個選集。
§ 159: 本文

一. 前言:表格明明在網頁上,貼進試算表卻歪掉
#

你想整理一份課程時間表。 網頁上看起來整整齊齊,一貼進試算表,卻多出空白列, 課名和老師名字還黏在同一格。

拍拍君今天不做大型爬蟲,只完成一件事: 讀取一張普通 HTML 表格,把每列內容存成 CSV。 之後可以用 Excel、LibreOffice,或你熟悉的資料工具打開。

先用本機檔案練習,不用登入、不受網站改版影響。 下載完整練習包,解壓縮後就有範例和程式; 也可以照著本文逐段建立。 所有課程與人物都是虛構練習資料。

這篇重點是「從 HTML 找出儲存格」,不是重教 CSV 格式。 想深入引號、分隔符號與讀寫方法,可以接著看 Python csv 教學。

二. 安裝:套件叫 beautifulsoup4,匯入叫 bs4
#

建立新的練習資料夾,終端機切到裡面。 以下指令使用 python;如果你的系統只有 python3,請相應替換。

python -m venv .venv

macOS / Linux 啟用環境:

source .venv/bin/activate

Windows PowerShell 啟用環境:

.\.venv\Scripts\Activate.ps1

安裝 BeautifulSoup:

python -m pip install beautifulsoup4

BeautifulSoup 負責把 HTML 變成可搜尋的樹狀物件。 本文搭配 Python 內建的 html.parser,不必另外安裝解析器。 csv 和 pathlib 也都是標準庫。 本文使用 Python 3.14.3、BeautifulSoup 4.15.0 實際執行並核對輸出。

三. 先準備一張看得懂的小表格
#

建立 schedule.html,存成 UTF-8:

<!doctype html>
<html lang="zh-Hant">
<head><meta charset="utf-8"><title>拍拍學習社</title></head>
<body>
  <h1>週末課程</h1>
  <table id="schedule">
    <thead>
      <tr><th>星期</th><th>課程</th><th>講師</th></tr>
    </thead>
    <tbody>
      <tr>
        <td>六</td><td><a href="/courses/python">Python 入門</a></td>
        <td>拍拍君</td>
      </tr>
      <tr>
        <td>六</td><td>資料整理<br>練習班</td><td>拍拍醬</td>
      </tr>
      <tr>
        <td>日</td><td>寫作 &amp; 筆記</td><td>chatPTT</td>
      </tr>
    </tbody>
  </table>
</body>
</html>

用瀏覽器打開它,就能看到一份三欄、三筆課程的表格。 其中刻意放了連結、換行與 &amp;, 模擬「畫面很簡單,原始碼卻不只有文字」的情況。

先記住幾個標籤即可:

標籤 在本文的角色
table 整張表格
tr 一列
th 標題儲存格
td 資料儲存格
thead / tbody 標題區與資料區

不用背完 HTML,也不用寫正規表達式猜標籤邊界。 我們要讀的是結構,不是把所有尖括號刪掉。

四. 第一份成果:十幾行就能存出 CSV
#

建立 quick_export.py,貼上:

import csv
from pathlib import Path
from bs4 import BeautifulSoup

html = Path("schedule.html").read_text(encoding="utf-8")
soup = BeautifulSoup(html, "html.parser")
table = soup.select_one("table#schedule")
if table is None:
    raise ValueError("找不到課程表")

rows = []
for tr in table.select("tr"):
    cells = tr.find_all(["th", "td"], recursive=False)
    rows.append([" ".join(c.get_text(" ", strip=True).split()) for c in cells])

with open("schedule.csv", "w", encoding="utf-8-sig", newline="") as f:
    csv.writer(f).writerows(rows)
print(f"已匯出 {len(rows) - 1} 筆課程")

執行:

python quick_export.py

終端機顯示 已匯出 3 筆課程。 同一個資料夾裡會出現 schedule.csv,文字內容如下:

星期,課程,講師
六,Python 入門,拍拍君
六,資料整理 練習班,拍拍醬
日,寫作 & 筆記,chatPTT

連結只留下課名,<br> 變成空格,HTML 實體還原成 &。 原始的 schedule.html 不會被修改。 這份簡短版本專門搭配上面的固定範例; 若要換成其他網頁,接著使用下面有檢查的完整版本。

五. 看懂三個動作:選表格、找格子、取文字
#

1. 用選擇器定位,而不是拿第一張表碰運氣
#

table#schedule 的意思是「id 為 schedule 的 table」。 如果網頁還有導覽表格或其他資料,這樣不容易抓錯張。

實際網站可能使用 class,例如 table.course-list。 可以在瀏覽器檢查元素,找到能明確代表目標表格的標記。 不要直接把所有 td 混成一大串,列的關係會不見。

2. 每次處理一列,再處理這一列的儲存格
#

recursive=False 讓 find_all 只找 tr 的直接子節點。 我們要的是外層欄位,而不是把巢狀小表格的格子也當成新欄位。

不過「沒有多抓欄位」不代表支援巢狀表格。 本文完整版本會直接拒絕那種版型,避免默默混入文字。

3. 先取文字,再整理排版空白
#

get_text(" ", strip=True) 把子節點文字用空格隔開。 再用 split() 加 join(),把連續空白、換行與不斷行空白統一成一格。

這是本例課程名稱想要的效果,但不適合詩句或程式碼。 如果儲存格的換行本身有意義,就不能把這個清理規則照單全收。 另外,這裡只取可解析的文字,不會保留超連結網址或樣式。

六. 完整版本:換一張表,也先看有沒有抓對
#

下面整理成 export_table.py。 它只接受「第一列是標題、每列欄數相同、沒有合併儲存格」的表格。 遇到不符合的輸入會先報錯,不會產生一份看似成功卻錯位的 CSV。

import csv
from pathlib import Path
from bs4 import BeautifulSoup


def table_rows(html, selector="table#schedule"):
    soup = BeautifulSoup(html, "html.parser")
    table = soup.select_one(selector)
    if table is None or table.name != "table":
        raise ValueError("找不到目標 table,請檢查選擇器")
    if table.find("table") is not None:
        raise ValueError("本文範例不處理巢狀表格")

    rows = []
    for tr in table.find_all("tr"):
        cells = tr.find_all(["th", "td"], recursive=False)
        if not cells:
            continue
        if any(c.get("rowspan", "1") != "1"
               or c.get("colspan", "1") != "1" for c in cells):
            raise ValueError("請改用沒有合併儲存格的表格")
        if not rows and not all(c.name == "th" for c in cells):
            raise ValueError("第一列必須是 th 標題")
        row = [" ".join(c.get_text(" ", strip=True).split()) for c in cells]
        if rows and len(row) != len(rows[0]):
            raise ValueError("有一列欄數不同,請先檢查 HTML")
        rows.append(row)

    if len(rows) < 2:
        raise ValueError("需要一列標題與至少一列資料")
    return rows


def export_table(source, target, selector="table#schedule"):
    source, target = Path(source), Path(target)
    if source.resolve() == target.resolve():
        raise ValueError("輸入與輸出不可使用同一路徑")
    html = source.read_text(encoding="utf-8-sig")
    rows = table_rows(html, selector)
    with target.open("w", encoding="utf-8-sig", newline="") as f:
        csv.writer(f).writerows(rows)
    return len(rows) - 1


if __name__ == "__main__":
    count = export_table("schedule.html", "schedule.csv")
    print(f"已匯出 {count} 筆課程到 schedule.csv")

執行方式沒有變:

python export_table.py

若要換表格,在最後的 export_table(...) 傳入另一個選擇器即可。 表格可以直接放 tr,也可以有 thead、tbody,程式都能走訪。 輸出若已存在會被覆寫;想保留上次成果,就先換個輸出檔名。

不用把這段改造成萬用網頁解析器。 先明確支援自己手上那一張表,比「好像什麼都能抓」可靠得多。

七. 打開 CSV:中文、逗號與看不見的細節
#

本文選 utf-8-sig,是在 UTF-8 檔案開頭加上 BOM, 方便某些試算表軟體在直接開檔時辨識中文。 如果要交給明確要求無 BOM 的系統,可改成 utf-8。

newline="" 則把換行處理交給 csv 模組。 不要自己用 ",".join(row) 拼接:課名裡真的有逗號時會切成兩欄。 csv.writer 會處理必要的引號,不必手動替換標點。

開啟後先對照原始表格:

  • 標題是不是「星期、課程、講師」?
  • 資料是不是三筆,而不是把標題也算成課程?
  • 第二筆是否完整顯示「資料整理 練習班」?

CSV 只保存值,不會保留底色、欄寬與超連結。 試算表也可能自動轉換日期或前導零;需要保留文字時,用匯入功能指定文字欄。 另外,CSV 引號不是公式防護:若未來改抓不可信來源, 不要直接雙擊開啟含公式開頭的儲存格,應先檢查內容並以文字匯入。 本篇練習資料沒有公式。

八. 換成真正網站之前,先確認表格在哪裡
#

在瀏覽器「檢視網頁原始碼」裡搜尋一個課名。 如果找得到 <table> 和資料,才適合沿用今天的方式。

瀏覽器畫面看得到,不代表下載的 HTML 就有。 有些網站用 JavaScript 另外載入資料;BeautifulSoup 不會執行 JavaScript, 也不會幫你操作登入或點分頁。 這時先找網站提供的 CSV 下載或公開資料介面,通常更省事。

若來源允許下載,可先把正確的靜態表格另存成 UTF-8 HTML, 再把檔名與選擇器換進程式。 進一步用程式下載頁面時,請參考 Requests 教學,保留 timeout 並檢查 HTTP 狀態。 下載和解析是兩個階段,這裡不另建爬蟲框架。

若遇到合併標題、跨列儲存格或表格內再嵌表格, 先使用網站的匯出功能,或換一份簡單的資料來源。 直接忽略 rowspan / colspan 只會把資料擠歪,不是支援它們。

九. 小練習:改完資料,看看結果有沒有跟著變
#

先新增一列「日、筆記整理、拍拍君」,再次執行程式。 應該顯示四筆資料,而且 CSV 只多出那一列。

接著把其中一個課名改成 筆記, 清單與整理。 用試算表打開結果,課名仍應留在同一欄,不能分裂成兩格。

最後,把 id="schedule" 改成 id="courses"。 程式應該回報找不到表格;把選擇器改成 table#courses 後,才會成功。 這三個動作能幫你確認:自己不是只剛好跑出一份檔案。

結語:先整理好一張表,就已經很有用
#

今天的路線很短:讀 HTML、定位表格、逐列取文字,最後交給 CSV writer。 真正省下來的不是打字時間,而是少了一次又一次複製貼上後的人工對齊。

先從你看得懂的小表格開始。 確認輸出能用,再換成日常要整理的那張表;不必第一天就寫全站爬蟲。 拍拍君覺得,讓一件重複小事消失,就是很好的自動化起點。

延伸閱讀
#

Python 學習 - 本文屬於一個選集。
§ 159: 本文

相關文章

照片太大寄不出去?用 Python 批次縮圖與壓縮
·8 分鐘· loading · loading
Python Pillow 照片縮圖 圖片壓縮 日常自動化
Rich 報表匯出:Record Buffer、HTML/SVG 與可重現分享
·8 分鐘· loading · loading
Python Rich HTML SVG Reports Testing
Streamlit Data Editor 實戰:可編輯表格、上傳驗證與 CSV 匯入匯出
·8 分鐘· loading · loading
Python Streamlit Data-Editor CSV Validation Developer-Tools
不想再複製貼上:用 Python 合併多個 Excel 表格
·8 分鐘· loading · loading
Python Openpyxl Excel 辦公室自動化
Python subprocess 超時治理:POSIX Process Group、升級終止與輸出收尾
·7 分鐘· loading · loading
Python Subprocess POSIX Process Groups Timeout Testing
Python SQLite 線上備份:WAL、Connection.backup 與還原驗收
·7 分鐘· loading · loading
Python SQLite WAL Backup Restore Testing