Node.JS自動化教學7:用Puppeteer操控網頁瀏覽器

![[Node.JS 자동화] Node.js 자동화 프로그래밍, 반복 작업을 AI와 함께 자동화하는 실전 개발(프롤로그)](/uploads/editor/Node-JS-%EC%9E%90%EB%8F%99%ED%99%94-Node-js-%EC%9E%90%EB%8F%99%ED%99%94-%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D-%EB%B0%98%EB%B3%B5-%EC%9E%91%EC%97%85%EC%9D%84-AI%EC%99%80-%ED%95%A8%EA%BB%98-%EC%9E%90%EB%8F%99%ED%99%94%ED%95%98%EB%8A%94-%EC%8B%A4%EC%A0%84-%EA%B0%9C%EB%B0%9C-%ED%94%84%EB%A1%A4%EB%A1%9C%EA%B7%B8-20260702-e78eab.webp)
Puppeteer是甚麼?
在編寫自動化程式時,有時單靠呼叫API無法解決問題。
例如:
需要登入的網站
需點擊按鈕才能顯示數據的網站
需執行JavaScript才能生成畫面的網站
採用無限滾動方式的頁面
這些網站單靠一般HTTP請求難以取得所需數據。
此時便需要用到Puppeteer。
Puppeteer是由Google開發的Node.js庫,可讓程式控制實際Chrome瀏覽器。
換言之,所有人在鼠標和鍵盤上進行的操作都能透過代碼執行。
Puppeteer能做什麼?
Puppeteer能完成的任務遠比想像中多樣。
常見例子包括:
訪問網站
自動登入
輸入搜索詞
點擊按鈕
滾動畫面
數據收集
儲存PDF
儲存螢幕截圖
下載文件
基本上,大部分瀏覽器操作都能自動化完成。
在自動化專案中幾乎是必用技術。
Puppeteer安裝方法
首先將Puppeteer安裝到專案中。
npm install puppeteer
首次安裝時會同時下載Chromium瀏覽器,因此比一般庫稍需時間。
安裝完成即可直接使用。
Puppeteer載入方法
要在專案中使用Puppeteer,須先載入該庫。
const puppeteer = require("puppeteer");
只需這一行代碼,瀏覽器控制準備就緒。
啟動第一個瀏覽器
示範最簡單的範例。
const puppeteer = require("puppeteer");
(async () => {
const browser = await puppeteer.launch({
headless: false
});
const page = await browser.newPage();
await page.goto("https://www.naver.com");
})();
執行後,Chrome瀏覽器會自動開啟並導向naver.com首頁。
無需人手操作,程式已代為執行。
headless模式是甚麼?
Puppeteer提供兩種運行方式:
headless: false
瀏覽器畫面會實際顯示。
開發時最常用此模式。
相反地,
headless: true
則瀏覽器畫面不會顯示,在背景執行。
實際伺服器環境通常使用此模式。
轉到指定頁面
要開啟網頁,可使用goto()函數。
await page.goto("https://blogscore.co.kr");
只需更改URL即可轉到目標網站。
等待頁面完全載入
網頁需時間顯示完整內容,因此通常會這樣寫:
await page.goto(url, {
waitUntil: "networkidle2"
});
如此可等待大部分數據載入完成後再進行下一步。
在輸入框輸入文字
亦可在搜索欄或登入欄自動輸入文字。
例如:
await page.type("#query", "Node.js");
這會在搜索框自動輸入「Node.js」。
效果等同於人手鍵盤輸入。
自動點擊按鈕
輸入完成後,亦可自動點擊按鈕。
await page.click(".search-btn");
只要知道選擇器,大多數按鈕都能自動點擊。
提取頁面內容
亦可提取網頁HTML內容。
const html = await page.content();
或提取特定元素:
const title = await page.$eval("h1", el => el.innerText);
如此可提取所需數據使用。
儲存螢幕截圖
自動化程式常需儲存螢幕截圖。
await page.screenshot({
path: "capture.png",
fullPage: true
});
程式會自動將當前畫面儲存為圖像檔案。
常用於錯誤排查或報告生成。
儲存PDF
亦可將網頁儲存為PDF格式。
await page.pdf({
path: "page.pdf"
});
常用於自動生成報告的程式中。
同時處理多個頁面
Puppeteer可同時開啟多個頁面。
例如:
多個新聞網站
多個電商平台
多個搜索結果
等均可同時處理。
但開啟過多頁面會消耗大量記憶體,需適度控制。
自動登入亦可行
需要登入的網站亦可自動處理。
例如:
await page.type("#id", "myid");
await page.type("#password", "mypassword");
await page.click("#login");
如此可自動完成登入流程。
實務中常用於管理後台自動化或業務系統自動化。
使用Puppeteer的注意事項
並非所有網站都允許自動化。
部分網站會透過以下方式阻止自動化:
CAPTCHA驗證
機器人阻擋
登入限制
請求限制
同時需遵守網站使用條款及相關法規。
自動化雖方便,但須正確運用於合適目的與方法。
Puppeteer的實際應用場景
本課程中,Puppeteer將應用於多種專案。
例如:
新聞自動收集
管理後台自動登入
網站數據提取
圖片儲存
畫面截圖
自動點擊
自動搜索
等多項功能。
即使API未提供,亦可透過直接控制瀏覽器自動收集數據,應用範圍極廣。
與Playwright的區別
下一課將學習Playwright。
Puppeteer擅長Chrome系瀏覽器自動化,
而Playwright支援Chrome、Edge、Firefox及Safari(WebKit)等多種瀏覽器,適用範圍更廣。
兩者使用方法極為相似,掌握Puppeteer後可輕鬆學習Playwright。
總結
本課介紹了如何利用Puppeteer自動控制網頁瀏覽器。
涵蓋瀏覽器啟動、頁面跳轉、輸入、點擊、數據提取及截圖等自動化專案常用功能。
最大優勢在於可直接操控瀏覽器,即使API未提供亦能自動收集數據。
下節將介紹使用Playwright實現更穩定的登入與網頁數據收集,並比較兩者的優缺點及應用方法。
常見問題
Puppeteer與Playwright有何分別?
Puppeteer專注於Chrome系瀏覽器,而Playwright支援多種瀏覽器如Edge、Firefox及Safari,適用範圍更廣。
關於韓文原文報道
本文根據 BlogScore 刊登的韓文報道,為香港讀者以繁體中文編寫。 原文標題:[Node.JS 자동화] 7강. Puppeteer로 웹 브라우저 자동 제어하기