標籤 爬蟲

DrissionPage 實測:把瀏覽器控制與收包裝進同一套語法

TechMoon 精選圖|DrissionPage 以同一套 Python 語法完成瀏覽器控制與資料收包,不需 chromedriver。

DrissionPage 是 12,500 星的 Python 網頁自動化庫,拿掉 chromedriver、同一套語法同時做瀏覽器控制與資料收包。本機實測兩種模式都跑得通:收包 0.007 秒、headless 瀏覽器 0.61 秒啟動;但採用前要先看清兩件事,授權條款畫了商用牆(商用需作者授權、文件禁商用),開發主場也已搬到 gitcode,GitHub 的版本發布停在 2025 年 3 月。

Kspider 開源視覺化爬蟲平台自架實測,拖流程圖就能爬、帳號要用 SQL 建

TechMoon 精選圖|Kspider 把請求、擷取與輸出節點拖曳連線,組成可用 Docker 自架的網頁資料爬取流程。

Kspider 是 1,268 星的 MIT 開源視覺化爬蟲平台,把節點拖成流程圖就能抓網頁資料。實測在 Apple Silicon 用三個 Docker 容器完整自架:後端 5 秒起動、任務真的爬到資料;但專案開發停在 2024 年 8 月、官方站已連不上,密碼明文儲存、流程失敗只留一行「執行出錯」。放內網當個人採集工作台可以,別當有維護的生產系統。

Share to...