標籤 網頁爬蟲

Kspider 開源視覺化爬蟲平台自架實測,拖流程圖就能爬、帳號要用 SQL 建

TechMoon 精選圖|Kspider 把請求、擷取與輸出節點拖曳連線,組成可用 Docker 自架的網頁資料爬取流程。

Kspider 是 1,268 星的 MIT 開源視覺化爬蟲平台,把節點拖成流程圖就能抓網頁資料。實測在 Apple Silicon 用三個 Docker 容器完整自架:後端 5 秒起動、任務真的爬到資料;但專案開發停在 2024 年 8 月、官方站已連不上,密碼明文儲存、流程失敗只留一行「執行出錯」。放內網當個人採集工作台可以,別當有維護的生產系統。

Share to...