LangSmith 程式代理 ROI 儀表板:把已合併 PR 的成本算出來

LangChain 在 2026-11-18 為 LangSmith 推出程式代理 ROI 儀表板公開測試版:outcomes 把 GitHub PR 與 GitLab MR 連回代理對話,每份已合併 PR 的成本可以直接回查,沒有產生 PR 的支出獨立列為未歸因項目。支援 Claude Code、OpenAI Codex、Cursor、GitHub Copilot 與 Deep Agents,追蹤計入一般 tracing 用量。

用 AI 摘要這篇文章:

LangChain 在 2026 年 11 月 18 日為 LangSmith 推出「LangSmith for Coding Agents」更新:新增專為程式代理設計的報表頁,並引進一個叫 outcomes 的新概念,把 GitHub 的拉取請求(pull request,PR)或 GitLab 的合併請求(merge request,MR)連回產生它們的代理對話。管理者從此可以直接查兩個過去答不出來的數字:每份已合併 PR 花了多少,以及多少支出從頭到尾沒有產生任何 PR。功能以公開測試版(public beta)上線 LangSmith Cloud,代理追蹤計入一般 tracing 用量,並非免費附贈。

LangChain 官方部落格公告標題:LangSmith for Coding Agents,Now track spend by outcomePin
LangChain 官方公告(2026-11-18):LangSmith for Coding Agents,把支出按成果追蹤。

這次更新解的是「帳單看得到、成果對不上」的問題。官方公告稱 coding 是企業 AI 應用支出裡最大的類別,2026 年達 340 億美元,出處連向創投 Menlo Ventures 的《2026 企業 AI 現況》報告;報告本身的圖像更具體:coding 與企業聊天機器人合計佔 773 億美元應用市場的 76%。同一份報告也量到,模型實驗室自營的程式代理一年內從 10 億美元長到 240 億美元,實驗室以外的程式代理市場同期仍成長 2.9 倍至 100 億美元。錢明顯往程式代理集中,但官方也直言,多數工程主管仍然講不清楚這些支出換回了什麼。LangChain 自家的程式代理 Robin 支出一路攀升,官方把這段親身經歷列為打造這套報表的動機之一,也因為同樣的壓力先替自家流量建了模型路由器。

誰會看到這份報表:已把代理追蹤接進 LangSmith 的團隊

這次功能的適用範圍很明確:LangSmith Cloud 的公開測試版,追蹤資料計入既有的 tracing 用量。換句話說,帳號本來就有 LangSmith 用量方案的團隊接了外掛就能用,沒有因為 beta 而多出免費額度。

公告列出的支援對象有五種:Claude Code、OpenAI Codex、Cursor、VS Code 裡的 GitHub Copilot,以及給自建代理用的 Deep Agents。團隊本來就混用多種程式代理的,可以先看看把多個代理收進同一個看板的管理方式,再評估要不要把追蹤統一交給 LangSmith。LangSmith 的官方文件另外維護著一份「coding agent metadata contract」規格頁,列出實作這份追蹤契約的整合共有七個,比公告多出 Pi 與 Opencode 兩個。兩份官方資料的口徑不一致,接入前建議以文件頁為準,先確認自己用的入口確實在清單上。

沒有把追蹤接進 LangSmith 的團隊完全不受影響。這點也提醒了一個容易誤判的地方:儀表板只看得到「有接入」的工作。若團隊裡有人仍然在未接入的介面完成大部分任務,報表上的每份成果成本會顯得特別低,原因可能只是資料不完整,與效率無關。

這份報表也有跨部門溝通上的用處。每份已合併 PR 的成本讓財務端看見「一個出貨單位」的價格,而它旁邊並列的未歸因支出,則提醒沒有產出 PR 的對話仍然存在。官方的設計意圖是讓工程與財務看同一份畫面:成本暴增或下降時,工程端可以打開背後的對話,說明這些錢實際換到了什麼,而不是只交一條曲線給管理層解讀。這對一直在為代理預算答辯的團隊主管,可能是比任何單一指標都實際的溝通工具。

前後差異:過去逐筆看成本,現在從成果往回查對話

官方公告對「之前」的描述很直白:在這次更新前,LangSmith 讓你查看任何程式代理的成本,但一次只能看一筆追蹤(one trace at a time)。這對手動除錯有用,卻看不見整個團隊的趨勢,也回答不了「這個月代理的錢花到哪裡去」這種問題。

更新後的程式代理概觀頁(coding agent overview)把這些成本彙總成關鍵指標,點任何一個指標就能展開時間趨勢。官方給的例子是團隊換模型之後,可以直接比較切換前後的成本與成果變化。支出也會按每份 PR 的狀態拆開:開啟中(open)、已關閉(closed)、已合併(merged)三種各自計算。這三個狀態是程式協作流程的語意,不是商業結果,關閉可能代表放棄,也可能代表改走另一條路。

最大的一項差異在於歸因方向反了過來。過去是「這段對話花了多少」,現在可以從成果回頭問「這份 PR 背後是哪些對話、總共花了多少」。每份 PR 都連回它背後的 threads,也就是產生它的完整對話紀錄,管理者能打開確切的對話內容,看代理在那個工作階段裡實際做了什麼。

架構上,這套報表掛在新一代的 LangSmith Agent Platform 底下。官方說明,平台以代理為單位運作:每個代理有自己的紀錄,並歸屬於某個「代理類型」,類型決定它的儀表板顯示什麼、連接哪些資料、怎麼被評估。程式代理是第一個專門化的代理類型,PR 則是它認定「代理的工作有用」的訊號之一。這個設計暗示之後會有其他類型跟進,但也代表現在看到的欄位與檢視都還在演化。

一段對話能開多份 PR,一份 PR 也能吃掉多段對話

把成本連到成果,最怕的是連線方式算錯。官方在公告裡特別處理了兩種不對稱的情況:單一 thread 可能開出好幾份 PR,而一份 PR 也可能要經過好幾個 thread 才完成。若只把一次工作階段當成一份成果,跨階段的成本會被漏掉;反之把整段對話的金額全記在它碰過的每份 PR 上,又會重複計算。歸因資料要能用,前提是把這層多對多關係交代清楚。

沒有連到 PR 的支出也沒有被藏起來。LangSmith 把這類支出獨立列為「未歸因支出」(unattributed spend),可以點進去看背後的對話。官方特別提醒,程式代理也被用來審查程式碼與調查問題,這些工作不見得會產出自己的 PR,但仍有價值。工作類型檢視(work type view)會按任務性質替每段對話分類,例如新功能、除錯、調查與程式碼審查,各組織可自行定義什麼算偏題:只做後端服務的團隊,可以把「請代理寫行銷文案」這類對話標出來。

追蹤的底層是一份公開的中繼資料契約。文件的規格頁定義了五種執行類型(root、llm、tool、subagent、interrupted),每筆追蹤都要帶核心識別欄位(例如所屬整合的代碼 claude-code),代理版本、儲存庫與分支這些欄位則在執行環境拿得到資訊時才必填,schema 版本目前是 coding-agent-v1。對一般管理者來說這些名字不重要,重要的是它讓不同代理的追蹤長得一致,跨工具的報表才有共同的分類基礎。

LangSmith 官方文件的中繼資料契約頁 Supported integrations 表格,列出七個實作整合與各自識別代碼Pin
LangSmith 官方文件的整合清單:七個入口實作同一份追蹤契約,比公告多出 Pi 與 Opencode。

儀表板也追蹤代理呼叫的技能。這裡的技能指代理工作時載入的一組指引或操作方式,不是人員的能力分數。技能被呼叫的次數、出現在哪些對話裡,都可以回頭查看:某個技能總是出現在又長又貴的對話裡,可能是它的指引讓代理多繞了路,改寫它也許就是最便宜的修法;反過來,某個技能常出現在很快就能合併的短對話裡,也許值得推廣給更多人用。官方對新技能的做法更謹慎:先推給幾位工程師,再比較有用與沒有用到它的對話在成本與合併 PR 上的差別。呼叫次數適合當調查線索,不適合單獨拿來宣告某項技能有效或無效。

數字怎麼讀才不會誤判團隊

官方定位這套報表的方式值得直接沿用:合併的 PR 是「代理工作有用的訊號之一」,而且明講它不是唯一訊號。順著這個定義,有幾個解讀上的界線要先劃清楚。

合併只代表修改進入了目標分支,不等於已經部署,更不等於被採用或產生營收。每份已合併 PR 的成本上升,下一步該做的是沿著連結回到對話內容:這批修改是不是本來就比較難?是不是為了補先前的問題而多寫了測試?還是代理反覆用同一種方法失敗重試?同一個數字背後可以是任務組成改變,也可以是真的變貴了,只看曲線分不出來。

未歸因支出同樣不該直接當成浪費。一段調查系統為何變慢的對話,結果發現瓶頸在外部服務而沒有改任何程式,它避免了錯誤的開發方向,卻不會留下自己的 PR。反過來說,一份很快合併的修改也可能只是改幾個字。把每份已合併 PR 的成本當成唯一指標來評比工程師,很容易鼓勵大家把修改切得很碎,帳面數字變漂亮,實際工作沒有變少。

官方建議的用法都比這些踏實:換模型前後比較同一類工作的成本與合併率;把子代理換到較小的模型,用成本拆解驗證省了多少、成果是否照樣合併;按歸因成本排序找出最貴的 PR,回頭看是哪種對話模式造成的。其中一個方向與工具無關:支出集中在非常長的對話,因為每一輪都要帶著完整上下文。公告引用的 Claude Code 官方成本指南也建議,切換到不相關的任務時先用 /clear 清空對話,舊內容會在後續每則訊息上浪費 token。

教練與經驗分享是官方點名的另一個場景。按歸因成本排序後,可以看到哪些 PR 的生產成本特別高,每份都能回溯到背後的對話、用到的模型,以及提出修改的 GitHub 帳號。當某位工程師用明顯較低的成本把同類工作合併進主線,就能打開他的對話看做法上的差異,再分享給團隊。長對話的習慣也可以這樣處理:先把「任務之間清空對話」的建議告訴大家,之後再回頭看成本隨對話長度分佈的檢視,確認習慣是否真的改變。這些做法把數字放回『找出可改善的原因』的位置,而不是替人排名。

想試的團隊:三個步驟,先從一個代理一個儲存庫開始

官方的入門流程有三步:替團隊用的每個程式代理安裝對應外掛、連接 GitHub、打開 LangSmith 的程式代理概觀頁。以 Claude Code 為例,外掛用三個指令就能裝好:

/plugin marketplace add langchain-ai/langsmith-claude-code-plugins

/plugin install langsmith-tracing@langsmith-claude-code-plugins

/reload-plugins

官方的起手建議很保守:先接一個代理、一個儲存庫,第一批對話進來後,支出就會按 PR 拆開顯示。接入後值得先做一件小事:挑一份團隊熟悉的 PR,回頭檢查它連到的對話是否齊全、金額是否合理。歸因準不準,只有實際拿自己 repo 的資料對照才驗得出來,這一步通過了,之後看到的趨勢才有討論基礎。對已經在用 LangSmith 追蹤其他 AI 應用的團隊,多出的動作只有連 GitHub 與開外掛;還沒用 LangSmith 的團隊,不需要為了這份報表特地導入,先把自己的用量與成本看清楚即可,例如先從 AI coding plan 的額度與真實成本結構 讀起,或用 Agent Battery 這類本機用量監控 掌握現況,再決定要不要上完整的觀測平台。

還沒確定的事:示範數字、GitLab 細節與 beta 的保存期限

公告裡儀表板畫面上的金額與件數,官方沒有標明資料出處;除非另行說明,不應把它們當成任何客戶的平均值,更不該拿來當預算基準。outcomes 同時支援 GitHub PR 與 GitLab MR,但入門流程只寫了連接 GitHub,GitLab 帳號的連接步驟公告沒有單獨交代,實際接入時以當下的官方文件為準。計費也只交代了「計入一般 tracing 用量」這一句:程式代理的追蹤量通常不小,接入多個代理之後帳單會怎麼變,公告沒有給估算,團隊在自己帳號裡先小規模跑一輪再看數字,會比照著示範畫面規劃預算穩當。

公開測試版本身也有保存期限的問題。欄位、檢視與歸因規則在 beta 期間都可能調整,官方在結尾預告還會有更多針對程式代理的體驗。本文內容以 2026 年 11 月 18 日的公告與其引用的官方文件為準,接入後的實際歸因準確度,要等各團隊自己的第一批資料出來才能檢驗;打算導入的團隊,建議十二月中旬回頭確認 beta 的最新狀態再決定推廣範圍。

Sliven 褚崇名
Sliven 褚崇名

每日分享科技新知、免費資源以及 WordPress、虛擬主機相關主題,任何問題歡迎在科技月球下方留言,或是發送 Email 至 [email protected] 與我聯繫。

文章: 2565

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


Share to...