Judgment MCP Observability:工具失敗接得回對話上下文

Judgment Labs 在 2026 年 11 月 18 日推出 MCP Observability,把 MCP 伺服器上每次工具執行記成可追蹤紀錄,並與同一段代理對話串在一起。意圖與模型名稱來自助理自報欄位且未經驗證,輸入輸出預設不上傳,會話分組、擷取範圍與結構相容性限制一次看清。

用 AI 摘要這篇文章:

經營 MCP 伺服器的團隊,多半有過這種經驗:代理呼叫工具失敗,日誌裡只有一行錯誤,你看得到哪裡壞了,卻看不到代理原本想完成什麼,失敗之後又換了哪些方式重試。Judgment Labs 在 2026 年 11 月 18 日於 X 官方帳號宣布推出 MCP Observability,把這塊缺的上下文補進產品:MCP 伺服器上每次工具執行都會記成一筆可追蹤紀錄,並且跟同一段代理對話串在一起看。

這項功能的對象是自己維運 MCP 伺服器的團隊,支援 Python 與 TypeScript 兩種 SDK(細節後述);官方文件側欄裡,緊鄰它的 Observations 分區掛著 Beta 標記。Judgment 自己的定位是長程代理的資料與評測層,這是他們的官方自述;同一份 11 月的更新紀錄裡,公司也正式關閉了 7 月起棄用的命令列工具,開發接點收斂到 SDK 與自家的 MCP 伺服器。順帶分清楚兩件事:這次上線的是「觀測你自己伺服器」的整合,不是要替代理新增搜尋或交易之類的新工具,TechMoon 先前介紹過的 TradingView MCP 進駐 Claude 目錄 屬於後者那種生態擴張,兩者方向不同。

Judgment 官方更新日誌 2026 年 11 月段落,第一則為 Judgment CLI shut down,開發接點收斂到 MCP 伺服器與 Python、TypeScript SDKPin
官方更新日誌 11 月:CLI 正式關閉,接點收斂到 SDK 與自家 MCP 伺服器(2026-11-20 截圖)

錯誤訊息說得出哪裡壞,說不出代理想幹麼

官方公告的開場白寫得很直白:當你寫好工具說明與錯誤訊息,就只能期望代理把它們用對;用錯的時候,日誌給你錯誤,卻不會告訴你代理當時想做什麼、接下來又做了什麼。整合文件列出的具體改變是這樣:每次工具執行會記下伺服器名稱、工具名稱、耗時與結果狀態;如果工具內部本來就有接入追蹤的步驟,它們會變成這筆紀錄的下層,能分別攤開看。

這裡快速補兩個名詞,之後的討論都用得上:在追蹤系統的慣例裡,一次完整工作留下來的紀錄叫 trace(軌跡),其中一段執行叫 span;讀者不需要記這兩個詞,只要知道「打開一筆工具紀錄,還能攤開它裡面的步驟、跳回它所屬的整段工作」是這類畫面的基本動作。

有兩條邊界要先畫清楚。其一,整合不會自動替資料庫客戶端或其他程式庫加入追蹤,看到某個工具耗時很久,未必能往下細分出每次查詢,內部要自己先安排對應的紀錄。其二,每個請求預設自成一條完整軌跡,除非呼叫時帶了明確的進入追蹤資訊(文件上是指定欄位裡的 traceparent),這時工具執行會掛進既有軌跡當子節點,對已經有分散式追蹤的團隊是接軌點。查問題的入口在監控選單的 MCP 區,官方列出通話明細、總覽、工具層指標、失敗分類與會話五種檢視,也能從單筆紀錄跳回它所屬的完整軌跡;檔案明細裡看得到伺服器名、工具名、耗時、結果與會話識別,巢狀的工具執行也會進到分析畫面,而平台上的裁判與問題偵測作用於整條容器軌跡,不只看使用者點選的那筆。

版本門檻方面,現行文件寫的是 Python 端 judgeval 套件要 1.9.3 以上、TypeScript 端要 1.8.4 以上;對照 PyPI 與 npm 的發布紀錄,這兩個版號都在 11 月 19 日深夜才上架,也就是說文件的地板跟著最新版走。支援的伺服器函式庫,Python 是官方 mcp SDK 的 1.x 與 2.x 加上獨立發行的 fastmcp,TypeScript 是 @modelcontextprotocol/sdk 1.x 與 @modelcontextprotocol/server 2.x,高階寫法跟低階 Server API 都吃。

Judgment 官方 MCP 整合文件開頭與 Before you start 段落,載明每次工具執行記為 span、judgeval 版本門檻 1.9.3 與 1.8.4、支援的 MCP 伺服器函式庫Pin
Judgment 官方整合文件的 Before you start 段落:版本門檻與支援函式庫(2026-11-20 截圖)

意圖和模型名稱是助理自己填的,文件明講未驗證

畫面上能看到「代理為什麼呼叫這個工具」,聽起來像系統讀懂了模型的內心,文件對此說得很誠實:SDK 會在相容工具的輸入結構裡加入意圖(intent)與模型名稱(llm_model)兩個欄位,讓呼叫端的助理自己填;模型名稱那欄官方直接標註「未經驗證」,Judgment 也聲明不會自行推論這些值,助理提供什麼就記什麼。

這組欄位的行為細節值得逐條看。官方把它們標成必填,但這只是對外的宣稱,呼叫沒帶這些欄位時 SDK 照樣執行並追蹤,所以資料裡本來就會有缺意圖的紀錄。欄位會在真正處理函式執行前就先移除,不會混進原本的業務參數;如果工具本來就有同名的欄位,系統不會把它改用途,除非維護者明確指定沿用。另外,接受任意參數名稱的結構根本收不到注入欄位,這類工具的紀錄自然少了這層資訊。

對分析的人來說,這代表意圖欄位的正確用法是調查線索:拿它對照實際參數與結果,幫你縮小問題範圍;至於代理心裡到底在想什麼,這個欄位證明不了。模型名稱同理,它是助理自報的值,不能拿來當安全身分或認證憑證,也不能只憑它斷定某家模型必然造成某次問題。不想收模型欄位的團隊可以用參數關掉,各注入選項預設全開。

一段對話拆成兩段,通常是會話識別沒接上

這次整合裡最容易誤讀的,是會話(session)的分組邏輯。文件列出識別來源的優先順序:應用程式自己提供的會話識別最優先,來源包括識別回呼、請求範圍的追蹤資訊,或明確指定沿用某個既有對話欄位;其次是助理重複傳回的對話識別;再來是系統為這次呼叫產生的新識別;最後才是傳輸層的 session ID,而且要有得用才行。

後兩層正是對話拆開的常見原因。系統產生新識別時,工具結果會附上一段說明,請助理在後續呼叫沿用同一個碼;助理沒照做的話,每筆符合條件的呼叫又會各拿一個新碼,畫面上同一個使用者的連續提問就變成好幾段。更隱蔽的例子是開場就失敗的呼叫:直接拋出例外時沒有結果能把說明帶回去,於是失敗那筆跟之後成功的紀錄分屬兩個會話,看起來像兩個人,其實只是識別沒接上。應用端若自己知道對話屬於誰,文件建議直接供識別回呼,比依賴模型每次記得重複同一個碼可靠得多。

還有一個小陷阱值得知道:為了分組而產生的那個新識別,起始呼叫會立刻用上,就連有狀態的 HTTP 連線也一樣,所以「第一眼看到兩段會話」永遠要先懷疑識別機制沒接上,別急著當成兩個獨立狀況。想直接用傳輸層分組的團隊,可以關掉對話欄位注入、保留意圖與模型欄位;但文件也提醒,沒有應用層會話、又沒有傳輸 session 可用時,這些呼叫就沒有會話識別,會話檢視裡等於少了線索。

順帶一提,整合也會記錄 MCP 客戶端自報的名稱與版本,但官方特別強調這代表客戶端軟體,不是登入使用者,不能當帳號或授權的依據;對舊式無狀態的 HTTP 客戶端,SDK 會發一個不透明的 ID 讓後續請求帶著走。這類「誰在呼叫」的歸屬問題,跟先前 Playwright MCP 讓多個代理共用瀏覽器時分頁歸誰管 是同一個族群的麻煩,靠客戶端自報都只能到參考線索的程度。

輸入輸出預設不上傳,但意圖欄位是例外

要重現錯誤,通常需要更多內容;要保護資料,又要盡量少收。官方選的預設是輸入、輸出與錯誤文字一概不擷取,先給基本的執行紀錄,要收什麼由團隊自己打開。這個預設有一個容易漏掉的例外:助理自報的意圖只要透過注入或指定欄位提供了,系統照樣記錄,跟輸入擷取開不開無關。換句話說,關掉輸入擷取不代表沒有內容進來,意圖欄位裡寫了什麼,維運的人要先檢查。

文件還明講 SDK 不會自動清除敏感資料。要收內容的團隊有兩個轉換點可用:一個處理要擷取的輸入與輸出,另一個處理意圖與失敗文字,各是獨立的選項。實務上的判斷順序應該是先想清楚調查時需要哪些欄位、能不能用「某欄位是否存在」取代完整內容,把保留規則設好再開擷取,而不是全收之後再想辦法清。舉個具體例子:業務工具若會碰到客戶資料,追失敗原因時多數情況只需要知道「客戶編號欄位是不是空的」「查詢條件帶了哪個分類」,這種顆粒度的欄位留著就有用,完整內容收了反而要另擔一套保管責任。

Judgment 官方文件的 Control captured content 段落,表格列出 capture_input、capture_output、capture_error_messages、redact_payload 與 redact 五個擷取與轉換選項Pin
官方文件 Control captured content 段:輸入輸出與錯誤文字擷取預設關閉,轉換選項各自獨立(2026-11-20 截圖)

打開追蹤不是零風險開關,工具結構會跟著變

多數人對觀測工具的期待是「加上去不影響本來的行為」,這裡恰恰相反。文件明說:參數注入會改變工具的結構與結果,就算追蹤匯出整個關掉也一樣改,而且會多出文字進到代理的上下文裡。對嚴格的客戶端來說,如果快取了舊的工具清單,部署更新後可能直接拒絕新的結果;官方給的對策是刷新工具清單,並且讓滾動部署中的各個副本維持相容的結構。這跟改個提示詞那種隨開隨關的調整不同,是要排進部署計畫的變更。

疑難排解的表格裡還有兩條值得記住。低階伺服器必須交出原始結構,必要時要提供按請求查原始工具的回呼函式;而錯誤在畫面上顯示成 tool_error 類型,可能是 MCP 框架先把例外轉成工具錯誤結果,儀器層根本沒看到原始例外。這些細節在接入前知道,能少走不少冤枉路,尤其團隊若同時在用 Mastra 這類把 MCP 收進伺服器層的框架,結構變更的影響會疊在一起看。

已經在用 OpenTelemetry 的團隊,不必拆掉重來

如果伺服器本來就有 OpenTelemetry 插樁,這次不必推倒重做。文件給的接法是保留既有插樁,MCP Observability 靠兩個非空白的 span 屬性辨識每次伺服器端執行(judgment.mcp.server_name 與 judgment.mcp.tool_name),標準的 MCP 屬性有自動映射,名稱不同的就寫個 mapper 把值抄過去,對話識別、輸入輸出、錯誤細節都有對應的目標鍵。操作上的節奏是:存好映射之後再發一筆工具呼叫,接著到監控選單看系統認不認得新紀錄;唯一要留意的是 mapper 只對新進的紀錄生效,存量軌跡不會補上。官方文件也提示了下一步,要把應用層的會話識別與客戶識別加進軌跡當上下文,觀測資料才接得上業務那頭。

還沒定案的部分,與接入前該先做的三個決定

整體來看,這項功能對「已經在維運 MCP、卻很難重現使用者問題」的團隊是實質進步,把失敗從孤立錯誤變成有前後文的軌跡,方向對了;但有幾件事還沒定案。這塊文件所屬的側欄分區仍掛著 Beta 標記,介面與行為都可能再動。版本地板三天內連跳三級(TypeScript 端 11 月 16 日發布 1.8.1,19 日已到 1.8.4,中間連發三版,文件門檻跟著走),導入前務必以當天的文件為準。公告附的示範畫面裡的數字屬於產品展示,不代表實際部署的效果,錯誤率會不會下降、下降多少,官方沒有給基準,也沒有第三方實測數字可引。

真要評估接入,先做三個決定再動手:會話識別的來源用什麼(應用端知道的就用回呼,別全押在助理重複傳回)、要收哪些內容與對應的轉換規則(預設不收,但意圖例外要先盤)、部署時怎麼讓新舊副本的工具結構相容。這三件事設好,追蹤資料才會是你能信任的調查素材,而不是又一包要煩惱怎麼清的原料。至於 Beta 何時轉正、版本地板還會不會動,2026 年 12 月 20 日再對一次官方文件與套件版號就有答案。

補充:事件時間軸

時間事件
2026-11-16TypeScript judgeval 1.8.1 發布(npm)
2026-11-18Judgment Labs 於 X 宣布 MCP Observability
2026-11-19 深夜(UTC)Python judgeval 1.9.3 與 TypeScript 1.8.4 上架,文件門檻隨之更新
2026-11-20依官方文件現行版查核,側欄 MCP observability 相鄰的 Observations 分區仍掛 Beta 標記

想對照原始內容的讀者,可以直接看 Judgment 官方整合文件與官方公告貼文,文件的疑難排解段落在接入前尤其值得整段讀完。

Sliven 褚崇名
Sliven 褚崇名

每日分享科技新知、免費資源以及 WordPress、虛擬主機相關主題,任何問題歡迎在科技月球下方留言,或是發送 Email 至 [email protected] 與我聯繫。

文章: 2592

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


Share to...