← 全部專案

更好地評估智慧代理

使軟體實驗更容易信任。

角色

專案負責人與研究者

背景

ZenithSync開發者代理

工具與方法

Python · Gemma 4 · LoRA 微調 · Docker 沙箱 · 評估工具

為「更好地評估智慧代理」手工打造的島嶼模型
島嶼解說

一條測試線、一座隔離區,以及一面掛著九種工具的牆。

為本網站以 Blender 製作的插圖。它用來說明概念,並非專案的資料。

專案原始圖片、圖表和影片保留原文。

問題的起點

在問程式設計智慧代理是否進步之前,先確切了解它是用什麼來測試的,會很有幫助。這個專案為一個以 Gemma 4 為基礎的儲存庫修復智慧代理,建立回答這個問題所需的基礎設施:任務來源追溯、評估隔離、確定性的訓練排程,以及可復原的執行。它的工作原則是:任何主張都不應建立在未經驗證的步驟上。

9智慧代理可以使用的工具數
4訓練範例獲收錄前須通過的關卡
2,966經篩選並凍結為各分割的公開任務
51第一批收錄訓練集中的任務數
01

受測的工作

智慧代理會拿到一個真實的開源儲存庫和一則回報的問題。它只能使用恰好九種工具,涵蓋執行指令、讀取與編輯檔案、檢查狀態、瀏覽程式碼結構以及提交修補程式。修補是否正確,由它從未見過的測試決定。

02

密封的房間與兩種測試

每項任務都在關閉網路的容器中執行。有效的任務必須在修正前失敗、修正後通過:原本失敗的測試現在必須通過,原本通過的測試仍必須通過。五種測試框架的解析器會讀取逐案例的結果,並拒絕總數與自身案例互相矛盾的摘要。

03

了解每個任務來自哪裡

從 32,079 筆候選資料中,有 4,818 筆符合資格,最後選出 2,966 筆並凍結為訓練、開發與確認三個分割,依儲存庫及擁有者區隔,確保同一個專案不會同時出現在兩邊。每項任務都在其固定的 commit 上檢查授權檔案,因此發現有四個儲存庫在寬鬆授權的標示下,實際含有 copyleft 條款文字。

04

四道關卡與兩個檢查器

訓練範例一開始都在隔離區。只有通過四道關卡才能被收錄:權利與出處標示、分割隔離、執行環境資格驗證,以及任務一致性。接著由一個獨立的稽核模組重新計算每一個數量,且不與載入器共用任何程式碼,因此兩者必須各自得出一致的結果。第一批收錄的資料集包含 51 項任務。

05

將基礎設施與效能分離

模型是 4 位元的 Gemma 4,搭配一個小型 LoRA adapter。到目前為止,它只在一個極小的測試資料上做過一次更新;第一次真正的訓練步驟發生記憶體不足,經過診斷後已在程式碼中修正,但尚未在 GPU 上重新量測。目前還沒有進行過持續的訓練,因此專案並不主張這個智慧代理已經學到任何東西。

技術實作

使改進可重現。

  1. 01

    追蹤任務的沿襲

    儲存庫任務攜帶源出處和評估合約。檢查重疊和隔離,將有問題的材料排除在訓練路徑之外。這使得工具可以檢查開發資料和保留評估之間的界限。

  2. 02

    閱讀測試,而不僅僅是標題

    測試稽核保留個別案例的結果,並拒絕互相矛盾的彙總數字。失敗、錯誤與略過的案例會分開記錄。程序成功結束或漂亮的摘要數字,都不能取代底層的測試證據。

  3. 03

    轉換動作,重播結果

    來自另一個智慧代理框架的教師軌跡,會依一套固定規則轉換為九種工具的格式。工具的回傳結果刻意不轉換:它們必須透過重新執行動作取得,因為改寫這些結果等於捏造執行時輸出。只要有一個無法轉換的呼叫,整條軌跡就會被拒絕。

這些是已實作的評估與訓練準備機制。儲存庫尚未證明在未見過的儲存庫任務上有學習而來的提升,本頁也不主張任何競賽成績。

讀取實作準備記錄
這不代表什麼

誠實的邊界。

  • 尚未進行任何大規模模型訓練,因此沒有量測到的改善可以報告。
  • 51 項已收錄的任務都曾在開發過程中接觸過,因此不能當作保留的測試集。
  • 授權檢查記錄的是每個儲存庫在固定 commit 上的聲明。這些是觀察紀錄,不是法律上的許可。
鄰近島嶼

兩者的連結。

背景與延伸閱讀

發展中的研究工具。該項目尚未在未見過的儲存庫任務上建立學習效能增益。