概覽
AI Engineer Shanghai 2026 在 11 月 5 日和 6 日於上海虹橋希爾頓舉行,這是 AI Engineer 第一次在中國辦活動。我參加了第一天,議程上的主題是開放模型、agent 和基礎設施。
09:07 的報到處(签到处),背板寫著 AI Engineer Shanghai,上方是贊助商名稱。
上午只有一個場地,從 09:30 到 11:40 午餐。下午 13:00 有一場社群座談,13:45 開始分場進行,主舞台旁邊另有一個 AI 應用分場。我一直待在主舞台聽 agent 和基礎設施的演講。
09:14 的展區,後牆是 Optiver 和 Exa 的攤位,右邊是 Brave。
Manus 的攤位,旁邊是 Daytona。兩家公司當天下午都上了主舞台。
以下筆記照議程時間順序整理。
歡迎致詞與開場影片 — Mengying and swyx (AI Engineer)
09:30 在主舞台開場。負責上海場的 Mengying 致歡迎詞。這是 AI Engineer 在中國的第一場活動。她感謝了贊助商,請大家去逛展區,也謝謝講者們遠道飛來。
swyx 因為 AI Engineer 隔週在舊金山有一場大型活動,所以沒來,改傳了一段影片。他的主張是 AI Engineer 是給動手做東西的工程師參加的,而其他 AI 研討會請的是政治人物和國家元首。他說上海是 AI Engineer 的第六個城市,提到之前辦過的新加坡、邁阿密、雪梨、巴黎和墨爾本,並說明年會去印度和非洲。最後很明確的請求是大家多發筆記、照片和影片,讓他在家裡轉推,因為這場研討會沒有直播。
從模型到真正可用的企業 agent — Marco Casalaina (Microsoft)
Marco Casalaina 是 Microsoft Core AI 部門的產品副總裁,他在灣區的職稱是「AI futurist」。他一開始就說自己不是來推銷 Microsoft 產品的,想談的是未來六到十二個月 agent 會長什麼樣子。他原本打算現場 demo,但飯店網路幾乎馬上就掛了,所以大部分內容都靠他事先為了以防萬一截好的圖。
他的重點是 agent 正在擁有自己的身分。他從 Meta 的 Muse 講起,Muse 在安裝時會請你幫它取名字(他的叫「Lily」)。他認為 Meta 這樣做是要讓你把助理當朋友,因為 Muse 靠使用者黏著度賺錢。Microsoft 這樣做則是為了安全。在 Microsoft Foundry 裡建的 agent 會有自己的 Entra ID,他稱為 autopilot 的那種還會有信箱、Teams 帳號和 OneDrive,就像新進員工一樣。他舉的例子是一個銀行 agent「Marco’s Teller」,它用 email 回覆客戶關於 ATM 手續費的問題,並把他加進副本。
Teams 裡 demo 用的幾個 agent 對話(Payroll Funding、Hotel Finance、Banking Operations、Marco’s Teller)。標示為 AI agent 的 Marco’s Teller 用中文回答 Maria Garcia 那筆 35 美元 ATM 手續費的問題。
同一個 agent 作為 email 使用者:Marco’s Teller 從自己的信箱回覆客戶,並 CC 給 Marco Casalaina。
做這些的原因是冒用身分的問題。Work IQ 是 agent 用來存取 Outlook、Teams 和 SharePoint 的 headless Microsoft 365 層,它可以代表使用者執行,於是 agent 就以你的身分寄信、刪檔案。他猜現場幾乎每個人都至少有一個 agent 是這樣設定的,而這很危險,因為 agent 繼承了你整個安全情境。在 harness 裡限制工具權限也解決不了:「Harness 層的限制就像印度的紅綠燈,看心情遵守。」你關掉檔案工具,agent 就用 rm -rf;你關掉 shell,它就寫一支 Python script。沒有東西擋得住它,因為在系統看來,它就是你。
Microsoft 365 Copilot 搭配 Work IQ 的 on-behalf-of 模式:「Show me all of my recent emails involving Maria Garcia」回傳的是使用者自己的信(23 封),不是 agent 的。
Microsoft 的解法是在 agent 自己的身分上做最小權限。他的 agent 是 Agent 365 裡的一個範本,組織裡任何人都能建立自己的副本,由管理員替這一整類 agent 設定權限。他本人對自己的檔案有讀寫權限,而 agent 的身分只拿到 Files.Read.All,所以不管它走哪條路,都不能刪除甚至寫入檔案。
最後八分鐘談接下來的發展。現在我們編排 multi-agent 系統,就像家長幫幼稚園小孩安排玩伴聚會。他預期 agent 會開始彼此自己安排事情,就像青少年自己約行程,他稱之為 unorchestrated collaboration。他的例子是飯店的財務 agent 請銀行 agent 撥款發薪水,銀行 agent 再請人類核准。這讓測試變得更難。像 groundedness 和 fluency 這種通用分數說明不了太多,所以他展示了銀行 agent 用的 rubric-based eval:拒絕跨客戶存取、符合 Regulation E 和 P、退費前先確認手續費真的有收。更長遠來看,他認為每個 agent 都需要一個模擬世界,裡面有假的 agent、人和訊息,才能單獨測試。他提到 OpenEnv 是這方面的一個嘗試。
打造 agent 的過去、現在與未來 — Clemens Rawert (Langfuse)
Langfuse 是開源的 tracing 和 eval 平台,ClickHouse 在今年一月收購了它。Clemens 自我介紹是共同創辦人之一。這場比預定時間早幾分鐘開始。
他的第一個論點是,沒有人能事先把 agent 規格寫好。你讓它跟真實使用者跑,讀 trace,找出哪裡壞了,推出修正和測試,然後重來一次。他的例子來自 Langfuse 內建的助理 Halo。他們讀自己的 trace 時發現,agent 呼叫工具時用的是 totalCost_sum,而工具預期的是 sum_totalCost。修法是兩種都接受。他說做 agent「比較像手工藝,而不是科學」。
Agent 是反覆改進出來的:trace、找出失敗、修正、上線。下方的例子是 Halo 呼叫工具時送出 totalCost_sum,但工具預期 sum_totalCost,最後改成兩者都接受。
歷史部分講得很快。最早是單次呼叫和 chain,很快就碰上早期模型 context window 太小的限制。接著是 RAG,然後是在迴圈裡呼叫工具,再來是手工搭的 agent graph,把問題切成當時模型處理得了的小塊。他說這些 graph 得手工設計,很花時間,而且你得知道 agent 可能走的每一條路徑。
工具與迴圈那張投影片:LLM 呼叫決定要呼叫工具,讀取結果後選擇下一步,跑個幾輪。
他認為現在行得通的做法是:LLM 在迴圈裡搭配 MCP 工具,加上 skill(像是 agent 需要時才翻開的使用手冊),再加一個有檔案系統和 bash 的 sandbox。Halo 就是這樣做的:agent 迴圈跑在 Langfuse 自己的後端 worker 裡,sandbox 只是另一個工具,需要時才呼叫,因為 sandbox 的時間是要花錢的。
Halo 的架構:agent 迴圈跑在 Langfuse 的 worker 裡,透過 MCP 跟工具溝通,只能經由一個工具碰到 sandbox(檔案系統、bash)。Skill 告訴它怎麼完成任務,需要時再載入參考細節。
後半段談的是誰來跑改進的迴圈。到目前為止都是人:找失敗、寫 eval、修正、回測、發布,全部圍繞著「什麼叫做好?」這個問題。他說這套做法有效,也已經是標準作法,但很吃工程師的時間,而這正是公司唯一無法擴展的東西。現在的 agent 也跑得更久了。有些是常駐的,由 email 或排程觸發,trace 大到沒有人會去讀。
過去整個改進迴圈都是人在跑:找失敗、eval、修正、回測、發布,圍繞著「怎樣算好」這個問題。
他的答案是讓 coding agent 透過 MCP、API 或 CLI 去處理 trace 資料。幾百萬筆 trace 塞不進 context window,所以要先整理資料。用比較便宜的模型依照你對領域的了解,把每筆 trace 做摘要。摘要做 embedding 後分群,再由 LLM 替各群加標籤和排序,只有最嚴重的失敗才以完整 trace 的形式交給 coding agent。再下一步是讓背景 agent 一直跑這個迴圈。人負責定義什麼是「好」,以及決定哪些回饋訊號算數。他也提到,最好的團隊會用這個迴圈產生的標籤,針對自己的任務訓練自己的開放模型。
新的 agent 架構讓執行時間更長、trace 更大:從簡短的線性 workflow 到由 email 或計時器觸發的常駐 agent,trace 大小一條條往上長。
當我們什麼都能做,還知道自己想做什麼嗎? — Ryo Lu (ex-Cursor)
Ryo Lu 是 Notion 的創始設計師,後來在 Cursor 帶設計團隊。他今年離開 Cursor,從舊金山搬到台北。
Ryo Lu 站在主舞台上,背後是標題投影片:當我們什麼都能做,還知道自己想做什麼嗎?
他從一種常見的感覺講起。有人展示新模型,你的第一個反應是「哇」,第二個反應是「我是不是又落後了?」。最簡單的回應是寫更多工具、開更多 agent。他問的是,什麼時候才算夠。他也問,讓我們能做更多事的工具,有沒有幫助我們更了解自己想要什麼。
撐起整場演講的是一個很小的例子。叫 AI「幫我做一個記錄生活的工具」,兩分鐘後你就拿到心情分數、連續天數計數、每日提醒和每週報告,每一項都附上合理的說明。他承認自己大概就會說「好啊,可以」。他擔心的不是答案錯,而是一個完整的答案會蓋掉他根本還沒機會問的問題,例如他的生活到底該不該被打分數。接著他請觀眾舉手選出自己會拿掉的功能。他自己選的是連續天數、提醒和報告,因為他想留住的是自己的生活,而不是給生活多加一份作業。
日記雛型的單頁檢視,連續天數計數(6 天)、21:00 每日提醒和每週心情報告都被劃掉
他比較了「服務窗口」和「工作台」。服務窗口交給你一個做好的版本,你只剩三個選擇:接受、拒絕,或重新解釋一次。工作台會先讓你看計畫,包括它準備刪掉哪些功能,讓你在它動手之前介入,事後再搭配即時預覽微調。有時候正是看到它要把提醒拿掉,你才發現自己其實想留著。他列出自己做工具時在意的東西:檔案、計畫、編輯、前後 diff,以及人可以介入的點。然後他給了做工具的人三條原則。
給工具開發者的第一條原則:讓重要的假設看得見,每次改動小到可以安心嘗試,交出去的工作需要時找得回來
另外兩條原則是:不要每一步都放確認按鈕,而是讓使用者知道他們能做的不只是整個接受或整個拒絕;以及好的工具會移除障礙,但不該拿掉人形成判斷的過程。
同一本日記的自由畫布版本,放在仿 Mac 的桌面上:照片和短短的筆記隨意擺放,其中一則寫著:想留下的是這些碎片,不是一份作業
後半段離開了工具的話題。他用 email 打比方:有 email 不代表每件事都要寫一封信。離開舊金山,有一部分也是在練習不要凡事都用「對工作有沒有幫助」來衡量。他再次展示那本日記,一次是一天一頁,一次是自由畫布,建議兩種都留著,然後去問選了另一種的人為什麼。講到跟人合作,他用的意象是爵士樂團,沒有人是彈最多音的那個。有一張投影片總結了這些:他不只想要一個更能回應他的世界,也想保有一個能改變他的世界。
他最後的請求很具體。下次你拿到一個非常完整的答案時,問問自己裡面有哪個決定是你自己沒想過的,改一個小地方,然後拿給另一個人看。
前沿的 post-training:教開放模型搜尋和瀏覽網頁 — David Li & Alex Triplett (You.com)
這個時段由 You.com 的三個人分享。COO Alex Triplett 介紹公司。他一開場先請大家用手遮住眼睛,說這就是 LLM 連不上網路時的感受。You.com 現在把搜尋賣給 agent,而不是賣給人。Agent 查詢得比人快,讀的量也多得多,他說過去一年 agent 已經超越人類,成為網路搜尋的主要使用者。產品依照你想要多少 orchestration 分成幾層,以 API 或 MCP 的方式提供。他聲稱每月有數十億次查詢,大多來自要求 zero data retention 的企業,也說 You.com 在 pre-training、post-training 和推論階段替各家模型實驗室擔任「搜尋實驗室」。接著負責亞太區的 Ryan Lee 做了一分鐘的介紹,談新的亞洲總部,服務需要全球搜尋的中國企業。
You.com 的 API 產品線,從便宜到徹底:Contents(給一串 URL 回傳整頁文字)、Search(有一個授權資料的參數)、給非同步工作用的 Answer API,以及做多步驟 agentic research 的 Research。
技術部分由 David Li 負責。他們跟 NVIDIA 和 CoreWeave 合作,post-train Nemotron 3.5 Lightning 30B-A3B 來做網路研究。Base model 在 BrowseComp 上大約 37 分,BrowseComp 是大約 1,200 題多跳研究問題的集合。他描述了小模型常見的失敗模式:重複同一個搜尋、看不懂複雜的網頁,以及明明已經找到答案還繼續搜,因為它判斷不出那就是正確答案。
三家公司,一套 stack:NVIDIA 的 SFT checkpoint,在 CoreWeave RL 平台上用 GRPO 訓練、vLLM 跑 policy,NeMo Gym agent 呼叫 You.com Search 和 Contents,再由 LLM judge 給二元 reward,同時也替 BrowseComp eval 評分。
他說 RL 資料集是最重要的部分。開放資料集過時得很快,又高度依賴 Wikipedia,所以他們從 You.com 自己的網頁圖產生問題。他們從熱門程度中段的網頁取樣,跳過頭部(像搜尋引擎首頁這種制式頁面)和充滿垃圾內容的尾部。接著沿著一跳的連結展開,從這些網頁上的事實產生多輪 QA,再確認這些問題用他們的搜尋答得出來。訓練前,他們會針對 BrowseComp 做去汙染,並讓 base model 每題試八次。8/8 都答對的題目教不了什麼,0/8 的題目又太遠,所以 RL 只保留介於兩者之間的題目。
從網頁圖建 RL 資料:取樣中等熱門程度的網頁,展開一跳連結,產生有依據的多輪 QA,確認用 You.com 搜尋答得出來,再依難度分組。
數字刻意壓得很小:4,932 筆 SFT trace、1,480 個 RL 任務,在 CoreWeave 上跑了大約八小時的 RL。他的比較表把這些跟 ASearcher 的 16K H800 GPU 小時 RL,以及 RE-TRAC 額外的 104K 筆 SFT trace 擺在一起。BrowseComp 從大約 37 進步到大約 45。效率從來不在 reward 裡,但工具呼叫次數還是下降了,因為模型學會了怎麼用工具,也學會在拿到答案後驗證一次就好。
小資料、大進步:4,932 筆 SFT trace 和 1,480 個 RL 任務(在 CoreWeave 上約 8 小時 RL),對照 WebSailor、OpenSeeker、ASearcher、OpenResearcher 和 RE-TRAC。
範例 trace 最能看出差別。BrowseComp 有一題問的是某位 CEO,以及他在賣燈泡時開的車。Base model 呼叫了 313 次工具,燒掉超過 8.3M 個 token,最後答錯。Post-train 過的模型只呼叫 7 次、用了 74.7k 個 token,答對了。
BrowseComp 第 319 題在 post-training 前後的對比:313 次工具呼叫、8.3M+ 個 token、答錯(Toyota Corolla),對上 7 次工具呼叫、74.7k 個 token、答對(Volkswagen Jetta)。
他們最後給的藍圖是:先有強的搜尋,從真實網頁建題目,依難度篩選,先做 SFT 再做 GRPO,除了準確率之外,也要量測工具呼叫次數、token、時間和成本。
全端推論工程:latency、throughput 與成本 — Chen Wang (Baseten)
Chen Wang 在 Baseten 負責 partner engineering。Baseten 是一個推論平台,幫其他公司跑開源模型和客製模型。他整場用一個故事包起來:從 Joseph Campbell 的英雄旅程和 Luke Skywalker 講起,到最後才揭曉,故事裡的英雄其實是一個正在穿過模型的 token。
商業的部分講企業怎麼一步步轉向開源模型。一開始是用開源模型的 serverless API 來省錢;規模變大之後,為了達到 throughput 和 latency 的目標,改用專屬部署;客戶資料就是護城河的團隊會 fine-tune 自己的模型,免得把客戶資料「雙手奉上」給模型供應商。他說今年年初,OpenRouter 上開源模型的 token 用量已經超過封閉模型,而且差距還在拉大。中間還穿插了一小段支線,講開放生態系是賽博龐克未來之外的另一條路,配圖是他自己畫的。
開源模型推論的採用歷程:封閉 API、透過 API 使用開源模型、專屬部署、post-training 與 fine-tuning,再到許多專用模型;第一個轉折點來自成本、latency、rate limit 與治理。
技術的部分從取捨三角和一張 Artificial Analysis 的圖開始。圖上是 DeepSeek V4.1 Flash 每張加速器的總 throughput 對上每個請求的輸出速度,一條線代表一種 GPU,從 H100 一路到 Vera Rubin 和 AMD 的 MI355X。並行數決定你落在線上的哪個點:並行數低,每個使用者拿到的輸出很快,但 GPU 的總 throughput 低;並行數高則反過來。他的建議是,如果流量大、GPU 少,就在端到端 latency 允許的範圍內把 throughput 盡量往上推。
推論的取捨三角(latency、throughput、成本),是這場演講技術部分的主軸。
Artificial Analysis 的圖:DeepSeek V4.1 Flash 每張加速器總 throughput 對 p25 輸出速度,曲線包含 Vera Rubin、GB300、B300、GB200、B200、H200、H100 與 MI355X。
接著是單節點的技巧。Prefill 負責建出 KV cache 和第一個 token,所以決定 time to first token,屬於 compute-bound;decode 每一步都要讀 KV cache,所以決定 token 之間的 latency,瓶頸在記憶體頻寬。這個差異就是把 prefill 和 decode 拆到不同 replica 上跑的理由。在這之上,他又講了 chunked prefill、FlashAttention、paged KV cache、量化、expert parallelism 和 speculative decoding。他的總結是:這些技巧做的都是減少重複的運算和資料搬移。
一張圖畫出請求經過 prefill 與 decode 的流程,並標出各技巧作用的位置:chunked prefill、FlashAttention、expert parallelism、P/D 分離、continuous batching、量化與 speculative decoding。
有一張投影片講叢集層級。全域排程器在不同雲之間調度容量(一個叢集 128 張 GPU 用了 120 張,另一個 96 張用了 40 張);本地控制器依模型增減 replica;冷啟動時從已經在服務的同伴 GPU 直接把權重複製過來,kernel 也事先編譯好;KV-aware router 把請求送到持有其 prefix 的 replica;KV cache 會從 HBM 卸載到節點的 RAM 和 SSD,再到叢集共用的儲存。
叢集層級的服務分成六塊:全域排程器下的多雲容量、自動擴縮、從服務中的同伴快速冷啟動、KV-aware routing、KV cache 卸載(GPU HBM、節點 RAM/SSD、叢集儲存),以及帶 KV 傳輸的 P/D 分離。
在真實世界的使用中衡量 AI 的前沿 — Chen Peng (Arena)
Chen Peng 在 Arena 做資料這一塊,Arena 是從 UC Berkeley 的 Chatbot Arena 發展出來的公司。前幾分鐘是常見的數字(每月超過 1600 萬訪客),以及大家熟悉的兩兩對戰。
主要內容是他們怎麼評 agent。當一個 session 是一小時的 tool call,兩兩投票就不管用了,所以 Arena 自己做了一個 agent 產品(「agent mode」,跟 Manus 是同一類),有檔案編輯、bash、網路搜尋,以及 Drive、Notion 之類的 connector。使用者拿它做最多的是寫程式。投影片上的例子是一個金融研究的 RAG pipeline,跑了 84 輪、676 次 tool call。
一個真實的 Agent Arena session:用 GPT-5.5 建的金融研究 RAG pipeline,84 輪、676 次 tool call,旁邊是各類別每個任務 tool call 數量的圖。
評估方式是在真實流量上做隨機對照試驗。每個 session 隨機抽一種 agent 配置。目前只隨機化一個元件,也就是 orchestrator 模型,從 Arena 上的數百個模型裡挑;tool、system prompt 和 harness 版本是下一步。每條 trace 會被評成 0 到 1 之間的結果分數,一個模型的效果就是它的平均分數減掉一組參考配置組合的平均分數。每個模型面對的都是同樣分布的真實任務,所以沒有固定的題庫可以拿來針對訓練。
核心概念:每個 session 抽一種配置(目前只有 orchestrator 模型),trace 評分成 [0, 1] 之間的 Y,一個元件的效果是相對於參考組合的 E[Y | T_k = t] − E[Y]。
分數來自五個訊號,由 LLM 加上人工整理從 trace 裡抽出來。Confirmed success 是使用者在「完成了嗎?」的彈出視窗按 Yes。Praise vs complaint 是比較使用者主動說的「不錯,現在快多了」和「bug 還在」。Steerability 是使用者需要糾正 agent 的頻率。Bash reliability 抓的是像壞掉的 sed 指令這類問題,tool hallucination 則是計算呼叫不存在的 tool 的次數,例如憑空捏造的 deploy_to_prod()。
agent 排行榜背後的五個訊號:confirmed success、praise vs complaint、steerability、bash reliability 與 tool hallucination,每個都附一個通過和失敗的例子。
在最後的排行榜上(超過 500 萬個 agentic session),Claude Opus 5.5 以 +20.94% 的淨改善排第一,Gemini 4 Carbon 以 +16.04% 排第二。每一列都有 ± 區間和名次範圍。第一名的範圍是 1→1,但第 3 到第 8 名的範圍都是 2→8、3→9 這種。
Arena Agent Leaderboard:各模型的淨改善、信賴區間與名次範圍,加上各訊號的欄位。
接著他把成本和表現放在一起看。在淨改善對每個任務成本中位數的 Pareto 前緣上,中國的開放權重模型(騰訊的 Hy4、小米的 MiMo-V2.6-Pro、DeepSeek-V4.1-Flash)雖然原始分數落後美國模型,還是落在曲線上。他自己的總結是:美國模型領先,中國開放權重模型是第二梯隊,差距是真的存在,所以要依任務的價值從前緣上挑模型。
Agent Pareto 前緣:淨改善對每個任務成本中位數,Hy4、MiMo-V2.6-Pro 與 DeepSeek-V4.1-Flash 被圈在前緣上。
剩下的是 roadmap:一個月前推出的 Alignment Index(未經授權的動作、把使用者沒有的意圖安到使用者頭上、任務沒做完卻說做完了);隨機化 harness,並讓各實驗室帶自己的 harness 來;用 agent mode 的 session 訓練一個使用者模擬器,讓一次 eval 從幾週縮短到幾小時;以及用 trace 建 RL 環境。最後變成是對現場模型實驗室的推銷。
午休與展區
午餐自理,時間是 11:40 到 13:00,午休的後半段我都在攤位逛。大多數攤位在展示 agent 產品。其中一個是 Raytone 的 AI Box,一台用來在本地跑模型和 coding agent 的小型桌上機。規格表上寫:最高 2070 TFLOPS 的 FP4 算力、CPU 和 GPU 共用 128 GB 記憶體、預裝 Omarchy OS 和 Raytone 的模型管理工具,還有一個相容 OpenAI/Anthropic 的 endpoint,可以讓包括 OpenCode、Claude Code 和 Codex 在內的九種 coding agent 接上去。尺寸 160 × 146.4 × 60 mm,重 1.1 kg。
展示架上的 Raytone AI Box,正面貼著 Omarchy 貼紙。
Raytone 的規格表:2070 TFLOPS FP4、2560 核心 GPU、128 GB 統一記憶體、一個閘道同時接本地與公開模型、九種 coding agent 透過同一個 endpoint 使用,資料留在裝置上。
當天早上我在 Zilliz 的攤位拿了一張 Vector Lakebase 的傳單,下午 Rentong Guo 就講了這個。傳單上寫的是 S3 上只放一份 Vortex 欄式格式的資料,向量索引直接建在 Lance 和 Iceberg 資料表上。
Zilliz 的 Vector Lakebase 傳單:在 S3 上同一份資料上做即時向量搜尋、反覆的資料探索與批次分析。
AI 時代的社群 — AJ (WaytoAGI), Koji (Crossing), Kai Qu (42 Chapters)
下午由一場 40 分鐘的座談開場,與談人都在經營中國的 AI 社群。AJ 創辦了 WaytoAGI,它一開始只是一份共享文件。Koji 主持 podcast《十字路口》(Crossing),在上海經營 AI Hacker House,也是真格基金的投資合夥人。Kai Qu 經營 42章經,這是一個給創業者和投資人的 podcast 和微信公眾號。主持人是 Linkloud 的高寧,Linkloud 是一個做海外市場的中國創業者社群。
Koji 用兩個故事說明社群為什麼重要。2010 年左右,他還是北航的學生,同學的目標都是微軟亞洲研究院或美國的研究所,他卻跑去五道口的飯否實習,酷訊和早期的快手就在幾棟樓外。只有在那裡,他的選擇才顯得正常。第二個故事發生在 2016 年。後來創辦 Manus 的肖弘,當時花完了真格基金人民幣 100 萬元的天使投資,卻一直沒做出起色,差點就要放棄。真格的劉元叫他來北京找創業者聊聊,Koji 也是其中之一。肖弘和兩位共同創辦人從武漢飛來待了一個下午,回去之後決定繼續做下去。Koji 的結論是「人需要同類」。
大約十年來,Kai Qu 試過幾千人的社群、昂貴的商學院、飯局和各種活動,最後的結論是:你做出來的東西,是由你的商業模式決定的。媒體和社群賺錢靠的不是廣告就是交易,廣告跟著流量走,交易跟著社群走。42章經大約有 50 萬粉絲,但大部分的工作是社群活動、財務顧問和自己的投資。它放棄了廣告,改做高價、有篩選的服務。他說,沒有這種誘因的社群起得很快,一兩年內就消失了。
AJ 講的是規模的另一端。WaytoAGI 從那份文件開始,長到微信群和飛書群,然後是直播連線,再來是線下聚會,從一個城市到五個,現在是 52 個。運作的機制是線下建立起來的信任。見過幾次面的成員知道彼此的人品和「交付能力」,所以擅長銷售的成員接了單,可以把工作轉給其他成員,不用自己雇人。有個成員在社群直播上推出一個短劇工具,當天就拿到 200 個使用者。今年的重點是樓:AJ 介紹了北京亦莊一棟八層樓,裡面有一百多家一人公司(OPC),還有成都的一個新空間,以及一個跟紅杉等夥伴合作的育成計畫。
講到 2026 年,大家的心情不太一樣。AJ 看到成員從玩 AI 轉向創業,大多是辭職出來做 OPC,賺跟以前一樣多的錢,但更自由。AJ 說投資人對 agent 新創越來越謹慎,「因為現在誰都能做」。Koji 把基礎模型比喻成一輛從馬路正中間開過來的坦克。站在它前進路線上的應用層創業者,今年過得最辛苦。務實的人往下挖,去做 forward-deployed engineering、資料、基礎設施、晶片、推論加速和 API 中轉服務,或是往上飛,去做 AI for Science、生物和 AI EDA。Kai Qu 說他接觸的每個人都很焦慮,現在的 pitch 都是從最新的模型能做什麼出發,而不是從使用者需要什麼出發。
他們對多常公開發聲意見不同。Kai Qu 說要保護好你的勢能。每週都在講話的創辦人,會開始重複自己。他的很多來賓累積了十年的功夫,才有一集很棒的內容可以講,下一集要再等三到五年。他補充說,大部分來賓上節目是為了招人,不是為了曝光。AJ 的看法相反:資訊落差已經消失,AI 生成的內容把所有人都淹沒了,大公司又在送 token,所以創辦人應該拿出更多實質的內容,也要更會表達。AJ 認為中國創辦人在台上的表現不如 OpenAI 和 YC pitch 活動上的創辦人,並引用了 Manus 張濤的一篇貼文:他的團隊在寫 PRD 之前,會先做一支「PRV」,也就是功能的影片。Koji 的回答是把公關(PR)當產品來做:先把敘事灰度發布給幾個朋友,對目標受眾做調查,再找做過的人請教。
從模型智慧到 Agent Harness:讓長時程 agent 跑得起來 — Ailing Teng (StepFun)
Ailing Teng 是 StepFun 的模型產品、平台與生態總經理,StepFun 是上海的一家模型實驗室。她的問題是:交給 agent 好幾個小時的工作,它要怎麼記住目標、根據回饋調整,最後交出你信得過的東西。她的答案分成兩半。模型可以容納更多資訊,但記住一個長任務進行到哪裡,是 harness 的工作。
她用四個特性來介紹九月發布的 Step 5 Preview,這也是你拿任何模型來做 agent 時都該檢查的四件事。它每個 token 啟用 27B 參數,這點很重要,因為長任務會把同一個步驟重複幾千次,你付的錢就是每一步的成本。1M 的 context 主要用在程式碼、長文件和任務紀錄上,她說除此之外,更長的 context window 幫助不大。原生的視覺能力讓 agent 能看截圖、設計稿和渲染出來的結果,檢查自己的成果。tool calling 則是回饋能夠成立的前提。
她的證據是三次長時間的執行。一個 agent 針對單張 H100 反覆優化一個 kernel,跑了超過 22 小時。一個 post-training 資料 pipeline 的實驗,準確率從 53.3% 提升到 60%。一次寶可夢的遊玩,沒有針對遊戲做任何調整,花了超過 3,000 輪和 6M 個 token,打完大約三分之二的主線劇情。她也談到訓練。StepFun 自己建了 Step Code Bench,repository、程式語言和任務都是他們挑的,現在開發者說這個模型很擅長修 bug 和重構。她的心得是「做了就有,沒做就沒有」,意思是不是所有東西都能等泛化來解決。
harness 這一半點出了四個缺口:忘記需求、一再重走失敗過的路,log 太多,缺少驗收標準,以及雲端的工作必須在 client 斷線後繼續跑下去。Step Code 是 StepFun 開源的 harness,它把進度放在 context window 之外的四個地方:記錄目標和步驟的任務樹、包含進度和下一步的計畫、session 歷史,以及放程式碼、log 和輸出的檔案系統。每一步都會從目前的目標、相關的檔案和最新的工具回饋,重新組出工作用的 context。log 和截圖會先經過一個預算階段,把文字截短、把圖片壓縮,舊的 log 留在外面,需要時才拿進來,subagent 只交回結論。驗證方面,她希望在執行之前就把驗收標準定好。以網頁來說,能編譯只是其中一步,它到底有沒有做到使用者要的,得由使用者和 harness 一起定義。
她描述的執行架構是大腦和手:雲端的 harness 負責規劃和檢查,目標、計畫和 session 歷史放在中間,手則是本機或遠端的 sandbox。stepfun.com 上的 Studio 就是那個雲端 harness,桌面版 app 預計在十一月推出。效率的部分她跳過了,相關問題請大家去攤位問。
從 Dark Factory 到 Lobsterville:持續運作的多人 agent 的意圖工程 — Vincent Koc (OpenClaw Foundation)
Vincent Koc 是基金會的首席架構師。摘要裡寫了「Lobsterville」、多人 steering 和意圖交接,二十分鐘裡大部分講的是 OpenClaw 的 CI 帳單。
他從四月在倫敦的演講講起,當時的主張是工程師已經變成工廠經理,瓶頸在工程師的品味。從那之後,他自己的配置從 10 到 15 個 agent 長到 60 個,他說現在平行跑的超過 300 個。他說演講前一天他出了大約 1,000 到 1,500 個 PR,再前一天將近 2,000 個,都是在中國的飯店房間裡,其中一半是用手機透過 Telegram 做的。他的限制是 token rate limit、記憶體、運算資源、CI,還有「你想得到的每一家公司、每一個供應商的每一個 rate limit」。
第 04 張投影片「改動的速度超過了檢查的速度」:許多條 agent 改動的車道匯入一個等待證明的佇列,佇列只能經由一條測試、審查與整合的車道消化,最後還要一個真正理解這個改動的人。
他現在的論點是瓶頸已經移到「證明」:在合併之前你怎麼知道一個改動是對的。他把工作分成背景迴圈(嘗試、檢查、改進),這只在回饋明確的地方有效;以及前景工作,由人來選擇結果、檢視證據。他把這個新工作叫做「proof engineering」,形容自己是「proof engineer,或者說基本上是個 vibe eval guy」。其中一個例子是 OpenClaw 的 computer-use 功能:他們把 Doom 放進去,讓一個 agent 每次找到慢的地方就把遊戲迴圈改快一點。
第 07 張投影片「迴圈需要明確的回饋」:背景工作是嘗試、檢查、改進的迴圈,前景工作是選擇結果、檢視證據、引導下一次嘗試。
接著是數字。九月中,OpenClaw 的 CI 以 Blacksmith runner 的牌價計算,每月會燒到 127 萬美元。對一個他形容為「五、六個工程師」的非營利組織來說,這是很大的數字,即使大部分運算資源是贊助的。agent 不斷新增測試,而你又不能直接刪掉,因為測試是證明 agent 有做事的唯一依據。他們的做法是把 main 上的 CI 整個關掉。現在 PR 只跑有限的檢查加上 agent 審查,完整的測試每 30 到 60 分鐘跑一次,發版時也跑。
第 13 張投影片:預估每月 CI 成本降了 82.3%,從九月高峰時的 127 萬美元降到最近的 22.5 萬美元。標題還加了一句「還沒結束」。
第 16 張投影片「變便宜並沒有消除等待」:每 100 次 CI 的牌價從 1,176 美元降到 297 美元,但 CI 時間中位數只從 15 分 21 秒降到 11 分 47 秒。
每 100 次的成本降了四分之三,但 CI 時間中位數降不到四分之一。他追蹤的是 agent 的週期時間,也就是 PR 開出到 PR 合併,他的說法是「如果工廠慢下來,工廠就沒辦法修好自己」。下一步是 adaptive testing,幾天前才合併:一個分類器看改動到和執行到的程式碼,預測哪些測試可能會 regress,只跑那些。他預期這會讓 CI 總成本再大幅下降。
第 17 張投影片「能不能跑得更少,還是抓得到 bug?」:完整測試對上只跑受影響的測試,目標是用更少的時間和成本拿到同樣的 regression 訊號。
最後他介紹了一個針對個人 agent 的 benchmark,有 135 個任務,和合作夥伴花了兩三個月建的,幾天內會公開一小部分。任務刻意設計得很模糊,例如報稅,或是兩個人對結果有不同意見。
裝置端 AI:讓智慧更貼近每個人 — Alex (AutoArk)
Alex 是 AutoArk(无界方舟)的 CTO,這家公司做的是在裝置本身上跑的模型。前三分之一在講為什麼硬體不該依賴雲端 API。他舉的例子是一年賣一百萬台的裝置,每個使用者一天跟它講話超過 20 次。用公開 API 的價格算,token 帳單一年大約人民幣 10 億元,所以產品賣得越好,賠得越多。另外兩個理由是常見的那些:在飛機上或電梯裡沒有網路,以及醫療、法律或投資工作的錄音和檔案最後會跑到模型供應商那裡。
他也列出了代價。裝置的記憶體、電池和續航都有限,不能直接把最大的模型塞進去,而且每個平台(FreeRTOS、Arm Linux、ESP32、iOS、Android)都需要各自的部署程式碼。
AutoArk 把硬體分成三層。給眼鏡、耳機和小型陪伴機器人用的,是小到 0.1B 參數的 ASR 和 TTS 模型,demo 播了很快的語音轉寫和相當自然的情感語音合成。模型外面包著 EVA SDK,處理音訊前端和全雙工、可打斷的對話。
EVA SDK 投影片:音訊 3A 前端(AEC、ANS、AGC)、低功耗 VAD 喚醒、可離線運作的裝置端 ASR/LLM/VLM/TTS、端雲切換與全雙工打斷,支援 ESP32、Linux、Android、iOS 和 macOS,另外可以用一行指令裝進 coding agent。
demo 是一個 35B 的 MoE 模型跑在 iPhone 16 Pro 上,記憶體最多用 2 GB,開著飛航模式,他說螢幕錄影沒有加速。說明很短但很具體。MoE 每個 token 只有 3% 到 10% 的參數是活躍的,所以完整模型放在 flash 上,只把活躍的 expert 載入 RAM。問題是連續的 token 可能需要完全不同的 expert,如果用到才從儲存裝置載入,每個 token 會花好幾秒。他們的解法是訓練一個「pre-router」,預測下一個 token、再下一個以及後面幾個 token 會用到哪些 expert,然後由背景的 planner 非同步載入,等 decode 走到那裡時 expert 已經在記憶體裡了。他宣稱這讓 decode 快了一個數量級。
35B 模型怎麼塞進去:完整模型放在 SSD/flash,RAM 區有一個共用核心和兩個槽位(目前這層和下一層),CPU/NPU 負責運算,planner 負責預測並提前載入。左邊三點是提前做 MoE expert routing、SSD/flash 串流,以及用 LoRA post-training 把準確度拉回來。
筆電和桌機這層,他預告了一個之後會開源的 150B MoE 多模態模型。他說它需要 18 到 24 GB 記憶體,prefill 超過 1,000 tokens/s,decode 超過 100 tokens/s。他們所有的模型和推論引擎都以 Edge0 的名義開源。
最後的案例是和 Shokz 合作的運動耳機。使用者對耳機說的大多是切歌、音量、心率和步頻。這些由裝置端的 ASR 模型和意圖分類器離線處理,只有開放式的問題才送到雲端。他說這讓 token 成本降了超過 92%。
Kubernetes 不是你的 sandbox — Mislav Ivanda (Daytona)
Mislav Ivanda 在 Daytona 負責開發者體驗,Daytona 賣的就是給 AI agent 用的 sandbox。他的論點很簡單:如果你的團隊需要給 agent 用的隔離環境,不要去跟 infra 團隊要一座 Kubernetes cluster。Daytona 自己的 control plane 就跑在 Kubernetes 上,所以他不是在否定 Kubernetes 本身。他的意思是,Kubernetes 是為長時間執行、無狀態、要能撐過故障和滾動更新的服務設計的,而 agent 的 sandbox 需要的剛好相反。它們生命週期很短,而且 agent 暫停之後就算兩天後才恢復,狀態也得保留下來。
Mislav Ivanda 在主舞台:sandbox 沒有一個定論的定義,因為用法一直在變。
他花了幾分鐘講 sandbox 這個詞的意思怎麼一路漂移。一開始指的是執行模型生成的 Python 的地方,後來變成給模型用的 shell。再後來,連 agent 本身都搬進了 sandbox 裡。過去半年,大家為了 RL 相關的工作(eval、benchmark、post-training)同時跑上千到上萬個 sandbox。現在,給沒有 API 的企業應用程式用的 computer-use agent 也走上同一條路。
接著是 Daytona 眼中的 Kubernetes 數字。一個 pod 在真正跑起來之前要經過一連串固定步驟,所以最快 1 到 2 秒,通常是幾十秒;大約每秒 100 個 pod;每個 node 預設上限 110 個 pod。狀態的部分更糟。pod 沒有自己的持久化磁碟,所以要掛外部 volume,結果所有 I/O 都要走網路。他引用的數字是 Daytona 本機磁碟大約 500K IOPS,EBS 則是 50 到 60K。掛載一個 volume 要幾十秒,掛載失敗的話要等六分鐘才能重試。一個 node 只能掛 25 到 39 個 volume,所以真正決定一個 node 能放多少 sandbox 的是 volume 上限,而不是那 110 個 pod。
Daytona 的三個機制:snapshot 保留在 runner 的本機磁碟、熱門 snapshot 快取到更多 node 上,以及 registry 和 runner 之間只傳差異。
Daytona 的做法是把狀態留在 sandbox 執行的地方。停掉的 sandbox 留在 runner 的磁碟上,所以恢復就只是啟動一個 container,排程時也會優先挑已經有 image 的 node。熱門的 snapshot 會複製到更多 runner,沒人用的會被 garbage collect,registry 存的是差異,所以就算是 cold start 也只需要拉缺少的部分。
Daytona、Docker、Kubernetes、EC2 和 Fargate 依 action 數量的 trajectory latency,分成三個等級,從 50 ms 的 sleep action 到用 pytest 跑的 attrs bug 修復迴圈。
這個 benchmark 跑了三個等級的 agent trajectory:一個只做 50 ms sleep 的 sandbox、輕量的編譯加測試,以及真正的 bug 修復迴圈。三個等級裡 Daytona 的線都是最低的。Fargate 遠遠高出其他人,150 個 action 要 340 到 390 秒;在只有 sleep 的等級裡,Daytona 是 12.7 s,Kubernetes 大約 25 s,EC2 大約 34 s。他還給了一個成本模型:1,000 個 sandbox 跑 176 小時,也就是一個月的朝九晚五,比自己管理的 Kubernetes cluster 便宜 2.7 倍,主要原因是 cluster 在兩波尖峰之間都閒著。這些都是 Daytona 自己的數字。
Manus 的 AI-Native 工作方式:一個 monorepo,公開的任務 — Fan Bin (Manus AI)
Fan Bin 在 Manus 帶 agent 工程,也負責它的 agent harness。他一開場引用了 Manus 共同創辦人張濤一篇文章裡的場景:PM 在 Slack 貼出一個需求,工程師把它一字不改地貼進一排 Codex 或 Manus session 中的一個,由它從頭到尾把事情做完。他的主張是 agent 已經夠強了,擋住它們的是資訊和存取權限。一個任務的 context 散在私訊和每個人的腦袋裡。工具則分散在將近 30 個 repository,加上測試環境、log、資料庫和發佈系統,每個都有自己的入口和權限。
第一個解法是 manus-mono:一個 workspace 裡放了 28 個 repository、分層的 AGENTS.md 規則、39 個共用 skill、43 筆知識條目和 10 份 runbook,以及 22 個本機工具,讓一個 agent 可以從寫程式、測試、發佈一路做到 debug 和資料分析。設定 mono 時也會一併接上 Slack 和 Notion。給 agent 一個 Slack 連結,它會讀完討論串,到 Notion 找規格,讀現有的程式碼,把功能做出來,部署到測試環境,然後在同一個頻道 @ PM 來試用。log 用 OpenTelemetry 做端到端的追蹤,所以 agent 可以順著一個 trace ID 找到對應的 repository、改動和作者,通常在 20 分鐘內就能找到。遇到緊急事故時還有一個快速模式,五分鐘內給出問題位置和建議的修法。
mono 裡有什麼:28 個 repository、AGENTS.md 規則、39 個共用 skill、43 筆知識條目加 10 份 runbook、22 個本機工具,以及一個入口涵蓋從寫程式到發佈、debug 和資料分析的整個迴圈。
有了這個之後,工程部門以外的人也開始發 PR。從 2026 年 6 月起,三位 PM 和兩位設計師送了 297 個 PR,其中 248 個(約 84%)被 merge。有一位 PM 讓 Manus 測了十幾個語音模型,用真正的前端程式碼做了 demo,最後上線了一個語音輸入功能。品質靠的是 review bot 在每個 PR 上跑最強的模型,再加上動到付款、計費、模型和核心 prompt 的改動要由 owner 簽核。他說到目前為止,還沒有任何一次正式環境的事故是程式碼品質造成的。
人人都能發 PR:3 位 PM 和 2 位設計師共 297 個 PR,248 個被 merge,附每個人的長條圖(光 PM A 一個人就送了 182 個,merge 了 164 個)。
產品本身也是同樣的切法:一個小小的 kernel,包含 agent loop、session 和基礎工具;投影片、網頁開發、影片剪輯這類 plugin 各自有自己的 repository,按自己的節奏發佈。他給的理由是站在 agent 的角度:plugin 夠內聚,每次改動需要跨 repository 的工作就少,出事的影響範圍也小。每個模組由一到三個人負責,他說有時候感覺像在維護一個開源專案。
Plugin 架構:精簡的 kernel(agent loop、session、基礎工具)後面接一個統一介面,給 tool、skill、hook 和 UI 卡片用,plugin 各自獨立發佈。
第二個解法是所有任務都公開。起因是他們看不到同事怎麼用 AI,也沒辦法幫那些用得不好的人。實際上,這讓任務跟負責的人脫鉤。如果一個任務卡在某個決定上,就把連結丟給能做決定的人,對方直接在任務裡回答,agent 再接著做下去。PR 會連到它的任務,所以 reviewer 可以看到這個改動是怎麼 prompt 出來的。他的總結是:mono 解決的是 agent 看不到完整的 context,公開任務解決的是人看不到。
再下一步是讓 agent 自己行動。同事們已經把 agent 分身拉進了 Slack。其中一個會在每次發佈前後比對 pod、重啟次數和錯誤率,有一次還比他們的監控更早發現事故。一套受 loop engineering 啟發的自動接單系統,會在 10 分鐘內認領 issue,經過 coordinator、worker 和 review bot,最後交給人 merge。完成的任務從第一天的 13 個增加到第二天的 38 個。但這不是他的重點。bot 開 PR 的速度遠遠超過有人去 merge 的速度,幾天內就有幾十個 PR 擺著沒人碰,也沒有人知道它們的優先順序。他說,沒有人來設定優先順序,自動化開發就只是在燒 token。
自動任務系統(beta):issue、10 分鐘內接單、coordinator、worker、review bot、人工驗收。第一天 13 個任務,第二天 38 個,第二天結束後有十二個 PR 和三份設計在等 owner。投影片最後一行:程式碼不再稀缺,稀缺的是驗收。
踩坑的那張投影片列了:人又變回瓶頸、agent 做了一整天之後丟出來的核准請求沒人看得懂,還有一位同事一個月花了 $100,000 的 token。最後這個他稱為 autopilot:把任務丟出去,對什麼都回「你說得對,繼續」。解法是做好設計、拆分任務和分階段檢查,因為錢可以再賺回來,浪費掉的時間不行。講到核准,他的說法是 token 可以再生,人的注意力不行。
踩過的坑:人又成了瓶頸、堆積一堆沒人看得懂的核准請求,還有一位同事一個月燒掉 $100k 的 token。
用 Exa search 驅動開源個人 agent — Jakub Hojsan (Exa)
Jakub Hojsan 在 Exa 帶 forward-deployed engineering,整場就是一個 demo:一個用開源元件加上 Exa API 組起來的個人 agent,幫忙規劃在上海的一個晚上。他的切入點是個人 agent 讓多次請求之間有了連續性,也讓主動提供協助變得可能:「一個能接著我們上次停下的地方繼續、並幫忙處理接下來的事的 agent」。
這個 agent 在外灘找到一間餐廳,先從 Exa 的圖片結果抓照片,再透過瀏覽器從店家網站抓,然後依照氣氛、景觀和每人預算縮小選項。他展示了他們怎麼把整個網頁擋在 prompt 外面。Exa 的 highlights 功能可以只回傳跟查詢相關的段落,直接從網頁擷取、不改寫。如果這些段落夠用,agent 就直接回答;如果使用者想看照片或缺了某個細節,才升級到別的工具。他也列了 Exa 除了網頁之外還索引了什麼:大約 15 分鐘內的新聞、公開申報文件、podcast、活動、地點和天氣。天氣在 demo 裡真的派上用場。他問晚餐後要不要去外灘散步,agent 說不要,因為預報會下雨。
記憶的部分,偏好是按「人」存,而不是按「使用者」存。demo 裡他朋友不吃辣,他自己超愛辣椒,所以「我朋友偏好比較不辣的食物」是記在朋友身上。主動協助的例子是 Jazz at Lincoln Center Shanghai 寄來一封 email,有兩個位子。agent 只有在三個條件都成立時才會打擾他:他的行事曆有空、價格在他的票券預算內、而且真的有兩個位子。底層要嘛是 Exa 的 Monitors 產品,要嘛就是單純的定期搜尋加上 browser use,他說那些閉源的供應商其實也都是這樣做。
他的建議是從一個重複性的任務開始,再決定 agent 該記住什麼、該查什麼,以及聊天結束後有哪些東西要留下來。
Jakub 那場結束後的交接:Zilliz 的 Rentong Guo 上台,標題投影片講的是在 10 倍和 100 倍資料成長下的架構選擇。Exa 的投影片我沒拍到能用的照片。
你的 agent 的記憶就是下一季的訓練資料 — Rentong Guo (Zilliz)
Rentong Guo 是 Zilliz 的共同創辦人,Zilliz 就是做 Milvus 向量資料庫的公司。摘要寫的是 agent trace 怎麼變成訓練資料,但實際內容大多在講另一件事:為什麼 Zilliz 把 Milvus 圍繞物件儲存重新設計,現在稱為「Vector Lakebase」。agent 和訓練只在最後幾分鐘提到。
Milvus 介紹投影片:部署在將近 10,000 家企業、300+ 位貢獻者、Docker 計數 150M+、4.3K+ fork。
他從兩條成長曲線講起。同一個任務消耗的 token,從文字補全、聊天、推理到 agent,每往前一步大約多十倍。第二條曲線是 Zilliz 自己觀察到的:他們某個客戶背後最大的單一業務,2023 年有幾億筆資料,2024 年幾十億,2025 年幾百億,今年大約一千億。這是單一 workload,不是總量。他預期 2027 和 2028 年會成長得更快,因為會有更多資料是生成或模擬出來的(world model、自動駕駛、AI 做的短劇),所以會跟著算力支出一起成長。
1X / 10X / 100X 投影片:先做效能調校,再做成本調校,最後重新設計架構。
他的框架是 1x、10x、100x。效能調校讓你撐過第一步,成本調校撐過第二步:效能型和容量型 instance 的選擇、演算法上的改進、同一台伺服器裡 DRAM 和 NVMe 的搭配。他說過了 100x,伺服器裡已經沒有空間可以擠了,只能重新設計架構。
為了解釋原因,他用了一個啤酒館的比喻。工程師就像服務生,端著一疊越來越高、裝滿啤酒的杯子(伺服器),旁邊有人一直往裡面倒更多啤酒(資料),而且一滴都不能灑出來。在正式環境裡,灑出來就是一級事故。他的投影片列了 OOM、在高水位時擴容、resharding、資料 rebalance 風暴,以及故障的影響範圍。他還提到一家知名的 AI coding 公司,根據他看過的一場演講,那家公司在 2024 到 25 年的爆發成長期,幾個月內換了四次資料庫,最後是改用以物件儲存為基礎的設計才穩定下來。
有限的容量對上指數成長的資料:2023 到 2026 年最大單一 workload 的資料筆數,以及固定大小 cluster 的各種故障模式。
他對 Lakebase 的定義是:資料庫的使用體驗、大致相當於資料庫的效能,加上資料湖的容量和成本。底層分三層:查詢伺服器上的本機快取、伺服器和物件儲存之間的遠端快取,以及 S3。投影片上的價格大約是每 GB 每月 $3、$0.3 和 $0.03。每一層都能回應查詢,所以問題就變成資料要放在哪一層。他舉的 agent 應用例子是:所有註冊使用者放在物件儲存,週活躍使用者(8–30%)放中間層,日活躍使用者(3–15%)放本機快取。當一個沉寂的使用者登入時,應用程式會通知資料層把這個使用者的資料往上提,這只要幾秒,所以通常第一次查詢時資料就已經是熱的。
Case 01,一個 AI/agent 應用:日活躍使用者放 Tier 1,約 $3/GB-月;週活躍使用者放 Tier 2,約 $0.3;所有註冊使用者放 Tier 3,約 $0.03。
訓練資料的部分出現在後面一張畫成迴圈的投影片上。agent 從儲存層讀資料做即時檢索,它的行為、回饋和筆記寫回同一個 bucket,再對這些資料做互動式探索和批次分析,餵給下一輪的訓練資料和 agent 策略。
服務與迭代迴圈:agent 從 Vector Lakebase 讀資料做即時檢索,它的行為、回饋和筆記回到同一個 bucket,互動式探索和批次分析再產出新的知識、訓練資料和 agent 策略。
至於 Lakebase 之後的下一步,他提到要像 LLM serving 快取 KV state 那樣快取查詢結果,讓重複的多輪查詢不用再算一次。
建構可靠的多區域 LLM gateway — Xinghong Fang (Optiver)
Xinghong Fang 是 Optiver 的 AI 工程師,Optiver 的開發者、研究員和業務人員發出的每一個模型呼叫,都會經過他們團隊的 gateway。他給的規模是:每天大約 300 萬個請求,分布在四個資料中心,約 22 個模型承載了 95% 的流量,還有好幾家 provider,各自講自己的協定。上游 provider 大約有 0.4% 的請求會失敗。在這種量級下,這代表很多壞掉的 session。
標題投影片,側邊螢幕的即時字幕抓到他的開場白:LLM gateway 聽起來很簡單,就是接一個請求,轉給 Anthropic 或 OpenAI 這類上游 provider。
他們一開始用的是一套開源 gateway(他沒說是哪一套),負責在各家 provider 的協定之間轉換。一直用得好好的,直到 Slack 訊息開始出現:「gateway 是不是變慢了?」,然後 +1 一路衝到 30 甚至 100。他的重點是,gateway 現在是基礎設施,服務一掛,使用者會比你的監控更早發現。第一個教訓是 HTTP 200 不代表成功。串流會卡在一半,而協定轉換會讓 prompt caching 失效,這很要緊,因為快取的輸入成本大約只有十分之一。最麻煩的狀況是無聲無息的那種。透過 OpenAI 相容協定呼叫 Anthropic 模型時,回應裡的 thinking block 被丟掉了。使用者還是拿到答案,但下一輪得重新思考一次,所以 latency 和成本都上升,監控上卻什麼都看不到。最後是一位使用者發現的。
每個重要模型至少有兩家 provider。只有在使用者還沒看到任何輸出時才 failover,例如遇到 429 或 529。一旦串流已經開始,就直接把錯誤丟出來,讓使用者自己重試。他知道有些 gateway 可以把串流接到第二家 provider 繼續,但他們判斷不值得那個複雜度。circuit breaker 依不同錯誤設門檻,會把某家 provider 暫時拿掉。session 是 sticky 的,所以一段對話永遠留在同一家 provider 和它的快取上,而且在共用的 model ID 底下只開放兩家 provider 都支援的功能。另外因為「備援總是在你需要的時候壞掉」,固定有 10% 的 session 會送到次要 provider。
多區域的故事讓台下不少人露出心照不宣的笑。他們想要一把在每個區域都能用的 API key,所以認證放在一個中央的 PostgreSQL。法遵要求記錄每一個 prompt 和回應,而 gateway 把這些也存在同一個 Postgres。結果就是每天有超過 200 GB 的資料橫跨大西洋,每次呼叫還多了大約兩秒的認證 overhead。解法是各區域直接把內容 log 寫到 S3,認證改從本地 replica 做,接受權限變更會延遲幾秒生效。這讓 overhead 降了很多。花費上限是 eventually consistent,所以超出上限幾分鐘是可以接受的。
就算做了這麼多,使用者還是說很慢。其中一個抱怨靠 distributed tracing 找到答案:推論花了 17 秒,這沒問題,但一次 tool call 就花了三分多鐘。最後 Optiver 圍繞自己真正用到的那一小組功能,自己寫了一套 gateway。他說這不適合每個人,如果開源方案合用,他們會回去用。
沒人規劃過的 AI Infra:AI builder 如何把資料庫推到資料庫之外 — Lux Li (TiDB / PingCAP)
Lux Li 負責 TiDB 的 AI 業務,整場就是一個長故事,起點是 agent 公司天天會聽到的一種需求:「把這些資料做成審閱工作台,團隊明天要用,之後我們還會一直改。」他的重點是,這一句話其實預設了工作成果要活得比 agent、比 sandbox、比這一天都久。每次撐不住,就有 TiDB 的客戶提出新需求,產品線就是這樣長出來的。
整場演講的出發點:把這些資料做成團隊明天要用的審閱工作台,程式碼和資料都要留著,之後還會一直改。流程從接到需求、寫程式、執行,一路到工作台上線、團隊持續使用。
第一種失敗是 agent 被中斷。為了能接續,平台要維護兩張表:一張是 agent session snapshot(context、plan、tool call 歷史,每份 snapshot 40 到 80 MB 很正常),另一張是 agent session event log,每一列用獨立的 transaction 寫入。他說整個 fleet 加起來,這些 metadata 會到幾百 TB,有時到 PB 等級。有個客戶原本把它拆在 20 多個分庫上,後來為了不再維護 shard routing 才搬到 TiDB。
第二種失敗出在 sandbox。agent 在 EBS volume 上寫程式,任務結束後,回收策略把 volume 連同使用者的專案一起刪掉。對 volume 做 snapshot 理論上可以解決,但他的投影片列出了平台接著得自己扛下的整條備份與還原流程。
第 11 張投影片:用了 EBS snapshot 之後,平台還得自己做的事。備份是協調寫入、做 snapshot、登記專案與版本、保留/驗證/清理;還原是挑 snapshot、建立並掛載 volume、重建執行環境、重新對齊 Meta 與檔案。
TiDB 的解法是一個放在 sandbox 外面的持久化檔案系統。session A 寫入,sandbox 消失,session B 掛上同一個 workspace。每個專案都是獨立隔離的空間,他宣稱可以擴展到數千萬個。agent 生成的應用程式也套用同樣模式:平台不必自己養一池 instance、處理建立逾時和建到一半的資料庫,改由 TiDB Cloud Starter 在共享儲存上發出數千萬個彼此隔離的資料庫。
第 20 張投影片:把 trace 當成可查詢的執行紀錄,用 run_id / trace_id / span_id / parent_span_id 串起來。量級舉例:一條 trace 500 MB,複雜任務超過 100,000 步,單一平台每天寫入幾百 TB。
tracing 這段數字最多。agent 任務跑兩三個小時,有時超過十小時,單一 trace 就有幾百 MB。一條 trace 只能解釋一次執行。要決定該優化哪裡,得看一整批,按 tool 和任務類型切開,單位成本還要算進失敗的重試。他指出,某個 tool 被呼叫很多次,可能只是代表它很難用。他舉了一個沒具名的大模型團隊,pipeline 是原始 NDJSON trace、用 SQL 清洗,再把分析用的副本放在物件儲存(TiDB Cloud Lake)上,餵給兩條分開的運算路徑,一條做問題排查,一條做批次的品質與成本分析。
第 22 張投影片:幾百 TB 到幾十 PB 的 trace。原始 NDJSON 載入後用 SQL 清洗成 events 與彙總資料,存在物件儲存上的 TiDB Cloud Lake,再由分開的排查與批次分析運算來查詢。
如果你換了模型或 tool,然後直接把任務重跑一次,輸入、tool 回傳和檔案早就在底下變了,你沒辦法判斷這個改動到底有沒有幫助。trace 告訴你發生了什麼,但你沒辦法從 trace 重新開始。他們的 checkpoint 把 metadata snapshot 和 events 綁到一個檔案系統 checkpoint 上,所以可以把 agent 的狀態 fork 成兩份一模一樣的副本,各試一個改動,用同一套標準評判,之後再去檢查類似任務、多跑幾次排除隨機性。
第 24 張投影片:從頭重跑,對比從共同起點 fork(相同的 Meta 與檔案、各自獨立的 fork 候選、同一套驗收標準),實驗性寫入與外部副作用都隔離開來。
優化整個組織的 LLM 推論成本:按席位授權、按 token 計費、佈建容量,以及其他做法 — Do Tuan Anh (Techcombank)
Do Tuan Anh(大家叫他 TA)在越南最大的商業銀行之一 Techcombank 負責資料、AI 和 agent 平台。17:00 的休息時間取消了,所以他的演講比節目表上的時段早了大約十分鐘開始,這也是後面兩場快講場跟著提早的原因。他講了大約十二分鐘。
他的論點是,一旦 AI 的使用進入規模化階段,要管的數字就是每百萬 token 的有效混合成本:整個組織的輸入加輸出,算進快取之後的成本。他們的這個數字有時會突然跳上去,因為使用者都想用最好的模型 Opus,就不再用 Sonnet 或 Haiku 了。付費方式有三種:Claude Code 或 AWS Kiro 這類訂閱、按 token 計費的 API,以及佈建的 GPU。他所謂的「效率點」,是 GPU 每月的成本除以 API 的混合價格,算出來的用量就是超過之後應該自己 host 模型的門檻。
他用 GLM 5.3 當例子。透過 API,每百萬輸入 token 大約 1 美元,每百萬輸出 token 5 美元。以他給的一般用途輸入輸出比 4:1 來算(tool calling、MCP 和 RAG agent 是 10–15:1),混合起來大約每百萬 2 美元。兩台各有八張 B200 的 AWS 節點,每月約 16.6 萬美元。他說損益平衡點是每月「大約 8,300 萬」個 token,照他的數字,16.6 萬美元以每百萬 2 美元計是 830 億個 token。在他的另一個例子裡,一家每月用 670 億 token 的公司不應該轉換,轉了的話每月反而多花大約 3.2 萬美元。超過這個點,他預期可以省 30–50%,搭配多年期的 savings plan 和談來的折扣會省更多,扣掉維運人力的成本就省得少一些。每月 3,000 億 token 的情況,他估算 API 要 50 萬美元,佈建只要 20 萬美元。
他提了三個但書。GPU 很難拿到,所以要及早跟雲端大廠一起規劃。尖峰是真的會出現:autoscaling 曾經得從 12 張 GPU 擴到 15 張,所以銀行保留 API 當作 fallback,主要模型則是佈建的 GLM,放在 Databricks 的 Unity AI Gateway 後面。試行期間大約 10% 的請求走到 API,使用者完全沒察覺。另外,這些數字會隨著每家公司拿到的折扣而有很大的差異。他最後講的是 routing。有些模型對越南文和中文的 tokenization 很差,同樣的文字在這些模型上要花更多 token。銀行依語言和語意來做 routing,他說這又省了 40–50%。他今年在 NeurIPS workshop 發表的論文,量的就是越南文的這種 tokenization 稅。
在 Agent Substrate 上大規模跑 RL:調度數百萬個 sandbox — Tinsley Shi (Google)
這是十分鐘的快講場,而且比節目表上的時間早了大約十分鐘開始。Tinsley Shi 在 Google 做 agentic infrastructure,講的是 coding agent 做 RL post-training 背後的 sandbox。
她從單一個 RL step 講起。模型拿到一個任務,例如「用 Python 寫 hello world」。系統用該任務的 image 認領一個 sandbox,LLM 思考,它產生的不可信程式碼在 sandbox 裡執行,再由 grader 評分。實務上,一個 lab 每個任務會取樣大約 16 條 trajectory,任務數約 1,000 個,所以一個 step 會同時要大約 16,000 個 sandbox,而且全部同步釋放。她指出一般的 agent serving 和推論幾乎不會碰到這種並行量,現成的容器基礎設施本來就不是為此設計的。
workload 投影片:一個 GRPO rollout step 分成 acquire(目標 1 秒內)、generate(LLM 思考時閒置 10-15 秒)、在 gVisor 裡 execute(2-3 秒的突發)、reward 與 tear down。duty cycle 約 15% CPU 在忙,85% 在等 LLM。
除了突發量,還有兩個問題。coding 任務是一個 GitHub repo 加上它的相依套件打包成一個 image,所以每個 image 有好幾 GB,幾乎沒有共用的 layer(投影片上寫每個約 2.2 GiB,總共 55 TB)。另一個問題跟資料品質有關:如果 sandbox 逾時或記憶體用光,單純的 harness 會把這次 rollout 記成零 reward。基礎設施的失敗就變成了錯誤的標籤,這個錯誤標籤會進到 policy gradient 裡。同時,sandbox 大約 80% 的時間閒著在等模型,而加速器又在等 sandbox 啟動。她的投影片講得很直白:p99 sandbox 啟動 latency 就是加速器的閒置時間。
GKE 上的成績總表:993,897 個並行 gVisor pod,橫跨 36,811 個 image;百萬規模下到第一個指令的中位數時間 0.83 秒;填滿整個 1M 語料要 12.3 分鐘;填充時 registry 流量 0 bytes。六個叢集、4,567 個節點、約 36,500 個 vCPU。
這些數字來自 GKE 上開源的 Agent Sandbox controller。他們維持大約一百萬個並行 gVisor pod 跑了八天,沒有遺失任何 sandbox,到第一個指令的中位數時間是 0.83 秒,從 warm pool 填滿要 12.3 分鐘。密度是每個節點 60 個 sandbox。她講的修正全都在調度層:把 image 放在靠近節點的地方並做快取、調校 API server 和 controller、把網路身分合併,讓 10,000 個 sandbox 需要的數量少很多。他們也用 TPU 搭配 397B 參數的 Qwen 模型跑過。dashboard 的 demo 影片沒有播出來。
下一步是 Agent Substrate:用 snapshot 與還原取代一直待命的 warm pod,投影片上寫的恢復時間在 300 ms 以內,另外用獨立的 data plane 來繞過 control plane 的限制。她說預計 11 月底釋出。兩個專案都是開源的。
收尾投影片:Kubernetes 上跑一百萬個 sandbox 今天就做得到,warm pool 讓 TPU 保持忙碌,下一步是用 snapshot 取代待命的 pod。附有 kubernetes-sigs/agent-sandbox 和進行中的 RL-on-Agent-Substrate 的 QR code。
AI 時代遊戲開發者的日常 — Tang Feihu (Kimi / Moonshot AI)
Tang Feihu 負責 Moonshot AI 的開發者關係,講的是當天最後一個快講場,長度十分鐘。他的主張是,agent 現在已經能自己扛長任務,所以做一個可以玩的遊戲原型變得很便宜,開發者的工作轉成決定要做什麼、驗收交回來的東西。他說身邊很多工程師已經不手寫程式了,有些人連 AI 寫的程式碼也不看了,因為量太大。
任務轉移的投影片:Specify(玩家體驗、限制條件、成功標準)留給人,Generate、Operate 和 Verify 交給 agent,Decide(遊戲手感、架構、發布風險)回到人身上。投影片底部的結論:產出可重複、能由機器檢查的地方,被取代得最明顯。
這張投影片把線畫在這裡:機器能檢查的工作(腳本、shader、場景組裝、replay 與 log 比對)最先被自動化,沒人寫得出測試的部分則留給人。
剩下的是一連串 demo,大多用 Kimi K3.1 Pro 做的。他展示了一段模型依照目標渲染出來的動畫,難點在於讓爆炸和周圍場景產生互動;還有一位沒有遊戲背景的同事畫在紙上的分鏡,被做成了動畫。他提到一些長時程的 benchmark,現在會給 agent 一個 sandbox 和 GUI 工具,然後評分它交付的成果,而不是聊天框裡的一段程式碼。其中一個範例任務是要 agent 用 RPG Maker 重做老 Flash 遊戲魔塔(Magic Tower);其他任務則是操作遊戲引擎或 Blender。在展覽攤位上,Moonshot 展示了三款自家工程師用最新模型做的遊戲,每款大約花四天、約人民幣 3,000 元的 token。
他也介紹了幾個社群專案。抖音上一支爆紅的假「阿嬤 GTA」影片,大約一週後就在 GitHub 上變成一款可以玩的開源遊戲,用的是一個「影片轉遊戲」的 skill。有人把 Diablo II 之類的 Switch 遊戲移植到 iPhone 上,並重新設計觸控操作。他還展示了一位社群大使做的小王子遊戲(那位大使當天下午稍早在分會場講過),以及一位沒有工程背景的同事做的動作遊戲。
一份寫好的任務說明,對象是一個 Godot 三消遊戲原型,附三張規則卡:交付物(可編輯的專案、3 分鐘試玩影片、rules.md、帶 seed 的 replay、測試 log)、agent 的建構順序,以及像「同一個 seed 會重現同一個盤面」這樣的驗收檢查。註腳標明這些是示意性的提案,不是實際結果。
最後一個例子是他自己的。他讓一個較早的模型逆向一款老遊戲,拆出它的世界地圖,再加上航海和可以探索的城市。agent 透過截圖觀察執行中的遊戲,發現一個 bug,修掉它,然後寫了一份報告說明它是怎麼找到的。他的重點是,像這樣的自我檢查可以讓一輪迭代跑得更久,人才需要介入。最後他說主流遊戲工作室都在把模型加進 pipeline,人的角色會變成驗收和設計。