[{"content":"概覽 AI Engineer Shanghai 2026 的第二天是 11 月 6 日，地點一樣是上海虹橋希爾頓，一樣只有一個主舞台。議程上的主題是世界模型、實體 AI 和 AI-native 產品。第一天的筆記在第一天的文章。\n上午談的是模型要吃進什麼，以及怎麼檢查它吐出來的東西。World Labs 共同創辦人 Christoph Lassner 開場，講世界模型的分類。HeyGen 主張對影片 agent 來說，HTML 是比 JSON 更好的 context。Chiling 的創辦人說，垂直 AI 唯一剩下的護城河是你自己編碼進去的專家知識；HICAP 則說，工廠裡的最後一哩路是沒有任何系統透過 API 開放出來的資料。接著是兩場談檢查的演講：Daily.co 講在自己看不懂的語言上，要怎麼信任 voice agent 的 eval；NUS 講 3,000 場即時語音轉文字 session 讓他們的 benchmark 數字變成什麼樣子。\n一場投資人座談之後，下午從 harness 講到機器人。MiniMax 說明隨著模型變強，他們在 agent harness 裡放掉了哪些控制。實體 AI 的時段有 AiMoga 的工廠機器人、VAST 的持久世界模型、QuantSparkle、Noematrix 和 DYNA 三種繞過 sim-to-real gap 的不同做法，還有 Futuring 的居家機器人。Liquid AI、masons.ai 和 1Password 分別講小型決策模型、彼此對話的 agent 網路，以及在執行期檢查 agent 的 tool call。最後三場快講談機器人資料、團隊記憶和讀網頁的成本，結束了這一天。\n以下筆記照議程時間順序整理。\n世界模型的分類 — Christoph Lassner (World Labs) Christoph Lassner 在 2024 年初和 Fei-Fei Li、Justin Johnson、Ben Mildenhall 一起創辦 World Labs，這次他以個人身分替第二天開場。現在生物、化學和企業軟體用起「世界模型」這個詞，跟機器人領域一樣隨便，他想讓這個詞重新變得能用。他的開場是 8 月的一張迷因圖，上面排著 LLM、SLAM、3D Gaussian splatting、影片生成、Google Maps、JEPA，還有 Ha 和 Schmidhuber 那篇 World Models 論文裡的示意圖，每一個都自稱是世界模型。\n他從強化學習講起，這個詞現代的用法就是從那裡來的。世界模型是描述一個世界如何運作的模型，它回答的是「如果我採取這個動作，接下來會發生什麼？」它不一定要是視覺的。在常見的部分可觀測迴圈裡，agent 只看得到世界狀態的一部分。state estimator 把每次的觀測、前一個 belief 和上一個動作合成新的 belief，再由 policy 根據它挑出下一個動作。世界模型就是「世界怎麼變化、觀測怎麼產生」的知識，它同時提供給 estimator 和規劃使用。在這之上，他用了 World Labs 6 月那篇文章的切法：渲染（rendering）產生觀測，模擬（simulation）產生一個可能的世界狀態，規劃（planning）產生動作。一個模型可以做這三件事的任意子集，包括一件都不做，而做到其中一件並不會讓它變成世界模型。\n接著他把那張迷因圖拿來套，只要至少有一種實作符合就算。他問 LLM 能不能算是描述世界如何運作的模型，只有兩三個人舉手，問到 SLAM 時舉手的人多一些。他的答案是兩個都算。LLM 不能渲染，但能模擬和規劃。Google Maps 吃進資料，整合成一個 belief，再幫你規劃行程。每一項都過關，而這正是他要講的：只看功能的話，Google Maps 和 SLAM 會被丟進同一鍋。\n所以他加了幾個軸。領域（domain）區分空間世界、CRM 或使用者介面這類數位領域，以及像人類細胞模型這種專門領域。尺度和解析度區分的是一個房間和一顆行星。他舉的例子是 livex.earth，一個即時的地球儀，從衛星到天氣都有建模。覆蓋範圍（coverage）問的是模型保留了哪些變數，包括不在視野裡的那些。他放了一段自己用 Kling 4.0 做的影片，鏡頭在一個生成出來的路口繞來繞去，結果每個方向都是紅燈。他的工作定義是：一個預測世界如何運作的模型，具備一組功能，屬於領域 X，尺度和解析度是 A 和 B，覆蓋範圍是 C。資料庫這類描述性的模型，他先放在一邊。\n最後一部分是一個論點：世界模型會決定智慧怎麼和世界互動。他畫了一個 System 2，是一個掌握長期目標、能跨領域推理的大型多模態模型，底下是多個 System 1 模組，分別處理實體互動（視覺、觸覺、動作）和數位工作（語言、工具）。每個模組都有自己的世界模型、belief、estimator 和 policy。System 2 接收 System 1 的 belief，包括不確定性和失敗的動作，然後建立或修改那些即時執行的 policy。協調機制他沒有定案，只說這是一種可能的組織方式。\nHTML 就是 agent 需要的一切：重新定義 context engineering — Bin Liu (HeyGen) Bin Liu 自我介紹時說叫他 Ben 就好，他負責 HeyGen 的 agentic 影片業務。他的主張是，context engineering 裡最重要的決定是 agent 讀寫的表示格式，比記憶、工具或檢索都重要。選一個模型本來就擅長的格式，每次模型更新都會讓你的產品變好。自己發明一個格式，你的時間就會花在跟模型作對。\nBin Liu 在主舞台上的標題頁，中文標題是「HTML 就是 Agent 的視覺上下文」。\n例子是 HeyGen 的第一個影片 agent。它建在既有的影片編輯器上，而編輯器的專案檔是 JSON：每支影片至少 2,000 行，有時候到 10,000 行。模型要寫出合法的 JSON 不難，但用他的話說，模型「沒辦法在你的 JSON 裡推理」。他放了兩段各四行的片段，單看文字都一樣沒問題。一段渲染出來是對的。另一段的文字跑到沒有人看得到的地方，而 agent 完全沒辦法知道，要等到 HeyGen 把那一格畫面渲染出來、把圖片餵回去才發現。他們內部把這比喻成請莎士比亞照著範例寫中文詩：看起來像詩，但不是好詩。\n所以他們把 JSON 丟掉了。現在 agent 寫的是一般的 HTML、CSS 和 JavaScript，再由 HeyGen 在 4 月釋出的開源框架 HyperFrames 渲染成影片。他心裡的模型是一個一直在變的 landing page：文字飛進來、一段影片放到全螢幕、聲音出來。根據 repo 的說明，headless Chrome 會在動畫時間軸上逐格 seek 並擷取畫面，再交給 FFmpeg 編碼，所以同一份 HTML 永遠產生同樣的影片。\n「Type a prompt. Get a video. Keep editing.」HeyGen 的編輯器。左邊的範例腳本描述了 agent 的迴圈：Claude 規劃場景、渲染草稿、量測，再修好壞掉的地方，另外由 layout audit 回報超出安全邊界或和其他群組重疊的元素。\n他拿出的證據是採用的情況。他說 GitHub 上大約有 80,000 顆星，在全球 agent skill 的安裝數排第二。那支 demo 影片花了兩分半鐘才順利播放，影片裡說到 10 月底每天有 500,000 支影片；放完之後他又說「我其實覺得」現在已經是 700,000 了。他說有好幾週團隊什麼都沒發布，HyperFrames 還是一直成長，因為模型變好了。釋出後第 22 天，Anthropic 的 Thariq 發了一篇「HTML is the new markdown」。Bin 把它當成自己做對了的證明，還補了一句說他們抄了這個點子，卻「完全沒提到我們」。\n「22 天後」：Thariq 在 2026 年 5 月 9 日的貼文「HTML is the new markdown」，引用了 Claude 部落格的〈The Unreasonable Effectiveness of HTML〉。\nAGI 是解碼，編碼才是護城河 — Ying Yang (CHILING CHUANYUE TECHNOLOGY) Ying Yang 是腦科學博士，在創立美妝事業之前做過腦機介面。她說這門生意沒有拿外部資金，兩年做到 ¥1.9 億。她在各個帳號加起來也有大約一千萬名追蹤者。這是一場創辦人講策略的演講，圍繞著一個問題：哪些 AI 產品會被通用模型吞掉？\n她的答案來自一個她歸功於指導教授的框架：科學負責編碼，工程負責解碼。植物學為植物編碼，調香把它們解碼。中心法則編碼了遺傳資訊怎麼流動，藥物設計把它解碼。神經科學描繪出各個腦區，BCI 則把它們的訊號解碼成指令。AGI 是到目前為止最強的解碼器，而解碼器在編碼最清楚的地方表現最好。她說這就是為什麼數學和寫程式最先被攻下：它們沒有模糊地帶。建在這塊地上的垂直應用都會被吸收掉。\n「科學編碼，技術解碼。」編碼那一列是植物學、細胞生物學和神經科學，解碼那一列是調香、製藥和 BCI。最底下那一行：每個演算法都是一種解碼，而 AGI 是前所未有的強大解碼系統。\n她借用季辛吉的書 Genesis 裡的意象，說機會在「群島」：這些領域有一部分規則是已知的，但周圍是一片沒有人數位化過的隱性知識海洋。把這些知識變成規則和資料就是「填海造陸」，她認為填出來的陸地會變成 AGI 吸收不了的屏障。美妝就是她的群島。投影片上寫 2025 年中國美妝個護的 GMV 是人民幣 1.1 兆。她最倚重的數字來自自己經營品牌的經驗，也就是交易成本：一家美妝公司把大約 50% 的營收花在銷售上，就已經算是好公司了；有些花到 90%，根本沒有錢留給研發。\n「機會在群島」：部分已知的編碼規則被隱性知識包圍，挑選的條件是進入門檻高、獲利已經被證明。「編碼就是填海造陸：AI 解碼的同時，我們在填海。」\n她的計畫是從消費者開始，接著是小品牌、大品牌，最後是供應鏈。先做消費者，是因為要有一大群人在問保養問題，品牌才會願意分享資料。她的助理根據她所說的數千萬筆產品備案紀錄，以及一千多篇皮膚生理、配方和生化的論文來回答問題。每個問題都會記下一種膚質、一個偏好，或是使用者已經有的一項產品。\n她反對用照片做膚質分析，她說那是不懂客戶的男工程師會做出來的產品。一張自拍只是一個雜訊很多、又受光線影響的樣本。她的投影片寫，用照片做的推薦準確率是 75%，而女性對自己的選擇滿意度超過 80%，還說大多數 25 歲以上的女性在半年內就知道什麼適合自己。她的比喻是沒有先經過駕駛輔助的階段，就直接做完全自動駕駛。她的 app 則是建立在這些經驗上：你把自己架上或店裡的產品拍下來，說你的皮膚有什麼反應，因為每項產品的成分表都是已知的，你的使用紀錄就成了訊號。\n為什麼大多數美妝 AI 在入口就失敗：一張臉部照片，對上一份記錄用過的產品、使用順序、皮膚反應和換用原因的紀錄。「我們不取代使用者的選擇，而是讓他們選得更好。」\n第二步是把專家型的創辦人放進 app 裡。她舉的例子是冰寒，同濟大學的皮膚科博士，自己寫書、自己做配方，也賣自己的產品線。他的 AI 分身根據他的書、論文和測試資料回答痘痘和酒糟的問題，然後推薦他的產品。大品牌則把這一個人的角色拆給科學家、配方師和不同的產品線，平台再把它們合併成一個品牌 agent。品牌提供資料，換來的是一個顯示消費者在問什麼的 dashboard，以及廣告工具。她說 L\u0026rsquo;Oréal 開發一個產品要 24 個月，資生堂要 22 個月，而真實的需求資料可以縮短這段時間，也能終結她描述的那種追流行：大家一窩蜂做玻尿酸，接著是膠原蛋白，然後是 PDRN。\n第二步：一位專家包辦研發、配方、內容、診斷和銷售；他的 AI 分身「冰寒問題肌專家」根據他的書和測試資料回答問題，推薦的是自家品牌的產品。\nAI 在製造業：行百里者半九十 — Shihui Zhu (HICAP Group) Shihui Zhu 負責 HICAP 的軟體部門。HICAP 有六座工廠，中國大部分大型酒類品牌的瓶蓋都是他們做的。他一開場就說自己是外行，是自己跑來參加這場 AI 研討會的。他的題目是一句老話「行百里者半九十」：一百里的路，走到九十里才算一半。他的論點是，AI 能讓製造業很快做出 demo，但最後那十里路跟模型沒什麼關係。\n他帶了自家導入的數字。HiWork 是他們內部的 AI 工作平台，架在所有舊系統上面，跑了 50 多個 agent。每個月處理 85 萬次業務呼叫，大約 1,167 億個 token。他們先在寫程式上把它跑起來，再一個需求一個需求推到六座工廠。\nHiWork，先在自己身上試：每月 1,167 億 token、85 萬次業務呼叫、50 多個 agent，先在寫程式上驗證，再一個需求一個需求推到六座工廠。\n演講大部分在講為什麼模型不是瓶頸。他把企業導入 AI 比喻成翻修一棟樓：地基是 ERP、CRM 和 MES，上面是一層由物件、流程、指標和規則組成的「本體」（ontology），最上面才是 agent。本體是最難的部分，他說市面上沒有人在賣這方面的好產品。在工廠裡，機台老舊，訊號讀不出來，一線員工超過一半在 40 歲以上，批號還寫在紙卡上。某一天實際發生的事（供應商少交貨、客戶把交期提前、機台壞掉），最後只會變成聊天群組裡的一張照片，系統裡只有計畫。\n「難的不是模型，是六個地基」：設備聯網、視覺樣本和系統整合買得到；一詞一義、有人願意簽字、老師傅的經驗買不到。\n上面這張投影片是他的總結。錢買不到的是：像「交付」這種詞的單一定義（它在工廠、財務和行銷各有不同的意思）、一位願意替系統的結論簽字的主管，還有知道什麼時候該換刀具的老師傅的經驗。他補充說，語意沒統一的時候，更強的模型只會更有自信地給出錯誤答案，所以他們會記錄每個定義為什麼改。\n挑專案時，他們把每個需求放在兩個軸上評分：對財務的影響是直接還是間接，回報是快還是慢。早期的成果：費用報銷每個月省下 580 小時，合約審查從幾小時縮短到幾分鐘。接著他引用 Goldratt 的《目標》（The Goal）：在非瓶頸環節省下的時間只是幻象。真正的槓桿是生產排程，用同樣的人和機台做出更多產出。而它落在「想清楚再動」那一格，因為交期常常只是口頭承諾，物料的前置時間不清楚，有些模具只能上某些機台。\n依影響（直接或間接）和回報速度分類專案：視覺檢測、費用憑證和合約審查先做，APS 和數位孿生之後再做，只能看的大螢幕永遠不做。右邊：六大類共 44 個專案，其中 14 個是行銷。\n他的結論是，難的不是讓 AI 排程，而是把每一步依賴的規則寫下來。他給的答案是先把計畫系統一步一步建起來。\n現在工人用手機講話回報現場事件，語音會變成結構化的紀錄，再派給負責人。\n信任我讀不懂的 eval — James Hush (Daily.co) James Hush 在做 Pipecat，也就是 Daily 的開源 voice agent 框架（他在台上說「我在 Deepgram」，Deepgram 前一週剛宣布要收購 Daily）。他在亞洲住了六年，太太是台灣人，面對上百種飲料的手搖飲菜單，他只會點一樣：珍珠奶茶。於是他做了一個 voice agent 來教自己點飲料。麻煩的是他看不懂中文，所以他自己的測試有一半他讀不懂。\n出發點：一份大約一百種飲料的手搖飲菜單，和他唯一會點的那一杯，珍珠奶茶。\n接著他把這件事推廣出去：在場的人已經沒有誰讀得過來了，不管是哪種語言。有一張投影片把一個「claude-agent」帳號送到 Pipecat repo 的 pull request（214 個 commit，1,342 個檔案，+52,417 行、−18,903 行），和一個 999+ 則未讀的 WeChat 收件匣放在一起。他的答案是不再檢查工作成果，改成檢查那些檢查，用 LLM 去檢查別的 LLM。他用英文寫檢查，Claude 或 ChatGPT 用 Python 寫程式，他預期 2027 年每個應用程式開發者都會這樣工作。\n為什麼沒人讀得過來：一個由 agent 產生的 Pipecat PR，214 個 commit、改了 1,342 個檔案，旁邊是一個 999+ 則未讀訊息的 WeChat 列表。\nVoice agent 是一條 pipeline（音訊傳輸、語音轉文字、LLM、文字轉語音、再傳回去），Pipecat 是不綁定廠商的膠水層。Claude 照著 Pipecat 文件，大約 30 分鐘就做出第一版。手動測試代表每改一次就要從頭講完一整筆點單，所以他把它包進一個 agent loop。Judge 是一個 LLM，讀完一段結束的對話後回答一個是非題，例如 agent 有沒有禮貌。Eval 會讓 agent 跑 10 次、20 次或 100 次，回報通過率，因為 voice agent 從來不會兩次表現一樣。Scripted eval 像單口喜劇，每次講的都一樣。Simulation 像即興劇：另一個 LLM 扮演拿不定主意的客人，講的是他讀不懂的中文，再用他用英文寫的成功條件來評分。\nScripted eval 像單口喜劇（每次都是同樣的台詞），simulation 像即興劇（由另一個 LLM 扮演客人）：「Scripted eval 檢查你已經知道的，simulation 找出你漏掉的。」\n文字模式跳過音訊，搭配本地的 judge 幾乎不花錢。音訊模式抓到了一個 bug：語音轉文字把「去冰」聽成「two 瓶」，也就是中英夾雜的「兩瓶」。純文字的測試看不到這種問題。\n音訊模式的 simulation：agent 歡迎客人，模擬客人小美問它剛剛說了什麼，能不能推薦一杯奶茶。\n好的、壞的、醜的：3,000 場即時練習教會我們的串流語音轉文字 — Satvik Sinha (AICET, NUS) Satvik Sinha 負責 AICET 華語口說練習 app 裡的 voice agent，app 裡有一位叫 Laoshi 的家教跟學生對話。他一開始先播了一段學生結結巴巴的回答，再秀出即時逐字稿，裡面出現了「Shanghai」。她根本沒說這個字。他們的練習 session 大約每四場就有一場，逐字稿裡出現沒人說過的內容：別種語言的文字、錯字、漏字。\n演講涵蓋的那段 pipeline：說話者、在偵測到停頓的地方切段的 voice activity detector，以及 STT 模型，「就像 LiveKit、Pipecat 和 Vapi 那樣」。\n在 FLEURS 上，他們試的四個模型公布的錯誤率在 2.4% 到 7.2% 之間。在他們的即時音訊上，同樣的模型分別是 25.0%（Qwen3-ASR）、28.5%（ElevenLabs Scribe）、27.6%（Gemini 3.5 Transcribe）和 48.5%（gpt-4o-transcribe），差了 4 到 20 倍。他點出兩個差異。FLEURS 是母語人士唸事先準備好的句子，整段送進模型。他們的學生不是母語人士，邊想邊說，而且送到模型的是被 voice activity detector 切開的一段一段。\nBenchmark 與他們的實測：公布的 FLEURS 錯誤率（2.4 到 7.2%），對比同樣的模型在學生即時音訊片段上的表現（25.0 到 48.5%）。\n為了把這兩個因素分開，他們把同一批學生的完整錄音丟給同樣的模型。準確度大幅上升，別種語言的文字也不見了。接著他們把開場那段音訊跑過即時 pipeline。那位學生停頓很多，所以 VAD 切出很短的片段，而這麼短的片段聽起來可能像好幾種語言裡的某個字。原因出在 decoder。它輸出的第一個 token 是語言，之後每個 token 都以它為條件，所以在一秒長的片段上猜錯，整行就會變成韓文或泰文。音訊越多，decoder 就有越多東西可以當條件。\n對 Scribe、Qwen 和 Gemini 取平均，準確度從即時片段的 62 提高到完整錄音的 82。告訴模型是什麼語言，可以把即時片段拉到 73，也就是 20 分裡補回 11 分。剩下的 9 分是上下文，片段長度到 2 到 8 秒時，大部分就回來了。他的解法是讓 VAD 等到更長的停頓再切。\n準確度與片段長度：即時片段 62，完整錄音 82，告訴模型語言 +11，上下文 +9，其中大部分在 2 到 8 秒的片段（陰影區）就達到了。\nAI 新創：產品、市場與下一步 — Yusen Dai (ZhenFund), Harry Wang (Linear Capital), Patrick Liu (TaoZ Capital) 午餐後的第一場是 40 分鐘的投資人座談。主持人是 podcast《第二次用火》的 Bibi，與談人是 ZhenFund 的 Yusen Dai（Kimi、Manus 和 Xiaohongshu 的第一張支票都是他們開的）、Linear Capital 的 Harry Wang（投資 Horizon Robotics 這類軟硬體結合的案子），以及去年底離開 BlueRun Ventures、改投北大師生的 Patrick Liu。沒有投影片。他們在兩個問題上意見不同。\n主舞台上的座談，由左至右：Yusen Dai、Harry Wang、Patrick Liu 和主持人 Bibi，螢幕上是 Wang、Liu 和 Bibi 的來賓卡。\n第一個問題是模型公司是不是正在吃掉應用層。Dai 認為壓力來自模型公司自己的 app，也就是 Claude Code、Codex 和 ChatGPT，用他的話說，這些產品「補貼了 20 倍的 token」。他還是認為更便宜的模型對做應用的人有幫助：推論效率每年提升「可能 10 倍」，而模型能做到的事和大家願意付錢的事之間的落差，總要有人去補。他的比喻是 Windows：IE 和 Office 是第一方產品，第三方生態系還是長起來了。Patrick 講得更直接。他說在中國，三年前募到錢的應用層新創，90% 甚至 99% 都死了，而贏家是在最新的模型上做套利，一旦模型自己伸進應用裡，套利就結束了。Harry 說純軟體的應用邊界一直在消失（「中國從來就沒有邊界」），所以 Linear 投的是硬體加軟體。\n他們對個人 agent 意見分歧。Harry 是最熱衷的一方：口袋裡一個「IQ 200」的助理，能讀懂他說話的語氣和節奏，直接動手做事而不是陪聊，由一個管家 agent 按任務保存上下文，就像 DeepSeek 剛發布的 Super Agent 設計。Dai 認為效率不是大眾市場的需求。清掉舊的訂閱做一次很好，現有產品的留存「一般」，而最大的行動網路公司都是靠擴大人們想要的東西成長，而不是幫人省時間。一個幫你訂機票的 agent，只是把 Ctrip 的佣金換到另一個口袋。Patrick 說機會是真的，但屬於平台公司，因為新創在運算資源、演算法和資料上都比不過模型實驗室。他根據自己經營遊戲公司多年的經驗補充：消耗使用者時間的產品，會贏過幫使用者省時間的產品。\nHarry Wang（左二，拿著麥克風）正在講基於 diffusion 模型的即時影片生成，速度快了「20 倍以上」，他把它當成避開模型實驗室主戰場的垂直領域。\nHarry 說實驗室主要是在寫程式上訓練長時程的行為，金融或旅遊的軌跡資料和環境都「遠遠不夠」，還有一位矽谷實驗室的董事會成員告訴他，模型在日常任務上看起來「很笨」，是因為訓練的優先順序，不是能力問題。\n第二個分歧是關於創辦人。Dai 說 ZhenFund 沒有跟進同行投的那些估值很高的年輕教授新創，因為好的研究和好的公司是兩回事，而且在中國，研究專案很少有退場管道。Kimi 的 Yang Zhilin 是他的例外。Patrick 直說他在這點上跟 Dai 看法不同，他喜歡年輕老師搭配優秀的大學部學生，因為這一波是技術驅動的。Harry 說 Linear 2026 年的案子大多在 physical AI。他也看過很多做遞迴自我改進（RSI）的新創，起始估值「通常在 1 億美元以上」，但一家都沒投，因為創辦人說不出 RSI 是要拿來做什麼。\nHarry 支持本地 AI 的理由是隱私和上下文。他的企業級盒子至少跑一個「Flash 等級」的 DeepSeek 模型，讓公司的上下文留在公司裡，比較難的工作再交給雲端。\n最後一輪問的是：如果畢業時拿到人民幣 200 萬的天使資金，他們各自會怎麼做。Dai 當年就是從 Xu Xiaoping 那裡拿了這筆錢，做出了 Jumei，他說要跟信得過的夥伴一起加入最大的那波浪潮，而且要預期會 pivot。Patrick 會挑一個非常難的問題，給它十年。\n模型越強，harness 越精簡：哪些該控制，哪些該放手 — Ronny He (MiniMax) Ronny He 帶領 MiniMax Code 的研發，這是 MiniMax 做 coding 和工作的 agent。他說投影片是前一晚重寫的。十六張投影片塞滿了他們自家 harness 的規則和量測結果，他不到二十分鐘就講完，案例「因為時間關係」也只是匆匆帶過。\n他的主張一張投影片就講得完：放掉判斷，守住不變量（invariants）。判斷是指模型現在已經比你的 if 判斷式做得更好的決定：用哪個工具、怎麼規劃、工作怎麼拆。不變量則是模型看不到、無法復原，或不能信任它會記住的東西：prompt cache 的前綴、時鐘、process 的生命週期、必須保留下來的狀態。每個 harness 功能都要過四個問題。你說得出它防止的是哪一種失敗嗎？模型看得到它做這個決定所需的資訊嗎？如果它判斷錯了，你能復原嗎？這個功能有通過 eval 嗎？針對第三題，他的說法是：寫在 prompt 裡的規則是提示，不是閘門。\n投影片 05，原則：放掉判斷（用哪個工具、怎麼規劃、工作怎麼拆、要摘要什麼），守住不變量（cache 前綴、時鐘、process 生命週期、必須保留下來的狀態）。\n刪東西的理由來自 Anthropic。他說 Claude Code 的 system prompt 針對較新的模型砍掉了 80% 以上，單一 agent 加上 skills 常常勝過 subagent 的設計，也有人提過要拿掉 Plan mode。他問現場當天有誰用過 Claude Code，算下來超過全場 80%。MiniMax 預期自家的 /goal 指令會是下一個被拿掉的，因為模型現在已經被訓練成能把任務一路做到交付。數字則來自 MiniMax 自己的案例，五個裡有三個跟 prompt cache 有關。\nConnector 工具（使用者登入的第三方 MCP server）以前每一輪都會被注入 tools 陣列。已連線的清單在不同輪之間可能會變，網路一抖還會回傳空清單，結果快取的前綴一直失效，有時候模型甚至一個工具都沒有。他們把這些全部搬到一個讓模型呼叫的小 CLI 後面，tools 陣列從此不再變動。代價是多一個模型步驟，而且得仰賴寫得好的描述。第二個案例是 programmatic tool calling：一個 run_code 工具，裡面的 JavaScript 透過同一套權限和 hooks 呼叫 tools.*。run_code 跟所有原生工具並列提供時幾乎沒被用到，token 還增加了 5%。直到大部分工具只能透過程式碼存取，它才划算。這時分數持平，兩組任務的 token 分別減少 13% 和 35%，request 數從 104 降到 93。他的投影片說這是效率上的提升，不是能力上的提升。\n投影片 08，刪減、延後、程式化：少載入一些工具（定義超過 30–50 個之後，模型挑得更差），把少用的工具移到搜尋後面，再來是 run_code 工具。「我們踩過的坑」框裡寫著：每一輪都去抓工具目錄，拖慢了第一個 token；run_code 跟原生工具並列時沒人用，token 卻增加了 5%。\n第三個案例最具體。Anthropic 預設的 prompt cache 存活時間是五分鐘，而 agent 在等 npm run dev 的時候不會送出任何 request，所以在前景等六分鐘，cache 就沒了，下一輪得付完整的 prefill。模型看不到這個時鐘，所以時間由 harness 掌管。每個指令一開始就是背景任務，前景最多等 60 秒，任務保留同一個 ID，免得模型把它砍掉再重啟一次，另外還有一個 3600 秒的期限，前景時間也算在內，而且不能靠轉到背景來重置。投影片也承認了代價：通知、防輪詢、清理，還有「compaction 之後的真相」，全都得手工重做。\n投影片 09，「agent 應該就這樣等 npm run dev 嗎？」：prompt cache 預設存活 5 分鐘，以及 MiniMax Code 的自動背景化（一開始就在背景、前景 60 秒、同一個 task_id、3600 秒且不能重置）。\n有一張投影片是關於記憶的。一份很長的記憶檔案被截斷，最上面最重要的規則被切掉了，卻沒有人發現。agent 也會跟使用者說「context 快滿了，我下一輪再繼續」，因為它們不知道有 compaction 這回事。\n超越視覺—語言—動作：建構 Physical AI 的第一性原理 — 何文智 He Wenzhi (AiMoga Robotics) 何文智是 AiMoga（墨甲）工業具身機器人事業部的產品總監，AiMoga 是奇瑞旗下的機器人公司。他是下午 physical AI 這個時段的第一場。他不是以研究者的身分在講，而是以必須讓機器人在客戶工廠裡真正跑起來的人來講。\n標題投影片：超越視覺—語言—動作模型，下面一句「智慧不只是選擇動作，而是感知動作的結果並修正下一個動作」。右邊的圖是 AiMoga 的輪式工業機器人。\n照他的說法，兩種模型在產線上都會失敗。VLA（vision-language-action）模型達不到產線節拍要求的精度和穩定度，他說這是致命的。YOLO 這類傳統視覺模型可以做得很精準，但每家工廠，甚至工廠裡的每一條產線，都有很多種產品型號、形狀和顏色。AiMoga 得替每個客戶訓練、部署、調校，還要派自己的人長駐現場，他說這種成本對一家機器人公司來說撐不下去。他標題投影片上那台輪式工業機器人，下個月會在一家合作夥伴位於蘇州的工廠上線。\n核心主張只有一張投影片：理解指令不等於掌握物理互動。VLA 能辨識零件，也能理解「把連接器插進去」，但光靠相機影像，它觀察不到接觸力、滑動、摩擦或對位誤差。他把痛點講得很具體：夾爪或靈巧手是不是真的抓牢了，零件是不是正在慢慢滑掉。投影片上的公式是「往哪裡移動？」≠「接觸對不對？」。他說，超越 VLA 是要做更完整的閉環，不是拋棄 VLA。\n「理解指令不等於掌握物理互動」：VLA 帶來語意理解和動作先驗，但光靠外部影像，接觸力、滑動、摩擦和對位誤差仍然看不見。紅字：「往哪裡移動？」≠「接觸對不對？」\n做法是一個感知與運動的閉環（sensorimotor loop）：感知，估計狀態和它的不確定性，靠快速的局部回饋去動作，接著偵測偏差、滑動或失敗，修正，再把經驗留下來。每個感測器各有分工。相機提供 6D 姿態和深度，關節裡的扭力感測器回報碰撞、負載和施力，手上的觸覺感測器回報摩擦、滑動和形變，本體感覺（proprioception）提供關節和底盤的狀態。最上面是一個五層架構，他拿來跟自駕車的 L1–L5 對照，從運動控制（狀態估計、伺服、阻抗、安全）開始，經過能感知接觸的技能、技能記憶和 VLM 規劃，一路到目標層。記憶、評估和學習橫跨各層，學到的改變要先通過驗證，才會沉澱進模型。他舉的例子是由客戶的 MES 派發下來的任務：替工作站補料並安裝零件。如果上料時遇到裝配不順、非預期的力或滑動，機器人會停下、退回、重新估計。用他的話說，任務要等物理結果驗證過才算完成。\n「五個功能層、三種模型、一個閉環」：從 L1 物理與運動控制到 L5 目標與後設控制，記憶、評估和學習是跨層機制（學習：局部改進，驗證之後才沉澱下來）。\n他說這個閉環在實際部署中還沒完全用上。\n工業安全監控（運動限制、碰撞保護、停機、故障處理）絕對不能依賴模型。它跑在 PLC 或專用的板子上，用手寫的規則。\n他也提到，把 LiDAR、深度、力／扭力、超音波和 RGB 資料融合起來，對他們來說還是未解的問題。\n從 3D 生成到世界模型：為 Physical AI 建構持久、可互動的世界 — Gavin Luo (VAST / Tripo AI) Gavin Luo 是 VAST 的策略負責人，VAST 就是做 Tripo 3D 生成模型的公司。他整場演講圍繞著自家公司今年不得不面對的一個問題：當 AI agent 開始自己建 3D 場景，一家 3D 公司會變成怎樣？\nGavin Luo 在主舞台上，旁邊是標題投影片「從 3D 生成到世界模型：建構持久、可互動的世界」。\nOpenAI 發布 GPT-6 Astra 兩天後，團隊開了一個群組叫「Astra 今天解決 3D 了嗎？」，規則只有一條：只能貼自己親手試過的東西，Twitter、YouTube、小紅書上看來的都不算。agent 完全用程式碼，在幾十秒內就建出室內場景，沒用到任何 AI 原生的 3D 模型。一位研究員說，他還沒找到哪個室內場景非用 Tripo 不可，一位同事回他：「老實說，有點慌。」一個房間大部分都能用規格描述出來。VAST 的結論是：描述得出來的，agent 就寫得出來；只認得出來的，就得靠模型去學。門和分數交給程式碼，角色的臉、生物的造型，或是照著照片做出神似的模樣，交給模型。他舉的例子是第一天分組場次裡 Sac 的《小王子》遊戲，用 Claude、Blender 和 Tripo 在 16 天內做出來，agent 寫遊戲，Tripo 做 3D 素材。Tripo 變成了 agent 呼叫的工具。\n「3D 是世界的原生語言」：VAST 透過 Tripo Studio 和 Tripo API 提供 3D 原生模型。遍及近 200 個國家和地區的數千萬名創作者，2026 上半年 3D 模型生成量第一，在一個 200K+ 人投票的 3D 盲測排行榜上排名第一，60+ 篇論文、50+ 個開源專案。\n後半段講的是 Project Eden，這是 CEO Simon 在 SIGGRAPH 2023 展示過的那道階梯的下一階：先是素材，再來是場景，然後是能為人和機器人持續運作的世界。他的說法是，3D 素材是名詞，世界需要動詞。設計上把世界狀態明確地放在一個普通的程式裡。遊戲知道門在哪裡、有沒有開、走過去會發生什麼，並把這些渲染成一個灰盒（grey-box）畫面。EdenLive 拿灰盒畫面當目標的第一幀，再加上一段文字 prompt，或是針對重要事件的簡短文字，生成你實際看到的畫面。示範中，一個小視窗顯示潛艇遊戲本身的輸出，主螢幕則是 EdenLive 的版本。因為每個畫面都來自同一份狀態，你撲滅的火會一直是熄的，牆上的痕跡下一個訪客來時還在，兩個玩家也能從不同的攝影機角度看同一個地方。遊戲和模型之間的約定就只是參考畫面，所以每款遊戲不需要做自己的整合。他說示範跑的是 5B 模型，720p、每秒 24 幀，權重和串流推論程式碼都以 Apache 2.0 開源。repository 裡另外寫到這是跑在單張 RTX 5090 上，而且 14B 的權重也已經釋出。\n他列出了還缺什麼。角色走回畫面時，細節可能已經跑掉，使用者需要更多控制權，而學習狀態轉移「非常重要」，目前還沒解決。他最喜歡的失敗案例是一個評估：他們的一個 agent 在那裡塞了一個箱子，就通過了可行走性檢查，檢查的結論是人可以走上樓梯。\n在機器人方面，他們拿一段真人操作物體的影片，把手換成機械手臂，保留動作和場景，藉此從一次示範得到多種視覺變化。他說他們還需要測試物理上的準確度，以及對機器人學習到底有沒有用，而真正的目標，也就是第三階，是讓機器人能動作、看到後果、再試一次的環境。\n我們如何為裝置端 agent 建構開放的決策模型 — Leonie Monigatti (Liquid AI) Leonie Monigatti 在 Liquid AI 的 post-training 團隊工作。她在大會前一週把原本準備好的演講整個丟掉，因為九月中 TypeSafe AI 發布了 Jev，開啟了現在大家稱為決策模型（decision model）的這類模型（TypeSafe 自己的叫法是「System One models」）。她的主張是，開源生態系正在用比 TypeSafe 發表部落格文章所暗示的更簡單的配方，逆向工程 Jev，而且結果有競爭力。Liquid 在六、七週內就推出了好幾個這類模型，有託管的，也有開放的。她說當天早上她查的時候，Liquid 的 d1-ultra 在 Decision Index 上排第一。\n決策模型接收一個狀態和一個範圍明確的問題，回傳一個有型別的答案和一個信心分數，只要一次 forward pass，不生成文字。她的例子問的是：在演講前一週把題目換成一個每天都在變的主題，是不是好主意。Liquid 有三種問題類型，他們稱為 primitives：Noul（是／否）、Score（這裡是 1 到 5，它給了 1）和 Choice。真正的產品是那個信心分數。示範之後的那張投影片只有四行程式碼：高於 0.9 就執行，否則請人確認。「決策模型可能會錯，但它不確定的時候會告訴你。」\nChoice primitive：輸入一個狀態和一個有三個選項的問題，輸出一個有型別的答案，附上每個選項的機率（0.90、0.03、0.07），以及另一個獨立的 confidence 欄位，值是 0.84。\nTypeSafe 隱身開發了兩年，發布後不到一週就出現了仿製品。baseline 是她所說的 inference-only 技巧，任何 LLM 都能用。把狀態、問題和選項放進 prompt，每個選項標上一個單一 token 的標籤（A、B、C），然後要求模型只回答標籤。接著跑一次 forward pass，讀出最後一個位置的 logits，只留下這三個標籤 token，再對它們做 softmax。\n整個 baseline 一張投影片講完：LFM3-1.7B、一個附 A/B/C 選項的客服工單 prompt、一次不生成文字的 forward pass、三個標籤的 next-token logits（9.69、10.81、8.56），最後做 softmax。\n這個 baseline 有兩個問題。第一，LLM 是在預測 token，不是在做決定。那封 email 寫著「我上週的訂單被扣了兩次款，請退還其中一筆」，問題是該由哪個團隊處理。帳務、技術支援和詐欺換了三種排列順序，基礎模型每次都把大部分機率給了排在 B 的那個團隊，分別是 0.43、0.80 和 0.80。\n未經訓練的 baseline 的位置偏差：同一封重複扣款的 email，三個團隊用三種順序排列。不管 B 是哪個團隊，模型每次都偏好選項 B。\n解法是一般的 SFT：把許多分類任務套進同一個模板，並且把正確答案的位置打亂。Liquid 發現 LoRA 比 full fine-tuning 更有效，也更便宜。接著是架構：開放模型分成以 encoder 為基礎的（建在 ModernBERT 上的 laya、Fastino 的 GLiNER2.5-Decide、Liquid 的 d1-omni-600M），以及以 decoder 為基礎的（建在 27B Qwen 上的 Perplexity pplx-decider 和 Cloudflare clef，還有 Liquid 的 d1-3B）。Liquid 第一次釋出時兩種各有一個。大會前一週釋出的這一代是拿掉 causal mask 的 decoder，所以每個 token 都看得到整個輸入，「有點像 encoder」。\n依架構分類的開放決策模型生態系：以 encoder 為基礎的（convaiinnovations/laya、fastino/GLiNER2.5-Decide、LiquidAI/d1-omni-600M），以及以 decoder 為基礎的（perplexity-ai/pplx-decider-v1.2、Cloudflare/clef、LiquidAI/d1-3B），每個都列出各自的 base model。\n第二個問題是剛訓練好的模型會過度自信：它說 90%，實際上只有 70% 的時候是對的。TypeSafe 用 RL 訓練校準。她說不需要 RL。很多開源團隊用的是 temperature scaling：溫度調高會讓分布變平，調低會讓分布變尖，而選項的排序不變，所以準確率不動，只有信心分數會變。新模型大約 2B 參數，一個處理文字和視覺，另一個再加上音訊，她說手機或筆電都裝得下，還很寬裕。影片一開始載不出來，後來播出的是一位同事在 MacBook 上對著自己的攝影機跑 d1-2B，偵測他講出名字的物體，並在周圍畫框。\n主權 agent 之間的通訊：agent 經濟的基礎 — Mingke Luo (masons.ai) Mingke Luo 創辦了 masons.ai，他 2016 年就在做個人 agent。他二十分鐘的演講大部分在講這段歷史，用來支撐一個主張。擋住 agent 的從來不是語言和推理，而是履約（fulfillment），「它現在有個漂亮的名字，叫 action。」採取行動代表要改變別人擁有的環境裡的狀態，而這些擁有者不想被貶成一個 API。\n他 2016 年的新創在深度學習變得負擔得起時買了 GPU，訓練判別式模型做意圖辨識和實體抽取，而且「2016 年就真的叫它 agent 了」。投影片是那個 app 的舊海報，叫 Mr.S，上面有五個情境：訂餐廳、叫咖啡送到辦公室、出差訂機票、買書、挑生日禮物。\n「2016 Personal Agent」：Mr.S 的海報，用中文列出五個情境（餐廳推薦與訂位、咖啡送到辦公室、出差訂機票、買《The Hard Thing About Hard Things》、生日禮物），每個都附一張對話截圖。\n他 2016 年一場演講的影片列出三個問題：撐住多輪對話、理解鬆散的口語需求，以及履約。LLM 解決了前兩個；領域邏輯「那時候我們得手寫程式」。把那家叫 AI Concierge 的公司拖垮的是履約。當時沒有訂餐廳的 API，所以他們做了「真人 API」：AI 前端接需求，客服中心 20 個人打電話給餐廳和航空公司。「這絕對沒辦法規模化。」後來有位創投問他，誰會比較快做到：他的新創，還是美團和大眾點評？後者早就有所有服務商的 API，只差加上 agent 框架。他不想去做 BD，公司就倒了。\n他對 agent 的定義回溯到拉丁文 agens，意思是採取行動的人。目標加上操作就是行動，目標由人提供，而目標是一個期望的狀態。改變這個狀態「聽起來很簡單，只要環境是你的。」在別人的環境裡，「別人會允許你這麼做嗎？想想 Amazon 最近為什麼封鎖 Muse。」\nFulfilment 被劃掉，換成 action。Agent（英文，1600 年代）= agens（拉丁文，西元 1 世紀）= 採取行動的人；目標 + 操作，得到期望的狀態。\n八年做企業客戶的經驗讓他學到「主權」這個詞。2017 年做完 Visa 的 concierge 之後，他替 BMW、Porsche 和 Intel 做 agent。在 BMW，車上的助理屬於某一個部門，金融服務公司和保養部門則各自用其他廠商的 agent，所以客戶站在自己的車旁邊，卻問不到自己的貸款合約。2019 年，他的團隊讓同一家公司裡各部門的 agent 互相溝通，而且不綁定框架。這一直是昂貴的企業產品，因為當時只有跨國公司負擔得起做 agent。\n如今每個 agent 既服務自己的擁有者，也消費其他 agent 的服務。他點出兩個問題。第一是「一個 AI 統治一切」：前沿實驗室的超級 agent（他點名了 Codex、Claude Code、ChatGPT 和 Dot）收集你的意圖再分派出去。數位助理時代就試過這套，品牌拒絕當「白牌的履約」，也拒絕「被貶成 API」。第二是 agent 與委託人（agent-principal）的問題。用平台的個人 agent，你分不清它服務的是「你還是平台」，也不知道它會不會抽佣金，「就像廣告交易平台多年來在做的那樣」。\n「2025 Agent Economy」：通用 vs 垂直，左下是通用型個人 agent，右上是垂直服務 agent（Lufthansa、Uber、Starbucks、Marriott Bonvoy）。\n問題：主權。一個 agent 向外分派到各項服務，每項服務都被貶成一個 API（機票、叫車、咖啡、飯店），上方寫著「對誰最有利？」和「一個 AI 統治一切」。\n他的答案是一邊是使用者擁有的 agent，另一邊是服務方擁有的 agent，彼此透過網路交換意圖。他套用「網路就是電腦」的說法，稱之為「網路就是 AI」。投影片上是一個旅遊 concierge 把新的意圖傳給 Lufthansa 的 agent、United 的 agent 和飯店的 agent，每個 agent 都擋在自己的後端前面。在這之上，他還想要使用者是 agent 的市集，以及 B2B 夥伴之間用來採購的「意圖交換」。至於個人：「讓你的個人 agent 互相交朋友……這就是現在。」最後他邀請現場的人把自己的 agent 連到他的 agent。\n反過來的主權：旅遊 concierge 把新的意圖送給 Lufthansa agent（私有 API）、United Airlines agent（MCP）和飯店 agent（私有 API），各自保有自己的後端。\nReal2Real：生成最佳行為的量子具身 AI 範式 — Dicong \u0026ldquo;David\u0026rdquo; Qiu (QuantSparkle.ai) David Qiu 是 QuantSparkle（數耀量生）的 CTO。他說，把量子電腦放進機器人 policy 的訓練裡，GPU 訓練已經停滯之後，policy 還能繼續進步。\n先講數字。在 LIBERO 上，他的 baseline 是最新的 openpi 模型，平均成功率 93.7%，就算訓練到 80,000 個 epoch 也沒有好多少。QuantSparkle 的量子與古典混合架構在 12,000 個 epoch 後達到 98%，而且因為只訓練 latent space，需要的 GPU 比較少。他說難度越高差距越大：在 LIBERO 最複雜的任務上領先 25%，在更難的測試上最多領先 33%，這些測試是在 RoboTwin 和 RoboCasa 上跑的。真實機器人的結果有，但要留給論文；一週前還有一個客戶回報，在五項真實測試中結果比他們自己的 baseline 好。論文還沒出來。\n機制從一個大家熟悉的例子講起。示範資料裡有人從左邊的門離開房間，也有人從右邊的門離開，用高斯 policy 去擬合，峰值會落在兩扇門中間的牆上。混合高斯有幫助，但元件數量要事先決定。QuantSparkle 改在 latent space 上放一個 Boltzmann 分布，也就是一個由真實樣本錨定的能量地形（energy landscape）。它可以容納任意數量的 mode，而且他說，只要資料夠多，就會收斂到真實世界的分布。他把 sim-to-real gap 定義為模擬器和真實世界的狀態轉移分布之間的差異，Real2Real 只從真實執行中學習，藉此避開這個 gap。他說搜尋的空間大約是 2^1000 個狀態，沒有任何古典裝置能在 1 到 3 毫秒內解出來，所以由一台有 1,000 個相干量子位元的量子電腦來做取樣。最上層是一個「quantum RSI」迴圈。幾十個真實樣本先錨定出初始的地形，取樣器挑出其中的最佳解，交給真實機器人執行，結果再拿來更新地形，如此反覆，直到取樣出來的就是真正的最佳解。\n主持人事後說，聽到這被稱為簡化版，滿令人意外的。\nNoe-0：建立在真實世界人類經驗上的世界動作模型 — 呂峻 Jun Lv (Noematrix) 呂峻在 Noematrix（穹徹智能）負責模型。這家上海公司是上海交大教授 Cewu Lu 在共同創辦機械手臂廠商 Flexiv 之後，於 2023 年創立的。他從整個場次一再回到的那個落差講起：2026 年，你幾乎可以找到機器人做任何事的影片，但真正達到工廠或服務工作要求的機器人非常少。\n他的診斷是一個數字：讓機器人學會一項新能力的成本。十年前這些 demo 也做得出來，但每一次部署都是一個專案。你要把東西架起來，投入一個十幾人、有時上百人的團隊，花幾個月交付一個簡單的工作站，賺的錢還不足以讓這台機器人划算。他預測六個月到一年內，一個演算法工程師，或是一個受過訓練、他稱為 FDE 的藍領工人，兩週就能交付一個工作站，就像 AI coding 讓一個人做到過去一整個團隊的事。再往後，一般人可以用語言、圖像或身體姿勢來教機器人，他預期消費級機器人會在那時出現。\n機制是資料。Noematrix 收資料不用機器人（無本體）：沒有資料工廠，採集設備帶進將近 100 個城市的真實工作場所，高峰時有超過 1,000 名採集員，到目前累積將近 300,000 小時，另外還買了第一人稱（egocentric）和自然場景的影片。他很具體地講了會出什麼問題。資料工廠裡一百個人坐在模擬的桌子前，很好管理。分散到全國各地之後，採集員會偷懶或誤解工作內容，物件種類又多，檢查和標註都很困難。所以這套流程會在當天就告訴採集團隊最新一批資料能不能用，品質檢查和標註全部交給 AI。Noematrix 在生產資料上已經完全拿掉了人工 QC。\n模型是世界模型架構：輸入影像和語言 prompt，輸出預測的未來一段時間窗，加上動作。後訓練同樣不用機器人，也沒有遠端操作，所以預訓練和後訓練看到的是同一類資料，基礎模型越強，新任務的成本就直接越低。他說他們已經用這些資料確認了 scaling law；技術報告下個月會出。力的結果比較具體。高精度任務沒有力資訊就會失敗，就連看起來不需要力的任務，後訓練時也收斂得更快、需要的資料更少。模型之上還有一個 agentic 層，負責排程、診斷和自我改進，幾個月前以「Robot RSI」的名字開源。2024 年一個整理地面的 demo，花了兩個工程師一個月和 2,000 到 3,000 行程式碼。現在一個工程師看著系統，大約一天就能做到。\n為快速演進的模型設計機器人硬體 — Zhong Shen (DYNA) Zhong Shen 是 DYNA Robotics 的硬體負責人，DYNA 自己做模型，也自己做機器人 Taku。他講的是兩個速度不同的團隊。如果模型 24 週內每週更新一次，模型團隊就有 24 次嘗試新點子的機會。硬體在同一段時間只有一兩次大改版，所以一個在第 12 週驗證過、但需要改硬體的模型點子，「幾乎不可能」。一般產品的做法是在專案開始前先把需求談定。通用機器人沒辦法這樣，因為它要對應的應用太多了。\n他把通用機器人放在兩個比較早的傳統之間。工業手臂是為精度、重複性和耐用度而設計的，剛性優先的設計讓負載與手臂質量的比值偏低，研究實驗室常見的 KUKA 手臂是 0.3 到 0.5。研究平台則是為了突破而做，例如一台據報導約 200 萬美元的 NASA 人形機器人。DYNA 需要的是後者的能力，加上前者的成本和耐用度。\n他對速度不匹配的回答，是一個不會隨模型改變的需求：可預測的硬體。機器人的動作方式要讓模型能預測，感測器回報物理狀態的方式要讓模型能信任。演講剩下的部分是一個完整的例子：關節傳動。傳統手臂用諧波減速機的地方，Taku 用的是行星齒輪致動器。根據他展示的一份已發表結果，在同樣的馬達、相近的減速比之下，諧波減速機的內部阻力大約是兩倍。它也很難建模。柔輪的變形取決於負載歷史（遲滯），摩擦力又會隨負載和溫度改變。用行星齒輪的話，同一個 policy 在模擬裡和在 Taku 上畫圓，真實機器人的 RMS 追蹤誤差只多了 0.3 mm。\n感測也是從同一個選擇延伸出來的。DYNA 不在關節裡放力矩感測器，原因「超出這場演講的範圍」。它透過致動器模型，從馬達電流估計外力，而這只有在傳動容易建模時才行得通。在模擬中，15 N 的推力，估計的平均誤差在手腕約 1.39 N、在手肘約 0.8 N；相較之下，最近另一支使用行星齒輪的 6-DoF 手臂的已發表研究約為 1.05 N。\n他最後說 DYNA 正在量產目前這款機器人，並在中國和美國徵才。\n這個 agent 該被允許這樣做嗎？ — Grace Li (1Password) Grace Li 是 1Password 的 senior principal applied AI engineer。她的時段在議程上印的是「Talk to be announced」，所以我用她開場和結尾都問的那個問題當標題。她沒有談 1Password 的產品。她的主題是在 tool call 執行之前，判斷它符不符合使用者的任務。\n她的例子是一個 coding agent，被問到為什麼 checkout 服務從上次部署之後一直失敗。它在 production 帳號裡過濾 AWS log，這是唯讀操作，可以允許。log 顯示服務的規模開得不夠，於是它提議更新這個服務。這也許是對的修法，但任務是調查，而這個 call 會改動 production。agent 給了一個理由，而她說這個理由不一定可信。她對標題問題的回答是：只有在這個 call 符合任務、而且你的 policy 允許時，才可以。\n負責檢查的是一個 runtime intent judge。它讀取到這個 tool call 為止的 session，加上這個 call 本身；因為 agent 會同時發出好幾個 call，所以它必須回答得很快，而且應該在本機跑，讓 context 留在主機上。Regex 規則看得到指令，看不到任務；託管的模型比較慢、比較貴，還會把 context 送出去。所以她比較了幾個小模型：當天下午稍早 Liquid AI 的 Leonie Monigatti 介紹過的那些開放決策模型，以及一個當作生成式 judge 用的 7B Qwen 模型。\n測試集是合成的命令列 tool call。每個模型拿到任務、agent 的理由和幾個問題，回傳一個從 read 到 admin 的存取層級，交給 policy 處理。Jev、Cloudflare 的 Clef 和 Liquid 的 d1 分數都在 91% 到 93% 之間。最小的 Laya 大約 400M 參數，是例外。Qwen 是 72%。另一個發現跟不確定性有關：給了選項之後，有些模型會回答「unknown」，d1 大約有一半的時候這樣回答。所以不同模型的機率無法互相比較，要轉給人處理的信心門檻必須依模型分別設定。如果共用一個門檻，謹慎的模型會太常轉給人，變得沒有用。\n她的失敗案例跟標籤有關。GuardDuty 干擾了遷移流量，agent 提議刪掉 detector。有些模型把它歸為 delete，信心很低，但它其實是一個 admin 動作，會關掉 production 的威脅偵測。policy 是依標籤決定的，標籤錯了，權限就錯了。在她的設計裡，一個 MCP server 放在 agent 和它的工具之間，當作存取閘道。它把 call、任務和理由交給 judge，再由一個 policy gate 把標籤跟公司規則、使用者目前的授權結合起來，決定核准、拒絕或轉給人。她對上線的建議是：先量測放行了多少有風險的 call、放行了多少安全的 call，然後修正 judge 的輸入、確認標註者之間的意見一致、校準門檻，最後才做 fine-tune。\n從硬體到智慧：家用服務機器人的全端演進與真實部署 — Hao Zheng (Futuring Robot) Hao Zheng 是 Futuring Robot（未來不遠）的 CTO，這家上海公司做家用服務機器人。他的主張是，家用機器人只有在家裡實際工作，才能持續進步，而 Futuring 已經累積超過 500 個家庭、超過 50,000 小時的運作時間。\n他從機體講起。F2 有超過 1,500 個零件、21 個自由度和 22 個感測器。它看起來像是現成的手臂裝在升降機構和底盤上，但零件之間互相牽制。手臂一動，攝影機和其他感測器看到的東西就跟著變，手臂的長度和重量會移動重心，而重心又決定了底盤。模型大約以 30 Hz 執行，馬達是 500 Hz，中間做平滑處理。他說時間戳記對齊是任何控制的前提：攝影機是什麼時候看到杯子的？從那之後，手臂或杯子動了嗎？\n模型是一個「自我演化」的世界動作模型。一個 backbone 吃進影像、關節狀態、目標、工作空間和力的限制，以及最近的動作，同時預測下一個動作和物體會怎麼變化。自我演化指的是一個資料迴圈。模型會平行想像幾個候選動作，執行其中最好的一個。修正拿去做後訓練，失敗拿去做偏好學習，沒有執行的候選也會保留下來。訓練資料是 10,000 小時的第一人稱資料，加上 30,000 小時他們自己機器人的資料。經過 30 輪，四項任務（摺衣服、掛衣服、義大利麵，以及包含切肉的炒菜）的平均成功率從 45.4% 提升到 86.6%。\n他想把人從「模型什麼時候更新」這個決定裡拿掉。\n機器人資料需要一套 build system — Ding Hao \u0026ldquo;Xuanwo\u0026rdquo; (LanceDB) Ding Hao 更為人所知的名字是 Apache OpenDAL 的 Xuanwo，他為資料主題的短講場次開場。他的主張是：機器人的原始資料只寫一次，但圍繞它的資料永遠在變。每換一個新的 caption 模型、embedding API，或是每追加一批 episode，就得對整段歷史重算衍生欄位，研究人員最後會問，上一次訓練用的到底是哪個版本的 caption。所以機器人資料需要程式碼幾十年來早就有的東西：一套 build system。原始資料是 source，Python UDF 是 build rule，生成的欄位是 artifact，每個 cell 都帶著 dirty 狀態，而 snapshot 會為每一次訓練記錄下當時的資料表。\n機制是 Lance。新增一個欄位會寫出一個新的資料檔，不動既有的資料，資料表也有 branch、tag、cherry-pick 和 merge。新的 LanceDB Functions 產品把 UDF 綁到一個欄位上，把資料列切給多個 GPU worker，每完成一段範圍就持久化，讓 GPU 永遠不必重做；追加資料時只計算新的 frame，最後在一個新的 snapshot 裡一次發布全部結果。他舉的例子是桌上一顆被 18 台攝影機拍到的蘋果，說明 snapshot 為什麼重要：snapshot 讓它在每個視角裡的位置都一致，永遠不會處在「薛丁格狀態」。\n有一部分是關於 null。pipeline 用 null 表示「還沒算」，但夾爪還沒抓到任何東西時，null 也是一個合法的值。這樣訓練時就分不出這是合法的值，還是沒收集到、失敗了，或是夾爪抓到的是自己而不是球。狀態必須跟值放在一起，LanceDB 為此加了一套 flag 機制和 sparse 編碼。\nLanceDB 給的數字：blob 處理比傳統做法快 89 倍、sparse 資料從 300 MB 降到 1 MB、比原生 LeRobot 快 3–5 倍，以及一個有 25 TB 工廠影片的客戶。\n記憶工程、RSI 與團隊知識層 — Siwei Gu (Nowledge Labs) Siwei Gu（Wey Gu）是 Nowledge Labs 的共同創辦人兼 CEO，他的時段是十分鐘，結果講了大約二十分鐘。他從組織性的遺忘講起：NASA 的 Artemis 計畫花了很多力氣處理一個材料問題，而這個問題 50 年前就已經完全解決，後來又被忘掉了。agent 在 session 之間也是這樣遺忘的。\n第一部分是快速回顧他們的記憶工程。每一條原始 trace 都留下來當作情節記憶（episodic memory），因為你沒辦法知道六個月後哪些萃取出來的知識會重要，再讓一個小模型去分流，決定哪些要萃取成語意記憶（semantic memory）。事件發生的時間和紀錄寫入的時間要分開記。過時或只講一半的記憶，比沒有還糟。把衰退當成功能，用 FSRS 這個字卡複習的排程演算法，並把哪些記憶有被用到的回饋餵給它。\n他認為大多數記憶 benchmark 都有偏差，因為它們測的是檢索，而實際使用時大多是結構和 harness 整合的問題。直到今年春天，他的團隊都還維護著 40 到 50 個人工建立的評估維度，並有專家在 loop 裡。大約四月，模型和 harness 已經好到可以做他所說的半閉迴路自我改進。他拿自己 2019 年為 Mobile World Congress 調校雲端平台的經驗做對比，那時用的是貝氏最佳化，當作黑盒子；Google 的 AlphaEvolve 調校基礎設施時，留下的則是人看得懂的軌跡。看得懂的軌跡才是人能審查的，而審查是他的重點。他團隊的 agent 會整夜、整個週末一直跑（「關燈辦公室」），但驗證不可能完全從人手上拿走，所以人負責掌舵，並分批驗證。這樣一來，一整夜的產出就受限於早上的審查。\n一個新結果是：他們和一位 Cornell 的研究者合作，在九個情境中嘗試把團隊的 context 放進模型權重，只有三個有改善。把 context 編譯給 harness 用，也就是他所說的 harness adapter，效果比較好。\n兆級 token 規模的網頁讀取 — Yanlong Wang (Jina AI by Elastic) Yanlong Wang 是 Jina AI 的 principal engineer，Jina AI 現在是 Elastic 的一部分，他也是 Reader 的主要開發者。Reader 把一個 URL 轉成給模型讀的 Markdown（在網址前面加上 r.jina.ai 就行），而且跟大多數 agent 內建的 fetch 工具不同，它一定會在 headless 瀏覽器裡渲染頁面。真正的功夫在於判斷頁面什麼時候算是好了。一段 preload script 會在載入前注入頁面的 JavaScript 環境，每一個 request 都會被檢查，一旦頁面算是載入完成，就從內部擷取它的狀態，並盡早回傳。它跑在 serverless 上，所以每個 request 的 latency 是固定的，叢集的容量則是浮動的。這讓載入偵測也變成一個成本問題，因為等待頁面穩定下來的每一秒都要計費。\n他展示了 Reader 後端的資料。處理之後，頁面的中位數大約是 4.5–5K token。直方圖看起來像常態分布，只是因為橫軸是對數尺度，所以這其實是對數常態分布，平均值大約是中位數的四倍。原始 HTML 大約 30K；把連結和圖片的 URL 去掉之後，中位數降到大約 3K。他算了每一千個中位數頁面的成本：用主流模型超過 9 美元，用中國的模型超過 3 美元，如果先過一個小型的擷取或摘要模型，大約 0.45 美元。網頁廣告每一千次人類瀏覽可以賺 3–15 美元。他的結論是 AI 使用者付得起很多錢，而且 Markdown 不是最後一步。\n後半段講的是政策。Reader 免費方案的匿名流量在六個月內從 20% 升到 36.9%，威脅到免費的那一部分。他對按爬取付費（pay-per-crawl）存疑，因為價格低不下來，用美元計價會把南方國家（Global South）排除在外，而付費存取又會招來資料轉售。他確實認為控制應該放在 gateway，那裡前四大業者就承載了超過一半的流量。他的「不成熟的想法」是用針對 agent 的廣告來付費（讓 agent 補完一句廣告標語），或是用類似 reCAPTCHA 的任務，例如翻譯公開資料，再用 embedding 和 reranker 模型來檢查。\n","permalink":"https://gavinguo.cc/zh-tw/posts/ai-engineer-shanghai-2026-day-2/","summary":"\u003ch2 id=\"概覽\"\u003e概覽\u003c/h2\u003e\n\u003cp\u003eAI Engineer Shanghai 2026 的第二天是 11 月 6 日，地點一樣是上海虹橋希爾頓，一樣只有一個主舞台。議程上的主題是世界模型、實體 AI 和 AI-native 產品。第一天的筆記在\u003ca href=\"/zh-tw/posts/ai-engineer-shanghai-2026/\"\u003e第一天的文章\u003c/a\u003e。\u003c/p\u003e\n\u003cp\u003e上午談的是模型要吃進什麼，以及怎麼檢查它吐出來的東西。World Labs 共同創辦人 Christoph Lassner 開場，講世界模型的分類。HeyGen 主張對影片 agent 來說，HTML 是比 JSON 更好的 context。Chiling 的創辦人說，垂直 AI 唯一剩下的護城河是你自己編碼進去的專家知識；HICAP 則說，工廠裡的最後一哩路是沒有任何系統透過 API 開放出來的資料。接著是兩場談檢查的演講：Daily.co 講在自己看不懂的語言上，要怎麼信任 voice agent 的 eval；NUS 講 3,000 場即時語音轉文字 session 讓他們的 benchmark 數字變成什麼樣子。\u003c/p\u003e","title":"AI Engineer Shanghai 2026 第二天：從 context engineering 到實體 AI"},{"content":"概覽 AI Engineer Shanghai 2026 在 11 月 5 日和 6 日於上海虹橋希爾頓舉行，這是 AI Engineer 第一次在中國辦活動。我參加了第一天，議程上的主題是開放模型、agent 和基礎設施。\n09:07 的報到處（签到处），背板寫著 AI Engineer Shanghai，上方是贊助商名稱。\n上午只有一個場地，從 09:30 到 11:40 午餐。下午 13:00 有一場社群座談，13:45 開始分場進行，主舞台旁邊另有一個 AI 應用分場。我一直待在主舞台聽 agent 和基礎設施的演講。\n09:14 的展區，後牆是 Optiver 和 Exa 的攤位，右邊是 Brave。\nManus 的攤位，旁邊是 Daytona。兩家公司當天下午都上了主舞台。\n以下筆記照議程時間順序整理。\n歡迎致詞與開場影片 — Mengying and swyx (AI Engineer) 09:30 在主舞台開場。負責上海場的 Mengying 致歡迎詞。這是 AI Engineer 在中國的第一場活動。她感謝了贊助商，請大家去逛展區，也謝謝講者們遠道飛來。\nswyx 因為 AI Engineer 隔週在舊金山有一場大型活動，所以沒來，改傳了一段影片。他的主張是 AI Engineer 是給動手做東西的工程師參加的，而其他 AI 研討會請的是政治人物和國家元首。他說上海是 AI Engineer 的第六個城市，提到之前辦過的新加坡、邁阿密、雪梨、巴黎和墨爾本，並說明年會去印度和非洲。最後很明確的請求是大家多發筆記、照片和影片，讓他在家裡轉推，因為這場研討會沒有直播。\n從模型到真正可用的企業 agent — Marco Casalaina (Microsoft) Marco Casalaina 是 Microsoft Core AI 部門的產品副總裁，他在灣區的職稱是「AI futurist」。他一開始就說自己不是來推銷 Microsoft 產品的，想談的是未來六到十二個月 agent 會長什麼樣子。他原本打算現場 demo，但飯店網路幾乎馬上就掛了，所以大部分內容都靠他事先為了以防萬一截好的圖。\n他的重點是 agent 正在擁有自己的身分。他從 Meta 的 Muse 講起，Muse 在安裝時會請你幫它取名字（他的叫「Lily」）。他認為 Meta 這樣做是要讓你把助理當朋友，因為 Muse 靠使用者黏著度賺錢。Microsoft 這樣做則是為了安全。在 Microsoft Foundry 裡建的 agent 會有自己的 Entra ID，他稱為 autopilot 的那種還會有信箱、Teams 帳號和 OneDrive，就像新進員工一樣。他舉的例子是一個銀行 agent「Marco\u0026rsquo;s Teller」，它用 email 回覆客戶關於 ATM 手續費的問題，並把他加進副本。\nTeams 裡 demo 用的幾個 agent 對話（Payroll Funding、Hotel Finance、Banking Operations、Marco\u0026rsquo;s Teller）。標示為 AI agent 的 Marco\u0026rsquo;s Teller 用中文回答 Maria Garcia 那筆 35 美元 ATM 手續費的問題。\n同一個 agent 作為 email 使用者：Marco\u0026rsquo;s Teller 從自己的信箱回覆客戶，並 CC 給 Marco Casalaina。\n做這些的原因是冒用身分的問題。Work IQ 是 agent 用來存取 Outlook、Teams 和 SharePoint 的 headless Microsoft 365 層，它可以代表使用者執行，於是 agent 就以你的身分寄信、刪檔案。他猜現場幾乎每個人都至少有一個 agent 是這樣設定的，而這很危險，因為 agent 繼承了你整個安全情境。在 harness 裡限制工具權限也解決不了：「Harness 層的限制就像印度的紅綠燈，看心情遵守。」你關掉檔案工具，agent 就用 rm -rf；你關掉 shell，它就寫一支 Python script。沒有東西擋得住它，因為在系統看來，它就是你。\nMicrosoft 365 Copilot 搭配 Work IQ 的 on-behalf-of 模式：「Show me all of my recent emails involving Maria Garcia」回傳的是使用者自己的信（23 封），不是 agent 的。\nMicrosoft 的解法是在 agent 自己的身分上做最小權限。他的 agent 是 Agent 365 裡的一個範本，組織裡任何人都能建立自己的副本，由管理員替這一整類 agent 設定權限。他本人對自己的檔案有讀寫權限，而 agent 的身分只拿到 Files.Read.All，所以不管它走哪條路，都不能刪除甚至寫入檔案。\n最後八分鐘談接下來的發展。現在我們編排 multi-agent 系統，就像家長幫幼稚園小孩安排玩伴聚會。他預期 agent 會開始彼此自己安排事情，就像青少年自己約行程，他稱之為 unorchestrated collaboration。他的例子是飯店的財務 agent 請銀行 agent 撥款發薪水，銀行 agent 再請人類核准。這讓測試變得更難。像 groundedness 和 fluency 這種通用分數說明不了太多，所以他展示了銀行 agent 用的 rubric-based eval：拒絕跨客戶存取、符合 Regulation E 和 P、退費前先確認手續費真的有收。更長遠來看，他認為每個 agent 都需要一個模擬世界，裡面有假的 agent、人和訊息，才能單獨測試。他提到 OpenEnv 是這方面的一個嘗試。\n打造 agent 的過去、現在與未來 — Clemens Rawert (Langfuse) Langfuse 是開源的 tracing 和 eval 平台，ClickHouse 在今年一月收購了它。Clemens 自我介紹是共同創辦人之一。這場比預定時間早幾分鐘開始。\n他的第一個論點是，沒有人能事先把 agent 規格寫好。你讓它跟真實使用者跑，讀 trace，找出哪裡壞了，推出修正和測試，然後重來一次。他的例子來自 Langfuse 內建的助理 Halo。他們讀自己的 trace 時發現，agent 呼叫工具時用的是 totalCost_sum，而工具預期的是 sum_totalCost。修法是兩種都接受。他說做 agent「比較像手工藝，而不是科學」。\nAgent 是反覆改進出來的：trace、找出失敗、修正、上線。下方的例子是 Halo 呼叫工具時送出 totalCost_sum，但工具預期 sum_totalCost，最後改成兩者都接受。\n歷史部分講得很快。最早是單次呼叫和 chain，很快就碰上早期模型 context window 太小的限制。接著是 RAG，然後是在迴圈裡呼叫工具，再來是手工搭的 agent graph，把問題切成當時模型處理得了的小塊。他說這些 graph 得手工設計，很花時間，而且你得知道 agent 可能走的每一條路徑。\n工具與迴圈那張投影片：LLM 呼叫決定要呼叫工具，讀取結果後選擇下一步，跑個幾輪。\n他認為現在行得通的做法是：LLM 在迴圈裡搭配 MCP 工具，加上 skill（像是 agent 需要時才翻開的使用手冊），再加一個有檔案系統和 bash 的 sandbox。Halo 就是這樣做的：agent 迴圈跑在 Langfuse 自己的後端 worker 裡，sandbox 只是另一個工具，需要時才呼叫，因為 sandbox 的時間是要花錢的。\nHalo 的架構：agent 迴圈跑在 Langfuse 的 worker 裡，透過 MCP 跟工具溝通，只能經由一個工具碰到 sandbox（檔案系統、bash）。Skill 告訴它怎麼完成任務，需要時再載入參考細節。\n後半段談的是誰來跑改進的迴圈。到目前為止都是人：找失敗、寫 eval、修正、回測、發布，全部圍繞著「什麼叫做好？」這個問題。他說這套做法有效，也已經是標準作法，但很吃工程師的時間，而這正是公司唯一無法擴展的東西。現在的 agent 也跑得更久了。有些是常駐的，由 email 或排程觸發，trace 大到沒有人會去讀。\n過去整個改進迴圈都是人在跑：找失敗、eval、修正、回測、發布，圍繞著「怎樣算好」這個問題。\n他的答案是讓 coding agent 透過 MCP、API 或 CLI 去處理 trace 資料。幾百萬筆 trace 塞不進 context window，所以要先整理資料。用比較便宜的模型依照你對領域的了解，把每筆 trace 做摘要。摘要做 embedding 後分群，再由 LLM 替各群加標籤和排序，只有最嚴重的失敗才以完整 trace 的形式交給 coding agent。再下一步是讓背景 agent 一直跑這個迴圈。人負責定義什麼是「好」，以及決定哪些回饋訊號算數。他也提到，最好的團隊會用這個迴圈產生的標籤，針對自己的任務訓練自己的開放模型。\n新的 agent 架構讓執行時間更長、trace 更大：從簡短的線性 workflow 到由 email 或計時器觸發的常駐 agent，trace 大小一條條往上長。\n當我們什麼都能做，還知道自己想做什麼嗎？ — Ryo Lu (ex-Cursor) Ryo Lu 是 Notion 的創始設計師，後來在 Cursor 帶設計團隊。他今年離開 Cursor，從舊金山搬到台北。\nRyo Lu 站在主舞台上，背後是標題投影片：當我們什麼都能做，還知道自己想做什麼嗎？\n他從一種常見的感覺講起。有人展示新模型，你的第一個反應是「哇」，第二個反應是「我是不是又落後了？」。最簡單的回應是寫更多工具、開更多 agent。他問的是，什麼時候才算夠。他也問，讓我們能做更多事的工具，有沒有幫助我們更了解自己想要什麼。\n撐起整場演講的是一個很小的例子。叫 AI「幫我做一個記錄生活的工具」，兩分鐘後你就拿到心情分數、連續天數計數、每日提醒和每週報告，每一項都附上合理的說明。他承認自己大概就會說「好啊，可以」。他擔心的不是答案錯，而是一個完整的答案會蓋掉他根本還沒機會問的問題，例如他的生活到底該不該被打分數。接著他請觀眾舉手選出自己會拿掉的功能。他自己選的是連續天數、提醒和報告，因為他想留住的是自己的生活，而不是給生活多加一份作業。\n日記雛型的單頁檢視，連續天數計數（6 天）、21:00 每日提醒和每週心情報告都被劃掉\n他比較了「服務窗口」和「工作台」。服務窗口交給你一個做好的版本，你只剩三個選擇：接受、拒絕，或重新解釋一次。工作台會先讓你看計畫，包括它準備刪掉哪些功能，讓你在它動手之前介入，事後再搭配即時預覽微調。有時候正是看到它要把提醒拿掉，你才發現自己其實想留著。他列出自己做工具時在意的東西：檔案、計畫、編輯、前後 diff，以及人可以介入的點。然後他給了做工具的人三條原則。\n給工具開發者的第一條原則：讓重要的假設看得見，每次改動小到可以安心嘗試，交出去的工作需要時找得回來\n另外兩條原則是：不要每一步都放確認按鈕，而是讓使用者知道他們能做的不只是整個接受或整個拒絕；以及好的工具會移除障礙，但不該拿掉人形成判斷的過程。\n同一本日記的自由畫布版本，放在仿 Mac 的桌面上：照片和短短的筆記隨意擺放，其中一則寫著：想留下的是這些碎片，不是一份作業\n後半段離開了工具的話題。他用 email 打比方：有 email 不代表每件事都要寫一封信。離開舊金山，有一部分也是在練習不要凡事都用「對工作有沒有幫助」來衡量。他再次展示那本日記，一次是一天一頁，一次是自由畫布，建議兩種都留著，然後去問選了另一種的人為什麼。講到跟人合作，他用的意象是爵士樂團，沒有人是彈最多音的那個。有一張投影片總結了這些：他不只想要一個更能回應他的世界，也想保有一個能改變他的世界。\n他最後的請求很具體。下次你拿到一個非常完整的答案時，問問自己裡面有哪個決定是你自己沒想過的，改一個小地方，然後拿給另一個人看。\n前沿的 post-training：教開放模型搜尋和瀏覽網頁 — David Li \u0026amp; Alex Triplett (You.com) 這個時段由 You.com 的三個人分享。COO Alex Triplett 介紹公司。他一開場先請大家用手遮住眼睛，說這就是 LLM 連不上網路時的感受。You.com 現在把搜尋賣給 agent，而不是賣給人。Agent 查詢得比人快，讀的量也多得多，他說過去一年 agent 已經超越人類，成為網路搜尋的主要使用者。產品依照你想要多少 orchestration 分成幾層，以 API 或 MCP 的方式提供。他聲稱每月有數十億次查詢，大多來自要求 zero data retention 的企業，也說 You.com 在 pre-training、post-training 和推論階段替各家模型實驗室擔任「搜尋實驗室」。接著負責亞太區的 Ryan Lee 做了一分鐘的介紹，談新的亞洲總部，服務需要全球搜尋的中國企業。\nYou.com 的 API 產品線，從便宜到徹底：Contents（給一串 URL 回傳整頁文字）、Search（有一個授權資料的參數）、給非同步工作用的 Answer API，以及做多步驟 agentic research 的 Research。\n技術部分由 David Li 負責。他們跟 NVIDIA 和 CoreWeave 合作，post-train Nemotron 3.5 Lightning 30B-A3B 來做網路研究。Base model 在 BrowseComp 上大約 37 分，BrowseComp 是大約 1,200 題多跳研究問題的集合。他描述了小模型常見的失敗模式：重複同一個搜尋、看不懂複雜的網頁，以及明明已經找到答案還繼續搜，因為它判斷不出那就是正確答案。\n三家公司，一套 stack：NVIDIA 的 SFT checkpoint，在 CoreWeave RL 平台上用 GRPO 訓練、vLLM 跑 policy，NeMo Gym agent 呼叫 You.com Search 和 Contents，再由 LLM judge 給二元 reward，同時也替 BrowseComp eval 評分。\n他說 RL 資料集是最重要的部分。開放資料集過時得很快，又高度依賴 Wikipedia，所以他們從 You.com 自己的網頁圖產生問題。他們從熱門程度中段的網頁取樣，跳過頭部（像搜尋引擎首頁這種制式頁面）和充滿垃圾內容的尾部。接著沿著一跳的連結展開，從這些網頁上的事實產生多輪 QA，再確認這些問題用他們的搜尋答得出來。訓練前，他們會針對 BrowseComp 做去汙染，並讓 base model 每題試八次。8/8 都答對的題目教不了什麼，0/8 的題目又太遠，所以 RL 只保留介於兩者之間的題目。\n從網頁圖建 RL 資料：取樣中等熱門程度的網頁，展開一跳連結，產生有依據的多輪 QA，確認用 You.com 搜尋答得出來，再依難度分組。\n數字刻意壓得很小：4,932 筆 SFT trace、1,480 個 RL 任務，在 CoreWeave 上跑了大約八小時的 RL。他的比較表把這些跟 ASearcher 的 16K H800 GPU 小時 RL，以及 RE-TRAC 額外的 104K 筆 SFT trace 擺在一起。BrowseComp 從大約 37 進步到大約 45。效率從來不在 reward 裡，但工具呼叫次數還是下降了，因為模型學會了怎麼用工具，也學會在拿到答案後驗證一次就好。\n小資料、大進步：4,932 筆 SFT trace 和 1,480 個 RL 任務（在 CoreWeave 上約 8 小時 RL），對照 WebSailor、OpenSeeker、ASearcher、OpenResearcher 和 RE-TRAC。\n範例 trace 最能看出差別。BrowseComp 有一題問的是某位 CEO，以及他在賣燈泡時開的車。Base model 呼叫了 313 次工具，燒掉超過 8.3M 個 token，最後答錯。Post-train 過的模型只呼叫 7 次、用了 74.7k 個 token，答對了。\nBrowseComp 第 319 題在 post-training 前後的對比：313 次工具呼叫、8.3M+ 個 token、答錯（Toyota Corolla），對上 7 次工具呼叫、74.7k 個 token、答對（Volkswagen Jetta）。\n他們最後給的藍圖是：先有強的搜尋，從真實網頁建題目，依難度篩選，先做 SFT 再做 GRPO，除了準確率之外，也要量測工具呼叫次數、token、時間和成本。\n全端推論工程：latency、throughput 與成本 — Chen Wang (Baseten) Chen Wang 在 Baseten 負責 partner engineering。Baseten 是一個推論平台，幫其他公司跑開源模型和客製模型。他整場用一個故事包起來：從 Joseph Campbell 的英雄旅程和 Luke Skywalker 講起，到最後才揭曉，故事裡的英雄其實是一個正在穿過模型的 token。\n商業的部分講企業怎麼一步步轉向開源模型。一開始是用開源模型的 serverless API 來省錢；規模變大之後，為了達到 throughput 和 latency 的目標，改用專屬部署；客戶資料就是護城河的團隊會 fine-tune 自己的模型，免得把客戶資料「雙手奉上」給模型供應商。他說今年年初，OpenRouter 上開源模型的 token 用量已經超過封閉模型，而且差距還在拉大。中間還穿插了一小段支線，講開放生態系是賽博龐克未來之外的另一條路，配圖是他自己畫的。\n開源模型推論的採用歷程：封閉 API、透過 API 使用開源模型、專屬部署、post-training 與 fine-tuning，再到許多專用模型；第一個轉折點來自成本、latency、rate limit 與治理。\n技術的部分從取捨三角和一張 Artificial Analysis 的圖開始。圖上是 DeepSeek V4.1 Flash 每張加速器的總 throughput 對上每個請求的輸出速度，一條線代表一種 GPU，從 H100 一路到 Vera Rubin 和 AMD 的 MI355X。並行數決定你落在線上的哪個點：並行數低，每個使用者拿到的輸出很快，但 GPU 的總 throughput 低；並行數高則反過來。他的建議是，如果流量大、GPU 少，就在端到端 latency 允許的範圍內把 throughput 盡量往上推。\n推論的取捨三角（latency、throughput、成本），是這場演講技術部分的主軸。\nArtificial Analysis 的圖：DeepSeek V4.1 Flash 每張加速器總 throughput 對 p25 輸出速度，曲線包含 Vera Rubin、GB300、B300、GB200、B200、H200、H100 與 MI355X。\n接著是單節點的技巧。Prefill 負責建出 KV cache 和第一個 token，所以決定 time to first token，屬於 compute-bound；decode 每一步都要讀 KV cache，所以決定 token 之間的 latency，瓶頸在記憶體頻寬。這個差異就是把 prefill 和 decode 拆到不同 replica 上跑的理由。在這之上，他又講了 chunked prefill、FlashAttention、paged KV cache、量化、expert parallelism 和 speculative decoding。他的總結是：這些技巧做的都是減少重複的運算和資料搬移。\n一張圖畫出請求經過 prefill 與 decode 的流程，並標出各技巧作用的位置：chunked prefill、FlashAttention、expert parallelism、P/D 分離、continuous batching、量化與 speculative decoding。\n有一張投影片講叢集層級。全域排程器在不同雲之間調度容量（一個叢集 128 張 GPU 用了 120 張，另一個 96 張用了 40 張）；本地控制器依模型增減 replica；冷啟動時從已經在服務的同伴 GPU 直接把權重複製過來，kernel 也事先編譯好；KV-aware router 把請求送到持有其 prefix 的 replica；KV cache 會從 HBM 卸載到節點的 RAM 和 SSD，再到叢集共用的儲存。\n叢集層級的服務分成六塊：全域排程器下的多雲容量、自動擴縮、從服務中的同伴快速冷啟動、KV-aware routing、KV cache 卸載（GPU HBM、節點 RAM/SSD、叢集儲存），以及帶 KV 傳輸的 P/D 分離。\n在真實世界的使用中衡量 AI 的前沿 — Chen Peng (Arena) Chen Peng 在 Arena 做資料這一塊，Arena 是從 UC Berkeley 的 Chatbot Arena 發展出來的公司。前幾分鐘是常見的數字（每月超過 1600 萬訪客），以及大家熟悉的兩兩對戰。\n主要內容是他們怎麼評 agent。當一個 session 是一小時的 tool call，兩兩投票就不管用了，所以 Arena 自己做了一個 agent 產品（「agent mode」，跟 Manus 是同一類），有檔案編輯、bash、網路搜尋，以及 Drive、Notion 之類的 connector。使用者拿它做最多的是寫程式。投影片上的例子是一個金融研究的 RAG pipeline，跑了 84 輪、676 次 tool call。\n一個真實的 Agent Arena session：用 GPT-5.5 建的金融研究 RAG pipeline，84 輪、676 次 tool call，旁邊是各類別每個任務 tool call 數量的圖。\n評估方式是在真實流量上做隨機對照試驗。每個 session 隨機抽一種 agent 配置。目前只隨機化一個元件，也就是 orchestrator 模型，從 Arena 上的數百個模型裡挑；tool、system prompt 和 harness 版本是下一步。每條 trace 會被評成 0 到 1 之間的結果分數，一個模型的效果就是它的平均分數減掉一組參考配置組合的平均分數。每個模型面對的都是同樣分布的真實任務，所以沒有固定的題庫可以拿來針對訓練。\n核心概念：每個 session 抽一種配置（目前只有 orchestrator 模型），trace 評分成 [0, 1] 之間的 Y，一個元件的效果是相對於參考組合的 E[Y | T_k = t] − E[Y]。\n分數來自五個訊號，由 LLM 加上人工整理從 trace 裡抽出來。Confirmed success 是使用者在「完成了嗎？」的彈出視窗按 Yes。Praise vs complaint 是比較使用者主動說的「不錯，現在快多了」和「bug 還在」。Steerability 是使用者需要糾正 agent 的頻率。Bash reliability 抓的是像壞掉的 sed 指令這類問題，tool hallucination 則是計算呼叫不存在的 tool 的次數，例如憑空捏造的 deploy_to_prod()。\nagent 排行榜背後的五個訊號：confirmed success、praise vs complaint、steerability、bash reliability 與 tool hallucination，每個都附一個通過和失敗的例子。\n在最後的排行榜上（超過 500 萬個 agentic session），Claude Opus 5.5 以 +20.94% 的淨改善排第一，Gemini 4 Carbon 以 +16.04% 排第二。每一列都有 ± 區間和名次範圍。第一名的範圍是 1→1，但第 3 到第 8 名的範圍都是 2→8、3→9 這種。\nArena Agent Leaderboard：各模型的淨改善、信賴區間與名次範圍，加上各訊號的欄位。\n接著他把成本和表現放在一起看。在淨改善對每個任務成本中位數的 Pareto 前緣上，中國的開放權重模型（騰訊的 Hy4、小米的 MiMo-V2.6-Pro、DeepSeek-V4.1-Flash）雖然原始分數落後美國模型，還是落在曲線上。他自己的總結是：美國模型領先，中國開放權重模型是第二梯隊，差距是真的存在，所以要依任務的價值從前緣上挑模型。\nAgent Pareto 前緣：淨改善對每個任務成本中位數，Hy4、MiMo-V2.6-Pro 與 DeepSeek-V4.1-Flash 被圈在前緣上。\n剩下的是 roadmap：一個月前推出的 Alignment Index（未經授權的動作、把使用者沒有的意圖安到使用者頭上、任務沒做完卻說做完了）；隨機化 harness，並讓各實驗室帶自己的 harness 來；用 agent mode 的 session 訓練一個使用者模擬器，讓一次 eval 從幾週縮短到幾小時；以及用 trace 建 RL 環境。最後變成是對現場模型實驗室的推銷。\n午休與展區 午餐自理，時間是 11:40 到 13:00，午休的後半段我都在攤位逛。大多數攤位在展示 agent 產品。其中一個是 Raytone 的 AI Box，一台用來在本地跑模型和 coding agent 的小型桌上機。規格表上寫：最高 2070 TFLOPS 的 FP4 算力、CPU 和 GPU 共用 128 GB 記憶體、預裝 Omarchy OS 和 Raytone 的模型管理工具，還有一個相容 OpenAI/Anthropic 的 endpoint，可以讓包括 OpenCode、Claude Code 和 Codex 在內的九種 coding agent 接上去。尺寸 160 × 146.4 × 60 mm，重 1.1 kg。\n展示架上的 Raytone AI Box，正面貼著 Omarchy 貼紙。\nRaytone 的規格表：2070 TFLOPS FP4、2560 核心 GPU、128 GB 統一記憶體、一個閘道同時接本地與公開模型、九種 coding agent 透過同一個 endpoint 使用，資料留在裝置上。\n當天早上我在 Zilliz 的攤位拿了一張 Vector Lakebase 的傳單，下午 Rentong Guo 就講了這個。傳單上寫的是 S3 上只放一份 Vortex 欄式格式的資料，向量索引直接建在 Lance 和 Iceberg 資料表上。\nZilliz 的 Vector Lakebase 傳單：在 S3 上同一份資料上做即時向量搜尋、反覆的資料探索與批次分析。\nAI 時代的社群 — AJ (WaytoAGI), Koji (Crossing), Kai Qu (42 Chapters) 下午由一場 40 分鐘的座談開場，與談人都在經營中國的 AI 社群。AJ 創辦了 WaytoAGI，它一開始只是一份共享文件。Koji 主持 podcast《十字路口》（Crossing），在上海經營 AI Hacker House，也是真格基金的投資合夥人。Kai Qu 經營 42章經，這是一個給創業者和投資人的 podcast 和微信公眾號。主持人是 Linkloud 的高寧，Linkloud 是一個做海外市場的中國創業者社群。\nKoji 用兩個故事說明社群為什麼重要。2010 年左右，他還是北航的學生，同學的目標都是微軟亞洲研究院或美國的研究所，他卻跑去五道口的飯否實習，酷訊和早期的快手就在幾棟樓外。只有在那裡，他的選擇才顯得正常。第二個故事發生在 2016 年。後來創辦 Manus 的肖弘，當時花完了真格基金人民幣 100 萬元的天使投資，卻一直沒做出起色，差點就要放棄。真格的劉元叫他來北京找創業者聊聊，Koji 也是其中之一。肖弘和兩位共同創辦人從武漢飛來待了一個下午，回去之後決定繼續做下去。Koji 的結論是「人需要同類」。\n大約十年來，Kai Qu 試過幾千人的社群、昂貴的商學院、飯局和各種活動，最後的結論是：你做出來的東西，是由你的商業模式決定的。媒體和社群賺錢靠的不是廣告就是交易，廣告跟著流量走，交易跟著社群走。42章經大約有 50 萬粉絲，但大部分的工作是社群活動、財務顧問和自己的投資。它放棄了廣告，改做高價、有篩選的服務。他說，沒有這種誘因的社群起得很快，一兩年內就消失了。\nAJ 講的是規模的另一端。WaytoAGI 從那份文件開始，長到微信群和飛書群，然後是直播連線，再來是線下聚會，從一個城市到五個，現在是 52 個。運作的機制是線下建立起來的信任。見過幾次面的成員知道彼此的人品和「交付能力」，所以擅長銷售的成員接了單，可以把工作轉給其他成員，不用自己雇人。有個成員在社群直播上推出一個短劇工具，當天就拿到 200 個使用者。今年的重點是樓：AJ 介紹了北京亦莊一棟八層樓，裡面有一百多家一人公司（OPC），還有成都的一個新空間，以及一個跟紅杉等夥伴合作的育成計畫。\n講到 2026 年，大家的心情不太一樣。AJ 看到成員從玩 AI 轉向創業，大多是辭職出來做 OPC，賺跟以前一樣多的錢，但更自由。AJ 說投資人對 agent 新創越來越謹慎，「因為現在誰都能做」。Koji 把基礎模型比喻成一輛從馬路正中間開過來的坦克。站在它前進路線上的應用層創業者，今年過得最辛苦。務實的人往下挖，去做 forward-deployed engineering、資料、基礎設施、晶片、推論加速和 API 中轉服務，或是往上飛，去做 AI for Science、生物和 AI EDA。Kai Qu 說他接觸的每個人都很焦慮，現在的 pitch 都是從最新的模型能做什麼出發，而不是從使用者需要什麼出發。\n他們對多常公開發聲意見不同。Kai Qu 說要保護好你的勢能。每週都在講話的創辦人，會開始重複自己。他的很多來賓累積了十年的功夫，才有一集很棒的內容可以講，下一集要再等三到五年。他補充說，大部分來賓上節目是為了招人，不是為了曝光。AJ 的看法相反：資訊落差已經消失，AI 生成的內容把所有人都淹沒了，大公司又在送 token，所以創辦人應該拿出更多實質的內容，也要更會表達。AJ 認為中國創辦人在台上的表現不如 OpenAI 和 YC pitch 活動上的創辦人，並引用了 Manus 張濤的一篇貼文：他的團隊在寫 PRD 之前，會先做一支「PRV」，也就是功能的影片。Koji 的回答是把公關（PR）當產品來做：先把敘事灰度發布給幾個朋友，對目標受眾做調查，再找做過的人請教。\n從模型智慧到 Agent Harness：讓長時程 agent 跑得起來 — Ailing Teng (StepFun) Ailing Teng 是 StepFun 的模型產品、平台與生態總經理，StepFun 是上海的一家模型實驗室。她的問題是：交給 agent 好幾個小時的工作，它要怎麼記住目標、根據回饋調整，最後交出你信得過的東西。她的答案分成兩半。模型可以容納更多資訊，但記住一個長任務進行到哪裡，是 harness 的工作。\n她用四個特性來介紹九月發布的 Step 5 Preview，這也是你拿任何模型來做 agent 時都該檢查的四件事。它每個 token 啟用 27B 參數，這點很重要，因為長任務會把同一個步驟重複幾千次，你付的錢就是每一步的成本。1M 的 context 主要用在程式碼、長文件和任務紀錄上，她說除此之外，更長的 context window 幫助不大。原生的視覺能力讓 agent 能看截圖、設計稿和渲染出來的結果，檢查自己的成果。tool calling 則是回饋能夠成立的前提。\n她的證據是三次長時間的執行。一個 agent 針對單張 H100 反覆優化一個 kernel，跑了超過 22 小時。一個 post-training 資料 pipeline 的實驗，準確率從 53.3% 提升到 60%。一次寶可夢的遊玩，沒有針對遊戲做任何調整，花了超過 3,000 輪和 6M 個 token，打完大約三分之二的主線劇情。她也談到訓練。StepFun 自己建了 Step Code Bench，repository、程式語言和任務都是他們挑的，現在開發者說這個模型很擅長修 bug 和重構。她的心得是「做了就有，沒做就沒有」，意思是不是所有東西都能等泛化來解決。\nharness 這一半點出了四個缺口：忘記需求、一再重走失敗過的路，log 太多，缺少驗收標準，以及雲端的工作必須在 client 斷線後繼續跑下去。Step Code 是 StepFun 開源的 harness，它把進度放在 context window 之外的四個地方：記錄目標和步驟的任務樹、包含進度和下一步的計畫、session 歷史，以及放程式碼、log 和輸出的檔案系統。每一步都會從目前的目標、相關的檔案和最新的工具回饋，重新組出工作用的 context。log 和截圖會先經過一個預算階段，把文字截短、把圖片壓縮，舊的 log 留在外面，需要時才拿進來，subagent 只交回結論。驗證方面，她希望在執行之前就把驗收標準定好。以網頁來說，能編譯只是其中一步，它到底有沒有做到使用者要的，得由使用者和 harness 一起定義。\n她描述的執行架構是大腦和手：雲端的 harness 負責規劃和檢查，目標、計畫和 session 歷史放在中間，手則是本機或遠端的 sandbox。stepfun.com 上的 Studio 就是那個雲端 harness，桌面版 app 預計在十一月推出。效率的部分她跳過了，相關問題請大家去攤位問。\n從 Dark Factory 到 Lobsterville：持續運作的多人 agent 的意圖工程 — Vincent Koc (OpenClaw Foundation) Vincent Koc 是基金會的首席架構師。摘要裡寫了「Lobsterville」、多人 steering 和意圖交接，二十分鐘裡大部分講的是 OpenClaw 的 CI 帳單。\n他從四月在倫敦的演講講起，當時的主張是工程師已經變成工廠經理，瓶頸在工程師的品味。從那之後，他自己的配置從 10 到 15 個 agent 長到 60 個，他說現在平行跑的超過 300 個。他說演講前一天他出了大約 1,000 到 1,500 個 PR，再前一天將近 2,000 個，都是在中國的飯店房間裡，其中一半是用手機透過 Telegram 做的。他的限制是 token rate limit、記憶體、運算資源、CI，還有「你想得到的每一家公司、每一個供應商的每一個 rate limit」。\n第 04 張投影片「改動的速度超過了檢查的速度」：許多條 agent 改動的車道匯入一個等待證明的佇列，佇列只能經由一條測試、審查與整合的車道消化，最後還要一個真正理解這個改動的人。\n他現在的論點是瓶頸已經移到「證明」：在合併之前你怎麼知道一個改動是對的。他把工作分成背景迴圈（嘗試、檢查、改進），這只在回饋明確的地方有效；以及前景工作，由人來選擇結果、檢視證據。他把這個新工作叫做「proof engineering」，形容自己是「proof engineer，或者說基本上是個 vibe eval guy」。其中一個例子是 OpenClaw 的 computer-use 功能：他們把 Doom 放進去，讓一個 agent 每次找到慢的地方就把遊戲迴圈改快一點。\n第 07 張投影片「迴圈需要明確的回饋」：背景工作是嘗試、檢查、改進的迴圈，前景工作是選擇結果、檢視證據、引導下一次嘗試。\n接著是數字。九月中，OpenClaw 的 CI 以 Blacksmith runner 的牌價計算，每月會燒到 127 萬美元。對一個他形容為「五、六個工程師」的非營利組織來說，這是很大的數字，即使大部分運算資源是贊助的。agent 不斷新增測試，而你又不能直接刪掉，因為測試是證明 agent 有做事的唯一依據。他們的做法是把 main 上的 CI 整個關掉。現在 PR 只跑有限的檢查加上 agent 審查，完整的測試每 30 到 60 分鐘跑一次，發版時也跑。\n第 13 張投影片：預估每月 CI 成本降了 82.3%，從九月高峰時的 127 萬美元降到最近的 22.5 萬美元。標題還加了一句「還沒結束」。\n第 16 張投影片「變便宜並沒有消除等待」：每 100 次 CI 的牌價從 1,176 美元降到 297 美元，但 CI 時間中位數只從 15 分 21 秒降到 11 分 47 秒。\n每 100 次的成本降了四分之三，但 CI 時間中位數降不到四分之一。他追蹤的是 agent 的週期時間，也就是 PR 開出到 PR 合併，他的說法是「如果工廠慢下來，工廠就沒辦法修好自己」。下一步是 adaptive testing，幾天前才合併：一個分類器看改動到和執行到的程式碼，預測哪些測試可能會 regress，只跑那些。他預期這會讓 CI 總成本再大幅下降。\n第 17 張投影片「能不能跑得更少，還是抓得到 bug？」：完整測試對上只跑受影響的測試，目標是用更少的時間和成本拿到同樣的 regression 訊號。\n最後他介紹了一個針對個人 agent 的 benchmark，有 135 個任務，和合作夥伴花了兩三個月建的，幾天內會公開一小部分。任務刻意設計得很模糊，例如報稅，或是兩個人對結果有不同意見。\n裝置端 AI：讓智慧更貼近每個人 — Alex (AutoArk) Alex 是 AutoArk（无界方舟）的 CTO，這家公司做的是在裝置本身上跑的模型。前三分之一在講為什麼硬體不該依賴雲端 API。他舉的例子是一年賣一百萬台的裝置，每個使用者一天跟它講話超過 20 次。用公開 API 的價格算，token 帳單一年大約人民幣 10 億元，所以產品賣得越好，賠得越多。另外兩個理由是常見的那些：在飛機上或電梯裡沒有網路，以及醫療、法律或投資工作的錄音和檔案最後會跑到模型供應商那裡。\n他也列出了代價。裝置的記憶體、電池和續航都有限，不能直接把最大的模型塞進去，而且每個平台（FreeRTOS、Arm Linux、ESP32、iOS、Android）都需要各自的部署程式碼。\nAutoArk 把硬體分成三層。給眼鏡、耳機和小型陪伴機器人用的，是小到 0.1B 參數的 ASR 和 TTS 模型，demo 播了很快的語音轉寫和相當自然的情感語音合成。模型外面包著 EVA SDK，處理音訊前端和全雙工、可打斷的對話。\nEVA SDK 投影片：音訊 3A 前端（AEC、ANS、AGC）、低功耗 VAD 喚醒、可離線運作的裝置端 ASR/LLM/VLM/TTS、端雲切換與全雙工打斷，支援 ESP32、Linux、Android、iOS 和 macOS，另外可以用一行指令裝進 coding agent。\ndemo 是一個 35B 的 MoE 模型跑在 iPhone 16 Pro 上，記憶體最多用 2 GB，開著飛航模式，他說螢幕錄影沒有加速。說明很短但很具體。MoE 每個 token 只有 3% 到 10% 的參數是活躍的，所以完整模型放在 flash 上，只把活躍的 expert 載入 RAM。問題是連續的 token 可能需要完全不同的 expert，如果用到才從儲存裝置載入，每個 token 會花好幾秒。他們的解法是訓練一個「pre-router」，預測下一個 token、再下一個以及後面幾個 token 會用到哪些 expert，然後由背景的 planner 非同步載入，等 decode 走到那裡時 expert 已經在記憶體裡了。他宣稱這讓 decode 快了一個數量級。\n35B 模型怎麼塞進去：完整模型放在 SSD/flash，RAM 區有一個共用核心和兩個槽位（目前這層和下一層），CPU/NPU 負責運算，planner 負責預測並提前載入。左邊三點是提前做 MoE expert routing、SSD/flash 串流，以及用 LoRA post-training 把準確度拉回來。\n筆電和桌機這層，他預告了一個之後會開源的 150B MoE 多模態模型。他說它需要 18 到 24 GB 記憶體，prefill 超過 1,000 tokens/s，decode 超過 100 tokens/s。他們所有的模型和推論引擎都以 Edge0 的名義開源。\n最後的案例是和 Shokz 合作的運動耳機。使用者對耳機說的大多是切歌、音量、心率和步頻。這些由裝置端的 ASR 模型和意圖分類器離線處理，只有開放式的問題才送到雲端。他說這讓 token 成本降了超過 92%。\nKubernetes 不是你的 sandbox — Mislav Ivanda (Daytona) Mislav Ivanda 在 Daytona 負責開發者體驗，Daytona 賣的就是給 AI agent 用的 sandbox。他的論點很簡單：如果你的團隊需要給 agent 用的隔離環境，不要去跟 infra 團隊要一座 Kubernetes cluster。Daytona 自己的 control plane 就跑在 Kubernetes 上，所以他不是在否定 Kubernetes 本身。他的意思是，Kubernetes 是為長時間執行、無狀態、要能撐過故障和滾動更新的服務設計的，而 agent 的 sandbox 需要的剛好相反。它們生命週期很短，而且 agent 暫停之後就算兩天後才恢復，狀態也得保留下來。\nMislav Ivanda 在主舞台：sandbox 沒有一個定論的定義，因為用法一直在變。\n他花了幾分鐘講 sandbox 這個詞的意思怎麼一路漂移。一開始指的是執行模型生成的 Python 的地方，後來變成給模型用的 shell。再後來，連 agent 本身都搬進了 sandbox 裡。過去半年，大家為了 RL 相關的工作（eval、benchmark、post-training）同時跑上千到上萬個 sandbox。現在，給沒有 API 的企業應用程式用的 computer-use agent 也走上同一條路。\n接著是 Daytona 眼中的 Kubernetes 數字。一個 pod 在真正跑起來之前要經過一連串固定步驟，所以最快 1 到 2 秒，通常是幾十秒；大約每秒 100 個 pod；每個 node 預設上限 110 個 pod。狀態的部分更糟。pod 沒有自己的持久化磁碟，所以要掛外部 volume，結果所有 I/O 都要走網路。他引用的數字是 Daytona 本機磁碟大約 500K IOPS，EBS 則是 50 到 60K。掛載一個 volume 要幾十秒，掛載失敗的話要等六分鐘才能重試。一個 node 只能掛 25 到 39 個 volume，所以真正決定一個 node 能放多少 sandbox 的是 volume 上限，而不是那 110 個 pod。\nDaytona 的三個機制：snapshot 保留在 runner 的本機磁碟、熱門 snapshot 快取到更多 node 上，以及 registry 和 runner 之間只傳差異。\nDaytona 的做法是把狀態留在 sandbox 執行的地方。停掉的 sandbox 留在 runner 的磁碟上，所以恢復就只是啟動一個 container，排程時也會優先挑已經有 image 的 node。熱門的 snapshot 會複製到更多 runner，沒人用的會被 garbage collect，registry 存的是差異，所以就算是 cold start 也只需要拉缺少的部分。\nDaytona、Docker、Kubernetes、EC2 和 Fargate 依 action 數量的 trajectory latency，分成三個等級，從 50 ms 的 sleep action 到用 pytest 跑的 attrs bug 修復迴圈。\n這個 benchmark 跑了三個等級的 agent trajectory：一個只做 50 ms sleep 的 sandbox、輕量的編譯加測試，以及真正的 bug 修復迴圈。三個等級裡 Daytona 的線都是最低的。Fargate 遠遠高出其他人，150 個 action 要 340 到 390 秒；在只有 sleep 的等級裡，Daytona 是 12.7 s，Kubernetes 大約 25 s，EC2 大約 34 s。他還給了一個成本模型：1,000 個 sandbox 跑 176 小時，也就是一個月的朝九晚五，比自己管理的 Kubernetes cluster 便宜 2.7 倍，主要原因是 cluster 在兩波尖峰之間都閒著。這些都是 Daytona 自己的數字。\nManus 的 AI-Native 工作方式：一個 monorepo，公開的任務 — Fan Bin (Manus AI) Fan Bin 在 Manus 帶 agent 工程，也負責它的 agent harness。他一開場引用了 Manus 共同創辦人張濤一篇文章裡的場景：PM 在 Slack 貼出一個需求，工程師把它一字不改地貼進一排 Codex 或 Manus session 中的一個，由它從頭到尾把事情做完。他的主張是 agent 已經夠強了，擋住它們的是資訊和存取權限。一個任務的 context 散在私訊和每個人的腦袋裡。工具則分散在將近 30 個 repository，加上測試環境、log、資料庫和發佈系統，每個都有自己的入口和權限。\n第一個解法是 manus-mono：一個 workspace 裡放了 28 個 repository、分層的 AGENTS.md 規則、39 個共用 skill、43 筆知識條目和 10 份 runbook，以及 22 個本機工具，讓一個 agent 可以從寫程式、測試、發佈一路做到 debug 和資料分析。設定 mono 時也會一併接上 Slack 和 Notion。給 agent 一個 Slack 連結，它會讀完討論串，到 Notion 找規格，讀現有的程式碼，把功能做出來，部署到測試環境，然後在同一個頻道 @ PM 來試用。log 用 OpenTelemetry 做端到端的追蹤，所以 agent 可以順著一個 trace ID 找到對應的 repository、改動和作者，通常在 20 分鐘內就能找到。遇到緊急事故時還有一個快速模式，五分鐘內給出問題位置和建議的修法。\nmono 裡有什麼：28 個 repository、AGENTS.md 規則、39 個共用 skill、43 筆知識條目加 10 份 runbook、22 個本機工具，以及一個入口涵蓋從寫程式到發佈、debug 和資料分析的整個迴圈。\n有了這個之後，工程部門以外的人也開始發 PR。從 2026 年 6 月起，三位 PM 和兩位設計師送了 297 個 PR，其中 248 個（約 84%）被 merge。有一位 PM 讓 Manus 測了十幾個語音模型，用真正的前端程式碼做了 demo，最後上線了一個語音輸入功能。品質靠的是 review bot 在每個 PR 上跑最強的模型，再加上動到付款、計費、模型和核心 prompt 的改動要由 owner 簽核。他說到目前為止，還沒有任何一次正式環境的事故是程式碼品質造成的。\n人人都能發 PR：3 位 PM 和 2 位設計師共 297 個 PR，248 個被 merge，附每個人的長條圖（光 PM A 一個人就送了 182 個，merge 了 164 個）。\n產品本身也是同樣的切法：一個小小的 kernel，包含 agent loop、session 和基礎工具；投影片、網頁開發、影片剪輯這類 plugin 各自有自己的 repository，按自己的節奏發佈。他給的理由是站在 agent 的角度：plugin 夠內聚，每次改動需要跨 repository 的工作就少，出事的影響範圍也小。每個模組由一到三個人負責，他說有時候感覺像在維護一個開源專案。\nPlugin 架構：精簡的 kernel（agent loop、session、基礎工具）後面接一個統一介面，給 tool、skill、hook 和 UI 卡片用，plugin 各自獨立發佈。\n第二個解法是所有任務都公開。起因是他們看不到同事怎麼用 AI，也沒辦法幫那些用得不好的人。實際上，這讓任務跟負責的人脫鉤。如果一個任務卡在某個決定上，就把連結丟給能做決定的人，對方直接在任務裡回答，agent 再接著做下去。PR 會連到它的任務，所以 reviewer 可以看到這個改動是怎麼 prompt 出來的。他的總結是：mono 解決的是 agent 看不到完整的 context，公開任務解決的是人看不到。\n再下一步是讓 agent 自己行動。同事們已經把 agent 分身拉進了 Slack。其中一個會在每次發佈前後比對 pod、重啟次數和錯誤率，有一次還比他們的監控更早發現事故。一套受 loop engineering 啟發的自動接單系統，會在 10 分鐘內認領 issue，經過 coordinator、worker 和 review bot，最後交給人 merge。完成的任務從第一天的 13 個增加到第二天的 38 個。但這不是他的重點。bot 開 PR 的速度遠遠超過有人去 merge 的速度，幾天內就有幾十個 PR 擺著沒人碰，也沒有人知道它們的優先順序。他說，沒有人來設定優先順序，自動化開發就只是在燒 token。\n自動任務系統（beta）：issue、10 分鐘內接單、coordinator、worker、review bot、人工驗收。第一天 13 個任務，第二天 38 個，第二天結束後有十二個 PR 和三份設計在等 owner。投影片最後一行：程式碼不再稀缺，稀缺的是驗收。\n踩坑的那張投影片列了：人又變回瓶頸、agent 做了一整天之後丟出來的核准請求沒人看得懂，還有一位同事一個月花了 $100,000 的 token。最後這個他稱為 autopilot：把任務丟出去，對什麼都回「你說得對，繼續」。解法是做好設計、拆分任務和分階段檢查，因為錢可以再賺回來，浪費掉的時間不行。講到核准，他的說法是 token 可以再生，人的注意力不行。\n踩過的坑：人又成了瓶頸、堆積一堆沒人看得懂的核准請求，還有一位同事一個月燒掉 $100k 的 token。\n用 Exa search 驅動開源個人 agent — Jakub Hojsan (Exa) Jakub Hojsan 在 Exa 帶 forward-deployed engineering，整場就是一個 demo：一個用開源元件加上 Exa API 組起來的個人 agent，幫忙規劃在上海的一個晚上。他的切入點是個人 agent 讓多次請求之間有了連續性，也讓主動提供協助變得可能：「一個能接著我們上次停下的地方繼續、並幫忙處理接下來的事的 agent」。\n這個 agent 在外灘找到一間餐廳，先從 Exa 的圖片結果抓照片，再透過瀏覽器從店家網站抓，然後依照氣氛、景觀和每人預算縮小選項。他展示了他們怎麼把整個網頁擋在 prompt 外面。Exa 的 highlights 功能可以只回傳跟查詢相關的段落，直接從網頁擷取、不改寫。如果這些段落夠用，agent 就直接回答；如果使用者想看照片或缺了某個細節，才升級到別的工具。他也列了 Exa 除了網頁之外還索引了什麼：大約 15 分鐘內的新聞、公開申報文件、podcast、活動、地點和天氣。天氣在 demo 裡真的派上用場。他問晚餐後要不要去外灘散步，agent 說不要，因為預報會下雨。\n記憶的部分，偏好是按「人」存，而不是按「使用者」存。demo 裡他朋友不吃辣，他自己超愛辣椒，所以「我朋友偏好比較不辣的食物」是記在朋友身上。主動協助的例子是 Jazz at Lincoln Center Shanghai 寄來一封 email，有兩個位子。agent 只有在三個條件都成立時才會打擾他：他的行事曆有空、價格在他的票券預算內、而且真的有兩個位子。底層要嘛是 Exa 的 Monitors 產品，要嘛就是單純的定期搜尋加上 browser use，他說那些閉源的供應商其實也都是這樣做。\n他的建議是從一個重複性的任務開始，再決定 agent 該記住什麼、該查什麼，以及聊天結束後有哪些東西要留下來。\nJakub 那場結束後的交接：Zilliz 的 Rentong Guo 上台，標題投影片講的是在 10 倍和 100 倍資料成長下的架構選擇。Exa 的投影片我沒拍到能用的照片。\n你的 agent 的記憶就是下一季的訓練資料 — Rentong Guo (Zilliz) Rentong Guo 是 Zilliz 的共同創辦人，Zilliz 就是做 Milvus 向量資料庫的公司。摘要寫的是 agent trace 怎麼變成訓練資料，但實際內容大多在講另一件事：為什麼 Zilliz 把 Milvus 圍繞物件儲存重新設計，現在稱為「Vector Lakebase」。agent 和訓練只在最後幾分鐘提到。\nMilvus 介紹投影片：部署在將近 10,000 家企業、300+ 位貢獻者、Docker 計數 150M+、4.3K+ fork。\n他從兩條成長曲線講起。同一個任務消耗的 token，從文字補全、聊天、推理到 agent，每往前一步大約多十倍。第二條曲線是 Zilliz 自己觀察到的：他們某個客戶背後最大的單一業務，2023 年有幾億筆資料，2024 年幾十億，2025 年幾百億，今年大約一千億。這是單一 workload，不是總量。他預期 2027 和 2028 年會成長得更快，因為會有更多資料是生成或模擬出來的（world model、自動駕駛、AI 做的短劇），所以會跟著算力支出一起成長。\n1X / 10X / 100X 投影片：先做效能調校，再做成本調校，最後重新設計架構。\n他的框架是 1x、10x、100x。效能調校讓你撐過第一步，成本調校撐過第二步：效能型和容量型 instance 的選擇、演算法上的改進、同一台伺服器裡 DRAM 和 NVMe 的搭配。他說過了 100x，伺服器裡已經沒有空間可以擠了，只能重新設計架構。\n為了解釋原因，他用了一個啤酒館的比喻。工程師就像服務生，端著一疊越來越高、裝滿啤酒的杯子（伺服器），旁邊有人一直往裡面倒更多啤酒（資料），而且一滴都不能灑出來。在正式環境裡，灑出來就是一級事故。他的投影片列了 OOM、在高水位時擴容、resharding、資料 rebalance 風暴，以及故障的影響範圍。他還提到一家知名的 AI coding 公司，根據他看過的一場演講，那家公司在 2024 到 25 年的爆發成長期，幾個月內換了四次資料庫，最後是改用以物件儲存為基礎的設計才穩定下來。\n有限的容量對上指數成長的資料：2023 到 2026 年最大單一 workload 的資料筆數，以及固定大小 cluster 的各種故障模式。\n他對 Lakebase 的定義是：資料庫的使用體驗、大致相當於資料庫的效能，加上資料湖的容量和成本。底層分三層：查詢伺服器上的本機快取、伺服器和物件儲存之間的遠端快取，以及 S3。投影片上的價格大約是每 GB 每月 $3、$0.3 和 $0.03。每一層都能回應查詢，所以問題就變成資料要放在哪一層。他舉的 agent 應用例子是：所有註冊使用者放在物件儲存，週活躍使用者（8–30%）放中間層，日活躍使用者（3–15%）放本機快取。當一個沉寂的使用者登入時，應用程式會通知資料層把這個使用者的資料往上提，這只要幾秒，所以通常第一次查詢時資料就已經是熱的。\nCase 01，一個 AI/agent 應用：日活躍使用者放 Tier 1，約 $3/GB-月；週活躍使用者放 Tier 2，約 $0.3；所有註冊使用者放 Tier 3，約 $0.03。\n訓練資料的部分出現在後面一張畫成迴圈的投影片上。agent 從儲存層讀資料做即時檢索，它的行為、回饋和筆記寫回同一個 bucket，再對這些資料做互動式探索和批次分析，餵給下一輪的訓練資料和 agent 策略。\n服務與迭代迴圈：agent 從 Vector Lakebase 讀資料做即時檢索，它的行為、回饋和筆記回到同一個 bucket，互動式探索和批次分析再產出新的知識、訓練資料和 agent 策略。\n至於 Lakebase 之後的下一步，他提到要像 LLM serving 快取 KV state 那樣快取查詢結果，讓重複的多輪查詢不用再算一次。\n建構可靠的多區域 LLM gateway — Xinghong Fang (Optiver) Xinghong Fang 是 Optiver 的 AI 工程師，Optiver 的開發者、研究員和業務人員發出的每一個模型呼叫，都會經過他們團隊的 gateway。他給的規模是：每天大約 300 萬個請求，分布在四個資料中心，約 22 個模型承載了 95% 的流量，還有好幾家 provider，各自講自己的協定。上游 provider 大約有 0.4% 的請求會失敗。在這種量級下，這代表很多壞掉的 session。\n標題投影片，側邊螢幕的即時字幕抓到他的開場白：LLM gateway 聽起來很簡單，就是接一個請求，轉給 Anthropic 或 OpenAI 這類上游 provider。\n他們一開始用的是一套開源 gateway（他沒說是哪一套），負責在各家 provider 的協定之間轉換。一直用得好好的，直到 Slack 訊息開始出現：「gateway 是不是變慢了？」，然後 +1 一路衝到 30 甚至 100。他的重點是，gateway 現在是基礎設施，服務一掛，使用者會比你的監控更早發現。第一個教訓是 HTTP 200 不代表成功。串流會卡在一半，而協定轉換會讓 prompt caching 失效，這很要緊，因為快取的輸入成本大約只有十分之一。最麻煩的狀況是無聲無息的那種。透過 OpenAI 相容協定呼叫 Anthropic 模型時，回應裡的 thinking block 被丟掉了。使用者還是拿到答案，但下一輪得重新思考一次，所以 latency 和成本都上升，監控上卻什麼都看不到。最後是一位使用者發現的。\n每個重要模型至少有兩家 provider。只有在使用者還沒看到任何輸出時才 failover，例如遇到 429 或 529。一旦串流已經開始，就直接把錯誤丟出來，讓使用者自己重試。他知道有些 gateway 可以把串流接到第二家 provider 繼續，但他們判斷不值得那個複雜度。circuit breaker 依不同錯誤設門檻，會把某家 provider 暫時拿掉。session 是 sticky 的，所以一段對話永遠留在同一家 provider 和它的快取上，而且在共用的 model ID 底下只開放兩家 provider 都支援的功能。另外因為「備援總是在你需要的時候壞掉」，固定有 10% 的 session 會送到次要 provider。\n多區域的故事讓台下不少人露出心照不宣的笑。他們想要一把在每個區域都能用的 API key，所以認證放在一個中央的 PostgreSQL。法遵要求記錄每一個 prompt 和回應，而 gateway 把這些也存在同一個 Postgres。結果就是每天有超過 200 GB 的資料橫跨大西洋，每次呼叫還多了大約兩秒的認證 overhead。解法是各區域直接把內容 log 寫到 S3，認證改從本地 replica 做，接受權限變更會延遲幾秒生效。這讓 overhead 降了很多。花費上限是 eventually consistent，所以超出上限幾分鐘是可以接受的。\n就算做了這麼多，使用者還是說很慢。其中一個抱怨靠 distributed tracing 找到答案：推論花了 17 秒，這沒問題，但一次 tool call 就花了三分多鐘。最後 Optiver 圍繞自己真正用到的那一小組功能，自己寫了一套 gateway。他說這不適合每個人，如果開源方案合用，他們會回去用。\n沒人規劃過的 AI Infra：AI builder 如何把資料庫推到資料庫之外 — Lux Li (TiDB / PingCAP) Lux Li 負責 TiDB 的 AI 業務，整場就是一個長故事，起點是 agent 公司天天會聽到的一種需求：「把這些資料做成審閱工作台，團隊明天要用，之後我們還會一直改。」他的重點是，這一句話其實預設了工作成果要活得比 agent、比 sandbox、比這一天都久。每次撐不住，就有 TiDB 的客戶提出新需求，產品線就是這樣長出來的。\n整場演講的出發點：把這些資料做成團隊明天要用的審閱工作台，程式碼和資料都要留著，之後還會一直改。流程從接到需求、寫程式、執行，一路到工作台上線、團隊持續使用。\n第一種失敗是 agent 被中斷。為了能接續，平台要維護兩張表：一張是 agent session snapshot（context、plan、tool call 歷史，每份 snapshot 40 到 80 MB 很正常），另一張是 agent session event log，每一列用獨立的 transaction 寫入。他說整個 fleet 加起來，這些 metadata 會到幾百 TB，有時到 PB 等級。有個客戶原本把它拆在 20 多個分庫上，後來為了不再維護 shard routing 才搬到 TiDB。\n第二種失敗出在 sandbox。agent 在 EBS volume 上寫程式，任務結束後，回收策略把 volume 連同使用者的專案一起刪掉。對 volume 做 snapshot 理論上可以解決，但他的投影片列出了平台接著得自己扛下的整條備份與還原流程。\n第 11 張投影片：用了 EBS snapshot 之後，平台還得自己做的事。備份是協調寫入、做 snapshot、登記專案與版本、保留／驗證／清理；還原是挑 snapshot、建立並掛載 volume、重建執行環境、重新對齊 Meta 與檔案。\nTiDB 的解法是一個放在 sandbox 外面的持久化檔案系統。session A 寫入，sandbox 消失，session B 掛上同一個 workspace。每個專案都是獨立隔離的空間，他宣稱可以擴展到數千萬個。agent 生成的應用程式也套用同樣模式：平台不必自己養一池 instance、處理建立逾時和建到一半的資料庫，改由 TiDB Cloud Starter 在共享儲存上發出數千萬個彼此隔離的資料庫。\n第 20 張投影片：把 trace 當成可查詢的執行紀錄，用 run_id / trace_id / span_id / parent_span_id 串起來。量級舉例：一條 trace 500 MB，複雜任務超過 100,000 步，單一平台每天寫入幾百 TB。\ntracing 這段數字最多。agent 任務跑兩三個小時，有時超過十小時，單一 trace 就有幾百 MB。一條 trace 只能解釋一次執行。要決定該優化哪裡，得看一整批，按 tool 和任務類型切開，單位成本還要算進失敗的重試。他指出，某個 tool 被呼叫很多次，可能只是代表它很難用。他舉了一個沒具名的大模型團隊，pipeline 是原始 NDJSON trace、用 SQL 清洗，再把分析用的副本放在物件儲存（TiDB Cloud Lake）上，餵給兩條分開的運算路徑，一條做問題排查，一條做批次的品質與成本分析。\n第 22 張投影片：幾百 TB 到幾十 PB 的 trace。原始 NDJSON 載入後用 SQL 清洗成 events 與彙總資料，存在物件儲存上的 TiDB Cloud Lake，再由分開的排查與批次分析運算來查詢。\n如果你換了模型或 tool，然後直接把任務重跑一次，輸入、tool 回傳和檔案早就在底下變了，你沒辦法判斷這個改動到底有沒有幫助。trace 告訴你發生了什麼，但你沒辦法從 trace 重新開始。他們的 checkpoint 把 metadata snapshot 和 events 綁到一個檔案系統 checkpoint 上，所以可以把 agent 的狀態 fork 成兩份一模一樣的副本，各試一個改動，用同一套標準評判，之後再去檢查類似任務、多跑幾次排除隨機性。\n第 24 張投影片：從頭重跑，對比從共同起點 fork（相同的 Meta 與檔案、各自獨立的 fork 候選、同一套驗收標準），實驗性寫入與外部副作用都隔離開來。\n優化整個組織的 LLM 推論成本：按席位授權、按 token 計費、佈建容量，以及其他做法 — Do Tuan Anh (Techcombank) Do Tuan Anh（大家叫他 TA）在越南最大的商業銀行之一 Techcombank 負責資料、AI 和 agent 平台。17:00 的休息時間取消了，所以他的演講比節目表上的時段早了大約十分鐘開始，這也是後面兩場快講場跟著提早的原因。他講了大約十二分鐘。\n他的論點是，一旦 AI 的使用進入規模化階段，要管的數字就是每百萬 token 的有效混合成本：整個組織的輸入加輸出，算進快取之後的成本。他們的這個數字有時會突然跳上去，因為使用者都想用最好的模型 Opus，就不再用 Sonnet 或 Haiku 了。付費方式有三種：Claude Code 或 AWS Kiro 這類訂閱、按 token 計費的 API，以及佈建的 GPU。他所謂的「效率點」，是 GPU 每月的成本除以 API 的混合價格，算出來的用量就是超過之後應該自己 host 模型的門檻。\n他用 GLM 5.3 當例子。透過 API，每百萬輸入 token 大約 1 美元，每百萬輸出 token 5 美元。以他給的一般用途輸入輸出比 4:1 來算（tool calling、MCP 和 RAG agent 是 10–15:1），混合起來大約每百萬 2 美元。兩台各有八張 B200 的 AWS 節點，每月約 16.6 萬美元。他說損益平衡點是每月「大約 8,300 萬」個 token，照他的數字，16.6 萬美元以每百萬 2 美元計是 830 億個 token。在他的另一個例子裡，一家每月用 670 億 token 的公司不應該轉換，轉了的話每月反而多花大約 3.2 萬美元。超過這個點，他預期可以省 30–50%，搭配多年期的 savings plan 和談來的折扣會省更多，扣掉維運人力的成本就省得少一些。每月 3,000 億 token 的情況，他估算 API 要 50 萬美元，佈建只要 20 萬美元。\n他提了三個但書。GPU 很難拿到，所以要及早跟雲端大廠一起規劃。尖峰是真的會出現：autoscaling 曾經得從 12 張 GPU 擴到 15 張，所以銀行保留 API 當作 fallback，主要模型則是佈建的 GLM，放在 Databricks 的 Unity AI Gateway 後面。試行期間大約 10% 的請求走到 API，使用者完全沒察覺。另外，這些數字會隨著每家公司拿到的折扣而有很大的差異。他最後講的是 routing。有些模型對越南文和中文的 tokenization 很差，同樣的文字在這些模型上要花更多 token。銀行依語言和語意來做 routing，他說這又省了 40–50%。他今年在 NeurIPS workshop 發表的論文，量的就是越南文的這種 tokenization 稅。\n在 Agent Substrate 上大規模跑 RL：調度數百萬個 sandbox — Tinsley Shi (Google) 這是十分鐘的快講場，而且比節目表上的時間早了大約十分鐘開始。Tinsley Shi 在 Google 做 agentic infrastructure，講的是 coding agent 做 RL post-training 背後的 sandbox。\n她從單一個 RL step 講起。模型拿到一個任務，例如「用 Python 寫 hello world」。系統用該任務的 image 認領一個 sandbox，LLM 思考，它產生的不可信程式碼在 sandbox 裡執行，再由 grader 評分。實務上，一個 lab 每個任務會取樣大約 16 條 trajectory，任務數約 1,000 個，所以一個 step 會同時要大約 16,000 個 sandbox，而且全部同步釋放。她指出一般的 agent serving 和推論幾乎不會碰到這種並行量，現成的容器基礎設施本來就不是為此設計的。\nworkload 投影片：一個 GRPO rollout step 分成 acquire（目標 1 秒內）、generate（LLM 思考時閒置 10-15 秒）、在 gVisor 裡 execute（2-3 秒的突發）、reward 與 tear down。duty cycle 約 15% CPU 在忙，85% 在等 LLM。\n除了突發量，還有兩個問題。coding 任務是一個 GitHub repo 加上它的相依套件打包成一個 image，所以每個 image 有好幾 GB，幾乎沒有共用的 layer（投影片上寫每個約 2.2 GiB，總共 55 TB）。另一個問題跟資料品質有關：如果 sandbox 逾時或記憶體用光，單純的 harness 會把這次 rollout 記成零 reward。基礎設施的失敗就變成了錯誤的標籤，這個錯誤標籤會進到 policy gradient 裡。同時，sandbox 大約 80% 的時間閒著在等模型，而加速器又在等 sandbox 啟動。她的投影片講得很直白：p99 sandbox 啟動 latency 就是加速器的閒置時間。\nGKE 上的成績總表：993,897 個並行 gVisor pod，橫跨 36,811 個 image；百萬規模下到第一個指令的中位數時間 0.83 秒；填滿整個 1M 語料要 12.3 分鐘；填充時 registry 流量 0 bytes。六個叢集、4,567 個節點、約 36,500 個 vCPU。\n這些數字來自 GKE 上開源的 Agent Sandbox controller。他們維持大約一百萬個並行 gVisor pod 跑了八天，沒有遺失任何 sandbox，到第一個指令的中位數時間是 0.83 秒，從 warm pool 填滿要 12.3 分鐘。密度是每個節點 60 個 sandbox。她講的修正全都在調度層：把 image 放在靠近節點的地方並做快取、調校 API server 和 controller、把網路身分合併，讓 10,000 個 sandbox 需要的數量少很多。他們也用 TPU 搭配 397B 參數的 Qwen 模型跑過。dashboard 的 demo 影片沒有播出來。\n下一步是 Agent Substrate：用 snapshot 與還原取代一直待命的 warm pod，投影片上寫的恢復時間在 300 ms 以內，另外用獨立的 data plane 來繞過 control plane 的限制。她說預計 11 月底釋出。兩個專案都是開源的。\n收尾投影片：Kubernetes 上跑一百萬個 sandbox 今天就做得到，warm pool 讓 TPU 保持忙碌，下一步是用 snapshot 取代待命的 pod。附有 kubernetes-sigs/agent-sandbox 和進行中的 RL-on-Agent-Substrate 的 QR code。\nAI 時代遊戲開發者的日常 — Tang Feihu (Kimi / Moonshot AI) Tang Feihu 負責 Moonshot AI 的開發者關係，講的是當天最後一個快講場，長度十分鐘。他的主張是，agent 現在已經能自己扛長任務，所以做一個可以玩的遊戲原型變得很便宜，開發者的工作轉成決定要做什麼、驗收交回來的東西。他說身邊很多工程師已經不手寫程式了，有些人連 AI 寫的程式碼也不看了，因為量太大。\n任務轉移的投影片：Specify（玩家體驗、限制條件、成功標準）留給人，Generate、Operate 和 Verify 交給 agent，Decide（遊戲手感、架構、發布風險）回到人身上。投影片底部的結論：產出可重複、能由機器檢查的地方，被取代得最明顯。\n這張投影片把線畫在這裡：機器能檢查的工作（腳本、shader、場景組裝、replay 與 log 比對）最先被自動化，沒人寫得出測試的部分則留給人。\n剩下的是一連串 demo，大多用 Kimi K3.1 Pro 做的。他展示了一段模型依照目標渲染出來的動畫，難點在於讓爆炸和周圍場景產生互動；還有一位沒有遊戲背景的同事畫在紙上的分鏡，被做成了動畫。他提到一些長時程的 benchmark，現在會給 agent 一個 sandbox 和 GUI 工具，然後評分它交付的成果，而不是聊天框裡的一段程式碼。其中一個範例任務是要 agent 用 RPG Maker 重做老 Flash 遊戲魔塔（Magic Tower）；其他任務則是操作遊戲引擎或 Blender。在展覽攤位上，Moonshot 展示了三款自家工程師用最新模型做的遊戲，每款大約花四天、約人民幣 3,000 元的 token。\n他也介紹了幾個社群專案。抖音上一支爆紅的假「阿嬤 GTA」影片，大約一週後就在 GitHub 上變成一款可以玩的開源遊戲，用的是一個「影片轉遊戲」的 skill。有人把 Diablo II 之類的 Switch 遊戲移植到 iPhone 上，並重新設計觸控操作。他還展示了一位社群大使做的小王子遊戲（那位大使當天下午稍早在分會場講過），以及一位沒有工程背景的同事做的動作遊戲。\n一份寫好的任務說明，對象是一個 Godot 三消遊戲原型，附三張規則卡：交付物（可編輯的專案、3 分鐘試玩影片、rules.md、帶 seed 的 replay、測試 log）、agent 的建構順序，以及像「同一個 seed 會重現同一個盤面」這樣的驗收檢查。註腳標明這些是示意性的提案，不是實際結果。\n最後一個例子是他自己的。他讓一個較早的模型逆向一款老遊戲，拆出它的世界地圖，再加上航海和可以探索的城市。agent 透過截圖觀察執行中的遊戲，發現一個 bug，修掉它，然後寫了一份報告說明它是怎麼找到的。他的重點是，像這樣的自我檢查可以讓一輪迭代跑得更久，人才需要介入。最後他說主流遊戲工作室都在把模型加進 pipeline，人的角色會變成驗收和設計。\n","permalink":"https://gavinguo.cc/zh-tw/posts/ai-engineer-shanghai-2026/","summary":"\u003ch2 id=\"概覽\"\u003e概覽\u003c/h2\u003e\n\u003cp\u003eAI Engineer Shanghai 2026 在 11 月 5 日和 6 日於上海虹橋希爾頓舉行，這是 AI Engineer 第一次在中國辦活動。我參加了第一天，議程上的主題是開放模型、agent 和基礎設施。\u003c/p\u003e\n\u003cfigure\u003e\n    \u003cimg loading=\"lazy\" src=\"/images/aie-shanghai-2026/20261105_090716.jpg\"\n         alt=\"09:07 的報到處（签到处），背板寫著 AI Engineer Shanghai，上方是贊助商名稱。\"/\u003e \u003cfigcaption\u003e\n            \u003cp\u003e09:07 的報到處（签到处），背板寫著 AI Engineer Shanghai，上方是贊助商名稱。\u003c/p\u003e\n        \u003c/figcaption\u003e\n\u003c/figure\u003e","title":"AI Engineer Shanghai 2026 第一天：開放模型、agent 與基礎設施"}]