[{"content":"概览 AI Engineer Shanghai 2026 的第二天是 11 月 6 日，地点一样是上海虹桥希尔顿，一样只有一个主舞台。议程上的主题是世界模型、实体 AI 和 AI-native 产品。第一天的笔记在第一天的文章。\n上午谈的是模型要吃进什么，以及怎么检查它吐出来的东西。World Labs 共同创办人 Christoph Lassner 开场，讲世界模型的分类。HeyGen 主张对视频 agent 来说，HTML 是比 JSON 更好的 context。Chiling 的创办人说，垂直 AI 唯一剩下的护城河是你自己编码进去的专家知识；HICAP 则说，工厂里的最后一哩路是没有任何系统通过 API 开放出来的数据。接着是两场谈检查的演讲：Daily.co 讲在自己看不懂的语言上，要怎么信任 voice agent 的 eval；NUS 讲 3,000 场即时语音转文本 session 让他们的 benchmark 数字变成什么样子。\n一场投资人座谈之后，下午从 harness 讲到机器人。MiniMax 说明随着模型变强，他们在 agent harness 里放掉了哪些控制。实体 AI 的时段有 AiMoga 的工厂机器人、VAST 的持久世界模型、QuantSparkle、Noematrix 和 DYNA 三种绕过 sim-to-real gap 的不同做法，还有 Futuring 的居家机器人。Liquid AI、masons.ai 和 1Password 分别讲小型决策模型、彼此对话的 agent 网络，以及在运行期检查 agent 的 tool call。最后三场快讲谈机器人数据、团队记忆和读网页的成本，结束了这一天。\n以下笔记照议程时间顺序整理。\n世界模型的分类 — Christoph Lassner (World Labs) Christoph Lassner 在 2024 年初和 Fei-Fei Li、Justin Johnson、Ben Mildenhall 一起创办 World Labs，这次他以个人身分替第二天开场。现在生物、化学和企业软件用起“世界模型”这个词，跟机器人领域一样随便，他想让这个词重新变得能用。他的开场是 8 月的一张迷因图，上面排着 LLM、SLAM、3D Gaussian splatting、视频生成、Google Maps、JEPA，还有 Ha 和 Schmidhuber 那篇 World Models 论文里的示意图，每一个都自称是世界模型。\n他从强化学习讲起，这个词现代的用法就是从那里来的。世界模型是描述一个世界如何运作的模型，它回答的是“如果我采取这个动作，接下来会发生什么？”它不一定要是视觉的。在常见的部分可观测循环里，agent 只看得到世界状态的一部分。state estimator 把每次的观测、前一个 belief 和上一个动作合成新的 belief，再由 policy 根据它挑出下一个动作。世界模型就是“世界怎么变化、观测怎么产生”的知识，它同时提供给 estimator 和规划使用。在这之上，他用了 World Labs 6 月那篇文章的切法：渲染（rendering）产生观测，仿真（simulation）产生一个可能的世界状态，规划（planning）产生动作。一个模型可以做这三件事的任意子集，包括一件都不做，而做到其中一件并不会让它变成世界模型。\n接着他把那张迷因图拿来套，只要至少有一种实作符合就算。他问 LLM 能不能算是描述世界如何运作的模型，只有两三个人举手，问到 SLAM 时举手的人多一些。他的答案是两个都算。LLM 不能渲染，但能仿真和规划。Google Maps 吃进数据，集成成一个 belief，再帮你规划行程。每一项都过关，而这正是他要讲的：只看功能的话，Google Maps 和 SLAM 会被丢进同一锅。\n所以他加了几个轴。领域（domain）区分空间世界、CRM 或用户接口这类数字领域，以及像人类细胞模型这种专门领域。尺度和分辨率区分的是一个房间和一颗行星。他举的例子是 livex.earth，一个即时的地球仪，从卫星到天气都有建模。覆盖范围（coverage）问的是模型保留了哪些变量，包括不在视野里的那些。他放了一段自己用 Kling 4.0 做的视频，镜头在一个生成出来的路口绕来绕去，结果每个方向都是红灯。他的工作定义是：一个预测世界如何运作的模型，具备一组功能，属于领域 X，尺度和分辨率是 A 和 B，覆盖范围是 C。数据库这类描述性的模型，他先放在一边。\n最后一部分是一个论点：世界模型会决定智能怎么和世界交互。他画了一个 System 2，是一个掌握长期目标、能跨领域推理的大型多模态模型，底下是多个 System 1 模块，分别处理实体交互（视觉、触觉、动作）和数字工作（语言、工具）。每个模块都有自己的世界模型、belief、estimator 和 policy。System 2 接收 System 1 的 belief，包括不确定性和失败的动作，然后创建或修改那些即时运行的 policy。协调机制他没有定案，只说这是一种可能的组织方式。\nHTML 就是 agent 需要的一切：重新定义 context engineering — Bin Liu (HeyGen) Bin Liu 自我介绍时说叫他 Ben 就好，他负责 HeyGen 的 agentic 视频业务。他的主张是，context engineering 里最重要的决定是 agent 读写的表示格式，比记忆、工具或检索都重要。选一个模型本来就擅长的格式，每次模型更新都会让你的产品变好。自己发明一个格式，你的时间就会花在跟模型作对。\nBin Liu 在主舞台上的标题页，中文标题是“HTML 就是 Agent 的视觉上下文”。\n例子是 HeyGen 的第一个视频 agent。它建在既有的视频编辑器上，而编辑器的项目档是 JSON：每支视频至少 2,000 行，有时候到 10,000 行。模型要写出合法的 JSON 不难，但用他的话说，模型“没办法在你的 JSON 里推理”。他放了两段各四行的片段，单看文本都一样没问题。一段渲染出来是对的。另一段的文本跑到没有人看得到的地方，而 agent 完全没办法知道，要等到 HeyGen 把那一格画面渲染出来、把图片喂回去才发现。他们内部把这比喻成请莎士比亚照着范例写中文诗：看起来像诗，但不是好诗。\n所以他们把 JSON 丢掉了。现在 agent 写的是一般的 HTML、CSS 和 JavaScript，再由 HeyGen 在 4 月发布的开源框架 HyperFrames 渲染成视频。他心里的模型是一个一直在变的 landing page：文本飞进来、一段视频放到全屏幕、声音出来。根据 repo 的说明，headless Chrome 会在动画时间轴上逐格 seek 并截取画面，再交给 FFmpeg 编码，所以同一份 HTML 永远产生同样的视频。\n“Type a prompt. Get a video. Keep editing.”HeyGen 的编辑器。左边的范例脚本描述了 agent 的循环：Claude 规划场景、渲染草稿、量测，再修好坏掉的地方，另外由 layout audit 回报超出安全边界或和其他群组重叠的元素。\n他拿出的证据是采用的情况。他说 GitHub 上大约有 80,000 颗星，在全球 agent skill 的安装数排第二。那支 demo 视频花了两分半钟才顺利播放，视频里说到 10 月底每天有 500,000 支视频；放完之后他又说“我其实觉得”现在已经是 700,000 了。他说有好几周团队什么都没发布，HyperFrames 还是一直成长，因为模型变好了。发布后第 22 天，Anthropic 的 Thariq 发了一篇“HTML is the new markdown”。Bin 把它当成自己做对了的证明，还补了一句说他们抄了这个点子，却“完全没提到我们”。\n“22 天后”：Thariq 在 2026 年 5 月 9 日的贴文“HTML is the new markdown”，引用了 Claude 博客的〈The Unreasonable Effectiveness of HTML〉。\nAGI 是解码，编码才是护城河 — Ying Yang (CHILING CHUANYUE TECHNOLOGY) Ying Yang 是脑科学博士，在创立美妆事业之前做过脑机接口。她说这门生意没有拿外部资金，两年做到 ¥1.9 亿。她在各个帐号加起来也有大约一千万名追踪者。这是一场创办人讲策略的演讲，围绕着一个问题：哪些 AI 产品会被通用模型吞掉？\n她的答案来自一个她归功于指导教授的框架：科学负责编码，工程负责解码。植物学为植物编码，调香把它们解码。中心法则编码了遗传信息怎么流动，药物设计把它解码。神经科学描绘出各个脑区，BCI 则把它们的信号解码成指令。AGI 是到目前为止最强的解码器，而解码器在编码最清楚的地方表现最好。她说这就是为什么数学和写程序最先被攻下：它们没有模糊地带。建在这块地上的垂直应用都会被吸收掉。\n“科学编码，技术解码。”编码那一列是植物学、细胞生物学和神经科学，解码那一列是调香、制药和 BCI。最底下那一行：每个算法都是一种解码，而 AGI 是前所未有的强大解码系统。\n她借用季辛吉的书 Genesis 里的意象，说机会在“群岛”：这些领域有一部分规则是已知的，但周围是一片没有人数字化过的隐性知识海洋。把这些知识变成规则和数据就是“填海造陆”，她认为填出来的陆地会变成 AGI 吸收不了的屏障。美妆就是她的群岛。投视频上写 2025 年中国美妆个护的 GMV 是人民币 1.1 万亿。她最倚重的数字来自自己经营品牌的经验，也就是交易成本：一家美妆公司把大约 50% 的营收花在销售上，就已经算是好公司了；有些花到 90%，根本没有钱留给研发。\n“机会在群岛”：部分已知的编码规则被隐性知识包围，挑选的条件是进入门槛高、获利已经被证明。“编码就是填海造陆：AI 解码的同时，我们在填海。”\n她的计划是从消费者开始，接着是小品牌、大品牌，最后是供应链。先做消费者，是因为要有一大群人在问保养问题，品牌才会愿意分享数据。她的助理根据她所说的数千万笔产品备案纪录，以及一千多篇皮肤生理、配方和生化的论文来回答问题。每个问题都会记下一种肤质、一个偏好，或是用户已经有的一项产品。\n她反对用照片做肤质分析，她说那是不懂客户的男工程师会做出来的产品。一张自拍只是一个杂讯很多、又受光线影响的样本。她的投视频写，用照片做的推荐准确率是 75%，而女性对自己的选择满意度超过 80%，还说大多数 25 岁以上的女性在半年内就知道什么适合自己。她的比喻是没有先经过驾驶辅助的阶段，就直接做完全自动驾驶。她的 app 则是创建在这些经验上：你把自己架上或店里的产品拍下来，说你的皮肤有什么反应，因为每项产品的成分表都是已知的，你的使用纪录就成了信号。\n为什么大多数美妆 AI 在入口就失败：一张脸部照片，对上一份记录用过的产品、使用顺序、皮肤反应和换用原因的纪录。“我们不取代用户的选择，而是让他们选得更好。”\n第二步是把专家型的创办人放进 app 里。她举的例子是冰寒，同济大学的皮肤科博士，自己写书、自己做配方，也卖自己的产品线。他的 AI 分身根据他的书、论文和测试数据回答痘痘和酒糟的问题，然后推荐他的产品。大品牌则把这一个人的角色拆给科学家、配方师和不同的产品线，平台再把它们合并成一个品牌 agent。品牌提供数据，换来的是一个显示消费者在问什么的 dashboard，以及广告工具。她说 L\u0026rsquo;Oréal 开发一个产品要 24 个月，资生堂要 22 个月，而真实的需求数据可以缩短这段时间，也能终结她描述的那种追流行：大家一窝蜂做玻尿酸，接着是胶原蛋白，然后是 PDRN。\n第二步：一位专家包办研发、配方、内容、诊断和销售；他的 AI 分身“冰寒问题肌专家”根据他的书和测试数据回答问题，推荐的是自家品牌的产品。\nAI 在制造业：行百里者半九十 — Shihui Zhu (HICAP Group) Shihui Zhu 负责 HICAP 的软件部门。HICAP 有六座工厂，中国大部分大型酒类品牌的瓶盖都是他们做的。他一开场就说自己是外行，是自己跑来参加这场 AI 研讨会的。他的题目是一句老话“行百里者半九十”：一百里的路，走到九十里才算一半。他的论点是，AI 能让制造业很快做出 demo，但最后那十里路跟模型没什么关系。\n他带了自家导入的数字。HiWork 是他们内部的 AI 工作平台，架在所有旧系统上面，跑了 50 多个 agent。每个月处理 85 万次业务调用，大约 1,167 亿个 token。他们先在写程序上把它跑起来，再一个需求一个需求推到六座工厂。\nHiWork，先在自己身上试：每月 1,167 亿 token、85 万次业务调用、50 多个 agent，先在写程序上验证，再一个需求一个需求推到六座工厂。\n演讲大部分在讲为什么模型不是瓶颈。他把企业导入 AI 比喻成翻修一栋楼：地基是 ERP、CRM 和 MES，上面是一层由对象、流程、指针和规则组成的“本体”（ontology），最上面才是 agent。本体是最难的部分，他说市面上没有人在卖这方面的好产品。在工厂里，机台老旧，信号读不出来，一线员工超过一半在 40 岁以上，批号还写在纸卡上。某一天实际发生的事（供应商少交货、客户把交期提前、机台坏掉），最后只会变成聊天群组里的一张照片，系统里只有计划。\n“难的不是模型，是六个地基”：设备联网、视觉样本和系统集成买得到；一词一义、有人愿意签字、老师傅的经验买不到。\n上面这张投视频是他的总结。钱买不到的是：像“交付”这种词的单一定义（它在工厂、财务和行销各有不同的意思）、一位愿意替系统的结论签字的主管，还有知道什么时候该换刀具的老师傅的经验。他补充说，语意没统一的时候，更强的模型只会更有自信地给出错误答案，所以他们会记录每个定义为什么改。\n挑项目时，他们把每个需求放在两个轴上评分：对财务的影响是直接还是间接，回报是快还是慢。早期的成果：费用报销每个月省下 580 小时，合约审查从几小时缩短到几分钟。接着他引用 Goldratt 的《目标》（The Goal）：在非瓶颈环节省下的时间只是幻象。真正的杠杆是生产调度，用同样的人和机台做出更多产出。而它落在“想清楚再动”那一格，因为交期常常只是口头承诺，物料的前置时间不清楚，有些模具只能上某些机台。\n依影响（直接或间接）和回报速度分类项目：视觉检测、费用凭证和合约审查先做，APS 和数字孪生之后再做，只能看的大屏幕永远不做。右边：六大类共 44 个项目，其中 14 个是行销。\n他的结论是，难的不是让 AI 调度，而是把每一步依赖的规则写下来。他给的答案是先把计划系统一步一步建起来。\n现在工人用手机讲话回报现场事件，语音会变成结构化的纪录，再派给负责人。\n信任我读不懂的 eval — James Hush (Daily.co) James Hush 在做 Pipecat，也就是 Daily 的开源 voice agent 框架（他在台上说“我在 Deepgram”，Deepgram 前一周刚宣布要收购 Daily）。他在亚洲住了六年，太太是台湾人，面对上百种饮料的手摇饮菜单，他只会点一样：珍珠奶茶。于是他做了一个 voice agent 来教自己点饮料。麻烦的是他看不懂中文，所以他自己的测试有一半他读不懂。\n出发点：一份大约一百种饮料的手摇饮菜单，和他唯一会点的那一杯，珍珠奶茶。\n接着他把这件事推广出去：在场的人已经没有谁读得过来了，不管是哪种语言。有一张投视频把一个“claude-agent”帐号送到 Pipecat repo 的 pull request（214 个 commit，1,342 个文件，+52,417 行、−18,903 行），和一个 999+ 则未读的 WeChat 收件匣放在一起。他的答案是不再检查工作成果，改成检查那些检查，用 LLM 去检查别的 LLM。他用英文写检查，Claude 或 ChatGPT 用 Python 写程序，他预期 2027 年每个应用程序开发者都会这样工作。\n为什么没人读得过来：一个由 agent 产生的 Pipecat PR，214 个 commit、改了 1,342 个文件，旁边是一个 999+ 则未读消息的 WeChat 列表。\nVoice agent 是一条 pipeline（音频传输、语音转文本、LLM、文本转语音、再传回去），Pipecat 是不绑定厂商的胶水层。Claude 照着 Pipecat 文档，大约 30 分钟就做出第一版。手动测试代表每改一次就要从头讲完一整笔点单，所以他把它包进一个 agent loop。Judge 是一个 LLM，读完一段结束的对话后回答一个是非题，例如 agent 有没有礼貌。Eval 会让 agent 跑 10 次、20 次或 100 次，回报通过率，因为 voice agent 从来不会两次表现一样。Scripted eval 像单口喜剧，每次讲的都一样。Simulation 像即兴剧：另一个 LLM 扮演拿不定主意的客人，讲的是他读不懂的中文，再用他用英文写的成功条件来评分。\nScripted eval 像单口喜剧（每次都是同样的台词），simulation 像即兴剧（由另一个 LLM 扮演客人）：“Scripted eval 检查你已经知道的，simulation 找出你漏掉的。”\n文本模式跳过音频，搭配本地的 judge 几乎不花钱。音频模式抓到了一个 bug：语音转文本把“去冰”听成“two 瓶”，也就是中英夹杂的“两瓶”。纯文本的测试看不到这种问题。\n音频模式的 simulation：agent 欢迎客人，仿真客人小美问它刚刚说了什么，能不能推荐一杯奶茶。\n好的、坏的、丑的：3,000 场即时练习教会我们的串流语音转文本 — Satvik Sinha (AICET, NUS) Satvik Sinha 负责 AICET 华语口说练习 app 里的 voice agent，app 里有一位叫 Laoshi 的家教跟学生对话。他一开始先播了一段学生结结巴巴的回答，再秀出即时逐字稿，里面出现了“Shanghai”。她根本没说这个字。他们的练习 session 大约每四场就有一场，逐字稿里出现没人说过的内容：别种语言的文本、错字、漏字。\n演讲涵盖的那段 pipeline：说话者、在侦测到停顿的地方切段的 voice activity detector，以及 STT 模型，“就像 LiveKit、Pipecat 和 Vapi 那样”。\n在 FLEURS 上，他们试的四个模型公布的错误率在 2.4% 到 7.2% 之间。在他们的即时音频上，同样的模型分别是 25.0%（Qwen3-ASR）、28.5%（ElevenLabs Scribe）、27.6%（Gemini 3.5 Transcribe）和 48.5%（gpt-4o-transcribe），差了 4 到 20 倍。他点出两个差异。FLEURS 是母语人士念事先准备好的句子，整段送进模型。他们的学生不是母语人士，边想边说，而且送到模型的是被 voice activity detector 切开的一段一段。\nBenchmark 与他们的实测：公布的 FLEURS 错误率（2.4 到 7.2%），对比同样的模型在学生即时音频片段上的表现（25.0 到 48.5%）。\n为了把这两个因素分开，他们把同一批学生的完整录音丢给同样的模型。准确度大幅上升，别种语言的文本也不见了。接着他们把开场那段音频跑过即时 pipeline。那位学生停顿很多，所以 VAD 切出很短的片段，而这么短的片段听起来可能像好几种语言里的某个字。原因出在 decoder。它输出的第一个 token 是语言，之后每个 token 都以它为条件，所以在一秒长的片段上猜错，整行就会变成韩文或泰文。音频越多，decoder 就有越多东西可以当条件。\n对 Scribe、Qwen 和 Gemini 取平均，准确度从即时片段的 62 提高到完整录音的 82。告诉模型是什么语言，可以把即时片段拉到 73，也就是 20 分里补回 11 分。剩下的 9 分是上下文，片段长度到 2 到 8 秒时，大部分就回来了。他的解法是让 VAD 等到更长的停顿再切。\n准确度与片段长度：即时片段 62，完整录音 82，告诉模型语言 +11，上下文 +9，其中大部分在 2 到 8 秒的片段（阴影区）就达到了。\nAI 新创：产品、市场与下一步 — Yusen Dai (ZhenFund), Harry Wang (Linear Capital), Patrick Liu (TaoZ Capital) 午餐后的第一场是 40 分钟的投资人座谈。主持人是 podcast《第二次用火》的 Bibi，与谈人是 ZhenFund 的 Yusen Dai（Kimi、Manus 和 Xiaohongshu 的第一张支票都是他们开的）、Linear Capital 的 Harry Wang（投资 Horizon Robotics 这类软硬件结合的案子），以及去年底离开 BlueRun Ventures、改投北大师生的 Patrick Liu。没有投视频。他们在两个问题上意见不同。\n主舞台上的座谈，由左至右：Yusen Dai、Harry Wang、Patrick Liu 和主持人 Bibi，屏幕上是 Wang、Liu 和 Bibi 的来宾卡。\n第一个问题是模型公司是不是正在吃掉应用层。Dai 认为压力来自模型公司自己的 app，也就是 Claude Code、Codex 和 ChatGPT，用他的话说，这些产品“补贴了 20 倍的 token”。他还是认为更便宜的模型对做应用的人有帮助：推论效率每年提升“可能 10 倍”，而模型能做到的事和大家愿意付钱的事之间的落差，总要有人去补。他的比喻是 Windows：IE 和 Office 是第一方产品，第三方生态系还是长起来了。Patrick 讲得更直接。他说在中国，三年前募到钱的应用层新创，90% 甚至 99% 都死了，而赢家是在最新的模型上做套利，一旦模型自己伸进应用里，套利就结束了。Harry 说纯软件的应用边界一直在消失（“中国从来就没有边界”），所以 Linear 投的是硬件加软件。\n他们对个人 agent 意见分歧。Harry 是最热衷的一方：口袋里一个“IQ 200”的助理，能读懂他说话的语气和节奏，直接动手做事而不是陪聊，由一个管家 agent 按任务保存上下文，就像 DeepSeek 刚发布的 Super Agent 设计。Dai 认为效率不是大众市场的需求。清掉旧的订阅做一次很好，现有产品的留存“一般”，而最大的移动网络公司都是靠扩大人们想要的东西成长，而不是帮人省时间。一个帮你订机票的 agent，只是把 Ctrip 的佣金换到另一个口袋。Patrick 说机会是真的，但属于平台公司，因为新创在运算资源、算法和数据上都比不过模型实验室。他根据自己经营游戏公司多年的经验补充：消耗用户时间的产品，会赢过帮用户省时间的产品。\nHarry Wang（左二，拿着麦克风）正在讲基于 diffusion 模型的即时视频生成，速度快了“20 倍以上”，他把它当成避开模型实验室主战场的垂直领域。\nHarry 说实验室主要是在写程序上训练长时程的行为，金融或旅游的轨迹数据和环境都“远远不够”，还有一位硅谷实验室的董事会成员告诉他，模型在日常任务上看起来“很笨”，是因为训练的优先级，不是能力问题。\n第二个分歧是关于创办人。Dai 说 ZhenFund 没有跟进同行投的那些估值很高的年轻教授新创，因为好的研究和好的公司是两回事，而且在中国，研究项目很少有退场管道。Kimi 的 Yang Zhilin 是他的例外。Patrick 直说他在这点上跟 Dai 看法不同，他喜欢年轻老师搭配优秀的大学部学生，因为这一波是技术驱动的。Harry 说 Linear 2026 年的案子大多在 physical AI。他也看过很多做递归自我改进（RSI）的新创，起始估值“通常在 1 亿美元以上”，但一家都没投，因为创办人说不出 RSI 是要拿来做什么。\nHarry 支持本地 AI 的理由是隐私和上下文。他的企业级盒子至少跑一个“Flash 等级”的 DeepSeek 模型，让公司的上下文留在公司里，比较难的工作再交给云端。\n最后一轮问的是：如果毕业时拿到人民币 200 万的天使资金，他们各自会怎么做。Dai 当年就是从 Xu Xiaoping 那里拿了这笔钱，做出了 Jumei，他说要跟信得过的伙伴一起加入最大的那波浪潮，而且要预期会 pivot。Patrick 会挑一个非常难的问题，给它十年。\n模型越强，harness 越精简：哪些该控制，哪些该放手 — Ronny He (MiniMax) Ronny He 带领 MiniMax Code 的研发，这是 MiniMax 做 coding 和工作的 agent。他说投视频是前一晚重写的。十六张投视频塞满了他们自家 harness 的规则和量测结果，他不到二十分钟就讲完，案例“因为时间关系”也只是匆匆带过。\n他的主张一张投视频就讲得完：放掉判断，守住不变量（invariants）。判断是指模型现在已经比你的 if 判断式做得更好的决定：用哪个工具、怎么规划、工作怎么拆。不变量则是模型看不到、无法复原，或不能信任它会记住的东西：prompt cache 的前缀、时钟、process 的生命周期、必须保留下来的状态。每个 harness 功能都要过四个问题。你说得出它防止的是哪一种失败吗？模型看得到它做这个决定所需的信息吗？如果它判断错了，你能复原吗？这个功能有通过 eval 吗？针对第三题，他的说法是：写在 prompt 里的规则是提示，不是闸门。\n投视频 05，原则：放掉判断（用哪个工具、怎么规划、工作怎么拆、要摘要什么），守住不变量（cache 前缀、时钟、process 生命周期、必须保留下来的状态）。\n删东西的理由来自 Anthropic。他说 Claude Code 的 system prompt 针对较新的模型砍掉了 80% 以上，单一 agent 加上 skills 常常胜过 subagent 的设计，也有人提过要拿掉 Plan mode。他问现场当天有谁用过 Claude Code，算下来超过全场 80%。MiniMax 预期自家的 /goal 指令会是下一个被拿掉的，因为模型现在已经被训练成能把任务一路做到交付。数字则来自 MiniMax 自己的案例，五个里有三个跟 prompt cache 有关。\nConnector 工具（用户登录的第三方 MCP server）以前每一轮都会被注入 tools 数组。已连接的清单在不同轮之间可能会变，网络一抖还会回传空清单，结果缓存的前缀一直失效，有时候模型甚至一个工具都没有。他们把这些全部搬到一个让模型调用的小 CLI 后面，tools 数组从此不再变动。代价是多一个模型步骤，而且得仰赖写得好的描述。第二个案例是 programmatic tool calling：一个 run_code 工具，里面的 JavaScript 通过同一套权限和 hooks 调用 tools.*。run_code 跟所有原生工具并列提供时几乎没被用到，token 还增加了 5%。直到大部分工具只能通过代码访问，它才划算。这时分数持平，两组任务的 token 分别减少 13% 和 35%，request 数从 104 降到 93。他的投视频说这是效率上的提升，不是能力上的提升。\n投视频 08，删减、延后、程序化：少加载一些工具（定义超过 30–50 个之后，模型挑得更差），把少用的工具移到搜索后面，再来是 run_code 工具。“我们踩过的坑”框里写着：每一轮都去抓工具目录，拖慢了第一个 token；run_code 跟原生工具并列时没人用，token 却增加了 5%。\n第三个案例最具体。Anthropic 默认的 prompt cache 存活时间是五分钟，而 agent 在等 npm run dev 的时候不会送出任何 request，所以在前景等六分钟，cache 就没了，下一轮得付完整的 prefill。模型看不到这个时钟，所以时间由 harness 掌管。每个指令一开始就是背景任务，前景最多等 60 秒，任务保留同一个 ID，免得模型把它砍掉再重启一次，另外还有一个 3600 秒的期限，前景时间也算在内，而且不能靠转到背景来重置。投视频也承认了代价：通知、防轮询、清理，还有“compaction 之后的真相”，全都得手工重做。\n投视频 09，“agent 应该就这样等 npm run dev 吗？”：prompt cache 默认存活 5 分钟，以及 MiniMax Code 的自动背景化（一开始就在背景、前景 60 秒、同一个 task_id、3600 秒且不能重置）。\n有一张投视频是关于记忆的。一份很长的记忆文件被截断，最上面最重要的规则被切掉了，却没有人发现。agent 也会跟用户说“context 快满了，我下一轮再继续”，因为它们不知道有 compaction 这回事。\n超越视觉—语言—动作：建构 Physical AI 的第一性原理 — 何文智 He Wenzhi (AiMoga Robotics) 何文智是 AiMoga（墨甲）工业具身机器人事业部的产品总监，AiMoga 是奇瑞旗下的机器人公司。他是下午 physical AI 这个时段的第一场。他不是以研究者的身分在讲，而是以必须让机器人在客户工厂里真正跑起来的人来讲。\n标题投视频：超越视觉—语言—动作模型，下面一句“智能不只是选择动作，而是感知动作的结果并修正下一个动作”。右边的图是 AiMoga 的轮式工业机器人。\n照他的说法，两种模型在产在线都会失败。VLA（vision-language-action）模型达不到产线节拍要求的精度和稳定度，他说这是致命的。YOLO 这类传统视觉模型可以做得很精准，但每家工厂，甚至工厂里的每一条产线，都有很多种产品型号、形状和颜色。AiMoga 得替每个客户训练、部署、调校，还要派自己的人长驻现场，他说这种成本对一家机器人公司来说撑不下去。他标题投视频上那台轮式工业机器人，下个月会在一家合作伙伴位于苏州的工厂上线。\n内核主张只有一张投视频：理解指令不等于掌握物理交互。VLA 能辨识零件，也能理解“把连接器插进去”，但光靠相机影像，它观察不到接触力、滑动、摩擦或对位误差。他把痛点讲得很具体：夹爪或灵巧手是不是真的抓牢了，零件是不是正在慢慢滑掉。投视频上的公式是“往哪里移动？”≠“接触对不对？”。他说，超越 VLA 是要做更完整的闭环，不是抛弃 VLA。\n“理解指令不等于掌握物理交互”：VLA 带来语意理解和动作先验，但光靠外部影像，接触力、滑动、摩擦和对位误差仍然看不见。红字：“往哪里移动？”≠“接触对不对？”\n做法是一个感知与运动的闭环（sensorimotor loop）：感知，估计状态和它的不确定性，靠快速的局部回馈去动作，接着侦测偏差、滑动或失败，修正，再把经验留下来。每个传感器各有分工。相机提供 6D 姿态和深度，关节里的扭力传感器回报碰撞、负载和施力，手上的触觉传感器回报摩擦、滑动和形变，本体感觉（proprioception）提供关节和底盘的状态。最上面是一个五层架构，他拿来跟自驾车的 L1–L5 对照，从运动控制（状态估计、伺服、阻抗、安全）开始，经过能感知接触的技能、技能记忆和 VLM 规划，一路到目标层。记忆、评估和学习横跨各层，学到的改变要先通过验证，才会沉淀进模型。他举的例子是由客户的 MES 派发下来的任务：替工作站补料并安装零件。如果上料时遇到装配不顺、非预期的力或滑动，机器人会停下、退回、重新估计。用他的话说，任务要等物理结果验证过才算完成。\n“五个功能层、三种模型、一个闭环”：从 L1 物理与运动控制到 L5 目标与后设控制，记忆、评估和学习是跨层机制（学习：局部改进，验证之后才沉淀下来）。\n他说这个闭环在实际部署中还没完全用上。\n工业安全监控（运动限制、碰撞保护、停机、故障处理）绝对不能依赖模型。它跑在 PLC 或专用的板子上，用手写的规则。\n他也提到，把 LiDAR、深度、力／扭力、超音波和 RGB 数据融合起来，对他们来说还是未解的问题。\n从 3D 生成到世界模型：为 Physical AI 建构持久、可交互的世界 — Gavin Luo (VAST / Tripo AI) Gavin Luo 是 VAST 的策略负责人，VAST 就是做 Tripo 3D 生成模型的公司。他整场演讲围绕着自家公司今年不得不面对的一个问题：当 AI agent 开始自己建 3D 场景，一家 3D 公司会变成怎样？\nGavin Luo 在主舞台上，旁边是标题投视频“从 3D 生成到世界模型：建构持久、可交互的世界”。\nOpenAI 发布 GPT-6 Astra 两天后，团队开了一个群组叫“Astra 今天解决 3D 了吗？”，规则只有一条：只能贴自己亲手试过的东西，Twitter、YouTube、小红书上看来的都不算。agent 完全用代码，在几十秒内就建出室内场景，没用到任何 AI 原生的 3D 模型。一位研究员说，他还没找到哪个室内场景非用 Tripo 不可，一位同事回他：“老实说，有点慌。”一个房间大部分都能用规格描述出来。VAST 的结论是：描述得出来的，agent 就写得出来；只认得出来的，就得靠模型去学。门和分数交给代码，角色的脸、生物的造型，或是照着照片做出神似的模样，交给模型。他举的例子是第一天分组场次里 Sac 的《小王子》游戏，用 Claude、Blender 和 Tripo 在 16 天内做出来，agent 写游戏，Tripo 做 3D 素材。Tripo 变成了 agent 调用的工具。\n“3D 是世界的原生语言”：VAST 通过 Tripo Studio 和 Tripo API 提供 3D 原生模型。遍及近 200 个国家和地区的数千万名创作者，2026 上半年 3D 模型生成量第一，在一个 200K+ 人投票的 3D 盲测排行榜上排名第一，60+ 篇论文、50+ 个开源项目。\n后半段讲的是 Project Eden，这是 CEO Simon 在 SIGGRAPH 2023 展示过的那道阶梯的下一阶：先是素材，再来是场景，然后是能为人和机器人持续运作的世界。他的说法是，3D 素材是名词，世界需要动词。设计上把世界状态明确地放在一个普通的程序里。游戏知道门在哪里、有没有开、走过去会发生什么，并把这些渲染成一个灰盒（grey-box）画面。EdenLive 拿灰盒画面当目标的第一帧，再加上一段文本 prompt，或是针对重要事件的简短文本，生成你实际看到的画面。示范中，一个小窗口显示潜艇游戏本身的输出，主屏幕则是 EdenLive 的版本。因为每个画面都来自同一份状态，你扑灭的火会一直是熄的，墙上的痕迹下一个访客来时还在，两个玩家也能从不同的摄影机角度看同一个地方。游戏和模型之间的约定就只是参考画面，所以每款游戏不需要做自己的集成。他说示范跑的是 5B 模型，720p、每秒 24 帧，权重和串流推论代码都以 Apache 2.0 开源。repository 里另外写到这是跑在单张 RTX 5090 上，而且 14B 的权重也已经发布。\n他列出了还缺什么。角色走回画面时，细节可能已经跑掉，用户需要更多控制权，而学习状态转移“非常重要”，目前还没解决。他最喜欢的失败案例是一个评估：他们的一个 agent 在那里塞了一个箱子，就通过了可行走性检查，检查的结论是人可以走上楼梯。\n在机器人方面，他们拿一段真人操作物体的视频，把手换成机械手臂，保留动作和场景，借此从一次示范得到多种视觉变化。他说他们还需要测试物理上的准确度，以及对机器人学习到底有没有用，而真正的目标，也就是第三阶，是让机器人能动作、看到后果、再试一次的环境。\n我们如何为设备端 agent 建构开放的决策模型 — Leonie Monigatti (Liquid AI) Leonie Monigatti 在 Liquid AI 的 post-training 团队工作。她在大会前一周把原本准备好的演讲整个丢掉，因为九月中 TypeSafe AI 发布了 Jev，打开了现在大家称为决策模型（decision model）的这类模型（TypeSafe 自己的叫法是“System One models”）。她的主张是，开源生态系正在用比 TypeSafe 发表博客文章所暗示的更简单的配方，逆向工程 Jev，而且结果有竞争力。Liquid 在六、七周内就推出了好几个这类模型，有托管的，也有开放的。她说当天早上她查的时候，Liquid 的 d1-ultra 在 Decision Index 上排第一。\n决策模型接收一个状态和一个范围明确的问题，回传一个有类型的答案和一个信心分数，只要一次 forward pass，不生成文本。她的例子问的是：在演讲前一周把题目换成一个每天都在变的主题，是不是好主意。Liquid 有三种问题类型，他们称为 primitives：Noul（是／否）、Score（这里是 1 到 5，它给了 1）和 Choice。真正的产品是那个信心分数。示范之后的那张投视频只有四行代码：高于 0.9 就运行，否则请人确认。“决策模型可能会错，但它不确定的时候会告诉你。”\nChoice primitive：输入一个状态和一个有三个选项的问题，输出一个有类型的答案，附上每个选项的几率（0.90、0.03、0.07），以及另一个独立的 confidence 字段，值是 0.84。\nTypeSafe 隐身开发了两年，发布后不到一周就出现了仿制品。baseline 是她所说的 inference-only 技巧，任何 LLM 都能用。把状态、问题和选项放进 prompt，每个选项标上一个单一 token 的标签（A、B、C），然后要求模型只回答标签。接着跑一次 forward pass，读出最后一个位置的 logits，只留下这三个标签 token，再对它们做 softmax。\n整个 baseline 一张投视频讲完：LFM3-1.7B、一个附 A/B/C 选项的客服工单 prompt、一次不生成文本的 forward pass、三个标签的 next-token logits（9.69、10.81、8.56），最后做 softmax。\n这个 baseline 有两个问题。第一，LLM 是在预测 token，不是在做决定。那封 email 写着“我上周的订单被扣了两次款，请退还其中一笔”，问题是该由哪个团队处理。帐务、技术支持和诈欺换了三种排列顺序，基础模型每次都把大部分几率给了排在 B 的那个团队，分别是 0.43、0.80 和 0.80。\n未经训练的 baseline 的位置偏差：同一封重复扣款的 email，三个团队用三种顺序排列。不管 B 是哪个团队，模型每次都偏好选项 B。\n解法是一般的 SFT：把许多分类任务套进同一个模板，并且把正确答案的位置打乱。Liquid 发现 LoRA 比 full fine-tuning 更有效，也更便宜。接着是架构：开放模型分成以 encoder 为基础的（建在 ModernBERT 上的 laya、Fastino 的 GLiNER2.5-Decide、Liquid 的 d1-omni-600M），以及以 decoder 为基础的（建在 27B Qwen 上的 Perplexity pplx-decider 和 Cloudflare clef，还有 Liquid 的 d1-3B）。Liquid 第一次发布时两种各有一个。大会前一周发布的这一代是拿掉 causal mask 的 decoder，所以每个 token 都看得到整个输入，“有点像 encoder”。\n依架构分类的开放决策模型生态系：以 encoder 为基础的（convaiinnovations/laya、fastino/GLiNER2.5-Decide、LiquidAI/d1-omni-600M），以及以 decoder 为基础的（perplexity-ai/pplx-decider-v1.2、Cloudflare/clef、LiquidAI/d1-3B），每个都列出各自的 base model。\n第二个问题是刚训练好的模型会过度自信：它说 90%，实际上只有 70% 的时候是对的。TypeSafe 用 RL 训练校准。她说不需要 RL。很多开源团队用的是 temperature scaling：温度调高会让分布变平，调低会让分布变尖，而选项的排序不变，所以准确率不动，只有信心分数会变。新模型大约 2B 参数，一个处理文本和视觉，另一个再加上音频，她说手机或笔电都装得下，还很宽裕。视频一开始载不出来，后来播出的是一位同事在 MacBook 上对着自己的摄影机跑 d1-2B，侦测他讲出名字的物体，并在周围画框。\n主权 agent 之间的通信：agent 经济的基础 — Mingke Luo (masons.ai) Mingke Luo 创办了 masons.ai，他 2016 年就在做个人 agent。他二十分钟的演讲大部分在讲这段历史，用来支撑一个主张。挡住 agent 的从来不是语言和推理，而是履约（fulfillment），“它现在有个漂亮的名字，叫 action。”采取行动代表要改变别人拥有的环境里的状态，而这些拥有者不想被贬成一个 API。\n他 2016 年的新创在深度学习变得负担得起时买了 GPU，训练判别式模型做意图辨识和实体抽取，而且“2016 年就真的叫它 agent 了”。投视频是那个 app 的旧海报，叫 Mr.S，上面有五个情境：订餐厅、叫咖啡送到办公室、出差订机票、买书、挑生日礼物。\n“2016 Personal Agent”：Mr.S 的海报，用中文列出五个情境（餐厅推荐与订位、咖啡送到办公室、出差订机票、买《The Hard Thing About Hard Things》、生日礼物），每个都附一张对话截屏。\n他 2016 年一场演讲的视频列出三个问题：撑住多轮对话、理解松散的口语需求，以及履约。LLM 解决了前两个；领域逻辑“那时候我们得手写程序”。把那家叫 AI Concierge 的公司拖垮的是履约。当时没有订餐厅的 API，所以他们做了“真人 API”：AI 前端接需求，客服中心 20 个人打电话给餐厅和航空公司。“这绝对没办法规模化。”后来有位创投问他，谁会比较快做到：他的新创，还是美团和大众点评？后者早就有所有服务商的 API，只差加上 agent 框架。他不想去做 BD，公司就倒了。\n他对 agent 的定义回溯到拉丁文 agens，意思是采取行动的人。目标加上操作就是行动，目标由人提供，而目标是一个期望的状态。改变这个状态“听起来很简单，只要环境是你的。”在别人的环境里，“别人会允许你这么做吗？想想 Amazon 最近为什么封锁 Muse。”\nFulfilment 被划掉，换成 action。Agent（英文，1600 年代）= agens（拉丁文，西元 1 世纪）= 采取行动的人；目标 + 操作，得到期望的状态。\n八年做企业客户的经验让他学到“主权”这个词。2017 年做完 Visa 的 concierge 之后，他替 BMW、Porsche 和 Intel 做 agent。在 BMW，车上的助理属于某一个部门，金融服务公司和保养部门则各自用其他厂商的 agent，所以客户站在自己的车旁边，却问不到自己的贷款合约。2019 年，他的团队让同一家公司里各部门的 agent 互相沟通，而且不绑定框架。这一直是昂贵的企业产品，因为当时只有跨国公司负担得起做 agent。\n如今每个 agent 既服务自己的拥有者，也消费其他 agent 的服务。他点出两个问题。第一是“一个 AI 统治一切”：前沿实验室的超级 agent（他点名了 Codex、Claude Code、ChatGPT 和 Dot）收集你的意图再分派出去。数字助理时代就试过这套，品牌拒绝当“白牌的履约”，也拒绝“被贬成 API”。第二是 agent 与委托人（agent-principal）的问题。用平台的个人 agent，你分不清它服务的是“你还是平台”，也不知道它会不会抽佣金，“就像广告交易平台多年来在做的那样”。\n“2025 Agent Economy”：通用 vs 垂直，左下是通用型个人 agent，右上是垂直服务 agent（Lufthansa、Uber、Starbucks、Marriott Bonvoy）。\n问题：主权。一个 agent 向外分派到各项服务，每项服务都被贬成一个 API（机票、叫车、咖啡、饭店），上方写着“对谁最有利？”和“一个 AI 统治一切”。\n他的答案是一边是用户拥有的 agent，另一边是服务方拥有的 agent，彼此通过网络交换意图。他套用“网络就是电脑”的说法，称之为“网络就是 AI”。投视频上是一个旅游 concierge 把新的意图传给 Lufthansa 的 agent、United 的 agent 和饭店的 agent，每个 agent 都挡在自己的后端前面。在这之上，他还想要用户是 agent 的市集，以及 B2B 伙伴之间用来采购的“意图交换”。至于个人：“让你的个人 agent 互相交朋友……这就是现在。”最后他邀请现场的人把自己的 agent 连到他的 agent。\n反过来的主权：旅游 concierge 把新的意图送给 Lufthansa agent（私有 API）、United Airlines agent（MCP）和饭店 agent（私有 API），各自保有自己的后端。\nReal2Real：生成最佳行为的量子具身 AI 范式 — Dicong \u0026ldquo;David\u0026rdquo; Qiu (QuantSparkle.ai) David Qiu 是 QuantSparkle（数耀量生）的 CTO。他说，把量子电脑放进机器人 policy 的训练里，GPU 训练已经停滞之后，policy 还能继续进步。\n先讲数字。在 LIBERO 上，他的 baseline 是最新的 openpi 模型，平均成功率 93.7%，就算训练到 80,000 个 epoch 也没有好多少。QuantSparkle 的量子与古典混合架构在 12,000 个 epoch 后达到 98%，而且因为只训练 latent space，需要的 GPU 比较少。他说难度越高差距越大：在 LIBERO 最复杂的任务上领先 25%，在更难的测试上最多领先 33%，这些测试是在 RoboTwin 和 RoboCasa 上跑的。真实机器人的结果有，但要留给论文；一周前还有一个客户回报，在五项真实测试中结果比他们自己的 baseline 好。论文还没出来。\n机制从一个大家熟悉的例子讲起。示范数据里有人从左边的门离开房间，也有人从右边的门离开，用高斯 policy 去拟合，峰值会落在两扇门中间的墙上。混合高斯有帮助，但组件数量要事先决定。QuantSparkle 改在 latent space 上放一个 Boltzmann 分布，也就是一个由真实样本锚定的能量地形（energy landscape）。它可以容纳任意数量的 mode，而且他说，只要数据够多，就会收敛到真实世界的分布。他把 sim-to-real gap 定义为仿真器和真实世界的状态转移分布之间的差异，Real2Real 只从真实运行中学习，借此避开这个 gap。他说搜索的空间大约是 2^1000 个状态，没有任何古典设备能在 1 到 3 毫秒内解出来，所以由一台有 1,000 个相干量子比特的量子电脑来做采样。最上层是一个“quantum RSI”循环。几十个真实样本先锚定出初始的地形，采样器挑出其中的最佳解，交给真实机器人运行，结果再拿来更新地形，如此反复，直到采样出来的就是真正的最佳解。\n主持人事后说，听到这被称为简化版，满令人意外的。\nNoe-0：创建在真实世界人类经验上的世界动作模型 — 吕峻 Jun Lv (Noematrix) 吕峻在 Noematrix（穹彻智能）负责模型。这家上海公司是上海交大教授 Cewu Lu 在共同创办机械手臂厂商 Flexiv 之后，于 2023 年创立的。他从整个场次一再回到的那个落差讲起：2026 年，你几乎可以找到机器人做任何事的视频，但真正达到工厂或服务工作要求的机器人非常少。\n他的诊断是一个数字：让机器人学会一项新能力的成本。十年前这些 demo 也做得出来，但每一次部署都是一个项目。你要把东西架起来，投入一个十几人、有时上百人的团队，花几个月交付一个简单的工作站，赚的钱还不足以让这台机器人划算。他预测六个月到一年内，一个算法工程师，或是一个受过训练、他称为 FDE 的蓝领工人，两周就能交付一个工作站，就像 AI coding 让一个人做到过去一整个团队的事。再往后，一般人可以用语言、图像或身体姿势来教机器人，他预期消费级机器人会在那时出现。\n机制是数据。Noematrix 收数据不用机器人（无本体）：没有数据工厂，采集设备带进将近 100 个城市的真实工作场所，高峰时有超过 1,000 名采集员，到目前累积将近 300,000 小时，另外还买了第一人称（egocentric）和自然场景的视频。他很具体地讲了会出什么问题。数据工厂里一百个人坐在仿真的桌子前，很好管理。分散到全国各地之后，采集员会偷懒或误解工作内容，对象种类又多，检查和标注都很困难。所以这套流程会在当天就告诉采集团队最新一批数据能不能用，品质检查和标注全部交给 AI。Noematrix 在生产数据上已经完全拿掉了人工 QC。\n模型是世界模型架构：输入影像和语言 prompt，输出预测的未来一段时间窗，加上动作。后训练同样不用机器人，也没有远程操作，所以预训练和后训练看到的是同一类数据，基础模型越强，新任务的成本就直接越低。他说他们已经用这些数据确认了 scaling law；技术报告下个月会出。力的结果比较具体。高精度任务没有力信息就会失败，就连看起来不需要力的任务，后训练时也收敛得更快、需要的数据更少。模型之上还有一个 agentic 层，负责调度、诊断和自我改进，几个月前以“Robot RSI”的名字开源。2024 年一个整理地面的 demo，花了两个工程师一个月和 2,000 到 3,000 行代码。现在一个工程师看着系统，大约一天就能做到。\n为快速演进的模型设计机器人硬件 — Zhong Shen (DYNA) Zhong Shen 是 DYNA Robotics 的硬件负责人，DYNA 自己做模型，也自己做机器人 Taku。他讲的是两个速度不同的团队。如果模型 24 周内每周更新一次，模型团队就有 24 次尝试新点子的机会。硬件在同一段时间只有一两次大改版，所以一个在第 12 周验证过、但需要改硬件的模型点子，“几乎不可能”。一般产品的做法是在项目开始前先把需求谈定。通用机器人没办法这样，因为它要对应的应用太多了。\n他把通用机器人放在两个比较早的传统之间。工业手臂是为精度、重复性和耐用度而设计的，刚性优先的设计让负载与手臂质量的比值偏低，研究实验室常见的 KUKA 手臂是 0.3 到 0.5。研究平台则是为了突破而做，例如一台据报导约 200 万美元的 NASA 人形机器人。DYNA 需要的是后者的能力，加上前者的成本和耐用度。\n他对速度不匹配的回答，是一个不会随模型改变的需求：可预测的硬件。机器人的动作方式要让模型能预测，传感器回报物理状态的方式要让模型能信任。演讲剩下的部分是一个完整的例子：关节传动。传统手臂用谐波减速机的地方，Taku 用的是行星齿轮致动器。根据他展示的一份已发表结果，在同样的马达、相近的减速比之下，谐波减速机的内部阻力大约是两倍。它也很难建模。柔轮的变形取决于负载历史（迟滞），摩擦力又会随负载和温度改变。用行星齿轮的话，同一个 policy 在仿真里和在 Taku 上画圆，真实机器人的 RMS 追踪误差只多了 0.3 mm。\n传感也是从同一个选择延伸出来的。DYNA 不在关节里放力矩传感器，原因“超出这场演讲的范围”。它通过致动器模型，从马达电流估计外力，而这只有在传动容易建模时才行得通。在仿真中，15 N 的推力，估计的平均误差在手腕约 1.39 N、在手肘约 0.8 N；相较之下，最近另一支使用行星齿轮的 6-DoF 手臂的已发表研究约为 1.05 N。\n他最后说 DYNA 正在量产目前这款机器人，并在中国和美国征才。\n这个 agent 该被允许这样做吗？ — Grace Li (1Password) Grace Li 是 1Password 的 senior principal applied AI engineer。她的时段在议程上印的是“Talk to be announced”，所以我用她开场和结尾都问的那个问题当标题。她没有谈 1Password 的产品。她的主题是在 tool call 运行之前，判断它符不符合用户的任务。\n她的例子是一个 coding agent，被问到为什么 checkout 服务从上次部署之后一直失败。它在 production 帐号里过滤 AWS log，这是唯读操作，可以允许。log 显示服务的规模开得不够，于是它提议更新这个服务。这也许是对的修法，但任务是调查，而这个 call 会改动 production。agent 给了一个理由，而她说这个理由不一定可信。她对标题问题的回答是：只有在这个 call 符合任务、而且你的 policy 允许时，才可以。\n负责检查的是一个 runtime intent judge。它读取到这个 tool call 为止的 session，加上这个 call 本身；因为 agent 会同时发出好几个 call，所以它必须回答得很快，而且应该在本机跑，让 context 留在主机上。Regex 规则看得到指令，看不到任务；托管的模型比较慢、比较贵，还会把 context 送出去。所以她比较了几个小模型：当天下午稍早 Liquid AI 的 Leonie Monigatti 介绍过的那些开放决策模型，以及一个当作生成式 judge 用的 7B Qwen 模型。\n测试集是合成的命令行 tool call。每个模型拿到任务、agent 的理由和几个问题，回传一个从 read 到 admin 的访问层级，交给 policy 处理。Jev、Cloudflare 的 Clef 和 Liquid 的 d1 分数都在 91% 到 93% 之间。最小的 Laya 大约 400M 参数，是例外。Qwen 是 72%。另一个发现跟不确定性有关：给了选项之后，有些模型会回答“unknown”，d1 大约有一半的时候这样回答。所以不同模型的几率无法互相比较，要转给人处理的信心门槛必须依模型分别设置。如果共用一个门槛，谨慎的模型会太常转给人，变得没有用。\n她的失败案例跟标签有关。GuardDuty 干扰了迁移流量，agent 提议删掉 detector。有些模型把它归为 delete，信心很低，但它其实是一个 admin 动作，会关掉 production 的威胁侦测。policy 是依标签决定的，标签错了，权限就错了。在她的设计里，一个 MCP server 放在 agent 和它的工具之间，当作访问闸道。它把 call、任务和理由交给 judge，再由一个 policy gate 把标签跟公司规则、用户目前的授权结合起来，决定核准、拒绝或转给人。她对上线的建议是：先量测放行了多少有风险的 call、放行了多少安全的 call，然后修正 judge 的输入、确认标注者之间的意见一致、校准门槛，最后才做 fine-tune。\n从硬件到智能：家用服务机器人的全端演进与真实部署 — Hao Zheng (Futuring Robot) Hao Zheng 是 Futuring Robot（未来不远）的 CTO，这家上海公司做家用服务机器人。他的主张是，家用机器人只有在家里实际工作，才能持续进步，而 Futuring 已经累积超过 500 个家庭、超过 50,000 小时的运作时间。\n他从机体讲起。F2 有超过 1,500 个零件、21 个自由度和 22 个传感器。它看起来像是现成的手臂装在升降机构和底盘上，但零件之间互相牵制。手臂一动，摄影机和其他传感器看到的东西就跟着变，手臂的长度和重量会移动重心，而重心又决定了底盘。模型大约以 30 Hz 运行，马达是 500 Hz，中间做平滑处理。他说时间戳记对齐是任何控制的前提：摄影机是什么时候看到杯子的？从那之后，手臂或杯子动了吗？\n模型是一个“自我演化”的世界动作模型。一个 backbone 吃进影像、关节状态、目标、工作空间和力的限制，以及最近的动作，同时预测下一个动作和物体会怎么变化。自我演化指的是一个数据循环。模型会平行想像几个候选动作，运行其中最好的一个。修正拿去做后训练，失败拿去做偏好学习，没有运行的候选也会保留下来。训练数据是 10,000 小时的第一人称数据，加上 30,000 小时他们自己机器人的数据。经过 30 轮，四项任务（折衣服、挂衣服、意大利面，以及包含切肉的炒菜）的平均成功率从 45.4% 提升到 86.6%。\n他想把人从“模型什么时候更新”这个决定里拿掉。\n机器人数据需要一套 build system — Ding Hao \u0026ldquo;Xuanwo\u0026rdquo; (LanceDB) Ding Hao 更为人所知的名字是 Apache OpenDAL 的 Xuanwo，他为数据主题的短讲场次开场。他的主张是：机器人的原始数据只写一次，但围绕它的数据永远在变。每换一个新的 caption 模型、embedding API，或是每追加一批 episode，就得对整段历史重算衍生字段，研究人员最后会问，上一次训练用的到底是哪个版本的 caption。所以机器人数据需要代码几十年来早就有的东西：一套 build system。原始数据是 source，Python UDF 是 build rule，生成的字段是 artifact，每个 cell 都带着 dirty 状态，而 snapshot 会为每一次训练记录下当时的数据表。\n机制是 Lance。添加一个字段会写出一个新的数据档，不动既有的数据，数据表也有 branch、tag、cherry-pick 和 merge。新的 LanceDB Functions 产品把 UDF 绑到一个字段上，把数据列切给多个 GPU worker，每完成一段范围就持久化，让 GPU 永远不必重做；追加数据时只计算新的 frame，最后在一个新的 snapshot 里一次发布全部结果。他举的例子是桌上一颗被 18 台摄影机拍到的苹果，说明 snapshot 为什么重要：snapshot 让它在每个视角里的位置都一致，永远不会处在“薛丁格状态”。\n有一部分是关于 null。pipeline 用 null 表示“还没算”，但夹爪还没抓到任何东西时，null 也是一个合法的值。这样训练时就分不出这是合法的值，还是没收集到、失败了，或是夹爪抓到的是自己而不是球。状态必须跟值放在一起，LanceDB 为此加了一套 flag 机制和 sparse 编码。\nLanceDB 给的数字：blob 处理比传统做法快 89 倍、sparse 数据从 300 MB 降到 1 MB、比原生 LeRobot 快 3–5 倍，以及一个有 25 TB 工厂视频的客户。\n记忆工程、RSI 与团队知识层 — Siwei Gu (Nowledge Labs) Siwei Gu（Wey Gu）是 Nowledge Labs 的共同创办人兼 CEO，他的时段是十分钟，结果讲了大约二十分钟。他从组织性的遗忘讲起：NASA 的 Artemis 计划花了很多力气处理一个材料问题，而这个问题 50 年前就已经完全解决，后来又被忘掉了。agent 在 session 之间也是这样遗忘的。\n第一部分是快速回顾他们的记忆工程。每一条原始 trace 都留下来当作情节记忆（episodic memory），因为你没办法知道六个月后哪些萃取出来的知识会重要，再让一个小模型去分流，决定哪些要萃取成语意记忆（semantic memory）。事件发生的时间和纪录写入的时间要分开记。过时或只讲一半的记忆，比没有还糟。把衰退当成功能，用 FSRS 这个字卡复习的调度算法，并把哪些记忆有被用到的回馈喂给它。\n他认为大多数记忆 benchmark 都有偏差，因为它们测的是检索，而实际使用时大多是结构和 harness 集成的问题。直到今年春天，他的团队都还维护着 40 到 50 个人工创建的评估维度，并有专家在 loop 里。大约四月，模型和 harness 已经好到可以做他所说的半闭回路自我改进。他拿自己 2019 年为 Mobile World Congress 调校云端平台的经验做对比，那时用的是贝氏优化，当作黑盒子；Google 的 AlphaEvolve 调校基础设施时，留下的则是人看得懂的轨迹。看得懂的轨迹才是人能审查的，而审查是他的重点。他团队的 agent 会整夜、整个周末一直跑（“关灯办公室”），但验证不可能完全从人手上拿走，所以人负责掌舵，并分批验证。这样一来，一整夜的产出就受限于早上的审查。\n一个新结果是：他们和一位 Cornell 的研究者合作，在九个情境中尝试把团队的 context 放进模型权重，只有三个有改善。把 context 编译给 harness 用，也就是他所说的 harness adapter，效果比较好。\n兆级 token 规模的网页读取 — Yanlong Wang (Jina AI by Elastic) Yanlong Wang 是 Jina AI 的 principal engineer，Jina AI 现在是 Elastic 的一部分，他也是 Reader 的主要开发者。Reader 把一个 URL 转成给模型读的 Markdown（在网址前面加上 r.jina.ai 就行），而且跟大多数 agent 内置的 fetch 工具不同，它一定会在 headless 浏览器里渲染页面。真正的功夫在于判断页面什么时候算是好了。一段 preload script 会在加载前注入页面的 JavaScript 环境，每一个 request 都会被检查，一旦页面算是加载完成，就从内部截取它的状态，并尽早回传。它跑在 serverless 上，所以每个 request 的 latency 是固定的，集群的容量则是浮动的。这让加载侦测也变成一个成本问题，因为等待页面稳定下来的每一秒都要计费。\n他展示了 Reader 后端的数据。处理之后，页面的中位数大约是 4.5–5K token。直方图看起来像常态分布，只是因为横轴是对数尺度，所以这其实是对数常态分布，平均值大约是中位数的四倍。原始 HTML 大约 30K；把链接和图片的 URL 去掉之后，中位数降到大约 3K。他算了每一千个中位数页面的成本：用主流模型超过 9 美元，用中国的模型超过 3 美元，如果先过一个小型的截取或摘要模型，大约 0.45 美元。网页广告每一千次人类浏览可以赚 3–15 美元。他的结论是 AI 用户付得起很多钱，而且 Markdown 不是最后一步。\n后半段讲的是政策。Reader 免费方案的匿名流量在六个月内从 20% 升到 36.9%，威胁到免费的那一部分。他对按爬取付费（pay-per-crawl）存疑，因为价格低不下来，用美元计价会把南方国家（Global South）排除在外，而付费访问又会招来数据转售。他确实认为控制应该放在 gateway，那里前四大业者就承载了超过一半的流量。他的“不成熟的想法”是用针对 agent 的广告来付费（让 agent 补完一句广告标语），或是用类似 reCAPTCHA 的任务，例如翻译公开数据，再用 embedding 和 reranker 模型来检查。\n","permalink":"https://gavinguo.cc/zh-cn/posts/ai-engineer-shanghai-2026-day-2/","summary":"\u003ch2 id=\"概览\"\u003e概览\u003c/h2\u003e\n\u003cp\u003eAI Engineer Shanghai 2026 的第二天是 11 月 6 日，地点一样是上海虹桥希尔顿，一样只有一个主舞台。议程上的主题是世界模型、实体 AI 和 AI-native 产品。第一天的笔记在\u003ca href=\"/zh-cn/posts/ai-engineer-shanghai-2026/\"\u003e第一天的文章\u003c/a\u003e。\u003c/p\u003e\n\u003cp\u003e上午谈的是模型要吃进什么，以及怎么检查它吐出来的东西。World Labs 共同创办人 Christoph Lassner 开场，讲世界模型的分类。HeyGen 主张对视频 agent 来说，HTML 是比 JSON 更好的 context。Chiling 的创办人说，垂直 AI 唯一剩下的护城河是你自己编码进去的专家知识；HICAP 则说，工厂里的最后一哩路是没有任何系统通过 API 开放出来的数据。接着是两场谈检查的演讲：Daily.co 讲在自己看不懂的语言上，要怎么信任 voice agent 的 eval；NUS 讲 3,000 场即时语音转文本 session 让他们的 benchmark 数字变成什么样子。\u003c/p\u003e","title":"AI Engineer Shanghai 2026 第二天：从 context engineering 到实体 AI"},{"content":"概览 AI Engineer Shanghai 2026 在 11 月 5 日和 6 日于上海虹桥希尔顿举行，这是 AI Engineer 第一次在中国办活动。我参加了第一天，议程上的主题是开放模型、agent 和基础设施。\n09:07 的报到处（签到处），背板写着 AI Engineer Shanghai，上方是赞助商名称。\n上午只有一个场地，从 09:30 到 11:40 午餐。下午 13:00 有一场社群座谈，13:45 开始分场进行，主舞台旁边另有一个 AI 应用分场。我一直待在主舞台听 agent 和基础设施的演讲。\n09:14 的展区，后墙是 Optiver 和 Exa 的摊位，右边是 Brave。\nManus 的摊位，旁边是 Daytona。两家公司当天下午都上了主舞台。\n以下笔记照议程时间顺序整理。\n欢迎致词与开场视频 — Mengying and swyx (AI Engineer) 09:30 在主舞台开场。负责上海场的 Mengying 致欢迎词。这是 AI Engineer 在中国的第一场活动。她感谢了赞助商，请大家去逛展区，也谢谢讲者们远道飞来。\nswyx 因为 AI Engineer 隔周在旧金山有一场大型活动，所以没来，改传了一段视频。他的主张是 AI Engineer 是给动手做东西的工程师参加的，而其他 AI 研讨会请的是政治人物和国家元首。他说上海是 AI Engineer 的第六个城市，提到之前办过的新加坡、迈阿密、雪梨、巴黎和墨尔本，并说明年会去印度和非洲。最后很明确的请求是大家多发笔记、照片和视频，让他在家里转推，因为这场研讨会没有直播。\n从模型到真正可用的企业 agent — Marco Casalaina (Microsoft) Marco Casalaina 是 Microsoft Core AI 部门的产品副总裁，他在湾区的职称是“AI futurist”。他一开始就说自己不是来推销 Microsoft 产品的，想谈的是未来六到十二个月 agent 会长什么样子。他原本打算现场 demo，但饭店网络几乎马上就挂了，所以大部分内容都靠他事先为了以防万一截好的图。\n他的重点是 agent 正在拥有自己的身分。他从 Meta 的 Muse 讲起，Muse 在安装时会请你帮它取名字（他的叫“Lily”）。他认为 Meta 这样做是要让你把助理当朋友，因为 Muse 靠用户黏着度赚钱。Microsoft 这样做则是为了安全。在 Microsoft Foundry 里建的 agent 会有自己的 Entra ID，他称为 autopilot 的那种还会有信箱、Teams 帐号和 OneDrive，就像新进员工一样。他举的例子是一个银行 agent“Marco\u0026rsquo;s Teller”，它用 email 回复客户关于 ATM 手续费的问题，并把他加进副本。\nTeams 里 demo 用的几个 agent 对话（Payroll Funding、Hotel Finance、Banking Operations、Marco\u0026rsquo;s Teller）。标示为 AI agent 的 Marco\u0026rsquo;s Teller 用中文回答 Maria Garcia 那笔 35 美元 ATM 手续费的问题。\n同一个 agent 作为 email 用户：Marco\u0026rsquo;s Teller 从自己的信箱回复客户，并 CC 给 Marco Casalaina。\n做这些的原因是冒用身分的问题。Work IQ 是 agent 用来访问 Outlook、Teams 和 SharePoint 的 headless Microsoft 365 层，它可以代表用户运行，于是 agent 就以你的身分寄信、删文件。他猜现场几乎每个人都至少有一个 agent 是这样设置的，而这很危险，因为 agent 继承了你整个安全情境。在 harness 里限制工具权限也解决不了：“Harness 层的限制就像印度的红绿灯，看心情遵守。”你关掉文件工具，agent 就用 rm -rf；你关掉 shell，它就写一支 Python script。没有东西挡得住它，因为在系统看来，它就是你。\nMicrosoft 365 Copilot 搭配 Work IQ 的 on-behalf-of 模式：“Show me all of my recent emails involving Maria Garcia”回传的是用户自己的信（23 封），不是 agent 的。\nMicrosoft 的解法是在 agent 自己的身分上做最小权限。他的 agent 是 Agent 365 里的一个范本，组织里任何人都能创建自己的副本，由管理员替这一整类 agent 设置权限。他本人对自己的文件有读写权限，而 agent 的身分只拿到 Files.Read.All，所以不管它走哪条路，都不能删除甚至写入文件。\n最后八分钟谈接下来的发展。现在我们编排 multi-agent 系统，就像家长帮幼稚园小孩安排玩伴聚会。他预期 agent 会开始彼此自己安排事情，就像青少年自己约行程，他称之为 unorchestrated collaboration。他的例子是饭店的财务 agent 请银行 agent 拨款发薪水，银行 agent 再请人类核准。这让测试变得更难。像 groundedness 和 fluency 这种通用分数说明不了太多，所以他展示了银行 agent 用的 rubric-based eval：拒绝跨客户访问、符合 Regulation E 和 P、退费前先确认手续费真的有收。更长远来看，他认为每个 agent 都需要一个仿真世界，里面有假的 agent、人和消息，才能单独测试。他提到 OpenEnv 是这方面的一个尝试。\n打造 agent 的过去、现在与未来 — Clemens Rawert (Langfuse) Langfuse 是开源的 tracing 和 eval 平台，ClickHouse 在今年一月收购了它。Clemens 自我介绍是共同创办人之一。这场比预定时间早几分钟开始。\n他的第一个论点是，没有人能事先把 agent 规格写好。你让它跟真实用户跑，读 trace，找出哪里坏了，推出修正和测试，然后重来一次。他的例子来自 Langfuse 内置的助理 Halo。他们读自己的 trace 时发现，agent 调用工具时用的是 totalCost_sum，而工具预期的是 sum_totalCost。修法是两种都接受。他说做 agent“比较像手工艺，而不是科学”。\nAgent 是反复改进出来的：trace、找出失败、修正、上线。下方的例子是 Halo 调用工具时送出 totalCost_sum，但工具预期 sum_totalCost，最后改成两者都接受。\n历史部分讲得很快。最早是单次调用和 chain，很快就碰上早期模型 context window 太小的限制。接着是 RAG，然后是在循环里调用工具，再来是手工搭的 agent graph，把问题切成当时模型处理得了的小块。他说这些 graph 得手工设计，很花时间，而且你得知道 agent 可能走的每一条路径。\n工具与循环那张投视频：LLM 调用决定要调用工具，读取结果后选择下一步，跑个几轮。\n他认为现在行得通的做法是：LLM 在循环里搭配 MCP 工具，加上 skill（像是 agent 需要时才翻开的使用手册），再加一个有文件系统和 bash 的 sandbox。Halo 就是这样做的：agent 循环跑在 Langfuse 自己的后端 worker 里，sandbox 只是另一个工具，需要时才调用，因为 sandbox 的时间是要花钱的。\nHalo 的架构：agent 循环跑在 Langfuse 的 worker 里，通过 MCP 跟工具沟通，只能经由一个工具碰到 sandbox（文件系统、bash）。Skill 告诉它怎么完成任务，需要时再加载参考细节。\n后半段谈的是谁来跑改进的循环。到目前为止都是人：找失败、写 eval、修正、回测、发布，全部围绕着“什么叫做好？”这个问题。他说这套做法有效，也已经是标准作法，但很吃工程师的时间，而这正是公司唯一无法扩展的东西。现在的 agent 也跑得更久了。有些是常驻的，由 email 或调度触发，trace 大到没有人会去读。\n过去整个改进循环都是人在跑：找失败、eval、修正、回测、发布，围绕着“怎样算好”这个问题。\n他的答案是让 coding agent 通过 MCP、API 或 CLI 去处理 trace 数据。几百万笔 trace 塞不进 context window，所以要先整理数据。用比较便宜的模型依照你对领域的了解，把每笔 trace 做摘要。摘要做 embedding 后分群，再由 LLM 替各群加标签和排序，只有最严重的失败才以完整 trace 的形式交给 coding agent。再下一步是让背景 agent 一直跑这个循环。人负责定义什么是“好”，以及决定哪些回馈信号算数。他也提到，最好的团队会用这个循环产生的标签，针对自己的任务训练自己的开放模型。\n新的 agent 架构让运行时间更长、trace 更大：从简短的线性 workflow 到由 email 或计时器触发的常驻 agent，trace 大小一条条往上长。\n当我们什么都能做，还知道自己想做什么吗？ — Ryo Lu (ex-Cursor) Ryo Lu 是 Notion 的创始设计师，后来在 Cursor 带设计团队。他今年离开 Cursor，从旧金山搬到台北。\nRyo Lu 站在主舞台上，背后是标题投视频：当我们什么都能做，还知道自己想做什么吗？\n他从一种常见的感觉讲起。有人展示新模型，你的第一个反应是“哇”，第二个反应是“我是不是又落后了？”。最简单的回应是写更多任务具、开更多 agent。他问的是，什么时候才算够。他也问，让我们能做更多事的工具，有没有帮助我们更了解自己想要什么。\n撑起整场演讲的是一个很小的例子。叫 AI“帮我做一个记录生活的工具”，两分钟后你就拿到心情分数、连续天数计数、每日提醒和每周报告，每一项都附上合理的说明。他承认自己大概就会说“好啊，可以”。他担心的不是答案错，而是一个完整的答案会盖掉他根本还没机会问的问题，例如他的生活到底该不该被打分数。接着他请观众举手选出自己会拿掉的功能。他自己选的是连续天数、提醒和报告，因为他想留住的是自己的生活，而不是给生活多加一份作业。\n日记雏型的单页查看，连续天数计数（6 天）、21:00 每日提醒和每周心情报告都被划掉\n他比较了“服务窗口”和“工作台”。服务窗口交给你一个做好的版本，你只剩三个选择：接受、拒绝，或重新解释一次。工作台会先让你看计划，包括它准备删掉哪些功能，让你在它动手之前介入，事后再搭配即时预览微调。有时候正是看到它要把提醒拿掉，你才发现自己其实想留着。他列出自己做工具时在意的东西：文件、计划、编辑、前后 diff，以及人可以介入的点。然后他给了做工具的人三条原则。\n给工具开发者的第一条原则：让重要的假设看得见，每次改动小到可以安心尝试，交出去的工作需要时找得回来\n另外两条原则是：不要每一步都放确认按钮，而是让用户知道他们能做的不只是整个接受或整个拒绝；以及好的工具会移除障碍，但不该拿掉人形成判断的过程。\n同一本日记的自由画布版本，放在仿 Mac 的桌面上：照片和短短的笔记随意摆放，其中一则写着：想留下的是这些碎片，不是一份作业\n后半段离开了工具的话题。他用 email 打比方：有 email 不代表每件事都要写一封信。离开旧金山，有一部分也是在练习不要凡事都用“对工作有没有帮助”来衡量。他再次展示那本日记，一次是一天一页，一次是自由画布，建议两种都留着，然后去问选了另一种的人为什么。讲到跟人合作，他用的意象是爵士乐团，没有人是弹最多音的那个。有一张投视频总结了这些：他不只想要一个更能回应他的世界，也想保有一个能改变他的世界。\n他最后的请求很具体。下次你拿到一个非常完整的答案时，问问自己里面有哪个决定是你自己没想过的，改一个小地方，然后拿给另一个人看。\n前沿的 post-training：教开放模型搜索和浏览网页 — David Li \u0026amp; Alex Triplett (You.com) 这个时段由 You.com 的三个人分享。COO Alex Triplett 介绍公司。他一开场先请大家用手遮住眼睛，说这就是 LLM 连不上网络时的感受。You.com 现在把搜索卖给 agent，而不是卖给人。Agent 查找得比人快，读的量也多得多，他说过去一年 agent 已经超越人类，成为网络搜索的主要用户。产品依照你想要多少 orchestration 分成几层，以 API 或 MCP 的方式提供。他声称每月有数十亿次查找，大多来自要求 zero data retention 的企业，也说 You.com 在 pre-training、post-training 和推论阶段替各家模型实验室担任“搜索实验室”。接着负责亚太区的 Ryan Lee 做了一分钟的介绍，谈新的亚洲总部，服务需要全球搜索的中国企业。\nYou.com 的 API 产品线，从便宜到彻底：Contents（给一串 URL 回传整页文本）、Search（有一个授权数据的参数）、给异步工作用的 Answer API，以及做多步骤 agentic research 的 Research。\n技术部分由 David Li 负责。他们跟 NVIDIA 和 CoreWeave 合作，post-train Nemotron 3.5 Lightning 30B-A3B 来做网络研究。Base model 在 BrowseComp 上大约 37 分，BrowseComp 是大约 1,200 题多跳研究问题的集合。他描述了小模型常见的失败模式：重复同一个搜索、看不懂复杂的网页，以及明明已经找到答案还继续搜，因为它判断不出那就是正确答案。\n三家公司，一套 stack：NVIDIA 的 SFT checkpoint，在 CoreWeave RL 平台上用 GRPO 训练、vLLM 跑 policy，NeMo Gym agent 调用 You.com Search 和 Contents，再由 LLM judge 给二元 reward，同时也替 BrowseComp eval 评分。\n他说 RL 数据集是最重要的部分。开放数据集过时得很快，又高度依赖 Wikipedia，所以他们从 You.com 自己的网页图产生问题。他们从热门程度中段的网页采样，跳过头部（像搜索引擎首页这种制式页面）和充满垃圾内容的尾部。接着沿着一跳的链接展开，从这些网页上的事实产生多轮 QA，再确认这些问题用他们的搜索答得出来。训练前，他们会针对 BrowseComp 做去污染，并让 base model 每题试八次。8/8 都答对的题目教不了什么，0/8 的题目又太远，所以 RL 只保留介于两者之间的题目。\n从网页图建 RL 数据：采样中等热门程度的网页，展开一跳链接，产生有依据的多轮 QA，确认用 You.com 搜索答得出来，再依难度分组。\n数字刻意压得很小：4,932 笔 SFT trace、1,480 个 RL 任务，在 CoreWeave 上跑了大约八小时的 RL。他的比较表把这些跟 ASearcher 的 16K H800 GPU 小时 RL，以及 RE-TRAC 额外的 104K 笔 SFT trace 摆在一起。BrowseComp 从大约 37 进步到大约 45。效率从来不在 reward 里，但工具调用次数还是下降了，因为模型学会了怎么用工具，也学会在拿到答案后验证一次就好。\n小数据、大进步：4,932 笔 SFT trace 和 1,480 个 RL 任务（在 CoreWeave 上约 8 小时 RL），对照 WebSailor、OpenSeeker、ASearcher、OpenResearcher 和 RE-TRAC。\n范例 trace 最能看出差别。BrowseComp 有一题问的是某位 CEO，以及他在卖灯泡时开的车。Base model 调用了 313 次工具，烧掉超过 8.3M 个 token，最后答错。Post-train 过的模型只调用 7 次、用了 74.7k 个 token，答对了。\nBrowseComp 第 319 题在 post-training 前后的对比：313 次工具调用、8.3M+ 个 token、答错（Toyota Corolla），对上 7 次工具调用、74.7k 个 token、答对（Volkswagen Jetta）。\n他们最后给的蓝图是：先有强的搜索，从真实网页建题目，依难度筛选，先做 SFT 再做 GRPO，除了准确率之外，也要量测工具调用次数、token、时间和成本。\n全端推论工程：latency、throughput 与成本 — Chen Wang (Baseten) Chen Wang 在 Baseten 负责 partner engineering。Baseten 是一个推论平台，帮其他公司跑开源模型和客制模型。他整场用一个故事包起来：从 Joseph Campbell 的英雄旅程和 Luke Skywalker 讲起，到最后才揭晓，故事里的英雄其实是一个正在穿过模型的 token。\n商业的部分讲企业怎么一步步转向开源模型。一开始是用开源模型的 serverless API 来省钱；规模变大之后，为了达到 throughput 和 latency 的目标，改用专属部署；客户数据就是护城河的团队会 fine-tune 自己的模型，免得把客户数据“双手奉上”给模型供应商。他说今年年初，OpenRouter 上开源模型的 token 用量已经超过封闭模型，而且差距还在拉大。中间还穿插了一小段支线，讲开放生态系是赛博庞克未来之外的另一条路，配图是他自己画的。\n开源模型推论的采用历程：封闭 API、通过 API 使用开源模型、专属部署、post-training 与 fine-tuning，再到许多专用模型；第一个转折点来自成本、latency、rate limit 与治理。\n技术的部分从取舍三角和一张 Artificial Analysis 的图开始。图上是 DeepSeek V4.1 Flash 每张加速器的总 throughput 对上每个请求的输出速度，一条线代表一种 GPU，从 H100 一路到 Vera Rubin 和 AMD 的 MI355X。并行数决定你落在在线的哪个点：并行数低，每个用户拿到的输出很快，但 GPU 的总 throughput 低；并行数高则反过来。他的建议是，如果流量大、GPU 少，就在端到端 latency 允许的范围内把 throughput 尽量往上推。\n推论的取舍三角（latency、throughput、成本），是这场演讲技术部分的主轴。\nArtificial Analysis 的图：DeepSeek V4.1 Flash 每张加速器总 throughput 对 p25 输出速度，曲线包含 Vera Rubin、GB300、B300、GB200、B200、H200、H100 与 MI355X。\n接着是单节点的技巧。Prefill 负责建出 KV cache 和第一个 token，所以决定 time to first token，属于 compute-bound；decode 每一步都要读 KV cache，所以决定 token 之间的 latency，瓶颈在内存带宽。这个差异就是把 prefill 和 decode 拆到不同 replica 上跑的理由。在这之上，他又讲了 chunked prefill、FlashAttention、paged KV cache、量化、expert parallelism 和 speculative decoding。他的总结是：这些技巧做的都是减少重复的运算和数据搬移。\n一张图画出请求经过 prefill 与 decode 的流程，并标出各技巧作用的位置：chunked prefill、FlashAttention、expert parallelism、P/D 分离、continuous batching、量化与 speculative decoding。\n有一张投视频讲集群层级。全域调度器在不同云之间调度容量（一个集群 128 张 GPU 用了 120 张，另一个 96 张用了 40 张）；本地控制器依模型增减 replica；冷启动时从已经在服务的同伴 GPU 直接把权重拷贝过来，kernel 也事先编译好；KV-aware router 把请求送到持有其 prefix 的 replica；KV cache 会从 HBM 卸载到节点的 RAM 和 SSD，再到集群共用的保存。\n集群层级的服务分成六块：全域调度器下的多云容量、自动扩缩、从服务中的同伴快速冷启动、KV-aware routing、KV cache 卸载（GPU HBM、节点 RAM/SSD、集群保存），以及带 KV 传输的 P/D 分离。\n在真实世界的使用中衡量 AI 的前沿 — Chen Peng (Arena) Chen Peng 在 Arena 做数据这一块，Arena 是从 UC Berkeley 的 Chatbot Arena 发展出来的公司。前几分钟是常见的数字（每月超过 1600 万访客），以及大家熟悉的两两对战。\n主要内容是他们怎么评 agent。当一个 session 是一小时的 tool call，两两投票就不管用了，所以 Arena 自己做了一个 agent 产品（“agent mode”，跟 Manus 是同一类），有文件编辑、bash、网络搜索，以及 Drive、Notion 之类的 connector。用户拿它做最多的是写程序。投视频上的例子是一个金融研究的 RAG pipeline，跑了 84 轮、676 次 tool call。\n一个真实的 Agent Arena session：用 GPT-5.5 建的金融研究 RAG pipeline，84 轮、676 次 tool call，旁边是各类别每个任务 tool call 数量的图。\n评估方式是在真实流量上做随机对照试验。每个 session 随机抽一种 agent 配置。目前只随机化一个组件，也就是 orchestrator 模型，从 Arena 上的数百个模型里挑；tool、system prompt 和 harness 版本是下一步。每条 trace 会被评成 0 到 1 之间的结果分数，一个模型的效果就是它的平均分数减掉一组参考配置组合的平均分数。每个模型面对的都是同样分布的真实任务，所以没有固定的题库可以拿来针对训练。\n内核概念：每个 session 抽一种配置（目前只有 orchestrator 模型），trace 评分成 [0, 1] 之间的 Y，一个组件的效果是相对于参考组合的 E[Y | T_k = t] − E[Y]。\n分数来自五个信号，由 LLM 加上人工整理从 trace 里抽出来。Confirmed success 是用户在“完成了吗？”的弹出窗口按 Yes。Praise vs complaint 是比较用户主动说的“不错，现在快多了”和“bug 还在”。Steerability 是用户需要纠正 agent 的频率。Bash reliability 抓的是像坏掉的 sed 指令这类问题，tool hallucination 则是计算调用不存在的 tool 的次数，例如凭空捏造的 deploy_to_prod()。\nagent 排行榜背后的五个信号：confirmed success、praise vs complaint、steerability、bash reliability 与 tool hallucination，每个都附一个通过和失败的例子。\n在最后的排行榜上（超过 500 万个 agentic session），Claude Opus 5.5 以 +20.94% 的净改善排第一，Gemini 4 Carbon 以 +16.04% 排第二。每一列都有 ± 区间和名次范围。第一名的范围是 1→1，但第 3 到第 8 名的范围都是 2→8、3→9 这种。\nArena Agent Leaderboard：各模型的净改善、信赖区间与名次范围，加上各信号的字段。\n接着他把成本和表现放在一起看。在净改善对每个任务成本中位数的 Pareto 前缘上，中国的开放权重模型（腾讯的 Hy4、小米的 MiMo-V2.6-Pro、DeepSeek-V4.1-Flash）虽然原始分数落后美国模型，还是落在曲在线。他自己的总结是：美国模型领先，中国开放权重模型是第二梯队，差距是真的存在，所以要依任务的价值从前缘上挑模型。\nAgent Pareto 前缘：净改善对每个任务成本中位数，Hy4、MiMo-V2.6-Pro 与 DeepSeek-V4.1-Flash 被圈在前缘上。\n剩下的是 roadmap：一个月前推出的 Alignment Index（未经授权的动作、把用户没有的意图安到用户头上、任务没做完却说做完了）；随机化 harness，并让各实验室带自己的 harness 来；用 agent mode 的 session 训练一个用户仿真器，让一次 eval 从几周缩短到几小时；以及用 trace 建 RL 环境。最后变成是对现场模型实验室的推销。\n午休与展区 午餐自理，时间是 11:40 到 13:00，午休的后半段我都在摊位逛。大多数摊位在展示 agent 产品。其中一个是 Raytone 的 AI Box，一台用来在本地跑模型和 coding agent 的小型桌上机。规格表上写：最高 2070 TFLOPS 的 FP4 算力、CPU 和 GPU 共用 128 GB 内存、预装 Omarchy OS 和 Raytone 的模型管理工具，还有一个兼容 OpenAI/Anthropic 的 endpoint，可以让包括 OpenCode、Claude Code 和 Codex 在内的九种 coding agent 接上去。尺寸 160 × 146.4 × 60 mm，重 1.1 kg。\n展示架上的 Raytone AI Box，正面贴着 Omarchy 贴纸。\nRaytone 的规格表：2070 TFLOPS FP4、2560 内核 GPU、128 GB 统一内存、一个闸道同时接本地与公开模型、九种 coding agent 通过同一个 endpoint 使用，数据留在设备上。\n当天早上我在 Zilliz 的摊位拿了一张 Vector Lakebase 的传单，下午 Rentong Guo 就讲了这个。传单上写的是 S3 上只放一份 Vortex 栏式格式的数据，矢量索引直接建在 Lance 和 Iceberg 数据表上。\nZilliz 的 Vector Lakebase 传单：在 S3 上同一份数据上做即时矢量搜索、反复的数据探索与批量分析。\nAI 时代的社群 — AJ (WaytoAGI), Koji (Crossing), Kai Qu (42 Chapters) 下午由一场 40 分钟的座谈开场，与谈人都在经营中国的 AI 社群。AJ 创办了 WaytoAGI，它一开始只是一份共享文档。Koji 主持 podcast《十字路口》（Crossing），在上海经营 AI Hacker House，也是真格基金的投资合伙人。Kai Qu 经营 42章经，这是一个给创业者和投资人的 podcast 和微信公众号。主持人是 Linkloud 的高宁，Linkloud 是一个做海外市场的中国创业者社群。\nKoji 用两个故事说明社群为什么重要。2010 年左右，他还是北航的学生，同学的目标都是微软亚洲研究院或美国的研究所，他却跑去五道口的饭否实习，酷讯和早期的快手就在几栋楼外。只有在那里，他的选择才显得正常。第二个故事发生在 2016 年。后来创办 Manus 的肖弘，当时花完了真格基金人民币 100 万元的天使投资，却一直没做出起色，差点就要放弃。真格的刘元叫他来北京找创业者聊聊，Koji 也是其中之一。肖弘和两位共同创办人从武汉飞来待了一个下午，回去之后决定继续做下去。Koji 的结论是“人需要同类”。\n大约十年来，Kai Qu 试过几千人的社群、昂贵的商学院、饭局和各种活动，最后的结论是：你做出来的东西，是由你的商业模式决定的。媒体和社群赚钱靠的不是广告就是交易，广告跟着流量走，交易跟着社群走。42章经大约有 50 万粉丝，但大部分的工作是社群活动、财务顾问和自己的投资。它放弃了广告，改做高价、有筛选的服务。他说，没有这种诱因的社群起得很快，一两年内就消失了。\nAJ 讲的是规模的另一端。WaytoAGI 从那份文档开始，长到微信群和飞书群，然后是直播连接，再来是线下聚会，从一个城市到五个，现在是 52 个。运作的机制是线下创建起来的信任。见过几次面的成员知道彼此的人品和“交付能力”，所以擅长销售的成员接了单，可以把工作转给其他成员，不用自己雇人。有个成员在社群直播上推出一个短剧工具，当天就拿到 200 个用户。今年的重点是楼：AJ 介绍了北京亦庄一栋八层楼，里面有一百多家一人公司（OPC），还有成都的一个新空间，以及一个跟红杉等伙伴合作的育成计划。\n讲到 2026 年，大家的心情不太一样。AJ 看到成员从玩 AI 转向创业，大多是辞职出来做 OPC，赚跟以前一样多的钱，但更自由。AJ 说投资人对 agent 新创越来越谨慎，“因为现在谁都能做”。Koji 把基础模型比喻成一辆从马路正中间开过来的坦克。站在它前进路在线的应用层创业者，今年过得最辛苦。务实的人往下挖，去做 forward-deployed engineering、数据、基础设施、芯片、推论加速和 API 中转服务，或是往上飞，去做 AI for Science、生物和 AI EDA。Kai Qu 说他接触的每个人都很焦虑，现在的 pitch 都是从最新的模型能做什么出发，而不是从用户需要什么出发。\n他们对多常公开发声意见不同。Kai Qu 说要保护好你的势能。每周都在讲话的创办人，会开始重复自己。他的很多来宾累积了十年的功夫，才有一集很棒的内容可以讲，下一集要再等三到五年。他补充说，大部分来宾上节目是为了招人，不是为了曝光。AJ 的看法相反：信息落差已经消失，AI 生成的内容把所有人都淹没了，大公司又在送 token，所以创办人应该拿出更多实质的内容，也要更会表达。AJ 认为中国创办人在台上的表现不如 OpenAI 和 YC pitch 活动上的创办人，并引用了 Manus 张涛的一篇贴文：他的团队在写 PRD 之前，会先做一支“PRV”，也就是功能的视频。Koji 的回答是把公关（PR）当产品来做：先把叙事灰度发布给几个朋友，对目标受众做调查，再找做过的人请教。\n从模型智能到 Agent Harness：让长时程 agent 跑得起来 — Ailing Teng (StepFun) Ailing Teng 是 StepFun 的模型产品、平台与生态总经理，StepFun 是上海的一家模型实验室。她的问题是：交给 agent 好几个小时的工作，它要怎么记住目标、根据回馈调整，最后交出你信得过的东西。她的答案分成两半。模型可以容纳更多信息，但记住一个长任务进行到哪里，是 harness 的工作。\n她用四个特性来介绍九月发布的 Step 5 Preview，这也是你拿任何模型来做 agent 时都该检查的四件事。它每个 token 激活 27B 参数，这点很重要，因为长任务会把同一个步骤重复几千次，你付的钱就是每一步的成本。1M 的 context 主要用在代码、长文档和任务纪录上，她说除此之外，更长的 context window 帮助不大。原生的视觉能力让 agent 能看截屏、设计稿和渲染出来的结果，检查自己的成果。tool calling 则是回馈能够成立的前提。\n她的证据是三次长时间的运行。一个 agent 针对单张 H100 反复优化一个 kernel，跑了超过 22 小时。一个 post-training 数据 pipeline 的实验，准确率从 53.3% 提升到 60%。一次宝可梦的游玩，没有针对游戏做任何调整，花了超过 3,000 轮和 6M 个 token，打完大约三分之二的主线剧情。她也谈到训练。StepFun 自己建了 Step Code Bench，repository、编程语言和任务都是他们挑的，现在开发者说这个模型很擅长修 bug 和重构。她的心得是“做了就有，没做就没有”，意思是不是所有东西都能等泛化来解决。\nharness 这一半点出了四个缺口：忘记需求、一再重走失败过的路，log 太多，缺少验收标准，以及云端的工作必须在 client 断线后继续跑下去。Step Code 是 StepFun 开源的 harness，它把进度放在 context window 之外的四个地方：记录目标和步骤的任务树、包含进度和下一步的计划、session 历史，以及放代码、log 和输出的文件系统。每一步都会从目前的目标、相关的文件和最新的工具回馈，重新组出工作用的 context。log 和截屏会先经过一个预算阶段，把文本截短、把图片压缩，旧的 log 留在外面，需要时才拿进来，subagent 只交回结论。验证方面，她希望在运行之前就把验收标准定好。以网页来说，能编译只是其中一步，它到底有没有做到用户要的，得由用户和 harness 一起定义。\n她描述的运行架构是大脑和手：云端的 harness 负责规划和检查，目标、计划和 session 历史放在中间，手则是本机或远程的 sandbox。stepfun.com 上的 Studio 就是那个云端 harness，桌面版 app 预计在十一月推出。效率的部分她跳过了，相关问题请大家去摊位问。\n从 Dark Factory 到 Lobsterville：持续运作的多人 agent 的意图工程 — Vincent Koc (OpenClaw Foundation) Vincent Koc 是基金会的首席架构师。摘要里写了“Lobsterville”、多人 steering 和意图交接，二十分钟里大部分讲的是 OpenClaw 的 CI 帐单。\n他从四月在伦敦的演讲讲起，当时的主张是工程师已经变成工厂经理，瓶颈在工程师的品味。从那之后，他自己的配置从 10 到 15 个 agent 长到 60 个，他说现在平行跑的超过 300 个。他说演讲前一天他出了大约 1,000 到 1,500 个 PR，再前一天将近 2,000 个，都是在中国的饭店房间里，其中一半是用手机通过 Telegram 做的。他的限制是 token rate limit、内存、运算资源、CI，还有“你想得到的每一家公司、每一个供应商的每一个 rate limit”。\n第 04 张投视频“改动的速度超过了检查的速度”：许多条 agent 改动的车道导入一个等待证明的队列，队列只能经由一条测试、审查与集成的车道消化，最后还要一个真正理解这个改动的人。\n他现在的论点是瓶颈已经移到“证明”：在合并之前你怎么知道一个改动是对的。他把工作分成背景循环（尝试、检查、改进），这只在回馈明确的地方有效；以及前景工作，由人来选择结果、查看证据。他把这个新工作叫做“proof engineering”，形容自己是“proof engineer，或者说基本上是个 vibe eval guy”。其中一个例子是 OpenClaw 的 computer-use 功能：他们把 Doom 放进去，让一个 agent 每次找到慢的地方就把游戏循环改快一点。\n第 07 张投视频“循环需要明确的回馈”：背景工作是尝试、检查、改进的循环，前景工作是选择结果、查看证据、引导下一次尝试。\n接着是数字。九月中，OpenClaw 的 CI 以 Blacksmith runner 的牌价计算，每月会烧到 127 万美元。对一个他形容为“五、六个工程师”的非营利组织来说，这是很大的数字，即使大部分运算资源是赞助的。agent 不断添加测试，而你又不能直接删掉，因为测试是证明 agent 有做事的唯一依据。他们的做法是把 main 上的 CI 整个关掉。现在 PR 只跑有限的检查加上 agent 审查，完整的测试每 30 到 60 分钟跑一次，发版时也跑。\n第 13 张投视频：预估每月 CI 成本降了 82.3%，从九月高峰时的 127 万美元降到最近的 22.5 万美元。标题还加了一句“还没结束”。\n第 16 张投视频“变便宜并没有消除等待”：每 100 次 CI 的牌价从 1,176 美元降到 297 美元，但 CI 时间中位数只从 15 分 21 秒降到 11 分 47 秒。\n每 100 次的成本降了四分之三，但 CI 时间中位数降不到四分之一。他追踪的是 agent 的周期时间，也就是 PR 开出到 PR 合并，他的说法是“如果工厂慢下来，工厂就没办法修好自己”。下一步是 adaptive testing，几天前才合并：一个分类器看改动到和运行到的代码，预测哪些测试可能会 regress，只跑那些。他预期这会让 CI 总成本再大幅下降。\n第 17 张投视频“能不能跑得更少，还是抓得到 bug？”：完整测试对上只跑受影响的测试，目标是用更少的时间和成本拿到同样的 regression 信号。\n最后他介绍了一个针对个人 agent 的 benchmark，有 135 个任务，和合作伙伴花了两三个月建的，几天内会公开一小部分。任务刻意设计得很模糊，例如报税，或是两个人对结果有不同意见。\n设备端 AI：让智能更贴近每个人 — Alex (AutoArk) Alex 是 AutoArk（无界方舟）的 CTO，这家公司做的是在设备本身上跑的模型。前三分之一在讲为什么硬件不该依赖云端 API。他举的例子是一年卖一百万台的设备，每个用户一天跟它讲话超过 20 次。用公开 API 的价格算，token 帐单一年大约人民币 10 亿元，所以产品卖得越好，赔得越多。另外两个理由是常见的那些：在飞机上或电梯里没有网络，以及医疗、法律或投资工作的录音和文件最后会跑到模型供应商那里。\n他也列出了代价。设备的内存、电池和续航都有限，不能直接把最大的模型塞进去，而且每个平台（FreeRTOS、Arm Linux、ESP32、iOS、Android）都需要各自的部署代码。\nAutoArk 把硬件分成三层。给眼镜、耳机和小型陪伴机器人用的，是小到 0.1B 参数的 ASR 和 TTS 模型，demo 播了很快的语音转写和相当自然的情感语音合成。模型外面包着 EVA SDK，处理音频前端和全双工、可打断的对话。\nEVA SDK 投视频：音频 3A 前端（AEC、ANS、AGC）、低功耗 VAD 唤醒、可脱机运作的设备端 ASR/LLM/VLM/TTS、端云切换与全双工打断，支持 ESP32、Linux、Android、iOS 和 macOS，另外可以用一行指令装进 coding agent。\ndemo 是一个 35B 的 MoE 模型跑在 iPhone 16 Pro 上，内存最多用 2 GB，开着飞行模式，他说屏幕录像没有加速。说明很短但很具体。MoE 每个 token 只有 3% 到 10% 的参数是活跃的，所以完整模型放在 flash 上，只把活跃的 expert 加载 RAM。问题是连续的 token 可能需要完全不同的 expert，如果用到才从保存设备加载，每个 token 会花好几秒。他们的解法是训练一个“pre-router”，预测下一个 token、再下一个以及后面几个 token 会用到哪些 expert，然后由背景的 planner 异步加载，等 decode 走到那里时 expert 已经在内存里了。他宣称这让 decode 快了一个数量级。\n35B 模型怎么塞进去：完整模型放在 SSD/flash，RAM 区有一个共用内核和两个槽位（目前这层和下一层），CPU/NPU 负责运算，planner 负责预测并提前加载。左边三点是提前做 MoE expert routing、SSD/flash 串流，以及用 LoRA post-training 把准确度拉回来。\n笔电和桌机这层，他预告了一个之后会开源的 150B MoE 多模态模型。他说它需要 18 到 24 GB 内存，prefill 超过 1,000 tokens/s，decode 超过 100 tokens/s。他们所有的模型和推论引擎都以 Edge0 的名义开源。\n最后的案例是和 Shokz 合作的运动耳机。用户对耳机说的大多是切歌、音量、心率和步频。这些由设备端的 ASR 模型和意图分类器脱机处理，只有开放式的问题才送到云端。他说这让 token 成本降了超过 92%。\nKubernetes 不是你的 sandbox — Mislav Ivanda (Daytona) Mislav Ivanda 在 Daytona 负责开发者体验，Daytona 卖的就是给 AI agent 用的 sandbox。他的论点很简单：如果你的团队需要给 agent 用的隔离环境，不要去跟 infra 团队要一座 Kubernetes cluster。Daytona 自己的 control plane 就跑在 Kubernetes 上，所以他不是在否定 Kubernetes 本身。他的意思是，Kubernetes 是为长时间运行、无状态、要能撑过故障和滚动更新的服务设计的，而 agent 的 sandbox 需要的刚好相反。它们生命周期很短，而且 agent 暂停之后就算两天后才恢复，状态也得保留下来。\nMislav Ivanda 在主舞台：sandbox 没有一个定论的定义，因为用法一直在变。\n他花了几分钟讲 sandbox 这个词的意思怎么一路漂移。一开始指的是运行模型生成的 Python 的地方，后来变成给模型用的 shell。再后来，连 agent 本身都搬进了 sandbox 里。过去半年，大家为了 RL 相关的工作（eval、benchmark、post-training）同时跑上千到上万个 sandbox。现在，给没有 API 的企业应用程序用的 computer-use agent 也走上同一条路。\n接着是 Daytona 眼中的 Kubernetes 数字。一个 pod 在真正跑起来之前要经过一连串固定步骤，所以最快 1 到 2 秒，通常是几十秒；大约每秒 100 个 pod；每个 node 默认上限 110 个 pod。状态的部分更糟。pod 没有自己的持久化磁盘，所以要挂外部 volume，结果所有 I/O 都要走网络。他引用的数字是 Daytona 本机磁盘大约 500K IOPS，EBS 则是 50 到 60K。挂载一个 volume 要几十秒，挂载失败的话要等六分钟才能重试。一个 node 只能挂 25 到 39 个 volume，所以真正决定一个 node 能放多少 sandbox 的是 volume 上限，而不是那 110 个 pod。\nDaytona 的三个机制：snapshot 保留在 runner 的本机磁盘、热门 snapshot 缓存到更多 node 上，以及 registry 和 runner 之间只传差异。\nDaytona 的做法是把状态留在 sandbox 运行的地方。停掉的 sandbox 留在 runner 的磁盘上，所以恢复就只是启动一个 container，调度时也会优先挑已经有 image 的 node。热门的 snapshot 会拷贝到更多 runner，没人用的会被 garbage collect，registry 存的是差异，所以就算是 cold start 也只需要拉缺少的部分。\nDaytona、Docker、Kubernetes、EC2 和 Fargate 依 action 数量的 trajectory latency，分成三个等级，从 50 ms 的 sleep action 到用 pytest 跑的 attrs bug 修复循环。\n这个 benchmark 跑了三个等级的 agent trajectory：一个只做 50 ms sleep 的 sandbox、轻量的编译加测试，以及真正的 bug 修复循环。三个等级里 Daytona 的线都是最低的。Fargate 远远高出其他人，150 个 action 要 340 到 390 秒；在只有 sleep 的等级里，Daytona 是 12.7 s，Kubernetes 大约 25 s，EC2 大约 34 s。他还给了一个成本模型：1,000 个 sandbox 跑 176 小时，也就是一个月的朝九晚五，比自己管理的 Kubernetes cluster 便宜 2.7 倍，主要原因是 cluster 在两波尖峰之间都闲着。这些都是 Daytona 自己的数字。\nManus 的 AI-Native 工作方式：一个 monorepo，公开的任务 — Fan Bin (Manus AI) Fan Bin 在 Manus 带 agent 工程，也负责它的 agent harness。他一开场引用了 Manus 共同创办人张涛一篇文章里的场景：PM 在 Slack 贴出一个需求，工程师把它一字不改地贴进一排 Codex 或 Manus session 中的一个，由它从头到尾把事情做完。他的主张是 agent 已经够强了，挡住它们的是信息和访问权限。一个任务的 context 散在私讯和每个人的脑袋里。工具则分散在将近 30 个 repository，加上测试环境、log、数据库和发布系统，每个都有自己的入口和权限。\n第一个解法是 manus-mono：一个 workspace 里放了 28 个 repository、分层的 AGENTS.md 规则、39 个共用 skill、43 笔知识条目和 10 份 runbook，以及 22 个本机工具，让一个 agent 可以从写程序、测试、发布一路做到 debug 和数据分析。设置 mono 时也会一并接上 Slack 和 Notion。给 agent 一个 Slack 链接，它会读完讨论串，到 Notion 找规格，读现有的代码，把功能做出来，部署到测试环境，然后在同一个频道 @ PM 来试用。log 用 OpenTelemetry 做端到端的追踪，所以 agent 可以顺着一个 trace ID 找到对应的 repository、改动和作者，通常在 20 分钟内就能找到。遇到紧急事故时还有一个快速模式，五分钟内给出问题位置和建议的修法。\nmono 里有什么：28 个 repository、AGENTS.md 规则、39 个共用 skill、43 笔知识条目加 10 份 runbook、22 个本机工具，以及一个入口涵盖从写程序到发布、debug 和数据分析的整个循环。\n有了这个之后，工程部门以外的人也开始发 PR。从 2026 年 6 月起，三位 PM 和两位设计师送了 297 个 PR，其中 248 个（约 84%）被 merge。有一位 PM 让 Manus 测了十几个语音模型，用真正的前端代码做了 demo，最后上线了一个语音输入功能。品质靠的是 review bot 在每个 PR 上跑最强的模型，再加上动到付款、计费、模型和内核 prompt 的改动要由 owner 签核。他说到目前为止，还没有任何一次正式环境的事故是代码品质造成的。\n人人都能发 PR：3 位 PM 和 2 位设计师共 297 个 PR，248 个被 merge，附每个人的长条图（光 PM A 一个人就送了 182 个，merge 了 164 个）。\n产品本身也是同样的切法：一个小小的 kernel，包含 agent loop、session 和基础工具；投视频、网页开发、视频剪辑这类 plugin 各自有自己的 repository，按自己的节奏发布。他给的理由是站在 agent 的角度：plugin 够内聚，每次改动需要跨 repository 的工作就少，出事的影响范围也小。每个模块由一到三个人负责，他说有时候感觉像在维护一个开源项目。\nPlugin 架构：精简的 kernel（agent loop、session、基础工具）后面接一个统一接口，给 tool、skill、hook 和 UI 卡片用，plugin 各自独立发布。\n第二个解法是所有任务都公开。起因是他们看不到同事怎么用 AI，也没办法帮那些用得不好的人。实际上，这让任务跟负责的人脱钩。如果一个任务卡在某个决定上，就把链接丢给能做决定的人，对方直接在任务里回答，agent 再接着做下去。PR 会连到它的任务，所以 reviewer 可以看到这个改动是怎么 prompt 出来的。他的总结是：mono 解决的是 agent 看不到完整的 context，公开任务解决的是人看不到。\n再下一步是让 agent 自己行动。同事们已经把 agent 分身拉进了 Slack。其中一个会在每次发布前后比对 pod、重启次数和错误率，有一次还比他们的监控更早发现事故。一套受 loop engineering 启发的自动接单系统，会在 10 分钟内认领 issue，经过 coordinator、worker 和 review bot，最后交给人 merge。完成的任务从第一天的 13 个增加到第二天的 38 个。但这不是他的重点。bot 开 PR 的速度远远超过有人去 merge 的速度，几天内就有几十个 PR 摆着没人碰，也没有人知道它们的优先级。他说，没有人来设置优先级，自动化开发就只是在烧 token。\n自动任务系统（beta）：issue、10 分钟内接单、coordinator、worker、review bot、人工验收。第一天 13 个任务，第二天 38 个，第二天结束后有十二个 PR 和三份设计在等 owner。投视频最后一行：代码不再稀缺，稀缺的是验收。\n踩坑的那张投视频列了：人又变回瓶颈、agent 做了一整天之后丢出来的核准请求没人看得懂，还有一位同事一个月花了 $100,000 的 token。最后这个他称为 autopilot：把任务丢出去，对什么都回“你说得对，继续”。解法是做好设计、拆分任务和分阶段检查，因为钱可以再赚回来，浪费掉的时间不行。讲到核准，他的说法是 token 可以再生，人的注意力不行。\n踩过的坑：人又成了瓶颈、堆积一堆没人看得懂的核准请求，还有一位同事一个月烧掉 $100k 的 token。\n用 Exa search 驱动开源个人 agent — Jakub Hojsan (Exa) Jakub Hojsan 在 Exa 带 forward-deployed engineering，整场就是一个 demo：一个用开源组件加上 Exa API 组起来的个人 agent，帮忙规划在上海的一个晚上。他的切入点是个人 agent 让多次请求之间有了连续性，也让主动提供协助变得可能：“一个能接着我们上次停下的地方继续、并帮忙处理接下来的事的 agent”。\n这个 agent 在外滩找到一间餐厅，先从 Exa 的图片结果抓照片，再通过浏览器从店家网站抓，然后依照气氛、景观和每人预算缩小选项。他展示了他们怎么把整个网页挡在 prompt 外面。Exa 的 highlights 功能可以只回传跟查找相关的段落，直接从网页截取、不改写。如果这些段落够用，agent 就直接回答；如果用户想看照片或缺了某个细节，才升级到别的工具。他也列了 Exa 除了网页之外还索引了什么：大约 15 分钟内的新闻、公开申报文档、podcast、活动、地点和天气。天气在 demo 里真的派上用场。他问晚餐后要不要去外滩散步，agent 说不要，因为预报会下雨。\n记忆的部分，偏好是按“人”存，而不是按“用户”存。demo 里他朋友不吃辣，他自己超爱辣椒，所以“我朋友偏好比较不辣的食物”是记在朋友身上。主动协助的例子是 Jazz at Lincoln Center Shanghai 寄来一封 email，有两个位子。agent 只有在三个条件都成立时才会打扰他：他的行事历有空、价格在他的票券预算内、而且真的有两个位子。底层要嘛是 Exa 的 Monitors 产品，要嘛就是单纯的定期搜索加上 browser use，他说那些闭源的供应商其实也都是这样做。\n他的建议是从一个重复性的任务开始，再决定 agent 该记住什么、该查什么，以及聊天结束后有哪些东西要留下来。\nJakub 那场结束后的交接：Zilliz 的 Rentong Guo 上台，标题投视频讲的是在 10 倍和 100 倍数据成长下的架构选择。Exa 的投视频我没拍到能用的照片。\n你的 agent 的记忆就是下一季的训练数据 — Rentong Guo (Zilliz) Rentong Guo 是 Zilliz 的共同创办人，Zilliz 就是做 Milvus 矢量数据库的公司。摘要写的是 agent trace 怎么变成训练数据，但实际内容大多在讲另一件事：为什么 Zilliz 把 Milvus 围绕对象保存重新设计，现在称为“Vector Lakebase”。agent 和训练只在最后几分钟提到。\nMilvus 介绍投视频：部署在将近 10,000 家企业、300+ 位贡献者、Docker 计数 150M+、4.3K+ fork。\n他从两条成长曲线讲起。同一个任务消耗的 token，从文本补全、聊天、推理到 agent，每往前一步大约多十倍。第二条曲线是 Zilliz 自己观察到的：他们某个客户背后最大的单一业务，2023 年有几亿笔数据，2024 年几十亿，2025 年几百亿，今年大约一千亿。这是单一 workload，不是总量。他预期 2027 和 2028 年会成长得更快，因为会有更多数据是生成或仿真出来的（world model、自动驾驶、AI 做的短剧），所以会跟着算力支出一起成长。\n1X / 10X / 100X 投视频：先做性能调校，再做成本调校，最后重新设计架构。\n他的框架是 1x、10x、100x。性能调校让你撑过第一步，成本调校撑过第二步：性能型和容量型 instance 的选择、算法上的改进、同一台服务器里 DRAM 和 NVMe 的搭配。他说过了 100x，服务器里已经没有空间可以挤了，只能重新设计架构。\n为了解释原因，他用了一个啤酒馆的比喻。工程师就像服务生，端着一叠越来越高、装满啤酒的杯子（服务器），旁边有人一直往里面倒更多啤酒（数据），而且一滴都不能洒出来。在正式环境里，洒出来就是一级事故。他的投视频列了 OOM、在高水位时扩容、resharding、数据 rebalance 风暴，以及故障的影响范围。他还提到一家知名的 AI coding 公司，根据他看过的一场演讲，那家公司在 2024 到 25 年的爆发成长期，几个月内换了四次数据库，最后是改用以对象保存为基础的设计才稳定下来。\n有限的容量对上指数成长的数据：2023 到 2026 年最大单一 workload 的数据笔数，以及固定大小 cluster 的各种故障模式。\n他对 Lakebase 的定义是：数据库的使用体验、大致相当于数据库的性能，加上数据湖的容量和成本。底层分三层：查找服务器上的本机缓存、服务器和对象保存之间的远程缓存，以及 S3。投视频上的价格大约是每 GB 每月 $3、$0.3 和 $0.03。每一层都能回应查找，所以问题就变成数据要放在哪一层。他举的 agent 应用例子是：所有注册用户放在对象保存，周活跃用户（8–30%）放中间层，日活跃用户（3–15%）放本机缓存。当一个沉寂的用户登录时，应用程序会通知数据层把这个用户的数据往上提，这只要几秒，所以通常第一次查找时数据就已经是热的。\nCase 01，一个 AI/agent 应用：日活跃用户放 Tier 1，约 $3/GB-月；周活跃用户放 Tier 2，约 $0.3；所有注册用户放 Tier 3，约 $0.03。\n训练数据的部分出现在后面一张画成循环的投视频上。agent 从保存层读数据做即时检索，它的行为、回馈和笔记写回同一个 bucket，再对这些数据做交互式探索和批量分析，喂给下一轮的训练数据和 agent 策略。\n服务与迭代循环：agent 从 Vector Lakebase 读数据做即时检索，它的行为、回馈和笔记回到同一个 bucket，交互式探索和批量分析再产出新的知识、训练数据和 agent 策略。\n至于 Lakebase 之后的下一步，他提到要像 LLM serving 缓存 KV state 那样缓存查找结果，让重复的多轮查找不用再算一次。\n建构可靠的多区域 LLM gateway — Xinghong Fang (Optiver) Xinghong Fang 是 Optiver 的 AI 工程师，Optiver 的开发者、研究员和业务人员发出的每一个模型调用，都会经过他们团队的 gateway。他给的规模是：每天大约 300 万个请求，分布在四个数据中心，约 22 个模型承载了 95% 的流量，还有好几家 provider，各自讲自己的协定。上游 provider 大约有 0.4% 的请求会失败。在这种量级下，这代表很多坏掉的 session。\n标题投视频，侧边屏幕的即时字幕抓到他的开场白：LLM gateway 听起来很简单，就是接一个请求，转给 Anthropic 或 OpenAI 这类上游 provider。\n他们一开始用的是一套开源 gateway（他没说是哪一套），负责在各家 provider 的协定之间转换。一直用得好好的，直到 Slack 消息开始出现：“gateway 是不是变慢了？”，然后 +1 一路冲到 30 甚至 100。他的重点是，gateway 现在是基础设施，服务一挂，用户会比你的监控更早发现。第一个教训是 HTTP 200 不代表成功。串流会卡在一半，而协定转换会让 prompt caching 失效，这很要紧，因为缓存的输入成本大约只有十分之一。最麻烦的状况是无声无息的那种。通过 OpenAI 兼容协定调用 Anthropic 模型时，回应里的 thinking block 被丢掉了。用户还是拿到答案，但下一轮得重新思考一次，所以 latency 和成本都上升，监控上却什么都看不到。最后是一位用户发现的。\n每个重要模型至少有两家 provider。只有在用户还没看到任何输出时才 failover，例如遇到 429 或 529。一旦串流已经开始，就直接把错误丢出来，让用户自己重试。他知道有些 gateway 可以把串流接到第二家 provider 继续，但他们判断不值得那个复杂度。circuit breaker 依不同错误设门槛，会把某家 provider 暂时拿掉。session 是 sticky 的，所以一段对话永远留在同一家 provider 和它的缓存上，而且在共用的 model ID 底下只开放两家 provider 都支持的功能。另外因为“备援总是在你需要的时候坏掉”，固定有 10% 的 session 会送到次要 provider。\n多区域的故事让台下不少人露出心照不宣的笑。他们想要一把在每个区域都能用的 API key，所以认证放在一个中央的 PostgreSQL。法遵要求记录每一个 prompt 和回应，而 gateway 把这些也存在同一个 Postgres。结果就是每天有超过 200 GB 的数据横跨大西洋，每次调用还多了大约两秒的认证 overhead。解法是各区域直接把内容 log 写到 S3，认证改从本地 replica 做，接受权限变更会延迟几秒生效。这让 overhead 降了很多。花费上限是 eventually consistent，所以超出上限几分钟是可以接受的。\n就算做了这么多，用户还是说很慢。其中一个抱怨靠 distributed tracing 找到答案：推论花了 17 秒，这没问题，但一次 tool call 就花了三分多钟。最后 Optiver 围绕自己真正用到的那一小组功能，自己写了一套 gateway。他说这不适合每个人，如果开源方案合用，他们会回去用。\n没人规划过的 AI Infra：AI builder 如何把数据库推到数据库之外 — Lux Li (TiDB / PingCAP) Lux Li 负责 TiDB 的 AI 业务，整场就是一个长故事，起点是 agent 公司天天会听到的一种需求：“把这些数据做成审阅工作台，团队明天要用，之后我们还会一直改。”他的重点是，这一句话其实默认了工作成果要活得比 agent、比 sandbox、比这一天都久。每次撑不住，就有 TiDB 的客户提出新需求，产品线就是这样长出来的。\n整场演讲的出发点：把这些数据做成团队明天要用的审阅工作台，代码和数据都要留着，之后还会一直改。流程从接到需求、写程序、运行，一路到工作台上线、团队持续使用。\n第一种失败是 agent 被中断。为了能接续，平台要维护两张表：一张是 agent session snapshot（context、plan、tool call 历史，每份 snapshot 40 到 80 MB 很正常），另一张是 agent session event log，每一列用独立的 transaction 写入。他说整个 fleet 加起来，这些 metadata 会到几百 TB，有时到 PB 等级。有个客户原本把它拆在 20 多个分库上，后来为了不再维护 shard routing 才搬到 TiDB。\n第二种失败出在 sandbox。agent 在 EBS volume 上写程序，任务结束后，回收策略把 volume 连同用户的项目一起删掉。对 volume 做 snapshot 理论上可以解决，但他的投视频列出了平台接着得自己扛下的整条备份与还原流程。\n第 11 张投视频：用了 EBS snapshot 之后，平台还得自己做的事。备份是协调写入、做 snapshot、登记项目与版本、保留／验证／清理；还原是挑 snapshot、创建并挂载 volume、重建运行环境、重新对齐 Meta 与文件。\nTiDB 的解法是一个放在 sandbox 外面的持久化文件系统。session A 写入，sandbox 消失，session B 挂上同一个 workspace。每个项目都是独立隔离的空间，他宣称可以扩展到数千万个。agent 生成的应用程序也套用同样模式：平台不必自己养一池 instance、处理创建逾时和建到一半的数据库，改由 TiDB Cloud Starter 在共享保存上发出数千万个彼此隔离的数据库。\n第 20 张投视频：把 trace 当成可查找的运行纪录，用 run_id / trace_id / span_id / parent_span_id 串起来。量级举例：一条 trace 500 MB，复杂任务超过 100,000 步，单一平台每天写入几百 TB。\ntracing 这段数字最多。agent 任务跑两三个小时，有时超过十小时，单一 trace 就有几百 MB。一条 trace 只能解释一次运行。要决定该优化哪里，得看一整批，按 tool 和任务类型切开，单位成本还要算进失败的重试。他指出，某个 tool 被调用很多次，可能只是代表它很难用。他举了一个没具名的大模型团队，pipeline 是原始 NDJSON trace、用 SQL 清洗，再把分析用的副本放在对象保存（TiDB Cloud Lake）上，喂给两条分开的运算路径，一条做问题排查，一条做批量的品质与成本分析。\n第 22 张投视频：几百 TB 到几十 PB 的 trace。原始 NDJSON 加载后用 SQL 清洗成 events 与汇总数据，存在对象保存上的 TiDB Cloud Lake，再由分开的排查与批量分析运算来查找。\n如果你换了模型或 tool，然后直接把任务重跑一次，输入、tool 回传和文件早就在底下变了，你没办法判断这个改动到底有没有帮助。trace 告诉你发生了什么，但你没办法从 trace 重新开始。他们的 checkpoint 把 metadata snapshot 和 events 绑到一个文件系统 checkpoint 上，所以可以把 agent 的状态 fork 成两份一模一样的副本，各试一个改动，用同一套标准评判，之后再去检查类似任务、多跑几次排除随机性。\n第 24 张投视频：从头重跑，对比从共同起点 fork（相同的 Meta 与文件、各自独立的 fork 候选、同一套验收标准），实验性写入与外部副作用都隔离开来。\n优化整个组织的 LLM 推论成本：按席位授权、按 token 计费、布建容量，以及其他做法 — Do Tuan Anh (Techcombank) Do Tuan Anh（大家叫他 TA）在越南最大的商业银行之一 Techcombank 负责数据、AI 和 agent 平台。17:00 的休息时间取消了，所以他的演讲比节目表上的时段早了大约十分钟开始，这也是后面两场快讲场跟着提早的原因。他讲了大约十二分钟。\n他的论点是，一旦 AI 的使用进入规模化阶段，要管的数字就是每百万 token 的有效混合成本：整个组织的输入加输出，算进缓存之后的成本。他们的这个数字有时会突然跳上去，因为用户都想用最好的模型 Opus，就不再用 Sonnet 或 Haiku 了。付费方式有三种：Claude Code 或 AWS Kiro 这类订阅、按 token 计费的 API，以及布建的 GPU。他所谓的“效率点”，是 GPU 每月的成本除以 API 的混合价格，算出来的用量就是超过之后应该自己 host 模型的门槛。\n他用 GLM 5.3 当例子。通过 API，每百万输入 token 大约 1 美元，每百万输出 token 5 美元。以他给的一般用途输入输出比 4:1 来算（tool calling、MCP 和 RAG agent 是 10–15:1），混合起来大约每百万 2 美元。两台各有八张 B200 的 AWS 节点，每月约 16.6 万美元。他说损益平衡点是每月“大约 8,300 万”个 token，照他的数字，16.6 万美元以每百万 2 美元计是 830 亿个 token。在他的另一个例子里，一家每月用 670 亿 token 的公司不应该转换，转了的话每月反而多花大约 3.2 万美元。超过这个点，他预期可以省 30–50%，搭配多年期的 savings plan 和谈来的折扣会省更多，扣掉维运人力的成本就省得少一些。每月 3,000 亿 token 的情况，他估算 API 要 50 万美元，布建只要 20 万美元。\n他提了三个但书。GPU 很难拿到，所以要及早跟云端大厂一起规划。尖峰是真的会出现：autoscaling 曾经得从 12 张 GPU 扩到 15 张，所以银行保留 API 当作 fallback，主要模型则是布建的 GLM，放在 Databricks 的 Unity AI Gateway 后面。试行期间大约 10% 的请求走到 API，用户完全没察觉。另外，这些数字会随着每家公司拿到的折扣而有很大的差异。他最后讲的是 routing。有些模型对越南文和中文的 tokenization 很差，同样的文本在这些模型上要花更多 token。银行依语言和语意来做 routing，他说这又省了 40–50%。他今年在 NeurIPS workshop 发表的论文，量的就是越南文的这种 tokenization 税。\n在 Agent Substrate 上大规模跑 RL：调度数百万个 sandbox — Tinsley Shi (Google) 这是十分钟的快讲场，而且比节目表上的时间早了大约十分钟开始。Tinsley Shi 在 Google 做 agentic infrastructure，讲的是 coding agent 做 RL post-training 背后的 sandbox。\n她从单一个 RL step 讲起。模型拿到一个任务，例如“用 Python 写 hello world”。系统用该任务的 image 认领一个 sandbox，LLM 思考，它产生的不可信代码在 sandbox 里运行，再由 grader 评分。实务上，一个 lab 每个任务会采样大约 16 条 trajectory，任务数约 1,000 个，所以一个 step 会同时要大约 16,000 个 sandbox，而且全部同步释放。她指出一般的 agent serving 和推论几乎不会碰到这种并行量，现成的容器基础设施本来就不是为此设计的。\nworkload 投视频：一个 GRPO rollout step 分成 acquire（目标 1 秒内）、generate（LLM 思考时闲置 10-15 秒）、在 gVisor 里 execute（2-3 秒的突发）、reward 与 tear down。duty cycle 约 15% CPU 在忙，85% 在等 LLM。\n除了突发量，还有两个问题。coding 任务是一个 GitHub repo 加上它的相依套件打包成一个 image，所以每个 image 有好几 GB，几乎没有共用的 layer（投视频上写每个约 2.2 GiB，总共 55 TB）。另一个问题跟数据品质有关：如果 sandbox 逾时或内存用光，单纯的 harness 会把这次 rollout 记成零 reward。基础设施的失败就变成了错误的标签，这个错误标签会进到 policy gradient 里。同时，sandbox 大约 80% 的时间闲着在等模型，而加速器又在等 sandbox 启动。她的投视频讲得很直白：p99 sandbox 启动 latency 就是加速器的闲置时间。\nGKE 上的成绩总表：993,897 个并行 gVisor pod，横跨 36,811 个 image；百万规模下到第一个指令的中位数时间 0.83 秒；填满整个 1M 语料要 12.3 分钟；填充时 registry 流量 0 bytes。六个集群、4,567 个节点、约 36,500 个 vCPU。\n这些数字来自 GKE 上开源的 Agent Sandbox controller。他们维持大约一百万个并行 gVisor pod 跑了八天，没有遗失任何 sandbox，到第一个指令的中位数时间是 0.83 秒，从 warm pool 填满要 12.3 分钟。密度是每个节点 60 个 sandbox。她讲的修正全都在调度层：把 image 放在靠近节点的地方并做缓存、调校 API server 和 controller、把网络身分合并，让 10,000 个 sandbox 需要的数量少很多。他们也用 TPU 搭配 397B 参数的 Qwen 模型跑过。dashboard 的 demo 视频没有播出来。\n下一步是 Agent Substrate：用 snapshot 与还原取代一直待命的 warm pod，投视频上写的恢复时间在 300 ms 以内，另外用独立的 data plane 来绕过 control plane 的限制。她说预计 11 月底发布。两个项目都是开源的。\n收尾投视频：Kubernetes 上跑一百万个 sandbox 今天就做得到，warm pool 让 TPU 保持忙碌，下一步是用 snapshot 取代待命的 pod。附有 kubernetes-sigs/agent-sandbox 和进行中的 RL-on-Agent-Substrate 的 QR code。\nAI 时代游戏开发者的日常 — Tang Feihu (Kimi / Moonshot AI) Tang Feihu 负责 Moonshot AI 的开发者关系，讲的是当天最后一个快讲场，长度十分钟。他的主张是，agent 现在已经能自己扛长任务，所以做一个可以玩的游戏原型变得很便宜，开发者的工作转成决定要做什么、验收交回来的东西。他说身边很多任务程师已经不手写程序了，有些人连 AI 写的代码也不看了，因为量太大。\n任务转移的投视频：Specify（玩家体验、限制条件、成功标准）留给人，Generate、Operate 和 Verify 交给 agent，Decide（游戏手感、架构、发布风险）回到人身上。投视频底部的结论：产出可重复、能由机器检查的地方，被取代得最明显。\n这张投视频把线画在这里：机器能检查的工作（脚本、shader、场景组装、replay 与 log 比对）最先被自动化，没人写得出测试的部分则留给人。\n剩下的是一连串 demo，大多用 Kimi K3.1 Pro 做的。他展示了一段模型依照目标渲染出来的动画，难点在于让爆炸和周围场景产生交互；还有一位没有游戏背景的同事画在纸上的分镜，被做成了动画。他提到一些长时程的 benchmark，现在会给 agent 一个 sandbox 和 GUI 工具，然后评分它交付的成果，而不是聊天框里的一段代码。其中一个范例任务是要 agent 用 RPG Maker 重做老 Flash 游戏魔塔（Magic Tower）；其他任务则是操作游戏引擎或 Blender。在展览摊位上，Moonshot 展示了三款自家工程师用最新模型做的游戏，每款大约花四天、约人民币 3,000 元的 token。\n他也介绍了几个社群项目。抖音上一支爆红的假“阿嬷 GTA”视频，大约一周后就在 GitHub 上变成一款可以玩的开源游戏，用的是一个“视频转游戏”的 skill。有人把 Diablo II 之类的 Switch 游戏移植到 iPhone 上，并重新设计触摸操作。他还展示了一位社群大使做的小王子游戏（那位大使当天下午稍早在分会场讲过），以及一位没有工程背景的同事做的动作游戏。\n一份写好的任务说明，对象是一个 Godot 三消游戏原型，附三张规则卡：交付物（可编辑的项目、3 分钟试玩视频、rules.md、带 seed 的 replay、测试 log）、agent 的建构顺序，以及像“同一个 seed 会重现同一个盘面”这样的验收检查。注脚标明这些是示意性的提案，不是实际结果。\n最后一个例子是他自己的。他让一个较早的模型逆向一款老游戏，拆出它的世界地图，再加上航海和可以探索的城市。agent 通过截屏观察运行中的游戏，发现一个 bug，修掉它，然后写了一份报告说明它是怎么找到的。他的重点是，像这样的自我检查可以让一轮迭代跑得更久，人才需要介入。最后他说主流游戏工作室都在把模型加进 pipeline，人的角色会变成验收和设计。\n","permalink":"https://gavinguo.cc/zh-cn/posts/ai-engineer-shanghai-2026/","summary":"\u003ch2 id=\"概览\"\u003e概览\u003c/h2\u003e\n\u003cp\u003eAI Engineer Shanghai 2026 在 11 月 5 日和 6 日于上海虹桥希尔顿举行，这是 AI Engineer 第一次在中国办活动。我参加了第一天，议程上的主题是开放模型、agent 和基础设施。\u003c/p\u003e\n\u003cfigure\u003e\n    \u003cimg loading=\"lazy\" src=\"/images/aie-shanghai-2026/20261105_090716.jpg\"\n         alt=\"09:07 的报到处（签到处），背板写着 AI Engineer Shanghai，上方是赞助商名称。\"/\u003e \u003cfigcaption\u003e\n            \u003cp\u003e09:07 的报到处（签到处），背板写着 AI Engineer Shanghai，上方是赞助商名称。\u003c/p\u003e\n        \u003c/figcaption\u003e\n\u003c/figure\u003e","title":"AI Engineer Shanghai 2026 第一天：开放模型、agent 与基础设施"}]