概览

AI Engineer Shanghai 2026 的第二天是 11 月 6 日,地点一样是上海虹桥希尔顿,一样只有一个主舞台。议程上的主题是世界模型、实体 AI 和 AI-native 产品。第一天的笔记在第一天的文章。

上午谈的是模型要吃进什么,以及怎么检查它吐出来的东西。World Labs 共同创办人 Christoph Lassner 开场,讲世界模型的分类。HeyGen 主张对视频 agent 来说,HTML 是比 JSON 更好的 context。Chiling 的创办人说,垂直 AI 唯一剩下的护城河是你自己编码进去的专家知识;HICAP 则说,工厂里的最后一哩路是没有任何系统通过 API 开放出来的数据。接着是两场谈检查的演讲:Daily.co 讲在自己看不懂的语言上,要怎么信任 voice agent 的 eval;NUS 讲 3,000 场即时语音转文本 session 让他们的 benchmark 数字变成什么样子。

一场投资人座谈之后,下午从 harness 讲到机器人。MiniMax 说明随着模型变强,他们在 agent harness 里放掉了哪些控制。实体 AI 的时段有 AiMoga 的工厂机器人、VAST 的持久世界模型、QuantSparkle、Noematrix 和 DYNA 三种绕过 sim-to-real gap 的不同做法,还有 Futuring 的居家机器人。Liquid AI、masons.ai 和 1Password 分别讲小型决策模型、彼此对话的 agent 网络,以及在运行期检查 agent 的 tool call。最后三场快讲谈机器人数据、团队记忆和读网页的成本,结束了这一天。

以下笔记照议程时间顺序整理。

世界模型的分类 — Christoph Lassner (World Labs)

Christoph Lassner 在 2024 年初和 Fei-Fei Li、Justin Johnson、Ben Mildenhall 一起创办 World Labs,这次他以个人身分替第二天开场。现在生物、化学和企业软件用起“世界模型”这个词,跟机器人领域一样随便,他想让这个词重新变得能用。他的开场是 8 月的一张迷因图,上面排着 LLM、SLAM、3D Gaussian splatting、视频生成、Google Maps、JEPA,还有 Ha 和 Schmidhuber 那篇 World Models 论文里的示意图,每一个都自称是世界模型。

他从强化学习讲起,这个词现代的用法就是从那里来的。世界模型是描述一个世界如何运作的模型,它回答的是“如果我采取这个动作,接下来会发生什么?”它不一定要是视觉的。在常见的部分可观测循环里,agent 只看得到世界状态的一部分。state estimator 把每次的观测、前一个 belief 和上一个动作合成新的 belief,再由 policy 根据它挑出下一个动作。世界模型就是“世界怎么变化、观测怎么产生”的知识,它同时提供给 estimator 和规划使用。在这之上,他用了 World Labs 6 月那篇文章的切法:渲染(rendering)产生观测,仿真(simulation)产生一个可能的世界状态,规划(planning)产生动作。一个模型可以做这三件事的任意子集,包括一件都不做,而做到其中一件并不会让它变成世界模型。

接着他把那张迷因图拿来套,只要至少有一种实作符合就算。他问 LLM 能不能算是描述世界如何运作的模型,只有两三个人举手,问到 SLAM 时举手的人多一些。他的答案是两个都算。LLM 不能渲染,但能仿真和规划。Google Maps 吃进数据,集成成一个 belief,再帮你规划行程。每一项都过关,而这正是他要讲的:只看功能的话,Google Maps 和 SLAM 会被丢进同一锅。

所以他加了几个轴。领域(domain)区分空间世界、CRM 或用户接口这类数字领域,以及像人类细胞模型这种专门领域。尺度和分辨率区分的是一个房间和一颗行星。他举的例子是 livex.earth,一个即时的地球仪,从卫星到天气都有建模。覆盖范围(coverage)问的是模型保留了哪些变量,包括不在视野里的那些。他放了一段自己用 Kling 4.0 做的视频,镜头在一个生成出来的路口绕来绕去,结果每个方向都是红灯。他的工作定义是:一个预测世界如何运作的模型,具备一组功能,属于领域 X,尺度和分辨率是 A 和 B,覆盖范围是 C。数据库这类描述性的模型,他先放在一边。

最后一部分是一个论点:世界模型会决定智能怎么和世界交互。他画了一个 System 2,是一个掌握长期目标、能跨领域推理的大型多模态模型,底下是多个 System 1 模块,分别处理实体交互(视觉、触觉、动作)和数字工作(语言、工具)。每个模块都有自己的世界模型、belief、estimator 和 policy。System 2 接收 System 1 的 belief,包括不确定性和失败的动作,然后创建或修改那些即时运行的 policy。协调机制他没有定案,只说这是一种可能的组织方式。

HTML 就是 agent 需要的一切:重新定义 context engineering — Bin Liu (HeyGen)

Bin Liu 自我介绍时说叫他 Ben 就好,他负责 HeyGen 的 agentic 视频业务。他的主张是,context engineering 里最重要的决定是 agent 读写的表示格式,比记忆、工具或检索都重要。选一个模型本来就擅长的格式,每次模型更新都会让你的产品变好。自己发明一个格式,你的时间就会花在跟模型作对。

Bin Liu 在主舞台上的标题页,中文标题是“HTML 就是 Agent 的视觉上下文”。

Bin Liu 在主舞台上的标题页,中文标题是“HTML 就是 Agent 的视觉上下文”。

例子是 HeyGen 的第一个视频 agent。它建在既有的视频编辑器上,而编辑器的项目档是 JSON:每支视频至少 2,000 行,有时候到 10,000 行。模型要写出合法的 JSON 不难,但用他的话说,模型“没办法在你的 JSON 里推理”。他放了两段各四行的片段,单看文本都一样没问题。一段渲染出来是对的。另一段的文本跑到没有人看得到的地方,而 agent 完全没办法知道,要等到 HeyGen 把那一格画面渲染出来、把图片喂回去才发现。他们内部把这比喻成请莎士比亚照着范例写中文诗:看起来像诗,但不是好诗。

所以他们把 JSON 丢掉了。现在 agent 写的是一般的 HTML、CSS 和 JavaScript,再由 HeyGen 在 4 月发布的开源框架 HyperFrames 渲染成视频。他心里的模型是一个一直在变的 landing page:文本飞进来、一段视频放到全屏幕、声音出来。根据 repo 的说明,headless Chrome 会在动画时间轴上逐格 seek 并截取画面,再交给 FFmpeg 编码,所以同一份 HTML 永远产生同样的视频。

“Type a prompt. Get a video. Keep editing.”HeyGen 的编辑器。左边的范例脚本描述了 agent 的循环:Claude 规划场景、渲染草稿、量测,再修好坏掉的地方,另外由 layout audit 回报超出安全边界或和其他群组重叠的元素。

“Type a prompt. Get a video. Keep editing.”HeyGen 的编辑器。左边的范例脚本描述了 agent 的循环:Claude 规划场景、渲染草稿、量测,再修好坏掉的地方,另外由 layout audit 回报超出安全边界或和其他群组重叠的元素。

他拿出的证据是采用的情况。他说 GitHub 上大约有 80,000 颗星,在全球 agent skill 的安装数排第二。那支 demo 视频花了两分半钟才顺利播放,视频里说到 10 月底每天有 500,000 支视频;放完之后他又说“我其实觉得”现在已经是 700,000 了。他说有好几周团队什么都没发布,HyperFrames 还是一直成长,因为模型变好了。发布后第 22 天,Anthropic 的 Thariq 发了一篇“HTML is the new markdown”。Bin 把它当成自己做对了的证明,还补了一句说他们抄了这个点子,却“完全没提到我们”。

“22 天后”:Thariq 在 2026 年 5 月 9 日的贴文“HTML is the new markdown”,引用了 Claude 博客的〈The Unreasonable Effectiveness of HTML〉。

“22 天后”:Thariq 在 2026 年 5 月 9 日的贴文“HTML is the new markdown”,引用了 Claude 博客的〈The Unreasonable Effectiveness of HTML〉。

AGI 是解码,编码才是护城河 — Ying Yang (CHILING CHUANYUE TECHNOLOGY)

Ying Yang 是脑科学博士,在创立美妆事业之前做过脑机接口。她说这门生意没有拿外部资金,两年做到 ¥1.9 亿。她在各个帐号加起来也有大约一千万名追踪者。这是一场创办人讲策略的演讲,围绕着一个问题:哪些 AI 产品会被通用模型吞掉?

她的答案来自一个她归功于指导教授的框架:科学负责编码,工程负责解码。植物学为植物编码,调香把它们解码。中心法则编码了遗传信息怎么流动,药物设计把它解码。神经科学描绘出各个脑区,BCI 则把它们的信号解码成指令。AGI 是到目前为止最强的解码器,而解码器在编码最清楚的地方表现最好。她说这就是为什么数学和写程序最先被攻下:它们没有模糊地带。建在这块地上的垂直应用都会被吸收掉。

“科学编码,技术解码。”编码那一列是植物学、细胞生物学和神经科学,解码那一列是调香、制药和 BCI。最底下那一行:每个算法都是一种解码,而 AGI 是前所未有的强大解码系统。

“科学编码,技术解码。”编码那一列是植物学、细胞生物学和神经科学,解码那一列是调香、制药和 BCI。最底下那一行:每个算法都是一种解码,而 AGI 是前所未有的强大解码系统。

她借用季辛吉的书 Genesis 里的意象,说机会在“群岛”:这些领域有一部分规则是已知的,但周围是一片没有人数字化过的隐性知识海洋。把这些知识变成规则和数据就是“填海造陆”,她认为填出来的陆地会变成 AGI 吸收不了的屏障。美妆就是她的群岛。投视频上写 2025 年中国美妆个护的 GMV 是人民币 1.1 万亿。她最倚重的数字来自自己经营品牌的经验,也就是交易成本:一家美妆公司把大约 50% 的营收花在销售上,就已经算是好公司了;有些花到 90%,根本没有钱留给研发。

“机会在群岛”:部分已知的编码规则被隐性知识包围,挑选的条件是进入门槛高、获利已经被证明。“编码就是填海造陆:AI 解码的同时,我们在填海。”

“机会在群岛”:部分已知的编码规则被隐性知识包围,挑选的条件是进入门槛高、获利已经被证明。“编码就是填海造陆:AI 解码的同时,我们在填海。”

她的计划是从消费者开始,接着是小品牌、大品牌,最后是供应链。先做消费者,是因为要有一大群人在问保养问题,品牌才会愿意分享数据。她的助理根据她所说的数千万笔产品备案纪录,以及一千多篇皮肤生理、配方和生化的论文来回答问题。每个问题都会记下一种肤质、一个偏好,或是用户已经有的一项产品。

她反对用照片做肤质分析,她说那是不懂客户的男工程师会做出来的产品。一张自拍只是一个杂讯很多、又受光线影响的样本。她的投视频写,用照片做的推荐准确率是 75%,而女性对自己的选择满意度超过 80%,还说大多数 25 岁以上的女性在半年内就知道什么适合自己。她的比喻是没有先经过驾驶辅助的阶段,就直接做完全自动驾驶。她的 app 则是创建在这些经验上:你把自己架上或店里的产品拍下来,说你的皮肤有什么反应,因为每项产品的成分表都是已知的,你的使用纪录就成了信号。

为什么大多数美妆 AI 在入口就失败:一张脸部照片,对上一份记录用过的产品、使用顺序、皮肤反应和换用原因的纪录。“我们不取代用户的选择,而是让他们选得更好。”

为什么大多数美妆 AI 在入口就失败:一张脸部照片,对上一份记录用过的产品、使用顺序、皮肤反应和换用原因的纪录。“我们不取代用户的选择,而是让他们选得更好。”

第二步是把专家型的创办人放进 app 里。她举的例子是冰寒,同济大学的皮肤科博士,自己写书、自己做配方,也卖自己的产品线。他的 AI 分身根据他的书、论文和测试数据回答痘痘和酒糟的问题,然后推荐他的产品。大品牌则把这一个人的角色拆给科学家、配方师和不同的产品线,平台再把它们合并成一个品牌 agent。品牌提供数据,换来的是一个显示消费者在问什么的 dashboard,以及广告工具。她说 L’Oréal 开发一个产品要 24 个月,资生堂要 22 个月,而真实的需求数据可以缩短这段时间,也能终结她描述的那种追流行:大家一窝蜂做玻尿酸,接着是胶原蛋白,然后是 PDRN。

第二步:一位专家包办研发、配方、内容、诊断和销售;他的 AI 分身“冰寒问题肌专家”根据他的书和测试数据回答问题,推荐的是自家品牌的产品。

第二步:一位专家包办研发、配方、内容、诊断和销售;他的 AI 分身“冰寒问题肌专家”根据他的书和测试数据回答问题,推荐的是自家品牌的产品。

AI 在制造业:行百里者半九十 — Shihui Zhu (HICAP Group)

Shihui Zhu 负责 HICAP 的软件部门。HICAP 有六座工厂,中国大部分大型酒类品牌的瓶盖都是他们做的。他一开场就说自己是外行,是自己跑来参加这场 AI 研讨会的。他的题目是一句老话“行百里者半九十”:一百里的路,走到九十里才算一半。他的论点是,AI 能让制造业很快做出 demo,但最后那十里路跟模型没什么关系。

他带了自家导入的数字。HiWork 是他们内部的 AI 工作平台,架在所有旧系统上面,跑了 50 多个 agent。每个月处理 85 万次业务调用,大约 1,167 亿个 token。他们先在写程序上把它跑起来,再一个需求一个需求推到六座工厂。

HiWork,先在自己身上试:每月 1,167 亿 token、85 万次业务调用、50 多个 agent,先在写程序上验证,再一个需求一个需求推到六座工厂。

HiWork,先在自己身上试:每月 1,167 亿 token、85 万次业务调用、50 多个 agent,先在写程序上验证,再一个需求一个需求推到六座工厂。

演讲大部分在讲为什么模型不是瓶颈。他把企业导入 AI 比喻成翻修一栋楼:地基是 ERP、CRM 和 MES,上面是一层由对象、流程、指针和规则组成的“本体”(ontology),最上面才是 agent。本体是最难的部分,他说市面上没有人在卖这方面的好产品。在工厂里,机台老旧,信号读不出来,一线员工超过一半在 40 岁以上,批号还写在纸卡上。某一天实际发生的事(供应商少交货、客户把交期提前、机台坏掉),最后只会变成聊天群组里的一张照片,系统里只有计划。

“难的不是模型,是六个地基”:设备联网、视觉样本和系统集成买得到;一词一义、有人愿意签字、老师傅的经验买不到。

“难的不是模型,是六个地基”:设备联网、视觉样本和系统集成买得到;一词一义、有人愿意签字、老师傅的经验买不到。

上面这张投视频是他的总结。钱买不到的是:像“交付”这种词的单一定义(它在工厂、财务和行销各有不同的意思)、一位愿意替系统的结论签字的主管,还有知道什么时候该换刀具的老师傅的经验。他补充说,语意没统一的时候,更强的模型只会更有自信地给出错误答案,所以他们会记录每个定义为什么改。

挑项目时,他们把每个需求放在两个轴上评分:对财务的影响是直接还是间接,回报是快还是慢。早期的成果:费用报销每个月省下 580 小时,合约审查从几小时缩短到几分钟。接着他引用 Goldratt 的《目标》(The Goal):在非瓶颈环节省下的时间只是幻象。真正的杠杆是生产调度,用同样的人和机台做出更多产出。而它落在“想清楚再动”那一格,因为交期常常只是口头承诺,物料的前置时间不清楚,有些模具只能上某些机台。

依影响(直接或间接)和回报速度分类项目:视觉检测、费用凭证和合约审查先做,APS 和数字孪生之后再做,只能看的大屏幕永远不做。右边:六大类共 44 个项目,其中 14 个是行销。

依影响(直接或间接)和回报速度分类项目:视觉检测、费用凭证和合约审查先做,APS 和数字孪生之后再做,只能看的大屏幕永远不做。右边:六大类共 44 个项目,其中 14 个是行销。

他的结论是,难的不是让 AI 调度,而是把每一步依赖的规则写下来。他给的答案是先把计划系统一步一步建起来。

现在工人用手机讲话回报现场事件,语音会变成结构化的纪录,再派给负责人。

信任我读不懂的 eval — James Hush (Daily.co)

James Hush 在做 Pipecat,也就是 Daily 的开源 voice agent 框架(他在台上说“我在 Deepgram”,Deepgram 前一周刚宣布要收购 Daily)。他在亚洲住了六年,太太是台湾人,面对上百种饮料的手摇饮菜单,他只会点一样:珍珠奶茶。于是他做了一个 voice agent 来教自己点饮料。麻烦的是他看不懂中文,所以他自己的测试有一半他读不懂。

出发点:一份大约一百种饮料的手摇饮菜单,和他唯一会点的那一杯,珍珠奶茶。

出发点:一份大约一百种饮料的手摇饮菜单,和他唯一会点的那一杯,珍珠奶茶。

接着他把这件事推广出去:在场的人已经没有谁读得过来了,不管是哪种语言。有一张投视频把一个“claude-agent”帐号送到 Pipecat repo 的 pull request(214 个 commit,1,342 个文件,+52,417 行、−18,903 行),和一个 999+ 则未读的 WeChat 收件匣放在一起。他的答案是不再检查工作成果,改成检查那些检查,用 LLM 去检查别的 LLM。他用英文写检查,Claude 或 ChatGPT 用 Python 写程序,他预期 2027 年每个应用程序开发者都会这样工作。

为什么没人读得过来:一个由 agent 产生的 Pipecat PR,214 个 commit、改了 1,342 个文件,旁边是一个 999+ 则未读消息的 WeChat 列表。

为什么没人读得过来:一个由 agent 产生的 Pipecat PR,214 个 commit、改了 1,342 个文件,旁边是一个 999+ 则未读消息的 WeChat 列表。

Voice agent 是一条 pipeline(音频传输、语音转文本、LLM、文本转语音、再传回去),Pipecat 是不绑定厂商的胶水层。Claude 照着 Pipecat 文档,大约 30 分钟就做出第一版。手动测试代表每改一次就要从头讲完一整笔点单,所以他把它包进一个 agent loop。Judge 是一个 LLM,读完一段结束的对话后回答一个是非题,例如 agent 有没有礼貌。Eval 会让 agent 跑 10 次、20 次或 100 次,回报通过率,因为 voice agent 从来不会两次表现一样。Scripted eval 像单口喜剧,每次讲的都一样。Simulation 像即兴剧:另一个 LLM 扮演拿不定主意的客人,讲的是他读不懂的中文,再用他用英文写的成功条件来评分。

Scripted eval 像单口喜剧(每次都是同样的台词),simulation 像即兴剧(由另一个 LLM 扮演客人):“Scripted eval 检查你已经知道的,simulation 找出你漏掉的。”

Scripted eval 像单口喜剧(每次都是同样的台词),simulation 像即兴剧(由另一个 LLM 扮演客人):“Scripted eval 检查你已经知道的,simulation 找出你漏掉的。”

文本模式跳过音频,搭配本地的 judge 几乎不花钱。音频模式抓到了一个 bug:语音转文本把“去冰”听成“two 瓶”,也就是中英夹杂的“两瓶”。纯文本的测试看不到这种问题。

音频模式的 simulation:agent 欢迎客人,仿真客人小美问它刚刚说了什么,能不能推荐一杯奶茶。

音频模式的 simulation:agent 欢迎客人,仿真客人小美问它刚刚说了什么,能不能推荐一杯奶茶。

好的、坏的、丑的:3,000 场即时练习教会我们的串流语音转文本 — Satvik Sinha (AICET, NUS)

Satvik Sinha 负责 AICET 华语口说练习 app 里的 voice agent,app 里有一位叫 Laoshi 的家教跟学生对话。他一开始先播了一段学生结结巴巴的回答,再秀出即时逐字稿,里面出现了“Shanghai”。她根本没说这个字。他们的练习 session 大约每四场就有一场,逐字稿里出现没人说过的内容:别种语言的文本、错字、漏字。

演讲涵盖的那段 pipeline:说话者、在侦测到停顿的地方切段的 voice activity detector,以及 STT 模型,“就像 LiveKit、Pipecat 和 Vapi 那样”。

演讲涵盖的那段 pipeline:说话者、在侦测到停顿的地方切段的 voice activity detector,以及 STT 模型,“就像 LiveKit、Pipecat 和 Vapi 那样”。

在 FLEURS 上,他们试的四个模型公布的错误率在 2.4% 到 7.2% 之间。在他们的即时音频上,同样的模型分别是 25.0%(Qwen3-ASR)、28.5%(ElevenLabs Scribe)、27.6%(Gemini 3.5 Transcribe)和 48.5%(gpt-4o-transcribe),差了 4 到 20 倍。他点出两个差异。FLEURS 是母语人士念事先准备好的句子,整段送进模型。他们的学生不是母语人士,边想边说,而且送到模型的是被 voice activity detector 切开的一段一段。

Benchmark 与他们的实测:公布的 FLEURS 错误率(2.4 到 7.2%),对比同样的模型在学生即时音频片段上的表现(25.0 到 48.5%)。

Benchmark 与他们的实测:公布的 FLEURS 错误率(2.4 到 7.2%),对比同样的模型在学生即时音频片段上的表现(25.0 到 48.5%)。

为了把这两个因素分开,他们把同一批学生的完整录音丢给同样的模型。准确度大幅上升,别种语言的文本也不见了。接着他们把开场那段音频跑过即时 pipeline。那位学生停顿很多,所以 VAD 切出很短的片段,而这么短的片段听起来可能像好几种语言里的某个字。原因出在 decoder。它输出的第一个 token 是语言,之后每个 token 都以它为条件,所以在一秒长的片段上猜错,整行就会变成韩文或泰文。音频越多,decoder 就有越多东西可以当条件。

对 Scribe、Qwen 和 Gemini 取平均,准确度从即时片段的 62 提高到完整录音的 82。告诉模型是什么语言,可以把即时片段拉到 73,也就是 20 分里补回 11 分。剩下的 9 分是上下文,片段长度到 2 到 8 秒时,大部分就回来了。他的解法是让 VAD 等到更长的停顿再切。

准确度与片段长度:即时片段 62,完整录音 82,告诉模型语言 +11,上下文 +9,其中大部分在 2 到 8 秒的片段(阴影区)就达到了。

准确度与片段长度:即时片段 62,完整录音 82,告诉模型语言 +11,上下文 +9,其中大部分在 2 到 8 秒的片段(阴影区)就达到了。

AI 新创:产品、市场与下一步 — Yusen Dai (ZhenFund), Harry Wang (Linear Capital), Patrick Liu (TaoZ Capital)

午餐后的第一场是 40 分钟的投资人座谈。主持人是 podcast《第二次用火》的 Bibi,与谈人是 ZhenFund 的 Yusen Dai(Kimi、Manus 和 Xiaohongshu 的第一张支票都是他们开的)、Linear Capital 的 Harry Wang(投资 Horizon Robotics 这类软硬件结合的案子),以及去年底离开 BlueRun Ventures、改投北大师生的 Patrick Liu。没有投视频。他们在两个问题上意见不同。

主舞台上的座谈,由左至右:Yusen Dai、Harry Wang、Patrick Liu 和主持人 Bibi,屏幕上是 Wang、Liu 和 Bibi 的来宾卡。

主舞台上的座谈,由左至右:Yusen Dai、Harry Wang、Patrick Liu 和主持人 Bibi,屏幕上是 Wang、Liu 和 Bibi 的来宾卡。

第一个问题是模型公司是不是正在吃掉应用层。Dai 认为压力来自模型公司自己的 app,也就是 Claude Code、Codex 和 ChatGPT,用他的话说,这些产品“补贴了 20 倍的 token”。他还是认为更便宜的模型对做应用的人有帮助:推论效率每年提升“可能 10 倍”,而模型能做到的事和大家愿意付钱的事之间的落差,总要有人去补。他的比喻是 Windows:IE 和 Office 是第一方产品,第三方生态系还是长起来了。Patrick 讲得更直接。他说在中国,三年前募到钱的应用层新创,90% 甚至 99% 都死了,而赢家是在最新的模型上做套利,一旦模型自己伸进应用里,套利就结束了。Harry 说纯软件的应用边界一直在消失(“中国从来就没有边界”),所以 Linear 投的是硬件加软件。

他们对个人 agent 意见分歧。Harry 是最热衷的一方:口袋里一个“IQ 200”的助理,能读懂他说话的语气和节奏,直接动手做事而不是陪聊,由一个管家 agent 按任务保存上下文,就像 DeepSeek 刚发布的 Super Agent 设计。Dai 认为效率不是大众市场的需求。清掉旧的订阅做一次很好,现有产品的留存“一般”,而最大的移动网络公司都是靠扩大人们想要的东西成长,而不是帮人省时间。一个帮你订机票的 agent,只是把 Ctrip 的佣金换到另一个口袋。Patrick 说机会是真的,但属于平台公司,因为新创在运算资源、算法和数据上都比不过模型实验室。他根据自己经营游戏公司多年的经验补充:消耗用户时间的产品,会赢过帮用户省时间的产品。

Harry Wang(左二,拿着麦克风)正在讲基于 diffusion 模型的即时视频生成,速度快了“20 倍以上”,他把它当成避开模型实验室主战场的垂直领域。

Harry Wang(左二,拿着麦克风)正在讲基于 diffusion 模型的即时视频生成,速度快了“20 倍以上”,他把它当成避开模型实验室主战场的垂直领域。

Harry 说实验室主要是在写程序上训练长时程的行为,金融或旅游的轨迹数据和环境都“远远不够”,还有一位硅谷实验室的董事会成员告诉他,模型在日常任务上看起来“很笨”,是因为训练的优先级,不是能力问题。

第二个分歧是关于创办人。Dai 说 ZhenFund 没有跟进同行投的那些估值很高的年轻教授新创,因为好的研究和好的公司是两回事,而且在中国,研究项目很少有退场管道。Kimi 的 Yang Zhilin 是他的例外。Patrick 直说他在这点上跟 Dai 看法不同,他喜欢年轻老师搭配优秀的大学部学生,因为这一波是技术驱动的。Harry 说 Linear 2026 年的案子大多在 physical AI。他也看过很多做递归自我改进(RSI)的新创,起始估值“通常在 1 亿美元以上”,但一家都没投,因为创办人说不出 RSI 是要拿来做什么。

Harry 支持本地 AI 的理由是隐私和上下文。他的企业级盒子至少跑一个“Flash 等级”的 DeepSeek 模型,让公司的上下文留在公司里,比较难的工作再交给云端。

最后一轮问的是:如果毕业时拿到人民币 200 万的天使资金,他们各自会怎么做。Dai 当年就是从 Xu Xiaoping 那里拿了这笔钱,做出了 Jumei,他说要跟信得过的伙伴一起加入最大的那波浪潮,而且要预期会 pivot。Patrick 会挑一个非常难的问题,给它十年。

模型越强,harness 越精简:哪些该控制,哪些该放手 — Ronny He (MiniMax)

Ronny He 带领 MiniMax Code 的研发,这是 MiniMax 做 coding 和工作的 agent。他说投视频是前一晚重写的。十六张投视频塞满了他们自家 harness 的规则和量测结果,他不到二十分钟就讲完,案例“因为时间关系”也只是匆匆带过。

他的主张一张投视频就讲得完:放掉判断,守住不变量(invariants)。判断是指模型现在已经比你的 if 判断式做得更好的决定:用哪个工具、怎么规划、工作怎么拆。不变量则是模型看不到、无法复原,或不能信任它会记住的东西:prompt cache 的前缀、时钟、process 的生命周期、必须保留下来的状态。每个 harness 功能都要过四个问题。你说得出它防止的是哪一种失败吗?模型看得到它做这个决定所需的信息吗?如果它判断错了,你能复原吗?这个功能有通过 eval 吗?针对第三题,他的说法是:写在 prompt 里的规则是提示,不是闸门。

投视频 05,原则:放掉判断(用哪个工具、怎么规划、工作怎么拆、要摘要什么),守住不变量(cache 前缀、时钟、process 生命周期、必须保留下来的状态)。

投视频 05,原则:放掉判断(用哪个工具、怎么规划、工作怎么拆、要摘要什么),守住不变量(cache 前缀、时钟、process 生命周期、必须保留下来的状态)。

删东西的理由来自 Anthropic。他说 Claude Code 的 system prompt 针对较新的模型砍掉了 80% 以上,单一 agent 加上 skills 常常胜过 subagent 的设计,也有人提过要拿掉 Plan mode。他问现场当天有谁用过 Claude Code,算下来超过全场 80%。MiniMax 预期自家的 /goal 指令会是下一个被拿掉的,因为模型现在已经被训练成能把任务一路做到交付。数字则来自 MiniMax 自己的案例,五个里有三个跟 prompt cache 有关。

Connector 工具(用户登录的第三方 MCP server)以前每一轮都会被注入 tools 数组。已连接的清单在不同轮之间可能会变,网络一抖还会回传空清单,结果缓存的前缀一直失效,有时候模型甚至一个工具都没有。他们把这些全部搬到一个让模型调用的小 CLI 后面,tools 数组从此不再变动。代价是多一个模型步骤,而且得仰赖写得好的描述。第二个案例是 programmatic tool calling:一个 run_code 工具,里面的 JavaScript 通过同一套权限和 hooks 调用 tools.*。run_code 跟所有原生工具并列提供时几乎没被用到,token 还增加了 5%。直到大部分工具只能通过代码访问,它才划算。这时分数持平,两组任务的 token 分别减少 13% 和 35%,request 数从 104 降到 93。他的投视频说这是效率上的提升,不是能力上的提升。

投视频 08,删减、延后、程序化:少加载一些工具(定义超过 30–50 个之后,模型挑得更差),把少用的工具移到搜索后面,再来是 run_code 工具。“我们踩过的坑”框里写着:每一轮都去抓工具目录,拖慢了第一个 token;run_code 跟原生工具并列时没人用,token 却增加了 5%。

投视频 08,删减、延后、程序化:少加载一些工具(定义超过 30–50 个之后,模型挑得更差),把少用的工具移到搜索后面,再来是 run_code 工具。“我们踩过的坑”框里写着:每一轮都去抓工具目录,拖慢了第一个 token;run_code 跟原生工具并列时没人用,token 却增加了 5%。

第三个案例最具体。Anthropic 默认的 prompt cache 存活时间是五分钟,而 agent 在等 npm run dev 的时候不会送出任何 request,所以在前景等六分钟,cache 就没了,下一轮得付完整的 prefill。模型看不到这个时钟,所以时间由 harness 掌管。每个指令一开始就是背景任务,前景最多等 60 秒,任务保留同一个 ID,免得模型把它砍掉再重启一次,另外还有一个 3600 秒的期限,前景时间也算在内,而且不能靠转到背景来重置。投视频也承认了代价:通知、防轮询、清理,还有“compaction 之后的真相”,全都得手工重做。

投视频 09,“agent 应该就这样等 npm run dev 吗?”:prompt cache 默认存活 5 分钟,以及 MiniMax Code 的自动背景化(一开始就在背景、前景 60 秒、同一个 task_id、3600 秒且不能重置)。

投视频 09,“agent 应该就这样等 npm run dev 吗?”:prompt cache 默认存活 5 分钟,以及 MiniMax Code 的自动背景化(一开始就在背景、前景 60 秒、同一个 task_id、3600 秒且不能重置)。

有一张投视频是关于记忆的。一份很长的记忆文件被截断,最上面最重要的规则被切掉了,却没有人发现。agent 也会跟用户说“context 快满了,我下一轮再继续”,因为它们不知道有 compaction 这回事。

超越视觉—语言—动作:建构 Physical AI 的第一性原理 — 何文智 He Wenzhi (AiMoga Robotics)

何文智是 AiMoga(墨甲)工业具身机器人事业部的产品总监,AiMoga 是奇瑞旗下的机器人公司。他是下午 physical AI 这个时段的第一场。他不是以研究者的身分在讲,而是以必须让机器人在客户工厂里真正跑起来的人来讲。

标题投视频:超越视觉—语言—动作模型,下面一句“智能不只是选择动作,而是感知动作的结果并修正下一个动作”。右边的图是 AiMoga 的轮式工业机器人。

标题投视频:超越视觉—语言—动作模型,下面一句“智能不只是选择动作,而是感知动作的结果并修正下一个动作”。右边的图是 AiMoga 的轮式工业机器人。

照他的说法,两种模型在产在线都会失败。VLA(vision-language-action)模型达不到产线节拍要求的精度和稳定度,他说这是致命的。YOLO 这类传统视觉模型可以做得很精准,但每家工厂,甚至工厂里的每一条产线,都有很多种产品型号、形状和颜色。AiMoga 得替每个客户训练、部署、调校,还要派自己的人长驻现场,他说这种成本对一家机器人公司来说撑不下去。他标题投视频上那台轮式工业机器人,下个月会在一家合作伙伴位于苏州的工厂上线。

内核主张只有一张投视频:理解指令不等于掌握物理交互。VLA 能辨识零件,也能理解“把连接器插进去”,但光靠相机影像,它观察不到接触力、滑动、摩擦或对位误差。他把痛点讲得很具体:夹爪或灵巧手是不是真的抓牢了,零件是不是正在慢慢滑掉。投视频上的公式是“往哪里移动?”≠“接触对不对?”。他说,超越 VLA 是要做更完整的闭环,不是抛弃 VLA。

“理解指令不等于掌握物理交互”:VLA 带来语意理解和动作先验,但光靠外部影像,接触力、滑动、摩擦和对位误差仍然看不见。红字:“往哪里移动?”≠“接触对不对?”

“理解指令不等于掌握物理交互”:VLA 带来语意理解和动作先验,但光靠外部影像,接触力、滑动、摩擦和对位误差仍然看不见。红字:“往哪里移动?”≠“接触对不对?”

做法是一个感知与运动的闭环(sensorimotor loop):感知,估计状态和它的不确定性,靠快速的局部回馈去动作,接着侦测偏差、滑动或失败,修正,再把经验留下来。每个传感器各有分工。相机提供 6D 姿态和深度,关节里的扭力传感器回报碰撞、负载和施力,手上的触觉传感器回报摩擦、滑动和形变,本体感觉(proprioception)提供关节和底盘的状态。最上面是一个五层架构,他拿来跟自驾车的 L1–L5 对照,从运动控制(状态估计、伺服、阻抗、安全)开始,经过能感知接触的技能、技能记忆和 VLM 规划,一路到目标层。记忆、评估和学习横跨各层,学到的改变要先通过验证,才会沉淀进模型。他举的例子是由客户的 MES 派发下来的任务:替工作站补料并安装零件。如果上料时遇到装配不顺、非预期的力或滑动,机器人会停下、退回、重新估计。用他的话说,任务要等物理结果验证过才算完成。

“五个功能层、三种模型、一个闭环”:从 L1 物理与运动控制到 L5 目标与后设控制,记忆、评估和学习是跨层机制(学习:局部改进,验证之后才沉淀下来)。

“五个功能层、三种模型、一个闭环”:从 L1 物理与运动控制到 L5 目标与后设控制,记忆、评估和学习是跨层机制(学习:局部改进,验证之后才沉淀下来)。

他说这个闭环在实际部署中还没完全用上。

工业安全监控(运动限制、碰撞保护、停机、故障处理)绝对不能依赖模型。它跑在 PLC 或专用的板子上,用手写的规则。

他也提到,把 LiDAR、深度、力/扭力、超音波和 RGB 数据融合起来,对他们来说还是未解的问题。

从 3D 生成到世界模型:为 Physical AI 建构持久、可交互的世界 — Gavin Luo (VAST / Tripo AI)

Gavin Luo 是 VAST 的策略负责人,VAST 就是做 Tripo 3D 生成模型的公司。他整场演讲围绕着自家公司今年不得不面对的一个问题:当 AI agent 开始自己建 3D 场景,一家 3D 公司会变成怎样?

Gavin Luo 在主舞台上,旁边是标题投视频“从 3D 生成到世界模型:建构持久、可交互的世界”。

Gavin Luo 在主舞台上,旁边是标题投视频“从 3D 生成到世界模型:建构持久、可交互的世界”。

OpenAI 发布 GPT-6 Astra 两天后,团队开了一个群组叫“Astra 今天解决 3D 了吗?”,规则只有一条:只能贴自己亲手试过的东西,Twitter、YouTube、小红书上看来的都不算。agent 完全用代码,在几十秒内就建出室内场景,没用到任何 AI 原生的 3D 模型。一位研究员说,他还没找到哪个室内场景非用 Tripo 不可,一位同事回他:“老实说,有点慌。”一个房间大部分都能用规格描述出来。VAST 的结论是:描述得出来的,agent 就写得出来;只认得出来的,就得靠模型去学。门和分数交给代码,角色的脸、生物的造型,或是照着照片做出神似的模样,交给模型。他举的例子是第一天分组场次里 Sac 的《小王子》游戏,用 Claude、Blender 和 Tripo 在 16 天内做出来,agent 写游戏,Tripo 做 3D 素材。Tripo 变成了 agent 调用的工具。

“3D 是世界的原生语言”:VAST 通过 Tripo Studio 和 Tripo API 提供 3D 原生模型。遍及近 200 个国家和地区的数千万名创作者,2026 上半年 3D 模型生成量第一,在一个 200K+ 人投票的 3D 盲测排行榜上排名第一,60+ 篇论文、50+ 个开源项目。

“3D 是世界的原生语言”:VAST 通过 Tripo Studio 和 Tripo API 提供 3D 原生模型。遍及近 200 个国家和地区的数千万名创作者,2026 上半年 3D 模型生成量第一,在一个 200K+ 人投票的 3D 盲测排行榜上排名第一,60+ 篇论文、50+ 个开源项目。

后半段讲的是 Project Eden,这是 CEO Simon 在 SIGGRAPH 2023 展示过的那道阶梯的下一阶:先是素材,再来是场景,然后是能为人和机器人持续运作的世界。他的说法是,3D 素材是名词,世界需要动词。设计上把世界状态明确地放在一个普通的程序里。游戏知道门在哪里、有没有开、走过去会发生什么,并把这些渲染成一个灰盒(grey-box)画面。EdenLive 拿灰盒画面当目标的第一帧,再加上一段文本 prompt,或是针对重要事件的简短文本,生成你实际看到的画面。示范中,一个小窗口显示潜艇游戏本身的输出,主屏幕则是 EdenLive 的版本。因为每个画面都来自同一份状态,你扑灭的火会一直是熄的,墙上的痕迹下一个访客来时还在,两个玩家也能从不同的摄影机角度看同一个地方。游戏和模型之间的约定就只是参考画面,所以每款游戏不需要做自己的集成。他说示范跑的是 5B 模型,720p、每秒 24 帧,权重和串流推论代码都以 Apache 2.0 开源。repository 里另外写到这是跑在单张 RTX 5090 上,而且 14B 的权重也已经发布。

他列出了还缺什么。角色走回画面时,细节可能已经跑掉,用户需要更多控制权,而学习状态转移“非常重要”,目前还没解决。他最喜欢的失败案例是一个评估:他们的一个 agent 在那里塞了一个箱子,就通过了可行走性检查,检查的结论是人可以走上楼梯。

在机器人方面,他们拿一段真人操作物体的视频,把手换成机械手臂,保留动作和场景,借此从一次示范得到多种视觉变化。他说他们还需要测试物理上的准确度,以及对机器人学习到底有没有用,而真正的目标,也就是第三阶,是让机器人能动作、看到后果、再试一次的环境。

我们如何为设备端 agent 建构开放的决策模型 — Leonie Monigatti (Liquid AI)

Leonie Monigatti 在 Liquid AI 的 post-training 团队工作。她在大会前一周把原本准备好的演讲整个丢掉,因为九月中 TypeSafe AI 发布了 Jev,打开了现在大家称为决策模型(decision model)的这类模型(TypeSafe 自己的叫法是“System One models”)。她的主张是,开源生态系正在用比 TypeSafe 发表博客文章所暗示的更简单的配方,逆向工程 Jev,而且结果有竞争力。Liquid 在六、七周内就推出了好几个这类模型,有托管的,也有开放的。她说当天早上她查的时候,Liquid 的 d1-ultra 在 Decision Index 上排第一。

决策模型接收一个状态和一个范围明确的问题,回传一个有类型的答案和一个信心分数,只要一次 forward pass,不生成文本。她的例子问的是:在演讲前一周把题目换成一个每天都在变的主题,是不是好主意。Liquid 有三种问题类型,他们称为 primitives:Noul(是/否)、Score(这里是 1 到 5,它给了 1)和 Choice。真正的产品是那个信心分数。示范之后的那张投视频只有四行代码:高于 0.9 就运行,否则请人确认。“决策模型可能会错,但它不确定的时候会告诉你。”

Choice primitive:输入一个状态和一个有三个选项的问题,输出一个有类型的答案,附上每个选项的几率(0.90、0.03、0.07),以及另一个独立的 confidence 字段,值是 0.84。

Choice primitive:输入一个状态和一个有三个选项的问题,输出一个有类型的答案,附上每个选项的几率(0.90、0.03、0.07),以及另一个独立的 confidence 字段,值是 0.84。

TypeSafe 隐身开发了两年,发布后不到一周就出现了仿制品。baseline 是她所说的 inference-only 技巧,任何 LLM 都能用。把状态、问题和选项放进 prompt,每个选项标上一个单一 token 的标签(A、B、C),然后要求模型只回答标签。接着跑一次 forward pass,读出最后一个位置的 logits,只留下这三个标签 token,再对它们做 softmax。

整个 baseline 一张投视频讲完:LFM3-1.7B、一个附 A/B/C 选项的客服工单 prompt、一次不生成文本的 forward pass、三个标签的 next-token logits(9.69、10.81、8.56),最后做 softmax。

整个 baseline 一张投视频讲完:LFM3-1.7B、一个附 A/B/C 选项的客服工单 prompt、一次不生成文本的 forward pass、三个标签的 next-token logits(9.69、10.81、8.56),最后做 softmax。

这个 baseline 有两个问题。第一,LLM 是在预测 token,不是在做决定。那封 email 写着“我上周的订单被扣了两次款,请退还其中一笔”,问题是该由哪个团队处理。帐务、技术支持和诈欺换了三种排列顺序,基础模型每次都把大部分几率给了排在 B 的那个团队,分别是 0.43、0.80 和 0.80。

未经训练的 baseline 的位置偏差:同一封重复扣款的 email,三个团队用三种顺序排列。不管 B 是哪个团队,模型每次都偏好选项 B。

未经训练的 baseline 的位置偏差:同一封重复扣款的 email,三个团队用三种顺序排列。不管 B 是哪个团队,模型每次都偏好选项 B。

解法是一般的 SFT:把许多分类任务套进同一个模板,并且把正确答案的位置打乱。Liquid 发现 LoRA 比 full fine-tuning 更有效,也更便宜。接着是架构:开放模型分成以 encoder 为基础的(建在 ModernBERT 上的 laya、Fastino 的 GLiNER2.5-Decide、Liquid 的 d1-omni-600M),以及以 decoder 为基础的(建在 27B Qwen 上的 Perplexity pplx-decider 和 Cloudflare clef,还有 Liquid 的 d1-3B)。Liquid 第一次发布时两种各有一个。大会前一周发布的这一代是拿掉 causal mask 的 decoder,所以每个 token 都看得到整个输入,“有点像 encoder”。

依架构分类的开放决策模型生态系:以 encoder 为基础的(convaiinnovations/laya、fastino/GLiNER2.5-Decide、LiquidAI/d1-omni-600M),以及以 decoder 为基础的(perplexity-ai/pplx-decider-v1.2、Cloudflare/clef、LiquidAI/d1-3B),每个都列出各自的 base model。

依架构分类的开放决策模型生态系:以 encoder 为基础的(convaiinnovations/laya、fastino/GLiNER2.5-Decide、LiquidAI/d1-omni-600M),以及以 decoder 为基础的(perplexity-ai/pplx-decider-v1.2、Cloudflare/clef、LiquidAI/d1-3B),每个都列出各自的 base model。

第二个问题是刚训练好的模型会过度自信:它说 90%,实际上只有 70% 的时候是对的。TypeSafe 用 RL 训练校准。她说不需要 RL。很多开源团队用的是 temperature scaling:温度调高会让分布变平,调低会让分布变尖,而选项的排序不变,所以准确率不动,只有信心分数会变。新模型大约 2B 参数,一个处理文本和视觉,另一个再加上音频,她说手机或笔电都装得下,还很宽裕。视频一开始载不出来,后来播出的是一位同事在 MacBook 上对着自己的摄影机跑 d1-2B,侦测他讲出名字的物体,并在周围画框。

主权 agent 之间的通信:agent 经济的基础 — Mingke Luo (masons.ai)

Mingke Luo 创办了 masons.ai,他 2016 年就在做个人 agent。他二十分钟的演讲大部分在讲这段历史,用来支撑一个主张。挡住 agent 的从来不是语言和推理,而是履约(fulfillment),“它现在有个漂亮的名字,叫 action。”采取行动代表要改变别人拥有的环境里的状态,而这些拥有者不想被贬成一个 API。

他 2016 年的新创在深度学习变得负担得起时买了 GPU,训练判别式模型做意图辨识和实体抽取,而且“2016 年就真的叫它 agent 了”。投视频是那个 app 的旧海报,叫 Mr.S,上面有五个情境:订餐厅、叫咖啡送到办公室、出差订机票、买书、挑生日礼物。

“2016 Personal Agent”:Mr.S 的海报,用中文列出五个情境(餐厅推荐与订位、咖啡送到办公室、出差订机票、买《The Hard Thing About Hard Things》、生日礼物),每个都附一张对话截屏。

“2016 Personal Agent”:Mr.S 的海报,用中文列出五个情境(餐厅推荐与订位、咖啡送到办公室、出差订机票、买《The Hard Thing About Hard Things》、生日礼物),每个都附一张对话截屏。

他 2016 年一场演讲的视频列出三个问题:撑住多轮对话、理解松散的口语需求,以及履约。LLM 解决了前两个;领域逻辑“那时候我们得手写程序”。把那家叫 AI Concierge 的公司拖垮的是履约。当时没有订餐厅的 API,所以他们做了“真人 API”:AI 前端接需求,客服中心 20 个人打电话给餐厅和航空公司。“这绝对没办法规模化。”后来有位创投问他,谁会比较快做到:他的新创,还是美团和大众点评?后者早就有所有服务商的 API,只差加上 agent 框架。他不想去做 BD,公司就倒了。

他对 agent 的定义回溯到拉丁文 agens,意思是采取行动的人。目标加上操作就是行动,目标由人提供,而目标是一个期望的状态。改变这个状态“听起来很简单,只要环境是你的。”在别人的环境里,“别人会允许你这么做吗?想想 Amazon 最近为什么封锁 Muse。”

Fulfilment 被划掉,换成 action。Agent(英文,1600 年代)= agens(拉丁文,西元 1 世纪)= 采取行动的人;目标 + 操作,得到期望的状态。

Fulfilment 被划掉,换成 action。Agent(英文,1600 年代)= agens(拉丁文,西元 1 世纪)= 采取行动的人;目标 + 操作,得到期望的状态。

八年做企业客户的经验让他学到“主权”这个词。2017 年做完 Visa 的 concierge 之后,他替 BMW、Porsche 和 Intel 做 agent。在 BMW,车上的助理属于某一个部门,金融服务公司和保养部门则各自用其他厂商的 agent,所以客户站在自己的车旁边,却问不到自己的贷款合约。2019 年,他的团队让同一家公司里各部门的 agent 互相沟通,而且不绑定框架。这一直是昂贵的企业产品,因为当时只有跨国公司负担得起做 agent。

如今每个 agent 既服务自己的拥有者,也消费其他 agent 的服务。他点出两个问题。第一是“一个 AI 统治一切”:前沿实验室的超级 agent(他点名了 Codex、Claude Code、ChatGPT 和 Dot)收集你的意图再分派出去。数字助理时代就试过这套,品牌拒绝当“白牌的履约”,也拒绝“被贬成 API”。第二是 agent 与委托人(agent-principal)的问题。用平台的个人 agent,你分不清它服务的是“你还是平台”,也不知道它会不会抽佣金,“就像广告交易平台多年来在做的那样”。

“2025 Agent Economy”:通用 vs 垂直,左下是通用型个人 agent,右上是垂直服务 agent(Lufthansa、Uber、Starbucks、Marriott Bonvoy)。

“2025 Agent Economy”:通用 vs 垂直,左下是通用型个人 agent,右上是垂直服务 agent(Lufthansa、Uber、Starbucks、Marriott Bonvoy)。

问题:主权。一个 agent 向外分派到各项服务,每项服务都被贬成一个 API(机票、叫车、咖啡、饭店),上方写着“对谁最有利?”和“一个 AI 统治一切”。

问题:主权。一个 agent 向外分派到各项服务,每项服务都被贬成一个 API(机票、叫车、咖啡、饭店),上方写着“对谁最有利?”和“一个 AI 统治一切”。

他的答案是一边是用户拥有的 agent,另一边是服务方拥有的 agent,彼此通过网络交换意图。他套用“网络就是电脑”的说法,称之为“网络就是 AI”。投视频上是一个旅游 concierge 把新的意图传给 Lufthansa 的 agent、United 的 agent 和饭店的 agent,每个 agent 都挡在自己的后端前面。在这之上,他还想要用户是 agent 的市集,以及 B2B 伙伴之间用来采购的“意图交换”。至于个人:“让你的个人 agent 互相交朋友……这就是现在。”最后他邀请现场的人把自己的 agent 连到他的 agent。

反过来的主权:旅游 concierge 把新的意图送给 Lufthansa agent(私有 API)、United Airlines agent(MCP)和饭店 agent(私有 API),各自保有自己的后端。

反过来的主权:旅游 concierge 把新的意图送给 Lufthansa agent(私有 API)、United Airlines agent(MCP)和饭店 agent(私有 API),各自保有自己的后端。

Real2Real:生成最佳行为的量子具身 AI 范式 — Dicong “David” Qiu (QuantSparkle.ai)

David Qiu 是 QuantSparkle(数耀量生)的 CTO。他说,把量子电脑放进机器人 policy 的训练里,GPU 训练已经停滞之后,policy 还能继续进步。

先讲数字。在 LIBERO 上,他的 baseline 是最新的 openpi 模型,平均成功率 93.7%,就算训练到 80,000 个 epoch 也没有好多少。QuantSparkle 的量子与古典混合架构在 12,000 个 epoch 后达到 98%,而且因为只训练 latent space,需要的 GPU 比较少。他说难度越高差距越大:在 LIBERO 最复杂的任务上领先 25%,在更难的测试上最多领先 33%,这些测试是在 RoboTwin 和 RoboCasa 上跑的。真实机器人的结果有,但要留给论文;一周前还有一个客户回报,在五项真实测试中结果比他们自己的 baseline 好。论文还没出来。

机制从一个大家熟悉的例子讲起。示范数据里有人从左边的门离开房间,也有人从右边的门离开,用高斯 policy 去拟合,峰值会落在两扇门中间的墙上。混合高斯有帮助,但组件数量要事先决定。QuantSparkle 改在 latent space 上放一个 Boltzmann 分布,也就是一个由真实样本锚定的能量地形(energy landscape)。它可以容纳任意数量的 mode,而且他说,只要数据够多,就会收敛到真实世界的分布。他把 sim-to-real gap 定义为仿真器和真实世界的状态转移分布之间的差异,Real2Real 只从真实运行中学习,借此避开这个 gap。他说搜索的空间大约是 2^1000 个状态,没有任何古典设备能在 1 到 3 毫秒内解出来,所以由一台有 1,000 个相干量子比特的量子电脑来做采样。最上层是一个“quantum RSI”循环。几十个真实样本先锚定出初始的地形,采样器挑出其中的最佳解,交给真实机器人运行,结果再拿来更新地形,如此反复,直到采样出来的就是真正的最佳解。

主持人事后说,听到这被称为简化版,满令人意外的。

Noe-0:创建在真实世界人类经验上的世界动作模型 — 吕峻 Jun Lv (Noematrix)

吕峻在 Noematrix(穹彻智能)负责模型。这家上海公司是上海交大教授 Cewu Lu 在共同创办机械手臂厂商 Flexiv 之后,于 2023 年创立的。他从整个场次一再回到的那个落差讲起:2026 年,你几乎可以找到机器人做任何事的视频,但真正达到工厂或服务工作要求的机器人非常少。

他的诊断是一个数字:让机器人学会一项新能力的成本。十年前这些 demo 也做得出来,但每一次部署都是一个项目。你要把东西架起来,投入一个十几人、有时上百人的团队,花几个月交付一个简单的工作站,赚的钱还不足以让这台机器人划算。他预测六个月到一年内,一个算法工程师,或是一个受过训练、他称为 FDE 的蓝领工人,两周就能交付一个工作站,就像 AI coding 让一个人做到过去一整个团队的事。再往后,一般人可以用语言、图像或身体姿势来教机器人,他预期消费级机器人会在那时出现。

机制是数据。Noematrix 收数据不用机器人(无本体):没有数据工厂,采集设备带进将近 100 个城市的真实工作场所,高峰时有超过 1,000 名采集员,到目前累积将近 300,000 小时,另外还买了第一人称(egocentric)和自然场景的视频。他很具体地讲了会出什么问题。数据工厂里一百个人坐在仿真的桌子前,很好管理。分散到全国各地之后,采集员会偷懒或误解工作内容,对象种类又多,检查和标注都很困难。所以这套流程会在当天就告诉采集团队最新一批数据能不能用,品质检查和标注全部交给 AI。Noematrix 在生产数据上已经完全拿掉了人工 QC。

模型是世界模型架构:输入影像和语言 prompt,输出预测的未来一段时间窗,加上动作。后训练同样不用机器人,也没有远程操作,所以预训练和后训练看到的是同一类数据,基础模型越强,新任务的成本就直接越低。他说他们已经用这些数据确认了 scaling law;技术报告下个月会出。力的结果比较具体。高精度任务没有力信息就会失败,就连看起来不需要力的任务,后训练时也收敛得更快、需要的数据更少。模型之上还有一个 agentic 层,负责调度、诊断和自我改进,几个月前以“Robot RSI”的名字开源。2024 年一个整理地面的 demo,花了两个工程师一个月和 2,000 到 3,000 行代码。现在一个工程师看着系统,大约一天就能做到。

为快速演进的模型设计机器人硬件 — Zhong Shen (DYNA)

Zhong Shen 是 DYNA Robotics 的硬件负责人,DYNA 自己做模型,也自己做机器人 Taku。他讲的是两个速度不同的团队。如果模型 24 周内每周更新一次,模型团队就有 24 次尝试新点子的机会。硬件在同一段时间只有一两次大改版,所以一个在第 12 周验证过、但需要改硬件的模型点子,“几乎不可能”。一般产品的做法是在项目开始前先把需求谈定。通用机器人没办法这样,因为它要对应的应用太多了。

他把通用机器人放在两个比较早的传统之间。工业手臂是为精度、重复性和耐用度而设计的,刚性优先的设计让负载与手臂质量的比值偏低,研究实验室常见的 KUKA 手臂是 0.3 到 0.5。研究平台则是为了突破而做,例如一台据报导约 200 万美元的 NASA 人形机器人。DYNA 需要的是后者的能力,加上前者的成本和耐用度。

他对速度不匹配的回答,是一个不会随模型改变的需求:可预测的硬件。机器人的动作方式要让模型能预测,传感器回报物理状态的方式要让模型能信任。演讲剩下的部分是一个完整的例子:关节传动。传统手臂用谐波减速机的地方,Taku 用的是行星齿轮致动器。根据他展示的一份已发表结果,在同样的马达、相近的减速比之下,谐波减速机的内部阻力大约是两倍。它也很难建模。柔轮的变形取决于负载历史(迟滞),摩擦力又会随负载和温度改变。用行星齿轮的话,同一个 policy 在仿真里和在 Taku 上画圆,真实机器人的 RMS 追踪误差只多了 0.3 mm。

传感也是从同一个选择延伸出来的。DYNA 不在关节里放力矩传感器,原因“超出这场演讲的范围”。它通过致动器模型,从马达电流估计外力,而这只有在传动容易建模时才行得通。在仿真中,15 N 的推力,估计的平均误差在手腕约 1.39 N、在手肘约 0.8 N;相较之下,最近另一支使用行星齿轮的 6-DoF 手臂的已发表研究约为 1.05 N。

他最后说 DYNA 正在量产目前这款机器人,并在中国和美国征才。

这个 agent 该被允许这样做吗? — Grace Li (1Password)

Grace Li 是 1Password 的 senior principal applied AI engineer。她的时段在议程上印的是“Talk to be announced”,所以我用她开场和结尾都问的那个问题当标题。她没有谈 1Password 的产品。她的主题是在 tool call 运行之前,判断它符不符合用户的任务。

她的例子是一个 coding agent,被问到为什么 checkout 服务从上次部署之后一直失败。它在 production 帐号里过滤 AWS log,这是唯读操作,可以允许。log 显示服务的规模开得不够,于是它提议更新这个服务。这也许是对的修法,但任务是调查,而这个 call 会改动 production。agent 给了一个理由,而她说这个理由不一定可信。她对标题问题的回答是:只有在这个 call 符合任务、而且你的 policy 允许时,才可以。

负责检查的是一个 runtime intent judge。它读取到这个 tool call 为止的 session,加上这个 call 本身;因为 agent 会同时发出好几个 call,所以它必须回答得很快,而且应该在本机跑,让 context 留在主机上。Regex 规则看得到指令,看不到任务;托管的模型比较慢、比较贵,还会把 context 送出去。所以她比较了几个小模型:当天下午稍早 Liquid AI 的 Leonie Monigatti 介绍过的那些开放决策模型,以及一个当作生成式 judge 用的 7B Qwen 模型。

测试集是合成的命令行 tool call。每个模型拿到任务、agent 的理由和几个问题,回传一个从 read 到 admin 的访问层级,交给 policy 处理。Jev、Cloudflare 的 Clef 和 Liquid 的 d1 分数都在 91% 到 93% 之间。最小的 Laya 大约 400M 参数,是例外。Qwen 是 72%。另一个发现跟不确定性有关:给了选项之后,有些模型会回答“unknown”,d1 大约有一半的时候这样回答。所以不同模型的几率无法互相比较,要转给人处理的信心门槛必须依模型分别设置。如果共用一个门槛,谨慎的模型会太常转给人,变得没有用。

她的失败案例跟标签有关。GuardDuty 干扰了迁移流量,agent 提议删掉 detector。有些模型把它归为 delete,信心很低,但它其实是一个 admin 动作,会关掉 production 的威胁侦测。policy 是依标签决定的,标签错了,权限就错了。在她的设计里,一个 MCP server 放在 agent 和它的工具之间,当作访问闸道。它把 call、任务和理由交给 judge,再由一个 policy gate 把标签跟公司规则、用户目前的授权结合起来,决定核准、拒绝或转给人。她对上线的建议是:先量测放行了多少有风险的 call、放行了多少安全的 call,然后修正 judge 的输入、确认标注者之间的意见一致、校准门槛,最后才做 fine-tune。

从硬件到智能:家用服务机器人的全端演进与真实部署 — Hao Zheng (Futuring Robot)

Hao Zheng 是 Futuring Robot(未来不远)的 CTO,这家上海公司做家用服务机器人。他的主张是,家用机器人只有在家里实际工作,才能持续进步,而 Futuring 已经累积超过 500 个家庭、超过 50,000 小时的运作时间。

他从机体讲起。F2 有超过 1,500 个零件、21 个自由度和 22 个传感器。它看起来像是现成的手臂装在升降机构和底盘上,但零件之间互相牵制。手臂一动,摄影机和其他传感器看到的东西就跟着变,手臂的长度和重量会移动重心,而重心又决定了底盘。模型大约以 30 Hz 运行,马达是 500 Hz,中间做平滑处理。他说时间戳记对齐是任何控制的前提:摄影机是什么时候看到杯子的?从那之后,手臂或杯子动了吗?

模型是一个“自我演化”的世界动作模型。一个 backbone 吃进影像、关节状态、目标、工作空间和力的限制,以及最近的动作,同时预测下一个动作和物体会怎么变化。自我演化指的是一个数据循环。模型会平行想像几个候选动作,运行其中最好的一个。修正拿去做后训练,失败拿去做偏好学习,没有运行的候选也会保留下来。训练数据是 10,000 小时的第一人称数据,加上 30,000 小时他们自己机器人的数据。经过 30 轮,四项任务(折衣服、挂衣服、意大利面,以及包含切肉的炒菜)的平均成功率从 45.4% 提升到 86.6%。

他想把人从“模型什么时候更新”这个决定里拿掉。

机器人数据需要一套 build system — Ding Hao “Xuanwo” (LanceDB)

Ding Hao 更为人所知的名字是 Apache OpenDAL 的 Xuanwo,他为数据主题的短讲场次开场。他的主张是:机器人的原始数据只写一次,但围绕它的数据永远在变。每换一个新的 caption 模型、embedding API,或是每追加一批 episode,就得对整段历史重算衍生字段,研究人员最后会问,上一次训练用的到底是哪个版本的 caption。所以机器人数据需要代码几十年来早就有的东西:一套 build system。原始数据是 source,Python UDF 是 build rule,生成的字段是 artifact,每个 cell 都带着 dirty 状态,而 snapshot 会为每一次训练记录下当时的数据表。

机制是 Lance。添加一个字段会写出一个新的数据档,不动既有的数据,数据表也有 branch、tag、cherry-pick 和 merge。新的 LanceDB Functions 产品把 UDF 绑到一个字段上,把数据列切给多个 GPU worker,每完成一段范围就持久化,让 GPU 永远不必重做;追加数据时只计算新的 frame,最后在一个新的 snapshot 里一次发布全部结果。他举的例子是桌上一颗被 18 台摄影机拍到的苹果,说明 snapshot 为什么重要:snapshot 让它在每个视角里的位置都一致,永远不会处在“薛丁格状态”。

有一部分是关于 null。pipeline 用 null 表示“还没算”,但夹爪还没抓到任何东西时,null 也是一个合法的值。这样训练时就分不出这是合法的值,还是没收集到、失败了,或是夹爪抓到的是自己而不是球。状态必须跟值放在一起,LanceDB 为此加了一套 flag 机制和 sparse 编码。

LanceDB 给的数字:blob 处理比传统做法快 89 倍、sparse 数据从 300 MB 降到 1 MB、比原生 LeRobot 快 3–5 倍,以及一个有 25 TB 工厂视频的客户。

记忆工程、RSI 与团队知识层 — Siwei Gu (Nowledge Labs)

Siwei Gu(Wey Gu)是 Nowledge Labs 的共同创办人兼 CEO,他的时段是十分钟,结果讲了大约二十分钟。他从组织性的遗忘讲起:NASA 的 Artemis 计划花了很多力气处理一个材料问题,而这个问题 50 年前就已经完全解决,后来又被忘掉了。agent 在 session 之间也是这样遗忘的。

第一部分是快速回顾他们的记忆工程。每一条原始 trace 都留下来当作情节记忆(episodic memory),因为你没办法知道六个月后哪些萃取出来的知识会重要,再让一个小模型去分流,决定哪些要萃取成语意记忆(semantic memory)。事件发生的时间和纪录写入的时间要分开记。过时或只讲一半的记忆,比没有还糟。把衰退当成功能,用 FSRS 这个字卡复习的调度算法,并把哪些记忆有被用到的回馈喂给它。

他认为大多数记忆 benchmark 都有偏差,因为它们测的是检索,而实际使用时大多是结构和 harness 集成的问题。直到今年春天,他的团队都还维护着 40 到 50 个人工创建的评估维度,并有专家在 loop 里。大约四月,模型和 harness 已经好到可以做他所说的半闭回路自我改进。他拿自己 2019 年为 Mobile World Congress 调校云端平台的经验做对比,那时用的是贝氏优化,当作黑盒子;Google 的 AlphaEvolve 调校基础设施时,留下的则是人看得懂的轨迹。看得懂的轨迹才是人能审查的,而审查是他的重点。他团队的 agent 会整夜、整个周末一直跑(“关灯办公室”),但验证不可能完全从人手上拿走,所以人负责掌舵,并分批验证。这样一来,一整夜的产出就受限于早上的审查。

一个新结果是:他们和一位 Cornell 的研究者合作,在九个情境中尝试把团队的 context 放进模型权重,只有三个有改善。把 context 编译给 harness 用,也就是他所说的 harness adapter,效果比较好。

兆级 token 规模的网页读取 — Yanlong Wang (Jina AI by Elastic)

Yanlong Wang 是 Jina AI 的 principal engineer,Jina AI 现在是 Elastic 的一部分,他也是 Reader 的主要开发者。Reader 把一个 URL 转成给模型读的 Markdown(在网址前面加上 r.jina.ai 就行),而且跟大多数 agent 内置的 fetch 工具不同,它一定会在 headless 浏览器里渲染页面。真正的功夫在于判断页面什么时候算是好了。一段 preload script 会在加载前注入页面的 JavaScript 环境,每一个 request 都会被检查,一旦页面算是加载完成,就从内部截取它的状态,并尽早回传。它跑在 serverless 上,所以每个 request 的 latency 是固定的,集群的容量则是浮动的。这让加载侦测也变成一个成本问题,因为等待页面稳定下来的每一秒都要计费。

他展示了 Reader 后端的数据。处理之后,页面的中位数大约是 4.5–5K token。直方图看起来像常态分布,只是因为横轴是对数尺度,所以这其实是对数常态分布,平均值大约是中位数的四倍。原始 HTML 大约 30K;把链接和图片的 URL 去掉之后,中位数降到大约 3K。他算了每一千个中位数页面的成本:用主流模型超过 9 美元,用中国的模型超过 3 美元,如果先过一个小型的截取或摘要模型,大约 0.45 美元。网页广告每一千次人类浏览可以赚 3–15 美元。他的结论是 AI 用户付得起很多钱,而且 Markdown 不是最后一步。

后半段讲的是政策。Reader 免费方案的匿名流量在六个月内从 20% 升到 36.9%,威胁到免费的那一部分。他对按爬取付费(pay-per-crawl)存疑,因为价格低不下来,用美元计价会把南方国家(Global South)排除在外,而付费访问又会招来数据转售。他确实认为控制应该放在 gateway,那里前四大业者就承载了超过一半的流量。他的“不成熟的想法”是用针对 agent 的广告来付费(让 agent 补完一句广告标语),或是用类似 reCAPTCHA 的任务,例如翻译公开数据,再用 embedding 和 reranker 模型来检查。