两大方向，四道新题

计算世界里，有两个尺度，相隔了几十年。

一个是 bit。它几乎和现代计算一样古老。照片、文档、模型参数，最终都要落成无数个 0 和 1。

几十年来，存储介质换了一代又一代，人们始终在处理同一件事，怎样让每一个 bit 占得更少、存得更久、访问得更快。

另一个是 Token。它真正走进大众视野，不过是最近几年的事情。

大模型用 Token 理解和生成信息，到了 Agent 时代，一项任务还会伴随着持续的检索、推理、状态维护与知识调用。

很长时间里，bit 属于存储，Token 属于模型，两者似乎没有多少关系。

但 Agent 真正进入企业以后，这条边界开始松动。

模型每生成一个 Token，背后可能都有文档被读取、知识被检索、状态被保存，数据持续在存储与计算之间流动。

一个 Token 产生得快不快，越来越不只取决于模型，也取决于数据能不能及时来到它身边。

于是，bit 所代表的存储世界，开始与 Token 背后的 AI 需求发生交汇。数据既要存得下、存得起，也要在模型需要时足够快地被找到、被送达。

当这些变化不断把数据基础设施推向新的边界，又该由谁来寻找下一种答案？

2019 年，华为在数据存储领域设立了奥林帕斯奖（OlympusMons Awards），把数据基础设施中的关键技术难题向全球科研工作者开放，寻找新的答案。

8 月 29 日，在 2026 全球数据存储教授论坛上，第六届奥林帕斯奖获奖名单正式揭晓。

本届赛事吸引了来自全球 30 所高校及研究机构的 160 多位专家学者参与申报。

最终，智能存储与计算重点实验室沈志荣教授团队获得本届唯一的奥林帕斯奖，另有 6 支团队获得奥林帕斯先锋奖。

〓智能存储与计算重点实验室沈志荣教授（左）华为数据存储产品线研发管理部部长常胜（右）

百万奖金会被记住，获奖名单也会被记住，但奥林帕斯奖留下来的，还有那些交到科学家手里的难题。

六届下来，产业问题不断变化，科学家给出的答案也在研究与实践中继续往前走。

从真实问题开始

“奥林帕斯”这个名字，本身就带着一点野心。

它来自火星上的奥林帕斯山，太阳系已知最高的山峰。华为以这座山命名奥林帕斯奖，也把数据存储领域那些还没有成熟答案的问题，一年年交给科学家。

奖项一年一度，单项科研奖励最高 100 万元。迄今已有来自全球 15 个国家的 470 多位学者参与，获奖团队中既有国内高校和科研院所，也有 ETH Zurich、NUS、KAIST 等海外研究力量。

〓奥林帕斯奖历届获奖团队

面对这些优秀的研究成果，华为与各个获奖团队进行了后续深入的交流与合作，在一些关键技术方向，如大模型推理优化、层次化存储系统、数据缩减和近数据处理等，成功将前沿理论转化为产品的竞争力，研究也随着新的产业需求持续演进。

奖项、研究与产业之间由此形成了一条更长的技术链，而让这条链持续延伸的，是不断变化的产业问题。

到了 2025 年，一部分奥林帕斯难题继续深入存储底层，关注 SSD 存算融合、超高密度记录和层次化大内存。另一部分已经进入 Agent 的工作现场，研究知识提取、多模态数据表征与知识检索，以及长上下文中的语义信息凝练。

本届获奖成果从数据存取到最终被模型使用，覆盖了存储介质、数据访问路径、数据工程、知识管理和大模型推理等不同环节。

智能存储与计算重点实验室沈志荣教授团队，凭借“层次化大内存的 I/O 优化与高效组织技术研究”，斩获本届最高荣誉。

大模型推理中的模型权重、KV Cache 等数据越来越多，难以全部留在容量有限的 GPU 显存中，严重影响了推理性能。

团队围绕显存、内存与 SSD 之间的数据访问和组织进行优化，让数据能够存放在不同层级的存储资源当中，同时让 XPU（GPU 等计算加速器）高效地访问这些数据，实现推理性能的系统级提升。

相关公开研究中，GPU 面向 NVMe SSD 的 4K 读取带宽达到 GPUfs 的约 7.3 倍；另一个层次化内存管理研究工作中，平均内存访问时间最多降低76.4%。

香港科技大学（广州）、上海交通大学、复旦大学、华中科技大学、阿姆斯特丹自由大学等其他团队分别凭借在多模态知识表征与检索、全栈 I/O 协同优化、知识提取、语义信息凝练与长序列推理加速、SSD 轻量索引与算子卸载、神经符号融合推理框架等方向的独特创新成果，获得本届奥林帕斯先锋奖

Agent 时代，存储问题正在改写

活动当天，华为也公布了新一届奥林帕斯奖的技术方向和新难题。

回看历届题目，奥林帕斯奖一直围绕两类问题展开。

一类向下，追问存储本身还能怎么往前走。数据规模持续增长，容量、性能和成本之间的拉扯始终存在。

一类向上，看数据最终怎样被 AI 使用。尤其到了 Agent 时代，语义理解、状态维护、知识检索和持续推理同时发生，数据供给效率以及知识能否跨领域复用，开始直接影响 AI 在企业里的运行。

今年的新题，也沿着这两个方向继续展开。

方向一：每 bit 极致性价比的存储技术

AI 的持续发展带来不断增长的数据规模和存储需求，这一方向继续关注超高密度存储、大容量内存型存储介质和近存加速，在提升容量与性能的同时，进一步降低每 bit 成本。

海量数据的超高密度存储与高效检索技术：让数据存得更密，同时在越来越大的数据空间里更快找到所需数据。

状态数据的内存型存储介质与近存加速技术：面向高频访问的状态数据，通过大容量内存型存储介质和近存加速，降低存储成本，减少数据搬运，提高推理效率。

方向二：Agentic AI 原生的数据底座

Agent 进入企业生产场景以后，既需要更快地获得数据，也需要能够跨领域复用并持续演化的知识。这一方向因此关注高性能网络与 I/O 路径，以及知识的自动构建、更新和持续演化。

以 Token 生产效率为中心的高效数据供给技术：构建应用状态感知的数据网络，优化I/O路径，减少模型生成 Token 时等待数据的时间。 

基于本体知识图谱的高泛化、可演进知识表征技术：让企业知识能够被 Agent 理解，在不同领域和业务场景中能被复用并自动更新，同时保持推理结果可信和可追溯。

答案之后，还有新的未知

科学家面对的工作，常常始于一句很普通的话：这里还能不能再往前一点？

再多存一个 bit，再少一次数据搬运，再快一点生成 Token。放在庞大的计算系统里，它们只是很小的变化。但这些变化一点点积累起来，最终会改变介质、系统，乃至 AI 使用数据的方式。

奥林帕斯山之所以适合成为这个奖项的名字，或许也正在这里。抵达一个高度之后，人们看到的往往不是终点，而是更远处那些还没有走过的地方。

奥林帕斯奖已经把下一批未知写进题目。

接下来，是寻找答案的时间。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

把水印锚定在不变量上

当图像被改写，所有权证据还能留下吗？

生成式 AI 正在改变视觉内容的生产与传播方式。

一张图像可以被局部重绘、风格迁移、指令编辑，甚至整体再生成；一幅 360° 全景图像则会随着用户视点改变，在二维展开图上出现大范围、非线性的扭曲。

对于数字水印而言，这些变化带来的问题非常直接：如果水印依赖固定像素、局部纹理或有限攻击增强，一旦内容外观或几何姿态发生变化，认证线索就可能迅速失效。

来自中国科学院信息工程研究所、中国科学院大学和中国科学技术大学等单位的研究团队，从“变换不变量”这一共同视角出发，提出了两项互补的研究。

CVPR 2026 工作 Rel-Zero 从生成式编辑中发现稳定的图像块关系，构造无需改动原图的零水印。

论文标题：

Rel-Zero: Harnessing Patch-Pair Invariance for Robust Zero-Watermarking Against AI Editing

论文作者：

陈鹏桢, 刘延伟, 古晓艳, 陈小军, 刘武, 王伟平

收录会议：

CVPR 2026

论文地址：

https://arxiv.org/abs/2603.17531

ICML 2026 工作 TRIAD 则把全景图像建模为球面信号，通过三阶 SO(3) 表示耦合构造严格的旋转不变量。

论文标题：

Rotation-Invariant Spherical Watermarking via Third-Order SO(3) Representation Coupling

论文作者：

Pengzhen Chen, Yanwei Liu, Xiaoyan Gu, Antonios Argyriou, Wu Liu, Weiping Wang

收录会议：

ICML 2026

代码地址：

https://github.com/Jerome-Chen7/TRIAD

论文地址：

待作者补充

前者回答“图像被 AI 改了怎么办”，后者回答“全景图像被任意旋转怎么办”。

Rel-Zero：不改原图，也能抵抗 AI 编辑

问题：嵌入式水印与零水印各有短板

传统嵌入式水印需要向图像写入额外信号。为了穿过扩散模型和指令编辑，这个信号往往必须足够强，从而在鲁棒性与视觉保真之间产生难以回避的权衡。

零水印提供了另一条路径：它不修改图像，而是从内容本身提取“指纹”，将指纹保存到外部数据库，验证时再与待检图像进行匹配。

问题在于，过去的零水印通常依赖全局特征或手工特征，这些绝对表征很容易被强语义编辑覆盖。

关键观察：绝对外观会变，相对关系仍可能稳定

Rel-Zero 的出发点来自一个直观但关键的发现：生成式编辑会显著改变单个图像块的像素或特征，但部分图像块之间的相对距离仍然保持稳定。

换句话说，如果两个区域在原图中差异很大，那么在局部编辑、全局编辑或再生成之后，它们往往仍然“彼此不同”。这种关系结构比任意一个局部外观更难被同时抹去。

〓 图1  不同生成式编辑前后，Rel-Zero 选出的稳定图像块对仍能被匹配。红线表示作为零水印的图像块关系。图源：Rel-Zero 论文。

论文进一步在 RGB 距离与 ViT 特征距离上进行验证。

对于 ControlNet-Inpainting、UltraEdit、确定性再生成、MagicBrush 和 Instruct-Pix2Pix 等编辑方式，编辑前后的图像块对距离呈现明显的线性相关，说明图像内部的关系几何在多类操作下具有可利用的稳定性。

方法：把稳定的图像块对变成内容指纹

Rel-Zero 的流程可以概括为三个步骤。

首先，研究者用冻结的 VAE 重建模拟生成式编辑带来的特征位移，从原图与重建图之间挖掘最稳定的图像块对，形成训练监督。

其次，冻结的 ViT 为每个图像块提取语义特征，并计算全连接的图像块对关系。

最后，一个轻量的关系预测器为所有候选图像块对打分，选取 Top-K 对的索引集作为零水印。

验证时，只需在待检图像中再次预测关系集合，并计算与登记集合的重合度。

〓 图2  Rel-Zero 框架：上半部分利用原图与 VAE 重建图挖掘稳定图像块对，下半部分学习从输入图像直接预测 Top-K 关系指纹。图源：Rel-Zero 论文。

结果：五类 AI 编辑下，TPR 达到 85.13% 至 97.43%

在论文主表采用的固定 FPR=0.1% 设置下，Rel-Zero 在确定性再生成、Instruct-Pix2Pix、MagicBrush、UltraEdit 和 ControlNet-Inpainting 上分别取得 85.13%、89.65%、95.63%、96.55% 和 97.43% 的 TPR。

相比 ConZWNet 与 FGPCET 两种零水印基线，其对复杂生成式编辑的检测率提升非常明显；对于裁剪、缩放、对比度、亮度和高斯噪声等常规失真，TPR 也保持在 95.12% 至 98.57% 区间。

〓 图3  Rel-Zero 与零水印基线在五类 AI 编辑下的检测表现。指标为 TPR @ 0.1% FPR，数值取自论文主表。

更重要的是，这些鲁棒性并非来自向图像注入更强信号。

Rel-Zero 的 SSIM 为 1.000、LPIPS 为 0.000，因为它从头到尾都没有改动图像内容。这使其尤其适合医学影像、档案图像和高质量视觉资产等对原始像素敏感的场景。

TRIAD：把全景图像的旋转问题带回球面

问题：全景图像不是一张普通平面图

全景图像本质上定义在球面 S² 上。用户改变观看方向，对应的是三维旋转群 SO(3) 的作用。

常见的等距柱状投影（ERP）把球面摊平成矩形后，一个刚性的三维旋转会表现为纬度相关的非线性扭曲：物体可能跨越图像边界，极区被拉伸，局部纹理发生大范围位移。

依赖二维卷积或像素对齐的水印解码器很难覆盖这种连续且无限的变换空间。

〓 图4  同一幅全景图像经过不同 yaw、pitch 与 roll 旋转后，在 ERP 平面上呈现复杂非线性形变。图源：TRIAD 论文。

关键思路：从等变表示中构造严格不变量

TRIAD 首先用球谐变换把全景图像表示为不同阶数的球谐系数。旋转不会任意破坏这些系数，而是让同一阶表示按照 Wigner-D 矩阵做结构化变换，也就是保持 SO(3) 等变性。

简单使用零阶系数虽然可以得到旋转不变量，但它对应全局平均等低频信息，容量有限，修改后也容易带来明显亮度变化。

为此，TRIAD 把水印写入更高阶的不可约表示子空间，并在提取阶段对三个高阶表示进行张量耦合，再借助 Clebsch-Gordan 系数投影到平凡表示 V₀。

这个三阶标量与球面双谱等价：无论输入如何旋转，最终标量保持不变；同时，它保留了二阶功率谱会丢失的相位耦合信息，因此能够承载更高容量的水印。

〓 图5  TRIAD 框架：在高阶球谐子空间中嵌入水印，通过三阶表示耦合与 V₀ 投影得到旋转不变的球面双谱标量，再完成消息解码。图源：TRIAD 论文。

结果：连续旋转下保持近乎 100% 比特准确率

论文在 panoContext 与 SUN360 上使用 10,000 幅全景图训练、2,000 幅测试，默认嵌入 32 bit 水印。

对每个旋转角度，实验均在球面上均匀采样 1,000 个旋转轴。

结果显示，未使用旋转增强时，多个平面水印基线一旦离开 0°，比特准确率很快跌至接近随机猜测的 50%；即使加入离散旋转增强，基线表现仍随角度剧烈波动。

相比之下，TRIAD 在 0° 到 180° 的测试范围内保持近乎 100% 的比特准确率。

〓 图6  随机 SO(3) 旋转下的比特准确率。TRIAD 在无增强和有增强设置中均保持稳定，基线则在未见旋转角度上明显失效。图源：TRIAD 论文。

在视觉保真方面，TRIAD 的 32 bit 配置达到 39.22 dB PSNR 和 0.9946 SSIM。

面对 JPEG、缩放、对比度、亮度、高斯噪声、模糊、中值滤波及混合失真时，比特准确率为 97.5% 至 100%，混合失真下为 98.4%。

三阶双谱的容量优势也得到验证：二阶功率谱在 32 bit 时仅有 61.3% 比特准确率，而三阶双谱在 16、32 和 64 bit 设置下均报告 100% 的比特准确率。

〓 图7  TRIAD 与多种水印方法的视觉对比。原图与含水印图肉眼接近，右侧为放大的残差。图源：TRIAD 论文。

两篇论文的共同启示：把身份锚定在不变量上

Rel-Zero 与 TRIAD 面向的攻击空间并不相同：前者面对生成模型造成的语义与外观变化，后者面对球面数据上的连续几何变换。

但它们做出了相似的研究选择，即不再把鲁棒性理解为“训练时多见一些攻击”，而是追问“什么结构在变换后仍然存在”。

Rel-Zero 的答案是图像块之间的相对关系。生成式编辑通常受内容保持、局部约束和低维编辑方向影响，因此图像内部的部分关系几何仍然稳定。

TRIAD 的答案是群表示中的平凡分量。通过三阶耦合把等变特征投影为标量，可以在数学结构上消除旋转带来的姿态变化。

一个来自数据规律，一个来自表示论，但最终都把水印从脆弱的绝对值迁移到了更稳定的关系或不变量上。

边界与未来工作

Rel-Zero 依赖生成式编辑保留足够的跨区域关系，并需要可信的外部登记与检索系统；若攻击进行大比例裁剪、完全重绘或刻意破坏关系结构，其稳定性仍需进一步检验。

TRIAD 的理论不变量建立在球面信号与完整 SO(3) 旋转设定上，离散球谐变换、ERP 采样、局部视野或缺失区域都会带来数值误差。

进一步扩大有效载荷，也需要处理高阶频带更容易受压缩和混叠影响的问题。

这些限制并不削弱两项工作的共同价值，反而指出了一条值得继续推进的路线：从平面图像走向球面、三维与多模态内容，从经验攻击集合走向对称性和不变量，从单一水印信号走向与内容内在结构绑定的身份表示。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

 报告介绍 

基础模型正迅速成为知识工作的得力助手，但其在真实场景中的部署仍受到三方面瓶颈的制约：难以在不同环境间实现可靠迁移，内部推理过程不透明，行为也难以被精确控制。

本报告将指出，这些局限并不只是模型规模的问题，更根本的问题在于学习过程能否捕捉并利用数据生成过程（data-generating process）的底层结构。

讲者将把因果思维（causal thinking）作为一种实用的分析视角，用以刻画哪些机制保持不变、哪些因素会发生变化，以及哪些变量可以被干预。

报告主要内容包括：

统一机制学习：如何从跨领域、跨模态的异质数据中学习统一机制（unifying mechanisms），从而实现可靠迁移与可控生成。

概念结构恢复：即使面对看似非结构化的数据，仍可通过层次化潜变量模型（hierarchical latent-variable models）分析并改进掩码（masking）、扩散（diffusion）等自监督学习目标，从中恢复出结构化的概念体系；这些概念结构可进一步用于解释生成模型，并支持有针对性的多层次编辑。

超越训练分布的泛化：讨论实现外推（extrapolation）的自然条件，以及一种组合式生成框架（compositional generation framework）——该框架能够在面对全新的概念组合时，提升模型的提示词遵循能力（prompt following）。

最新进展：介绍在自我改进世界模型（self-improving world models）与语言模型推理（language model reasoning）方面的最新研究成果。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

跳转微信打开

复杂方法遇上简单基线

20M、700M、20B、100B。

这是过去一些工作为了把现成 Transformer 改造成线性化模型，付出的额外训练量。

微软团队最近把这些数字放到了一张表里，然后在最后添了一行。

Sliding Window Attention: 0 token，0 个后训练阶段。

一个总窗口只有 64、保留 4 个 attention sinks 的滑动窗口注意力，不改模型权重、不做蒸馏，在六项知识与推理任务上平均恢复了原模型 99.0% 的性能。

与需要数亿 token 后训练的高性能线性化方案相比，平均性能恢复率几乎持平。到了长上下文，部分任务的准确率甚至能拉开 2 到 10 倍。

这组结果，也让一个原本看起来很顺理成章的选择多了一层疑问。

为了摆脱越来越大的 KV Cache，我们真的需要先把 Transformer 费力地“线性化”吗？

对已经训练好的大模型来说，一个无需额外后训练的滑动窗口方案，已经足以和这些后训练线性化方法正面对比。

论文标题：

Sliding-window beats linear attention

论文地址：

https://arxiv.org/abs/2608.28444

一个漏掉的强基线

全注意力的 KV Cache 会随上下文不断增长，线性注意力则把历史压缩进固定大小的循环状态，让这部分推理状态不再随序列一起膨胀。

由于从头训练成本高，近几年不少工作转而通过蒸馏、LoRA 或后训练，直接改造现成 Transformer。

论文指出，过去很多工作虽然也和 SWA 比过，但用的是不带 attention sinks 的普通版本。

一旦窗口向前滑动，开头几个 sink token 不再落在注意力范围内，性能就可能灾难性下降。这样的比较，很容易低估滑动窗口本身的能力。

本文采用 SWA(w,4)。总窗口为 w，其中 4 个位置固定给最前面的 attention sinks，其余 w−4 个位置保留局部历史。

知识与推理任务使用 SWA(64,4)，即固定保留最前面的 4 个 attention sinks，其余 60 个位置随窗口向前滑动。

〓全注意力、线性注意力+SWA 与 SWA+sinks 的注意力范围对比

0 Token vs. 千亿 Token

这里的对手也不全是纯线性注意力，还包括 LoLCATs、Liger-GLA 这类线性注意力 + SWA 的线性化方案。

论文首页汇总的后训练量从 20M、40M 一路跨到数亿、数十 B，SUPRA 一栏甚至达到 100B。SWA(64,4) 则是 0 token、0 个后训练阶段。

〓不同方案的后训练量与性能恢复率

这里的性能恢复率以各自的原始全注意力模型为基准，可以直接看出不同方案还保留了多少原模型能力。

SWA 在六项任务上的平均恢复率达到 99.0%，与需要 350M–700M token 后训练的 QRWKV6 的 99.1% 几乎持平。

MMLU 上，SWA 的恢复率为 93.2%，还略高于 QRWKV6 的 92.4%。

主实验覆盖 Phi、Mistral、Llama、Qwen、QwQ 等多个模型系列，参数规模从 1.3B 一直延伸到数十 B。

11 组比较里，SWA 有 9 组拿到除原始全注意力模型外的最高平均成绩。剩下两组差距也不大，分别只有 0.1 分和 0.7 分。

作者还在 Qwen3-8B 和两款 Phi-4 推理模型上自行做了一组线性化实验。

以 Qwen3-8B 为例，SWA 平均 71.6，而经过约 100M token 两阶段蒸馏的 Gated DeltaNet、GLA 和 QRWKV6 仍停留在 50 多分，两款 Phi-4 上也呈现类似趋势。

长上下文差距反而更大

线性注意力在推理时持续更新固定大小的状态：

它的优势是状态大小不随序列增长，难点则是持续写入新信息时，还要决定哪些历史保留、哪些覆盖。

SWA 每层只能直接看到局部窗口，但窗口为 64，并不意味着整个模型只能利用最近 64 个 token。

论文指出，经过 l 层后，有效感受野可以扩展到约 lw，局部信息能够沿着网络深度逐层向前传递。

在 Llama 3.1 8B 的 S-NIAH 测试中，作者设置了 128、256、512 三种窗口，上下文最长到 4K。

所有窗口和上下文长度下，SWA 在三个任务上都不低于 LoLCATs 和 Liger-GLA。

比如在窗口为 128、上下文长度为 4K 的 S-NIAH-3 上，SWA 准确率达到 17.2，LoLCATs 只有 1.6，相差约 10.8 倍。

〓不同窗口和上下文长度下的 S-NIAH 准确率

BABILong 的变化更明显。短上下文时 LoLCATs 还略占优势，到了 2K 后 SWA 开始反超。4K 时，两者已经拉开到 15 对 3，而全注意力仍有 60。

随着上下文变长，SWA 与 LoLCATs 之间的差距被明显拉开。

小窗口也有工程优势

一个简单得过分的答案

SWA 和 attention sinks 都不是新概念。

过去的线性化工作却很少直接和带 sinks 的 SWA 比，这篇论文把两者放到了同一张比较表里：一边无需额外后训练，另一边则投入了数千万、数亿甚至更多 token 做线性化。

论文最后直接建议，如果目标是在固定、较小的推理状态内存下运行现成模型，可以优先尝试带 attention sinks 的 SWA，再考虑投入大量 token 做后训练线性化。

SWA + attention sinks，已经成了后续线性化工作很难绕开的 baseline。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

AI也能看出你在强颜欢笑

当一个人对你说“我没事”时，你真的会只相信这句话吗？

很多时候，我们并不会只关注他说了什么。声音是否在颤抖？语速是否发生变化？眼神是否回避？脸上的微笑是否有些勉强？这些语言之外的信息，往往能够提供更加丰富的情绪线索。

与此同时，人的情绪也并不是彼此独立的状态。同样是“悲伤”，它可能来自刚刚发生的坏消息，也可能是失望在多轮交流中不断累积的结果。

因此，多模态共情对话不仅需要理解用户当前是什么情绪，还需要进一步建模这种情绪如何随对话逐渐演化到当前状态。

然而，现有多模态共情回复生成（Multimodal Empathetic Response Generation，MERG）方法仍面临两个重要问题：

• 一方面，文本、语音和视觉可能传递并不一致甚至相互冲突的情绪信号；

• 另一方面，多轮对话中的情绪持续、积累与转折往往没有得到充分建模。

更进一步，即使获得了较为准确的情绪状态，模型仍需要理解情绪产生的原因、用户的潜在回应需求以及适合采用的回复策略，才能最终生成恰当的共情回应。

针对这一问题，中国科学技术大学认知智能全国重点实验室陈恩红教授团队提出了 MEC²-TT。

MEC²-TT 从跨模态情绪一致性、情绪时序演化和结构化共情推理三个层面对共情回复生成进行统一建模，使模型能够从当前多模态情绪状态出发，进一步理解其历史演化过程，并将这些信息转化为面向回复生成的结构化共情推理。

目前，该工作已被多媒体领域顶级会议 ACM MM 2026 正式接收。

论文标题：

MEC²-TT: Multimodal Emotion Consistency Correction and Trajectory Tracking for Empathetic Dialogue Generation

收录会议：

ACM MM 2026

论文作者：

Sirui Zhao, Yu Bai, Jinyang Huang, Fangyuan Liu, Feng-Qi Cui, Xinqi Chen, Guo Cheng, Tong Xu, Enhong Chen

作者单位：

University of Science and Technology of China, Hefei University of Technology, Beijing University of Technology

论文链接：

https://doi.org/10.1145/3767308.3835659

MEC²-TT：从跨模态情绪校正到轨迹感知的共情生成

MEC²-TT 主要由三个相互衔接的模块构成：Emotion Consistency Correction（ECC）、Emotion Trajectory Tracking（ETT）和 Empathetic Chain-of-Thought（ECoT）。

三者分别负责跨模态情绪一致性校正、历史情绪轨迹建模以及结构化共情推理，共同形成从情绪感知到回复生成的完整流程。

〓 MEC²-TT 的整体框架。模型首先校正文本、语音与视觉之间的情绪不一致，再追踪多轮情绪演化，并通过结构化共情推理生成最终回复。

MEC²-TT 首先分别从视频、语音和文本中提取情绪相关表示，并通过 Emotion Consistency Correction（ECC）建模不同模态之间的情绪语义一致性。

具体而言，模型将三种模态的表示分别映射为情绪概率分布，并利用 KLDivergence 衡量不同模态之间的分布差异。

模态间情绪判断越接近，一致性越高；差异越明显，则意味着它们可能正在提供相互冲突的情绪信息。

基于这种一致性关系，ECC 对不同模态特征进行自适应校正，从而缓解跨模态情绪冲突，并在保留模态互补信息的同时形成更加可靠的当前情绪表示。

然而，仅建模当前轮次仍不足以支持充分的共情理解。

MEC²-TT 进一步通过 Emotion Trajectory Tracking（ETT）将各轮校正后的情绪表示按照时间顺序组织起来，并利用时间位置编码和 Multi-Head Self-Attention 建模历史情绪之间的动态依赖。

在此基础上，模型以当前轮次的情绪表示作为 Query，通过 Cross-Attention 从历史轨迹中选择与当前状态最相关的信息。

由此，ETT 不仅保留了情绪随时间发展的整体结构，也能够突出与当前状态关联最紧密的历史情绪变化。

获得当前情绪与历史轨迹之后，MEC²-TT 并未直接生成回复，而是进一步引入 Empathetic Chain-of-Thought（ECoT），将共情生成组织为：

Event Scenario → Speaker's Emotion → Emotion Cause → Goal to Response → Strategy to Response

即依次分析事件背景、说话者情绪、情绪原因、回应目标以及回复策略。

为了使多模态情绪轨迹参与语言模型推理，MEC²-TT 使用轻量级 Linear Adapter 将 ETT 输出映射至 Qwen2.5-7B 的文本嵌入空间，并以连续 Soft Prompt 的形式参与后续 ECoT 推理和最终回复生成。

由此，MEC²-TT 形成了一条从情绪校正—轨迹建模—共情推理—回复生成逐步递进的完整链路。

〓 ECoT 通过事件、情绪、原因、目标和策略等中间过程，将多模态情绪理解进一步转化为回复生成依据。

实验表现：自动指标与人工评价的系统提升

MEC²-TT 在 AvaMERG 和 MELD 两个多模态对话数据集上进行了系统实验。

AvaMERG 包含 33,048 个对话和 152,021 条多模态 utterance；MELD 包含超过 1,400 个多人对话和约 13,000 条 utterance。

〓 MEC²-TT 在 AvaMERG 与 MELD 上的自动评价和人工评价结果。

在自动评价方面，MEC²-TT 在两个数据集上的 BLEU-1、ROUGE-1 和 BERTScore-F1 均取得最佳结果。

在 AvaMERG 上，三项指标分别达到 20.97、31.23 和 88.95；在 MELD 上分别达到 14.30、24.13 和 88.33。

相比 E3RG、EmpathyEar 以及文本大模型 Qwen3-8B，MEC²-TT 在词汇匹配和语义相似度指标上整体表现更优。

尤其是相较于 Qwen3-8B，BLEU 和 ROUGE 的明显提升表明，语音、视觉以及历史情绪变化能够为共情回复生成提供纯文本之外的有效情感与上下文信息。

同时，两个数据集上的 BERTScore-F1 均取得最佳结果，也说明这种提升不仅体现在词汇重合度上，在整体语义层面同样具有更好的匹配。

对于共情对话而言，自动指标仍难以完整反映回复是否真正符合用户的情绪状态。因此，论文进一步从 Empathy、Relevance 和 Fluency 三个维度进行了人工评价。

在 AvaMERG 上，MEC²-TT 的 Empathy 达到 3.88，为所有模型中的最佳结果，Relevance 和 Fluency 分别达到 4.07 和 4.29。

在 MELD 上，Empathy、Relevance 和 Fluency 分别达到 3.04、3.73 和 4.61，三项指标均取得最佳结果。

整体结果表明，MEC²-TT 的优势不仅体现在自动评价指标上，整体结果表明，MEC²-TT 的优势不仅体现在自动评价指标上，也得到了人工评价结果的进一步验证。

为了进一步分析各组成模块的贡献，论文还对 ECC、ETT 和 ECoT 进行了消融实验。

〓 不同模块的消融实验结果，用于分析跨模态情绪校正、情绪轨迹建模与结构化共情推理的具体贡献。

在 AvaMERG 上，完整 MEC²-TT 的 BLEU-1 为 20.97。

移除 ECC 后下降至 18.37，移除 ETT 后下降至 18.34，说明跨模态情绪一致性建模与历史情绪动态建模具有互补作用：前者提高当前情绪表示的可靠性，后者进一步引入情绪随对话演化的历史信息。

相比之下，移除 ECoT 后 BLEU-1 进一步下降至 9.86，表明仅获得可靠的多模态情绪表示和历史轨迹还不足以直接生成高质量的共情回复。

将事件、情绪、原因、回应目标和回复策略组织为结构化中间推理，是连接情绪理解与最终回复生成的重要环节。

总体来看，ECC、ETT 和 ECoT 分别从跨模态一致性、时序情绪建模和结构化共情推理三个层面提升模型能力，共同支持最终的共情回复生成。

案例分析：多模态情绪不一致下的共情回复

相比单纯的数值指标，论文中的两个案例更直观地展示了跨模态情绪校正和情绪轨迹建模为什么重要。

〓 案例分析：面对文本与非语言线索不一致时，MEC²-TT 能够识别隐藏情绪，并生成更符合用户真实感受的共情回复。

第一个案例中，用户连续熬夜一个月完成工作方案，却最终被忽视。虽然文本仍表现得相对积极，但声音颤抖、勉强微笑和明显红眼均传递出更强烈的负面情绪。

一些基线模型被表面文本误导，继续给出“保持乐观”“继续努力”一类回应。

MEC²-TT 则结合语音、视觉和历史对话，识别出更深层的愤怒与挫败，并首先确认用户所经历的不公平和失落。相比单纯的鼓励，这种回复更加符合用户真实的情绪状态。

第二个案例中，用户刚得知年迈宠物狗的检查结果很差，却突然转而谈论“烤蛋糕”。虽然文本表面更加积极，但语音中的哽咽、回避目光和擦泪表明悲伤仍在持续。

部分基线模型顺着新的话题继续回应，而 MEC²-TT 结合此前围绕宠物病情形成的情绪轨迹，将这种话题转移理解为面对悲痛时的一种应对方式，并将回复重新聚焦到用户尚未缓解的悲伤本身。

结语

MEC²-TT 并非简单增加多模态信息，而是进一步关注这些信息之间是否一致、情绪如何随对话动态演化，以及情绪理解如何最终转化为共情回复。

通过跨模态情绪一致性校正、情绪轨迹建模和结构化共情推理，MEC²-TT 构建了一条从多模态情绪感知到共情回复生成的完整链路。

这一工作表明，多模态共情对话不仅需要理解用户当前表达的内容，还需要综合考虑其非语言情绪线索和历史情绪变化，从而生成与用户真实情感状态和对话语境更加一致的回应。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

训练系统也开始自进化

EvoTrainer 是⼀种让⼤语⾔模型训练策略与 Training Harness 协同进化的⾃主训练⽅法。

它不只是在 Agentic RL 中⾃动跑实验、调参数，更关键的是让系统能随着模型变强，持续提升发现、诊断和解决训练问题的能⼒。

论文标题：

EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning

论文地址：

https://arxiv.org/abs/2606.03108

代码地址：

https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/EvoTrainer

核⼼观点

传统⾃主训练中，Training Harness 往往被视为固定基础设施：Reward 定义、样本过滤、回测逻辑、诊断⽅式⼀旦设定，后续训练只是在这套静态框架内搜索更优参数或配⽅。

但在⻓程、多步、强交互的 Agentic RL 任务中，这种假设并不成⽴。

随着策略不断变强，原有 Harness 的局限会逐步暴露：

• 原先有效的 Reward 可能失去区分度；

• 原先⾜够的评估⽅式可能⽆法识别投机⾏为；

• 原先粗粒度的诊断逻辑难以解释新的失败模式；

• 原先的样本筛选机制可能⽆法持续提供⾼信息量训练信号。

因此，真正的⾃主训练不应只优化模型参数，⽽应让训练策略与 Training Harness 处于同⼀个协同进化闭环中：

• 策略变强，暴露新的瓶颈；

• Harness 感知瓶颈，升级诊断与回测能⼒；

• 新的 Harness 再反过来为策略提供更可靠的优化信号。

EvoTrainer 的核⼼贡献，就在于将这种“训练决策系统本身也要持续进化”的思想系统化，并将其落地到 Training-Time。

相关⼯作

现有⼯作⼤致覆盖三条路线：

a. ⾃主训练：AI ⾃动提出⽅案并执⾏实验。

b. 推理侧 Harness 优化：优化模型推理时的⼯具、上下⽂和脚⼿架。

c. 优化 RL 算法：针对不同任务设计更合适的 RL 机制。

2.1. AutoResearch：⾃动化实验搜索 [1]

AutoResearch 证明了 Agent 已具备接管训练的能⼒，它通过“修改代码 → 启动训练 → 验证指标 → 决策保留/回滚”的闭环，实现了训练⽅案的⾃动探索。

然⽽，这种范式的本质仍是“基于静态标尺的快速试错”。

Agent 仅将验证集分数作为唯⼀的筛选依据，⽽承载评估与诊断功能的 Harness 在整个过程中始终保持不变。这导致系统缺乏对训练过程的深层理解：

• ⽆法甄别信号质量：⾼分可能源于数据泄露或评估漏洞，⽽⾮真实能⼒提升；

• 浪费失败样本价值：低分分⽀被直接丢弃，其中蕴含的诊断线索未被提取；

• 缺乏能⼒沉淀：每⼀轮搜索都是独⽴的，训练中形成的排查经验⽆法转化为可复⽤的诊断技能。

换⾔之，AutoResearch 是⼀个⾼效的“实验搜索器”，但并⾮⼀个能持续提升训练理解能⼒的 “进化系统”。

它优化的是“找到下⼀个⾼分配置”的效率，⽽我们关注的是“升级发现问题与定义问题”的能⼒本身。

2.2. 推理侧 Harness 演化：Meta-Harness [2] 与 AHE [3]

Meta-Harness 与 AHE 共同确⽴了 “Harness 本身可作为优化对象”的重要范式，为 EvoTrainer 提供了关键的⽅法论基础。Meta-Harness 率先打破了 “Harness 即固定基础设施”的传统认知，通过 Agent 搜索并修改推理阶段的上下⽂组织与⼯具链代码，利⽤历史执⾏轨迹持续提升下游任务表现；AHE 则进⼀步系统化了这⼀⽅向，将 Middleware、⻓期记忆与 System Prompt 纳⼊可编辑范围，并明确引⼊可观测性信号作为改动有效性的验证依据，证明了⻓期⾃动改进必须依赖过程证据⽽⾮仅看最终结果。

然⽽，这两项⼯作的演化边界均严格限定在 Inference-Time。当我们将视⻆转向 Agentic RL 的训练场景时，会发现推理侧的演化逻辑存在根本性的信号断层：

• 优化⽬标错位：推理侧追求单次任务完成率，⽽训练 Harness 需保障⻓期学习信号的稳定性与区分度；

• 诊断维度缺失：推理侧关注输出正确性，却⽆法感知 Reward 失效、Rollout ⾏为崩塌或低信息量样本等训练动⼒学问题；

• 经验⽆法跨阶段迁移：推理侧积累的 Prompt 优化或执⾏链路调试经验，难以转化为训练过程中对异常信号的审计、过滤与回测能⼒。

换⾔之，现有⼯作证明了 Harness 演化的可⾏性与过程证据的价值，但仍未跨越从“推理执⾏优化”到“训练策略协同进化”的鸿沟。

EvoTrainer 正是要将这种“过程感知 + 系统演化”的思想，真正移植到 Training-Time Harness 中，使其成为与训练策略双向驱动的协同进化对象。

⽅案

现有⼯作分别验证了 Agent 参与训练（AutoResearch）、Harness 动态演化（MetaHarness）以及过程证据驱动改进（AHE）的可⾏性，但尚未将这三者在 Agentic RL 的训练场景中统⼀。

EvoTrainer 的核⼼出发点，正是打破推理侧与训练侧的壁垒，⾸次实现 Training Harness 与训练策略的协同进化。

现实中的资深研发⼈员，在优化模型时，并不是仅盯着测评集上的分数去决策下⼀步的优化路径。

当⼀个版本结果异常时，通过 Reward 分布、Rollout 轨迹与版本 Diff 等⾼维信号综合诊断瓶颈来源。

然⽽，Agentic RL 的数据规模与噪声密度使这种分析难以⼈⼯持续执⾏。

EvoTrainer 的核⼼动机正是将这种碎⽚化的排查经验，转化为 Training Harness 中可执⾏、可积累的诊断程序——让 AI 不仅替代⼈⼯检查，更实现诊断能⼒本身的持续优化。

3.1. 训练策略与训练 Harness 的协同进化

EvoTrainer 将训练过程组织为⼀条可追踪的版本链：

它的关键在于：每⼀轮策略更新都会暴露新的⾏为模式、瓶颈和失效现象，⽽训练侧的 Harness 会据此调整⾃⼰的诊断⽅式；⼀旦诊断⽅式发⽣变化，后续版本的选择和搜索⽅向也会随之改变。

因此，EvoTrainer 关注的不只是“分数是否更⾼”，还包括：

• 信号有效性：当前 Reward 是否仍具备⾜够的区分度以⽀撑梯度更新；

• ⾏为稳定性：Rollout 轨迹是否出现分布偏移、模式崩塌或异常收敛；

• 版本可⽐性：相邻版本间的性能差异是否能被现有诊断证据合理解释；

• 评估鲁棒性：⾼分结果是否可能源于数据泄露、评估漏洞或随机噪声。

当现有证据不⾜以解释某次训练结果时，系统不会盲⽬推进下⼀轮实验，⽽是主动触发 Training Harness 的⾃我升级。

这种升级并⾮简单的参数调整，⽽是诊断能⼒本身的扩展，例如：

• 引⼊新的⾏为分析器

• 构造针对性的回测⽤例

• 检索历史相似案例的诊断路径

• 动态调整样本过滤策略

换⾔之，训练策略的演进与 Harness 的演进在同⼀闭环中交替发⽣——策略变强催⽣更精细的诊断需求，诊断升级⼜为策略突破提供更可靠的导航信号。

3.2. Memory & Skill：让EvoTrainer 具备持续进化能⼒

Memory + Skill 是 EvoTrainer 区别于“只会反复试配⽅”的关键能⼒。它不仅记录每次训练结果，还会沉淀失败经验、诊断⽅法和可复⽤策略，让后续版本的进化越来越“聪明”。

Skill：把有效⽅法沉淀成可跨任务复⽤的能⼒，这不是简单的经验总结，⽽是经过验证、可再次调⽤的操作能⼒，例如：

a. 分析器技能（analyzer skills）

b. 修复策略（repair strategies）

c. 训练流程模板（procedure templates）

3.3. 以 SWE 场景为例看 EvoTrainer 的进化过程

SWE RL训练的难点不在于最终 Reward 定义本身，⽽在于 SWE 它是⼀个⻓轨迹、多轮交互的操作任务。模型需要先定位代码，再理解上下⽂，再修改实现，最后通过测试验证修复是否成⽴。

因此，训练⽅案的演化，本质上是在不断回答⼀个问题：怎样把“成功修复”拆解成可学习、可⽐较、可优化的训练信号？

EvoTrainer 在整个过程中引⼊⾏为奖励、让⾏为奖励产⽣区分度以及加⼊ StdGroupFilter 让优化器看到⾼质量信号，最终达到最优效果。

3.3.1. 仅依赖最终正确性，⽆法⽀撑多步修复任务

最直接的做法是只⽤测试⽤例分数作为 Reward，但在 SWE 中，这种设计很快暴露出问题：

• ⼤量失败轨迹共享同⼀个低分，导致信号极其稀疏；

• 即使偶尔得分变化，也很难判断模型到底学到了更好的⾏为，还是只是碰巧命中；

• 对于多步⼯具使⽤任务，单⼀结果分数⽆法反映过程质量。

也就是说，最终结果 Reward 能定义任务⽬标，却不⾜以塑造达到⽬标的过程⾏为。于是，训练系统开始从 Rollout 中寻找那些能反映“过程是否健康”的中间证据。

3.3.2. 引⼊⾏为奖励，把“健康过程”显式纳⼊训练信号

基于对 Rollout 的诊断，系统发现两个⾏为与成功修复强相关：

这两个信号的作⽤不是替代正确性，⽽是把原本只有“最终做对/做错”的 Reward，扩展为同时刻画结果质量和过程质量的复合信号：

在这个阶段，关键变化是：Reward 不再只回答“最后对没对”，还开始回答“这条轨迹是不是沿着更合理的修复路径在前进”。

3.3.3. 有了过程信号，还要让它真的产⽣区分度

但仅仅加⼊过程信号，并不能带来有效训练，系统进⼀步观察发现，如果过程奖励设计得过于对称，很多 Rollout 会得到相同或近似的附加分，导致 Reward Tie 增多。

这会削弱组内样本之间的排序差异，使训练难以判断哪种⾏为更值得强化，因此，问题从 “Reward 太粗”进⼀步变成了：Reward 虽然变细了，但还不够有区分⼒。

为了解决这个问题，EvoTrainer 没有继续堆更多 Reward 项，⽽是直接调整已有⾏为信号的相对权重。最终，ETT 被赋予略⾼于 SBE 的系数：

这样做的含义是：

• SBE 反映的是修复前的准备⾏为；

• ETT 反映的是修改后是否形成了“编辑—验证”的闭环；

• 在 SWE 中，后者与有效修复更直接相关，也更有助于拉开 Rollout 之间的差距。

所以，这⼀步的核⼼不是“调参”，⽽是增强 Reward 的排序能⼒。

3.3.4. Reward 有区分度了，还要保证优化器看到的是⾼质量⽐较信号

即使 Reward 设计已经更细、更有区分度，GRPO 训练仍然依赖⼀个前提：同⼀组 Rollout 之间必须存在⾜够稳定的相对差异。

GRPO 的组内优势定义为：

如果⼀组 Rollout 的 Reward 都差不多，那么组内标准差会很⼩。此时会出现两种情况：

• 如果 Reward ⼏乎完全相同，则也接近 0，优势值接近 0，⼏乎没有有效学习信号；

• 如果 Reward 只有很⼩的随机差异，这些差异可能被较⼩的分⺟放⼤，形成不稳定的噪声信号。

于是，新的问题不再是 Reward 本身，⽽是：哪些 Rollout Groups 真正值得拿来做相对学习？

因此，EvoTrainer 最终加⼊了⼀个过滤机制，过滤掉降低那些缺乏区分度、⽆法稳定⽀持相对排序的 Groups 对训练更新的影响。

实验

在三类任务上评估 EvoTrainer，这三个任务覆盖了从单轮推理到⻓程⼯具使⽤的不同训练场景。

它们分别强调可验证推理、执⾏反馈以及⻓程 Agent-Tool 交互，覆盖了从单轮推理到复杂⼯具使⽤的不同训练场景。

整体结果表明，EvoTrainer 在三类任务上都稳定有效。更重要的是，结果不是来⾃⼀个固定的通⽤训练⽅案。不同任务最后需要的能⼒不同：

• Math 更需要计算能⼒增强；

• Coding 更需要 Reward Shaping 和 Filtering；

• SWE 更需要⾏为敏感的训练路径。

这说明 EvoTrainer 不是简单找到⼀个万能配置，⽽是在根据任务瓶颈调整训练过程。

总结

综上所述，EvoTrainer 的核⼼贡献可概括为：将模型训练中的决策系统本身变为可优化的演化对象。具体⽽⾔，它在三个维度上实现了对现有⼯作的升级：

从“实验搜索”到“诊断决策”（对标 AutoResearch）：⾃动训练的瓶颈不在于候选配置的数量，⽽在于系统能否将每次实验转化为可积累的训练认知。

EvoTrainer 通过多维信号交叉验证与失败样本价值挖掘，使训练决策从试错驱动转向认知驱动。

从“静态基础设施”到“协同演化对象”（对标 Meta-Harness）：Agentic RL 的训练瓶颈具有动态性（从奖励稀疏到⾏为崩塌、从评估漏洞到低信息量样本），固定的 Harness ⽆法覆盖全⽣命周期。

EvoTrainer 使 Training Harness 随策略瓶颈持续重铸，成为与模型权重双向驱动的进化组件。

从“⼀次性调试”到“可迁移的认知资产”（对标 AHE）：失败案例、回测脚本与过滤策略不应被视为训练副产品，⽽是可复⽤的系统能⼒。EvoTrainer 通过结构化的记忆与技能库，使系统在跨任务场景中具备经验继承与泛化能⼒。

当然，当前 EvoTrainer 仍有⼏个限制。

• EvoTrainer的推理、检索和回测计算成本较⾼；

• 当前实验中的版本演化轨迹还不够⻓；

• 系统表现仍然依赖较强的基础模型能⼒。

因此，下⼀步的重点不是简单扩⼤实验规模，⽽是让这⼀训练决策系统变得更便宜、更稳定、更可迁移。

总体⽽⾔，EvoTrainer 带来的收益并⾮源于实验数量的线性堆叠，⽽是来⾃ Training Harness 诊断能⼒的持续升级、回测机制的可靠性保障，以及诊断技能的跨任务复⽤——它让⾃动训练系统真正具备了“学会如何训练”的 Meta 能⼒。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

真实网页一测全员翻车

目前的 AI Agent 能够协助写邮件、整理文档等任务，但它们真的能在真实的网站上可靠地完成日常在线工作流吗？

现有的 Web Agent 基准测试通常在离线沙盒或静态页面中评估模型。

为了真正迈向下一代通用 AI 智能体，MMLU-Pro 的作者联合滑铁卢大学 TIGER Lab、UBC NAIL Group 等共同推出了面向真实网页任务的新评估框架 ClawBench。

这是一个面向真实生产环境网页任务的新评估框架，涵盖 153 个日常任务、144 个真实平台、15 个生活类别，并通过“最终请求拦截”机制确保安全评测。

在 8 款前沿模型的测试中，最强的 Claude Sonnet 4.6 也仅取得 33.3% 的任务成功率，GLM-5 以 24.2% 的成功率与单任务 $0.64 的成本展现出最优性价比，Qwen 3.5 则以最低的 token 消耗和工具调用量兼顾了效率与可用性。

论文进一步通过五层轨迹分析，揭示当前 Agent 失败的根源并非“不够聪明”，而是反爬虫机制下的无效重试、最后一步的确认犹豫、以及与人类截然不同的交互行为模式等深层原因。

ClawBench 测试评估框架为评估下一代 AI Agent 提供了一个直面真实世界未解决问题的测试平台，保留了现实世界网页环境的完整复杂性、动态特性和交互挑战，并确保在不产生现实副作用的情况下安全评估。

ClawBench 不仅仅给出了面向真实网页后"谁家模型最强"的榜单，更重新校准了当前人类对 AI Agent 真实能力的预期。

论文作者：

UBC、Vector Institute、UniPat AI、CMU、滑铁卢大学、上海交大、港科大、清华大学、曼彻斯特大学、复旦大学、里海大学、南京大学

GitHub地址：

https://github.com/TIGER-AI-Lab/ClawBench

项目主页：

https://claw-bench.com/

论文链接：

https://arxiv.org/abs/2604.08523

Hugging Face：

https://huggingface.co/collections/TIGER-Lab/clawbench

什么是 ClawBench？

ClawBench 是一个专门针对日常在线任务的评估框架，包含了人们在生活和工作中最常遇到的 153 个任务。

• 它覆盖了从购物、预约餐厅到求职申请等 15 个类别的 144 个不同平台。

• 与传统的“只读”或“离线”测试不同，CLAWBENCH 完全在生产环境（真实的在线网页）中运行。

• 它侧重于评估“写操作密集型（write-heavy）”操作，例如填写复杂的表单、进行账户更新等改变网页状态的行为。

ClawBench 如何在真实网站上安全地测试？

如果让 AI 在真实网站上买东西或者投简历，会不会造成不可挽回的后果？

针对此，CLAWBENCH 设计了“最终请求拦截（final-request interception）”机制：系统会记录并拦截会导致真实世界副作用（如扣款、提交订单）的最终 HTTP 提交请求。

这意味着 AI 可以完整体验真实网站的复杂性、动态渲染和验证逻辑，但在最后一步会被安全拦截。

八大模型折戟，最高战绩 33%

研究团队在 ClawBench 上对 8 款前沿 AI 模型进行了集中测试，并以 ‘Agent-as-Judge’ 协议作为核心指标来判定任务成功率，得出的结果出乎意料。

1. 总体成功率层面，日常在线任务的完成难度远大于受控浏览器中的完成难度：

• Claude Sonnet 4.6 表现最好，但也仅仅达到了 33.3% 的任务完成率。

• Qwen 3.5 排名第二，成功率为 26.1%。

• GLM-5 以 24.2% 的成功率紧随其后。

• 而 GPT-5.4 的成功率仅为 6.5%。

2. 从任务层面的饱和度来看，低成功率并非仅由少数极端困难的任务造成。评测数据显示，在参与测试的 8 款前沿模型中，

• 153 个评估任务里有多达 68 个（占比 44.4%）全军覆没，未能被任何一款模型成功解决。

• 仅有 1 项任务被 7 款模型成功处理，

• 没有任何一项任务能够被全部 8 款模型同时攻克。

3. 模型不同领域能力表现分布不均衡：现阶段 AI Agent 无法在各种日常应用领域间实现能力均匀迁移。

当前的榜单排名并非由某种单一的通用能力所决定。

具体而言，虽然 Sonnet 4.6 占据了总榜榜首，并在日常（Daily）、学术（Academic）及社交（Social）类任务中展现出最强实力，但其在金融（Finance）与宠物（Pets）领域仅与 Qwen 3.5 战成平手。

作为综合排名第二的模型，Qwen 3.5 在旅行（Travel）场景中与 Gemini 3 Flash 并列第一。

与此同时，GLM-5 在工作（Work）类任务中表现最为优异，而 Claude Haiku 4.5 则在开发（Dev）领域拔得头筹。

这种能力分布的不均衡充分表明，现阶段的 AI Agent 尚无法在各种日常应用领域间实现能力的均匀迁移。

换言之，一款能够自如应对购物或社交工作流的模型，在处理求职申请、差旅预订或开发者工作流时，可能依然会遇到巨大瓶颈。

4. 成本和性能表现：

绿色阴影标出的为「高效区间」（SR ≥ 15% 且成本可控）。能挤进这个区间的模型并不多。更关键的是：花更多钱 ≠ 更高的成功率，二者并不存在简单的单调关系。

综合评测，GLM-5 性价比优势极高：在 ClawBench 的综合评测中，GLM-5 展现出了极为优异的性价比优势：其单任务平均成本仅为 $0.64，同时拿下了 24.2% 的任务成功率（SR）。

相比之下，Claude Sonnet 4.6 虽然以 33.3% 的成绩触及了准确率的天花板，但为了换取这额外 9.1 个百分点的性能提升，开发者需要付出高达前者 12 倍的成本。 

Token 消耗维度来看，Qwen 3.5 性价比极高：从 Token 消耗维度来看，也呈现出类似的取舍规律，该维度的“性价比之王”易主为 Qwen 3.5。

它仅凭单任务平均 2.52M 的 Token 消耗量便达成了 26.1% 的成功率，创下了全组最低的“单位成功率 Token 预算”。作为对比，Gemini 3 Flash 的单任务消耗高达 5.81MTokens，但成功率却仅有 19.0%。 

执行效率角度：Qwen 3.5 兼具可用性和动作效率。单次任务轨迹的工具调用次数进一步拉开了各模型在执行效率上的差距。

Qwen 3.5 堪称兼具可用性与动作效率的典范，单任务平均仅需 42 次工具调用即可实现 26.1% 的成功率。

而 GPT-5.4 的平均调用次数虽低至 13 次，但其成功率也断崖式下跌至 6.5%；其余六款参测模型的工具调用量则密集分布在 52 次至 86 次之间。

总体测试结果表明，即使是在现有基准测试中表现优异的模型，在面对真实网页的防机器人机制、复杂的验证流程以及多步骤交互时，依然显得力不从心。

因此，在ClawBench上取得进展，将使模型更接近能够真正作为通用助手运行的AI Agent。

模型失败分析：失败不是因为「不够聪明」，而是因为「不够像人」

ClawBench 的真正价值不在于又一个排行榜，而在于它对失败模式的精细诊断。论文分析了 1,224 次 Agent 运行（8 模型 × 153 任务）的五层轨迹，揭示了四个层次的问题。

1. 多数失败情况，都是因为反爬虫拦截机制而陷入了无效重试循环，反复进行页面快照刷新，或是多次尝试提交最终状态所导致；并非因为简单的“探索不足”。

失败的执行流程往往会产生更多浏览器交互行为。下图是 Sonnet 4.6 和 Gemini 3 Flash 的通过/失败轨迹的工具调用分布对比。

研究团队统计了 437 条智能体消息日志中的浏览器工具调用次数，同时剔除了会造成原始操作流数据虚高的被动页面刷新行为。

如对 Claude Sonnet 4.6 与 Gemini 3 Flash 在正常启动的执行流程中的表现进行对比发现，两款模型均呈现出同一规律：失败流程的工具调用次数多于成功流程。

其中 Claude Sonnet 4.6 成功流程的工具调用次数中位数为 64 次，失败流程则为 120 次；Gemini 3 Flash 成功流程的工具调用次数中位数为 45 次，失败流程为 74 次。

失败流程的调用次数还呈现明显的右偏分布，Claude Sonnet 4.6 的单次最高调用量达 354 次，Gemini 3 Flash 则为 263 次。

这说明失败不是因为 Agent 探索不够。恰恰相反，很多失败是无效死循环：在反爬墙上反复撞、在同一个表单上反复截图、在最后一步前反复犹豫。因此，少即是多。

2. 通过工具调用构成与阶段定位，确认 AI Agent 错误症结在于在最终确认环节犹豫。

单凭工具调用的绝对数量，很难判断 Agent 到底是在单纯浏览页面、填写表单，还是在尝试执行最终的“改变状态”操作。

针对此问题，研究团队通过对动作类型精细拆解：将 Agent 交互中的每一次工具调用精准分类，并按模型和执行结果进行了横向对比。团队发现：症结不在基础交互，而在最后一步。

数据分析揭示，常规的点击与输入行为并未发生显著偏移，这并非导致任务失败的主因。

例如，Sonnet 4.6 在成功任务中的点击/输入占比分别为 25% 和 15%，在失败任务中为 20% 和 16%；Gemini 3 Flash 的成功占比为 30% 和 28%，失败占比为 28% 和 21%。

然而，失败案例呈现出一个极具反差的特征：总交互量更高，但“终端确认（terminal-commitment）”动作的占比却异常萎缩。在所有失败任务中，最终执行确认点击或输入的动作频率始终明显低于成功任务。

3. 各模型的失败模式截然不同：

以 Sonnet 4.6 的 26 个失败样本分析举例，论文将失败模式系统分为了六大类。

针对不同的模型，同样是低成功率，背后的失败机制完全不同。论文中共有四大失败机制：agent_idle（无动作超时），time_limit_exceeded（超时），unknown（未知），agent_exited（主动退出）。

• Gemini 3.1 Flash Lite（3.3%）：131/153 次运行因  agent_idle （无动作超时）终止——它不是“做错”，而是常常根本没开始做。

• GLM-5（24.2%）：69/153 次运行触达 30 分钟 wall-clock 上限——它很努力，但陷入了无生产力的耗时循环。

• GPT-5.4（6.5%）：85/153 次运行以  agent_exited （主动退出）结束——它在还有时间的情况下主动放弃。

这些差异说明：评估真实网页 Agent 需要多维度指标。防止提前退出、在真实网站摩擦中持续行动、以及在最后一步敢于“确认”，是三件不同的事情。

4. Agent交互模式明显脱离于人类行为特征：

AI Agent 与人类操作者在相同浏览器环境中的底层交互模式完全不同。

Agent 在执行任务时生成的合成事件（synthetic events）具有异于常人的打字速度，不连续的鼠标轨迹，和粗糙跳跃的页面滚动等特点，而现代反爬虫系统正是通过这些特征检测和拦截自动化流量。

这直接暴露了 Agent 在对应真实网站的 反自动化检测机制时的脆弱性，很大程度上解释了为什么它们频繁被 Cloudflare Turnstile、DataDome 等反爬系统拦截。

研究团队认为，未来 Agent 系统迫切需要引入基于真实人类行为逻辑的交互模型，才能从根本上提升 AI Agent 在真实网络环境中的生存与执行能力。

这些迥异的失败样本深刻表明，未来衡量真实网页环境下的 Agent 的能力需要从以下三个独立维度展开，而非局限于单一的胜率指标：

• 防退场能力（preventing premature exit）：如何有效防止模型在任务中途过早退出。

• 抗摩擦能力（sustaining action through live-site friction）：在充满动态阻碍的真实网站环境中，如何维持代理的持续行动力。

• 终结执行力（committing safely at the final step）：在流程的最后一步，如何保障代理安全、果断地完成最终的提交动作。

Clawbench 典型案例研究：溯本求源“翻车现场”

除却宏观视角分析，论文公开了多个完整案例，将“为什么失败”从统计数字变成了可以触摸的具体场景。

案例 1：“最后一公里”弃单（Sonnet 4.6, Soko Glam）

任务：在韩国护肤品网站 Soko Glam 上，购买一瓶洁面乳和一瓶精华液，加入购物车并完成结账。

Sonnet 4.6 几乎完美执行了整个流程：定位到正确商品集合、添加两件商品、进入结账页面、开始填写配送地址（邮箱、名、姓均正确填入），但——在输入街道地址的中途停止了。

没有点击 “Continue to Shipping”，没有发出最终提交请求。Judge 判定：失败。

在该案例中，每一步准备操作都是正确的。失败的原因仅仅是缺少了最终的提交动作。如果仅靠 schema 去检查拦截请求，那么这个案例中会得出假阳性的结果。

因此，实验设计中的人类参考轨迹验证这一步骤显得尤其重要。

案例 2：识别出 CAPTCHA（人工验证）后擅自切换网站（GLM-5, Zillow）

任务：在 Zillow 上搜索多伦多市中心月租 $3500 以下的一居室公寓，选择一间并提交租赁申请。

GLM-5 到达 Zillow 后立即被 CAPTCHA 阻止，反复尝试不同入口均失败后，它自行切换到了 viewit.ca：一个完全不同的网站。并且 agent 在那里只到达了搜索框，最终以 agent_idle 结束。

在这个案例中，识别出障碍 ≠ 能克服障碍。“我被打败了”的正确诊断不会自动带来有效的恢复策略。

其次，擅自切换平台是致命的。任务明确要求“在 Zillow 上”，Agent 不仅没有完成任务，还违反了平台约束。

这种行为在真实场景里尤其危险：如果它有你的信用卡信息，在没有 CAPTCHA 保护的山寨网站上下单，后果可想而知。

案例 3：agent 说的成功是真的成功吗？（Sonnet 4.6, DoorDash）

任务：在 DoorDash 下单：一个 Big Mac + 一份 20 块麦乐鸡，选择最快配送。

Sonnet 4.6 导航到了正确平台、添加了商品，然后断言“两种商品都已正确添加”。但实际发送的终端请求中缺少必需的  cartId  字段，验证器报错——订单根本没有被创建。

Agent 的自我感觉良好和服务器实际状态之间存在巨大鸿沟。这就是为什么 ClawBench 坚持用拦截的 HTTP payload 做 ground truth 验证，而不是问 Agent 是否完成。

另外，错误产品变体也是一个值得警惕的失败类型：Agent 理解了语义层面的大方向（点麦乐鸡），但在具体 SKU 选择上出了错，这种偏差在真实购物场景里比比皆是。

案例 4：交叉框架鲁棒性可能比预想的更重要 （Qwen 3.5 × Insurify 车险报价）

任务：在 Insurify 上完成一份汽车保险报价：填写个人信息、驾驶员信息、车辆信息、居住信息、保险覆盖需求，走完约 40 屏的级联表单，拿到最终报价对比页面。

这是 ClawBench 里最复杂的长表单任务之一。在全体模型中，Qwen 3.5 的表现最为惊艳：160 次操作、94 个 turn、499 秒。

Agent 的策略是单调的“截图→理解→填一个字段→截图→理解→填下一个字段”循环，没有回溯与多余操作。

中途解决了两个级联依赖的坑：一个是加拿大邮政编码被美国 ZIP 格式校验拒绝（Qwen 把同样的数字重新输入为 US ZIP 格式通过了），另一个是在一个 split date 控件上需要切换输入方式。

两次问题都自行恢复，没有卡死。最终成功导航到 Insurify，用个人信息和车辆详情完成了车险报价表单，获得最终报价结果和保险方案对比。

针对该任务，GPT-5.4 在 0 次操作时就退出了，Gemini 3.1 Flash Lite 在 9 次操作后闲置终止。

这两家闭源模型完全失败的任务，被一个开源模型用最朴实的方法完成了。

成功的关键因素不是什么高级推理能力，而是极其朴素的执行纪律：一屏一次推进、不回溯、缺信息用保守默认值、遇到校验错误换格式重试。

这暗示了当前 web agent 的瓶颈可能不在模型的聪明程度，而在于交互框架的鲁棒性设计。

案例 5：行为策略导致不同结果（Qwen 3.5，GPT-5.4，Gemini 3 Flash，Doodle 日历排期）

任务：在 Doodle 上创建一个多时段投票，供小组选择会议时间。

论文选了三个模型的轨迹做对比。同一个任务，不同的模型间因为执行纪律，效果存在巨大差距：

Qwen 3.5 朴素策略（成功）：40 个 assistant turn，约 4.5 分钟完成。策略非常朴实。把日历当日历用，一个时间格一个时间格地线性推进。中途发现某一步走了弯路，自我纠正后继续。

没有炫技，没有多余的 JavaScript 注入，就是老实填表。

GPT-5.4 过度工程化+遇挫即退（提前放弃）：47 个 turn，有效活动时间约 5 分钟。

在同一个时间/时区选择网格上卡住后，GPT-5.4 的方案是写一段 JavaScript 代码来自动化绕过这个 UI 组件：结果代码跑失败了，然后它就退出了。

Gemini 3 Flash 陷入死循环：163 个 turn，整整跑了 25 分钟直到触碰超时上限。在同一个时间/时区网格上陷入无状态变化的死循环：反复截图、反复尝试同样的操作、反复得到同样的结果。

论文中使用 thrashing（徒劳抖动）来描述这一状态。

三个模型在任务开始时的规划都是正确的，差距出在执行纪律上：Qwen 线性推进、遇错自纠；GPT 过度设计、一挫即退；Gemini 僵死在同一个 UI 组件上反复摩擦。

这不是知识差距，而是行为策略的差距。

启示与反思

ClawBench 的发现超出了"网页 Agent 还需要改进"这一泛泛结论，给出了几个具体的行业启示：

1. 实验室跑分 ≠ 真实世界能力。同一模型在 WebArena 上 80%+，在 ClawBench 上 33% —— 40+ 个百分点的差距暗示，当前主流评测框架系统性高估了 Agent 的实际能力。

真实网页的复杂性（动态 DOM、反爬虫、表单校验、认证流）构成了一道沙箱无法模拟的"现实鸿沟"。

2. Agent 失败是多维度的，需要分层诊断。单看成功率会掩盖本质差异：有的模型因提前退出而失败（GPT-5.4），有的因死循环耗尽时间而失败（GLM-5），有的因在最后一刻犹豫而失败（多个模型）。五层轨迹录制为此提供了必要的可见性。

3. “敢于确认”是一个被忽视的能力维度。写重型任务区别于读任务的本质，在于最后那一步——点击 Submit、Confirm、Place Order。

ClawBench 发现了惊人的"最后一公里问题"：Agent 走到最后一步之前，却缺乏执行写操作的"承诺意志"。这可能根源于 RLHF 安全训练——模型被训练得对具有现实后果的操作过度保守。

4. 交互行为本身就是一个安全信号。人类与 Agent 的交互指纹差异巨大（按键速度差 15-90 倍，鼠标轨迹完全缺失），这既是反爬虫系统拦截 Agent 的原因，也是未来 Agent 需要学习的“行为伪装”能力。

让 Agent “更接近人类的方式操作网页”，不仅是性能优化，更是生存技能。

5. 真实网页评测的成本和可复现性需要权衡。ClawBench 选择了生态效度优先——在真实网站上评测不可避免地引入网站布局变化、A/B 测试、地域差异等噪声。

论文通过人类参考轨迹、拦截 payload 和五层轨迹记录来缓解复现性问题，但单次运行的成本（需要实时会话、模型调用、网络检测、轨迹判定）远高于沙箱评测。

总结

ClawBench 提供了一个针对真实日常生活工作流的测试评估框架，为评估下一代 AI Agent 提供了一个直面真实世界未解决问题的测试平台。

允许用户在真实生产环境中的网站上运行，保留了现实世界网页环境的完整复杂性、动态特性和交互挑战，并确保在不产生现实副作用的情况下安全评估。

ClawBench 的价值不仅仅在于给出“谁家模型最强”的榜单，更是重新校准了我们对 AI Agent 真实能力的预期。当一个模型在 WebArena 上拿到 80% 却在真实网购任务上翻车时，问题不在于模型排名，而在于我们一直以来的评测方式。

从“读网页”到“写网页”，从沙箱到生产环境，从虚拟页面到反爬虫系统。每一个跨越都在提醒我们：AI 替你上网办事这件事，比想象中难得多。

当前模型在执行真实世界任务时仍然存有巨大短板与差距。解决这些问题，将是我们迈向真正通用AI助手的关键一步。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

越想越久，不必越算越贵

一条推理链越来越长之后，模型究竟需要记住多少？

按照标准全注意力的做法，答案几乎是全部。

此前完成的计算、中间步骤、不断累积的推理历史，都会继续留在后续注意力范围里。推理越长，每生成一个新 token 的成本也随之上涨。

问题在于，模型真的还需要反复回看这些已经过去的中间步骤吗？

最近，斯坦福、华盛顿大学等机构的一项联合研究从这里切入，吴恩达、Yejin Choi、Percy Liang 等参与其中。

团队提出 Prefix Sliding，只长期保留任务前缀和最近的推理窗口，让更早的中间 token 逐步退出后续注意力计算。

最终，现有模型无需重新训练，长思考最高约 3 倍提速。用于强化学习后，单条推理轨迹还能扩展到 10 万 token 以上。

论文标题：

Prefix Sliding for efficient test-time scaling

论文地址：

https://arxiv.org/abs/2608.26070

代码地址：

https://github.com/Muennighoff/prefix-sliding

注意力为何集中在推理两端

全注意力的代价会随着推理链长度持续上升，但模型对这些历史 token 的使用并不均匀。

团队分析 Qwen3-1.7B 在 AIME25 上的一条推理轨迹后发现，注意力呈现出明显的“两头高、中间低”。

最前面的 Prefix 和最近生成的一段 token 获得更多关注，中间大量推理 token 的注意力则整体处于低位。

〓长推理中的注意力主要集中在前缀和最近生成的 token

Prefix 中保存着系统指令、任务描述和工具信息，其中最前面的几个 token，尤其前 4 个 token，还承担 attention sink 的作用。最近生成的 token 则对应模型当前正在处理的问题。

论文用一个简单算式 ((42 + 84) × 4) - 5 为例：完成 42 + 84 后，后续计算可能只需要这个结果，不再需要保留此前完整的推理过程。

这也构成了 Prefix Sliding 的直接动机：后续计算未必需要始终携带完整的推理历史。

Prefix Sliding如何丢掉中间Token？

Prefix Sliding 固定保留任务前缀，最近 W 个推理 token 构成滑动窗口。随着生成继续，更早的中间 token 会逐步从后续注意力计算所使用的 KV Cache 中移除。

假设 Prefix 有 100 token、窗口为 4096，即使完整推理已经达到 10 万 token，后续注意力计算最多只需保留约 4196 token。

窗口填满后，单步成本不再随着完整推理链增长。

〓Prefix 固定保留，最近的推理 token 随窗口向前移动

普通滑动窗口会让最开始的任务信息逐步移出窗口，Prefix Sliding 则始终保留 Prefix。

团队最终采用 Continue PE。附录在 AIME25 上的实验显示，它与 Reset PE 表现相近，同时无需反复应用新的位置编码，可以直接复用已有缓存表示，计算更高效。

团队还针对 NVIDIA Hopper 实现了专用 FlashAttention 内核。

对完全位于 Prefix 和滑动窗口之外的 tile 直接跳过，对与有效区域部分重叠的 tile 做元素级 Mask，从而减少无效加载和计算，实际速度也接近普通滑动窗口的实现。

〓窗口填满后，Prefix Sliding 的生成吞吐趋于稳定

无需训练最高提速3倍，RL扩展到10万Token

在无需额外训练的设置下，作者以 Qwen3-1.7B 为主模型，在 AIME25、GPQA 和 MATH500 上进行评测。

Prefix Sliding 的优势来自同样思考时间内可以生成更多 token，并非单个 token 本身质量变高。

以 4096 token 窗口为例，Prefix Sliding 在 AIME25、GPQA 和 MATH500 上与全注意力表现接近，但在长序列下吞吐明显更高，128K 时达到 5224 tok/s，而全注意力只有 448 tok/s。

〓相同思考时间下，Prefix Sliding 可以生成更多推理 token

这里的“3 倍”比较的是相近任务表现下的思考时间，并非直接比较上述吞吐数字。

〓相同思考时间下，Prefix Sliding 可以生成更多推理 token

强化学习阶段，Prefix Sliding 还能将 rollout 扩展到10 万 token 以上。为避免对整条超长轨迹做完整反向传播，作者采用截断反向传播。

滑动窗口跨多层的理论感受野可达 W×L，不过作者援引已有分析指出，受信息瓶颈影响，实际有效感受野更接近约 1.5×W，因此对最后一个窗口进行反向传播时，只需提供此前有限的上下文。

〓超长推理轨迹可以采用分块或截断反向传播

例如一条 10 万 token 的轨迹，窗口为 2048 时，训练端只接收最后 8192 token，前 6144 token 作为上下文，最后 2048 token 计算 RL loss。

实验显示，只保留 1 倍窗口会导致较大的 KL 偏差，扩大到 2 倍后明显下降，4 倍已经与 8 倍基本接近，因此主实验采用 4 倍窗口。

〓传入更多历史 token 后，截断反向传播的 KL 偏差迅速下降

附录还在 DeepSeek-R1-Distill-Qwen-7B 上进行了一次规模较小的异步 RL 实验。

结果显示，在训练端输入 32768 token、Prefix Sliding 只对最后 8192 token 反向传播的设置下，训练奖励和 AIME24 表现与全注意力相当。

〓7B 模型上，截断反向传播与全注意力表现相当

作者也明确指出，更大规模、更长推理链上的表现仍需进一步验证。

在相近的内存预算下，全注意力最大长度为 8192 token，Prefix Sliding 则将最大生成长度逐步提高到 104K，并获得更高的训练奖励。

〓相近内存预算下，Prefix Sliding 支撑更长的强化学习轨迹

中间Token并非都能丢

结语

Prefix Sliding 把长推理的效率问题进一步具体化为一个上下文管理问题：已经生成的历史信息，到底需要保留多久。

哪些信息应该长期保留在 Prefix 中，哪些可以随窗口移出，仍然需要更细致的上下文管理策略。在代码任务、Agent 场景中的大体量工具输出以及多轮交互中，是否还需要额外的记忆机制，也没有定论。

现有结果表明，固定前缀加滑动窗口能够显著降低超长推理成本，但它在更大模型、更复杂的长期任务上的适用范围仍需后续验证。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

图像修复因图而异

背景挑战

图像修复面对的退化天然具有很强的输入依赖性。即使属于同一种任务，不同图像的退化程度、空间分布和频率组成也可能截然不同。

同样是低光，一张图像可能主要存在整体照度不足，另一张图像真正缺失的却是暗部纹理；同样是去雨，不同场景中的雨纹密度、尺度和方向也可能完全不同。

但大多数恢复模型在训练完成后，仍主要依赖一套共享参数处理不同测试图像。模型当然可以产生不同的 feature response，但决定“如何恢复”的核心规则，仍主要来自训练阶段学到的共享参数。

这让我们进一步思考：如果 degradation 本身是 instance-specific 的，那么 restoration operator 是否也应该是 instance-specific 的？

基于这一思考，我们提出 TTTIR，将图像修复重新表述为 Instance-Specific State Evolution，让当前图像参与决定自己应该如何被恢复。

代码地址：

https://github.com/Elysiaaaaaaaa/TTTIR.git

论文地址：

http://doi.org/10.13140/RG.2.2.32985.48485

核心问题

TTT 让 optimization 本身成为 forward computation 的一部分。当前输入产生内部学习信号，并通过梯度更新轻量 fast weights。

于是，测试图像不再只是网络的输入，也开始参与决定当前 forward 中实际使用的算子。

但仅仅让 operator 能够针对当前图像变化还不够。

标准 TTT 更关注对当前输入或上下文的建模，而图像修复具有明确的恢复方向：当前退化状态并不是需要被重建的终点，而应该继续向结构更完整、细节更丰富的状态演化。

因此，将 TTT 引入图像修复的关键，不只是让模型“能够变化”，还需要告诉它“下一步应该往哪里变化”。

方法概览

〓 Figure 1: TTTIR 的整体结构

基于这一问题，TTTIR 将图像修复建模为 progressive state evolution，并把整个过程拆成两个连续的问题：下一步应该向什么状态演化，以及针对当前图像应该如何完成这一步转移。

PSSG 负责前一个问题。它从空间和频率两个互补维度构造一系列渐进目标状态，将从全局结构恢复到局部细节重建的过程显式组织成一条 target trajectory，为 inner-loop 提供明确的 restoration direction。

STE 则负责“如何完成转移”。它将下一目标状态作为 inner-loop guidance，并利用当前状态与下一目标状态构造内部学习信号，动态更新轻量 transition operator。

由于这一更新由当前图像及其目标状态共同决定，不同输入会形成不同的 operator trajectory，从而实现 image-specific state transition。

〓 Algorithm 1：TTTIR 中渐进目标状态生成与状态转移演化的完整流程。

实验结果

TTTIR 在低光增强、去雨、去雨滴和去雾等多个图像修复 benchmark 上进行了验证。

〓 Table 1：低光增强实验结果

〓 Table 2：去雨实验结果

〓 Table 3：去噪实验结果

在定量性能上，LOL-v2-Real 达到 30.78 dB / 0.9070 SSIM，五个 rain streak removal benchmark 平均达到 32.35 dB / 0.918 SSIM，Haze4K 达到 28.06 dB / 0.970 SSIM。

同时，当前低光配置仅包含 0.787M 参数。

除了最终恢复性能，我们更希望验证两个与核心设计直接相关的问题：构造的状态是否真的具有渐进性？不同图像是否真的形成了不同的转移算子？

〓 Figure 2:（a）面向图像修复的 TTT 内循环；（b）不同演化层级下目标状态的 DWT 能量分布；（c）不同图像在各恢复阶段诱导产生的内循环权重更新相对幅度。

从 state evolution 角度看，Figure 2(b) 中不同 target state 的 DWT energy distribution 呈现出从低频结构信息逐渐向高频细节迁移的趋势，与设计中的 Structure Recovery → Detail Reconstruction 相一致。

这表明不同 restoration states 并不是简单重复的中间表示，而是在演化过程中承担着不同的恢复角色。

从 operator evolution 的角度看，Figure 2(c) 显示，不同测试图像在多个 restoration stage 中产生了不同的 relative operator updates，即不同输入确实诱导出了不同的 fast-weight 更新轨迹。

这两组分析分别从 state 和 operator 两个层面验证了 TTTIR：前者体现 Progressive，后者则进一步体现 Image-Specific。

〓 Figure 3：不同输入分辨率下的推理速度与 GPU 显存占用对比。

在参数量可比的设置下，TTTIR 在相同输入分辨率下保持了较低的推理开销和 GPU 显存占用，表明其在高分辨率图像上具有良好的 scalability。

〓 Table 4：关键模块与目标状态设计的消融实验。

消融结果表明，PSSG 与 STE 均能带来稳定增益；将 Next-State Target 替换为 Current-State Target 后性能下降，也进一步验证了 restoration-oriented state transition 的必要性。

总结与展望

TTTIR 并不是简单将 TTT 移植到图像修复，而是重新思考了 TTT inner-loop 在 restoration 中应该学习什么：从重建当前状态，转向学习下一步的状态转移。

通过显式的恢复方向与输入驱动的 operator adaptation，不同图像最终形成各自的状态演化过程。

从这个角度看，Image-Specific 的核心并不是放弃共享知识，而是重新思考 shared knowledge 与 instance-specific computation 之间的边界。

前者提供稳定的恢复能力，后者针对当前图像动态调整状态转移，使共享恢复知识能够进一步适应具体实例。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

让机器人先预演再行动

李飞飞、吴佳俊团队，最近又在机器人世界模型上推进了一步。

这项工作从策略模型和世界模型之间的信息接口切入。现有这类方法通常把机器人动作作为世界模型的条件信号，但动作依赖具体机器人本体，也很难直接描述图像空间中任务相关点接下来如何运动。

研究团队于是把视觉轨迹（Visual Tracks）放到了控制与预测之间，让策略模型同时给出动作和对应的视觉轨迹，再由世界模型根据轨迹预演未来。

基于这套思路，他们提出了 TrAct，用视觉轨迹串起策略生成、未来预测和动作选择。

论文标题：

TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks

论文地址：

https://arxiv.org/pdf/2608.24101

一旦任务开始变难，视觉轨迹的优势就出来了。

以 π0.5 为基线，TrAct 在 LIBERO-INTEGRAL 上将平均成功率从 27% 提升到 55%；真实 Franka 面对未见任务和背景变化时，也从 49% 提升到 76%。而且，世界模型对未来的预测也更准了。

动作为什么不是理想接口？

机器人动作通常是低维、与具体本体绑定的控制指令。Franka 和 UR5 即便完成相似操作，也可能需要不同的控制指令。

同一动作最终产生什么视觉结果，又取决于场景几何、物体状态和接触动态。世界模型需要从这些稀疏、与本体相关的指令中推断稠密的视觉未来。

论文引用的已有研究甚至发现，动作条件视频模型可能忽略错误动作，更多依赖视觉先验生成看似合理的结果。

视觉轨迹则直接描述任务相关点在图像空间里如何移动，为未来预测提供更明确的空间约束。

视觉轨迹如何连接控制与预测？

TrAct 由 VLAT、TWM 和 VLAC 三部分组成。

VLAT 建立在 π0.5 上，根据当前观测和语言指令，同时生成多组动作与视觉轨迹。两者联合预测、成对输出，轨迹并不是由动作再转换得到。

视觉轨迹描述的是任务相关点随时间在图像空间中的二维运动。模型会跟踪夹爪上的 7 个关键点，腕部视角还加入 5×5 个均匀采样的场景点，为场景和相机运动提供参照。

随后，TWM 根据当前观测和这些轨迹生成未来视频。它以 Stable Video Diffusion 为骨干，通过 ControlNet 将视觉轨迹编码为空间控制条件。

作为直接对照，团队还训练了动作条件世界模型 AWM。两种世界模型使用相同的预训练数据和下游微调数据。

候选视频生成后，VLAC 根据任务指令逐一打分，系统再执行最高分结果对应的动作。每个决策步，仿真采样 20 组候选，真机采样 16 组。

〓TrAct 的策略生成、未来预测与结果筛选流程

此前已经有工作把二维点轨迹、光流用于策略表示，也有研究用视觉运动来条件化世界模型。TrAct 的区别，是进一步让这种中间表示进入基于视觉未来的任务评估闭环。 

世界模型想得更准，机器人才能选得更准

动作条件世界模型容易出现夹爪姿态错误、物体消失、跨视角位置不一致等问题。改用视觉轨迹后，未来视频的空间位置更准确，运动也更连贯。

在真实与仿真、外部视角（agent view）与腕部视角（wrist view）下，TWM 在五项视频指标上全部优于 AWM。

以仿真外部视角为例，PSNR 从 15.12 提升到 24.51，LPIPS 从 0.438 降到 0.106，FVD 从 129 降到 38。

LIBERO-INTEGRAL 中，π0.5 的平均成功率为 27%；联合预测动作和视觉轨迹后，VLAT 升至 44%；加入动作条件世界模型筛选达到 49%；采用轨迹条件世界模型后，TrAct 进一步达到 55%。

VLAT+AWM 与 TrAct 沿用同一套 VLAT 候选生成和 VLAC 筛选流程，主要区别在世界模型的条件信号：前者使用动作，后者使用视觉轨迹。

在三个独立随机种子下重新评估，TrAct 的平均成功率为 54.7%，VLAT+AWM 为 49.0%，两者 95% 置信区间没有重叠。

〓轨迹条件与动作条件世界模型的视频预测质量

LIBERO-INTEGRAL 在不同分布偏移与跨本体设置下的结果。

从未见背景到 UR5，泛化才是关键

标准 LIBERO 已经接近饱和，π0.5 和 TrAct 的平均成功率分别为 96.8% 和 98.3%。

因此团队进一步构造 LIBERO-INTEGRAL，加入物体替换、物体位置、任务设定、相机视角和机器人初始状态等变化，以及 Franka→UR5 的跨本体测试。

其中跨本体一项，π0.5 只有 17%，TrAct 达到 50%。

真实机器人实验中，团队在 Franka 上收集了 400 条演示，覆盖 4 个训练任务，并用这些数据微调模型。

随后测试 5 个训练中没出现过的操作任务，每个任务都分别在训练背景和一个视觉差异明显的未见背景下测试。

〓真实机器人任务中的执行序列与轨迹预测

最终 π0.5、VLAT+AWM 和 TrAct 的平均成功率分别为 49%、66% 和 76%。

未见背景下差距更明显。关柜门任务中，VLAT+AWM 的成功率只有 40%，TrAct 仍达到 70%。绿块入碗和倒意面任务上也有约 20 个百分点优势。

论文认为，轨迹条件直接约束了图像空间中的运动，因此在背景变化下更稳健。

〓训练背景与未见背景下的真实机器人轨迹预测

这种统一轨迹表示还让 DROID 机器人数据和 EgoDex 人类第一视角视频共享同一个轨迹预测目标。

EgoDex 中的人手运动和机器人可执行动作无法用同一套控制参数表示，因此只用来监督视觉轨迹，机器人数据则同时监督轨迹与动作。

扩大预训练数据后，TrAct+ 在选取的 5 个最困难 UR5 任务上，从 32% 进一步提升到 38%。

结语

TrAct 最终执行的仍是机器人动作，真正变化的是策略模型与世界模型之间的信息接口。

在这里，视觉轨迹更像是一种共同语言：一头连着机器人的控制，一头连着世界模型对未来的预测。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

低比特也能学得更好

©PaperWeekly 原创·作者 | 陈彦龙

单位 | ETH Zurich硕士

研究方向 | 量化感知训练与知识蒸馏

引言：先蒸馏再量化，错在哪里

视觉语言模型要落到手机、车机、边缘设备上，通常要同时做两件事：把模型变小（知识蒸馏，KD），把权重变窄（量化，Quantization）。

主流做法是把它们排成流水线：先用大模型蒸馏出一个小模型，再对这个小模型做训练后量化（PTQ）。这条路线在 8-bit 上还算稳妥，一旦压到 4-bit 就会明显掉点。

问题出在两个环节各自为战：

蒸馏阶段不知道后面要被量化。学生模型在全精度下学到的表示，可能分布尖锐、动态范围大、离群值多，恰恰是最不适合低比特表示的那一类。蒸馏优化得越好，量化时反而摔得越重。

量化阶段已经没有教师可用。PTQ 只有一小批校准数据和一个已经定型的学生，量化误差引入的表示偏移无法再被纠正。教师那边的知识此时已经用完了。

也就是说，两个阶段各自的最优解拼在一起，并不是整体的最优解。

针对这个问题，我们提出了 GRACE，一个把量化感知训练（QAT）与知识蒸馏在同一目标下联合优化的框架。

论文标题：

GRACE: Gated Relational Alignment via Confidence-based Distillation

论文链接：

https://arxiv.org/abs/2601.22709

代码链接：

https://github.com/ForeverBlue816/GRACE

模型权重：

https://huggingface.co/ForeverBlue

在 Qwen2-VL 7B→2B 上，4-bit 的 GRACE 学生模型八项基准平均分达到 68.0，超过 BF16 学生基线 4.0 个点，也超过此前最强的 4-bit 方法 SPEED-Q 5.7 个点，与 7B 全精度教师的差距压缩到 3.7 个点以内。

论文已被 ICML 2026 接收，代码与量化后的模型权重全部开源。

〓 图1. 精度与模型开销的帕累托对比。GRACE 的量化学生模型位于现有方法构成的前沿之外，在更低的显存开销下取得更高的平均精度。

核心洞察：让学生在“戴着镣铐”的状态下学

GRACE 的出发点是信息瓶颈（Information Bottleneck，IB）视角下的一个观察：低比特权重限制了学生能够承载的表示复杂度，因此学生不应该去复刻教师的全部输出，而应该有选择地保留那些真正影响决策的信息。

由此引出三个具体的设计问题：

1. 教师的哪些输出值得学？教师本身也会出错，在它自己都没把握的样本上强行对齐，学到的是噪声。

2. 除了输出分布，还有什么值得对齐？视觉 token 之间的关系结构，在量化后往往比数值本身更脆弱。

3. 蒸馏和量化的目标怎么配平？固定权重的多项损失加权，在训练不同阶段几乎必然失衡。

GRACE 的四个模块分别回应这几点。

〓 图2. GRACE 整体框架。学生在量化约束下训练，GDKD 负责置信度门控的输出对齐，RCKA 负责视觉 token 关系对齐，自适应 IB 控制器动态配平两者与任务损失。

方法

3.1 GDKD：按教师置信度给蒸馏信号打折

教师在简单样本上给出的分布尖锐可靠，在困难样本上则接近均匀甚至指向错误答案。GDKD 用教师输出分布的归一化熵构造一个门控权重：教师越确定，蒸馏权重越高；教师越犹豫，权重越低。

这个门控不是拍脑袋设的。Fano 不等式给出了条件熵与预测错误率之间的联系，熵越高意味着可达到的错误率下界越高。以归一化熵作为置信度代理，与"高熵样本的监督信号更不可靠"这一直觉在理论上是一致的。

在此基础上，蒸馏损失沿用解耦知识蒸馏的思路，拆成目标类与非目标类两部分分别加权，避免高置信样本上目标类概率主导整个梯度。

3.2 RCKA：对齐视觉 token 之间的关系，而不是数值

量化会扰动每个 token 的激活数值，但同一张图里 token 之间的相对关系结构相对稳定，也更接近模型真正利用的语义信息。

RCKA 在 LLM 倒数第二层取出视觉 token 的表示，计算 token 之间的 Gram 矩阵，用中心核对齐（CKA）度量师生两侧关系结构的一致性。

CKA 对表示的正交变换和整体缩放不敏感，正好适合学生维度低于教师、且数值被量化扰动的场景。

取倒数第二层是消融后的选择：更浅的层语义不足，最后一层已经过度贴合词表输出。

关系对齐带来的效果在注意力图上看得很直接。

对于“这个人在喂羊驼吃什么”这类需要定位交互对象的问题，标准 KD 训练出的学生注意力较为发散，而 GRACE 的注意力更集中在胡萝卜以及喂食这一交互区域上，视觉定位能力明显更强。

〓 图3. 多层注意力可视化对比。问题为"这个人在喂羊驼吃什么"，GRACE 相比标准 KD 更准确地聚焦在胡萝卜和喂食交互区域。

3.3 自适应 IB 控制器：不再手调损失权重

任务损失、蒸馏损失、关系对齐损失三者的权重如果固定，训练早期蒸馏项主导、后期任务项主导，几乎无法一次调好。

GRACE 把它写成一个带约束的优化问题：在蒸馏损失不超过阈值 τ 的前提下最小化任务损失，再用拉格朗日对偶上升动态更新乘子 β。蒸馏损失超出阈值时 β 自动上升，压紧对齐；已经满足约束时 β 回落，把优化预算让给任务本身。

需要说明的是，这一部分是 IB 视角启发下的设计，而非对 IB 目标的严格实现，论文附录对此有完整讨论。

3.4 分组 LSQ：量化不是训练后才发生的事

权重量化在训练中就以可微形式参与前向，步长通过 LSQ 学习得到，并采用对数空间参数化保证正性、用分位数初始化避免早期步长震荡。分组粒度为 128，支持 W8G128 与 W4G128 两档精度。

学生因此从第一步起就是在量化约束下向教师对齐，而不是先学好再被压缩。

实验

4.1 主结果：4-bit 反超全精度基线

在 Qwen2-VL 7B→2B 设置下，GRACE 的三档精度全面超过 BF16 学生基线：

值得注意的是两个对比：

一是 4-bit 的 GRACE（68.0）比全精度的学生基线（64.0）还高 4 个点，说明联合训练带来的收益足以覆盖量化损失；

二是从 BF16 到 4-bit，GRACE 只掉了 1.2 个点，而其他 PTQ 方法在同样的 4-bit 下平均掉在 61 附近。

〓 图4. Qwen2-VL-2B 上与主流量化方法的完整对比（八项基准）。

在 Qwen3-VL 8B→2B 上结论一致，三档精度相对 BF16 基线（67.3）分别提升 9.4、8.6、7.7 个点。

〓 图5. Qwen3-VL 8B→2B 上的结果。

4.2 不止于仿真量化：真实 kernel 上的实测

很多量化工作只报告仿真量化（fake quantization）下的精度，即在训练框架内模拟低比特权重，并未真正部署。

我们在真实推理栈上做了端到端验证：INT4 使用 AWQ kernel，INT8 使用 GPTQ kernel，实测精度与仿真结果一致。

在 A100 上，我们进一步对比了 LLaVA-1.5 7B FP16 与 GRACE 7B INT4 的部署表现，覆盖显存占用、模型体积与推理吞吐三项指标。

INT4 版本在显存和体积上有数倍收益，同时因为 7B 规模的解码阶段以访存受限为主，权重位宽的下降也直接转化为吞吐提升。

需要说明的是，这一结论与模型规模有关。2B 量级的模型解码时更偏计算受限，量化的收益主要落在显存而非速度上。

〓 图6. A100 上 LLaVA-1.5 7B FP16 与 GRACE 7B INT4 的部署效率对比。（a）以 FP16 为 100% 基线的归一化指标；（b）INT4 量化带来的各项提升倍数。

总结

GRACE 的主张可以用一句话概括：模型压缩的两个环节不该分开做，因为它们优化的是同一个表示。

把量化约束提前引入蒸馏过程，让学生在低比特的表示预算下决定该向教师学什么、放弃什么，4-bit 的 2B 模型就能逼近全精度 7B 教师的水平。

整个框架不需要额外的教师微调，不依赖专有校准集，四个模块都可以单独插入现有的 QAT 或 KD 流程。

完整训练代码、评测脚本与量化后的模型权重已在 GitHub 与 HuggingFace 开源，欢迎试用与交流。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

四类循环一次理清

©作者 |白白小白

研究方向 |大模型、数据合成

AutoResearch = 基模 + Agent Loop。当基模固定时，方法循环设计成为了竞争的本质。

这篇文章讲一下 AutoResearch 发展到现在的几种常见循环设计。以及一个通用的分析框架，当有新的 AutoResearch 方法出现时，你可以使用这个分析框架直接得出这个新方法的优劣势。

四种循环

1.1 线性循环 Keep-or-Discard

代表系统：Karpathy autoresearch（2025）

线性循环是最简单也最直觉的循环设计：每次尝试一个想法，如果结果更好就保留，否则回退。

Karpathy 的 autoresearch 只有三个文件，循环逻辑由一个Markdown 指令（program.md）定义。

【初始化】与用户确认运行标签 → 创建 git 分支 → 读取所有源文件 → 验证数据 → 确认启动
【主循环】
    1. 检查 git 状态（当前分支和 commit）
    2. 修改 train.py，实现一个实验想法
    3. 提交 commit
    4. 运行实验（固定 5 分钟时间预算）
    5. 提取指标（val_bpb，越低越好）
    6. 若崩溃 → 尝试修复（最多几次）→ 重试或记录失败
    7. 将结果记录到 results.tsv
    8. 若 val_bpb 改善 → 保留 commit，推进分支
       否则 → git reset，回退到上一个基线

设计的最大亮点在于“固定 5 分钟的时间预算”这个约束选择，它迫使 Agent 思考的是"什么改动能在极短训练后就产生可测量的收益”，淘汰了那些需要训练很久才能看到效果的方案。

人类的参与在编辑完 program.md 后达到了最小化，这个循环不会停下来问人类的意见，而是会自主执行，直到人类手动中断。

但是简洁的同时也带来了很多结构性的局限：

1. 它无法并行探索多个方向；

2. 失败实验的经验没有被结构化保存（可能反复尝试同一个idea死循环）；

3. 短时间约束容易让框架陷入局部最优；

4. 只看最终指标这个标量反馈无法传达"为什么失败"，可解释性不够。

1.2 树搜索循环搜索

代表系统：AIDE（2024）、AI Scientist v2（2025）

树搜索的核心思想是：不要把解空间的探索限制在一条线性路径上，而是维护一棵搜索树，允许同时保持多个探索方向，并在任意节点发起新的分支。

树的每个节点是一个完整的代码解决方案，边是代码变换操作。

【初始化】创建根节点（空白方案或基线代码）
【主循环】重复 N 步：
    1. 选择：从树中挑选一个有潜力的节点
    2. 扩展：对该节点施加变换，生成子节点
       - 草稿：从头生成全新方案
       - 调试：修复当前节点的错误
       - 改进：在当前节点基础上优化
    3. 评估：运行代码，计算指标
    4. 回传：将结果添加到树中，更新节点统计
    5. 剪枝：移除明显无望的分支（可选）
【输出】树中找到的最优方案

树搜索相比线性循环的根本优势在于回溯能力和方案多样性。当某条路径走进死胡同时，线性循环只能通过 git reset 回到上一步然后尝试另一个方向，而树搜索可以回到树中任意一个历史节点重新出发。

听起来有点抽象，下面以 AIDE 的具体实现为例：

AIDE 中的每个节点是一个完整的、可独立运行的 Python 脚本，是一个从数据加载到模型训练到输出指标的完整 ML pipeline。

有三种算子类型（算子代表对节点的更改）：

Draft（草稿）是从零开始生成一个全新方案。LLM 收到的 prompt 包含：任务描述、当前所有成功方案的摘要（称为 Memory），以及"不要重复已有方案"的指令。

这确保每个 draft 尝试不同的建模方向——比如第一个 draft 可能用 XGBoost，第二个可能用神经网络，第三个可能用 feature engineering + 线性模型。

Debug（调试）针对有 bug 的节点。LLM 收到的 prompt 包含：完整的 buggy 代码、终端输出（包含报错信息和 traceback），以及"修复这个 bug"的指令。

LLM 需要阅读错误信息并产出修复后的完整代码。如果修复后仍然有 bug，可以继续 debug（直到深度上限）。

Improve（改进）针对已经能正常运行的节点。LLM 收到的 prompt 包含：当前方案的完整代码、所有成功方案的摘要，以及"提出一个单一的、可实验验证的改进"的指令。

关键约束是"atomic improvement"——每次只改一个东西（比如只换特征工程方法，或只换模型超参数），这样可以清楚地归因效果。

AIDE 认为有 bug 的节点代表已投入精力但尚未成功的探索方向，值得修复，所以会从有bug且为叶节点且调试深度没有达到上限的节点中随机选一个进行调试。如果存在好的节点，选择指标最好的那个节点，对其进行改进。

AIDE 采用的是贪婪策略——总是选当前最优节点做 improve。优势是收敛很快，但是如果Draft 1 很早就获得了好指标，后续所有 improve 都会集中在它的子树上，其他 draft 的子树被"饿死"。

MCTS 选择（ML-Master 等系统）用 UCB（Upper Confidence Bound）公式解决这个问题：

UCB(node) = 平均收益 + C × sqrt(ln(总访问次数) / 该节点访问次数)

第一项倾向于已知的好节点（利用），第二项倾向于被访问次数少的节点（探索）。系数 C 控制二者的平衡。

这意味着即使 Draft 5 的初始指标较差，只要它被访问的次数少，UCB 公式就会给它一个"好奇心加分"，使系统偶尔去探索它。

类似 AI Scientist v2 的工作则完全抛弃了公式化的选择策略，让 Agent 自主判断"现在应该深耕哪个方向"。这种方式的优势在于 Agent 可以利用语义理解做出更智能的选择。

1.3 遗传进化池循环

代表系统：FunSearch（2023）、AlphaEvolve（2024）、GEPA（2025）

遗传进化的核心思想来自生物演化：维护一个候选种群，通过选择优秀个体、对其施加突变（在这里由 LLM 完成）、评估后代的适应度，逐代推动种群向更优方向进化。

与树搜索不同的是，进化池中的个体之间没有严格的父子拓扑——任何个体都可以被选为突变的起点，多个个体可以被交叉组合。

【初始化】
    候选种群 P = {种子方案}
【主循环】直到预算耗尽：
    1. 选择：从种群中挑选父本（根据适应度加权采样）
    2. 突变：LLM 基于父本生成变体
    3. 评估：计算新候选的适应度
    4. 更新种群：若满足条件则加入种群
    5. 剪枝：移除被支配的候选
【输出】种群中的最优候选

FunSearch（DeepMind, 2023）使用 MAP-Elites 算法维护种群——不只保留最优个体，而是在多个行为维度的每个 niche 中都保留最优个体，从而维持种群的多样性。

但在 FunSearch 中，所有搜索规则（选择策略、评估标准、种群管理）都是人工硬编码的，LLM 只负责变体生成。

GEPA（2025）用文本反馈取代标量奖励来驱动突变方向。

具体而言，系统先对当前候选进行 rollout，记录完整的执行轨迹（包括每一步的推理过程、工具调用和输出），然后让 LLM 阅读这些轨迹来诊断问题、归因原因、提出有针对性的修改方案。

1.4 异步多 Agent 进化循环

代表系统：CORAL（2026）

前面三种循环本质上都是单一搜索过程（即使内部有多个角色参与，搜索的状态空间仍然是统一管理的）。

以 CORAL 为代表的方法使用多个 Agent 各自独立运行完整的搜索循环，通过共享持久记忆间接协调，无需任何显式通信协议。

【每个 Agent 独立运行】异步循环：
    a. 读取共享记忆（attempts/ notes/ skills/）
    b. 自主决定下一步动作（无固定顺序）：
       - 尝试新想法
       - 重访过去的某次尝试
       - 将成功经验封装为 skill
       - 记录失败模式到 notes
       - 评估当前方案
    c. 执行动作
    d. 将结果写回共享记忆
    e. 心跳检查（反思 / 整合 / 方向调整）
【跨 Agent 协调】
    - 每个 Agent 在独立的 git worktree 中运行
    - 不直接通信，所有协调通过共享记忆发生
    - 一个 Agent 的发现自然影响其他 Agent 的后续搜索

共享持久记忆以文件系统的形式实现，分为三个目录：attempts/存储所有历史评估记录（JSON 格式，按 commit hash 索引）、notes/存储观察和反思（Markdown 格式，支持合并和分类）、skills/存储可复用的过程和工具（包含自然语言描述和可执行脚本）。

每个 Agent 通过符号链接访问共享记忆，按需读取以避免上下文过载，并且 Agent 可以主动整理和重组记忆结构。

通用分析框架

在分析具体系统之前，先建立一个通用的分析框架。任何 AutoResearch 方法循环都可以从以下四个维度进行解构：

搜索拓扑：搜索拓扑决定了系统在解空间中的行走方式。

线性路径每次只走一步，要么保留要么回退；树形分支允许同时保持多个探索方向并随时回溯；遗传池维护一个候选种群，通过选择和突变不断演化；异步并行则让多个独立 Agent 同时探索，通过共享记忆间接协调。

反馈信号：反馈信号决定了系统从每次实验中能学到多少。最简单的标量奖励只告诉系统"好了多少"，但不解释"为什么"。结构化指标提供多维评估。

文本反馈则能传达完整的诊断信息——哪个模块出了问题、哪种策略有潜力但需要调整。信息越丰富，系统下一步决策的质量就越高，但获取和处理的成本也越大。

记忆架构：记忆架构决定了系统能否从历史中学习。

无记忆的系统每次实验都从零开始思考；Git 历史提供了可回溯的版本记录但缺乏结构化查询；解树保留了搜索过程的完整拓扑；文件系统池支持多 Agent 并发读写；知识图谱则提供了最丰富的语义结构和跨项目的知识复利。

决策主体：决策主体决定了"谁在控制搜索过程"。

早期系统中，人类硬编码所有搜索规则，LLM 只是被调用的突变算子。后来 Agent 逐步获得了决定搜索策略的自主权——选择探索哪个方向、何时放弃当前路径、如何综合历史经验。

以下表格概括了各维度的主要选项及其代表系统：

[1] https://github.com/karpathy/autoresearch

[2] https://arxiv.org/abs/2403.17373

[3] https://github.com/SakanaAI/AI-Scientist-v2

[4] https://deepmind.google/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/#:~:text=Update%3A%20In%20December%202024%2C%20we%20published%20a%20report,to%20amplify%20human%20performance%20in%20combinatorial%20competitive%20programming.