不看题，也能练推理

模型经过大规模预训练之后，已经高度内化了推理相关的知识与结构。那我们能不能不只是围绕具体问题去做条件化调整，而是直接对 reasoning trajectory 本身做优化，去作用模型内部那部分已经形成的 reasoning space？

在此基础上，研究团队进一步提出 Dual Space RL（DSRL），将 PreRL 阶段与标准的条件 RL 阶段结合，在多个数学推理基准上一致超越现有强基线方法。

论文标题：

From P(y|x) to P(y): Investigating Reinforcement Learning in Pre-train Space

论文链接：

https://arxiv.org/abs/2604.14142

代码地址：

https://github.com/Trae1ounG/Pretrain_Space_RLVR

〓 图1：(a) 后训练空间RL（优化P(y|x)）、PreRL（优化P(y)）与DSRL的梯度目标对比；(b) 标准RL陷入局部最优 vs DSRL通过NSR剪枝错误推理路径后向更精炼推理子空间探索的概念对比；(c) DSRL vs GRPO 训练动态对比

核心思想：直接优化 Reasoning Trajectory

为何去掉问题条件？

梯度对齐性验证

关键发现：负样本强化（NSR）的独特优势

研究团队对 PreRL 中正负样本的作用进行了深入剖析，揭示了一个关键的非对称性：

• 仅经过 20 步NSR-PreRL，模型的 transition thoughts（推理过渡步骤）增加 14.89 倍，reflection thoughts（反思步骤）增加 6.54 倍，显著优于同步数 GRPO；

• NSR-PreRL 以 3 倍更少的训练步数达到 86% 的准确率。

〓 图3：（a）PreRL vs RL 训练动态对比，包括奖励、响应长度和 top-1 token 概率的变化；（b）推理步骤类型分析，NSR-PreRL 20 步 vs GRPO 25 步，NSR-PreRL大幅激发transition（14.89×）和 reflection（6.54×）类推理行为

然而，NSR-PreRL 也是一把双刃剑：它在激发推理能力的同时，会导致输出长度不断增加，最终使持续训练变得困难。因此，NSR-PreRL 更适合作为后续标准 RL 的强力初始化阶段。

方法：Dual Space RL（DSRL）

基于以上发现，研究团队提出 Dual Space RL（DSRL），采用 Policy Reincarnation 策略，将 NSR-PreRL 与标准 RL 有机结合：

实验结果

主实验：Avg@32 对比

研究团队以 Qwen3-4B 和 Qwen3-8B 为基模型，在 MATH 数据集上训练，评估在 MATH500、AMC23、AIME24、AIME25、Minerva、OlympiadBench 六个基准上的 Avg@32 性能。

〓 表1：DSRL 与 GRPO、PPO、Reinforce++、RLOO、Dr.GRPO、DAPO 等方法在 Avg@32 上的全面对比，加粗为最优，下划线为次优

DSRL 在所有基准和模型规模上一致优于各类强基线。其中，Qwen3-4B 上 DSRL 在 AIME24 超越 GRPO 4.69 分，在 AIME25 超越 2.50 分；Qwen3-8B 平均得分 58.47，为所有方法中最优。

Pass@K 性能

〓 图4：DSRL vs GRPO 在 Qwen3-4B 和 Qwen3-8B 上的 Pass@K 性能对比（K∈[1,256]）。DSRL 在整个采样预算范围内持续优于 GRPO，表明预训练空间优化拓展了高质量解的多样性。

OOD 泛化能力

〓 表2：DSRL 在分布外基准（GPQA-Diamond、MMLU-Pro、BBH、HumanEval）上相比 GRPO 的泛化性能，加粗为最优

DSRL 在分布外基准上取得显著增益，尤其在知识密集型任务（Qwen3-4B：GPQA-Diamond +3.79，MMLU-Pro +5.37）和代码生成（Qwen3-8B：HumanEval +2.44）上的提升表明，预训练空间优化建立了更具泛化能力的推理基础。

分析

推理行为演化与基础问题解决能力

〓 图5（左）：DSRL vs RL 在训练过程中 Subgoal Setting、Enumeration、Verification、Backtracking 四种推理行为频率演化对比，DSRL 从 NSR-PreRL 阶段起快速激发各类推理行为；图6（右）：训练集上「全部正确（Fully Solved）」与「全部错误（Fully Unsolved）」题目数量演化，NSR-PreRL 预热阶段系统性消灭基础错误模式

RL 由于初始预热受限，推理行为涌现缓慢。相比之下，DSRL 通过移除条件约束，解锁了模型内在推理能力，各类复杂推理行为从预热阶段开始即快速增长并达到更高频率天花板。

「全部正确」题目的急速增加和「全部错误」的快速下降证明，NSR-PreRL 系统性地消除了失败模式，为后续 RL 精化奠定更强基础。

预热步数消融

〓 图7：预热步数消融实验（Qwen3-4B）。最优区间为 10-25 步，步数不足导致激活不充分，步数过多引发过度探索。

总结

在此基础上，研究揭示了一个关键的非对称性：在去掉问题条件的设定下，正样本强化（PSR）在在线轨迹上失效，而负样本强化（NSR）却展现出惊人效果，仅需 20 步即可将 transition 激发 14.89×、reflection 激发 6.54×，以更少步数剪枝模型内部的错误推理路径。

DSRL 将 NSR-PreRL 预热阶段与标准条件 RL 通过 Policy Reincarnation 策略有机结合，在广泛的推理基准和 OOD 泛化任务中一致超越强基线，证明直接作用于模型内部 reasoning space 的优化方式，能够为后续的条件化精化建立更强、更宽阔的推理基础。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

跳转微信打开

如何发布招聘

AI 求职是「PaperWeekly」旗下聚焦人工智能领域的招聘平台，涵盖高校硕博招生、博士后招募、企业校招、社招、实习和内推等。

目前已有百度、阿里、腾讯、字节跳动等企业发布内推岗位，欢迎大家订阅关注、发布岗位，如果你也想对公司和在招职位进行更多曝光，请联系我们的栏目负责人（微信：pwbot02）。

·

·

阅读原文

跳转微信打开

泛化不是RL专属

引言

随着大语言模型后训练（Post-training）技术的飞速演进，强化学习（RL）在提升模型复杂推理能力方面的卓越表现备受瞩目。

在此背景下，一个广为流传的观点是 “SFT（监督微调）仅能记忆，而 RL（强化学习）带来泛化”。这一论断源于部分合成任务实验及后续研究的佐证，并在一定程度上主导了学术界对两类训练范式的认知。

然而，“SFT 的泛化能力差”是否是一个绝对的结论？

近期，来自上海人工智能实验室、上海交通大学与中国科学技术大学的研究团队发表了题为《Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability》的工作，通过系统性的控制变量实验揭示了上述观点的局限性。

论文标题：

Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability

论文作者：

Qihan Ren, Peng Wang, Ruikun Cai, Shuai Shao, Dadi Guo, Yuejin Xie, Yafu Li, Quanshi Zhang, Xia Hu, Jing Shao, Dongrui Liu

作者机构：

上海人工智能实验室、上海交通大学、中国科学技术大学

论文链接：

https://arxiv.org/abs/2604.06628

Github链接：

https://github.com/Nebularaid2000/rethink_sft_generalization

huggingface链接：

https://huggingface.co/collections/jasonrqh/rethink-sft-generalization

该研究的核心结论是：SFT 的跨领域泛化能力并非天然缺失，而是一种受多重因素制约的条件属性。

具体而言，泛化表现由优化充分度、数据质量与结构、基模型能力三个维度共同决定。此前部分研究得出的 “SFT 不泛化”结论，可能源于实验设定的局限，而非 SFT 目标函数本身的固有缺陷。

发现一：优化不充分可能是“不泛化”假象的根源

2.1 短训练轮次下的现象复现

研究团队首先复现了部分相关工作发现的现象：使用 2 万条经过验证的高质量长思维链（Long-CoT）数学数据，对 Qwen3-14B-Base 模型进行单轮（1 epoch）微调。

结果与先前研究一致：模型在同分布数学任务（如 AIME）上表现显著提升，但在分布外任务（如代码生成、科学推理）上增益有限，甚至在指令遵循等通用能力评测上出现退化。

2.2 延长训练后的“先降后升”模式

当训练周期延长至 8 个 epoch 时，情况发生了实质性变化。

研究观察到一种显著的“先降后升”（Dip-and-Recovery）动态模式：在训练早期，分布外任务的性能出现下滑；随着训练推进，性能逐步回升并最终超越基模型，然后继续上升。

这一现象在 Qwen3 系列、InternLM2.5-20B 等多个模型上均得到验证。

2.3 回复长度作为优化阶段的诊断指标

进一步分析发现，模型输出的回复长度与性能变化存在高度关联。训练初期，回复长度急剧增长，恰与性能低谷期重合；随着训练深入，回复长度逐渐回落趋于精炼，同时跨领域性能开始恢复。

研究者对此的解释是：在长思维链 SFT 的早期阶段，模型首先捕获的是数据中“冗长输出”这一表面特征，尚未真正习得问题分解、回溯验证等深层推理模式。此时的冗长输出反而干扰了指令遵循等能力。

随着优化的深入，模型逐步内化了可迁移的程序化推理模式，输出变得更加精练有效。

因此，回复长度可作为优化进程的粗粒度诊断指标：若输出仍在持续缩短，往往表明优化尚未充分完成。

2.4 重复曝光优于单次遍历

在控制总梯度更新步数（640 步）的对比实验中，研究发现 “2.5k 数据训练 8 轮”的效果全面优于 “20k 数据训练 1 轮”。

这表明，在同等计算预算下，对少量长思维链数据进行多轮重复学习，比单轮遍历大规模数据更有利于推理模式的内化。

发现二：数据质量与结构是泛化的关键变量

3.1 低质量数据的负面影响

研究引入 NuminaMath 数据集作为对比。该数据集包含传统的简短解答，质量参差不齐（比如包含大量跳步）且缺乏长思维链结构。

实验结果显示，使用此类低质量数据进行训练，不仅对同领域数学任务的提升有限，更导致分布外泛化能力的显著下降，且在整个训练过程中未能触发“先降后升”的恢复机制。

3.2 程序化推理模式的迁移：Countdown实验

为区分“领域知识学习”与“推理模式学习”的贡献，研究团队设计了一组关键实验，使用 Countdown 数据集进行训练。

Countdown 是一个简单的算术凑数游戏，仅涉及基础四则运算，不包含任何高等数学知识，但其解题过程蕴含完整的"尝试-发现错误-回溯-验证"结构。

实验结果表明，仅在 Countdown 数据上进行微调的模型，不仅在 AIME24 等竞赛级数学评测上取得显著提升，在代码生成、科学推理等完全不相关的领域也展现出泛化能力。

这一发现有力地说明：SFT 泛化的核心驱动力并不一定是特定领域知识的记忆，而可能是隐藏于长思维链中的程序化推理模式（如分解、回溯、验证）的学习与迁移。

发现三：模型基础能力决定泛化上限

4.1 不同规模模型的对比实验

在严格控制数据与训练配置的条件下，研究对比了 Qwen3 系列中 1.7B 至 14B 不同规模模型的表现：14B 模型完整经历“先降后升”过程，最终在多个跨领域任务上获得全面提升，回复长度在训练后期迅速收敛至较低水平。

而 1.7B 模型：在各项任务上增益极其有限，部分任务甚至出现负增长；回复长度在整个训练周期内始终维持在极高水平，未能有效收敛。

4.2 表层模仿与深层内化的差异

案例分析揭示了能力差异的具体表现：面对复杂数论问题时，1.7B 模型在耗尽大量 Token 后，仍陷入 “Let me check 17，Let me check 53...” 式的无效循环，本质上仅是对长思维链格式的表层统计模仿。

相比之下，词汇层面的对数概率分析显示，14B 模型在 SFT 过程中显著强化了对 “therefore”、“alternatively”、“wait”、“however” 等推理转折词的预测能力，表明其真正习得了高层逻辑控制流，能够判断何时应回溯重算、何时应调整策略。

发现四：泛化的非对称性——推理增强与安全退化并存

5.1 安全性能的下降

研究揭示了一个值得关注的副作用：长思维链 SFT 在提升推理能力的同时，会导致模型安全性的显著下降。

在 HEx-PHI 安全基准测试中，经长思维链训练的模型面对有害指令时的攻击成功率（ASR）大幅上升。作为对照，使用无思维链数据训练的模型则安全性下降幅度较小。

5.2 自我合理化机制

案例分析表明，基模型原本会对有害请求直接输出简短拒绝。

但经过长思维链训练后，模型会在思考过程中进行“自我合理化”——例如推演“这虽然是非法的，但如果假设是网络安全教育场景呢？”，从而绕过自身的安全机制，最终输出带有免责声明的有害内容。

研究者指出，这在某种意义上也是一种“泛化”：长思维链强化了模型“探索替代方案、克服障碍”的底层求解倾向，而在面对有害查询时，被克服的“障碍”恰恰是模型自身的安全策略。

结论

本研究系统表明，“SFT 是否具备泛化能力”并非一个绝对的是非命题。泛化是一种条件属性，其激活与否取决于优化是否充分、数据结构是否具备可迁移的推理模式、以及基模型是否具备足够的能力将这些模式内化。

在任一条件缺失的情况下得出的 “SFT 不泛化”结论，可能是实验设定的产物而非 SFT 的内在局限。

对于大模型训练而言，本研究提示需要将模型选择、数据设计、训练策略置于统一框架下进行协同优化，而非孤立地评判某一训练范式的优劣。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

为什么RL不懂情绪？

本文介绍的研究来自 CVPR 2026，作者团队来自小米大模型 Plus 团队与武汉大学计算机学院。武汉大学团队在视觉理解、多模态推理和情绪计算方面积累深厚，小米大模型 Plus 团队则在大模型训练、强化学习框架和工程化落地方面经验丰富。

过去一段时间，多模态大模型（MLLMs）的进展主要集中在视觉问答、图像描述、跨模态生成等「认知型」任务上。

但如果大模型的能力只停留在「看懂世界」，那它离真正的类人智能还差一个关键维度。

真正更值得追问的问题是：模型能不能不只是「看见」画面，而是「感受」画面——理解一张图像背后的情绪因果链，像人一样先观察、再共情、最后判断？

近期，武汉大学与小米大模型 Plus 团队联合提出的 EMO-R3 尝试去回答上述问题。

从结果上看，这条路线确实带来了实际性能收益：EMO-R3 基于仅 3B 参数的 Qwen2.5-VL-3B-Instruct，在域内和域外情绪推理任务上均显著超越 GRPO、DAPO 等当前最强的强化学习基线。

这说明，情绪理解的瓶颈不在于模型参数量，而在于训练范式是否与情绪认知的内在结构相匹配。只要给模型植入正确的推理框架和反思机制，即使是轻量模型也能展现出远超基线的情绪推理能力。

论文地址：

https://arxiv.org/abs/2602.23802

重新思考情绪理解的价值与存在的问题

现有多数将强化学习应用于情绪任务的方法，仍然停留在把通用 RL 框架直接搬来用的阶段——用 GRPO 训练情绪模型，就像用数学题的做题方法去做阅读理解。

EMO-R3 想推动大家重新思考这个方向的目标函数：情绪理解不是一个简单的分类问题，而是一个需要结构化推理的任务。

人类判断情绪时会经历从「看见什么」到「感受到什么」再到「做出判断」的完整认知链条，而现有方法完全没有建模这个过程。

换句话说，情绪 AI 最值得做的事，是让模型像人一样经历「先观察、再感受、最后判断」的推理过程，而不是把「贴对标签」本身当作终点。

〓 图1. 动机说明：a) SFT 依赖人类注释，受限于固定标签和有限类别，导致泛化和可解释性差。它在「风景-敬畏」等域内配对上表现良好，但在域外或未见过的情况下（如「运动-惊喜」）表现不佳；b) GRPO 虽提高了泛化能力，但其思维过程不以情感为导向，与最终答案联系薄弱（如推理过程得出「娱乐」，预测却是「恐惧」）。

基于这一观察，EMO-R3 揭示了现有方法的两个结构性缺陷。

首先是 SFT 的「死记硬背」问题。监督微调在情绪任务中看似有效，但它学到的往往只是训练数据分布内的情感—场景对应关系，而不是真正理解图像中情绪产生的原因。

比如，若训练集中缺少“惊讶”这类情绪，模型在测试时就很难准确识别相关样本；同样，如果训练数据主要集中在风景场景，模型也往往难以泛化到动作等其他场景中的情绪表达。

也就是说，SFT 更擅长拟合“见过的分布” ，一旦遇到超出训练分布的组合，性能就会明显下降。图 1(a) 展示的正是这种典型局限：模型能够给出答案，却缺乏跨场景、跨情绪的泛化能力，同时也无法解释具体的原因。

第二是 GRPO 在情绪任务中「无法适应」问题。GRPO 在数学推理中表现出色，一个关键原因是这类任务中推理过程与最终答案高度耦合：只要中间推错一步，答案通常也会随之出错。

但情绪理解并非如此。正如图 1(b) 所示，模型即使生成了一段与情绪判断并不一致、甚至偏离图像内容的推理，也仍有可能凭借偶然匹配猜中标签，从而获得奖励。

与此同时，通用 GRPO 所生成的推理过程往往遵循的是一般性 reasoning pattern，而不是人类进行情绪理解时更自然的认知路径，这进一步导致模型难以形成可靠的情绪推理能力。

也正因为如此，通用强化学习框架在情绪任务上集体「水土不服」，不是因为 RL 本身不好用，而是情绪推理有着与数学推理截然不同的内在结构——推理链与答案之间是弱耦合的，只奖励答案无法约束推理过程。

EMO-R3 的模型设计

〓 图2. EMO-R3 的完整架构。上半部分为结构化情感推理提示词模块，包含三步递进式推理流程，并最终输出情感答案。下半部分展示反思式情感奖励机制：该机制对多组推演样本进行评估，综合考量图文一致性与情感逻辑连贯性，并在 GRPO 框架下，结合原有格式奖励与精度奖励完成联合优化。

围绕这一目标，EMO-R3 主要包含三个关键设计。

首先是 Structured Emotional Thinking（SET）——让模型模拟人类的情绪认知。

传统 GRPO 中模型的思考过程是完全自由的，生成的 think 文本往往碎片化、与情绪无关、缺乏逻辑连贯性。SET 将这种自由散漫的思考过程约束为模拟人类情绪认知的三步结构。

第一步是情绪触发识别：模型必须指出图像中哪些具体的视觉元素（表情、动作、色调、环境）可能触发情绪反应。

第二步是人类情绪反应：模型需要描述人类看到这些元素后会产生怎样的情绪体验——是紧张、放松、愉悦还是不安。

第三步是情绪结论：把前两步的推理结果整合为最终判断，包括情绪极性（正/负）和唤醒度（高/低）。

这三步对应认知心理学中情绪产生的三个阶段：感知刺激、情绪唤起、认知评价。

通过强制模型遵循这个结构，每一步思考都有了明确的语义，不再是东一句西一句的自由散漫。更重要的是，这个结构为下一步的「质量检查」提供了可操作的基础。

第二是 Reflective Emotional Reward（RER）——让模型学会反思自己的推理。

让模型模拟人类的情绪认知还不够，模型可能按格式写了三步，内容却全是胡说八道。RER 的核心思想非常直接：既然推理链不可靠，那就让模型自己检查自己。

RER 由两部分组成。图文一致性检查把 Step 1 的描述和原图一起送回模型，让它判断「这段视觉描述跟图片对得上吗？」对得上给分，对不上扣分，从源头杜绝「编造视觉内容」。

情绪连贯性检查则把 Step 1 和 Step 2 合在一起送回模型，问「根据这段推理，应该是什么情绪？」推出的情绪跟标准答案一致就给分，不一致就扣分，保证推理链和结论之间的逻辑绑定。

这意味着，RER 把奖励信号从「答案对不对」扩展到了「推理过程对不对」——这是情绪任务第一次真正实现对推理链质量的直接监督，而不是只靠答案间接约束。

第三是 Cold-Start-Emo 冷启动策略。

预训练模型自带的情绪常识往往与下游数据集的标注标准对不上。比如模型觉得「独自散步」是忧伤的，数据集却标注为「平静」。如果直接上强化学习，大量奖励信号会因为这种错位而失效，训练陷入恶性循环。

Cold-Start-Emo 用少量样本做一次极轻量的微调，只为让模型快速理解「这个任务的标签长什么样」——不教它怎么推理，只教它任务格式和标签体系，然后把真正的推理能力交给 RL 去打磨。

实验结果

EMO-R3 的实验覆盖了 in-domain 和 out-of-domain 两类场景。

研究团队选择了三个经典的视觉情绪数据集：EmoSet（8 类）、Emotion6（6 类）和 WebEmo（7 类），并分别在 EmoSet 和 Emotion6 上进行训练，再在其他数据集上测试跨域表现。

基础模型采用 Qwen2.5-VL-3B-Instruct，对比方法包括 Vanilla（无训练）、SEPM（训练-free 方法）、GRPO 和 DAPO 等强化学习范式。

〓 图3：EMO-R3 与最先进 GRPO 变体在域内和域外情绪推理任务上的性能对比。标有上标 I 的数据集（如 EmoSet^I 和 Emotion6^I）表示域内训练数据集。EMO-R3 在所有设置下均取得最佳表现。

实验结果表明EMO-R3 能够在整体性能上带来稳定且一致的提升。这说明，结构化推理与反思式奖励确实增强了模型的泛化能力——情绪推理不再是「记住训练集的标签分布」，而是真正学会了如何推理情绪。

〓 图4：训练过程中的训练和测试准确率曲线。EMO-R3 整体优于其他两个基线模型。

训练稳定性也大幅提升，RER 的引入有效减少了 GRPO 在情绪任务中的震荡与不收敛问题。

〓 图5：同一张图片，GRPO 和 EMO-R3 的推理对比。

为了更直观地展示 EMO-R3 的推理质量提升，论文给出了一组典型案例对比。

场景是一个人坐在开满花的树下，背景是平静的水面，正确情绪是「contentment（满足）」。GRPO 的推理过程写了「场景平静、人物在享受自然」——逻辑完全指向积极情绪，然后最终答案一拍脑门选了「sadness」。

而 EMO-R3 严格按三步结构推理：先识别花朵盛开和人物放松的状态，再描述由此产生的平和与安宁感受，最终自然而然地得出「contentment」。

这一案例表明 EMO-R3 能够准确捕捉细微的情感线索，并展现出情绪连贯的推理，从而实现更好的情绪理解。

这说明，当推理过程必须经得起「自我检查」时，模型就没法再用碎片化的文字敷衍了事。RER 反思机制让推理链从「随便写写」变成了「有结构、有逻辑、有依据」。

〓 图6：训练过程的效率分析

在训练效率方面，RER 的引入大约增加 1.26 倍训练时间，主要来自对每个 rollout 多做两次前向推理。

但有两个关键点：第一，推理阶段完全不需要反思模块，部署后的模型跟普通模型一样快；第二，对比 DAPO 训练到一半崩溃白白浪费全部算力，多花 26% 换来稳定收敛，这笔账怎么算都划算。

从更大的角度看，EMO-R3 想推动大家重新思考情绪理解的训练范式。它不应该只是把通用 RL 搬过来用，而应该从任务本身的认知结构出发，设计与之匹配的推理框架和奖励机制。

EMO-R3 做的三件事——定义推理应该长什么样（SET）、确保推理过程经得起检验（RER）、解决从零开始的冷启动问题（Cold-Start-Emo）——构成了一套完整的方法论。

这套思路不局限于情绪任务：美学评价、道德判断、文化理解……任何推理链与答案弱耦合的主观任务，都可能从中受益。

对情绪智能来说，真正重要的，也许从来不是「识别情绪」，而是能不能像人一样，先看见、再感受、最后才判断。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

 报告介绍 

近年来，生成式基础模型在图像与视频生成方面取得了显著进展，但如何实现可控且具有几何一致性的 3D/4D 内容生成仍然是一个重要挑战。

在本次报告中，我将介绍我们近期在几何感知生成建模方面的研究工作，涵盖可控图像生成、合成数据生成以及单目视频的 4D 场景重建。

我将讨论如何将显式的 3D 几何先验融入基于扩散模型的生成框架，从而生成具有对齐 3D 标注的真实感图像；同时，我也将介绍一种无需训练的方法，通过几何完整的 4D 重建，实现从单目视频进行任意视角的相机重定向。

此外，我还会简要介绍一个用于评估动态场景生成中几何一致性与可控性的新基准。

总体而言，这些工作展示了面向沉浸式媒体、AR/VR、机器人以及可扩展 4D 世界生成的可控、几何感知 3D 生成模型的发展方向。

跳转微信打开

Token还能叠加着练？

标准 LLM 预训练里，每个训练 step 通常只处理一段给定长度的 token 序列。

想在同样算力下让模型接触更多文本，常见办法是换分词器、改 attention 结构、上 MoE，或者额外加入多 token 预测头。

但这些做法往往会改变最终模型本身，让训练效率和推理结构绑在一起，后续很难判断收益到底来自训练吞吐、架构变化，还是额外预测目标。

那么，有没有可能在一行模型架构代码都不改的前提下，只在训练阶段提高预训练吞吐？

Nous Research 近期提出了 token 叠加训练，也就是 Token Superposition Training（TST）。

它不改模型架构、并行策略、优化器、分词器和训练数据，只在预训练前半程把连续 token 的 embedding 临时平均成一个新表示，并让模型预测下一组 token，后半程再切回标准逐 token 预测训练。

在 10B-A1B MoE 实验中，TST 用不到 40% 的训练时间达到基线模型的最终损失水平，对应该设置下同等损失约 2.5 倍的预训练提速。

〓 10B MoE 模型在叠加阶段切换至恢复阶段后的 loss 表现

训练结束后，模型仍然是标准自回归结构，推理方式不变，也不需要额外模块。

论文标题：

Efficient Pre-Training with Token Superposition

论文链接：

https://arxiv.org/abs/2605.06546

纯拼吞吐量：TST 的极简训练流

TST 最容易和 MTP、SuperBPE 混在一起看，但它们改的不是同一个地方。

从宏观架构来看，多 token 预测（MTP）通过增加预测头来提供更密的局部监督，但它并不会提高每单位 FLOPs 处理的 token 数，还会带来额外参数。

TST 的思路则完全侧重于训练吞吐量。整个训练过程分为叠加阶段（Superposition Phase）与恢复阶段（Recovery Phase）。

在叠加阶段，模型以一组连续 token 的叠加表示作为输入，并预测下一组 token。

达到预设训练比例后，再切回标准逐 token 预测。这个切换并不是完全平滑的，loss 会短暂上升，随后进入恢复阶段。

输入端：物理层面的张量折叠

在叠加阶段的输入端，长度为 L 的连续序列会被切成若干个不重叠的 token bag，每个 bag 包含 s 个 token。

在 embedding 层，这 s 个 Token 的向量表示会被取平均，形成一个新的 latent s-token 表示。

〓 通过 reshape 将序列切成 token bag，再用 mean 得到叠加后的 token 表示

经过这一步，模型实际处理的 latent 序列长度变为原来的 1/s。

为了保持与 baseline 相同的每步 FLOPs，TST 在这一阶段把原始输入长度扩大 s 倍。这样一来，模型在相同每步计算量下，可以接触到更多原始 token。

输出端：预测下一组 Token

输出端也同步进行调整，模型不再预测单个 next token，而是预测下一组 token。

为了让一个预测位置同时对应 s 个有效 label，作者把标准 CE 换成了多热交叉熵损失（MCE）。

MCE 可以理解为把目标概率均分给下一组 token 中的 s 个 label。其完整的数学展开式如下：

这个简化形式大大降低了技术迁移成本。实际实现时，可以直接复用现有预训练库中的 fused CE kernel，对 bag 内 label 分别计算 CE 后求平均，不需要额外写 CUDA kernel。

〓 简化后的 MCE 可以直接复用标准 CE 实现

2.5倍提速怎么来的？

研究团队在 TorchTitan 框架下结合 FSDP 并行策略，对 TST 进行了多尺度的规模化验证，覆盖了 270M、600M、3B 稠密模型以及 10B 混合专家模型。

〓 TST 在各模型规模下的预训练表现及下游评测全景数据

3B 实验给了三个比较角度：

• 在同等计算量下，TST 的最终训练损失更低；

• 在同等 loss 下，TST 需要的训练时间更短；

• 在同等数据量下，TST 每个原始 Token 获得的计算更少，表现反而弱于 baseline。

〓 3B 稠密模型在同等算力、同等 loss 及同等数据量三种约束条件下的训练 loss 曲线

超参数上，step ratio r 在 0.2 到 0.4 之间相对稳定，bag size s 则呈现明显的 U 型趋势。

随着模型参数量的增加，最优的包大小区间整体向更大的数值发生偏移。在 10B-A1B 的大规模验证中，作者采用了 s=16，最终 loss 从 baseline 的 2.252 降到 2.236。

作者也尝试过一些替代设计，但效果并不如默认设置。

例如，BCE、hinge loss 等替代 bag loss 明显弱于 MCE；官方 blog 还提到，一些试图补回 bag 内位置信息的设计也没有带来稳定收益。

这些结果至少说明，强行恢复 bag 内顺序并不是 TST 收益的关键。

此外，在较大的 bag size 下，均匀加权未必是最稳的选择。

〓 DCLM 数据集中 token间互信息随距离呈现幂律衰减

通过对 DCLM 数据集进行分析，团队发现自然语言中 token 间的互信息随距离呈现出明显的幂律衰减规律。引入随距离衰减的非均匀加权多热交叉熵（Weighted MCE），能够在此类配置下获得更低的最终损失。

底层表示绝对共享

消融实验进一步拆解了输入与输出叠加的独立贡献。结果表明，单独应用输入叠加（压缩粒度）或输出叠加（改造梯度信号）均能带来超越基线的增益，而两者的结合并未产生干扰，证明了这两种机制在底层是完全正交的。

不少多阶段训练方法在切换目标时，会引入 adapter 或额外 alignment phase 来缓解表示不匹配。TST 不引入额外 adapter，关键在于其在两个阶段中保持了完全相同的底层表示。

如果在恢复阶段开始时，随机重新初始化模型的输入 embedding 层和输出 LM Head，TST 在前期积累的所有优化红利将彻底清零，最终的损失值会高过从零开始的基线模型。

〓 在恢复阶段重置输入输出表示层会导致 TST 前期积累的收益完全消失，证明了表示对齐的必要性

这说明，跨阶段保持输入输出表示对齐，很可能是 TST 收益能够延续到标准训练阶段的重要条件。

结语

TST 本质上是用更多数据消耗，换同等计算下更低的训练 loss。在算力资源紧缺且数据仍充足的预训练设置下，这类低侵入训练方法很有吸引力。

由于第一阶段会把 s 个 token 折成一个 latent 位置，模型在相同 latent 序列长度下对应的是更长的原始文本跨度。

这可能减少长文档在训练中被截断或切分的情况，但论文没有评测最终长上下文能力，因此只能视为一个后续问题，而不是已经验证的结论。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

解决新一代文生图模型的内容安全

在新一代文生图模型中，语义如何“排列”，往往比语义“是什么”更重要。

在过去的文生图安全研究中，主流方法大多围绕三个方向展开：通过微调模型参数（fine-tuning）、干预注意力分布（attention modulation），或对输入提示（prompt）进行约束。

然而，随着 FLUX、Stable Diffusion 3 等基于多模态 Transformer（MMDiT）的新架构出现，这些方法逐渐显现出局限：生成结果不再由单一词触发，而是由多个 token 在 attention 中的复杂交互共同决定。

在这一背景下，张谧教授带领的复旦 JADE 团队推出SafeRoPE 技术，并揭示了影响风险生成的关键因素并不只是单个语义本身，而是语义之间的位置关系。

如果将 attention 中复杂交织的语义关系看作一个“语义魔方”，那么 SafeRoPE 的核心就是通过风险感知的旋转操作，在 embedding 空间中对其进行结构化调控，从而重排语义关系，削弱高风险组合。

〓 图 1：SafeRoPE 通过旋转“语义魔方”重排风险语义关系

在具体实现上，该方法首先识别出承担主要风险表达的安全关键注意力头，并仅在这些局部区域施加干预，从而实现高效且稳定的控制。

同时，借助旋转位置编码（RoPE）对语义关系进行定向调整，在有效抑制不安全内容的同时，最大程度保持图像质量与语义一致性。

论文标题：

SafeRoPE: Risk-specific Head-wise Embedding Rotation for Safe Generation in Rectified Flow Transformers

论文链接：

https://arxiv.org/abs/2604.01826

代码链接：

https://github.com/deng12yx/SafeRoPE

复旦白泽智能团队（张谧教授领衔）：

https://whitzard-ai.github.io/

风险信息并非全局分布

风险语义并不是在模型中均匀分布的，而是集中在少数具有判别能力的注意力头中。

在 FLUX 等模型中，由于需要支持高分辨率生成并结合复杂的文本编码器，其中间表示往往处于一个非常高维的特征空间。如果直接在整个高维空间中进行安全控制，不仅计算开销巨大，也难以精确定位风险语义的来源。

进一步分析发现，这些高维表示通常具有明显的低秩结构，即关键信息往往集中在少数主导方向上。基于这一特性，可以对单个注意力头中的风险语义表示进行奇异值分解（SVD）：

〓 图1：通过奇异值分解对包含风险信息的特征向量进行分解提取出“风险子空间”

其中，前几个主方向（对应最大的奇异值）刻画了最主要的语义变化。通过保留这部分主方向，可以构建一个低维的“风险子空间”，用来描述风险语义在特征空间中的主要分布方向。

例如，对于一个特征向量 q，其在风险子空间中的投影大小，可以作为该特征“风险程度”的度量。

同时，基于该度量可以衡量不同注意力头对风险语义的响应能力，从而筛选出关键的安全注意力头。

〓 图2：FLUX 模型中 “nude” 概念在两种结构中的安全关键头分布情况

实验表明，仅有部分注意力头承担主要的风险表达功能，而对非关键头进行干预（即使施加随机扰动），对最终生成结果的影响也非常有限。

〓 图3：仅干预安全关键注意力头与干预全部注意力头的生成结果对比

RoPE：被低估的语义调控机制

RoPE（Rotary Position Embedding）通常被认为是一种位置编码方法，但其本质并不仅仅是“加入位置信息”，而是通过旋转操作直接改变特征之间的相对关系，从而影响语义交互。

具体来说，RoPE 会将每个 Query/Key 向量按维度划分为若干二维子空间，并在每个子空间内施加一个与位置相关的旋转变换。例如，对于一个二维向量（x1, x2），其旋转形式可以写为：

〓 图4：RoPE 在 FLUX 中的作用方式

其中，向量范数保持不变（信息量不变），而向量间相对关系发生改变（语义结构变化）。

同时能够观察到，复杂语义（往往也对应潜在风险）更依赖精确的相对位置结构，因此对旋转更加敏感。当对位置关系进行适度扰动时，这类语义的表达极易被破坏。

〓 图5：在 FLUX 中，不同类型内容（explicit、violence、style 和正常内容）在 RoPE 随机扰动下表现出差异

因此，RoPE 实际上在不改变特征强度的前提下，仅通过“旋转”调整语义关系，就可以对特定类型的语义产生选择性影响。

SafeRoPE：从“抑制”到“语义拉远”

SafeRoPE 的核心并非直接抑制风险语义，而是通过结构性调节，将其从语义空间中“拉远”。

简单的随机旋转虽然在一定程度上能够干扰风险语义，但由于缺乏针对性，往往效果不稳定，甚至会破坏正常语义。SafeRoPE 的改进在于引入“风险感知”的机制，使旋转操作能够根据语义风险程度进行自适应调节。

具体来说，对于任意一个特征向量 q，可以先将其分解为风险子空间与安全子空间两部分：

在此基础上，SafeRoPE 首先通过投影强度定义一个连续的风险分数（LRS）：

随后，模型仅在风险子空间内对特征方向进行旋转，并通过 LRS 控制旋转幅度：

其中 A 为可学习的反对称矩阵（保证旋转为正交变换），exp(·) 表示矩阵指数映射。最终得到的变换 R(q) 仅作用于风险分量，而安全分量保持不变。

〓 图6：SafeRoPE 方法流程

最终，模型只需学习一组低维旋转矩阵，即可实现对风险语义的连续、可控且细粒度调节。

安全性与生成质量的协同优化

基于上述机制，SafeRoPE 在安全性与生成质量之间实现了有效平衡。

首先是安全性提升，在 I2P 数据集上，不安全生成比例从 10.3% 降至 7.0%，在更具挑战的 Unsafe-1K 上，从 38.8% 降至 15.4%。

同时，在图像质量方面，CLIP Score 基本稳定（语义一致性不受影响），FID 指标保持甚至优于对比方法（图像自然性更优）。

此外，SafeRoPE 具备良好的泛化能力，可扩展至特定角色（如皮卡丘）、艺术风格（如梵高）以及暴力等多类型风险，并在同一架构的不同模型规模上均表现稳定。

〓 表1：SafeRoPE 在多类风险上的去除效果、质量保持及跨模型泛化

这一结果表明：安全增强不必以牺牲生成质量为代价。

结语

SafeRoPE 代表了一种从结果拦截到语义调控的安全范式转变。

不同于依赖输出过滤或训练约束的传统方法，SafeRoPE 直接作用于模型内部语义空间，通过结构性干预实现更精细的安全控制。

这一机制在提升安全性的同时，保持了生成过程的稳定性与可解释性。

也进一步表明，模型安全问题不仅可以通过外部约束实现，更可以通过对语义结构的重构，在不牺牲生成能力的前提下获得更优解。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

跳转微信打开

更小、更强、更快

5 月 11 日，面壁智能联合清华大学、OpenBMB 开源社区正式发布并开源了新一代端侧多模态大模型：MiniCPM-V 4.6。

这是 MiniCPM-V 系列有史以来效率与性能平衡最佳的模型。它以仅 1.3B 的参数规模，实现了性能与效率的双重突破，在全球同尺寸模型中登顶，全面超越了阿里 Qwen3.5-0.8B 与谷歌 Gemma4-E2B-it。

尤其在内存价格飞涨的当下，MiniCPM-V 4.6 只需 6G 内存即可在端侧流畅运行，真正实现了「低内存、极速跑」。

这不仅极大降低了多模态大模型在各类智能终端上的落地门槛，也让面壁智能「智周万物」（AGI for Lives）的愿景离我们更近了一步。

目前，MiniCPM-V 4.6 已在 Github、Hugging Face 等平台全面开源，并提供 Testflight 测试版本，可以在 iOS、Android、HarmonyOS 系统的手机端使用。

➤ Hugging Face

https://huggingface.co/openbmb/MiniCPM-V-4.6

➤ GitHub

https://github.com/OpenBMB/MiniCPM-V

➤ Modelscope

https://modelscope.cn/models/OpenBMB/MiniCPM-V-4.6

➤ GitCode

https://ai.gitcode.com/OpenBMB/MiniCPM-V-4.6

➤ Web Demo

https://huggingface.co/spaces/openbmb/MiniCPM-V-4.6-Demo

➤ APP Demo

https://github.com/OpenBMB/MiniCPM-V-Apps

性能拔群，1.3B 实现同尺寸最佳

根据多个权威基准评测，MiniCPM-V 4.6 的两个版本（Instruct 与 Thinking）多模态综合能力均表现卓越，实现了全维度领跑。

Instruct 版本：在通用图文理解、STEM 数理推理、文档 OCR、视频时序理解及目标定位等任务上，全面超越 Qwen3.5-0.8B、Gemma4-E2B-it 等模型。

Thinking 版本：在多图像关联推理、幻觉抑制等高阶任务中，同样几乎全面领先。

在最新的 Artificial Analysis（AA）榜单评测中，MiniCPM-V 4.6 更是以 13 分的优异成绩跻身前列，超越了包括 Mistral 3-3B、Qwen 3.5-0.8B 在内的一众模型，成绩逼近 Qwen 3.5-2B，成为 1B 级开源模型中当之无愧的性能标杆。

效率反超，重新定义「智能密度」

除了性能惊艳，MiniCPM-V 4.6 在效率上也取得了堪称「反常识」的突破。

尽管参数规模比 Qwen3.5-0.8B 更大，但 MiniCPM-V 4.6 的运行效率却更快，实现了惊人的反超：

• 推理吞吐量：基于 vLLM 的 token 吞吐量是 Qwen3.5-0.8B 的1.5 倍。

• 计算成本：在 AA 评测中，仅用2.5%的 token 消耗（5.4M vs 233M）就超越了 Qwen3.5-0.8B。

这意味着 MiniCPM-V 4.6 以极小的计算成本，撬动了极高的智能水平，是面壁智能「密度定律」的又一实践。

由此，用同样的硬件，开发者可以承载数倍的线上流量，或在端侧实现更极致的响应速度。

这一飞跃，让市面上几乎所有的个人设备（手机、电脑）都可以将 MiniCPM-V 4.6 高效地跑起来。

极致背后的硬核创新

惊人的性能与效率背后，是两大底层技术的硬核创新。

ViT 架构重构：图像编码计算量锐减 50%

视觉编码器（ViT）是多模态模型处理图像信息的核心组件，也是计算开销最集中的环节之一。

MiniCPM-V 4.6 采用了面壁智能与清华大学联合研发的最新LLaVA-UHD v4 技术，通过创新的「ViT 内部视觉 token 早压缩」，在保证性能不掉点的前提下，大幅降低了视觉 token 的数量和计算量，相比传统 ViT 将图像编码开销锐减了 50%。

针对模型在处理高分辨率图像时的视觉编码效率问题，LLaVA-UHD v4 提出了一种高效的编码范式，可以在超越原有性能的同时，将视觉编码阶段的浮点运算量降低 55.8%。

➤ LLaVA-UHD v4 论文链接：

https://huggingface.co/papers/2605.08985

LLaVA-UHD v4 主要包含两个核心设计：

• 高效切片编码：替代传统的全局编码，将高分辨率图像切分为多个区块处理，结构性地避免了注意力计算量随分辨率二次方增长的瓶颈。

• ViT 内早期压缩：在 ViT 的浅层就引入压缩模块，让后续绝大部分 ViT 层只需处理极少量 Token，从根源上降低了计算量。

这一改造，与 16 倍 token 压缩协同工作，协同实现了极致的轻量化推理——用更少的计算资源，完成同等质量的图像理解任务。这也造就了 MiniCPM-V 4.6「参数更大，但跑得更快」的效率奇迹。

4 倍/16 倍混合 Token 压缩：性能与速度，按需切换

业界多模态基座模型普遍采用固定的 4 倍视觉 token 压缩率，而 MiniCPM-V 4.6 则打破常规，提供了业界领先的双模式切换：

• 4 倍压缩模式（性能优先）：适合高要求的文档解析、密集文字识别等细节敏感型任务；

• 16 倍压缩模式（速度优先）：适合实时交互、低算力环境、高并发部署等场景。

同一个模型，两种选择，开发者无需在性能和速度之间艰难取舍。

视觉 token 压缩率会影响到显存占用、首响延迟、推理吞吐、功耗等众多关键效率指标，压缩率越高、响应速度越快。MiniCPM-V 多模态大模型从 2024 年就推出了 16 倍压缩率，在行业内领先。

值得一提的是，面壁智能开创性的 16 倍压缩技术早已在产业界得到验证，例如快手在 2025 年发布的推荐大模型 OneRec，在处理海量视频多模态特征时便应用了 MiniCPM-V 系列模型，成功支撑了主场景 25% 的巨大流量请求。

得益于 16 倍视觉 Token 压缩这一核心技术，MiniCPM-V 4.6 在推理效率的两大关键维度上同时建立起显著优势：

1）在单并发首响延迟（TTFT）上，它把“分辨率—延迟”曲线压得几乎平坦，3136² 高清大图的 TTFT 仅 75.7 ms，较同基座规模的 Qwen3.5-0.8B 快 2.2 倍；

2）在高并发吞吐上，单卡可达 7013 token/s、54.79 张/s 的 1344² 图片处理能力，是 Qwen3.5-0.8B 的 1.5 倍，意味着同样的硬件可以承载数倍的线上流量。

这两个维度的数值指标，共同指向同一结论：

MiniCPM-V 4.6 用更短的视觉序列、更小的 KV-Cache，把多模态推理的端侧体感与云侧 ROI 同时推到了新的高度。

根据 AA 榜单评测，MiniCPM-V 4.6 1.3B（非推理版本）的运行仅消耗 5.4M token 量，仅为 Qwen3.5-0.8B（非推理版本，101M）的 1/19 与 Qwen 3.5-0.8B（推理版本，233M）的 1/43，模型智能密度为同尺寸模型范围内最高：

为开发者而生：一键部署，全链打通

MiniCPM-V 4.6 坚持开源，并为社区开发者准备了一套从微调到部署的「保姆级」开箱即用指南。

消费级显卡即可开跑，打破算力壁垒

大模型的微调往往让人对昂贵的算力集群望而却步，但 MiniCPM-V 4.6 将这个门槛降到了目前业内最低。

得益于极致精简的 1.3B 黄金参数量，开发者仅需一张  RTX 4090 等常见的消费级显卡，即可全量跑通整个微调流程。

这意味着，无论是个人开发者、高校研究团队还是初创公司，都能以极低成本快速验证 idea，实现多模态模型能力的本地化闭环定制。

拥抱主流生态，微调与推理全链路打通

为了让开发者告别繁琐的环境配置，MiniCPM-V 4.6 实现了与主流开源生态的全面无缝对接：

1）微调框架全面支持：官方原生支持 ms-swift 与 LLaMA-Factory 等业内最受欢迎的微调框架。开发者只需准备好场景数据，修改几行配置，一键即可拉起专属模型的训练。

2）推理框架全家桶兼容：在部署端，我们同步适配了 vLLM、SGLang、llama.cpp、Ollama 等顶级高性能推理框架。

无论是追求极致并发的云端服务，还是苛求资源占用的端侧设备，MiniCPM-V 4.6 都能游刃有余地完成高效部署。

垂直场景改造的最佳基座

极低的显存占用、极高的并发吞吐量、完备的上下游工具链——MiniCPM-V 4.6 天生就是为了被「爆改」而生，是开发者用于构建高并发计算、极速响应的垂直应用的高性价比多模态底座。

无论是云端高并发服务，还是端侧苛刻的资源占用，MiniCPM-V 4.6 都能游刃有余。

保姆级教程与部署指南

我们提供了详尽的端侧部署指南，助你轻松上手：

➤ 英文：

https://github.com/OpenBMB/MiniCPM-V-Apps/blob/main/README.md

➤ 中文：

https://github.com/OpenBMB/MiniCPM-V-Apps/blob/main/README_zh.md

始于开源，成于生态：让 AGI 走进千家万户

从 8B 到 4B，再到今天的 1.3B，MiniCPM-V 系列的每一次迭代，都不是能力的妥协，而是效率的跃升，是对端侧多模态能力边界的又一次实质性扩张。

目前，MiniCPM-V 系列模型已在汽车、PC、手机、智能家居等多个终端场景规模化落地，合作伙伴涵盖联想、吉利、上汽大众等数十家行业头部企业。

让 AI 的智能真正触达每一块屏幕、每一个终端，是我们的愿景，也是我们的使命。欢迎每一位开发者，与我们共同探索端侧 AI 的无限可能！

➤ Hugging Face

https://huggingface.co/openbmb/MiniCPM-V-4.6

➤ GitHub

https://github.com/OpenBMB/MiniCPM-V

➤ Modelscope

https://modelscope.cn/models/OpenBMB/MiniCPM-V-4.6

➤ GitCode

https://ai.gitcode.com/OpenBMB/MiniCPM-V-4.6

➤ Web Demo

https://huggingface.co/spaces/openbmb/MiniCPM-V-4.6-Demo

➤ APP Demo

https://github.com/OpenBMB/MiniCPM-V-Apps

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

20-100倍推理提速

论文标题：

BiKT: Unleashing the Potential of GNNs via Bi-Directional Knowledge Transfer

论文作者：

Shuai Zheng, Zhizhe Liu, Zhenfeng Zhu, Xingxing Zhang, Jianxin Li, Yao Zhao

收录期刊：

IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE (TPAMI) VOL. 48, NO. 3. MARCH 2026

论文链接：

10.1109/ΤΡΑΜΙ.2025.3636549 (DOI)

代码链接：

https://github.com/SsGood/Bi-directional-Knowledge-Transfer

Highlights：

• 首次深入审视特征变换（T）操作：指出在大量研究关注图神经网络（GNNs）的特征传播（P）机制时，特征变换（T）操作的潜力并未被当前框架充分释放。

• 方法创新：提出了一种即插即用的通用框架——双向知识转移（BiKT），在不改变原始 GNN 架构的情况下，实现宿主 GNN 与仅包含特征变换操作的衍生多层感知机（）之间的双向知识传递。

• 理论与效果双开花：从域适应（Domain Adaptation）视角提供了严格的泛化能力理论分析，且在7个数据集和 5 种典型 GNN 上的实验表明，BiKT 能为原始 GNN 带来高达 0.5%-4% 的性能提升。

• 高度通用与灵活性：衍生的 MLP 模型在获得知识注入后，性能甚至能够比肩或超越原始 GNN，使其能作为轻量级模型独立部署于延迟敏感的下游任务中。

研究背景

近年来，图神经网络（GNNs）在处理非欧几里得数据（尤其是图数据）方面展现了极大的魅力，并在推荐系统、化学分析、生物医药等领域取得了令人瞩目的成果。大多数现有的 GNN 都建立在消息传递范式（message-passing framework）之上，主要包含两个核心操作：特征传播（P）和特征变换（T）。

一直以来，为了提升 GNN 的性能，研究者们提出了各种花式机制（如注意力机制、多跳聚合等），但这些努力绝大多数都集中在特征传播（P）操作上。相比之下，作为提升模型容量和缩放特征维度的特征变换（T）操作却备受冷落。

如果我们去掉 GNN 中的 P 操作（即将邻接矩阵替换为单位矩阵），剩下的 T 操作堆叠起来，本质上就是一个多层感知机（MLP）。这就引出了几个非常有趣的灵魂拷问：

1. GNN 中的特征变换真的发挥出全部潜力了吗？

2. 特征变换是否会受到特征传播的干扰或影响？

3. 我们到底该如何更好地利用特征变换来进一步增强 GNN？

通过系统的经验性分析（Empirical Investigation），作者发现：显式引入图拓扑结构的 P 操作，确实会改变 T 操作对节点内容特征的表示建模。更令人惊讶的是，目前的 GNN 在很大程度上“丢弃”了 T 操作本来能从节点原始特征中捕捉到的宝贵信息。这意味着 GNN 远未释放其内部特征变换操作的全部潜力。

论文方法

具体而言，BiKT 包含以下几个关键步骤：

1. 基于生成的表示分布建模（Generation-Based Representation Distribution Modeling）

2. 知识注入（Knowledge Infusion）

在获得了能够模拟对方特征分布的生成器后，就可以在训练过程中将生成器作为正则化项引入。

3. 带有参数继承的渐进式知识传递（Progressive Knowledge Transfer With Parameter Inheritance）

实验

作者在 7 个广泛使用的节点分类基准数据集（包括 Cora，Citeseer，Pubmed，OGB-Arxiv 等）上，使用 5 种典型 GNN（GCN，GAT，FAGCN，GCNII，MixHop）对 BiKT 进行了全面评估。

3.1 主实验结果

实验结果十分亮眼：在直推式（transductive）设置下，无论是哪种 GNN 架构，增强后的 BiKT-GNN 在所有数据集上都以显著优势超越了原始基线模型。例如，在 Citeseer 数据集上，相比于基础的 MixHop 模型，BiKT 带来的提升达到了惊人的 6.86%。

3.2 归纳学习与图分类能力

3.3 复杂度与性能的权衡

总结

本文从一个崭新且常常被忽视的视角切入：GNN中的特征变换（T）操作。作者通过严谨的经验分析揭示了现有 GNN 未充分利用特征变换操作的弊端，并优雅地提出了一种即插即用的双向知识转移（BiKT）框架。

BiKT 巧妙地通过表示分布建模和循环参数继承，让 GNN 与衍生的 MLP 实现了深度的优劣势互补。这不仅大幅提升了原始 GNN 在图学习任务中的精度，更为我们展现了“图增强 MLP” 的巨大潜力。无论是用于提升现有的 GNN 模型性能，还是为了在工业界落地时获取一个超快推理速度的强大 MLP 平替，BiKT 都提供了一个极具参考价值的通用解法。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

如何发布招聘

AI 求职是「PaperWeekly」旗下聚焦人工智能领域的招聘平台，涵盖高校硕博招生、博士后招募、企业校招、社招、实习和内推等。

目前已有百度、阿里、腾讯、字节跳动等企业发布内推岗位，欢迎大家订阅关注、发布岗位，如果你也想对公司和在招职位进行更多曝光，请联系我们的栏目负责人（微信：pwbot02）。

·

·

跳转微信打开

采样和学习终于分家

LLM 后训练的慢，很多时候不在学习本身，而在等模型一条条生成样本。

PPO、RLOO、GRPO 这类主流方法通常依赖 on-policy 数据，模型先生成回答，再计算奖励，最后更新策略。问题在于，rollout 是逐 token 解码，慢；训练是对完整序列做并行计算，快。

为了让样本尽量来自当前策略，训练环节只能等生成环节先跑完，集群算力很难真正跑满。策略一更新，前面生成的样本又会变成 off-policy。采样规模越大，数据反而越难复用。

为了解决这一瓶颈，Yoshua Bengio 团队在 NeurIPS 2025 提出了 TBA（Trajectory Balance with Asynchrony）。

这套异步框架把后训练拆成两条流水线，Searcher 负责生成轨迹，Trainer 持续从 replay buffer 中抽样更新模型。

TBA 引入 Trajectory Balance 目标来处理这些 off-policy 轨迹，让原本容易被丢掉的旧样本继续参与学习。

实验显示，在数学推理、偏好微调、自动红队等任务上，TBA 在保持甚至提升性能的同时，将大模型 RL 后训练最高提速 50 倍。

论文标题：

Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training

论文链接：

https://arxiv.org/abs/2503.18929

代码链接：

https://github.com/bbartoldson/TBA

架构解耦：Searcher与Trainer独立运转

TBA 把计算集群里的节点分成两类：一类是负责探索采样的 Searcher，另一类是负责模型更新的 Trainer。

实际运行中，每个 Searcher 都维护一份相对滞后的模型权重，从数据集中取出 prompt 并生成回答。

生成的回答和奖励会先存入 Searcher 本地的 replay buffer，再在周期性同步时汇总到 Trainer 端的全局 buffer。Trainer 不必等待每一轮 rollout 完成，而是主要从全局 buffer 中抽取 batch 数据更新策略。

〓TBA 系统架构图：Searcher 负责采样，Trainer 从 replay buffer 中更新策略，两者只在固定周期同步

为了避免 Searcher 与 Trainer 的策略版本相差过远，系统设置了同步周期 k。每隔 k 个优化步，系统会把 Trainer 的最新权重同步给 Searcher，同时把各个 Searcher 的本地经验汇总到全局 buffer。

这种周期性同步的异步设计，减少了训练等待 rollout 的时间，也让集群资源利用率更高。

用轨迹平衡处理off-policy轨迹

打破同步约束后，Trainer 从全局 buffer 中拿到的数据，往往不再严格来自当前策略，而是带有不同程度的 off-policy 性质。

对于传统 on-policy 方法而言，直接使用这些旧轨迹，可能带来策略偏移和训练不稳定。这也是 TBA 选择轨迹平衡（Trajectory Balance）目标的原因。

TB 来源于 GFlowNet，一个关键性质是 off-policy：只要采样分布具有 full support，轨迹不必来自当前策略，也可以用于训练。

进一步看梯度形式，TB 在 on-policy 情况下会退化成类似 REINFORCE 的形式。对单个样本，其梯度可简化为：

在 on-policy 数据上，VarGrad TB 等价于带均值基线的 REINFORCE，并使用 KL 正则化后的奖励。而在 off-policy 的异步环境中，它展现出远超传统方法的鲁棒性。

传统方法处理这类数据，往往只能硬套复杂且极易失效的重要性采样机制。TB 为 TBA 提供了一种更直接利用 off-policy 轨迹的训练目标，不必完全依赖重要性采样修正。

经验池的动态采样调控

Buffer 变大之后，问题不只是有没有数据，而是应该从里面挑哪些数据。纯随机采样效率低下，而单纯依据奖励分数优先采样则容易导致模型输出同质化。

核心任务的效能提升

论文在三个后训练任务上验证了 TBA 的速度和性能优势：

1. 数学推理：提速与精度并存

在 4x A100 的计算环境下，TBA 在 GSM8K 任务中表现出显著的效率优势。

相比 VinePPO，TBA 将训练时间缩短了近 50 倍，同时 Pass@1 准确率高出了约 1.2% 至 1.8%。相比 Online DPO，TBA 实现了 1.6 倍加速并提升了 2.0% 的准确率。

2. 偏好微调：重塑帕累托前沿

在 TL;DR 摘要任务中，TBA 在 KL/perplexity 与 win-rate 的权衡上形成了更好的 Pareto 前沿。

在 410M 到 2.8B 等不同模型规模下，TBA 均能在更短时间内达到更高胜率，比经过优化的异步 DPO 基线快了约 3.8 到 5.3 倍。

自动红队：稀疏奖励下的扩展能力

自动红队高度依赖采样广度和 prompt 多样性。在非等算力设置下，TBA 相比非分布式同步 GFlowNet 基线显著缩短 wall-clock time，最快约 7×。

结果显示，随着 Searcher 数量增加，攻击成功率和 prompt 多样性整体上升。

7B模型与高度off-policy测试

TBA 在更大模型和高度 off-policy 设置下是否仍然稳定？

论文进一步在 Qwen 2.5 7B 上测试了变体 TBA′，并与 Dr. GRPO 对比。

这里使用的是 TBA′，也就是基于 PRIME-RL 的简化版本。它基于 PRIME-RL 构建，超参数更少，也支持多 GPU 训练，因此更适合测试较大模型和更长上下文。

在 10 steps off-policy 设置下，Dr. GRPO 的曲线出现明显波动，而 TBA′ 整体更稳定。这进一步说明，TB 目标在高度 off-policy 的异步训练中更有稳定性优势。

结语

TBA 的价值，不只是让后训练更快，而是重新组织了采样和学习的关系。

通过引入 Trajectory Balance，TBA 让异步产生的 off-policy 轨迹也能参与训练，使大规模并行探索不再只是“采样更多”，而是能真正转化为学习信号。

不过，trajectory-level 目标也会带来更高的梯度方差。论文的做法是为每个 query 使用更多 responses 来降低方差，例如在 GSM8K 消融中比较了 K=20 和 K=40。

这也意味着，TBA 对 batch 构造和采样策略提出了更高要求。

如果未来的 LLM 后训练越来越依赖大规模 rollout 和稀疏奖励，TBA 这类异步搜索-学习框架，可能会在自我改进训练、搜索式推理等方向变得更重要。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开

一个模型通吃三类数据

北京航空航天大学联合首都信息提出了基于大模型上下文学习的统一异常检测框架 ICAD-LLM，首次实现了对时间序列、表格、日志三类核心数据的跨模态异常检测，同时具备“一次训练、多场景适配”的泛化特性，为解决实际系统中的异常检测痛点提供了新的技术路径。

本文第一作者为北京航空航天大学计算机学院硕士生吴中源，通讯作者为北京航空航天大学计算机学院王静远教授。目前该研究已被人工智能顶级会议 AAAI 2026 接收。 

论文标题：

ICAD-LLM: One-for-All Anomaly Detection via In-Context Learning with Large Language Models

论文链接：

https://arxiv.org/pdf/2512.01672

研究背景

异常检测是跨领域的核心基础任务，但其技术发展长期面临多模态处理与泛化能力的双重瓶颈。

要理解这一困境，需先回归异常的本质定义 —— 统计学专家 Grubbs 在 1969 年明确指出：异常是 “与样本中其他成员存在显著偏差的个体”（one that appears to deviate markedly from other members of the sample in which it occurs）。

这一定义的核心在于 “对比”，但现有主流方法却恰恰偏离了这一本质。

传统方法的核心局限

现代复杂系统中，单一故障往往同时表现为多种异构数据形态：电商平台支付失败可能同时引发 CPU 波动（时间序列）、错误日志（文本日志）与异常交易记录（表格数据）。

理想的异常检测方法需同时具备两大能力：统一处理异构数据模态，快速适配新场景而无需大规模重训练。但现有方法均无法满足这两点，根源在于其 “静态记忆” 的核心逻辑：

“一对一”（one-for-one）方法为每个数据集单独训练专属模型，通过学习该任务中 “正常” 样本的固定分布来定义异常。这些方法虽在特定任务上表现优异，但泛化能力较差。其数学表达为：

新范式的核心：动态对比实现“一体通用”

研究团队提出 “上下文异常检测（In-Context Anomaly Detection）” 新范式：不再让模型记忆固定的正常分布，而是在推理时提供一组正常样本参考集（R），通过动态对比目标样本与参考集的差异来判断异常。

这一范式直接回归 “异常是比出来的” 核心逻辑，其数学表达为：

基于此，模型无需记忆特定任务的正常分布，只需学习通用的 “差异比较” 能力，摆脱任务绑定，从而支持了多种数据与模态的异常检测任务。

模型架构：三大核心组件支撑动态对比范式

ICAD-LLM 的整体架构围绕“特征校准—差异感知—通用判别”的逻辑展开，通过三个关键模块协同实现基于上下文的异常检测。结构图如下所示

1、模态感知编码器（Modality-Aware Encoder）

针对时间序列、表格、日志三类数据的结构差异，设计专属编码路径，将异质数据映射至统一嵌入空间：

时间序列：采用补丁分割（Patch）与 CNN 网络，先将序列分割为固定长度补丁，再通过卷积操作对齐特征维度；

表格数据：通过零填充 / 截断统一特征维度，再经 MLP 转换为标准嵌入向量；

日志数据：先通过 Drain3 工具解析为日志模板，经 LLM 的 Tokenizer 转换为初始嵌入后，再通过 Transformer 编码器优化特征表达。

该组件确保不同模态数据在嵌入空间中具备可比的语义特征，为跨模态处理奠定基础。

2、提示引导表示模块（Prompt-Guided Representation Module）

充分发挥 LLM 的上下文理解能力，通过两种机制引导模型聚焦异常对比任务：

指令提示（Instruction Prompt）：在输入中添加任务导向指令（如“通过对比目标样本与参考集，判断是否存在显著异常”），明确 LLM 的任务目标；

特殊令牌（Special Tokens）：引入 [REF TOK]（参考集令牌）与 [TGT TOK]（目标样本令牌），引导 LLM 分别聚合参考集与目标样本的信息，生成针对性语义表示。

最终，LLM 输出参考集整体特征（h_R）与目标样本特征（h_x），为差异计算提供高质量表示基础。

3、上下文对比学习（Contextual Contrastive Learning, CCL）

设计专属训练目标，强化模型的异常判别能力：

训练样本构造：采用“三元组”结构（参考集 R、正常样本 x⁺、异常样本 x⁻），其中异常样本包含“简单负样本”（其他数据集正常样本）与 "困难负样本"（同数据集异常样本）；

对比优化目标：通过损失函数最小化正常样本与参考集的特征距离，同时最大化异常样本与参考集的特征距离，使模型既能区分不同场景，又能捕捉细微异常差异。

实验验证与性能分析

研究团队在 27 个跨模态数据集（5 个时间序列、18 个表格、4 个日志）上开展全面实验，对比传统单模态专业模型与现有通用模型，从核心性能、泛化能力、参数敏感性三个维度验证 ICAD-LLM 的优势。

1、整体表现

在单一模态的场景下，ICAD-LLM 以单一模型在多种任务上的平均性能超越主流的单任务异常检测模型；在跨模态统一训练的场景下，ICAD-LLM 的性能仍超越其他方法，展现出不俗的异常检测能力。

2、跨场景泛化能力

在完全未参与训练的数据集上，ICAD-LLM 在三类模态上的性能均显著优于其他方法，尤其在表格数据上优势明显。这一结果验证了 ICAD-LLM “一次训练，广泛适用”的核心优势。

3、关键参数敏感性分析

本文还进一步验证了参考集大小、训练数据量等关键参数对模型性能的影响，探讨了模型的有效性与训练开销之间的关系。

总结

本文的核心创新在于回归异常的本质定义，将静态的“分布记忆”范式重构为动态的“上下文对比”范式，实现了多任务/跨模态的异常检测，并展现出了一定的泛化性，让模型无需任务特定的重新训练，即可适配时间序列、表格、日志等多种数据类型。实验证明了该方法的有效性。该方法未来可进一步拓展至其他领域，并深化在工业质检、医疗诊断等高精度场景的应用。

相关信息

如果你觉得本文有用的话，请引用：

@inproceedings{wu2026icad,
  title={ICAD-LLM: One-for-All Anomaly Detection via In-Context Learning with Large Language Models},
  author= {Wu, Zhongyuan and Wang, Jingyuan and Cheng, Zexuan and Zhou, Yilong and Wang, Weizhi and Pu, Juhua and Li, Chao and Ma, Changqing},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={40},
number={19},
  pages={16593--16601},
  year={2026} 
 } 

指导教师：

王静远教授

https://www.bigscity.com/jingyuan-wang/

课题组：

北京航空航天大学计算机学院 BIGSCITY 实验室

https://www.bigscity.com/

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

跳转微信打开