在手势姿态估计（Hand Pose Estimation, HPE）领域，即使关节被物体遮挡、手部自遮挡或截断在画面之外，现有的主流模型通常也会强行预测出全部 21 个手部关键点的位置。这种“知其不可见而强拟之”的特性，在 AR/VR 交互、机器人操作以及多视角 3D 手势自动标注中，极易引入不可靠的噪声预测。

来自日本庆应义塾大学、日本产业技术综合研究所（AIST）、东京大学和欧姆龙集团的研究团队提出了 Hand Visibility Detector（手部关键点可见性检测器）。该模型针对手部 21 个关节进行独立的可见性概率评估（输出区间 ），这也是该任务首次被作为独立课题进行系统性研究。研究表明，直接复用海量数据预训练的手部大模型特征，仅需训练一个 0.83M 参数的轻量预测头，即可在野外数据集 HInt 上大幅超越现有基线，并在多视角 3D 三角化任务中表现优异，其中在视角较少且存在严重物体遮挡的 HO3D 数据集上，平均重投影误差最大降幅达到了 10.1%。

• 论文标题: Hand Visibility Detector: Per-Keypoint Visibility Estimation for Hands

• 论文地址: https://arxiv.org/abs/2608.11574

• 代码仓库: https://github.com/ryhara/hand_visibility_detector

图注：Hand Visibility Detector 动态预测展示（绿色为可见关节，红色为遮挡或画面外的不可见关节）

背景与动机

关节可见性：从“辅助监督”到“独立感知”

手势姿态估计技术近年来在 Vision Transformer 与大规模预训练的驱动下取得了显著突破（如 HaMeR、WiLoR）。然而，多数方法无论关节是否存在遮挡都会回归坐标，缺失了对“预测置信度”与“物理可见性”的显式刻画。

在以往的研究中，部分方法（如 Ye 等人、Kim 等人、Contact4D）虽引入了遮挡建模或关节可见性概念，但普遍将其作为辅助损失函数或下游姿态优化的中间变量，从未系统性评估可见性预测本身的泛化能力。在多视角 3D 手势自动标注中，标准直接线性变换（Direct Linear Transformation, DLT）对所有视角一视同仁，即便结合检测框置信度加权，依然无法排除局部关节遮挡带来的坐标偏差。

针对上述瓶颈，研究团队系统性地将“逐关节可见性估计”形式化为一个独立任务，旨在探究：如何构建高泛化性的手部关节可见性检测器，并在多视角 3D 姿态构建等实际下游任务中释放其应用价值。

方法详解

数据集构建与训练标签来源

以往部分工作（如 Contact4D）依赖 COCO-WholeBody 数据集的可见性标签，但作者分析发现其手部可见性标注普遍存在不准确与缺失问题。为了构建高泛化性的检测器，本文采用高质量的 HInt 数据集 进行训练与评测：

• 数据构建多样性：HInt 涵盖了海量来自互联网的自然图像以及第一人称视角视频帧（共计 25,273 训练帧与 5,374 测试帧），具有极高的场景复杂度与野外泛化挑战。

• 真值标签定义与来源：HInt 提供了由人工逐点精确标注的 21 个 MANO 手部关节可见性二值标签 。在本文的明确定义中，“可见”意味着该关节既未被遮挡（包括物体遮挡和手部自遮挡），也未落在图像画幅之外；凡是被遮挡或截断超出图像边界的关节，均被严格标记为不可见（）。在训练时，输入裁剪图像基于数据集的真实手部框（GT Box）外扩 1.25 倍并缩放裁剪为 。

整体架构与输入输出

Hand Visibility Detector 的核心任务是：给定单张手部裁剪图像 ，预测对应 MANO 手部模型 21 个关节的可见性概率向量 （其中 ）。若关节被自身、物体遮挡或截断在图像边界之外，则定义为不可见（）。

如上图所示，整体流程分为两个核心组件：

• 冻结的 Hand Encoder（主干网络）：判断被遮挡关节的存在与状态，需要模型具备对手部整体解剖结构及空间先验的强推理能力。研究人员直接采用在数百万级手部数据上预训练好的 ViT 主干（如 WiLoR 或 HaMeR），在训练期间将其参数完全冻结（Frozen）。这一设计既保留了强大的手部几何表征先验，又避免了在有限的可见性标注数据上发生过拟合。

• 轻量化 Visibility Head（预测头）：如 图2(b) 所示，特征图首先通过  卷积由通道数  压缩至 ，展平为空间序列后接入门控注意力单元（Gated Attention Unit, GAU）以建模全局空间上下文依赖。随后经全连接层和  卷积映射至  通道，最后通过全局平均池化（Global Average Pooling, GAP）与 Sigmoid 激活函数输出各关节概率。

极低代价的训练策略

整个模型仅 Visibility Head 参与参数更新，其参数量仅为 0.83M（仅占 631M 整体参数量的 0.131%）。训练目标采用标准二值交叉熵损失（Binary Cross-Entropy Loss）：

在单张 NVIDIA H200 GPU 上，仅需约 10GB 显存，约 2.5 小时即可完成 100 轮训练，训练成本极低。

实验与结果

野外数据集 HInt 性能对比

评估在涵盖丰富野外与第一人称视角的 HInt 数据集（25,273 训练帧，5,374 测试帧）上展开，指标采用关节平均精度均值（mAP）和二值化阈值 0.5 下的 F1 分数。

实验表明，Hand Visibility Detector 取得了 mAP 0.931 与 F1 0.896 的优异表现，相较于 Kim et al. 和 Contact4D 提升了超过 3.4 个百分点，展现出显著优势。

如 图4 所示，在自遮挡（第一行）、画面截断（第二行）以及复杂物体遮挡（第三行）等各类严苛场景下，该模型均能准确识别出不可见关节。

主干网络与 Head 结构深度消融

主干网络对比呈现出清晰的技术洞见：

1. 领域专用预训练至关重要：专用于手部姿态估计的 HaMeR 与 WiLoR 表现最佳（mAP 分别达 0.932 与 0.931），明显超越通用大视觉模型 DINOv3（0.897）及标准 ViT-H（0.838）。

2. 冻结优于微调：若对 WiLoR 进行全参微调（WiLoR fine-tuned），mAP 骤降至 0.622。这证实微调反而破坏了大模型预训练的鲁棒特征，冻结主干策略至关重要。

针对预测头的消融显示，引入 GAU 模块后 mAP 从 0.887 显著提升至 0.931，证明空间全局注意力建模对关节遮挡推理具有关键作用。

从阈值敏感度分析可见，F1 分数在 0.3 至 0.7 的广泛阈值区间内均稳定保持在 0.88 以上，模型实用鲁棒性良好。

下游任务：多视角 3D 姿态三角化重建

为了验证可见性估计在实际管线中的价值，研究团队在 DexYCB、HO3D 和 H2O 三个多视角数据集上进行了 3D 关键点三角化（Triangulation）实验，对比无加权基线、检测置信度加权以及本文的逐关节可见性加权。

在严重遮挡的 HO3D 数据集上，可见性加权方案将平均重投影误差降低了 10.1%。如 图6 所示，重投影至各视角时，可见性权重有效抑制了遮挡视角下的漂移关节，显著提升了 3D 标注质量。

写在最后

该项目代码已完全开源并封装为即插即用的 Python 包，对于从事手势交互、多视角动作捕捉与机器人模仿学习的从业者而言，是一套值得尝试的高效工具。

也许还有很多学习任务，也可以利用这套“工程”方法提点，期待更多的探索。

“横看成岭侧成峰，远近高低各不同”——单张 RGB 图像因缺乏绝对深度与物理尺度，让感知系统在三维物理世界中宛如“盲人摸象”。传统的“先 2D 检测再估计 3D 属性”范式在遇到相机内参变化或场景迁移时极易预测失真。

为了打破这一“尺度困局”，苏黎世联邦理工学院、Meta Reality Labs 与波恩大学团队提出了 Map-Det3D。它将 MapAnything 前馈 3D 重建（FF3R）先验直接注入检测 Transformer，彻底抛弃脆弱的 2D-to-3D 提升范式，在重建的 3D 空间中直接回归目标框。

Map-Det3D 展现出惊人的性能：在 CA-1M 域内测试中达到 16.9 AP25，远超经典单目 Baseline；在 ScanNet200 零样本跨域评估中斩获 15.2 AP15 与 9.7 AP25；在 ScanNetV2 场景级无深度传感器感知中更创下 27.6 AP15 的 SOTA 纪录，实现了纯视觉 3D 感知的高精度与强泛化。

• 论文标题: Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs

• 论文地址: https://arxiv.org/abs/2608.12179

• 项目主页: https://royyang0714.github.io/Map-Det3D

• 代码仓库: https://github.com/cvg/map-det3d

• 录用信息: ECCV 2026

背景与动机：单目 3D 检测的「尺度困局」

对于单目或视频流 3D 检测，核心难点在于深度与绝对尺度的固有二义性与欠约束。在单张图像中，一个离相机很近的小物体与一个离相机很远的大物体在成像平面上完全相同。以往的单目 3D 检测模型（如 Cube R-CNN、CuTR 等）尝试依赖网络强行记忆图像属性与深度的映射关系。这种先验对于训练集分布内的场景尚可维持，但面对不同的相机硬件或未经见过的室内格局时，极易发生预测崩溃。

与单目方法不同，多视图几何（Multi-view Geometry）能够通过跨视角的视差约束消除单视角多义性。近期发展迅速的前馈 3D 重建模型（Feed-Forward 3D Reconstruction, FF3R），如 MapAnything、VGGT 等，展现出强大的几何与位姿推断能力，且能够显式地预测解耦的全局度量尺度因子（Metric Scale Factor）。

将 FF3R 的全局几何先验作为主干网络，直接在重构的 3D 空间中进行目标检测，既避免了深度传感器的硬件依赖，又从根本上解除了 2D 图像平面上的尺度束缚。

核心方法详解：引入 3D 重建先验与无尺度预测头

Map-Det3D 的整体架构如上图所示。模型以滑动窗口（Sliding Window）的方式因果式处理视频流，将短时序帧视为多视图输入，利用 MapAnything 提取几何先验，并结合全新的无尺度 3D 预测头生成 3D 目标框。

重建先验与编码器：MapAnything 赋能

在每个时间步 ，模型接收由  帧组成的滑动窗口 ，若存在相机内参  和外参  则一并输入（无相机位姿时可由主干内部估计）。

• 多视图特征融合：输入帧经由多模态编码器提炼 Patch Tokens，再通过 16 层 Multi-View Transformer 进行跨视图信息交互，产生多尺度特征图 。

• 解耦尺度因子：特定可学习的尺度 Token  经由多层感知机（MLP）解码，直接预测当前窗口的绝对物理尺度因子 。

突破范式：Up-to-scale 无尺度 3D 边界框预测头

为了防止检测头再次沦入脆弱的深度回归陷阱，Map-Det3D 设计了 Up-to-scale（无尺度）3D 边界框预测头。在基于 Deformable DETR 的解码器结构中，模型将多尺度特征映射到统一通道维度并挑选出初始 Query 。在后续  层解码细化过程中，3D 头不直接估计物理单位的米（meters），而是在无尺度坐标系下进行相对量估计：

1. 无尺度中心与对数深度：预测相对相机坐标系下的无尺度中心  与对数深度 ；

2. 无尺度物理尺寸：预测对数相对尺寸 ；

3. 旋转表示：采用连续 6D 旋转表示（Allocentric 形式转为 Egocentric），不再假设物体框必须重力对齐。

最终，通过编码器给出的全局尺度因子 ，将上述无尺度预测值一次性转化回度量单位（Metric Space）：

这种将几何形状预测与物理尺度解耦的设计，使得网络能够专注于学习物体的相对形态结构，而将绝对尺度交由 FF3R 先验统一把控。

时序流式推理与训练策略

• 流式推理（Online Inference）：在连续视频流中，Map-Det3D 仅使用当前帧及过去  帧作为多视图输入，并只对当前时刻帧预测 3D 边界框，保证了因果感知逻辑。

• 训练采样与损失函数：为了提升模型对不同时序长度的鲁棒性，训练时视角数量  在 1 到 5 之间随机采样。训练损失结合了用于匈牙利匹配的 2D 辅助损失  以及解耦的 3D 角点几何损失 。

实验与结果：域内刷新记录，零样本跨域强劲泛化

Map-Det3D 在大规模室内数据集 CA-1M（包含超 40 万独立 3D 物体、1300 万训练帧）上完成训练，并在 CA-1M 验证集及 ScanNet200 零样本泛化测试集上进行了定量与定性评估。

CA-1M 域内评估

如上表所示，在 CA-1M 验证集上，Map-Det3D 达到了 16.9  与 3.5  的成绩，大幅超越了目前顶尖的单目 3D 检测器 CuTR（13.5 / 2.4）和 Cube R-CNN（4.6 / 1.0）。值得一提的是，Map-Det3D 甚至超越了基于离线多视图重建的 ImVoxelNet（10.1 / 2.3），进一步缩小了纯视觉方案与点云/深度硬件方案之间的性能鸿沟。

ScanNet200 零样本跨域泛化

在未经任何目标域微调的 ScanNet200 零样本评估中，Map-Det3D 展现出极强的迁移能力，取得了 15.2  与 9.7  的优秀表现，全面领先 3D-MOOD、DetAny3D 等开放词汇单目感知模型。与同样在 CA-1M 上训练的单目模型 CuTR（仅 4.3 ）对比可以看出，Map-Det3D 的泛化优势来源于解耦尺度与 3D 重建先验的网络架构设计，而非单纯依赖训练集规模。

ScanNetV2 场景级在线追踪融合

研究人员进一步结合简单的 3D IoU 关联追踪算法，将帧级预测融合成场景级（Per-scene）结果。在无需真实深度传感器（No GT Depth）的纯 RGB 条件下，Map-Det3D 实现了 27.6 、22.7  以及 6.2 ，刷新了无深度传感器设定下的 SOTA 记录，甚至在  指标上超越了部分依赖真实深度图的方法（如 EmbodiedSAM、OnlineAnySeg）。

定性可视化表现

如上图可视化结果所示，在面对未见过的复杂室内场景时，基线单目方法普遍存在严重的深度漂移与尺寸失真，预测框往往悬空或陷入墙体；而 Map-Det3D 预测的 3D 边界框不仅位置贴合度高，尺寸与姿态也与真实场景点云紧密契合。

一点思考

Map-Det3D 的成功验证了一个关键思路：与其逼迫单目网络在 2D 图像平面死记硬背绝对深度，不如将前馈 3D 重建模型作为几何度量先验，将“绝对尺度估计”与“相对几何形态预测”显式解耦。这种设计巧妙地避开了单目检测中最脆弱的环节，使得纯 RGB 3DPerception 向真实物理世界的稳健迁移迈出了重要一步。

当前 Map-Det3D 主要关注类别无关（Class-Agnostic）的 3D 几何边界框预测。展望未来，若能将视觉语言大模型（VLM）与这种强健的 3D 几何骨干相结合，进一步打通 Open-Vocabulary 语义理解，必将为具身智能体与 AR 设备的室内全景感知带来更大的想象空间。

如果让图像编辑模型把一个物体“向左挪”，大多数模型都能完成；但如果要求它“向镜头方向移动”，结果就经常不对：物体位置变了，大小却没变；明明应该挡住背景，却仍像贴纸一样浮在画面上；同时移动多个物体时，还可能少移动一个或在原位置留下副本。

这些现象说明，现有模型虽然会编辑语义，却不一定真正理解物体移动后的三维状态。

浙江大学 ReLER 团队提出 PhyEdit，在通用 DiT 图像编辑器之外加入显式的三维几何 preview，并利用深度监督训练模型关注空间准确性。论文已被 ACM MM 2026 接收为 Poster，代码、模型、数据和评测均已开源。

• 论文：https://arxiv.org/abs/2604.07230

• 项目：https://nenhang.github.io/PhyEdit

• 代码：https://github.com/nenhang/PhyEdit

• 模型：https://huggingface.co/ruihangxu/PhyEdit

• 数据：https://huggingface.co/datasets/ruihangxu/RealManip-40K

真实物体操作有三类典型“翻车点”

1. 远近移动却没有透视变化

物体离镜头越近，投影尺寸通常越大；离镜头越远则应变小。二维 drag 或文本提示往往只约束落点，无法稳定表达这种尺度变化。

2. 遮挡关系不对

遮挡和前后关系是三维空间中的重要概念。模型如果只追求“画面里出现这个物体”，很容易生成几何上不成立的结果。

3. 多物体指令顾此失彼

当画面中多个对象同时改变位置时，模型既要保留每个物体的身份，又要分别遵循目标方向和深度。商业模型也可能只完成部分对象，或者改变不该改变的区域。

PhyEdit：先在 3D 里移动，再让生成模型修好画面

PhyEdit 使用 Qwen-Image-Edit 作为基础编辑器。系统先利用 3D foundation model 估计源图深度和相机参数，将物体 mask 对应的像素反投影成点云，在三维空间中施加位移，再重新投影成 preview。

这个 preview 的画面未必完整，甚至可能出现空洞和边界断裂。PhyEdit 并不要求它成为最终答案，而是把它当作一张“几何草图”：告诉 DiT 目标物体应该出现在哪里、变成多大、与周围对象是什么前后关系。

原始图像与 preview 会同时输入模型。原图保留纹理、身份和环境，preview 负责空间约束，DiT 再生成自然的最终结果。

上图可以看到，即使 preview 中存在明显的稀疏点和缺失区域，最终输出仍能恢复人物、鞋子、船只等物体的外观。这也说明 PhyEdit 不是简单复制 preview，而是利用其提供的目标几何。

为什么还需要深度监督？

通用生成 loss 更关注整体外观，并不会自动保证目标深度正确。PhyEdit 将预测 latent 解码回图像，重新估计其深度，并与目标图像深度计算 SILog loss。

实验中，不使用深度监督时，DIoU 为 62.37、Chamfer 为 24.52；采用 pixel-level depth supervision 后，DIoU 提升至 65.33，Chamfer 降至 18.93。纯 latent-to-latent 监督反而出现指标下降，说明三维约束必须尽量靠近最终像素结果。

41,154 对真实数据：RealManip-40K

为避免只在合成 3D 场景中训练，团队从真实视频中构建 RealManip-40K。数据包含 41,154 对源图和目标图，并提供深度、mask 和代表性三维坐标。

样本包含明显的远近变化、由遮挡到显露、多个对象同时移动等情况。数据管线还会先筛选近似静态相机片段，防止把相机运动错误地当成物体位移。

ManipEval：把三维编辑“量出来”

团队构建的 ManipEval 包含 200 对图像、约 320 个物体。除常见的 DIoU 和 Mask IoU 外，它还计算深度 AbsRel、、点云 Chamfer、质心距离、RA-DINO、DeQA 和 Phys-VLM。

在主结果中，PhyEdit 的 DIoU 达到 65.33，Mask IoU 为 27.20，Chamfer 为 18.93，Phys-VLM 为 93.72。与 Nano Banana Pro 相比，PhyEdit 的 DIoU 高 5.36，Chamfer 低 6.40。

从案例中可以看到，PhyEdit 能更稳定地完成容器插入、局部遮挡、细小物体移动以及多辆小车、多人同时移动等任务。

一张图还不够：沿轨迹连续操作

PhyEdit 可以接收一条三维轨迹，依次生成多个关键状态，再通过视频插值形成连续序列。机械臂示例并未出现在训练分布中，但模型仍能把红笔沿曲线移动到纸张左下方。

前端已经开源

项目提供了交互式 GUI。用户上传图片后，可以分割多个物体，在点云中调整平移和旋转，查看实时几何 preview，再调用 PhyEdit 生成结果。

写在最后

PhyEdit 的思路并不复杂：能用几何明确计算的部分，就不要全部交给生成模型猜；难以显式建模的纹理、接触和真实感，再交给生成模型完成。

它仍依赖深度和 mask 质量，也没有显式模拟碰撞与动力学，但为真实图像中的三维物体操作提供了一个清晰、可复现的基线。随着图像编辑逐渐进入机器人规划、交互内容和视觉状态预测等场景，如何让生成结果不仅“好看”，而且在空间上“合理”，会变得越来越重要。

这是一篇有意思的智能体安全领域的新研究。

多智能体系统看起来可以发挥“集体”的智慧，但也有显著的安全隐患。古有“三人成虎”，在基于多模态大语言模型（MLLM）的多智能体讨论中，即便部署了 SelfCheckGPT、RAGAs 等防线进行实时通信监控，系统也未必稳如泰山。

英国兰卡斯特大学研究团队在 ECCV 2026 发表的研究揭示了被动监控的严重盲区。该团队借用社会学弗里德金-约翰逊（FJ）观点动力学模型，将隐蔽攻击转化为 Stackelberg 主从博弈优化问题。研究表明，攻击者只需 0.54 秒 求解时间，即可在拦截率低至 5.4%~8.3% 的极度隐蔽状态下，将多智能体系统的回答准确率大幅削减 40% 以上（MMLU 准确率暴跌 43.5%，MMMU 暴跌 45.3%），实现了对监控防护的精准破解。

• 论文标题: Is Monitoring Enough? Strategic Agent Selection For Stealthy Attack in Multi-Agent Discussions

• 论文地址: https://arxiv.org/abs/2603.21194

• 代码仓库: https://github.com/zzlz233/strategic-agent-selection

• 录用会议: ECCV 2026

背景与动机

多智能体讨论通过多轮观点碰撞与协作审查，能够有效纠正单智能体的推理错误。但如果攻击者预先劫持了部分智能体（如篡改其内部知识或Prompt目标），并试图将讨论引导至错误结论，讨论系统该如何防御？

在实际部署中，防守方通常会引入异常检测器对智能体发送的消息进行实时检测，一旦发现偏离主题或存在事实扭曲的对抗消息便予以拦截屏蔽。

现有攻击方法（如 MCA、MAD-Spear）在此类监控场景下的表现如何？研究团队从两个维度进行了实证分析：

• 无隐蔽适应的传统攻击：若不针对监控进行表达上的隐蔽修改，传统攻击生成的对抗消息极易触发观点操纵与事实扭曲特征，被异常检测器检测并拦截的概率高达 93.5% 至 98.1%。绝大多数对抗消息无法传达给其他智能体，系统准确率下降幅度（）不足 2.0%，攻击几乎完全失效。

• 基于 Prompt 修改的隐蔽攻击：若通过修改系统 Prompt 约束劫持智能体生成温和、隐蔽的表达，虽然拦截率成功降低至 8.4% 以下，但由于单条消息攻击力极弱，最终的攻击成功率同样受到严重限制（ 最高仅为 7.6%）。

实验表明，单纯依靠 Prompt 层的隐蔽修改无法在“逃避检测”和“维持攻击效能”之间取得平衡。这引出了一个根本性疑问：实时通信监控是否真的足以确保多智能体讨论的安全？

方法详解

为了突破监控限制，研究团队的核心思路是：既然单条对抗消息只能进行微小摄动，那么攻击者应当精准选择劫持哪些智能体（Adversarial Agents），以及让这些智能体重点攻击哪些目标智能体（Target Agents），利用多轮讨论机制让微小的摄动在网络中累积并放大，从而在不触发监控警报的前提下改变最终的讨论结果。

观点动力学与对抗扩展建模

多智能体讨论在结构上模仿了人类社会讨论。研究团队引入社会学中用于描述群体观点演化的 Friedkin-Johnsen (FJ) 模型。在由节点集合  和边集  构成的影响力网络中，每个智能体  拥有固定固有观点  和随讨论轮次  演化的表达观点 。其标准演化公式为：

其中  为智能体的固执度（Stubbornness）， 为智能体  对智能体  的影响力权重。

针对讨论监控场景，研究团队对标准 FJ 模型进行了两项关键的对抗性扩展：

• 极度固执的广播者（Very stubborn broadcasters）：被劫持的对抗智能体  不会真实参与讨论修正，而是持续输出攻击者预设的对抗立场（设定为值 ）。其表达观点被硬性约束为 ，且固有观点 。

• 选择性对抗影响（Selective adversarial influence）：对抗智能体仅对其指定的目标智能体集合  施加影响。为了保持隐蔽性，该影响表现为对影响力矩阵  施加微小的增量摄动 ：

其中  表示针对智能体  的对抗智能体集合。在该推导下，非对抗智能体集合  在讨论收敛后的最终群体表达观点  可以表示为闭式解：

Stackelberg 博弈求解与降维

有了观点演化的闭式表达后，攻击设计被转化为优化问题：

该组合优化问题的决策变量包含对抗节点选择与其目标分配，搜索空间随智能体数量呈指数级膨胀（如智能体数量超过 12 时，搜索空间可达  数量级），直接穷举实际不可行。

为了解决计算瓶颈，研究团队将问题重构为 Stackelberg 主从博弈（Leader-Follower） 结构：

1. 主问题（Leader）：优化对抗智能体集合  的选择；

2. 从问题（Follower）：在给定的  下，优化目标分配 。

进一步地，研究团队利用隐蔽性约束下摄动量  极小的物理特性，对从问题施加泰勒展开（Taylor Expansion），证明了从问题可被化简为有限个闭式二次/线性子问题（Theorem 1）。这一推导将算法求解时间降低至毫秒级。

实验与结果

研究团队在 MMLU 和 MMMU 数据集上，基于 GPT-4o 模型构建了多模态多智能体讨论环境，针对 SelfCheckGPT、RAGAs 和 G-Safeguard 三种常用异常检测器进行了全面评估。

评估指标包含：

• ：讨论后系统任务准确率的下降值；

• ：讨论后赞同对抗立场的智能体比例增加值；

• ：异常检测器的拦截率。

研究团队对比了 6 种启发式 Agent 选择策略变体（包括按入/出度选择、按固执度选择、按说服力选择、按初始立场选择等）。

性能表现对比

实验结果显示，在维持极低检测率的同时，该方法在各个数据集与检测器组合上均取得了显著领先的攻击成功率：

• MMMU 数据集（以 MAD-Spear 为基线攻击框架）：

• 在 SelfCheckGPT 监控下，本方法取得了  与  的攻击效果，而检测率仅为 （原始选择策略的  仅为 ）；

• 在 RAGAs 监控下，本方法实现了 ，检测率为 ；

• 在 G-Safeguard 监控下，本方法实现了 ，检测率为 。

  

• MMLU 数据集（以 MAD-Spear 为基线攻击框架）：

• 在 SelfCheckGPT 监控下，本方法的  达到 ，显著超越最强启发式变体 Variant VI（）；

• 在 RAGAs 监控下，本方法的  达到 ，检测率仅为 。

定性分析（上图）直观展示了攻击过程：即使部署了 RAGAs 异常检测器，攻击者通过策略性选择智能体，依然成功将讨论结果引导至错误选项，且整个过程未触发拦截机制。

求解算法效率分析

在算法运行效率方面，针对优化问题的求解耗时对比表明：

• 朴素穷举求解（Naive Enumeration）：实际不可行（Practically Infeasible）；

• 本研究求解算法（Ours）：单次求解平均耗时仅需 0.54 秒（在单张 NVIDIA RTX A6000 GPU 上测试）。

  

  该实验证明了数学解法在实际部署中的可行性。

一点思考

这项研究揭示了当前多智能体讨论系统防护中的一个重要盲区：被动的文本/图像监控不足以提供完善的安全保障。

即便检测器能够拦截大部分显性的违规消息，攻击者仍然可以通过社会学观点动力学模型，精确挑选网络中的关键节点施加隐蔽的微小影响，利用多轮讨论的累积效应达到破坏系统决策的目的。对从业者而言，未来构建可信多智能体系统时，防护手段也许需要从单体消息级别的“事后拦截”，升级为结合网络拓扑与动态流向分析的“主动结构防御”。

如同孙悟空凭“火眼金睛”看穿妖魔伪装，在智能安防与海洋监测中，跨越可见光、红外与 SAR 等异构成像匹配同一目标，核心也在于透视模态差异、抓准身份本质。

针对传统方法局限于单一模态、忽略频域畸变的瓶颈，北京航空航天大学与厦门大学团队提出了双空间模态一致性学习框架（DSMCL）。该框架在空间分布与频域表征上进行联合建模，具备零推理开销的即插即用优势。

在 5 大主流基准与 17 种评估协议下，DSMCL 展现出极强的通用性与性能突破：SYSU-MM01 数据集（Indoor-search Single-shot）下，将 IDKL 的 Rank-1 从 88.2% 提升至 92.3%；HOSS-ReID 数据集（SAR-to-Optical）下，将 TransOSS 的 Rank-1 从 31.3% 跨越式提升至 38.8%；CMShipReID 数据集（TIR-to-VIS）下，将 TransReID 的 mAP 从 66.8% 提升至 73.9%，全面树立了通用跨模态重识别的新标杆。

• 论文标题: Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification

• 论文地址: https://arxiv.org/abs/2608.06943

背景与动机

传统的单模态 ReID 主要解决视角、姿态和遮挡变化，而跨模态 ReID 则必须跨越异构传感器的物理成像鸿沟。目前常见的跨模态场景包括可见光-红外行人重识别（VI-ReID）、光学-SAR舰船重识别以及涵盖可见光、近红外和热红外的多模态舰船检索。

研究团队指出，现有的跨模态 ReID 方法普遍存在两大核心局限：

1. 忽视频域模态差异：大多数方法主要在空间嵌入空间（Spatial Embedding Space）中通过对抗学习、分布匹配或对比约束来减少特征差异。然而，异构成像机制不仅改变了空间特征分布，更显著扰乱了图像的频域响应。例如，红外热成像由于热平滑效应会抑制高频纹理，而 SAR 图像则因斑点噪声带来强烈的高频扰动。直接在空间域对齐容易忽视这些频域畸变。

2. 缺乏通用学习范式：现有算法通常为特定的模态组合（如仅 RGB-IR 或仅 Optical-SAR）量身定制，其依赖的模态特定假设很难直接迁移到其他异构传感器场景中。

针对上述挑战，DSMCL 框架被设计为一种通用的跨模态表征学习范式。值得注意的是，DSMCL 仅在训练阶段引入额外的空间与频域约束损失，在推理阶段完全不需要额外的计算模块，实现了零推理成本的即插即用增强。

方法详解

DSMCL 包含两个互补的核心分支：空间模态一致性学习（Spatial Modality Consistency Learning, SMCL） 与 频域感知判别一致性学习（Frequency-aware Discriminative Consistency Learning, FDCL）。

空间模态一致性学习（SMCL）

在空间特征空间中，同一身份的不同模态样本往往因传感器差异而处于散乱状态。SMCL 将每个身份类别  在模态  下的特征集合分布建模为多元高斯分布 ，其中  为均值向量， 为协方差矩阵。

为了度量高斯分布之间的距离，理论上可采用 Wasserstein-2 距离：

然而在 Mini-batch 训练中，由于特征维度  远远大于单批次样本数，样本经验协方差矩阵往往是秩亏且极不稳定的，计算矩阵平方根开销极大。为此，SMCL 采用对角方差近似 ，将交互项简化为标准差向量间的欧氏距离：

这种对角化化简将协方差统计量的计算复杂度从  降低到 ，在极低的计算开销下实现了高效稳定的显式分布对齐。

频域感知判别一致性学习（FDCL）

如果直接拉近跨模态的全频段频谱，容易将高频中的身份判别细节与模态特定噪声一同抹平，导致特征过平滑。因此，FDCL 分三步实现高频成分的自适应提取与判别性约束：

1. 频域特征分解：对主干网络提取的中间特征图  进行二维离散傅里叶变换（2D-DFT），计算其对数振幅谱 ，并使用 FFTshift 将低频中心化，随后进行标准化处理。

2. 自适应高频掩码生成：考虑到手设计频域切分无法适应多样化的模态特性，FDCL 引入轻量级卷积掩码生成器 ，自适应预测高频掩码：

3. 身份感知对比优化：将自适应高频表征展平后，FDCL 并不强求频谱绝对相等，而是构建监督对比学习机制，拉近同身份跨模态样本的高频表征，拉远异身份样本：

该设计在消除模态特定高频噪声的同时，成功保留了跨模态共享的身份纹理细节。

渐进式双空间联合优化

最终的模型优化目标整合了分类损失 、三元组损失  以及两项新损失：

在训练策略上，研究团队采用了渐进式 Warm-up 机制：在前 20 个 Epoch 仅使用基础损失，随后逐步引入 SMCL 空间对齐；FDCL 机制则在第 40 个 Epoch 后通过线性 Ramp-up 渐进加入。这种设计确保了网络先建立良好的身份判别表征，再进行跨模态一致性拟合。

实验与结果

为了全面验证 DSMCL 的通用性，研究团队在 SYSU-MM01、RegDB、LLCM、HOSS-ReID 以及 CMShipReID 共 5 大主流跨模态数据集、17 种评估协议上展开了实验，涵盖了从行人到舰船、从双模态到三模态的丰富场景。

行人重识别基准性能提升

在著名的 SYSU-MM01 与 RegDB/LLCM 数据集中，DSMCL 配合不同 Baseline 均取得了显著的性能增益：

• SYSU-MM01 数据集：在 Indoor-search Single-shot 协议下，将 IDKL 基线的 Rank-1 从 88.2% 提升至 92.3%；在 All-search Single-shot 协议下，Rank-1 提升至 83.6%，mAP 达到 81.4%。

• RegDB 数据集：配合 HSFLNet 基线时，在 Visible-to-Infrared 协议下实现了 97.3% 的 Rank-1 精度和 93.7% 的 mAP。

海洋舰船重识别突破

在成像差异极大的 Optical-SAR（HOSS-ReID）和可见光-近红外-热红外（CMShipReID）多模态舰船检索任务中，DSMCL 的跨模态泛化优势更加突出：

• HOSS-ReID 数据集：在困难的 SAR-to-Optical 检索设置下，TransOSS + DSMCL 将 Rank-1 抓取率从 31.3% 大幅提升至 38.8%（提升了 7.5 个百分点）；结合 MOS 基线时，全模态检索 Rank-1 进一步刷新至 70.4%。

• CMShipReID 数据集：在 TIR-to-VIS 协议下，TransReID + DSMCL 的 mAP 从 66.8% 飙升至 73.9%（+7.1%）；在 VIS-to-NIR 协议下，Rank-1 达到 79.8%（+7.1%）。

频域对齐与可视化诊断

为了深入分析 FDCL 模块的作用机理，研究团队对特征图进行了频谱对齐分析：

分析表明，从低频到高频，模态间的频谱差异呈逐渐扩大的趋势。引入 FDCL 约束后（MFENet + FDCL），可见光与红外之间的频谱差异得分从  降至 ，相对降幅达到约 30.0%。频域差异曲线明确显示，性能提升绝大部分来自于高频区域差异的显著收敛，这直接印证了“高频成分既包含模态噪声，也包含判别细节”的理论假设。

从 t-SNE 和距离分布图中可以清晰地看到，DSMCL 使得同身份特征在跨模态时更加紧凑（平均类内距离从 0.243 缩减至 0.175），而类间与类内的距离间隔（Margin）从 0.371 扩展至 0.408，极大地减少了相邻类别簇之间的重叠。

在定性检索比较中，面对 LLCM 数据集极度严峻的低光照模糊，以及 HOSS-ReID 中低分辨率 SAR 图像的干扰，加入 DSMCL 的模型显著减少了将外观相似的异身份目标误判为正确结果的情况，展现出极高的检索鲁棒性。

总结与思考

DSMCL 框架通过将跨模态一致性学习解耦并扩展至“空间分布对齐”与“频域自适应对比”两个互补维度，成功克服了传统方法忽视高频畸变和泛化能力弱的痛点。

对开发者而言，DSMCL 的最大价值在于其即插即用与零推理开销的工程属性：它不改变现有主干网络的推理结构，仅作为训练阶段的正则化损失函数，即可在行人、舰船等多达 17 种传感器协议下带来稳健的性能提升，为构建低延迟、高精度的通用多传感器重识别系统提供了极具现实意义的借鉴。

从单张图像或单目视频出发，NeoMap 不重新训练视频模型，而是在模型已经学到的世界中寻找正确的新视角答案。

当相机移动到“看不见”的地方

给定一张照片或一段普通单目视频，我们能否移动相机，生成真实、连续、并且符合目标视角的新视频？

困难在于：输入没有展示过的区域，本来就没有现成答案。几何重投影能够保持视角，却会留下空洞、拉伸和遮挡伪影；视频生成模型能够补全内容，却不一定沿着正确的相机轨迹运动。

现有方法主要沿两种范式展开：要么用规模有限的任务数据额外学习相机到视频的映射，使生成流形变窄、面对新轨迹更易落到分布外；要么在生成过程中持续使用本身处于分布外的重投影视频进行引导，也容易把最终结果带离自然视频流形。

NeoMap 的出发点是：高质量、视角一致的新视角视频，可能已经编码在预训练视频模型学习到的数据流形中。我们不必重新训练模型，真正需要做的是找到能生成这个结果的最优初始噪声。

核心直觉：在“真实”与“准确”之间来回校正

理解 NeoMap，可以把目标想成两个集合的交集：

• 自然视频数据流形：落在其中的视频通常真实、连贯，符合模型学到的场景与运动规律；

• 新视角几何约束：满足它的视频才真正对应目标相机，并保留输入中已经看见的内容。

只靠前者，画面可能真实但视角会漂；只靠后者，视角虽然正确却会残留空洞和伪影。NeoMap 让当前状态在两个集合之间交替投影：一次把结果拉向“真实”，一次把结果拉回“准确”，逐步寻找二者的交集。

三步理解 NeoMap

第一步：用重投影建立几何锚点

NeoMap 先利用 VGGT、VIPE 等基础模型恢复深度与相机位姿，再把输入内容重投影到目标相机，得到一段不完整的新视角视频，以及一张可见性掩码。

这份结果更像施工中的几何脚手架：可见区域告诉模型“相机应该看到什么”，不可见区域则留给生成模型补全。它提供了可靠的视角起点，但还不是最终成片。

第二步：AMP 负责修复与补全

锚定流形投影（AMP）借助预训练视频模型的时空先验，把当前状态推向自然视频数据流形。原来的空洞会获得与上下文一致的内容，受损区域也会被拉回更自然的视频分布。

AMP 不会无条件相信生成结果。它会比较模型预测与几何先验：二者相似，说明该区域本来就可靠，继续由几何先验锚定；差异较大，说明原先可能存在伪影，更多采用模型的修复结果。

第三步：PCP 守住像素级几何边界

潜空间高度压缩，一处修改可能影响邻近像素。即使 AMP 只想补全不可见区域，也可能让已经可靠的可见区域发生漂移。

像素约束投影（PCP）因此把结果解码回像素空间：可见区域严格取自几何先验，不可见区域采用模型生成结果，再重新编码回潜空间。它像一把硬尺，把模型的修改限制在准确的几何边界内。

AMP 追求全局语义真实感，PCP 保证精确三维视角对齐。两者反复交替，最终得到一个既自然、又符合目标相机的初始噪声。

从图中可以直观看到：初始重投影结果存在大量空洞和破损；随着交替投影推进，内容逐渐完整，伪影持续减少，同时目标视角得以保留。为避免后续生成轨迹漂移，NeoMap 还只在最初几个去噪步骤中执行轻量的辅助轨迹再锚定。

实验结果：真实感与视角一致性兼得

NeoMap 基于 Wan2.2-I2V-A14B 实现，不需要任务特定微调，也不修改模型原生的噪声到视频映射。

在 Tanks-and-Temples 和 LLFF 的静态单图实验中，NeoMap 取得领先的生成质量，同时保持第一梯队的视角一致性。相比依赖不完美重投影先验的基线，它能更好地修复几何伪影，并为不可见区域生成语义连贯的内容。

在包含复杂物体运动与相机运动的 DAVIS 数据集上，NeoMap 的优势更加明显：FID-192 相比最强的非 NeoMap 基线降低约 36.6%，衡量相机轨迹准确性的 ATE 降低约 24.7%。

消融实验也验证了核心设计：增加交替投影次数会持续改善质量；去掉 PCP 或只在潜空间施加约束，会带来明显的空间串扰和轨迹偏移。

不只生成新视角，也能外推未来

同一套“可见部分 / 不可见部分”建模还能用于视频未来外推：已经发生的帧视为可见部分，未来帧视为不可见部分，再由交替投影根据已有运动补全未来内容。

当然，NeoMap 仍依赖两个前提：目标结果需要位于预训练模型覆盖的数据分布内，初始深度与相机先验也不能出现灾难性错误。极端视角、严重遮挡或完全陌生的物体类别仍可能导致质量下降。

结语：不是重新学习，而是找到答案

NeoMap 没有重新教会视频模型如何生成，也没有在每一步强行纠正它。它把新视角合成重新表述为寻找最优初始噪声，并通过 AMP 与 PCP 的交替投影，让结果逐步接近真实感与视角准确性的交集。

我们不必重新教会模型如何生成，而可以在它已经掌握的世界中，找到正确答案。

论文信息

• 论文标题：NeoMap: Training-free Novel-View Synthesis from Single Images and Videos

• 论文作者：Jinxi Li, Tianyi Zhang, Yafei Yang, Zihui Zhang, Peng Huang, Koon Wing Macgyver Lin, Bo Yang

• 主要机构：The Hong Kong Polytechnic University, Shenzhen Research Institute；vLAR Group, The Hong Kong Polytechnic University

• 论文链接：https://arxiv.org/abs/2607.01962

• 代码与数据：https://github.com/vLAR-group/NeoMap

随着大视觉语言模型走向真实应用，安全问题也从单一的文本越狱，变成了更复杂的组合攻击：危险意图可能藏在图片里，也可能被换成模型相对薄弱的语言，再配合一段看似正常的指令诱导模型回答。

面对这种多语言 × 多模态的复合风险，现有方法通常需要分别处理语言安全与视觉安全，或者收集大量多语言、多模态数据进行全量微调。前者容易顾此失彼，后者则需要更多的高质量数据与训练成本。

近日，来自南京理工大学、新加坡国立大学等机构的研究团队提出 One Anchor for All。这项工作没有搜集更多数据或继续扩大训练规模，而是把视角转向模型内部：

大视觉语言模型中，是否存在一小组同时控制不同语言和不同模态安全行为的关键神经元？

作者发现，这样的神经元确实存在，并将其命名为 MLS-Neurons（Modality- and Language-Shared Safety Neurons），作为共享的安全语义锚点。利用易于获取的英文安全数据训练，只更新对应的约 0.03% 的模型参数，就能将安全能力迁移到10种语言的图像、文本两类风险场景中。

• 论文地址：https://arxiv.org/abs/2607.27917

• 论文标题：One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs

• 论文作者：Enyi Shi、Fei Shen、Chuancheng Shi、Linxia Zhu、Shuyi Miao、Jinhui Tang、Tat-Seng Chua

多语言与多模态安全，能否统一解决？

在纯文本模型中，安全对齐关注“面对危险请求时，模型是否拒绝”。到了LVLM时代，风险来源不再只有文字。

例如，图片中可能包含武器制作流程、暴力场景或违法操作，而用户只输入“请解释图中的步骤”；也可能图片完全正常，但文字指令本身带有明显恶意。进一步地，攻击者还可以把同一危险意图翻译成其他语言，利用不同语言之间的安全差距绕过防线。

因此，模型需要同时识别图像中的危险语义，并在危险意图被换成不同语言后保持一致的安全标准。若将两类问题分开处理，模型可能在一个方向上得到增强，却仍会被另一个方向绕过。

作者由此提出一个更直接的思路：与其重新训练整个模型，不如先找到模型内部真正控制安全行为的“关键开关”。如果同一组神经元既响应图像风险，也响应文本风险，并能连接不同语言的安全表示，那么只强化这部分参数，就有机会完成统一安全对齐。

从直觉上看，不同语言对危险内容的表述虽然不同，但背后的危险语义往往一致；图像风险和文本风险的输入形式虽然不同，模型最终也需要在高层表示中完成相似的安全判断。因此，多语言安全与多模态安全可能并不是两套完全独立的能力，而是在模型内部共享一部分决策通路。本文正是围绕这一假设展开。

寻找共享安全神经元

论文重点分析Transformer中的FFN神经元。为了区分不同类型的安全信号，作者设计了三类输入：图像包含危险信息、文字本身安全的Image-Dominant Risk；图像正常、文字指令危险的Text-Dominant Risk；以及图像和文字都正常的Benign Input。

前两类输入分别用于定位图像安全神经元与文本安全神经元，良性输入则用于过滤一般能力神经元。这样可以避免把负责物体识别、语言理解或常识推理的高激活神经元误判为安全神经元。

对于每个神经元，作者不仅观察其风险激活强度，还结合下投影向量衡量它对模型输出的实际影响：

其中， 表示神经元的平均激活， 表示对应的下投影向量。相比只看激活值，这个指标同时考虑了“神经元有多活跃”和“它对输出有多大作用”。

作者在每层选取显著性最高的Top-K神经元，并过滤良性输入中同样显著的部分，分别得到图像风险敏感的 IS-Neurons 和文本风险敏感的 TS-Neurons。两者在同一语言内取交集，得到 MS-Neurons：

随后以英文为锚点，将各非英文语言与英文的MS-Neurons取交集，汇总得到每层的MLS-Neurons：

最后，作者将各层得到的共享安全神经元统一汇总，形成完整的MLS-Neurons集合：

由此，整个过程从单模态安全神经元出发，逐步得到跨模态、跨语言共享的安全语义锚点。

一个锚点，连接语言与模态

“一个锚点”指的是以英文为中心共享的MLS-Neurons。英文安全数据更加丰富，可以作为稳定的语义参照；模型内部不同语言对同一种危险意图的理解，则通过共享安全神经元连接起来。

找到MLS-Neurons后，作者冻结其余模型参数，仅允许这部分神经元对应的参数参与训练。梯度更新为：

训练目标仍采用标准的自回归语言建模损失，但最终参与更新的参数仅占模型总参数量约 0.03%。对于数十亿参数规模的模型，这意味着绝大多数知识、感知和推理参数保持不变，只强化已定位的安全通路。

这与LoRA等通用参数高效微调方法不同。LoRA通过插入低秩参数减少训练开销，而本文先定位原模型中与安全功能相关的原生参数，再进行定向更新。重点不只是“参数少”，而是只训练真正与安全有关的参数。

这种设计也让安全训练更具有针对性：英文监督不需要重新塑造整个模型，而是沿着已经存在的共享安全通路传播，使同一种危险语义在不同语言和不同输入模态下触发更一致的安全拒答行为。

共享神经元真的控制安全吗？

在比较训练效果之前，作者首先验证MLS-Neurons是否真正承担了安全功能。

从神经元数量与攻击成功率ASR的关系来看，两者呈现明显负相关：某种语言拥有的MLS-Neurons越多，模型在该语言上的ASR通常越低，说明共享安全神经元的规模与模型安全性紧密相关。

作者还分别屏蔽随机神经元、语言特定安全神经元和真正的MLS-Neurons。结果显示，屏蔽MLS-Neurons后，两类风险场景中的攻击成功率上升最明显。

以Qwen为例，屏蔽MLS-Neurons后，图像主导风险ASR从 30.71 升至 50.44，文本主导风险从 19.57 升至 50.98。与此同时，MMMU和MGSM上的变化仅为 0.22 和 0.92。

这意味着移除这组神经元会显著破坏安全能力，却几乎不影响一般多模态理解和多语言推理能力，进一步证明MLS-Neurons确实承担了较为集中的安全功能。

多语言多模态安全防护

论文在Gemma-3-4B-Instruct、Qwen3-VL-8B-Instruct和Llama-3.2-11B-Vision-Instruct三种模型上开展实验，覆盖不同参数规模与模型架构。

安全评测共覆盖10种语言：中文、英文、法语、德语、日语和西班牙语作为分布内语言，阿拉伯语、挪威语、芬兰语和俄语作为分布外未见语言；两类设置分别为图像主导风险IR与文本主导风险TR。指标为攻击成功率ASR，数值越低代表模型越安全。

对比方法涵盖原始模型，以及具有代表性的多语言安全对齐和多模态安全对齐方法。为进一步分析不同参数更新策略的影响，论文还比较了全量监督微调、LoRA，以及在相同层分布下随机选取等量神经元进行训练的方案。除安全性外，作者还使用MMMU、MGSM和MM-Vet，分别评估模型的多模态理解、多语言推理能力，以及对良性请求的正常回答能力。

在三种模型、两类风险设置中，本文方法的平均ASR均为最低。相较原始模型，Llama的IR/TR平均ASR从 24.01 / 14.65 降至 5.89 / 2.80，Qwen从 27.71 / 18.43 降至 8.07 / 5.86；在Gemma上，相较当前最强基线MLC，ASR从 10.58 / 10.55 降至 6.09 / 5.73。

定量结果之外，论文还给出了跨语言、多模态复合攻击的定性案例。原始模型会直接生成危险内容，而经过MLS-Neurons定向训练后，模型能够识别不同语言与图像中的风险，并给出安全拒答。

作者进一步将MLS定向训练与全量微调、LoRA和随机稀疏更新进行比较。

在覆盖全部10种语言的实验中，本文方法仅更新0.03%参数，以Gemma为例，全量微调的平均IR/TR ASR为 8.06 / 6.91，LoRA为 11.39 / 10.66，随机更新同等数量神经元为 17.74 / 14.53，而MLS定向训练达到 4.92 / 5.63。随机稀疏更新明显更弱，说明性能提升来自对关键安全参数的精准定位，而非简单的稀疏更新。

更重要的是，安全能力提升的同时，模型原有多模态与多语言能力基本保持稳定。

例如，在Gemma上，本文方法的MMMU准确率最高达到 39.78，在Qwen上，MGSM的准确率最高达到 72.86。在MM-Vet良性请求中，Qwen与Gemma训练后的正常回答数量也与其余训练方式基本保持一致。

未见语言与未见攻击防御

为验证安全能力能否进一步迁移，作者在阿拉伯语、挪威语、芬兰语和俄语四种分布外未见语言上测试。

与多语言安全方法MLC相比，本文方法在三种模型上的平均ASR继续下降：Gemma的IR/TR从 5.36 / 8.89 降至 3.17 / 5.47，Llama从 14.39 / 9.67 降至 5.46 / 3.03，Qwen从 24.11 / 14.55 降至 12.99 / 8.50。

为进一步验证方法的适用性，作者在多个未见越狱基准上评估其对新型攻击的泛化能力。在多模态越狱基准FigStep和SPA-VL上，Qwen均表现出良好的安全防御效果，ASR分别降至 0.60 和 0.38；在多语言越狱基准MultiJail的多种语言测试中，该方法同样取得了稳定优势，展现出面对未见攻击时良好的迁移能力与鲁棒性。

从跨语言结果来看，MLS-Neurons学习到的并不是某一种语言中的固定表达，而是更接近危险意图本身的共享语义。只要输入在模型内部映射到相似的安全表示，这条经过强化的通路就能够发挥作用。

共享安全神经元如何被强化？

作者还观察了训练前后MLS-Neurons在不同层中的显著性变化。可以看到，训练后多数层的共享安全神经元得到显著增强，其中变化更明显的区域主要集中在模型中后层。

中后层通常承担更高层次的语义整合与输出决策。MLS-Neurons在这些层中被明显强化，说明该方法增强的是模型对危险意图的高层语义判断，而不是简单改变表层词语响应。

总结

One Anchor for All从神经元层面提出多语言、多模态统一安全对齐方案：先找到跨模态共享安全神经元，再以英文为锚点连接不同语言，最后冻结其余参数，只强化这条高度集中的安全通路，形成共享安全语义锚点。

在Gemma、Llama和Qwen三种LVLM、10种语言上的实验表明，仅更新约0.03%参数，就能显著降低图像与文本风险场景的攻击成功率，并迁移至未见语言和新越狱基准，同时保持多模态理解与多语言推理能力。

这项工作说明，安全对齐不一定只能依赖更大规模的数据和全量训练。找到模型内部真正负责安全行为的关键结构，再进行精准强化，也可以获得高效、统一且可解释的安全能力迁移。

论文： DNA: Uncovering Universal Latent Forgery Knowledge
作者： Jingtong Dou、Chuancheng Shi、Anqi Yi、Shiming Guo、Yemin Wang、Wenhua Wu、Li Zhang、Fei Shen、Tat-Seng Chua
单位： 悉尼大学、厦门大学、香港理工大学、新加坡国立大学
论文链接：arXiv:2601.22515
代码链接：https://github.com/jocelyndou/DNA-Uncovering-Universal-Latent-Forgery-Knowledge
数据集链接：https://huggingface.co/datasets/Jdou0056/HIFI-Gen
论文状态： ICML 2026

当 AI 生成图像越来越逼真，靠“手指数量不对”“纹理不自然”“频谱里有规律噪声”来识别假图，正在迅速失效。

过去的主流方案通常是：找一个 CLIP、ViT 等预训练视觉模型，再用大量真假图像对它进行微调，让模型重新“学会”鉴伪。

但一项来自悉尼大学、厦门大学、香港理工大学和新加坡国立大学的最新研究提出了一个完全不同的问题：

如果预训练模型其实早就具备鉴伪能力，只是这种知识一直藏在少数神经元中，没有被真正唤醒呢？

围绕这一假设，研究团队提出 Discriminative Neural Anchors（DNA，判别神经锚点） 框架。它不再把预训练模型当作一个只能输出全局特征的“黑盒”，而是深入模型内部，从中间层中定位一小群对伪造痕迹高度敏感的 Forgery-Discriminative Units（FDUs，伪造判别单元）。

实验显示，仅依靠这些稀疏的“鉴伪神经元”，DNA 就在多个跨数据集测试和最新生成模型上取得了强劲表现：在包含 FLUX、SD3.5、SDXL 等模型的 HIFI-Gen 基准上，平均准确率达到 96.4%。

图注：当生成图像的表面伪影逐渐消失，DNA 不再追逐像素层面的固定线索，而是从预训练模型内部寻找可泛化的鉴伪知识。图片来源：论文 Figure 1。

从“教模型鉴伪”到“唤醒模型的鉴伪本能”

AI 生成图像检测长期面临一个难题：检测器很容易记住某一代生成模型的痕迹，却难以识别下一代模型。

早期方法依赖像素纹理、上采样痕迹或频域指纹；扩散模型出现后，研究者又开始利用重建误差等特征。但生成技术迭代得越快，这些与特定架构绑定的线索就越容易过时。

DNA 的核心观点是：大规模预训练模型在学习真实世界的视觉规律时，可能已经顺带形成了对“非自然生成模式”的敏感性。这种能力不是均匀分布在整个网络中，而是集中在特定中间层的一小部分神经元里。

换句话说，模型也许不是“不懂真假”，而是我们一直没有问对位置。

这带来一次检测范式的转变：

• 过去：通过大量伪造样本，把检测能力“写进”模型；

• DNA：冻结预训练骨干，从已有表示中把鉴伪能力“挖出来”；

• 目标：减少对特定生成器和大规模微调的依赖，获得更高效、更可解释的泛化检测器。

为最新生成模型补上一场“高难度考试”

已有伪造检测数据集往往由较早期的 GAN 或 U-Net 生成模型构成，表面痕迹相对明显，难以代表当下近乎以假乱真的生成质量。

为此，团队构建了新的高保真生成图像基准 HIFI-Gen。该数据集覆盖五种不同技术路线的先进文生图模型：

• Stable Diffusion 2.1

• Stable Diffusion 3.5

• SDXL

• FLUX.1 Dev

• Z-Image

HIFI-Gen 共包含 15,000 张生成图像。每个生成器贡献 3,000 张，覆盖 ImageNet 的 1,000 个类别，每类生成 3 张样本。相比只考察旧式生成架构的基准，它更接近“低伪影、跨架构、持续迭代”的现实挑战。

图注：HIFI-Gen 由五种先进生成模型构成，每种模型生成 3,000 张图像，覆盖 1,000 个类别。图片来源：论文 Figure 2。

DNA 如何找到模型里的“鉴伪基因”？

DNA 采用一套由粗到细的挖掘流程：先找关键层，再找关键神经元，最后自动确定保留多少神经元。

图注：DNA 先定位对真假差异最敏感的中间层，再通过三因素评分筛选稀疏的伪造判别单元。图片来源：论文 Figure 3。

第一步：从 24 层网络中锁定关键区间

团队首先观察两个信号。

一是特征空间是否开始分离。研究者计算每一层中真实图像与生成图像特征中心的余弦距离。当距离明显增大，说明真假样本在该层开始出现方向性分离。

二是模型注意力是否发生转移。研究者比较真假图像在每一层的全局注意力分布。当两类图像的空间关注区域出现明显差异，意味着模型开始从“图里是什么”转向“局部是否自然”。

结果显示，浅层特征中的真假表示高度纠缠；从第 8 层附近开始，两类特征逐渐分离；在 第 12—18 层，注意力差异形成明显峰值，线性探针的鉴伪能力也最强。

这组中间层因此成为 DNA 的重点搜索区间。

图注：真假图像的特征分离与注意力偏移在中间层显著增强，为关键层定位提供依据。图片来源：论文 Figure 4。

第二步：用三因素评分筛出关键神经元

找到关键层后，DNA 不会保留其中所有神经元，而是为每个候选神经元计算一个三因素融合分数：

其中：

• 激活值 ：神经元面对输入时响应有多强；

• 线性探针权重 ：它对真假分类边界的统计贡献有多大；

• 梯度 ：分类损失对该神经元有多敏感。

三个条件缺一不可。仅仅激活很强，可能只是对图像语义敏感；权重很高，却不一定在不同样本上稳定；梯度敏感，也未必真正参与了最终判断。只有同时“活跃、重要、敏感”的神经元，才会被视为 FDU 候选。

研究中的注意力可视化显示，这些 FDU 对真实图像通常保持较低响应，却会在生成图像中聚焦于不自然纹理、复杂光照或几何结构的局部逻辑缺陷，而不是只看颜色或物体类别。

图注：FDU 更关注生成图像中的局部结构异常，而非全局语义。图片来源：论文 Figure 5。

第三步：让算法自动决定“留多少”

关键神经元并非越多越好。加入大量普通神经元，反而可能把物体类别、场景内容等语义冗余重新带回检测特征中。

DNA 将所有候选神经元按融合分数排序，再用 Kneedle 算法寻找曲线的“肘点”：肘点之前是少量高贡献神经元，之后则进入收益迅速递减的长尾区域。最终，只有肘点之前的神经元会被拼接成紧凑的鉴伪特征。

这一设计不需要人工为不同骨干模型反复指定阈值，也让 DNA 能够适配 CNN、ViT 乃至论文扩展实验中的 BERT、RoBERTa 等架构。

实验结果：少量神经元，撑起跨模型鉴伪能力

1. 传统跨数据集测试：平均准确率最高提升 8.3 个百分点

在 ForenSynths 与 GenImage 两个常用基准上，DNA 分别取得 97.2% 和 96.5% 的平均准确率。

与论文中最强对比方法 MoLD 相比：

在更具挑战性的 Midjourney 子集上，DNA 的准确率为 93.7%，相比 MoLD 的 76.3% 提升 17.4 个百分点。

图注：DNA 在 GAN、扩散模型等多种生成机制上保持稳定的跨数据集检测能力。图片来源：论文 Table 1。

2. 面对未见过的新架构：HIFI-Gen 平均准确率 96.4%

真正困难的问题不是识别已经见过的生成器，而是检测训练阶段未覆盖的新一代架构。

在仅用于测试的 HIFI-Gen 上，DNA 对五类生成模型取得 96.4% 平均准确率和 99.2% 平均 AP。相比之下，CNNDetection 与 DIRE 的平均准确率分别只有 50.6% 和 55.3%，接近随机判断；MoLD 为 81.0%，DRCT（Conv-B）为 91.1%。

其中，在 FLUX 与 SD3.5 上，DNA 的准确率分别达到 95.0% 和 94.1%，较 DRCT（Conv-B）分别高出 7.2 和 5.4 个百分点。

图注：在 FLUX、SD3.5、SDXL、SD2.1 与 Z-Image 上，DNA 取得 96.4% 的平均准确率。图片来源：论文 Table 2。

3. 为什么偏偏是中间层？

消融实验将 24 层 ViT 划分为四段：浅层（1—6）、过渡层（7—11）、关键层（12—18）和深层（19—24），并在 500 个训练样本的 few-shot 设置下进行比较。

在 SD1.4 上：

• 浅层准确率：62.1%

• 过渡层准确率：90.7%

• 关键层准确率：98.4%

• 深层准确率：86.2%

这一结果呈现出清晰的“中间层峰值”：浅层更容易受低层噪声影响，深层则重新被高层语义主导；位于两者之间的关键层，恰好保留了对局部生成异常最敏感的表示。

图注：第 12—18 层的关键区间取得明显性能跃升，验证了鉴伪知识并非均匀分布。图片来源：论文 Figure 6。

4. 屏蔽这些神经元，性能立刻“塌掉”

为了确认 FDU 不是偶然筛出的高激活单元，团队进行了神经元屏蔽实验。

在基础模型上：

• 随机屏蔽同等数量神经元，准确率仅下降 2.0 个百分点；

• 屏蔽幅值相近的非 FDU 神经元，准确率仅下降 1.1 个百分点；

• 屏蔽 FDU 后，准确率从 93.1% 跌至 65.1%，骤降 28.0 个百分点。

在未见过的 Midjourney 域上，屏蔽同一组 FDU 索引同样造成 22.3 个百分点的准确率下降。这说明关键能力确实集中在一组功能明确、跨域稳定的低维神经子空间中。

图注：随机移除神经元影响有限，而屏蔽 FDU 会导致检测性能大幅下降。图片来源：论文 Table 3 / Figure 7。

5. 少样本、抗压缩，还更快

DNA 对训练数据量的敏感性测试覆盖 200 到 30,000 张图像。论文观察到，约 5,000 个样本后性能收益已经趋于饱和；SD1.4 上的准确率在 5,000 个样本时达到 96.7%，继续增加到 30,000 个样本反而回落到 95.0%。

面对社交媒体常见的二次处理，DNA 也保持了较强稳定性：在 JPEG 质量因子 40 的高损压缩下，AP 仍达到 92.4%；在缩放测试中，AP 始终超过 99%。

效率方面，论文以 ADM 生成的 1,000 张图像为例：对比方法处理耗时 13,747.81 秒，DNA 仅需 595 秒，单项约快 23 倍；在全部测试类别上，平均加速超过 10 倍。核心探针与子空间训练实验可在单张 NVIDIA RTX 3090 上完成。

图注：DNA 在常见图像退化下保持稳定，并显著降低检测时间。图片来源：论文 Figure 9 / Figure 16。

这项工作真正重要的地方是什么？

DNA 的价值不只是一组更高的检测指标，更在于它提供了一种理解基础模型的新视角。

1. 鉴伪能力可能是理解真实世界的“副产品”

研究团队用预 AIGC 时代数据训练的模型进行时间隔离实验。即使模型在预训练时不可能见过现代扩散模型生成图像，ResNet-50 与 DINOv2 仍分别达到 95.4% 和 93.6% 的 AP。

这支持了论文的“判别唤醒”假设：当模型充分学习自然图像的统计规律后，它也可能自然获得识别非自然结构的能力，而不只是记住某一种生成器的指纹。

2. “少即是多”不只是压缩模型

传统特征提取往往默认“保留越多越好”，DNA 则显示，真正与鉴伪相关的信息可能高度稀疏。剔除大量语义冗余后，一小组神经元反而比完整全局表示更容易跨生成器泛化。

3. 从性能结果走向机制解释

通过关键层定位、神经元评分、注意力可视化和屏蔽实验，DNA 不只回答“模型能不能检测”，也试图回答“模型在什么位置、依靠哪些单元完成检测”。这种神经元级分析，为构建更透明的内容安全系统提供了新的工具。

4. 这套思路可能超越图像

论文还在 BERT、RoBERTa 等语言模型上进行了扩展验证，显示类似的神经元挖掘策略具有应用于 AI 生成文本检测的潜力。不过，当前主体实验仍聚焦于 AI 生成图像，跨模态结论还需要更系统的独立验证。

仍需注意的边界

这项工作展现了很有吸引力的方向，但距离“一劳永逸地识别所有 AI 内容”仍有距离。

• 当前论文为 arXiv 预印本，结论仍有待同行评审和更多独立复现；

• 主体任务是整图级 AI 生成图像检测，不能直接等同于局部篡改定位、换脸视频检测或来源追踪；

• 实验主要基于 CLIP、ViT 等通用视觉骨干，医疗影像等高精度专业场景尚未验证；

• HIFI-Gen 在论文中被描述为将开源的数据集，截至论文页面当前版本未附官方代码或数据仓库链接；

• 96.4% 是论文特定协议下 HIFI-Gen 的平均准确率，不应被解读为任意互联网图片上的统一真实世界准确率。

这些边界并不削弱 DNA 的意义，反而指出了后续最值得关注的问题：这些“沉睡的鉴伪神经元”能否在更开放、更复杂、甚至对抗性的环境中继续保持稳定？

结语

生成模型不断升级，检测器若始终追着新伪影跑，就难免陷入一场没有终点的猫鼠游戏。

DNA 提出了一条不同的路线：与其不断给模型灌输新的伪造知识，不如回到预训练模型内部，寻找它在理解真实世界时已经形成的鉴伪本能。

从中间层定位，到三因素神经元评分，再到自动截取稀疏 FDU，DNA 让“模型早就会，只是没有被唤醒”从一句假设变成了一套可测试的方法。它不仅在多个旧有基准上取得领先，也在 FLUX、SD3.5、Z-Image 等新一代生成架构上展示了令人印象深刻的泛化能力。

当生成图像越来越难从表面辨别，未来的鉴伪系统，或许真的需要从模型的“神经深处”寻找答案。

论文信息

• 论文标题： DNA: Uncovering Universal Latent Forgery Knowledge

• 作者： Jingtong Dou, Chuancheng Shi, Anqi Yi, Shiming Guo, Yemin Wang, Wenhua Wu, Li Zhang, Fei Shen, Tat-Seng Chua

• 论文主页：https://arxiv.org/abs/2601.22515

• HTML 全文：https://arxiv.org/html/2601.22515v1

• PDF：https://arxiv.org/pdf/2601.22515

• 提交时间： 2026 年 1 月 30 日

把游客从风景照里移走，把路人从视频中擦除，再让缺失的草地、墙面或水面自然长回来，这是生成式视觉编辑正在快速普及的一项能力。

但一个长期被忽略的问题是：我们究竟该怎样判断它擦得好不好？

有些结果肉眼可见地留着影子和轮廓，却能获得更高的传统指标分数；有些画面只是把瑕疵“糊”掉，也可能被无参考指标判得更干净；到了视频里，擦除区域已经开始闪烁，全局时序指标却几乎没有反应。

这意味着，模型能力不断进步的同时，评测本身可能正在给出错误的优化信号。

针对这一问题，小米 MiLM Plus 团队提出 PROVE（Perceptual RemOVal cohErence）：一套面向图像与视频目标移除的感知评测框架。它包含空间指标 RC-S、时间指标 RC-T，以及由真实世界配对数据与高难无参考数据共同组成的 PROVE-Bench。相关论文已被 ACM Multimedia 2026 录用，并入选 Oral Presentation。

PROVE 想改变的不是某个分数的计算细节，而是评测时提出的问题：不再追问“它是否复刻了唯一答案”，而是判断“新生成的区域是否属于这个场景，并且能否在时间中保持稳定”。

一道本来就没有唯一答案的题

目标移除是典型的“一对多”问题。

假设画面中有一个人挡住了草地。人被移除以后，模型可以生成不同的草叶纹理、明暗变化和细节组合。它们未必与某一张参考图逐像素相同，却都可能符合真实世界，也都可能让人看不出编辑痕迹。

PSNR、SSIM、LPIPS 等全参考指标则默认存在一个标准答案。只要输出偏离这张参考图，就会受到惩罚。这种评价方式适合有确定对应关系的重建任务，却很难完整描述开放式生成结果的合理性。

论文从实验中归纳出三种典型“误判”。

误判一：没擦干净，反而更像标准答案

全参考指标在整张图上统计误差时，大面积、没有被编辑的背景往往占据主导。擦除区域即使残留阴影或物体轮廓，只要所占像素较少，最终惩罚也可能有限。

在没有配对真值的场景中，一些评测还会只比较掩码外区域。此时，机械保留原背景的结果很容易拿到高分，而最关键的擦除区域却没有真正进入评价中心。论文将其称为 “Copy-Paste Bias”。

图 1：红色数值标出了与视觉判断冲突的指标偏好。同一组结果中，传统指标可能奖励残留、保守复制或较模糊的输出。

误判二：越模糊，越“干净”

不依赖真值的 ReMOVE、CFD 等指标解决了“没有标准答案就无法打分”的限制，但仍可能被全局统计或一阶特征相似度影响。

论文在掩码区域内逐步增加高斯模糊，构造了一项简单的压力测试：随着纹理和结构被持续抹平，一个符合人类感知的指标应当判断质量下降。然而已有无参考指标没有随模糊增强而稳定变差，部分分数最终甚至超过未模糊结果。

换句话说，模糊可以藏住瑕疵，也可能同时骗过评测。

图 2：从左至右为掩码、原始真值，以及两档逐渐增强的局部模糊。墙面上的楼层标牌由清晰变得难以辨认，但掩码外区域完全不变。

图 3：只有当特征表达、局部窗口与分布距离合理配合时，指标才会对不断增强的局部模糊给出符合直觉的退化趋势。

误判三：视频局部在闪，全局分数没看见

视频目标移除比单帧图像多了一项要求：补出来的内容不仅要在每一帧看起来自然，还要在相邻帧之间连续。

现有 TC、TF 等时序指标通常基于整帧特征。可擦除区域往往只占画面的一小部分，绝大多数未变化背景会稀释局部错误。于是，局部闪烁、纹理跳变和短时残影可能被全局平均掩盖。

这三个问题指向同一个症结：评测关注的尺度与错误真正发生的区域并不一致。

PROVE：把评价镜头推近擦除区域

PROVE 的核心指标统称为 Removal Coherence（RC，移除一致性）。它采用统一的局部分布匹配思路，同时回答空间与时间上的两个问题。

图 4：RC-S 在单帧内比较修复区域与周围背景；RC-T 在相邻帧的共同修复区域内比较特征分布变化。

RC-S：生成内容能否融入周围环境？

RC-S 首先根据掩码找到每个独立目标，在目标包围框外扩三分之一边长，保留足够的局部上下文；随后利用 DINOv2 提取语义特征，并让滑动窗口遍历与掩码相交的区域。

在每个窗口中，RC-S 不做逐像素比对，而是用 最大均值差异（MMD） 衡量掩码内外两组特征的分布距离。最后对窗口和目标分别聚合，得到空间一致性评价。

这个设计可以理解为一次“就地取材”的检查：补出来的是一块草地，就观察它是否与旁边的草地属于相近的视觉分布；补出来的是墙面，就判断其颜色、纹理和结构能否接入周围墙体。它不要求生成内容与某个唯一真值完全相同。

局部窗口也避免了多目标、远距离目标或大面积背景把真正的缺陷平均掉。论文消融实验显示，移除滑动窗口后，RC-S 的平均 Kendall 相关性从 0.59 降至 0.48；将 MMD 换为余弦相似度后则降至 0.52。

图 5：绿色框表示评价裁剪区域，红色块表示两个相距较远的掩码。左侧策略用一个大框包住全部目标，引入大量无关背景；右侧 RC-S 分别围绕每个目标取局部上下文。

RC-T：相邻帧中的“同一块区域”是否稳定？

RC-T 将相同思路延伸到视频。对于相邻两帧，它先用两帧掩码的并集确定统一裁剪范围，避免独立裁剪带来空间错位；再取掩码交集，只评价两帧中都属于修复区域的部分。

随后，RC-T 在滑动窗口内比较相邻帧的特征分布漂移。这样，评测注意力被限定在真正发生编辑的局部区域，微小但连续可见的闪烁不再轻易被整帧背景淹没。

一套指标，还需要一座足够真实的“考场”

可靠评测不仅取决于尺子，也取决于测试数据。现有视频数据通常面临两难：真实视频具备自然运动和复杂光影，却没有“物体从未出现过”的配对真值；合成数据可以提供精确真值，却难以覆盖真实拍摄中的复杂变化。

PROVE-Bench 因此设计了两个互补子集。

图 6：PROVE-M 强调真实配对与可控评价，PROVE-H 强调无约束环境下的高难压力测试。

PROVE-M：80 段真实配对视频，让比较可控

PROVE-M 采用三脚架固定机位连续拍摄：先记录包含目标的视频，再移走目标，并在两分钟内拍摄对应的无目标视频，以尽量保持光照、阴影方向和场景布局一致。SAM3 生成的掩码还会经过逐帧人工修正。

为了保证配对质量，团队使用掩码一致性筛选、掩码外大型变化过滤和人工复核三道流程，最终保留 80 组高质量样本。每段视频包含 81 帧 1080p 画面，同时覆盖横屏与竖屏。

图 7：PROVE-M 样例。红色区域为待移除目标，数据覆盖阴影（Sh.）、空间上分离的关联效应（D.A.）、多重效应（M.E.）、反射（Ref.）与快速运动（Fst.）。

固定拍摄虽然有利于获得对齐真值，却与真实手持视频存在差距。为此，PROVE-M 对输入、掩码和真值同步施加裁剪、缩放和平移等 Ken Burns 风格变换，模拟手持抖动、推拉镜头和目标跟随。同步变换既保留严格对齐，也把相机运动带来的边界伪影和时序不稳定纳入测试。

图 8：从真实配对采集、质量控制到同步运动增强，PROVE-M 在“可量化”与“接近真实拍摄”之间建立连接。

PROVE-H：100 段没有真值的困难视频，让模型接受实战检验

PROVE-H 不提供无目标真值，因为它希望保留开放环境本身的难度。其 100 段 1080p 视频覆盖人群遮挡、流水与火焰等动态背景、草地和沙漠等高纹理场景、复杂反射以及快速运动。

图 9：PROVE-H 样例。从左至右分别展示密集人群（Crw.）、动态水面与多重物理效应（M.E.）、高纹理草地（Tex.）；这类场景很难获得严格配对的无目标真值。

这个子集还直接使用未经人工精修的 SAM3 掩码，让自动分割误差成为测试条件的一部分。它更接近实际产品链路：用户给出一个不一定完美的选区，模型仍需完成稳定、自然的移除。

这套基准，确实让现有方法暴露了问题

PROVE-Bench 不只罗列场景类别。论文还在统一协议下测试了 FGT、Minimax、ROSE、GenOmni 等视频目标移除方法。可视化结果表明，即使未编辑背景得到较好保持，真正的擦除区域仍可能出现残影、结构扭曲和时序不稳定。

图 10：PROVE-M 的大面积阴影案例。目标本身被移除后，多种方法仍留下明显人形阴影、重影或边界伪影，说明“去掉主体”和“恢复完整物理效应”并不是同一件事。

图 11：PROVE-H 的高纹理草地案例。面对细密且相互遮挡的植被，现有方法容易产生模糊块、残留人体结构或不连续纹理。

附录中的完整比较还显示，从静态配对版本 PROVE-S 切换到加入推拉、平移和抖动的 PROVE-M 后，参评模型的多项指标普遍退化。这说明相机运动不是装饰性增强，而是会真实放大边界错误与跨帧不一致。

新指标与人眼，到底有多一致？

团队在 RORD、OBER-Wild、DAVIS、ROSE、PROVE-M 和 PROVE-H 六个图像或视频基准上，对多种图像与视频目标移除方法展开评测。

主观实验邀请 20 名参与者观看随机排列的四种模型输出，并按照整体移除质量与上下文一致性排序。研究者再以 Kendall's tau 和 Spearman rho 衡量各类指标排序与聚合人类排序之间的相关性。

图 12：RC-S 在两类相关性统计下都获得最高平均值，并在六个基准中的五个取得第一。

结果显示：

• RC-S 的平均 Kendall's tau 为 0.59，平均 Spearman rho 为 0.66；

• 两项统计中，RC-S 都在 6 个基准中的 5 个排名第一；

• 在 PROVE-M 上，RC-S 的 Kendall's tau / Spearman rho 为 0.70 / 0.75；

• 在更困难的 PROVE-H 上，两项相关性进一步达到 0.76 / 0.82；

• 表现最接近的 mask-only LPIPS 平均值分别为 0.52 / 0.58，但它依赖配对真值，无法用于 OBER-Wild、DAVIS、PROVE-H 等无真值场景。

论文还用两种受控破坏检验 RC-T：Random Drop 删除中间帧以制造运动跳跃，Random Replace 用时间上更远的帧制造闪烁和突变。随着受损帧数量增加，可靠的时序指标应当持续反映质量恶化。

图 13：TC 与 TF 对局部破坏响应较弱，部分区间甚至朝错误方向变化；RC-T 则随两类破坏增强呈现清晰、单调的退化响应。

这组实验说明，局部分布匹配不仅在统计上更接近人类排序，也确实能捕捉传统全局评价容易漏掉的局部空间和时间错误。

从“生成得像”走向“编辑得对”

生成模型正在让图像与视频编辑获得越来越高的自由度，但自由度越高，“唯一真值”就越难承担全部评价责任。

PROVE 给出的思路是：目标移除不应只被视为一次像素重建，而应被看作一次局部视觉关系的重组。高质量结果需要同时满足两项条件：在空间上，新内容与上下文协调；在时间上，这种协调能够跨帧持续。

RC-S、RC-T 与 PROVE-Bench 分别提供了空间评价、时间评价和真实世界测试环境。它们共同构成的，不只是一个新分数，更是一套面向生成式视觉编辑的评测坐标系。

当“一键去人”“一键去物”逐渐成为终端中的常用能力，评测也必须回答一个比“像不像参考图”更接近用户体验的问题：

目标离开以后，这个场景还能不能让人相信，它原本就是这样？

论文与开源资源

• 论文标题：PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media

• 作者：Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

• 团队：小米 MiLM Plus

• 会议：ACM Multimedia 2026 Oral Presentation

• arXiv：https://arxiv.org/abs/2605.14534

• 项目主页：https://xiaomi-research.github.io/prove/

• 代码仓库：https://github.com/xiaomi-research/prove

• PROVE-Bench：https://huggingface.co/datasets/HigherHu/PROVE-Bench

当有害语义不是藏在某一个神经元里，而是沿着多层网络不断传播时，只封住一个“路口”显然不够。TraceRouter 的思路是：找到源头、追踪路径，再精准切断整条有害信息链路。

大模型的安全防护，常常面临一个两难问题：

• 防得不够严，越狱提示、对抗攻击仍可能绕过限制；

• 干预得太重，又容易误伤模型原本的生成、推理与跨模态能力。

一项来自悉尼大学、南京理工大学、南京大学和新加坡国立大学的最新研究提出 TraceRouter，将安全干预的粒度从单个神经元或局部特征提升到跨层因果传播路径。它不依赖额外微调模型权重，而是在推理阶段识别并抑制有害语义所经过的关键计算路径，从而兼顾对抗鲁棒性与模型效用。

论文信息

• 论文题目： TraceRouter: Robust Safety for Large Foundation Models via Path-Level Intervention

• 作者： Chuancheng Shi、Shangze Li、Wenjun Lu、Wenhua Wu、Cong Wang、Zifeng Cheng、Fei Shen、Tat-Seng Chua

• 作者单位： 悉尼大学、南京理工大学、南京大学、新加坡国立大学

• 论文版本： arXiv v2，2026 年 1 月 31 日；目前为预印本

• 论文链接：

• arXiv 摘要：https://arxiv.org/abs/2601.21900

• HTML 全文：https://arxiv.org/html/2601.21900v2

• PDF：https://arxiv.org/pdf/2601.21900

• 代码链接：https://github.com/LucasShi1101/TraceRouter/tree/main

为什么只抑制几个神经元还不够？

许多现有的大模型内部安全干预方法，都建立在一种“局部性假设”上：某类有害概念主要由少数神经元或特征承载，因此只要找到并压制这些单元，就能阻止模型输出不安全内容。

但 TraceRouter 的作者认为，这个假设低估了深层网络中语义表示的分布式特征。

在真实的大模型内部，有害语义往往不是静态地存放在某个单点，而是由多个层、多个组件共同编码，并沿着跨层计算路径持续演化。只关闭一个节点，更像是在复杂路网中封住一个路口：攻击者仍可能通过其他路径实现“语义绕行”；与此同时，被压制的多义神经元还可能承担正常功能，误伤模型效用。

基于这一观察，论文提出了一个新的路径级表示假设：

敏感语义由特定的神经路径编码和传播，而不是由孤立组件单独决定。真正有效的安全干预，应当瞄准语义流动的拓扑结构。

TraceRouter：发现、追踪、切断

TraceRouter 将完整流程概括为三个阶段：Discover–Trace–Disconnect（发现—追踪—切断）。

第一步：发现敏感语义从哪一层开始出现

研究团队首先构造敏感提示与对应的非敏感提示，比较不同层中的注意力差异。

他们不仅观察敏感修饰词与目标名词之间的注意力，还使用“上下文扰动”扣除由提示变化带来的全局注意力波动，最终得到每一层的敏感度分数。沿模型深度观察这条曲线，第一个局部峰值被视为敏感语义开始显著形成的“起始层”。

在 Stable Diffusion 1.4 的实验中，这个位置出现在第 3 层。进一步的选择策略对比也显示，使用第一个局部峰值进行干预时，防御成功率达到 99.20%；使用全局最大峰值或固定阈值时，结果分别只有 63.69% 和 63.59%。这说明安全干预的关键不是等信号变得最强，而是在有害语义刚进入传播链时抓住它。

确定起始层后，TraceRouter 使用 Top-K 稀疏自编码器（SAE） 将稠密激活拆解为更稀疏、可解释的特征。随后，它比较敏感样本与非敏感样本的加权激活频率，筛出只对有害语义显著响应的源特征。

第二步：追踪有害语义向下游传播的因果路径

找到了源头，还需要知道信息究竟流向哪里。

TraceRouter 将 SAE 中识别出的敏感特征投影回模型的稠密表示空间，再对源神经元执行 zero-out 干预：把这些源神经元的激活置零，保持其他神经元不变，然后观察后续各层哪些神经元的激活随之发生显著变化。

论文据此定义了特征影响分数（Feature Influence Score，FIS）。它综合考虑下游神经元的激活频率、激活强度，以及源神经元被置零前后的激活变化。FIS 越高，说明该下游神经元越可能处在敏感语义的因果传播链上。

这样，研究者得到的不再是一串孤立的“可疑神经元”，而是一张从敏感起始层向下游展开的路径图。可视化结果呈现出稀疏、分层、树状的级联结构：少数根节点像语义枢纽一样，将有害信息定向传递给后续层中的关键单元。

第三步：只切断敏感路径，保留其他计算路线

在得到路径掩码后，TraceRouter 将每一层的激活拆成两部分：

• 沿敏感路径传播的分量；

• 与敏感路径正交、承担通用能力的其他分量。

随后，方法只对第一部分施加缩放抑制，并保持第二部分不变。直观上，这像是精确关闭一组危险路线，而不是让整个交通系统停摆。

论文还分析了抑制系数的影响。在 Stable Diffusion 1.4 上，系数 λ=2 被报告为较优工作点：敏感内容得到有效压制，同时主体身份和场景结构基本保持；当 λ 继续增大，干预才开始明显波及其他特征。

一套方法，覆盖三类基础模型

TraceRouter 的实验并不局限于某一种模型。研究覆盖了：

• 扩散模型： Stable Diffusion 1.4、FLUX.1 Dev、Show-o2；

• 大语言模型： LLaMA3-8B-Instruct、Mistral-7B-Instruct；

• 多模态大模型： LLaVA-1.5-7B、MiniGPT-4-7B。

所有实验均在单张 NVIDIA A6000 GPU 上完成。SAE 的训练与路径追踪属于一次性离线成本；论文报告完成分析后，推理阶段额外开销较小，并给出图像生成耗时约 3.28 秒。

实验结果：安全性提升，同时尽量保住模型能力

1. 扩散模型：对常规与对抗提示均保持更强防御

在 Stable Diffusion 1.4 上，TraceRouter 在 I2P 裸露与暴力类别上的防御成功率分别达到 99.2% 和 93.6%。面对更难的 P4D 与 Ring-A-Bell 对抗攻击，防御成功率达到 74.8% 和 98.7%。

与此同时，它在 MS COCO 上取得 31.27 的 CLIP Score 和 16.24 的 FID。在论文列出的对比方法中，这组结果呈现出更优的安全性—生成质量权衡。

2. 大语言模型：越狱防御平均成功率接近 100%

论文使用 GCG、AutoDAN、Template、Prefill 及 Template+Prefill 五类越狱攻击进行测试：

尤其在原始安全性较弱的 Mistral-7B-Instruct 上，TraceRouter 将平均防御成功率从 6.6% 提升到 98.8%，并在 Template 攻击上达到 100%。

3. 多模态模型：对视觉越狱同样有效

在 FigStep 多模态安全评测中，TraceRouter 在 LLaVA-1.5 上达到 99.60% 的平均安全率，在 MiniGPT-4 上达到 98.40%。这说明“发现—追踪—切断”的思路不只适用于纯文本或图像生成模型，也能作用于视觉输入触发文本输出的跨模态风险。

4. 通用能力下降控制在很小范围

安全方法最怕“把模型变笨”。TraceRouter 在通用能力评测上的变化如下：

四种模型的下降均不足 1 个点，为论文“只切断敏感路径、保留正交计算路线”的设计提供了实验支持。

它真的找到了“因果路径”吗？

为了排除“只要压制高激活单元就会更安全”的解释，作者进行了两组反事实验证。

第一组实验对识别出的敏感路径进行放大。在 SD 1.4、FLUX.1 Dev 和 Show-o2 上，路径放大都会降低防御成功率；反过来，抑制同一组路径则显著提高防御成功率。以 SD 1.4 为例，原始 DSR 为 82.20%，放大路径后降至 72.20%，抑制路径后则升至 99.20%。

第二组实验随机选择激活强度相当的非敏感路径进行抑制。结果不仅没有带来安全收益，DSR 反而从 82.2% 降至 68.7%；而 TraceRouter 的定向干预将其提高到 99.2%。这表明有效性来自对特定因果拓扑的识别，而不是无差别地削弱内部信号。

这项工作带来了什么启发？

TraceRouter 最值得关注的地方，不只是刷新了若干安全指标，而是重新定义了安全干预的对象。

过去，研究者常问：“哪个神经元负责这个有害概念？”这项工作把问题改写为：“这个有害概念从哪里出现，又通过哪些计算路径影响最终输出？”从位置定位转向因果路由，让机制可解释性与实际安全控制真正连接起来。

它还展示出三点潜力：

1. 推理侧部署。 不需要永久修改模型权重，可避免传统微调或遗忘方法带来的高成本与灾难性遗忘风险。

2. 跨架构适用。 同一套框架在扩散模型、LLM 和多模态模型上得到验证；如果多个模型共享冻结的文本编码器，论文指出已识别的神经元和 SAE 权重还可以直接复用。

3. 可解释的安全控制。 FIS 与路径拓扑给出了一条相对清晰的证据链：敏感特征从哪里产生、如何传播、切断后会发生什么。

当然，这项工作目前仍是预印本，代码尚待公开；不同架构通常需要分别训练 SAE 并执行一次路径追踪，真实大规模部署中的覆盖范围、长期稳定性以及对新型攻击的泛化能力，仍有待进一步验证。

总结

TraceRouter 给出了一种很有辨识度的大模型安全路线：

不再试图“按住”某个神经元，而是沿着有害语义的传播轨迹找到关键路径，并在不破坏其他计算路线的前提下精准断路。

从 Stable Diffusion 到 LLaMA、Mistral，再到 LLaVA 与 MiniGPT-4，实验结果表明，路径级干预有望在安全性、对抗鲁棒性和通用能力之间取得更好的平衡。

当大模型内部越来越被理解为由大量功能回路共同组成的复杂系统，TraceRouter 所强调的“从节点走向路径”，或许也会成为下一阶段机制可解释性与模型安全融合的重要方向。

参考资料

1. Shi, C., Li, S., Lu, W., et al. TraceRouter: Robust Safety for Large Foundation Models via Path-Level Intervention. arXiv:2601.21900, 2026.

2. 论文摘要页：https://arxiv.org/abs/2601.21900

3. 论文 HTML 全文：https://arxiv.org/html/2601.21900v2

4. OpenReview 页面：https://openreview.net/forum?id=Qg8cAQC5sU

想发论文，完全找不到创新点？或者好不最容易有点思路，不是代码找到头秃，就是baseline死活涨不了点……别慌！今天要分享的这个即插即用模块库，轻松解决你烦恼！

这些模块，都有标准接口，能够无缝集成到你的模型中。你不仅可以针对短板优化，高效涨点，还能节省实验时间，快速跑通！

目前模块库已经更新了366个（附源码），且几乎全部来CVPR、ICLR、ICML、NeurIPS等顶会。还根据不同用途分为了5大类：模型增强、结构创新、前沿技术、效率优化、特定场景应用。

第一部分：模型增强模块96个

在不改变网络主体架构的前提下，通过插入这些模块，便能快速涨点，且经过顶会验证，不会让基线变差。主要涵盖：63个注意力机制、17个特征融合、3个特征增强、12个归一化、1个损失函数。

第二部分：结构创新模块92个

可以替换或重构网络骨架的核心组件，包括41个卷积、36个特征提取、11个多尺度融合、4个频域、3个backbone。论文的核心创新方法离不开它。

第三部分：前沿技术模块50个 

主要是近年的热门技术，方便大家紧跟前沿。主要梳理了13个大模型、12个扩散模型、23个Mamba、2个KAN。

第四部分：效率优化模块26个 

面向模型轻量化、推理加速、参数量压缩的工程化模块。主要有16个轻量化、9个下采样、1个上采样。

第五部分：特定任务场景模块 99个 

主要针对医学、遥感、检测、分割、时序等设计的专用模块，解决该领域的独特技术难题，目前共梳理了20个相关。

如何领取：

扫描下方二维码，添加小助理

发送关键词「366即用」

2026年刚刚过半，深度之眼学员在各大AI顶会上的战绩已经交出了一份令人振奋的答卷。

从CVPR到AAAI，从ICASSP到即将放榜的NeurIPS，深度之眼学员在2026年的顶会中稿数量实现了全面突破——多个会议中稿量较2025年翻倍增长，AAAI更是诞生了3篇Oral重磅成果。

今天，我们就用一组数据，带你直观感受深度之眼学员在 2025 和 2026 分别取得的成果～

2025 年顶会录用& 26 年对比

01

CVPR作为全球公认的顶级会议，其论文录用难度逐年攀升。2026年CVPR共收到16,092篇投稿，最终录用4,090篇，录用率约为25.42%。

在如此激烈的竞争中，深度之眼学员2025年中稿5篇，2026年翻倍至10篇。

从5到10，不仅是数字的增长，这数据意味着深度之眼在CV方向的辅导体系实现了系统性的能力跃升，也印证了深度之眼在科研人才培养上的广泛覆盖力。

AAAI是人工智能领域的顶级会议之一。2026年AAAI录取率仅为 17.6%。

在激烈竞争下，深度之眼学员从2025年的6篇跃升至2026年的13篇，实现翻倍增长。

更令人瞩目的是，这13篇中包含了3篇Oral——Oral是AAAI录用论文中含金量最高的类别，代表了评审委员会对论文质量的高度认可。

从6篇到13篇，再到3篇Oral，这份成绩单不仅体现了数量的突破，更彰显了质量的跃升。

ICASSP是信号处理领域历史最悠久、影响力最大的国际领域顶会之一。

2026年ICASSP的投稿量达到了创纪录的约1.8万篇，相比2025年的约8000篇增长超过一倍，竞争激烈程度可想而知。

深度之眼学员在该会议上的表现却逆势上扬——从2025年的15篇增长至2026年的22篇，增幅约46.7%。

更值得一提的是，深度之眼已连续多年深度参与ICASSP这一顶级学术舞台。

从2024年、2025年创始人袁老师受邀参与颁奖，到2026年作为Sponsor与Meta、Sony等国际科技巨头一同出现在Best Paper Award颁奖环节。从学员中稿到品牌登台，深度之眼在国际学术界的参与深度与认可度持续提升。

NeurIPS是机器学习与计算神经科学领域最具影响力的顶级会议之一。

2025年NeurIPS共收到有效投稿21,575篇，最终录用5,290篇，整体录用率约为24.52%。

在投稿量激增、评审标准趋严的背景下，深度之眼学员有4篇论文成功中稿。

至于NeurIPS 2026，目前结果尚未公布。按照往年节奏，NeurIPS的录用通知通常在年中之后陆续放出。有了2025年4篇的坚实基础，2026年的表现值得深度之眼的每一位关注者期待。

整体成绩单

02

2025年全年，深度之眼学员一共中稿顶会顶刊154篇，其中顶会105篇、顶刊49篇，覆盖CVPR、ICCV、NeurIPS、ICLR、ACL、EMLNP、AAAI等主流顶会。

而2026年仅1-5月，深度之眼学员已收获203篇论文录用，其中80 篇为顶会或顶刊。按照这一势头，咱们深度之眼2026年的全年数据有望再次刷新纪录～

写在最后

03

在顶会投稿量年年攀升、录用门槛水涨船高的大背景下，深度之眼学员能够实现多个会议的翻倍增长，绝非偶然。

这背后，是600多位导师（含多位World's Top 2% Scientists、顶会领域主席、顶会Best Paper提名得主等）的强力支撑；

是覆盖500多所高校（含36所985高校）的学员网络的持续积累；

更是从选题、方法设计、论文打磨到审稿回复全链路科研辅导体系的成熟运转。

从CVPR到AAAI，从ICASSP到即将到来的NeurIPS，深度之眼学员正在用一篇篇顶会论文，书写属于自己的科研故事。

2026年下半场才刚刚开始，希望深度之眼的同学们都能斩获自己的顶会！

人工智能领域有一个著名的典故——“莫拉维克悖论”（Moravec's Paradox）：AI 能够轻松解出复杂的逻辑题与高阶数学，却在人类本能般的实时视觉感知面前举步维艰。在多模态大模型（VLM）处理连续视频流时，这一悖论再次显现。现有模型因对所有帧进行固定分辨率采样，重复计算大量的冗余背景，导致计算开销剧增、实时交互极其缓慢。

为了破解这一难题，微软 Mage 团队推出了编解码器原生（Codec-Native）流式多模态基础模型 Mage-VL-4B 及其视觉编码器 Mage-ViT。该模型巧妙地借鉴了生物视觉与视频压缩（HEVC / DCVC-RT）机制，仅对发生动态变化的区域提取 Token，砍掉了超过 75% 的视觉 Token 消耗，实现了高达 3.5 倍的端到端推理提速。在同等 4B 参数规模下，Mage-VL 不仅在静态图像理解上媲美 Qwen3-VL-4B，更在视频 QA（VideoMME 64.0）、3D 空间智能（CrossPoint 80.00）以及实时流式感知（OVO-Bench 64.00% 刷新 SOTA）上实现全面超越。

• 论文标题: Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

• 论文地址: https://arxiv.org/abs/2607.24904

• 项目主页: https://microsoft.github.io/Mage

• 代码仓库: https://github.com/microsoft/Mage（已开源）

• 模型权重: https://huggingface.co/collections/microsoft/mage

• 所属机构: 微软 Mage 团队 (Microsoft Mage Team)

动机与背景：传统视频采样瓶颈与生物视觉启发

在处理连续视频时，大部分传统 VLM 会将视频切分为等间隔的离散图像帧，并对每一帧施加固定的  网格图像块化（Patchification）。这种处理方式存在明显缺陷：在一段长视频中，静态背景（如墙壁、球场草坪、天空）占用了绝大部分画面，但模型依然会在每一帧中重复生成数百个背景 Token。随着视频时长增加，大语言模型（Large Language Model, LLM）需要处理的时空上下文 Token 会呈线性增长，这不仅带来了巨大的内存负担，也使得实时流式交互变得极其昂贵。

自然界的生物视觉系统为解决这一问题提供了天然的参考范式。生物眼球的视网膜在感知前端就已经过滤掉了静态背景，仅将剧烈运动或高熵变化区域的信息传回大脑。同时，高级感知依赖于双通道机制：一条快速的低延迟通路用于判断“何时需要做出反应”，另一条深度的逻辑通路则用于执行“如何详细回答”。Mage-VL 正是借鉴了这一高效设计，将经典的视频压缩思想与现代 Transformer 架构进行了结合。

方法详解：Codec 原生稀疏化与双系统流式架构

Codec 驱动的 Mage-ViT 视觉编码器

Mage-VL 的核心是研发团队从零预训练的视觉编码器 Mage-ViT。它的最大特点在于将传统视频编码标准（如 HEVC/H.265）或神经网络编码器（如 DCVC-RT）中的信息密度信号作为视觉 Token 选择的天然代理（Proxy）。

在处理视频输入时，Mage-ViT 会将视频流拆分为关键帧（I 帧）和预测帧（P 帧）：

1. 输入过程（Input）：连续视频流进入编解码器前端，算法计算出每个  像素 Patch 的重要性得分 。在传统 HEVC 模式下， 是运动矢量大小与 P 帧残差能量的加权组合；在 DCVC-RT 神经网络模式下， 对应编解码器概率模型计算出的负对数似然（比特分配量）。

2. 稀疏 Patch 组合与编码（Output）：Patch 选择器会保留 I 帧中的全部 Patch，以此维持完整的全局场景上下文；而在预测帧 P 帧中，仅根据重要性得分  保留 top- 个包含运动或变化信息的 Patch。选出的稀疏 Patch 被拼接组成紧凑的画布（Canvas），并配合共享的 3D 旋转位置编码（3D Rotary Position Embedding, 3D RoPE）传入 24 层 ViT 主干网络。

这种设计使得原本需要 16,384 个 Token 的 64 帧视频片段被压缩至 4,096 个 Token（砍掉了大约 75% 的 Token 消耗），同时保留了完整的时间与空间坐标信息。

双系统主动流式交互机制

在语言层，Mage-VL 采用了由 System 1 与 System 2 组成的双系统架构，用于实现主动流式感知与实时对话。

• System 1 (认知事件门控, Cognition Event Gate)：轻量级的事件门控网络。它在后台持续评估滚动的 Codec 特征窗口，预测当前时刻是否包含值得回应的事件，并输出概率 。在平静或背景画面中，门控保持关闭（Silent），模型不产生任何语言输出；当检测到关键事件（如足球比赛进球）时，门控打开（Speak）。

• System 2 (因果语言解码器, Causal LLM Decoder)：基于 Qwen3-4B-Instruct 初始化的大语言模型。一旦被 System 1 触发，System 2 便会调取最近的局部视觉上下文与文本 Prompt，生成自然语言响应。

五阶段渐进式训练课程

为了让模型平衡图像细节理解、长视频推理以及流式响应能力，团队设计了五阶段训练体系：

1. Stage 1 (多模态图文对齐)：利用约 3.5 亿图像密集描述（Recaption）和 420 万短视频描述建立基础视觉-语言关联。

2. Stage 2 (指令微调与短时序定位)：加入 5400 万图像指令微调数据（覆盖文档、图表、空间几何、GUI 交互）及 340 万中短视频数据。

3. Stage 3 (时序视野扩展)：引入长视频描述，将模型的时序观察视野扩展至数百帧，建立长期事件关联。

4. Stage 4 (Codec 原生自适应)：将训练视频全面转换为 Codec 稀疏 Token 序列，训练 LLM 适应非均匀密度的视觉输入。

5. Stage 5 (流式主动对齐)：冻结视觉编码器与 LLM，仅对 System 1 事件门控网络进行微调。利用转换后的 335 万 Speak/Silent 序列化标注，训练模型判断精准的发言时机。

实验结果：高精度、强空间力与 3.5 倍加速

在实验评估中，团队将 Mage-VL-4B 与采用相同 LLM 底座（Qwen3-4B）但使用传统密采集视觉前端的 Qwen3-VL-4B，以及规模更大的 Phi-4-multimodal (5.6B) 和 Phi-4-reasoning-vision (15B) 进行了一系列对比。

Mage-ViT 视觉表示质量

在纯视觉编码器的独立评估中，仅在 5.6 亿图像和 1 亿视频帧上从头训练的 Mage-ViT，表现出了优异的数据效率：

• 在 2D 图像线性探测（Linear Probe）测试中，Mage-ViT 在 CIFAR-10 上取得了 99.33% 的准确率，在 ImageNet-1K 上达到了 85.69%，全面对标在数十亿图文对上预训练的 SigLIP2 与 DINOv3。

• 在 64 帧 Codec 稀疏模式下，Mage-ViT 在 HMDB-51 视频识别上取得了 85.17% 的 Top-1 准确率，验证了时空稀疏采样的有效性。

  

静态图像与空间几何智能

在图像理解任务中，Mage-VL-4B 展现出了扎实的基础能力，特别是在文档 OCR 和空间智能方面表现优异：

• 文档与图表理解：在 DocVQA 上达到 95.14，ChartQA 达到 84.88，InfoVQA 达到 80.33，均领先同级别的 Qwen3-VL-4B。

• 空间几何智能：在 3D 几何匹配 Benchmark CrossPoint 上，Mage-VL-4B 取得了 80.00 的得分，远超 Qwen3-VL-4B 的 26.90 和 15B 参数的 Phi-4-R-V（47.73）。在 EmbSpatial 具身空间测试中同样以 82.67 取得领先。

  

视频理解与端到端推理效率

在视频理解领域，Mage-VL-4B 展现出了稀疏 Token 带来的巨大优势：

• 在 VideoMME（64.0 vs 59.7）、LongVideoBench（61.3 vs 57.7）、VideoEval-Pro（45.2 vs 20.7）以及 Timelens-QVHighlight 时序定位（57.4 vs 34.9）上，Mage-VL-4B 均取得了优于 Qwen3-VL-4B 的成绩。

  

• 推理加速：在 NExT-QA 评测中，以 tc8 模式运行的 Mage-VL-4B 仅需 415秒 即可完成全套评估，相比 Qwen3-VL-4B 的 1460 秒，获得了约 3.5倍 的端到端全壁钟推理时间（Wall-Clock Time）提速，同时获得了更高的准确率（80.8% vs 79.8%）。

  

流式实时感知体验

在 SoccerNet-Caption 比赛事件触发评测中，Mage-VL-4B 取得了 79.21% 的 TriggerAcc 与 55.54% 的 TimVal，显著优于 StreamMind 等流式基线。

在 OVO-Bench 流式基准测试中，Mage-VL-4B 的实时感知均分达到 79.84%，总均分达到 64.00%，刷新了流式多模态模型的得分纪录。

在实际的 2026 世界杯比赛流式演示中（英格兰 vs 阿根廷），Codec 前端实时滤除了场边观众和草坪等冗余区域，System 1 门控在常规控球时保持沉默，直到 29.36 秒球员发起高威胁突破时迅速触发 System 2，实时生成了准确的比赛解说。

AI4AI 闭环与 Zero-Vision SFT

论文除了提出模型本身，还总结了多项技术洞察：

1. AI4AI 数据闭环：团队搭建了由 GPT-5 评估 Agent 与 GitHub Copilot 代码修改 Agent 构成的自动闭环系统。Copilot 不仅能修改 Prompt，还能在代码层面为视频帧直接渲染时间戳水印，将复杂的隐式时间追踪转化为显式的视觉 OCR 锚定任务，显著提升了数据质量。

2. Zero-Vision SFT 探索：团队发现，在完成预训练后，如果跳过传统的视觉指令微调（Vision SFT），改用纯文本数学与代码数据进行 SFT，而后直接对接多模态强化学习（Reinforcement Learning, RL），能够更好地保留大模型的逻辑推理能力。在 24 个多模态测试集上，Zero-Vision RL 方案取得了 54.28% 的均分（相比传统 QuickStart RL 的 48.96% 提升了 +5.33%），且收敛步数减少了 50.7%。

一点思考

Mage-VL 不是第一个通过在前端引入视频编解码器原生（Codec-Native）的动态稀疏选择，此类模型在感知源头就去掉了大量的冗余背景，把有限的计算资源精准集中在画面中最有价值的变化区域，是视频理解推理的实用趋势。

这种“前端稀疏过滤 + 后端事件驱动”的双系统设计，不仅在实际测试中换来了高达 3.5 倍的推理加速，更为未来的实时具身智能、直播视频理解和边缘端多模态部署提供了一条兼顾效率与精度的可行路线。目前微软已经将 Mage-ViT 与 Mage-VL-4B 的权重及代码完全开源，感兴趣的朋友不妨亲自上手体验一番。

本文是 ICML 2025 会议工作 SparseVLM 的期刊扩展版 SparseVLM+，已被 TPAMI 接收。会议版本中研究团队提出了免训练、文本引导的视觉 Token 稀疏化框架；期刊版本在此基础上进一步回答了一个更本质的问题：当我们用注意力来决定删哪些视觉 Token时，注意力本身可靠吗？

• 论文题目：SparseVLM+: Visual Token Sparsification with Improved Text-Visual Attention Pattern

• 论文链接：

  https://www.computer.org/csdl/journal/tp/5555/01/11627671/2iwjY1lusMM

• 代码链接：https://github.com/Gumpest/SparseVLMs

背景与动机

在视觉语言大模型（VLMs）中，视觉 token 携带的信息远比文本稀疏，却占据了绝大部分的计算开销，严重阻碍了模型的推理速度。现有方法大多直接复用Decoder中的注意力矩阵，用视觉token与文本token的注意力分数来评估每个视觉 token 的重要性，在无需额外参数与微调的前提下大幅提升 VLMs 的推理效率。

然而，基于注意力的方法有一个长期被忽视的缺陷：注意力本身并不总是忠实地反映文本与视觉的真实语义对应关系。研究团队将其总结为以下两个问题：

• Attention Gravity：受位置编码（如 RoPE）的影响，文本 Token 会不成比例地将极高的注意力分配给物理距离更近的视觉 Token，而不是基于真实的语义相关性 。如图1所示，原始的文本-视觉注意力分布存在强烈的位置偏差，注意力分数随Token距离的增加而显著衰减。这种位置偏置从第一层就出现，在浅层尤为明显，导致模型对视觉 Token 重要性会产生严重误判。

• Attention Sink：在模型的注意力机制中，某些完全缺乏视觉或语义相关性的视觉 Token 会吸收过高比例的注意力 。如图2中所示，无论用户的查询内容是什么，这些无关的 sink Token 总是占据着毫无语义意义的位置，直接利用注意力矩阵选择token会引入大量此类噪声，破坏了筛选的准确性 。

解决方案

基于以上分析，SparseVLM+从 token 与注意力头两个维度修正Text-Visual Attention Pattern，并在视频任务上额外进行了时序维度的去冗余，让「基于注意力的剪枝方法」重新变得更强。

1. Text-Visual Attention Gravity Correction

为了恢复由真实语义驱动的注意力分布，研究团队通过输入均匀初始化的 Query 和 Key，显式地计算出纯粹由位置先验带来的attention Logits 。随后，用原始的attention 矩阵除以这个位置先验矩阵，从而将位置偏差从注意力中解耦并剥离，还原真实的跨模态语义对齐 。

2. Text-Visual Priority Heads Selection

如图2所示，只有一小部分注意力头能提供可解释的、精确的跨模态指导，研究团队将这类头称为优先头（Priority Heads），通过计算每个注意力头的整体加权注意力分数，筛选出得分最高的 Top-K 个注意力头，最终仅利用这些高质量的优先头来重新计算注意力矩阵，从多头注意力的维度过滤掉噪声。

3. Temporal Balanced Sparsification

针对视频领域，考虑到视频帧的动态特性与时序连续性，SparseVLM+在空域冗余性的基础上，引入时序多样性作为互补准则：空间域用经过位置先验、优先头选择策略修正后的注意力矩阵衡量视觉 Token 与文本的相关性；时序域用每个 Token 到「已选视觉Token」的最近邻欧氏距离衡量其多样性；

最终以相关性得分 × 多样性得分作为综合优先级，逐帧保留 Top-K个Token。这样保留下来的视觉 Token 既在空间上信息充分，又在时序上彼此有区分度，从而在稀疏化后保持视频级理解的完整性。

实验结果

1. 图像理解

SparseVLM+在 LLaVA-1.5-7B 上，压缩 66.7% Token（保留 192 个）时，综合性能达 99.6%，比VisPruner高出1.6%，超过SparseVLM 1.5%，同时实现了更低的延迟和计算成本。

在减少约60.5%的视觉token后，使用SparseVLM+的Qwen2.5-VL仍表现出轻微的性能提升(例如在MathVista数据集上，其性能提升了0.5分），表明我们的方法能够准确移除干扰决策过程的视觉Token。即使在极端剪枝情况下（减少80.2%），SparseVLM+仍保持了原始性能的 96.9%，优于VisPruner等方法。

2. 视频理解

在视频场景中，SparseVLM+同样表现卓越：仅保留 15% 的 Token 时，综合性能即达 96.2%，超越次优方法FrameFusion（94.6%），并大幅领先SparseVLM（92.6%），验证了我们时间平衡稀疏化方法的优势。

结论

SparseVLM+引入了注意力引力校正和优先注意力头选择机制，进一步优化了文本与图像之间的注意力矩阵的对齐。此外，还设计了一种时间平衡增强策略，以在空间相关性与时间多样性之间取得平衡，大幅提升了视频级理解任务的精度。大量实验表明，SparseVLM+能够在保持高精度性能的同时，显著提升VLMs推理速度。

在视频生成领域，技术演进的脚步非常迅速。我们已经目睹了从早期的短视频生成，向具备交互能力的视频世界模型（Video World Model）的跨越。在游戏制作、虚拟现实以及机器人仿真等场景中，我们不仅希望模型能生成一段视频，更希望它能响应操控命令——让用户像玩游戏一样，操控视角在生成的场景中实时漫游、探索未知区域，甚至在一段时间后重新回到原点时，场景外观依然能保持一致。

今天想和大家分享的论文是来自 Adobe研究院 与 约翰斯·霍普金斯大学 的最新成果：《Wonder: Video World Model Done Better》。它代表着模型能够从一张静态图片或一段动态视频出发，构建出一个允许用户通过操控相机视角自由探索、漫游，同时在长时域下保持几何与外观一致性的虚拟三维世界。

• 论文标题: Wonder: Video World Model Done Better

• 论文地址: https://arxiv.org/abs/2607.26037

• 项目主页: https://wonder-world-model.github.io/

效果展示

我们先通过几组演示直观感受一下 Wonder 的生成效果。无论是游戏风格、卡通渲染还是真实场景，Wonder 都展现出了优秀的操控响应度与画面质感：

为什么我们需要更好的视频世界模型？

要理解 Wonder 的突破，首先需要了解当前交互式视频生成面临的核心矛盾。以往的相机可控生成模型（如 CameraCtrl、ReCamMaster 等）虽然在固定长度短视频上表现不错，但它们多基于双向注意力机制（Bidirectional Attention Mechanism），推理速度慢，难以做到实时交互。

而近年来兴起的自回归流式世界模型（Autoregressive Streaming World Model），通过蒸馏技术将模型转为逐块生成，大幅降低了响应延迟。然而，这类模型在同时兼顾高精度操控、长期记忆一致性和实时推理效率时，通常会遇到以下三个痛点：

1. 相机漂移（Camera Drift）：基于隐式向量（如矢量编码或 RoPE）传递的相机参数，在经过几步去噪蒸馏后，模型容易逐渐“遗忘”控制指令，导致相机运动越走越快、视角偏离预定轨迹，甚至出现画面塌陷。

2. 记忆与延迟的冲突：如果在长生成过程中保留所有历史键值缓存（Key-Value Cache, KV Cache），推理延迟会随时间呈线性增长；而如果采用滑动窗口丢弃历史，或者对历史帧进行压缩，当相机重新转回此前经过的位置（Revisit）时，场景就会发生剧烈的结构改变或纹理错乱。

3. 显式重渲染的视角局限：部分方法使用 3D 点云重渲染作为控制信号，这虽然在已知视域内很准，但一旦相机探索到原始图片看不到的盲区，重渲染的点云就会变成黑色空洞，导致控制信号失效。

针对这些问题，Wonder 并没有单独优化某一个环节，而是从相机控制表示、长效记忆检索和蒸馏训练策略三个维度进行了系统化的联合设计。

Figure 3: Wonder 的训练与部署管线。先在双向教师模型中学习高精度相机控制，再通过稀疏上下文强迫转换为自回归学生模型，并结合多生成器混合与低频正则化蒸馏部署。

Wonder 的核心技术解构

在深入具体模块之前，我们先梳理一下 Wonder 的输入与输出（Input & Output）流程：

• 输入（Input）：初始条件（单张图片或源视频 latent ）、用户指定的相机轨迹（经由 OpenGL 轻量渲染器生成的像素对齐点阵特征视频 ）、以及对应去噪步数下的高斯噪声。

• 输出（Output）：实时自回归生成的视频 latent 序列，经由 VAE 解码后得到 16 FPS 的高保真视频流，能够忠实响应相机操控，同时在长时域下保持几何一致与外观稳定。

Wonder 采用了目前主流的“双向教师模型  自回归学生模型  少步流式模型”蒸馏管线，但在此基础上进行了三项关键革新。

1. 像素空间坐标场（Pixel-Space Coordinate Field, PSCF）

如何让扩散模型更好地“听懂”相机移动命令？Wonder 提出了半显式的点阵网格表示（Lattice Representation）。

Figure 4: 相机控制表示对比。隐式编码缺少空间对齐线索，显式点云在未观测区域会失效。Wonder 结合两者优势，构建了像素对齐的 Lattice 视频。

如 Figure 4 所示，Wonder 在三维空间中构建了两个几何体：

• 在相机空间内部放置密集的 3D 点阵骨架（Scaffold），用来捕捉度量平移与视差变动；

• 在无限远处放置一个彩色球形环境图，其颜色的变化直接反映相机的旋转角度。

通过一个超轻量级的 OpenGL 渲染器（速度高达 150 FPS），任意输入的相机轨迹都可以被实时渲染为空间对齐的 Lattice 特征视频。这个视频直观展示了视角的变化，经由 VAE 编码后在通道维度与噪声 Latent 拼接输入给 DiT 模型。这种将“抽象数值”转化为“直观视觉线索”的设计，降低了模型学习三维几何规律的门槛。

2. 全精度 Top-k 稀疏记忆检索

为了在长达几分钟的自回归生成中，既不丢失历史记忆，又将推理延迟锁定在常数级，Wonder 提出了全精度稀疏记忆检索机制。

Figure 5: 左图：在 ODE 初始化阶段引入稀疏上下文强迫，随机丢弃非局部历史边；右图：推理时通过池化 Key/Query 相似度挑选 Top-k 历史块。

在生成过程中， Wonder 会在内存中完整保存过往生成的全部 KV Cache（保证记忆不被压缩破坏），但在计算注意力（Attention）时，它不会盲目地与所有历史 Token 做计算。

具体而言，对于当前生成的时刻 ，活跃的注意力上下文  包含以下几部分：

1. 起始锚点帧（）：提供全局的风格与身份基线；

2. 近期上下文（最近  个 Chunk）：维持局部运动的平滑过渡；

3. Top- 相似历史块：通过计算轻量化的池化 Query-Key 相似度，挑选出与当前视角最相关的历史 Chunk。

选出的活跃上下文组合如下：

由于 Top- 的预算是固定的，模型的注意力计算复杂度被恒定限制在 ，无论视频生成到了第几分钟，单步推理延迟都保持不变。

同时，为了让学生模型适应这种“只看部分历史”的推理模式， Wonder 在 Stage 2 的 ODE 初始化阶段引入了稀疏上下文强迫（Sparse Context Forcing, SCF）训练，按概率  随机丢弃非必要的历史上下文边，使模型提前学会了如何在稀疏记忆条件下准确检索并还原场景。

3. 多学生混合（MoS）与 GAN 控制正则化

在 Stage 3 的分布匹配蒸馏（Distribution Matching Distillation, DMD）阶段，要求一个几步去噪的自回归学生模型完全复现强大的双向教师模型，常常会导致容量不足，进而引发模式塌陷和细节丢失。

Figure 6: (a) 基于 DMD 的蒸馏管线；(b) 4 步去噪中分工协作的多学生架构（MoS）；(c) 利用冻结教师低频特征差分构建的相机控制判别器。

针对这一瓶颈， Wonder 提出了两项关键技术：

• 多学生混合（Mixture of Students, MoS）：在 4 步去噪流程中，分别部署三个专业化的学生生成器。 负责建立粗结构， 进行结构精炼， 完成细节重构与生成。三者共享同一个流式 KV Cache 接口，在不增加推理延迟的前提下，将学生模型的有效容量提升了数倍。

• GAN 控制正则化（GAN Control Regularization）：传统的 DMD 损失偏向于高频纹理，容易忽视低频的相机位姿对齐，从而引发相机漂移。Wonder 引入了一个专门的控制判别器，将真实样本与学生生成的 Rollout 输入到冻结的教师模型中，提取中间层与第一层的低频特征差分图（），并利用 Register Token 进行对抗训练。这一对抗损失为相机轨迹的忠实度提供了直接的监督。

实验表现与定性分析

为了全面评估 Wonder 的表现，研究团队构建了涵盖 1,000 张多风格图像的 I2V 测试集与 500 段动态视频的 V2V 测试集，引入 VBench 视觉质量评估体系，并结合 Depth Anything 3 (DA3) 与 ViPE 计算相对位姿误差（Relative Pose Error, RPE）。

1. 定量指标对比

在与当前主流的流式视频世界模型（HY-WorldPlay 1.5、RELIC、LingBot-World-Fast、SANA-WM-Streaming、DreamX-World、Inspatio-World）对比中，Wonder 展现出了出色的综合性能。

Table 1: 在图生视频（I2V）与视频生视频（Video-to-Video, V2V）任务上的视觉质量与相机跟随精度对比。

从实验数据可以看出：

• 在 I2V 场景中，Wonder 取得了最高的综合视觉得分 0.8558，其中图像质量得分达到 0.7113；同时相机平移误差（Trans. RPE）低至 0.0132，旋转误差（Rot. RPE）低至 0.0784，显著优于对比模型。

• 在 V2V 场景中，Wonder 的综合得分提升至 0.8527，平移误差与旋转误差分别仅为 0.0187 与 0.1119，相机跟随准确度相比 Inspatio-World 实现了大幅度领先。

2. 重访一致性定性对比

长时漫游中最考验模型的能力莫过于“重访（Revisit）”。让相机先向右移动观察新区域，再向左折回，最后重新向右转到同一位置，对比两次拍摄相同位置的画面。

Figure 9: 在重访轨迹下的场景表现对比。大部分基线模型在折回后无法还原此前看到的结构与外观，甚至画质出现严重衰减；Wonder 则成功保留了高度一致的视觉记忆。

Figure 10: V2V 模式下的重拍摄效果对比。Inspatio-World 由于依赖点云重渲染，在视角变动较大时容易产生严重畸变；Wonder 则能逼真地保持主体动态并呈现准确的新视角。

3. 更多漫游效果展示

Figure 7: 基于单张图片的丰富三维探索效果。

Figure 8: Wonder 在室内、自然风光等不同场景中的导航漫游展示。

Figure 11: 视频重拍（V2V）展示：在保留原视频中人物与物体动态的同时，允许用户以全新相机轨迹进行 4D 视频探索。

在硬件部署与推理效率方面，Wonder 基于 14B 参数的 Wan2.1 架构构建，结合 FlashAttention-3、CUDA Graph 编译优化以及张量/序列并行技术，在 Hopper 架构 GPU 环境下实现了 16 FPS 的实时流式生成速度，为实时交互应用提供了可行的落地基础。

写在最后

回顾 Wonder 的整体设计，它最具借鉴意义的地方在于打破了以往各个模块孤立优化的设计思路。系统将相机表达、记忆检索以及蒸馏控制统一在一个协同互补的框架之下：利用半显式 Lattice 降低几何控制门槛，借助 Top-k 稀疏检索打破长时生成中的“延迟-记忆”两难，再通过 MoS 与低频对抗正则化保障蒸馏后模型的画质与轨迹忠实度。