尽管现在的有许多的图像编辑的评价指标和模型，但是这些方法更多关注的是指令是否跟随，在未编辑的区域并没有非常专业的评价。StableI2I因此弥补这个空白，我们主要从语义、纹理和质量三个大的方面出发评价内容的一致性。

• 🌐 Project Page: https://henry-lee-real.github.io/StableI2I_Page/

• 💻 Code: https://github.com/Henry-Lee-real/StableI2I

• 📝 Paper: https://arxiv.org/pdf/2605.04453

• 📊 Checkpoint & Benchmark: https://huggingface.co/collections/lijiayangCS/stablei2i

• 🤗 HuggingFace Paper: https://huggingface.co/papers/2605.04453

引言：更准确的保真度感知

如图是一个图像编辑的结果，传统的图像评估指标大多关注的是质量，美学等维度。这些指标都是NR的指标，并不能很好的参考输入的图像。此外一些编辑类的评价指标如ImgEdit-Judge，更多关注的是编辑指令的一致性。而其中的一致性维度判断能力也较弱，并不能很好的发现像素级的内容变化。

就如本图所示，可能GPT-Image-1的美学质量很高，但是它发生了内容的错误和重绘，StableI2I就能很好的判断这些内容。

StableI2I-Bench：三位一体的评价体系

由于现在没有专业的评测数据，我们构建了StableI2I-Data和Bench。评估模型是否能合理的完成保真度评估任务。

1. 核心评估维度

• Semantic-level：是否出现语义信息上的内容错误。

• Structure Level：是否出现像素级别的内容重绘或者是纹理结构错位。

• Low-level Appearance：处理后的图像相对于原图是否发生了质量上的退化。

2. 数据构建流水线

我们主要从图像编辑和图像恢复两个任务来构建数据集。

1. 图像恢复：我们设计错误放大的数据生成流程。具体而言，我们先对自然图像施加随机退化，再利用 GPT-5 提取原图内容描述并引入受控语义扰动，构造错误文本条件，以引导恢复模型产生语义漂移或内容错误样本。对于合成数据，我们基于已知错误语义使用 GPT-5 API 进行初步标注，并由人工筛选修正；真实恢复数据则采用完全人工标注。

2. 图像编辑：由于编辑错误难以通过确定性规则构造，我们使用多种编辑指令和多个生成模型生成多样化编辑结果，以覆盖不同场景下的潜在保真度问题。所有编辑数据均由人工标注，主要关注非目标区域中的语义变化、结构错位、内容重绘以及低层外观退化。

人工标注流程：

人工标注流程主要包括标注团队筛选、标注员培训、正式标注和质量验收四个阶段。首先，我们通过公开招标选择标注团队，并为三家候选公司分别提供每个任务 100 个样本及详细标注指南进行试标。根据试标准确率，我们选择表现最好的公司进行正式标注。正式标注前，所有标注员均接受视频培训，并在标注过程中通过共享文档实时记录和解答问题。

正式标注采用交叉标注流程，包括一轮初始标注和后续审核。对于图像恢复数据，标注员主要判断 GPT-5 粗标结果是否正确，并使用三点尺度标注退化程度；对于图像编辑数据，标注员需要标注错误类型，必要时使用 bounding box 定位问题区域，并同样使用三点尺度标注退化程度。最终，我们获得了 6,722 条人工标注的图像恢复样本和 4,839 条图像编辑样本，验收阶段整体标注通过准确率达到 94%。

StableI2I 模型训练

1. 训练数据类型

StableI2I-Train 主要包含四类训练数据：Free-form Descriptive、Binary & Type QA、Multiple-choice QA 和 Open-ended QA。

1. Free-form Descriptive：用于保持模型基础的视觉感知和描述能力。该类数据要求模型对图像内容进行自由形式的自然语言描述，主要来源于 ShareGPT4V 和 CapRL 等通用视觉问答数据，覆盖自然图像、AIGC 图像、表格以及多种 QA 风格。

2. Binary & Type QA：用于训练模型进行标准化的错误判断。该类数据要求模型判断输出图像相较于输入图像是否存在保真度问题，并进一步给出错误类型，例如 Semantic Level、Structure Level 或 Low-level Appearance。其输出格式较为固定，便于后续训练和自动化评估。

3. Multiple-choice QA：用于提升模型细粒度内容理解和错误辨别能力。该类数据将人工标注的开放式错误描述转化为选择题形式，使模型在多个候选区域或错误类型中选择正确答案，从而增强模型对具体错误位置和错误内容的识别能力。

4. Open-ended QA：用于训练模型生成详细的错误分析。该类数据要求模型不仅判断是否存在问题，还需要以自然语言描述具体错误，并给出结构化的分析结果，例如指出哪些区域发生了语义变化、结构错位、内容重绘或低层外观退化。

2. 模型训练策略

StableI2I 采用多阶段训练策略。首先，我们基于 Qwen3VL-8B-Instruct 进行监督微调（SFT），训练数据包括 Free-form Descriptive、Multiple-choice QA 和 Binary & Type QA，使模型具备基础的视觉感知能力、图像描述能力以及保真度错误判断能力。 随后，我们在 SFT 模型基础上引入强化学习训练，使用 GRPO 优化模型的泛化能力。对于 Multiple-choice QA，奖励主要根据模型是否选择正确选项来计算；对于 Binary & Type QA，奖励同时考虑模型的 Yes/No 判断是否正确，以及预测的问题类型是否与标注一致。通过这一阶段，模型能够更稳定地判断不同类型的保真度错误。

接着，我们使用强化学习后的模型对大规模未标注 I2I 数据进行自动标注，并借助 GPT-5 对明显错误样本进行过滤，同时将部分 Binary & Type QA 数据进一步转化为 Open-ended QA 数据，生成包含 think 和 problem 字段的开放式错误分析样本。

最后，我们将原始标注数据与新构建的数据合并，对 Qwen3VL-8B-Instruct 进行最终全量微调，得到 StableI2I。该训练流程同时提升了模型的感知理解能力、错误判断能力和开放式分析能力。

实验结果与评价

1. 与现有MLLM对于保真度任务上的性能比较

我们在 StableI2I-Bench 上对比了多个主流开源和闭源多模态大模型，包括 Qwen3VL、InternVL、Claude、Gemini、GPT-4o 和 GPT-5 等。实验结果表明，现有通用多模态模型虽然具备一定的图像理解能力，但在 I2I 保真度评估任务上仍然存在明显不足，尤其是在结构错位、内容重绘以及细粒度低层外观变化的判断上表现不稳定。

相比之下，StableI2I 经过专门的 I2I 保真度数据训练后，在整体性能上显著优于其他模型。具体来看，StableI2I 在 Binary Accuracy 上达到 89.10%，高于 GPT-5 的 80.57% 和 Gemini-3-pro 的 82.28%；在更加严格、同时要求判断正确错误类型的 Strict Accuracy 上，StableI2I 达到 83.00%，明显高于 Gemini-3-pro 的 67.15%、Claude-Sonnet-4.5 的 63.37% 和 GPT-5 的 55.27%。这说明 StableI2I 不仅更擅长判断图像转换后是否存在问题，也更能准确识别问题属于语义、结构还是低层外观错误。

总体而言，通用多模态模型更偏向高层语义理解，对于语义错误和明显低层退化有一定判断能力，但对 I2I 任务中特有的结构一致性、内容重绘和局部保真度问题仍然不够敏感。StableI2I 通过专门的数据构建和训练策略，显著提升了这类保真度错误的检测能力。

2. 现有生成模型的性能比较

我们进一步使用 StableI2I 评估了多个主流图像编辑和图像恢复模型在实际 I2I 任务中的表现。评估对象包括开源模型，如 LuminaDiMOO、Flux.1-dev、OmniGen2、Bagel、Qwen-Image-Edit 系列，以及闭源模型，如 GPT-Image-1 和 Nano-Banana。评估任务覆盖图像编辑数据集 ImgEdit-Bench、GEdit-Bench，以及去噪、去模糊、去雨、去雾和曝光校正等图像恢复任务。

具体评估方式是：对于每个样本，StableI2I 分别从语义、结构和低层外观三个维度判断输出图像是否存在保真度问题。如果 StableI2I 回答 “Yes”，表示该维度没有检测到明显问题；最终得分即为回答 “Yes” 的样本比例。

实验结果表明，Bagel 和 Qwen-Image-Edit 系列整体保真度较好。大多数模型在语义层面表现尚可，说明它们通常能够保持主要物体和高层语义内容；但在结构层面表现明显较差，说明当前模型仍然容易破坏输入图像的布局、几何结构或细节对应关系。

尤其是 Flux.1-dev 和 GPT-Image-1，在真实评估中容易出现严重的内容重绘，即虽然生成图像看起来合理，但原图的结构布局被大幅重新生成，导致结构保真度得分很低。

总体来看，当前 I2I 生成模型的主要问题并不是完全不理解编辑或恢复任务，而是容易在完成任务的同时修改本应保持不变的区域。其中，内容重绘和结构不一致是最突出的保真度问题。

结语

StableI2I 首次系统地从语义和像素级两个角度评估 I2I 任务中的保真度，判断生成结果是否正确保留了原图中应当保持的信息。

同时，StableI2I-Bench 为多模态大模型提供了一个多图一致性评测基准，能够检验模型超越单图理解的细粒度感知能力。

整体来看，StableI2I 可以作为评价指标、benchmark 或 reward model，帮助提升图像编辑和图像恢复模型的保真度，使生成结果更加真实、一致和可靠。

在工业质检领域，3D异常检测一直是个“硬骨头”。虽然基于点云的检测能避开光照干扰，但异常样本极度稀缺，这让“零样本（Zero-shot）”检测成了刚需。最近，来自香港科技大学（广州）、香港科技大学以及湖南大学的研究团队提出了一种名为 Align3D-AD 的新框架，利用了训练阶段的 RGB 模态信息来增强 3D 检测性能。简单来说，它的核心思想是：既然 3D 渲染图太“抽象”，那就让它在训练时向相对“形象”的 RGB 图像看齐，从而借用视觉语言大模型强大的语义理解能力。

• 论文地址: https://arxiv.org/abs/2605.05850

• 代码仓库: 暂无

弥补“域差异”：为什么3D检测需要RGB的帮助？

目前的 Zero-shot 3D 异常检测主流做法是：把 3D 点云投影成多个视角的 2D 渲染图（Rendering Images），然后丢给预训练好的视觉语言模型（CLIP）去识别。但这里有个很尴尬的问题——CLIP 是在数亿张真实的 RGB 图片上训练出来的，它对色彩、纹理非常敏感；而 3D 点云生成的渲染图往往只有灰度或深度信息，看起来非常“素”，也就是论文中提到的域差异（Domain Gap）。

如上图所示，以往的方法（a）直接把“素面朝天”的渲染图喂给 CLIP，效果自然打折扣。而 Align3D-AD（b）的想法是：在训练阶段，我们找一些带 RGB 信息的辅助数据（Auxiliary Data），让模型学习如何把渲染图的特征“翻译”成 RGB 空间的语义特征。这样，即使在推理时只有 3D 点云，模型也能“脑补”出丰富的视觉语义。

方法详解：双阶段对齐与模态感知学习

Align3D-AD 的架构分为两个关键阶段：跨模态特征对齐（Cross-Modal Feature Alignment）和模态感知提示词学习（Modality-Aware Prompt Learning）。

第一阶段：跨模态特征对齐

为了让渲染特征具备 RGB 的语义，作者设计了一个特征对齐器（Feature Aligner）。其 Input 是由视觉编码器（CLIP ViT-L/14@336px）提取的渲染图全局特征  和局部特征 ，Output 则是投影到 RGB 空间后的对齐特征  和 。

这里有一个值得一提的设计：语义一致性重加权（Semantic Consistency Reweighting, SCR）。作者认为，并不是渲染图上的所有区域都同等重要。他们计算了渲染特征和 RGB 特征之间的语义一致性矩阵 ，并据此生成局部权重：

其中  是 Sigmoid 函数。这个策略能让模型自动关注那些跨模态差异较大的区域（通常是几何结构复杂的区域），从而实现更稳健的对齐。

第二阶段：模态感知提示词学习

对齐之后，模型拥有了两路特征：原始的渲染特征和对齐后的“伪 RGB”特征。为了充分利用这两者，作者提出了双提示词对比对齐（Dual-prompt Contrastive Alignment, DpCA）。

• 独立建模：为两路特征分别设置独立的“正常”和“异常”提示词（Prompts），捕捉各自模态特有的语义。

• 多准则监督：作者不仅使用了图像级的分类损失，还引入了针对 3D 点云和 2D 像素的分割损失。具体来说，结合了 Dice Loss 以处理类别不平衡，并辅以 Focal Loss 来强化对困难样本的关注。

• 对比增强：在训练后期，通过对比损失  强制让两路提示词在语义空间保持一致且相互区分，进一步提升判别能力。

在推理时，模型只需要输入 3D 点云生成的渲染图，通过学习好的对齐器和提示词，就能同时从几何和语义两个维度给出异常评分。

实验结果：刷新多项SOTA

研究团队在 MVTec3D-AD、Eyecandies 和 Real3D-AD 三大主流数据集上进行了严苛的测试。

1. 性能表现

在 MVTec3D-AD 数据集上，Align3D-AD 表现惊人，达到了 83.0% O-R（对象级 AUROC）和 94.3% O-A（对象级 AP），全面超越了之前的标杆模型 PointAD 和 GS-CLIP。

在跨数据集测试中（例如在 MVTec3D 上训练，直接去测 Real3D-AD），Align3D-AD 依然保持了极强的泛化能力。即使 Real3D-AD 这种完全没有 RGB 信息的数据集，模型依然能凭借学到的对齐能力取得 76.1% O-R 的好成绩。

2. 可视化效果

从定性分析来看，Align3D-AD 生成的异常热力图（Anomaly Map）非常精准，能够清晰地定位出如 Bagel 的裂纹、Cookie 的破损等细微异常。

可以看到，单纯的渲染分支（Rendering）有时会漏检一些语义层面的细微缺陷，而“RGB 对齐”分支（RGB-aligned）则能敏锐地捕捉到这些信息。两者结合后，最终的集成预测（Integrated）在边界刻画和检测准确度上都达到了极高水平。

3. 效率与开销

在 NVIDIA RTX 4090 上，其推理速度约为 5.30 FPS，单张图片的推理时间仅需 0.19s，显存占用仅为 2791 MB。相比于融合了点云、深度图等多种模态的 GS-CLIP，Align3D-AD 的效率提升了近 3 倍。

写在最后

Align3D-AD 的成功给我们带来了一个很有启发性的思考：在处理 3D 任务时，我们未必只能死磕 3D 数据。通过跨模态对齐，我们完全可以“借用” 2D 领域那庞大且深厚的语义知识库。这种“训练时引导、推理时解耦”的思路，既保证了推理阶段的简洁性，又极大地提升了模型的语义感知能力。

希望项目早日开源。

导语

高光谱成像能够同时获取场景的空间结构信息与细粒度光谱信息，因此在遥感监测、精准农业、医学诊断、环境观测和工业检测等领域具有重要价值。传统高光谱成像通常依赖点扫描、线扫描或波段扫描来逐步获取三维光谱数据立方体，虽然光谱精度较高，但采集速度慢、系统复杂，在动态场景中容易受到运动、光照变化和时间不同步等因素影响。

快照式高光谱成像为这一问题提供了新的路径：它希望在单次曝光或极短时间内完成高光谱信息获取。其中，基于光谱滤波阵列的 Mosaic/SFA 成像方式具有结构紧凑、易于集成、适合视频速率采集等优势。但 Mosaic 图像本质上是稀疏光谱采样：每个像素位置只记录一个或少数几个波段，导致恢复后的高光谱图像容易出现空间细节不足、纹理模糊和光谱失真。

为了进一步提升空间分辨率，一种有效方案是将低分辨率多波段 Mosaic 图像与高分辨率单波段 PAN 图像进行融合。PAN 图像能够提供更清晰的空间结构，Mosaic 图像则保留多波段光谱信息，两者互补后有望得到高空间分辨率的高光谱图像。然而，现有方法仍面临两个关键难点：其一，真实场景中很难获得严格配准的高分辨率高光谱真值；其二，Mosaic 与 PAN 的真实成像退化过程存在噪声、点扩散、光谱响应不确定等复杂因素，如果仅用理想化退化模型，容易造成空间或光谱失真。

针对上述问题，科研团队提出论文 《Equivariant Bayesian Hyperspectral Imaging via Mosaiced and PAN Image Fusion》，构建了一套面向 Mosaic/PAN 双输入高光谱融合的等变贝叶斯变分推断框架。该方法将目标 HR-HSI 分解为主成分（principal component）和稀疏残差（sparsity residual），并在贝叶斯变分推断中显式建模噪声、可学习退化函数与等变先验，从而实现更加物理可解释、鲁棒且高质量的高分辨率高光谱重建。

• 论文题目： Equivariant Bayesian Hyperspectral Imaging via Mosaiced and PAN Image Fusion

• 中文题目： 基于马赛克与全色图像融合的等变贝叶斯高光谱成像方法

• 发表期刊： IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）

• 发表年份： 2026

• 论文链接： https://ieeexplore.ieee.org/document/11480451

• DOI： 10.1109/TPAMI.2026.3682543

• 代码链接： https://github.com/Nan-Wong98/Equivariant-Bayesian-variational-inference-framework

• 论文作者： Renwei Dian, Nan Wang†（通讯作者）, Anjing Guo, Shutao Li

• 作者单位： 湖南大学

⭐ 论文摘要

高分辨率高光谱视频成像可以通过在单次曝光或短时间内融合多波段低分辨率 Mosaic 图像与单波段高分辨率 PAN 图像来实现。然而，现有 Mosaic/PAN 融合方法常常难以同时兼顾空间细节与光谱保真，容易产生空间模糊、纹理伪影或光谱偏移。

为缓解这一问题，论文提出了一种等变贝叶斯变分推断框架。其核心思想不是直接让网络从 Mosaic/PAN 输入一步预测 HR-HSI，而是将 HR-HSI 表示为两部分之和：一部分是描述主要结构与低频光谱趋势的主成分，另一部分是刻画高频细节和局部差异的稀疏残差。两部分均通过共享深度网络在变分推断框架下估计，使重建过程兼具准确性与物理解释性。

与此同时，论文将等变成像先验（Equivariant Imaging Prior, EI Prior）引入贝叶斯框架，使网络能够在无 HR-HSI 真值的条件下利用几何变换一致性拓展学习空间。进一步地，作者从物理成像模型出发构建可学习退化函数，并对 PSF 相关参数和 SRF 相关参数施加物理合理约束，使退化函数在训练中自适应估计，从而更好解释真实 Mosaic/PAN 观测。

大量模拟数据和真实数据实验表明，该方法在空间重建质量、光谱一致性和真实场景鲁棒性方面均取得了优于多种对比方法的表现，为高光谱计算成像系统提供了一种更加稳健和灵活的解决方案。

🚀 引言

高光谱图像（HSI）可以记录每个空间位置在多个连续波段上的反射或辐射信息，因此相较普通 RGB 图像，它不仅能“看见形状”，还能进一步区分材料、成分和物理属性。在精准农业中，不同作物长势和病虫害状态可能对应不同光谱响应；在遥感监测中，不同地物类型的光谱曲线可以辅助精细分类；在工业检测和医学诊断中，高光谱数据也常被用于缺陷识别、组织分析和定量检测。

不过，高光谱成像长期受到采集方式限制。扫描式系统需要通过空间或光谱维度逐步采样，虽然可以获得较完整的光谱立方体，但时间分辨率较低，很难适用于快速运动目标或实时场景。快照式高光谱成像希望在一次曝光中完成高维信息压缩采集，再通过计算方法恢复完整高光谱数据。其中，Mosaic/SFA 方案将窄带光谱滤波器阵列集成在传感器前端，类似 RGB 相机中的 Bayer 阵列，因此具有结构简单和视频速率采集潜力。

问题在于，Mosaic 传感器将不同波段分散在不同像素位置上，本质上牺牲了每个波段的空间采样密度。为了得到更高空间分辨率，论文考虑一种双输入成像模式：系统同时采集一幅低分辨率 Mosaic 图像和一幅高分辨率 PAN 图像，然后通过计算融合恢复 HR-HSI。Mosaic 图像负责提供多波段光谱线索，PAN 图像负责提供高分辨率空间纹理，这一路线能够在保持快照采集优势的同时改善空间细节。

然而，将该问题简单拆成“先光谱去马赛克、再全色锐化”并不充分。两阶段处理容易造成误差累积：第一阶段的光谱恢复误差会传递到第二阶段，第二阶段的空间增强又可能破坏光谱一致性。更重要的是，真实系统中的退化过程并不完全已知，Mosaic 图像受到 PSF、SFA 采样、下采样和噪声影响，PAN 图像也受到相对 SRF 和噪声影响。如果算法没有显式处理这些不确定性，就很难在真实场景中稳定工作。

因此，本文的关键问题可以概括为：在没有高分辨率高光谱真值、退化函数又不完全可知的情况下，如何利用 Mosaic 与 PAN 的互补观测，恢复出空间清晰且光谱可信的 HR-HSI？

🌟 研究背景

高光谱成像的目标，是在同一观测过程中同时获得场景的空间结构与连续光谱响应。空间信息帮助我们判断目标形状、纹理和边界，光谱信息则进一步揭示材料、成分和状态差异，因此高光谱成像在遥感观测、农业生产、资源调查、医疗检测、工业制造和军事侦察等场景中都有重要价值。

但从成像体制来看，高光谱成像长期受到时空谱分辨率相互制约的限制。传统扫描式成像可以获得较高的光谱分辨率，但通常需要逐点、逐行或逐波段完成采集，成像速度慢，难以直接面向动态场景和视频级观测。

为提升瞬时成像能力，编码孔径快照光谱成像等计算成像方案将三维光谱数据压缩编码到二维观测中，再通过优化或深度重建算法恢复高光谱图像。这类方法提高了时间分辨率，但编码混叠也会增强反演的病态性，容易带来信噪比下降、空间细节损失和光谱失真等问题。

相比之下，基于滤波阵列的快照式马赛克高光谱成像结构更紧凑，单次曝光即可获得整帧多光谱/高光谱观测，具有视频采集潜力。不过，马赛克成像需要在有限像元上同时分配空间采样和光谱采样，波段数增加通常会降低单波段空间采样密度，因此容易出现空间分辨率不足的问题。

本文采用的 Mosaic/PAN 融合思想正是针对这一矛盾展开：Mosaic 图像提供多波段光谱信息，PAN 图像提供高分辨率空间结构，两者在信息层面形成互补。通过共孔径、双光路协同获取马赛克视频帧和全色视频帧，再利用融合算法恢复高分辨率高光谱视频帧，可以在保持快照采集能力的同时补全空间细节，为动态场景高分辨率高光谱观测提供可行路径。

从论文任务来看，这一融合路线并不只是简单把两幅图像拼接输入网络。Mosaic 分支受到 PSF、光谱滤波阵列、下采样和噪声影响，PAN 分支则受到 SRF 和噪声影响；如果退化模型不准确，融合结果就容易产生空间或光谱畸变。因此，本文进一步从成像物理模型出发，将可学习退化函数、贝叶斯不确定性建模与等变成像先验结合起来，解决真实场景中无真值、退化未知和重建不稳定的问题。

🔎 核心创新

1. 将 HR-HSI 分解为“主成分 + 稀疏残差”

本文最重要的思想之一，是不再把 HR-HSI 看作一个需要直接整体预测的黑箱变量，而是将其分解为：

x = f + g

其中，x 表示目标高分辨率高光谱图像，f 表示主成分，g 表示稀疏残差。主成分用于表达图像中的主要结构、低频光谱趋势和稳定背景信息；稀疏残差则用于补充局部高频细节、纹理变化和主成分难以覆盖的细节成分。

这种分解方式的价值在于，它让网络不必在同一个表示中同时承担所有任务。高光谱图像中既有强相关的光谱结构，也有局部突变的边缘和纹理，如果直接整体建模，很容易在空间锐化和光谱保持之间产生冲突。通过主成分与稀疏残差分解，模型可以将“稳定主体”和“细节修正”分开处理，使重建过程更符合图像形成和图像恢复中的结构先验。

更进一步，论文并没有使用两个完全独立的网络分别估计 f 和 g，而是采用共享 DNN进行估计。共享网络相当于在两个变量之间引入了一种隐式正则化，使主成分和稀疏残差虽然功能不同，但仍处在统一的观测到目标空间映射中。消融实验表明，相比不做分解或使用两个独立 DNN，主成分/残差分解加共享网络的设计在 CAVE 和真实数据上都能带来更稳定的融合效果。

2. 以贝叶斯变分推断显式刻画不确定性

Mosaic/PAN 融合是一个典型的病态逆问题：从低维观测恢复高维 HR-HSI，本身存在多个可能解。如果只训练一个确定性网络，模型往往只能学习一个点估计，难以显式处理噪声和观测不确定性。本文将问题放入贝叶斯变分推断框架中，目标是估计潜变量的后验分布，而不仅仅是预测单一图像。

论文中需要估计的潜变量包括 PAN 噪声 n_y、Mosaic 噪声 n_z、主成分 f 和稀疏残差 g。作者将这些变量建模为高斯分布，并由网络输出均值和方差，再通过重参数化技巧进行采样。这样，模型在训练过程中不仅学习“图像应该是什么样”，也学习“观测噪声和重建不确定性应该如何解释”。

这一设计对于真实成像尤其重要。真实 Mosaic/PAN 数据往往受到热噪声、运动模糊、照明变化和传感器限制影响，与理想模拟退化存在明显差异。显式噪声建模使网络能够把部分观测误差归因到噪声项，而不是强行将所有变化都解释为图像结构，从而减少错误纹理、色偏和光谱失真。

3. 从物理模型出发构建可学习退化函数

等变成像方法通常假设退化函数是可访问的，也就是说，模型知道如何将目标图像重新退化到观测空间。但在 Mosaic/PAN 融合任务中，这一假设并不完全成立。Mosaic 分支涉及 PSF、SFA mosaicing 和 2×2 平均下采样，PAN 分支涉及光谱响应函数 SRF，而且真实系统中的 PSF 与 SRF 很难精确标定。

因此，本文没有把退化函数简单设为固定算子，而是设计了两个基于物理模型的可学习退化函数：

y = A_y(f + g) + n_y

z = A_z(f + g) + n_z

其中，y 为 PAN 图像，z 为 Mosaic 图像。A_y 对应 PAN 退化过程，主要由相对 SRF 参数 r 实现；A_z 对应 Mosaic 退化过程，包含 PSF 相关卷积核 k、mosaicing matrix M 和下采样操作。

在具体实现中，r 由无偏置 1×1 卷积实现，k 由无偏置通道级 5×5 卷积实现。更重要的是，作者对这些参数施加物理约束：PSF 相关参数 k 满足非负约束，SRF 相关参数 r 同时满足非负与和为 1 的约束。这避免了退化函数在训练中偏离物理合理范围，也让学习到的 PSF/SRF 更适合解释真实观测。

4. 将等变成像先验融入贝叶斯框架

等变成像先验的基本思想是：自然图像在翻转、旋转、平移等几何变换下应保持一定结构一致性。如果一个网络能够重建出合理图像，那么对重建结果施加几何变换后，再退化回观测空间并重新重建，结果也应与变换后的图像保持一致。

本文将这一思想与贝叶斯变分推断结合，形成两次前向传播机制。第一次前向传播从原始 Mosaic/PAN 观测估计 HR-HSI，并通过退化函数保证与原始观测一致；第二次前向传播则将第一次结果经过几何变换后作为新的参考约束，要求模型在变换后仍能得到一致重建。

这种设计的关键意义在于：它在没有 HR-HSI 真值的情况下，为网络提供了额外监督信号。观测一致性约束可以保证输出能够解释输入，等变一致性约束则可以帮助模型跳出退化算子的 range space，减少逆问题中的多解性，使模型学习到更稳健的高光谱结构表示。

论文最终使用的损失由五部分组成：

y = L_y + L_z + L_u + L_ny + L_nz

L_y 和 L_z 保证 PAN 与 Mosaic 的观测一致性，L_u 对应等变一致性，L_ny 和 L_nz 用于约束噪声建模。消融实验显示，只有观测一致性时模型性能有限；加入噪声相关损失和 EI 相关损失后，模型在模拟数据和真实数据上均得到明显提升；完整损失组合取得总体最优结果。

📊 实验结果

1. 模拟和真实数据集定量评价结果

2. 模拟数据集定性评价结果

3. 真实数据集定性评价结果

✨ 结论

这篇论文围绕 Mosaic/PAN 双输入高分辨率高光谱重建问题，提出了一套具有清晰物理含义和较强统计建模能力的等变贝叶斯变分推断框架。

与传统两阶段“去马赛克 + 全色锐化”流程相比，该方法从 HR-HSI 本身的结构出发，将目标图像分解为主成分和稀疏残差，并通过共享 DNN 进行估计，使重建过程更具可解释性。该工作可迁移至其它图像复原任务。

近年来，随着人工智能、计算机视觉与科学计算成像的快速发展，视频去噪（Video Denoising）已经成为低层视觉（Low-level Vision）领域中的核心基础问题之一。从自动驾驶、智能监控、移动终端夜景增强，到生物医学显微成像、天文观测以及 AI for Science 等前沿方向，高质量的视频恢复能力正在成为智能视觉系统的重要基础支撑。然而，在真实场景下，视频往往伴随着复杂噪声、动态运动以及多种退化耦合，仅依赖传统监督学习的方法，已经越来越难以满足复杂真实环境中的应用需求。

近期，北京航空航天大学与清华大学联合完成的研究成果 《Learning Continuous Spatiotemporal Implicit Neural Fields for Unsupervised Video Denoising》  被国际人工智能与计算机视觉顶级期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI） 正式接收发表。该工作提出了一种全新的连续时空隐式神经场框架 Spatiotemporal Implicit Neural Field（SINF），首次将连续隐式神经表示系统性引入无监督视频去噪任务，为复杂动态场景中的视频恢复问题提供了新的理论视角与技术路线。

• 论文链接：https://ieeexplore.ieee.org/document/11471067

• 代码链接：https://github.com/Huxiaowan/SINF-VDN

论文围绕“视频是否应仅被视为离散帧序列”这一基本问题展开重新思考。传统视频去噪方法大多基于固定像素网格和离散时间序列建模：空间维度依赖卷积网络提取局部邻域信息，时间维度依赖 RNN、Transformer 或光流估计建立跨帧关联。然而，真实视频本质上并不是静态图像帧的简单堆叠，而是连续场景在空间和时间上的动态演化。相机或显微成像设备所获得的视频序列，只是这一连续时空场在有限空间分辨率和有限时间采样率下的离散观测。因此，当模型始终被限制在离散网格上进行表示、对齐与恢复时，其对复杂运动、高频纹理和连续结构变化的表达能力必然受到限制。

针对这一核心瓶颈，SINF 将无监督视频去噪重新表述为一个连续时空隐式场学习问题。该方法不再仅将视频看作离散帧集合，而是将其建模为一个连续可微的时空函数，通过坐标驱动的隐式神经表示直接学习空间坐标、时间坐标与视频强度之间的映射关系。与传统 CNN 或 RNN 方法相比，SINF 在理论上能够突破固定感受野、离散采样和光流对齐的局限，实现更稳定的时空一致性、更强的高频细节恢复能力以及更鲁棒的真实噪声适应能力。

一、研究背景：为什么真实视频去噪越来越困难？

视频去噪本质上是一个从受噪声污染的视频观测中恢复真实场景信号的问题。对于单帧图像而言，去噪模型主要关注空间纹理、边缘结构和局部语义之间的关系；而对于视频而言，模型不仅需要恢复每一帧中的空间细节，还必须保持相邻帧之间的运动连续性和时间一致性。因此，视频去噪的难点并不只是“去除噪声”，更在于如何在复杂运动条件下区分噪声扰动和真实动态结构。

在真实成像系统中，视频噪声往往并非简单的独立同分布高斯噪声，而是与成像条件、传感器特性、曝光时间、光照强度、运动速度和压缩方式密切相关。例如，在低照度视频中，信号强度本身较弱，光子噪声和传感器读出噪声会显著影响图像质量；在高速运动或动态场景中，目标位置变化会破坏简单的跨帧像素对应关系；在生物显微成像中，为了降低光毒性和光漂白，常常需要在极低光子条件下采集视频，导致信噪比显著降低；在科学计算成像与医学成像中，真实 Ground Truth 往往无法获得，进一步限制了监督学习方法的应用。

传统监督视频去噪方法通常需要大量成对的噪声视频和干净视频作为训练样本。对于合成噪声数据集而言，这一假设相对容易满足，因为研究者可以在干净视频上人工添加噪声，构造训练数据。但在真实世界中，严格对齐的干净/噪声视频对非常难以获得。动态场景不可重复，噪声过程不可逆，真实干净视频通常无法直接采集。因此，监督学习方法虽然在标准数据集上表现良好，但在真实噪声、未知噪声分布和复杂动态场景中往往面临泛化不足的问题。

无监督视频去噪由此成为近年来低层视觉研究中的重要方向。该类方法希望仅依赖噪声视频本身完成模型训练，而不需要干净标签。早期方法借鉴 Noise2Noise、Noise2Void 等自监督图像去噪思想，通过噪声独立性假设、中心像素遮挡或跨帧构造伪监督信号实现训练。随着视频建模的发展，现有无监督视频去噪逐渐形成两类主流范式：一类是基于帧间配准的方法，通过光流或运动补偿构造跨帧训练对；另一类是基于 blind-spot 的时空建模方法，通过遮挡中心像素避免网络学习恒等映射。

尽管这些方法推动了无监督视频去噪的发展，但在强噪声和复杂运动场景中仍存在明显不足。基于光流的方法依赖准确的运动估计，而光流估计本身高度依赖图像梯度和纹理结构。当输入视频已经被强噪声污染时，梯度信息会被破坏，光流估计容易产生错误。一旦错误的光流被用于跨帧对齐，误差会在时间维度上进一步传播，最终表现为运动伪影、边缘错位和时序闪烁。另一方面，blind-spot 方法虽然能够实现无监督训练，但传统 blind-spot 网络主要基于局部卷积感受野进行恢复，中心像素被遮挡后，模型只能利用有限邻域推断目标像素，难以充分恢复细粒度纹理和长距离结构关系。

因此，论文指出，当前无监督视频去噪方法的根本瓶颈并不仅仅在于网络结构不够复杂，而在于其视频表示方式仍然建立在离散空间网格和离散时间帧序列的基础之上。只要模型仍然依赖固定像素网格、有限邻域卷积和噪声敏感的光流估计，就很难真正实现鲁棒、连续和全局一致的视频恢复。

二、核心问题：视频应被看作离散帧序列，还是连续时空场？

论文的出发点是对视频表示方式的重新审视。传统视频处理方法通常将视频表示为一个离散帧序列：

在这一表示中，每一帧  是一个固定分辨率的二维像素网格，时间维度则由有限帧索引  表示。这种建模方式符合数字视频的存储形式，却未必符合真实场景的物理本质。真实世界中的光照、运动和结构变化是连续发生的，数字视频只是成像设备对连续时空光照场的采样结果。

论文在 Preliminary 部分首先给出了连续视频建模的基本形式。理想视频信号可以被表示为一个连续时空光照场：

其中， 是连续空间坐标， 是连续时间，输出  表示 RGB 强度。实际采集到的视频帧可以表示为该连续函数在离散空间—时间格点上的采样：其中 、、， 分别为空间和时间采样间隔。也就是说，视频序列本质上只是连续时空场的有限采样，而不是连续场本身。

从函数逼近角度看，离散视频可以被理解为连续函数空间  到有限维子空间  的投影：

其中  表示有限维基函数， 是由采样值决定的系数。由于  是有限的，任何落在该有限子空间之外的高频空间细节或高阶时间变化都无法被完整表示。这一分析揭示了固定分辨率视频建模的内在限制：即使使用复杂深度网络，只要输入和处理过程仍局限于固定网格，模型对连续运动轨迹和高频动态细节的表达能力仍然受到约束。

三、理论基础：隐式神经场为何适合视频去噪？

隐式神经表示（Implicit Neural Representation, INR）是一类以坐标为输入、以信号值或特征值为输出的连续函数建模方法。与传统显式网格表示不同，INR 不直接存储每个像素或体素的离散值，而是通过一个参数化神经网络  建立坐标到信号的映射关系。在视频场景中，这一映射可以写为：

也就是说，给定任意空间坐标  和时间坐标  ，模型都可以输出对应的 RGB 强度或潜在特征。与离散视频表示相比，这种隐式函数具有三个重要优势。

第一，隐式神经场具有通用逼近能力。对于任意连续视频函数 ，只要网络具有足够的深度、宽度和非线性表达能力，就存在一组参数  ，使得：

这意味着，隐式神经场理论上能够以任意精度逼近连续视频信号。在视频去噪中，这一性质使模型不再局限于固定分辨率输入，而是能够学习底层连续信号流形，并在离散噪声观测之外恢复更稳定的真实结构。

第二，隐式神经场具有更强的高频表达潜力。传统神经网络，尤其是基于 ReLU 的 MLP，往往存在频谱偏置，即优先学习低频信号，而对高频纹理、细小边缘和快速运动变化拟合不足。为了增强高频表达能力，论文引入 Fourier Feature Embedding，将原始坐标映射到多频率正弦余弦空间：

通过这一映射，低维坐标被投影到包含多尺度频率信息的高维空间，使隐式神经场能够更有效地表示边缘、纹理和细粒度运动变化。这对于视频去噪尤其重要，因为真实信号中的高频结构往往与噪声混杂在一起，模型需要既抑制随机噪声，又保留真实细节。

第三，隐式神经场是连续可微的，这为时空动态建模提供了新的可能。传统光流方法需要显式估计帧间像素位移，而隐式神经场可以通过函数导数直接刻画连续运动变化。例如，时间导数：

可以被理解为局部像素强度随时间变化的速度项，而二阶时间导数：

可以反映运动加速度或动态变化率。空间梯度：

则可以用于描述纹理边缘和局部结构变化。在平滑运动假设下，像素强度在两个时间点之间的演化可以通过积分形式近似：

这一公式表明，连续隐式函数不仅能够拟合单个时间点的图像内容，还能够在函数空间中表达时间轨迹，从而为跨帧一致性建模提供了更自然的数学形式。

为了进一步增强连续时空建模能力，论文采用 SIREN 形式的周期激活函数。其隐藏层形式为：

其中  控制频率范围，  和  为可学习参数。论文通过频率响应和二阶导数平滑性对 ReLU、Tanh、Sigmoid 与 SIREN 进行了比较，指出 SIREN 在高频响应方面更强，同时具备更加稳定的高阶导数，因此更适合捕捉快速变化的时间动态和细粒度空间结构。

四、方法概述：SINF 的整体框架

基于上述理论分析，论文提出了面向无监督视频去噪的连续时空隐式神经场 SINF。给定一个噪声视频序列：

每一帧可表示为未知干净帧  与噪声项  的叠加：

其中，  可以是非独立同分布、异方差甚至具有真实成像相关性的复杂噪声。SINF 的目标是在没有干净标签的情况下，仅依赖噪声视频  恢复干净视频 。不同于传统网格方法，SINF 将视频建模为一个可微时空场，并学习如下参数化映射：

在整数时间索引  处，模型输出对应帧的去噪结果；在非整数时间位置，模型也能够形成连续时间上的隐式表示。这意味着 SINF 不只是对离散帧做滤波，而是在重建一个底层连续视频信号流形。

整体而言，SINF 由三个核心模块组成：Blind-Spot Implicit Neural Field（BS-INF）、Implicit Temporal Embedding（ITE）和 Time-Aware Spatial Graph Module（TSGM）。其中，BS-INF 负责在满足 blind-spot 自监督约束的同时扩大空间建模能力；ITE 负责将时间坐标嵌入连续隐式空间，增强动态建模能力；TSGM 负责通过时间感知图注意力机制完成跨帧对齐与融合，减少对显式光流的依赖。

五、自监督学习范式：如何在没有干净标签的情况下训练？

无监督视频去噪的关键挑战在于如何避免模型直接复制噪声输入。如果网络能够看到目标像素自身，那么最简单的优化方式就是输出原始噪声值，从而退化为恒等映射，随机遮挡部分目标像素，使模型只能根据其周围空间—时间上下文进行预测。

对于任意被遮挡位置 ，模型预测满足：

该公式表达了 J-invariance 条件，即预测值不能依赖该位置自身的噪声观测。由于 mask 在训练过程中随机采样，每个像素最终都会在不同迭代中作为预测目标被优化。训练损失定义为 masked mean squared error：

与传统 blind-spot 网络不同的是，SINF 并没有停留在局部卷积邻域内，而是进一步通过隐式坐标场和时空图对齐机制扩大可利用上下文范围，从而增强复杂场景中的细节恢复能力。

盲点隐式场：Blind-Spot Implicit Neural Field

Blind-Spot Implicit Neural Field（BS-INF）是 SINF 的空间建模核心。传统 blind-spot 网络通过遮挡中心像素避免信息泄漏，但其预测仍然依赖卷积感受野内的局部邻域。当噪声较强或纹理结构较复杂时，有限邻域不足以提供可靠上下文。BS-INF 的目标是在保持 blind-spot 自监督约束的同时，引入坐标驱动的隐式表示，使模型能够获得更丰富的全局空间信息。

具体而言，对于帧  的特征图 ，模型首先使用 MaskConv 去除中心像素信息，再通过 DilatedConv 扩大局部感受野：

这一分支用于提取局部 blind-spot 上下文。与此同时，BS-INF 构建坐标隐式分支，将空间和时间坐标归一化到 范围：

随后将归一化坐标嵌入多频率 Fourier 空间：

为了确保 blind-spot 约束在坐标域中仍然成立，模型进一步引入二值 mask，对位置编码进行调制：

这样，隐式场只能利用非中心位置的信息推断被遮挡像素，避免了自监督训练中的目标泄漏。随后，MLP 形式的隐式神经场将坐标编码和局部特征映射为连续潜在表示：

BS-INF 同时保留了 blind-spot 自监督学习的有效性和隐式神经场的连续表达能力，使模型能够从更大范围的空间上下文中恢复细节，而不再局限于局部卷积邻域。

隐式时间编码：Implicit Temporal Embedding

传统视频方法通常将时间视为离散帧索引，依赖 RNN、时序卷积或光流传播进行跨帧信息建模。然而，这种方式无法充分描述真实世界中连续发生的运动变化。ITE 将时间变量显式建模为连续坐标，并通过周期激活 MLP 将其嵌入高维隐式空间。

首先，帧索引  被归一化为：

随后，使用 SIREN 风格的时间映射函数得到时间嵌入：

为了增强对多尺度时间变化的表达能力，论文进一步构造多频率时间编码：

该时间嵌入被广播到空间维度，并与编码器特征进行融合：

从函数角度看，ITE 等价于学习一个连续时间隐式场：

由于  是可微函数，因此其时间导数：

可以被理解为一种隐式运动趋势描述符。相比显式光流估计，这种方式并不直接依赖噪声图像梯度，而是通过连续时间嵌入学习跨帧动态关系，因此在强噪声和复杂运动条件下具有更好的鲁棒性。

此外，SINF 采用前向编码器  和后向编码器  进行双向传播，将过去帧和未来帧的信息共同用于当前帧恢复：

这种双向结构增强了时间上下文表达，使模型不仅能利用前序信息，也能利用后续信息，从而更好地恢复动态场景中的连续结构。

时序感知图：Time-Aware Spatial Graph Module

复杂运动场景中的跨帧对齐仍然是视频恢复的关键问题。传统方法通常通过光流实现像素级配准，但光流对噪声敏感，且在遮挡、非刚性运动和低纹理区域容易失效。为此，论文提出 Time-Aware Spatial Graph Module（TSGM），通过时间感知图注意力机制实现更鲁棒的跨帧对齐与融合。

TSGM 包含两个相互关联的阶段：时间对齐和空间对齐。在时间对齐阶段，模型将归一化时间坐标映射为多频率时间描述符，并注入每个像素特征：

其中  是时间嵌入，  是可学习线性映射。为了衡量目标时间  与邻域时间  的兼容性，模型计算时间相似度：

这里， 表示时间门控权重，用于抑制时间不兼容或噪声较强的邻近帧。

在空间对齐阶段，TSGM 将每一帧划分为局部窗口，并将窗口中的 token 视为图节点。对于目标帧和邻近帧之间的局部窗口，模型计算 query、key 和 value：

跨帧图注意力权重为：

对应的邻域聚合结果为：

随后，来自多个邻近帧的结果通过时间门控权重聚合：

这一过程等价于在局部时空窗口中构建一个动态图结构，通过 attention 定义边权，通过 value 聚合实现消息传播。相比显式光流，TSGM 不需要先验运动场，而是根据特征相似性和时间兼容性自适应建立跨帧关联，因此更适合强噪声和复杂运动视频。

六、实验设置：覆盖合成噪声、真实噪声与生物成像场景

为系统验证 SINF 的有效性，论文在多个典型视频去噪数据集上进行了实验，覆盖合成噪声、真实自然噪声以及生物显微成像噪声等不同场景。

在合成噪声实验中，论文采用 DAVIS 和 Set8 数据集。DAVIS 包含大量具有复杂动态和多样运动模式的高质量自然视频，Set8 则是视频恢复任务中常用的高帧率测试集。研究在干净视频上添加不同强度的高斯噪声，用于评估模型在可控噪声水平下的恢复能力。

在真实噪声实验中，采用 CRVD 数据集，包含不同 ISO 条件下采集的真实 raw 视频，能够反映真实相机成像过程中的高 ISO 噪声、空间非均匀噪声和动态场景噪声。相比合成噪声，CRVD 更能检验模型在真实成像环境中的鲁棒性。

在生物成像实验中，论文进一步采用 DeepCAD 相关荧光显微视频数据，包括小鼠脑中性粒细胞、斑马鱼视顶盖神经元以及斑马鱼脑区等低信噪比体内成像序列。这类数据具有典型的 AI for Science 特征：信号弱、噪声强、结构细微。

七、前景：面向 AI for Science 的无监督连续视频恢复

论文将无监督视频去噪从传统离散网格问题重新表述为连续时空隐式场学习问题。该视角突破了传统视频恢复中帧序列和像素网格的限制，提出了一种坐标驱动的连续视觉建模范式。过去大量低层视觉方法默认图像和视频是离散网格信号，而 SINF 进一步指出，真实视觉信号应被理解为连续场，低层视觉恢复任务也可以被重新表述为从噪声离散采样中恢复连续隐式函数。这一思想与 NeRF、Dynamic Neural Field、连续超分辨率和神经场建模等方向形成了自然联系，为未来视频复原、动态场景理解和科学成像提供了新的研究路径。

SINF 的潜在应用价值不仅局限于自然视频去噪。在 AI for Science 和生物医学成像领域，该方法具有尤其重要的意义。许多科学成像任务面临相似问题：观测信号弱、噪声强、动态结构复杂、干净标签难以获得。例如，在荧光显微成像中，为了降低光毒性和保护活体样本，成像过程通常需要减少激发光强或缩短曝光时间，这会显著降低信噪比；在神经活动成像中，细胞或神经元结构随时间变化，模型必须同时保持空间结构真实性和时间动态一致性。

该研究体现了低层视觉、计算成像和连续神经表示方向上的交叉创新；论文代码已初步开源，便于相关研究者复现、拓展与应用。

回看近两年的顶会成果，注意力机制的创新趋势已经很明显了：纯改权重、堆头数那套基本卷无可卷，但把注意力机制当基础设施去解决效率、跨模态对齐或者长序列建模痛点，还是很有搞头的。

本文精选了CVPR、ICLR、ICML、AAAI、ACL、WWW、ICASSP、SIGIR、ICSE 2026中极具代表性的147篇工作。看完你就能发现：线性注意力、细粒度跨模态对齐、轻量化设计才是现在注意力机制出成果最快的三条路。

建议感兴趣的朋友人手一份，直接参考合集里的论文可以帮你省下不少筛资料的时间，还能加速摸清研究脉络、对标前沿思路，快人一步找到那个能中的idea。

在多模态大模型（VLM）飞速发展的今天，我们习惯了让模型描述视频里“有人在跑步”或者“猫在跳跃”。但如果你问它：“这个花样滑冰动作是三周半跳（Triple Axel）还是勾手三周跳（Triple Lutz）？”或者“这个手术缝合动作是否规范？”，现有的顶级模型往往会瞬间“哑火”。

最近，来自华盛顿大学、艾伦人工智能研究所（Allen Institute for AI）以及斯坦福大学的研究团队发表了一项非常有意思的研究。他们指出，当前的视频理解模型大多在“感知”层面内卷，却忽略了真正具有挑战性的 领域特定（Domain-Specific） 动作识别。为此，他们推出了一个名为 VideoNet 的大规模数据集。

• 论文地址: https://arxiv.org/abs/2605.02834

• 项目主页: https://tanu.sh/research/videonet

• 代码与数据: https://github.com/RAIVNLab/VideoNet (已开源)

• 录用会议: CVPR 2026 (Highlight)

背景与动机：被遗忘的“硬核”动作识别

在计算机视觉的早期，识别网球的各种击球动作曾是研究的热点。但随着深度学习的兴起，大家转向了规模更大的通用数据集，如 Kinetics。虽然这些数据集很大，但标签却非常“粗糙”。比如，Kinetics 里可能只有一个“攀岩”标签，但在专业的攀石（Bouldering）领域，动作可以细分为几十种。

现有的 VLM 评测集虽然开始关注细粒度动作，但往往局限于第一视角，或者场景非常单一。这就导致模型在面对真实世界中复杂、专业的动作时，表现得像个“门外汉”。

VideoNet 的出现就是为了打破这种局面。它涵盖了从体育竞技、舞蹈艺术到医疗手术、手工艺制作等 37 个领域，共计 1000 种独特动作。

方法详解：如何教 AI 识别“专家动作”？

构建这样一个专业的数据集，最大的难点在于：去哪里找这么多专家来打标签？ 如果让普通众包人员去标“三周半跳”，错误率肯定高得离谱。

1. 众包流水线：让非专家变身“临时专家”

为了解决这个问题，研究团队设计了一套自动化与人工结合的流水线。

• AI 定义生成：首先利用具备联网搜索能力的 LLM（如 Claude-3.7），针对每种动作生成极其详尽的“视觉定义”。这些定义不使用生僻术语，而是用大白话描述动作的视觉特征。

• 三阶段标注（Input/Output 流程）：

1. 采集（Collection）：输入动作名称和定义，众包人员在 Web 端搜寻 7 个候选片段。

2. 验证（Verification）：通过“异常检测”逻辑，多名标注员剔除不符合定义的片段。

3. 精修（Trimming）：输出最终留下的片段，并进行精确的时间边界裁剪。

这种方法非常高效，专家抽样验证显示，最终标签的准确率高达 97.6%。

2. 硬负样本：拒绝“送分题”

为了防止模型通过背景来作弊，作者利用推理模型（如 o3-2025-04-16）生成了“硬负样本（Hard Negatives）”。这些负样本在视觉或运动特征上与正样本极度相似，只有细微差别（例如：空接扣篮 vs 补篮）。

3. SingleAction 策略：自动化构建 16 万训练集

除了评测集，作者还构建了一个包含 16 万条剪辑的训练集。这里他们提出了一个核心的 SingleAction 过滤策略：

• 逻辑推演：如果一个视频的标题提到了某个动作，且 Gemini 2.5 Flash 定位器在整个视频中只发现了一个动作片段，那么这个片段必然对应标题所述动作。这种策略极大地提高了自动化标注的纯净度。

实验与结果：小模型的逆袭

研究团队在 VideoNet 上测试了目前市面上最顶尖的模型，包括 Gemini 3.1 Pro 和 GPT-5 等。

1. 闭源模型领先，但仍有巨大提升空间

在多选题（MCQ）设置下，闭源模型的准确率在 70% 左右，而开源的 8B 模型（如 Qwen3-VL, InternVL3.5）仅在 45% 左右徘徊。这说明 VideoNet 对于现有的 VLM 来说极具挑战性。

2. 4B 模型微调后反超 8B 标杆

作者在自家 16 万条数据上微调了一个仅有 4B 参数的 Molmo2 模型。结果显示，微调后的 Molmo2-4B (FT) 在多选题任务中提升了 11.5%，最终准确率达到 53.5%，一举超过了所有未经过针对性训练的 8B 开源模型。

3. VLM 是糟糕的“少样本学习者”

研究还发现了一个有趣的现象：人类在看到 3 个视频示例后，准确率能大幅提升 13.6%；而 VLM 在同样的 -shot 设置下，平均仅提升了 2.9%。这说明目前的视频模型还无法像人类一样，通过几段演示就快速“领悟”一个新动作。

此外，消融实验显示，单纯增加采样率（从 1fps 提升至 4fps）带来的收益非常有限，这暗示了模型在运动感知（Motion Understanding）层面的欠缺，而非简单的信息量不足。

写在最后

VideoNet 的发布，反射出当前的视频理解研究现状，也指明了一个新方向。它告诉我们，仅仅靠通用的互联网数据，模型很难真正理解那些需要专业知识的复杂动作。

另外 4B 模型逆袭 8B 模型，这不仅是算法的胜利，更是数据工程的胜利。

目前，VideoNet 的代码和数据已经开源。

在深度学习的日常实践中，我们通常会面临两种选择：要么从零开始（From Scratch）训练一个模型，要么拿现成的预训练权重进行微调（Fine-tuning）。虽然这两种范式的目标不同，但大家往往都习惯性地套用相同的优化器，比如 Adam 或 SGD。然而，这种“一刀切”的做法真的最优吗？

近日，来自中国科学院、南洋理工大学、国防科技大学、中国科学技术大学等机构的研究者们在顶级期刊 IEEE TPAMI 上发表了一项最新研究，提出了一种名为 DualOpt 的新型优化框架，其核心思想是针对“从零训练”和“微调”这两种截然不同的任务需求，提供解耦的优化策略。它不仅能让模型在从零训练时收敛得更快、更稳，还能在微调时有效缓解“灾难性遗忘”问题。

• 论文地址: https://arxiv.org/abs/2604.22838

• 主要机构: 中国科学院、南洋理工大学、中国科学技术大学、蒙特利尔学习算法研究所（Mila – Quebec AI Institute）、国防科技大学

• 代码仓库: https://github.com/qklee-lz/OLOR-AAAI-2024

• 录用信息: TPAMI 2026

背景与动机：为什么优化器需要“解耦”？

传统的优化器如随机梯度下降（Stochastic Gradient Descent, SGD）和自适应矩估计（Adaptive Moment Estimation, Adam），其设计初衷主要是为了最小化损失函数。但在实际应用中，从零训练和微调的“痛点”完全不同：

1. 从零训练：参数随机初始化，重点在于如何快速收敛并获得良好的泛化能力。现有的权重衰减（Weight Decay）机制虽然能防止过拟合，但作者在理论上证明了，在某些更新步中，它可能会意外地增加权重幅度，反而削弱了正则化效果。

2. 微调：模型已经具备了上游任务的通用知识。此时，优化器的挑战在于如何在学习新任务的同时，不把老知识丢掉（即缓解知识遗忘）。

DualOpt 的出现，正是为了打破这种统一优化的局限性，通过一套框架、两套逻辑，精准解决上述问题。

方法详解：因地制宜的优化策略

DualOpt 将优化路径分为两条：针对从零训练的“实时逐层权重衰减”和针对微调的“权重回退与逐层惩罚”。

1. 从零训练：实时逐层权重衰减（Real-Time Layer-Wise Weight Decay）

作者首先指出，传统的权重衰减往往滞后于参数更新。标准的更新公式为 。作者通过数学推导发现，当满足以下条件时：

权重的绝对值反而会增加，这违背了正则化的初衷。为了解决这个问题，DualOpt 引入了实时权重衰减，直接对更新后的临时权重进行衰减：

这样可以确保在任何  的情况下，权重都会被有效地向零拉拢。

更巧妙的是，它考虑到了神经网络的层级特性。浅层网络通常捕捉颜色、边缘等基础特征，过拟合风险低；而深层网络捕捉复杂的语义特征，更容易过拟合。因此，DualOpt 采用了逐层权重衰减率：

其中  是当前层数， 是总层数。这意味着越往深层，衰减力度越大，从而在保证收敛速度的同时，提升了模型的泛化性能。

2. 微调：权重回退机制（Weight Rollback）

这是 DualOpt 最具创新的部分。在微调过程中，它在每次更新步中加入了一个“回退项”，将当前的权重稍微向预训练权重  方向“拉”一把。

输入输出流程：

• 输入：当前权重 、梯度 、预训练权重 、差异值 。

• 逻辑：优化器首先计算梯度更新，然后计算当前权重与  的偏差。

• 更新公式：。

• 输出：更新后的权重  以及更新后的差异值 。

这种设计就像是“一步学习，一步复习”，确保模型在适应新任务的同时，其权重分布不会偏离预训练状态太远。

此外，针对微调，DualOpt 还设计了逐层惩罚（Layer-wise Penalty）。由于浅层特征更具通用性，DualOpt 会通过参数  调节惩罚力度，给浅层施加更强的回退惩罚，以保留通用知识；而深层则给予更多自由度去适配新任务。

实验与结果：全方位的性能碾压

研究团队在图像分类、目标检测、语义分割等 10 个主流数据集上进行了严苛的测试，涵盖了 ResNet、Inception、ConvNeXt 和 ViT 等多种主流骨干网络。

1. 分类任务：全面超越 SOTA

在微调实验中，DualOpt 展现了惊人的爆发力。以 ViT-B 为例，在挑战性极高的跨域数据集 PACS 上，DualOpt 将准确率从基线的 87.79% 提升到了 94.38%。在 CIFAR-100 上，它也比传统的 Full Fine-tuning 提升了约 5.13 个百分点。

在大规模数据集 ImageNet 上，DualOpt 同样表现出色。对于 ViT-B 模型，它将 Top-1 准确率从 81.34% 提升至 82.58%；对于 Swin-B 模型，则从 83.05% 提升至 83.89%。

2. 检测与分割：通用性极强

DualOpt 并不局限于分类。在 COCO2017 目标检测任务中，使用 Mask R-CNN 作为基准，DualOpt 将 Bbox mAP 从 40.20% 提升至 41.10%。

在 ADE20K 语义分割任务中，使用 UperNet 配合 ViT-B 后，mIoU 也提升了近 1 个百分点，达到 44.62%。

3. 效率分析：极低的额外开销

作为一个优化器层面的改进，大家最关心的往往是计算成本。实验显示，DualOpt 相比于全量微调，在 ViT-B 上仅增加了约 0.04% 的计算开销（FLOPs），显存占用（Mem）也几乎持平。这意味着你几乎可以“无痛获得”这些性能提升。

4. 可视化分析：特征边界更清晰

通过 t-SNE 可视化可以发现，DualOpt 学习到的特征分布具有更小的类内距离和更大的类间距离。相比于 Linear Probing 或 Full Fine-tuning，DualOpt 的特征簇边界非常清晰，这直接解释了其高准确率的原因。

写在最后

DualOpt 的成功告诉我们，深度学习的进步不仅来自于更深的网络或更大的数据，对底层优化机制的“精雕细琢”同样能带来显著的红利。它通过简单的数学推导和对网络结构的深刻理解，进一步缓解了训练范式中的不匹配问题。

这种“一步学习，一步复习”的逻辑，不仅在视觉任务中大放异彩，其背后的解耦思想对于大语言模型（LLM）的持续学习、指令微调等领域同样具有继续探索的启发意义。

在计算机视觉领域，Vision Transformer（ViT）的出现无疑是一场变革。然而，尽管它在捕捉全局依赖方面表现出色，但相比于传统的卷积神经网络（CNN），它在某种程度上“缺乏常识”——也就是我们常说的空间先验（Spatial Priors）。此外，自注意力机制那随分辨率平方增长的计算复杂度，也让它在处理高分辨率图像时显得有些吃力。

为了解决这些问题，中国科学院与北京科技大学的研究团队在之前 RMT 模型的基础上，推出了一款增强版架构：EVT。该模型全称为 Euclidean enhanced Vision Transformer，意为“欧几里得增强视觉 Transformer”。作者之所以起这个名字，核心在于它引入了更符合人类视觉特性的“欧几里得距离衰减”来提供空间先验，并配合一种极其灵活的 1D 标记分组策略，实现了性能与效率的双重飞跃。

• 论文地址: https://arxiv.org/abs/2604.18549

• 录用情况: TPAMI 2026

背景与动机：从“方格子”到“圆周率”

在探讨 EVT 之前，我们不得不提它的前作 RMT。RMT 曾尝试通过“曼哈顿距离（Manhattan distance）”来引入空间衰减，即让模型在计算注意力时，距离越远的标记权重越小。

但研究团队发现，曼哈顿距离的衰减模式在空间上呈现出一种“菱形”或“方块状”的分布，这与人类视觉系统的径向衰减（Radial Pattern）并不一致。想象一下，当你盯着屏幕中心时，你的注意力是向四周圆周式扩散的，而不是沿着直角坐标轴。

此外，RMT 采用的行列分解注意力机制虽然降低了复杂度，但其串行计算的特性限制了硬件的并行效率。为了打破这些瓶颈，EVT 带着两个核心改进登场了：

1. 欧几里得距离衰减：用更自然的径向距离取代直角距离。

2. 1D 标记分组：用更灵活的序列分组取代复杂的行列分解。

方法详解：欧几里得先验与 1D 分组的妙用

EVT 的整体架构延续了主流的分层设计，分为四个阶段（Stage），逐步降低特征图分辨率并增加通道数。其输入为  的图像，经过 Conv Stem 下采样后进入核心 Block。

1. 欧几里得自注意力（EuSA）

这是 EVT 的灵魂所在。在计算自注意力分数时，模型引入了一个基于欧几里得距离的衰减矩阵 。其数学表达：

其中， 是标记的物理坐标， 是一个控制衰减强度的超参数。通过将这个矩阵与原始注意力分数逐元素相乘（），模型被显式地赋予了“近大远小”的空间直觉。

作者通过 JS 散度（Jensen-Shannon divergence）分析发现，这种欧几里得衰减矩阵生成的分布，与那些经过海量数据训练后的 ViT 模型（如 DINOv2）自发学习到的注意力分布高度相似。这意味着，我们不需要数亿张图片的预训练，就能让模型直接获得这种高质量的空间感知力。

有趣的是，研究团队还测试了更复杂的距离函数，如 Minkowski 距离（）或高斯 RBF 核。结果发现，这些高阶函数虽然理论上更平滑，但会导致训练极度不稳定，甚至出现 NaN。相比之下，欧几里得距离在性能与稳定性之间取得了完美的平衡。

2. 1D 标记分组策略

为了处理高分辨率图像，EVT 放弃了 RMT 中那种复杂的水平/垂直分解，转而采用了一种看似简单却极其有效的 1D 分组方法。

具体来说，模型将 2D 特征图展开成 1D 序列，然后直接进行分组（Grouped EuSA）或扩张分组（Dilated EuSA）。

• Grouped EuSA ()：负责捕捉局部信息。

• Dilated EuSA ()：通过跨步采样，负责捕捉全局依赖。

你可能会担心：1D 分组不是破坏了 2D 空间结构吗？ 这正是 EVT 的巧妙之处。因为我们在 EuSA 中已经引入了基于 2D 物理坐标的欧几里得衰减，所以即便标记在序列中是“1D 邻居”，模型依然知道它们在物理空间上的真实距离。

更重要的是，作者从理论上证明了 1D 分组的 覆盖率（Coverage Ratio） 优势。在相同的计算预算下，1D 分组每层覆盖的标记数量是 2D 分组的  倍（ 为组数）。这意味着 EVT 能以更快的速度获得全局感受野。

实验结果：全线飘红的性能指标

研究团队在 NVIDIA A100 GPU 上对 EVT 进行了全面的评测，涵盖了分类、检测、分割以及鲁棒性测试。

ImageNet-1K 分类任务

在 224x224 分辨率下，EVT-L 达到了 85.8% 的 Top-1 准确率。当分辨率提升至 384x384 时，准确率进一步飙升至 86.6%。更令人印象深刻的是，EVT-T（微型版本）仅凭 15M 的参数量就拿下了 83.0% 的成绩，显著优于同量级的 Swin-T 和 ConvNeXt-T。

目标检测与分割

在 COCO 数据集上，EVT 同样展现了强大的下游迁移能力。使用 Mask R-CNN 框架时，EVT-B 的  达到了 53.3，比 RMT-B 提升了 1.1 点。

在 ADE20K 语义分割任务中，EVT-L 配合 UperNet 框架刷出了 53.6% 的 mIoU，这一表现甚至超越了许多参数量大一个数量级的模型。

推理效率与稳定性

得益于 1D 分组策略对硬件的友好性，EVT 的推理速度非常快。在 A100 上，EVT-T 的吞吐量达到了 2142 imgs/s，相比 RMT-T 的 1650 imgs/s 提升了近 30%。

此外，Fig 5 的 Loss 曲线清晰地展示了欧几里得距离在训练初期的稳定性优势。相比曼哈顿距离，欧几里得距离的收敛过程更加平滑，最终达到的精度也更高。

写在最后

从 RMT 到 EVT 的进化，不仅仅是距离度量方式的改变（Manhattan  Euclidean），更是一次对视觉模型“底层逻辑”的重构。

通过下图可视化对比，我们可以直观地看到：引入欧几里得先验后，模型的注意力分布变得更加集中且平滑，有效减少了注意力分散（Attention Dispersion）现象。这说明，符合物理直觉的先验知识，能够显著降低 Transformer 的学习难度。

在 3D 内容创作如火如荼的今天，如何让静态的 3D 模型“活”起来，一直是图形学和 AI 交叉领域的一大难题。传统的动画制作依赖复杂的骨骼绑定（Rigging）和权重刷取，这对于普通用户来说门槛极高。近日，华中科技大学与阿里巴巴达摩院的研究团队联合发布了 AnimateAnyMesh++，这是一个专为通用网格动画设计的前向推理框架。

• 论文地址: https://arxiv.org/abs/2604.26917

• 代码仓库: https://github.com/JarrentWu1031/AnimateAnyMesh-pp (将开源)

• 主要机构: 华中科技大学、阿里巴巴达摩院

4D 生成的“深水区”：数据与一致性的博弈

让 3D 模型动起来（即 4D 生成）之所以难，主要有两个痛点：一是 4D 数据极度匮乏，相比于海量的图像和视频数据，高质量的动态网格序列少得可怜；二是 时空分布复杂。现有的方法要么依赖耗时的单例优化（如 SDS 蒸馏），生成一个动画需要十几分钟甚至数小时；要么先生成视频再进行 4D 重建，这往往会导致严重的视图不一致或几何畸变。

为了解决这些问题，研究团队另辟蹊径，提出了一种无需骨骼、基于顶点轨迹预测的管线。这种方案直接建模每个顶点的运动路径，天然地支持任意拓扑结构，甚至能处理非刚性变形（如布料抖动、肌肉收缩）。

核心技术：DyMeshVAE-Flex 与 PLTA 注意力

灵活的轨迹压缩：DyMeshVAE-Flex

AnimateAnyMesh++ 的核心组件之一是 DyMeshVAE-Flex， Flex，意在强调其对变长序列处理的灵活性。

如上图所示，该模型首先将动态网格序列  分解为初始顶点  和相对轨迹 。这种解耦方式中： 负责提供静态的形状特征，而  则专注于捕捉运动分布。为了支持变长生成，研究者引入了以下核心设计：

• 分块处理（Chunk-based processing）：将相对轨迹  切分为有重叠的块（Chunks）。每个块独立进行压缩和解压，这使得显存开销不再随序列长度呈指数增长。

• 时间相关梯度加权（Time-Dependent Gradient Weighting, TDGW）：这是为了解决块与块之间可能出现的“跳变”问题。在重叠区域，模型通过线性插值平滑权重 ，确保了长动画在拼接处的连贯性。

• 同步注意力（Sync Attention）：传统的注意力机制容易导致空间和时间特征的混淆。Sync Attention 通过利用顶点特征生成的注意力图来引导轨迹特征的投影，实现了几何与运动特征的解耦建模，防止了信息“打架”。

破解“粘连”难题：PLTA 注意力

在 4D 生成中，一个常见的诡异现象是“轨迹粘连（Trajectory Sticking）”——比如角色的手在挥动时，由于空间距离太近，手部的顶点会“带着”头部的顶点一起跑，导致模型变形。

为了解决这一痛点，团队提出了 幂律拓扑感知注意力（Power-Law Topology-Aware Attention, PLTA）。

• 原理：利用网格的 1-hop 邻接矩阵 ，通过矩阵幂次运算迭代计算连通带：。

• 效果：这种设计让模型能以指数级速度扩大每个顶点的局部感受野。结合显式注入的 顶点法线（Vertex Normal Injection），模型能精准区分“空间邻近但拓扑遥远”的区域（如手和头），极大地提升了局部几何的保持能力。

文本驱动生成：SGTT 模型

为了将文字指令转化为动作，研究者设计了 形状引导文本转轨迹模型（Shape-Guided Text-to-Trajectory, SGTT）。

该模型基于 Transformer 架构，采用 修正流（Rectified Flow, RF） 训练策略。它的 Input 是压缩后的轨迹潜码、初始网格特征和文本嵌入，Output 则是预测的运动速度场。通过交替使用空间自注意力、时间自注意力和文本交叉注意力，模型在潜空间中高效学习轨迹分布。

史上最大 4D 网格数据集：DyMesh-XL

巧妇难为无米之炊。为了支撑基础模型的训练，团队构建了目前规模最大的动态网格数据集 DyMesh-XL。

该数据集整合了 Objaverse-XL、AMASS、DeformingThings4D 等多个来源，涵盖了约 30万 个独立身份和超过 400万 段动态序列。

为了提升文本-动作的对齐质量，研究者利用 Qwen-2.5-VL 等多模态大模型对渲染后的视频进行了自动标注。这种大规模、高质量的数据喂养，是 AnimateAnyMesh++ 能够处理复杂动作（如跳舞、挥翅膀）的关键。

实验结果：刷新 SOTA，秒级推理

在与 DreamGaussian4D、Animate3D 等主流方法的对比中，AnimateAnyMesh++ 展现出了压倒性的优势。

• 动作幅度与准确性：如上图所示，无论是“角色跳跃”还是“龙挥动翅膀”，新模型生成的动作幅度更大、语义对齐更精准，且没有明显的几何畸变。

• 性能指标：在定量评估中，AnimateAnyMesh++ 在平均移动距离（AMD）上达到了 0.0043，远超 Animate3D 的 0.0011。这意味着它能生成更“大幅度”的动作，同时保持了极低的异常边缘率（），证明了其结构的稳定性。

• 推理速度：作为前向推理模型，它生成 16 帧动画仅需 7.3秒，即便扩展到 64 帧也只需 13.5秒。相比动辄需要十几分钟优化的旧方法，效率提升了百倍。

值得一提的是，该模型的训练动用了 32 张 H20 GPU，而推理仅需单张 A800 即可实现秒级响应，这为未来的实时 4D 创作提供了可能。

写在最后

AnimateAnyMesh++ 的出现，标志着 4D 内容生成正在从“单例优化”时代迈向“通用大模型”时代。其核心价值不仅在于那几个百分点的指标提升，更在于它构建了一套完整的、可扩展的 4D 训练管线。

目前的 4D 数据规模相比视频仍有差距，且 VLM 对动态动作的描述精度仍有提升空间。面向未来，或许 AnimateAnyMesh++ 能为更多工作带来启发。

在视频生成技术突飞猛进的今天，我们已经能看到非常逼真的数字人说话视频。但当场景从“坐着说话”变成“拿起产品演示”时，AI 往往就开始露怯了：手部可能会穿过包包的表面，或者手指在抓握时变得模糊不清。这种人与物体交互（Human-Object Interaction, HOI）的物理不一致性，一直是视频生成领域的顽疾。

近日，来自清华大学和阿里巴巴淘宝直播的研究团队提出了一种名为 CoInteract 的端到端框架，结合了 Co-Generation（协同生成）与 Interaction（交互）两个概念，旨在通过空间结构协同生成的范式，让 AI 视频不仅好看，更要符合物理规律。

• 论文地址: https://arxiv.org/abs/2604.19636

• 项目主页: https://xinxiaozhe12345.github.io/CoInteract_Project

• 代码仓库: https://github.com/luoxyhappy/cointeract

值得一提的是，作者已经在有序推进开源，相关论文在 Huggingface Daily Paper取得了日榜第二，周榜第四的排名，可见业界对其的关注热度。

为什么 AI 总是学不会“拿东西”？

在电商直播领域，合成人物与物体交互（Human-Object Interaction, HOI）应用——允许用户仅提供一张人物参考图、一张商品参考图和文本描述，即可生成逼真的商品展示视频，而无需实际拍摄。

而目前的人-物交互视频生成难以满足这样的需求。

目前的视频扩散模型大多是“以像素为中心”的。模型在训练时只学习怎么看起来更像照片，但它脑子里并没有“3D 空间”和“物理边界”的概念。这就导致了两个典型失败案例：一是结构崩溃，比如手指抓握时融合在一起；二是物理违和，比如手直接穿透了物体表面（即“穿模”）。

现有的方法要么依赖沉重的推理时预处理（如提取每一帧的精确姿态），要么缺乏对交互结构的显式约束。CoInteract 的出现，就是想把“结构先验”和“物理约束”直接植入生成模型的大脑——Diffusion Transformer (DiT) 的骨干网络里。

方法详解：给 DiT 装上“物理外挂”

CoInteract 主要由两个互补的设计组成：空间结构协同生成(Spatially-Structured Co-Generation)和人体感知专家混合模块（Human-Aware Mixture-of-Experts, MoE）。

1. 双流协同生成：让 AI 边画图边想结构

研究团队引入了一个辅助的“HOI 结构流”。简单来说，模型在训练时不仅要生成彩色的 RGB 视频，还要同步生成一个只有剪影和物体掩码的结构图。

• Input（输入）：包括人物身份参考图 、产品参考图 、文本提示词、语音音频，以及为了保证连贯性的历史运动帧 。

• Output（输出）：高保真的 RGB 交互视频。在训练阶段，还会输出对应的 HOI 结构流视频。

为了让这个过程更高效，作者设计了非对称协同注意力（Asymmetric Co-Attention）机制。在训练的第一阶段，两个流完全互通，建立耦合；到了第二阶段，通过一个特殊的掩码 ，让 RGB 流的查询（Query）只关注自己，而 HOI 流则可以观察 RGB 流。

掩码的逻辑如下：

其中  和  分别代表 RGB 和 HOI 的 Token 集合。这样做的好处在于：在推理阶段，我们可以直接扔掉 HOI 分支，实现零额外开销的生成，但此时的 RGB 骨干网络已经通过共享参数“吸收”了结构流带来的物理约束。

2. Human-Aware MoE：给手和脸开个“小灶”

手部和脸部是人类视觉最敏感的区域，也是最容易出 Bug 的地方，需要被特别关照。CoInteract 在 DiT 块中嵌入了人体感知 MoE。

• 空间监督路由：模型利用人脸和手部的边界框（Bbox）作为监督，训练一个轻量级路由器。为了不干扰主干特征学习，路由器输入前会进行梯度截断（Stop-gradient）。

• 专项专家：路由器会将属于手部的 Token 发送给“手部专家”（Hand Expert），将脸部发送给“头部专家”（Head Expert）。这些专家是专门针对这些高频细节优化的轻量级全连接网络（FFN）。

3. 3D RoPE：统一的时空坐标系

为了处理历史运动、参考图、RGB 流和结构流等多种模态，模型使用了 3D 旋转位置编码（3D Rotary Positional Encoding, 3D RoPE）。它给每个 Token 分配了独特的  坐标：

• 空间维度：RGB 和 HOI 流在宽度维度上进行偏移拼接，共享高度坐标。

• 时间维度：历史运动帧被分配负的时间索引（如 ），而静态参考图则被映射到远场时间位置（如 ），确保模型能分清“因果关系”和“全局身份锚点”。

4. 数据预处理：构建“纹理剥离”的结构流

为了训练这个模型，研究团队开发了一套精密的预处理流水线。如下图所示，他们首先利用 Qwen-Edit 对视频进行实体解耦，提取独立的个人和产品参考图。接着，利用 SAM3 获取物体掩码，并结合 SAM3D-body 恢复人体网格（Mesh），将其投影到图像平面。

这种“纹理剥离”的 HOI 结构流迫使模型学习纯粹的几何交互，而不是通过颜色纹理来走捷径。

实验结果：物理一致性的新标杆

研究团队构建了一个包含 40 小时产品演示视频的数据库，并清洗出 12K 个高质量片段进行训练。在定量评估中，CoInteract 在多个维度刷新了记录。

特别值得关注的是 VLM-QA 指标（利用 Gemini-3-Pro 进行的交互合理性问答）和 HQ（手部质量，基于 DWPose 的置信度得分）。

• 交互合理性：CoInteract 达到了 0.72，远超次优模型 InteractAvatar 的 0.62。

• 手部质量：得分 0.724，证明了 MoE 模块在稳定手部结构方面的巨大价值。

从定性对比图（下图 5）可以看到，其他模型在处理“调整包带”或“拿着毛绒玩具”等动作时，经常会出现手部变形或物体扭曲，而 CoInteract 生成的视频在手部抓握细节和物体稳定性上明显更胜一筹。

在用户研究中，CoInteract 在物体一致性、人/背景一致性以及最重要的交互合理性上，均获得了最低的平均排名（Mean Rank，越低越好），这进一步证实了其在真实感上的领先地位。

写在最后

CoInteract 说明了对于复杂的物理交互任务，单纯堆砌像素层面的数据可能还不够，将结构先验和几何约束内化到模型架构中，往往能起到事半功倍的效果。

这种“训练时有结构引导，推理时无额外开销”的设计思路，非常适合落地到对实时性和质量都有高要求的场景，比如电商直播、虚拟试穿等。

目前该项目推理代码已开源，作者称将会在近期完整开源训练和姿态控制代码，感兴趣的小伙伴可以期待一下。

给一张单人照片，如何能让他瞬间“穿越”到不同的光影场景中？这在计算机视觉领域被称为“重打光（Relighting）”。虽然听起来简单，但要把光影做得既真实又符合人物的立体轮廓，其实非常困难。

最近，来自Meta、图宾根大学和马普信息学研究所的研究团队提出了一项名为 GeoRelight 的新技术。其核心思想：重打光和3D几何重建不应该是“各扫门前雪”的两个步骤，而应该“双向奔赴”。此外，为了让3D形状能完美适配扩散模型，作者还设计了一种名为 iNOD（等轴测归一化正交深度，Isotropic Normalized Orthographic Depth）的新型几何表示法，解决了传统深度图在压缩过程中的畸变问题。

• 论文地址: https://arxiv.org/abs/2604.20715

• 项目主页: https://yuxuan-xue.com/georelight/

为什么重打光需要“懂”几何？

在过去，很多重打光方法要么是纯粹的“像素翻译”，不考虑几何形状，导致阴影位置不对；要么是“串联式”的，先预测几何，再渲染光影。这种串联方式有个致命伤：误差累积。第一步如果几何算错了，第二步渲染出的光影就会错得离谱，且无法修正。

GeoRelight 的研究者们意识到，几何与光影其实是互利的。准确的3D几何能让重打光产生物理一致的阴影；反过来，光影中的明暗变化（即“由明暗求形状”，Shape-from-shading）也能反哺几何模型，让重建出的3D细节更丰富。这种双向的信息流动，正是 GeoRelight 能够实现照片级真实感的关键。

方法详解：多模态的“分身术”

GeoRelight 的核心是一个灵活的多模态扩散 Transformer（Multi-Modal Diffusion Transformer, DiT）。它不再将不同的任务分开处理，而是将它们整合进一个统一的生成框架中。

1. “模态即时间”的巧妙架构

研究团队修改了现有的视频扩散模型架构。原本视频模型处理的是随时间变化的帧（ 维度），GeoRelight 将其改造成了处理不同的“模态”（ 维度）。

• 输入（Input）：一张单目人像图片  和目标环境光图 。

• 输出（Output）：模型并行地去噪并生成五种模态——重打光图像 、本质反射率（Albedo） 、表面法线（Normal） 、分割掩码（Segmentation）  以及 iNOD 几何表示 。

为了让模型知道自己在处理哪种数据，作者引入了模态类型嵌入（Modality Type Embedding, ）和模态切换掩码（Modality Switch Mask, ）。

通过  掩码，模型在推理时甚至可以根据已有的信息（比如你已经有了一张法线图）来引导其他模态的生成。这种设计让模型在去噪过程中，不同模态之间可以通过自注意力机制进行密集的特征交换。

2. iNOD：为扩散模型量身定制的3D表示

这是论文中非常亮眼的一个技术点。目前的扩散模型大多在潜空间（Latent Space）工作，需要通过变分自编码器（Variational Auto-Encoder, VAE）进行压缩。但传统的点图（Point Map）在 VAE 压缩后会产生大量噪声，而标准的深度图在归一化时会产生各向异性畸变，导致3D形状“缩水”或“拉长”。

作者提出的 iNOD 采用了等轴测归一化（Isotropic Normalization）。其算法流程如下：

1. 反投影：利用相机内参将深度图转为 3D 点云。

2. 等轴测缩放：找到 3D 形状最长的边，将其等比例缩放到  范围内，保持长宽高比例不变。

3. 正交投影：将归一化后的  值投影回 2D 平面。

这样生成的深度图不仅能完美保留3D比例，而且对 VAE 非常友好。作者还对 iNOD 边缘进行了扩张（Dilation），有效消除了 VAE 在处理边界时的伪影。

3. 混合训练策略：合成数据与真实数据的“联姻”

高质量的3D人像重打光数据极其稀缺。作者采取了策略性混合训练（Strategic Mixed-Data Training）：

1. 合成数据（Synth）：提供完美的几何、法线和重打光真值，教模型基本的物理规律。

2. 光场数据（Dome）：利用 Light Stage 拍摄的真实人像，提供精确的光源位置。

3. 自然场景数据（ITW）：通过预训练的合成模型对自然图像进行“自动标注（Auto-labeling）”，获取伪标签。

这种策略让模型既能从合成数据中学到“物理准确性”，又能从自然数据中学到“照片级真实感”。

实验结果：全方位的 SOTA

GeoRelight 在重打光、几何重建和本质图分解三个任务上都展现出了显著优势。

在重打光任务中，GeoRelight 在合成数据集上的 PSNR 达到了 27.22，远超之前的 SOTA 方法 IC-Light (18.49) 和 NeuralGaffer (18.84)。

从视觉效果上看，它生成的阴影和高光非常自然，完全没有传统方法常见的色偏或伪影。

在几何重建方面，GeoRelight 甚至击败了专门做几何估计的模型如 VGGT 和 MoGe2。它的倒角距离（Chamfer Distance, CD）指标仅为 0.766，而 MoGe2 为 3.54。这意味着联合建模确实让几何估计变得更精准了。

更有趣的是消融实验的结论（见下图）：

• 没有几何，重打光会变差：模型会失去处理复杂阴影和褶皱的能力。

• 有了重打光，几何会变强：利用新光照下的阴影线索，模型能补全原本模糊的几何细节，实现“由明暗求形状”。

研究还发现，加入自然场景数据（ITW）能有效纠正光场数据带来的“光照偏差”，让生成的画面亮度更均衡。

进阶探索：视频重打光的潜力

虽然 GeoRelight 主要是为单图设计的，但由于它底层是视频 DiT 架构，作者在补充材料中展示了其扩展到视频领域的潜力。通过将 2D RoPE 替换为 3D RoPE，模型可以在处理多模态的同时保持时间上的一致性。

目前单次推理在 A100 上需要约 35 秒，离实时交互还有一段路要走。这也许是未来的研究方向。

写在最后

GeoRelight 的成功再次证明了“联合学习”在处理复杂物理现象时的优越性。它不再把重打光看作简单的图像处理，而是深刻理解了背后的 3D 结构。

这种将几何先验融入扩散模型的设计思路，不仅提升了重打光的上限，也为 3D 重建提供了一个全新的视角。它生成的 3D 几何和光影的一致性，为未来的高质量数字人生成、虚拟试衣等场景打下了坚实的基础。

本文介绍一篇相对小众的研究方向的论文，同时也是一篇CVPR 26 的 Oral。

在增强现实（AR）、自动驾驶和机器人导航的背后，视觉定位（Visual Localization, VL）扮演着“眼睛”的角色。为了减轻终端设备的负担，现在的主流方案是将图像或特征点发送到云端服务器进行位姿计算。然而，这也带来了一个细思极恐的问题：如果这些数据在传输中被拦截，攻击者是否能通过这些稀疏的特征点还原出你家里的私人场景？

最近，来自韩国汉阳大学的研究团队在隐私保护图像查询（Privacy-Preserving Image Queries, PPIQ）领域取得了重要突破。他们提出了一种名为 Dual Convergent Lines (DCL) 的新型几何混淆方法。其核心思想非常精妙：它不再像以前的方法那样随机丢弃信息，而是通过预设的两个“锚点”将关键点位置引向错误的路径。作者巧妙地利用了数学上的病态优化问题，让攻击者的恢复算法要么陷入“原地打转”的平凡解，要么陷入“失之毫厘，谬以千里”的不稳定解，从而在保证定位精度的同时，彻底封死了图像反演攻击的后路。

• 论文地址: https://arxiv.org/abs/2604.22310

• 录用会议: CVPR 2026 oral

背景与动机：脆弱的“随机直线”

为了保护隐私，最经典的做法是“随机直线混淆（Random Lines）”。简单来说，就是不发送关键点的具体坐标 ，而是发送一条经过该点的随机方向直线。服务器利用这些直线与 3D 地图进行匹配，依然能算出相机六自由度（6-Degrees of Freedom, 6-DoF）位姿。

听起来很完美，对吧？但 Chelani 等人在近期的研究中给这个方案泼了一盆冷水。攻击者发现，虽然单条直线是混淆的，但如果你看一群邻近的直线，它们的交点往往就是原始关键点的位置。通过一种“几何恢复攻击”，攻击者可以轻松找回这些丢失的坐标，进而通过反演网络重建出高清的 RGB 图像。

如上图所示，传统的随机直线方案在攻击下几乎“原形毕露”，而 DCL 处理后的结果则让攻击者无从下手。目前市面上的隐私保护方案各有优劣，如下表所示，DCL 在隐私鲁棒性、地图维护成本和实时性之间找到了更优的平衡点。

方法详解：DCL 的“移魂大法”

汉阳大学的研究者们意识到，要真正保护隐私，不能靠随机，而要靠“误导”。

1. 构造流程：空间分割与锚点锁定

DCL 的构造过程（算法输入为原始关键点，输出为混淆后的直线）：

• 空间划分：首先将图像沿中线垂直分为左右两个区域  和 。

• 锚点设置：在图像中线的顶部和底部分别设置两个固定锚点  和 。

• 直线提升（Line Lifting）：对于左侧区域  的关键点 ，将其与顶部锚点  连线；对于右侧区域  的关键点，则与底部锚点  连线。

• 移除原始点：最后只发送这些直线方程和对应的描述子，原始坐标被彻底抹除。

2. 为什么攻击者会“抓狂”？

DCL 专门设计了两种失效模式来对抗几何恢复攻击。攻击者的核心目标是寻找一个点 ，使其到邻域内所有混淆直线  的距离平方和最小。

• 模式 1：锚点内收敛（Intra-anchor convergence）：如果一个关键点周围的邻居都在同一个区域，那么所有直线都交于同一个锚点。优化算法会发现，在锚点处的代价函数为 0。于是，算法会给出一个“平凡解”——认为关键点就在锚点上（如图 3c）。

• 模式 2：锚点间不稳定性（Inter-anchor instability）：如果关键点在边界附近，它的邻居可能跨越了中线。这时，来自两个不同锚点的直线在中线附近几乎是平行的。

作者在论文中给出了严谨的数学证明。恢复点的参数  实际上是邻域交点参数  的加权平均：

而权重  的定义如下：

其中  是两条直线的夹角。当直线趋于平行时，夹角接近 0，权重  趋于零，导致分母极小，计算结果在数值上彻底崩溃，产生巨大的方差。