揭秘耶鲁大学让AI通过视觉回顾实现交互式推理的突破性方法

这项研究由耶鲁大学的Jiwan Chung、Junhyeok Kim、Siyeol Kim、首尔国立大学的Jaeyoung Lee以及耶鲁大学的Minsoo Kim和Youngjae Yu共同完成，于2025年5月24日发表在arXiv预印本平台上（arXiv:2505.18842v1）。

让我们先了解研究背景：AI看图的"目光不转睛"问题

想象一下，你正在解决一道几何题，题目包含一个三角形和内切圆。你不会只看一眼图形就立刻给出答案，对吗？你会反复查看图形——检查角平分线，确认切点，根据对称性或全等性调整你的推理。简而言之，人类在推理过程中会不断回顾视觉信息，发现新细节，完善之前的推断，更新对整个问题的理解。

然而，现在的多模态大语言模型（MLLMs）却做不到这一点。它们通常在推理开始时只看一眼图像，然后完全依靠内部记忆进行后续推理，就像一个学生被要求看一眼复杂的图表后就把它藏起来，然后回答一系列相关问题。这显然不符合人类自然的思考方式，也限制了这些模型在复杂视觉推理任务上的表现。

耶鲁大学和首尔国立大学的研究团队意识到这个问题，提出了一个简单而深刻的问题：

"如何让AI模型在推理过程中能够有效地回顾图像？"

研究团队的解决方案：v1系统——让AI能够"再看一眼"

为了解决这个问题，研究团队开发了名为"v1"的系统，这是一个轻量级的扩展模块，可以让多模态大语言模型在推理过程中有选择地回顾视觉输入。这就像给模型配了一双可以随时"指向并复制"图像区域的眼睛，使其能够在整个推理过程中动态地检索相关的图像区域。

想象一下这个系统的工作方式：当AI在解决一个几何问题时，它可能首先分析整个图形，然后当需要计算特定角度时，它会"指向"那个角，并将该区域的视觉信息复制到当前的思考过程中。这就像人类用手指指着图中的某个部分说"看这里"一样自然。

这种方法的巧妙之处在于它的简单性和通用性。v1不需要对现有的AI架构进行大规模改动，只需添加两个轻量级的线性层：一个用于"指向"（即决定看哪里），另一个用于"复制"（即提取相关的视觉信息）。这种设计使v1可以轻松集成到各种多模态大语言模型中，如LLaVA、Qwen-VL等。

研究团队如何训练v1系统

要让AI学会何时以及看哪里，研究团队需要大量带有视觉回顾标注的推理过程示例。为此，他们创建了名为"v1g"的数据集，包含30万个多模态推理路径，每条路径中的推理步骤都与图像中的特定区域相关联。

这个数据集的构建过程分为三个阶段：

首先，团队从预训练的多模态大语言模型中采样各种推理轨迹，涵盖不同的视觉推理任务。

其次，他们利用大语言模型（如Gemini-2.0-flash）对每条推理轨迹进行分析，识别出需要视觉参考的步骤，并将其重写为显式的视觉查询和检索步骤。比如，当模型在推理中提到"观察三角形ABC的角平分线"时，系统会将其转换为对三角形ABC区域的明确引用。

最后，研究团队将每个视觉引用与输入图像中的特定边界框相关联，使用了基于Qwen2.5-VL模型的视觉定位技术。这种技术不依赖于边界框生成接口，而是通过分析模型的注意力图来识别视觉焦点区域。

通过这三个步骤，研究团队成功地创建了一个大规模的、高质量的视觉定位推理数据集，为v1系统的训练提供了坚实的基础。

v1系统的具体工作原理：像人类一样"边看边想"

v1系统的核心创新在于它为多模态大语言模型添加了一种"指向和复制"机制。在技术上，这一机制扩展了模型的输出空间，使其不仅可以生成词汇表中的标记，还可以生成指向输入图像特定位置的指针。

在推理过程中，模型在每一步都会计算两种分布：一种是普通的词汇生成分布，决定下一个生成的词；另一种是指向分布，决定是否以及指向图像的哪个部分。如果模型选择指向图像的某个区域，那么该区域的视觉嵌入就会被复制并作为下一步的输入，使模型能够直接关注并重新解读该视觉信息。

这种机制使v1系统能够像人类一样在推理过程中动态地回顾和重新解释视觉信息，从而更好地处理需要细致视觉参考和多步推理的任务。

研究发现：视觉注意力在推理过程中会衰减

在开发v1系统之前，研究团队首先进行了一项重要的分析，探索现有模型在推理过程中的视觉注意力如何变化。他们使用RefCOCO数据集进行实验，该数据集的任务是生成唯一标识图像中特定区域的描述。

研究团队分析了TVC-7B模型在生成过程中的注意力权重，发现了两个关键现象：

首先，随着生成步骤的增加，模型对所有图像标记的总注意力逐渐减少，表明模型越来越依赖其内部记忆而非视觉输入。

其次，模型对任务相关区域的注意力相对于背景区域的比例也随时间减少。具体来说，在生成中期，所有层的注意力比例收敛到约0.8，表明对显著区域的注意力相对于背景减弱。

这些发现表明，虽然图像嵌入在整个解码过程中都是可用的，但模型缺乏一种显式机制来重新聚焦于关键的视觉区域。这正是v1系统试图解决的问题。

v1系统的实际表现：三项多模态数学推理基准测试

研究团队在三个知名的多模态数学推理基准上评估了v1系统的性能：MathVista、MathVision和MathVerse。这些基准测试了模型将视觉上下文整合到符号推理链中的能力。

实验结果令人印象深刻：v1系统在所有基准测试上都表现出色，超越了同等规模的现有模型，并接近了更大规模模型的能力。特别是在MathVision这个以复杂性和对多模态推理更高要求而著称的基准上，v1的性能提升尤为显著。

具体来说，7B参数规模的v1模型在MathVista上达到了68.6%的准确率，在MathVision mini上达到了34.5%的准确率，在MathVerse mini上达到了48.6%的准确率。这些成绩不仅超过了同样规模的通用和专门用于推理的多模态大语言模型，甚至接近了一些72B参数规模模型的表现。

研究团队还进行了消融研究，以隔离v1系统各个组件的贡献。实验表明，能够通过指向机制主动检索和纳入相关视觉标记是在复杂多模态推理任务上取得强大性能的关键。

案例分析：v1如何解决实际视觉推理问题

为了更直观地理解v1系统的工作方式，研究团队提供了几个定性分析案例。

以一个柱状图理解任务为例：问题是确定一个叫做"E"的糖果被学生选择的百分比。v1系统首先使用其指向机制精确定位对应于糖果E的柱子，然后基于总计数计算正确的百分比。相比之下，没有视觉回顾能力的基线模型错误地识别了最高的柱子，导致结果被高估。

在另一个涉及六边形路径寻找的任务中，v1系统通过关注选项中的结构差异，正确推理了空间连通性，而基线模型未能过滤无效候选项，给出了错误答案。

这些例子突显了主动视觉回顾通过指向如何实现比仅基于文本的思维链方法更精确、更可解释的推理。

v1如何利用指向的视觉区域

研究团队还分析了v1系统如何利用通过指向和复制机制检索的视觉区域。他们比较了在生成第一个复制标记后，对原始视觉标记和复制标记的注意力。

在早期和中间层（如第2层和第14层），复制注意力明显占主导地位，表明v1系统主动依赖检索的视觉内容进行基于地面的推理。相比之下，后期层（如第27层）中的注意力在输入和复制标记之间更为平衡，可能是为了促进规划和选择后续指向目标。

这种分析表明，v1系统能够有效地利用其指向和复制机制，在推理过程中主动关注和整合相关的视觉信息。

研究的局限性与未来发展方向

虽然v1系统在结构化多模态推理方面表现出色，但研究团队也认识到了几个局限性和未来的研究方向。

首先，v1目前主要在数学领域展示了其效果，将其扩展到其他领域——如科学图表、医学图像或视觉常识——将面临新的表示和监督挑战。这些领域通常缺乏结构化的推理轨迹，使数据收集变得更加困难。

其次，近期在推理时间缩放和对齐方面的工作显示了基于奖励的学习对推理的潜力。将这些方法纳入v1系统可能会使视觉检索策略更加灵活和高效，而无需密集的监督。

总结：视觉回顾对AI推理的重要性

这项研究展示了一个简单而深刻的洞察：多模态AI系统在推理过程中应该能够主动回顾视觉输入，就像人类一样。研究团队开发的v1系统通过一种轻量级的指向和复制机制实现了这一能力，使模型能够在推理过程中动态地检索和重新解释相关的视觉信息。

实验结果表明，这种能力显著提高了模型在多模态推理任务上的性能，特别是那些需要精确视觉定位和多步推理的任务。更重要的是，这种方法不需要对现有架构进行大规模修改，可以轻松集成到各种多模态大语言模型中。

这项研究为未来的多模态推理系统指明了一条有前途的道路：不仅要让AI系统能够"看到"，还要让它们能够在思考过程中"再看一眼"。就像人类在解决复杂问题时会反复参考视觉信息一样，这种能力对于构建更强大、更人性化的AI系统至关重要。

对于未来的研究，更多关注如何让AI系统不仅能够回顾视觉输入，还能够修改或生成新的视觉表示以支持更复杂的推理过程，将是一个有前途的方向。