VL-LN Bench：模拟「边走边问找具体目标」的真实导航场景

如果将一台在视觉语言导航（VLN）任务中表现优异的机器人直接搬进家庭场景，往往会遇到不少实际问题。

首先是使用门槛偏高：传统 VLN 需要用户给出又长又精确的路线式指令，例如 “从门口直走三步，看到门右转，再往前……”，这会显著增加沟通成本，降低日常使用体验。

相比之下，人们更期待一种更自然的交互方式，比如只用随口一句 “找到我的背包” 即可。这样的设定更接近目标物体导航（ObjectNav）任务，但它也存在明显不足：机器人只会找到场景内任意一个背包交差，而无法定位用户真正需要的书包，这显然无法满足需求。

正因为真实场景里用户的表达常常简短且含糊，而机器人又必须把目标精确落实到某一个具体实例上，交互式实例导航才显得格外关键。机器人既不能指望用户一开始就把所有信息交代清楚，也不能用 “找到同类就算完成” 的方式草草应付；相反，它应在探索过程中主动提问、逐步澄清歧义，像人一样把 “到底是哪一个” 问明白，再高效准确地完成用户的需求。

交互式实例导航示例：用户要求机器人找到场景中某一张凳子（绿框），但存在大量相似干扰项（红框），因此机器人需在探索中结合观察主动提问，逐步缩小候选范围，直到锁定目标。

构建 VL-LN 基准：

面向 IIGN 任务的自动化数据收集及评测

语言交互是人们日常交互最常见的形式之一，具身智能体要更好地融入人类生活也需要具有进行这种高效的信息交流形式的能力。不同于传统 VLN 仅仅聚焦 “导航动作（Navigation）执行得好不好”，VL-LN 还关注机器人能否在导航过程中与人类进行高效的语言交互（Language+Navigation）来提升任务的成功率与效率。

为此，VL-LN 面向交互式实例导航任务构建了一套自动化数据收集管线，并依托 InternVLA-N1 标准化模型训练与评测。

自动化数据收集管线

交互式实例导航数据收集流程

数据收集包含三个步骤，作者首先整理了场景元数据，进而生成能用于在线采样的序列（episode）数据，最后在规则驱动的交互机制下批量采集交互导航训练轨迹（trajectory），具体内容包括：

场景元数据处理：基于 MMScan 对 MP3D 场景的标注信息，将按房间分散的物体信息整合成全屋级的元数据，主要包括两个字典：目标实例字典（instance dictionary，存储每个物体的空间关系、属性等基本信息）和区域字典（region dictionary，存储房间的位置、物体等信息）

序列生成：每个有效序列由起始位姿、导航指令、目标实例的可停止视点三个主要信息组成。针对每一个目标实例作者均提供两个版本的导航指令。一种导航指令只有目标实例的类别（Partial instruction，用于交互式实例导航任务，必须靠对话消歧），另一种导航指令是能在场景内唯一锁定目标实例的完整描述（Full instruction，可用于评测训练非交互的任务）。可停止视点（view point）指机器人在导航过程中可以合法停止并判定 “已找到目标” 的一组视点位置。

交互导航轨迹采集：该阶段主要采用一个集成了基于边界点的探索算法（Frontier-Based Exploration）与目标实例分割器的智能体。在数据采集过程中，智能体除探索未知区域外，还会按规则主动提出三类问题：属性（目标实例长什么样？）、路线（如何到达目标？）和目标消歧（是否为眼前的实例？），从而生成相应的交互式导航轨迹。

通过该流程，作者构建了大规模交互式实例导航数据以支撑模型训练。下图给出了数据的总体统计。作为首个大规模交互式实例导航数据集，其主要优势在于：

• 规模：40k导航序列，相比现有交互导航数据集（约7k）提升一个量级
• 多样性：覆盖150+物体类别与3类问答（属性 / 位置 / 消歧），自由组合形成丰富训练样本；
• 难度覆盖：包含长时程轨迹（steps > 300）与多轮对话样本（dialog turns > 5），覆盖复杂困难场景。

第一行分别展示了每条轨迹的路径步数、对话轮数和每轮对话长度的频率直方图；第二行展示了问题类型与目标类型的统计结果，以及对话中高频词的词云图。

NPC 支撑的自动化在线评测基准

为了评测智能体完成交互式实例导航（IIGN）的能力，并与非交互式实例导航（IGN）进行对比，VL-LN 基准提供了可用于测试两类任务的测试集。针对交互式实例导航的自动化评测，VL-LN 还实现了一个由 GPT-4o 驱动的 NPC，它能够回答智能体在导航过程中提出的问题。此外，为了评估智能体提问效率，VL-LN 定义新的指标 MSP（Mean Success Progress），用于衡量主动对话带来的增益。

从结果到原因：

交互式实例导航的能力与挑战

通过使用不同的数据对 Qwen2.5-VL-7B-Instruct 进行微调，作者训练了三个模型。具体训练所使用的数据如下：

• VLLN-O (object)：VLN + ObjectNav 轨迹数据
• VLLN-I (instance)：VLN + ObjectNav + IGN 轨迹数据
• VLLN-D (dialog)：VLN + ObjectNav + IIGN 轨迹数据（论文的核心模型）

评测同时覆盖两类任务：

• IIGN（交互式实例导航）：允许提问（对话轮数限制在 5 轮）
• IGN（实例导航）：不允许对话，但提供足以唯一锁定目标实例的全量指令

实验结果如下表所示