VMAO

验证式多智能体编排：计划-执行-验证-重规划

Xing Zhang 等 · AWS 生成式 AI 创新中心 & 汇丰银行 · ICLR 2026 Workshop · arXiv 2603.11445

arXiv 2603.11445 · 投稿 2026-03 · ICLR 2026 Workshop · 中文版收录 2026-09-03

PDF arXiv GitHub 目录

CITE

别让模型自说自话——给它一个会验收的同事。
— 本站导读

VMAO 把「验证」从单个 agent 的自省提升为编排层的一等协调信号：先把复杂问题拆成子问题 DAG 并行执行，再由独立的大模型检查员评估结果完整性，发现缺口就自动重规划补漏，直到满足可配置的停止条件才合成最终答案。

解决什么问题

市场研究这类真实场景需要从异构信息源（内部数据库、财报、新闻、竞品报告）收集数据，动用金融、运营、竞争分析等多种专长，再交叉引用并解决矛盾——传统人工研究需要 2–4 周。多智能体系统理论上可以加速，但现有框架有三大缺口：

缺乏结构化分解：辩论式、角色扮演式框架能提升推理质量，但没有把任务显式拆解，也没有机制确认「问题是否答完整了」。
缺乏有原则的质量验证：AutoGen、MetaGPT 等提供灵活交互，但输出是否可靠仍需人盯着，无法满足生产环境「无人值守也要可靠」的要求。
缺乏「何时停止」的机制：多轮迭代何时收敛、何时合成最终答案，没有显式的质量-成本权衡手段。

此前 Self-Refine、Reflexion 等自我改进方法都作用在单条回复层面；缺的是编排层验证——评估多个 agent 的集体结果是否充分回答了原始查询，并在发现缺口时触发针对性重规划。

创新点

01DAG 分解 + 依赖感知并行执行

QueryPlanner 把复杂查询拆成带字段（agent 类型 / 依赖 / 优先级 / 上下文继承 / 验证标准）的子问题 DAG；DAGExecutor 迭代挑出「依赖已满足」的子问题按优先级并行执行（默认并发 3），依赖子问题自动把上游结果注入提示词。每个执行带 600 秒超时与工具调用限额。

02验证驱动的自适应重规划CORE

独立 LLM 验证器（刻意用与执行模型不同的更强模型，降低自我评估偏差）对每条结果给出状态、完整性分数、缺失方面、矛盾点与处置建议。发现缺口时自动重试低分子问题——保留并合并先前结果，渐进精化不返工——或新增子问题补漏。验证器与单个 agent 实现解耦，成为编排层的通用协调信号。

03五种可配置停止条件

完整性阈值（80% 子问题已答）、高置信提前停、收益递减（提升 < 5%）、token 预算（100 万）、最大迭代轮数（3 轮），任一满足即进入合成；结果集过大时按 agent 类型分组浓缩再整合，保证带引用的最终答案。

关键结果

实现基于 LangGraph + AWS Bedrock，执行用 Claude Sonnet 4.5、验证用 Opus 4.5，agent 经 MCP 访问 8 个微服务共 42 个工具。在 25 个专家策划的市场研究查询上对比（评分 1–5，LLM 评 + 人工复核）：

答案完整性

3.1

单 Agent

3.5

静态流水线

4.2

VMAO

来源质量

2.6

单 Agent

3.2

静态流水线

4.1

VMAO

完整性 +35%、来源质量 +58%；开放式战略查询提升最大（+53%）——验证重规划最有价值的场景，正是「查询空间难以预先完整刻画」的场景。
反直觉发现：大多数重规划动作是重试不完整的子问题而非新增——执行方差（工具失败、检索不足）比初始分解不当是更大的缺口来源。
代价是 8.5 倍 token（850K vs 100K），作者认为由质量提升合理化，且所有阈值可调。

局限

验证器评估的是完整性而非准确性：能确认「论断存在且有来源」，无法独立核实真伪；子问题问歪时可能接受来源可靠但不相关的答案。
评测集仅 25 个查询；评审与执行模型同属 Claude 家族；静态流水线基线把验证与重规划捆绑测试，缺少组件级消融。