Qwen-Planner-Agent 技术报告解读：面向移动规划的闭环 AI-for-AI 框架

一、报告与它要解决的问题

2026 年 9 月，MAI Team 与 Alibaba Token Hub（Alibaba Group）发布技术报告《Qwen-Planner-Agent: A Closed-Loop AI-for-AI Framework for Real-World Mobile Planner Agents》（arXiv:2609.29892，v1 于 2026 年 9 月 24 日提交，署名作者 26 人）。报告给出的是一套让 AI 参与自身研发流程的闭环开发框架，以移动规划作为验证场景。

官方项目站点为 tongyi-mai.github.io/Qwen-Planner-Agent，配套的 GitHub 仓库只承载博客与技术报告站点，README 明示不包含模型权重、训练代码或 Agent 实现。本文依据该报告与其中文翻译整理稿写成。

移动规划的困难来自任务本身。完成一个高层用户目标，通常要跨应用协调动作、在状态变化中保持上下文、从失败中恢复，并验证目标结果确实达成。发展这些能力需要多样的交互数据、有效的策略学习与适合变化任务的运行时支持，而真机交互成本高、并行度低、重置困难，直接限制了开发与评估的规模。报告把这一矛盾放在 AI-for-AI 视角下处理，AI 既是被开发的对象，也参与开发过程，问题在于如何把这些能力组织成可扩展、反馈驱动的开发生命周期。报告的引言上溯到 Turing 1950 年关于“儿童机”的设想。Good 1965 年论述了超智能机器可以设计更好的机器；公开文献中较早的系统化表述是 AI-GAs（arXiv:1905.10985），近年 ML-Master（arXiv:2506.16499）等工作也以 AI-for-AI 的字面用法讨论自动研究流程。

移动智能体方向已有若干可对照的坐标。AppAgent（arXiv:2312.13771）学习应用交互知识；Mobile-Agent（arXiv:2401.16158，后续 v3 arXiv:2508.15144、v3.5 arXiv:2602.16855）把高层请求转成具体的应用操作。

AutoGLM（arXiv:2411.00820）面向 GUI 场景的设备控制；AndroidWorld（arXiv:2405.14573）提供可执行的移动任务环境；DigiRL（arXiv:2406.11896）把离线初始化与在线 Android 交互结合。报告处理的是其中的规划与运行时支撑部分，不涉及新的屏幕定位架构。

报告区分了两个名称。Qwen-Planner-Model 指训练完成、不带部署时 Harness 的规划器；Qwen-Planner-Agent 指带 Harness 支持的完整系统。规划器基于 Qwen 骨干模型开发，有 35B-A3B 与 27B 两个规模。报告自述的贡献包括通过移动规划智能体的开发给出闭环 AI-for-AI 的实践、统一的模型-Harness 系统，以及性能、泛化与效率上的结果。

本文图注沿用中译整理稿与官方报告的图号对应关系。该中译稿未附参考文献，引用编号无法在稿内校验，图号也是整理者自编；生命周期图（图 1）的编号已在官方项目站点交叉印证，其余图号未逐张核验，正式引用时以 arXiv 版报告为准。

二、闭环框架：三个阶段如何衔接

数据生产、模型训练与部署共用一套“动作-反馈-验证”契约。交互发生在部分可观测环境中，Harness 把用户请求、检索到的记忆、已加载技能与动作-观测历史组装成模型上下文；策略从结构化动作集中选择动作，动作涵盖类型化工具调用、记忆访问与更新、技能选择与加载、澄清或拒绝，以及任务完成声明；环境执行动作并返回结构化反馈，如工具结果、状态变化或执行错误；任务特定验证器依据交互历史与执行证据判断完成情况，其掌握的证据不必暴露给策略。任务完成、请求澄清、拒绝不安全请求或预算耗尽都会终止一次交互。

图 1 AI-for-AI 的生命周期，三个阶段相互衔接（原报告 Figure 2）

AI for Data 把能力需求转成可执行任务，自动收集与整理交互轨迹，训练反馈与开发集反馈反过来指导下一轮任务生成与采样调整。AI for Training 先以有监督的规划冷启动建立初始策略，再在混合环境中做在线智能体强化学习，其中 CARE 依据组能力调整奖励构成与优势缩放。AI for Harness 为规划模型配备技能、持久记忆与执行反馈，把部署轨迹与开发集反馈用于失败诊断，推动数据、模型和 Harness 的候选修改。反馈跨三个阶段流动，诊断出的失败指向新的任务构造与数据采样，模型行为更新提示 Harness 修订，修订后的 Harness 指令又塑造下一轮训练所用的上下文与轨迹。

治理安排在框架中是硬约束。中间评估使用留出开发集而非最终基准，开发任务及其轨迹不进入训练；数据发布与更新提案要经人工审查；模型与 Harness 的离线更新经验证并版本化；服务期间模型参数保持固定，模糊或影响发布的决策保留人工审查。这些限制也是评测部分把“模型-Harness”作为整体考察的原因。

报告在相关工作部分把数据生产、评估驱动的产物优化、奖励生成和 Harness 优化等方向与自己的做法对照，差别在于把这些环节放进同一个循环，并让 Harness 修订与模型训练互为条件。

三、数据与训练：环境、数据与 CARE

混合环境下的三种后端

程序化沙箱、LLM 模拟环境与真机三个后端在可扩展性、场景覆盖与执行保真度之间各有取舍。沙箱在结构化应用数据库上执行预定义程序逻辑，状态转移确定、任务可重置、验证基于状态，适合有显式完成条件的重复任务，覆盖范围限于已实现的工具与转移；LLM 模拟环境用语言模型生成长尾交互响应，不必逐场景编程，响应却可能与先前动作或环境状态不一致，轨迹需要任务特定验证；真机会话在真实设备上运行，能捕获 OS 权限、认证服务、跨应用依赖与运行时变化的影响，成本高、并行度低、重置困难。环境分配先使用模拟交互，保真度不足时才安排真机。

三类后端通过统一接口暴露类型化动作、结构化响应与任务特定完成标准，交互记录保留执行错误、可观测状态变化与验证结果，沙箱任务、模拟移动任务与真机交互因此都能进入同一数据整理与训练流水线；报告不假设模拟与真机反馈具有相同可靠性。训练层与环境管理层相互分离，前者协调分布式 rollout 生成、模型更新与资源调度，后者管理环境实例与真机会话的生命周期，模型计算与环境容量可以独立管理。训练系统构建在 ROLL 之上，Megatron-Core 承担策略训练，vLLM 提供 rollout 推理，Ray 协调集群资源；训练与 rollout 在独立的 GPU 组上异步运行，环境验证与轨迹检查决定哪些记录可以进入训练。

AI for Data：任务构造、轨迹收集与整理

任务构造智能体把目标能力转成可执行任务规格，每份规格包含用户目标、可用资源、初始条件、目标能力与完成标准；规格只定义必须完成什么，不预设单一参考轨迹，不同有效计划都能满足同一目标。构造同时考虑场景覆盖与能力覆盖，前者涵盖应用领域、工具、用户意图与交互模式，后者针对信息获取、工具路由、参数填充、多步依赖处理、状态跟踪、恢复与已验证完成。这一区分用于引入新的行为要求，而不是增加熟悉场景的样本数量。

图 2 AI-for-Data 工作流：任务构造、轨迹收集与整理，开发集反馈指导下一轮任务生成与采样调整，每次发布前经人工审查（原报告 Figure 3）

轨迹收集由自动化 rollout 完成，记录所选动作、环境反馈、中间结果、执行错误、重试、恢复尝试、完成证据与最终结果；任务在与其交互需求匹配的后端中执行，通用智能体任务使用可执行服务环境，编码任务使用仓库与代码执行环境。成功轨迹为规划、工具使用与任务收尾提供候选监督，失败与不完整轨迹同样保留，供诊断检查执行在哪里分叉、是否尝试过恢复。整理阶段把两项判断分开，环境验证器判断完成标准是否满足，整理工作流检查记录是否适合学习，包括规范化异构轨迹、去重、schema 一致性与执行证据核对；保留记录按能力打标并关联失败归因，低置信度、冲突、安全敏感或证据不足的案例进入人工审查，由人工批准、修正、拒绝或隔离。

整理后的数据分为移动与非移动两组。移动数据是训练核心，覆盖跨应用规划、工具执行、状态跟踪、记忆、技能、子代理协调与恢复等能力；非移动数据包括通用智能体轨迹、编码任务、推理与指令遵循样本，其中通用智能体轨迹在 MCP 服务器一类服务上练习结构化工具使用与多轮规划。采样权重按能力、难度与来源配置，不按原始语料规模等比例采样。随着规划器能力提升，数据构成由反馈持续修订，稳定掌握的任务降低采样权重并保留小规模保存集，完成情况不稳定的任务获得更大权重，工具路由、参数填充、状态跟踪、恢复或过早终止类的失败进入定向修复集。能力层面把 Tool Use、Memory、Skills 与子代理的留出开发集结果与轨迹失败分布结合，区分重复缺口与孤立错误，覆盖不足时由任务构造智能体生成带目标能力与难度要求的新任务。任务增删、采样调整、修复与隔离都以提案形式记录，审查通过后才冻结为下一训练轮的版本。

AI for Training：冷启动与在线强化学习

训练流水线从规划冷启动开始，用整理后的数据做有监督微调，让策略学习任务分解、动作排序、工具使用、基于状态的重新规划与恢复；训练优先使用已验证的移动轨迹，并按采样权重纳入非移动数据，以保留通用推理与指令遵循。冷启动在轮次级别做错误检测与损失掩码，被标记为错误的模型动作轮次不计入交叉熵损失，执行反馈保留在上下文中，已验证的恢复轮次照常受监督。

图 3 Planner Model 的训练框架：带轮次级错误检测与损失掩码的冷启动有监督微调，以及程序化沙箱、LLM 模拟与选定真机混合环境中的在线强化学习，RL 阶段由 CARE 按轨迹组能力选择奖励机制（原报告 Figure 4）

在线强化学习接着冷启动进行。整理得到的示范建立了执行模式，但覆盖不了策略演进中遇到的全部交互状态和失败模式，在线 rollout 让规划器在自身策略相关的分布中训练，由验证器反馈改进任务完成情况与鲁棒性。这一步在程序化沙箱、LLM 模拟环境与选定真机会话组成的混合环境中执行，也是 CARE 生效的场景。

能力自适应的奖励与优势工程（CARE）

CARE 按轨迹组的能力水平调整奖励构成与优势缩放。对每个任务，用 rollout 行为策略采样一组 G 条轨迹，任务特定的规则验证器或按评分细则引导的生成式奖励模型给出二值成功指示，组成功率同时用于奖励调度与优势校准。报告定义三种依赖能力的奖励机制：成功率低于下阈值的组使用进度塑形，在结果奖励之外加入度量已验证进度的辅助项；成功率处在两个阈值之间的组使用结果巩固，只保留结果奖励；成功率高于上阈值的组进入效率精炼，按归一化执行成本施加惩罚。同一训练批次中，不同组可以同时处于不同机制。阈值与奖励权重由一个有界的 LLM 控制器每隔 N 个策略更新步配置一次，输入是近期 on-policy 训练统计量与留出开发集性能，配置在接下来的 N 步内保持固定。报告给出的理由是，固定奖励难以匹配不同能力水平的轨迹组，成功稀疏的组需要进度信号，成功饱和的组才适合转向效率。

GRPO 风格的优势计算把奖励中心化并除以组内标准差，使有非零奖励变化的组大致落在单位优势尺度上。报告分析指出，组内全部成功时成功方差及其与成本的相关性归零，标准化优势近似退化为成本的组内偏差除以标准差，效率权重被抵消；即使权重取 0.1 这样的小值，成功饱和组的优势仍大致保持单位尺度。这会削弱对任务成功的强调，还可能鼓励过度压缩轨迹。报告的做法是保留组合奖励，在归一化分母上加入由成功率导出的下界，取效率精炼阈值的二值成功率标准差，抑制效率精炼区间对微小差异的放大，同时保留各奖励分量的相对权重。报告说明了为何不采用按分量归一化的方案（如 GDPO），用分量自身的组内标准差缩放会改变该分量在原始奖励空间中的有效权重，也可能改变组合奖励下的轨迹排序。

CARE 这一名称在公开资料中没有对应的既有工作。报告把方法全称写作 Competence-Aware Reward-and-Advantage Engineering；另有同名工作（arXiv:2606.19927）讨论的是另一问题，截至 2026 年 10 月未见同名方法；组归一化方向的相近改进见 GDPO（arXiv:2601.05242）。本文 CARE 相关表述以报告为准。

AI for Harness：运行时支撑与共同演化

部署时，Harness 位于规划模型与执行环境之间，负责组装活动上下文并把模型连接到外部执行器。请求到达后，上下文由对话历史、当前工具规范、场景适配指导、持久记忆证据与运行时约束组成；规划模型产生结构化动作，独立的 Executor 把动作应用到应用或设备并返回工具结果或执行错误；完成经验证、需要澄清或触发安全与预算条件时，规划停止。规划模型负责解释请求、分解任务、选择动作与重新规划，Executor 是唯一修改应用或设备状态的一方，可泛化的规划行为保留在模型参数中，部署特定的信息不写进参数，在参数之外变化。

Skills 与 Memory 提供互补的部署时上下文。技能描述如何使用可用资源，包括工具依赖与多轮交互要求；记忆提供已知事实与既往情况的证据，包括用户偏好、过往事件、既定决策与待处理意图。Scenario Adapter 在不改模型参数的前提下处理工具清单变化，离线把工具 schema、工具到技能映射与路由说明编译为带版本的配置，请求时按已暴露的工具过滤指引，移除依赖不可用资源的条目；它不发现额外工具，也不执行动作。持久记忆按功能分为紧凑用户模型、情景记录、整理后的长期记忆、前瞻记忆与复审记录五类，具有不同的访问与信任边界。

记忆遵循由捕获、验证、索引、检索、整合与修订组成的受控生命周期。每条记忆把结构化摘要连接到来源元数据与原始证据，便于检索与直接校验；候选更新在检查来源、信任度、时效性与冲突之后才能成为权威记忆，新证据改变既有事实时显式取代过时条目；召回过的材料会打上标签，避免作为新证据再次摄取。检索结合语义与关键词匹配，并控制相关性、时效性、重要性与多样性；检索到的记忆只作为证据提供给规划模型，不具备执行权限，也不能更改外部状态。

隐私方面，系统把私有用户记忆与共享 Agent 经验分开，进入共享记忆前删除或脱敏用户特定信息。报告说明，当前实现的访问控制使用服务级认证令牌与独立管理员凭证，用户级访问控制依赖可信上游服务，多用户部署还应额外验证调用者身份与记忆属主，并让检查同时覆盖直接访问与语义检索。

部署轨迹来自每一次运行时交互，记录工具与技能配置、模型动作、执行错误、验证结果，以及检索到的记忆及其来源。积累的轨迹与开发集反馈用于离线诊断，模型侧失败覆盖任务分解、路由、参数填充、状态跟踪与恢复，Harness 侧失败覆盖技能指导冲突、不当工具暴露、检索错误与过时记忆。两类诊断进入不同更新路径，模型侧证据指导后续任务构造与数据修复，Harness 侧证据推动工具到技能映射、流程指导、记忆策略与检索机制的候选修改；候选修改先通过规则检查与版本控制，低置信度或影响发布的决策送交人工审查，不会自主应用到服务系统。模型更新改变 Harness 观察到的行为，Harness 更新改变模型遇到的上下文、资源与动作空间，二者互为条件；报告把这种交替更新描述为一条开发路径，并明确没有宣称系统已实现持续自主共同演化。

四、评测结果与 token 效率

评测围绕 35B-A3B 与 27B 两个规模展开；输出成本在报告中与性能并列考察。

CARE 的训练动态与输出 token 效率

使用主比较中的 27B 基线，报告在相同训练设置下跨四个训练环境比较 Vanilla RL、完整 CARE 与不带质量保持优势校准的 CARE。图 4 左图报告平均训练精度，右图报告平均输出 token 长度。完整 CARE 的平均训练精度与 Vanilla RL 相当，在最后一次共同绘制的训练步把输出长度减少 32.5%。去掉优势校准时输出变得更短，但训练精度在绘制区间内明显更低。报告把这一模式归因于前述归一化效应。

图 4 CARE 与优势校准的训练动态：相同训练设置下，完整 CARE 的精度与 Vanilla RL 相当，在最后绘制的训练步使用少 32.5% 的输出 token（原报告 Figure 6）

MobilePA-Bench 主结果与估计输出成本

MobilePA-Bench 是报告使用的端到端移动规划基准，包含 1,700 多个可执行任务、200 多个移动工具与 13 个查询-任务领域，任务从受控初始状态开始，完成情况由工具调用、终端状态变化或 Agent 行为验证。该基准另有独立论文（arXiv:2608.23035），但由同一团队发布，未查到第三方采用的记录。最终评测独立于 AI-for-AI 循环中的开发评估。

图 5 Qwen-Planner-Agent 在 MobilePA-Bench 上的 Overall 分数与估计输出成本（含 thinking tokens）对比（原报告 Figure 1）

表 1：MobilePA-Bench 上的跨模型与系统比较。加粗表示每列观察到的最高分；对比成绩均为报告自报，未见第三方复现。

两个规模的完整系统都优于各自基线，27B 的 Overall 从 67.22% 提高到 77.05%，35B-A3B 从 54.90% 提高到 69.91%。单项能力的分布并不均匀，27B 在 Tool Use、Memory、Skills 与 Sub-agent 相对基线均有提升，Tool Use 达到全表最高的 77.79%；但 Skills 一列的最高分属于 GPT 6 Astra 的 93.25%，Memory 与 Sub-agent 的最高分属于 Claude Fable 5（76.33% 与 68.54%），Overall 最高与单项最高并不落在同一模型上。

成本方面，Qwen-Planner-Agent 在成本对比中取得最高 Overall 与最低估计输出成本，估计值为每 1,000 个任务 2.41 美元，其他被评估模型为 3.06 至 67.76 美元。成本按每任务平均输出 token（含思考 token）与对应费率估算，仅覆盖输出 token 费用，不包括输入 token、外部工具费用、设备执行与额外的 Harness 处理，结论只在报告所评估的定价假设下成立。

Harness 的贡献与跨迭代共同演化

消融研究把 Harness 的贡献与模型参数变化分开考察。固定 27B 检查点后，加上 Harness 使 Overall 从 71.90% 提高到 77.05%（其余指标见表 1）；35B-A3B 检查点上的 Sub-agent 保持在 52.81%。

共同演化的实验使用另一个 27B 基线检查点，在 MobilePA-Internal 与 MCPMark 上进行。MobilePA-Internal 是报告构建的内部评估集，覆盖 Tool Use、Long Context 与 Personalized Planning 三类任务；MCPMark（arXiv:2509.24002）是跨五个领域的通用工具使用基准，用于检验框架在移动任务之外的表现。

图 6 MobilePA-Internal 上跨四次迭代（v1-v4）的模型-Harness 共同演化，Base 表示仅模型基线（原报告 Figure 7）

表 2：MobilePA-Internal 与 MCPMark 上的性能比较。模型-Harness 共同演化在两个基准上分别比仅模型基线高 5.83 与 8.98 个百分点；数据为报告自报。

两个基准上，只加 Harness 都能提高 Overall；模型-Harness 共同演化在此基础上继续提高，其中 MobilePA-Internal 经四次迭代、MCPMark 经三次迭代。报告据此认为共同演化的收益超过 Harness 单独带来的收益，结论同时覆盖移动 Agent 任务与通用工具使用任务。

长历史记忆评估

长历史记忆评估检验持久记忆在证据超出活动上下文时是否有效。无 Harness 时，问题与交互历史直接放入模型上下文，按 1M 或 256K 预算分组，超出预算则截断最早的历史；有 Harness 时，持久记忆管理器处理完整历史，为当前任务检索紧凑证据集。每个匹配对使用相同的规划器检查点。评测按 Mem0 的协议（arXiv:2504.19413）进行，LoCoMo 与 LongMemEval（arXiv:2410.10813）用 LLM 做二元判分并报告准确率，BEAM 报告量表平均分。

直接上下文推理在较短历史上保持较高水平，但随历史增长而下降；在 BEAM-1M 及更短历史中，Claude Opus 5 取得最强的直接上下文结果，而在截断协议下，直接上下文模型在 BEAM-10M 上均未超过 25.64。在匹配对比中，Harness 在 BEAM-500K、BEAM-1M 与 BEAM-10M 上改善了每一项结果，四组模型的平均分分别从 42.18% 提高到 68.29%、从 40.41% 提高到 70.27%、从 23.42% 提高到 61.66%。27B 上 Qwen-Planner-Agent 平均分 80.01%，与同规模基线加 Harness 的 79.94% 基本持平。

表 3：带或不带 Memory Harness 的长历史记忆评估。摘录自报告表 3 的若干行；† 为外部报告的 Mem0 官方结果，仅作参考，其余行均为报告自报。

通用能力与定性证据

移动规划之外，报告在 Claw-Eval、BFCL-v4、MCP-Atlas、Tau-3、Toolathlon、SWE-Multilingual 与 SWE-Pro 七个智能体基准上比较仅规划器推理与对应 Qwen 基线。35B-A3B 变体在七个基准中的六个取得改进，27B 在五个取得改进，增益在不同基准间不均匀；MMLU-Redux、C-Eval 与 IFEval 上两组接近基线（35B-A3B 平均分 90.35 降至 89.92，27B 为 90.05 降至 89.70，均为报告自报）。

定性部分以执行轨迹作为机制证据。正文的六个案例覆盖持久记忆与实时状态的协调、从已验证状态恢复、技能前置条件、条件动作的执行顺序、工具失败后的替换恢复，以及跨子代理交接时保持依赖；附录另补六条轨迹，覆盖程序性依赖、有范围的设备与记忆修订、跨对话轮次的约束使用三类情形。

五、局限与可复用之处

成本口径同理，仅覆盖输出 token 费用。

合成数据递归训练存在模型自消耗与崩塌的风险（arXiv:2307.01850、arXiv:2305.17493），基准存在评测污染（arXiv:2310.10628、arXiv:2410.03249），奖励优化也留有被钻空子的空间（Reward hacking，arXiv:1606.06565、arXiv:2210.10760）。

三项都属方法层面的风险，报告的措施不足以消除它们：开发集隔离、人工审查门控与版本冻结分割的是开发循环与评测，公开基准上的污染不因此消除；“只离线更新”与“记忆只作证据”收窄自动改动的范围，奖励可被利用的空间仍在；数据自消耗与崩塌没有对应措施。

工程层面的限制是另一类：真机会话成本高、并行度低、重置困难，环境分配以模拟优先、保真度不足才安排真机；用户级访问控制依赖可信上游服务，报告将其列为多用户部署需要额外验证的项。模型-Harness 共同演化也仍是报告描述的开发路径，并非已实现的持续自主过程。

动作-反馈-验证契约把不同后端与任务类型的经验接入同一套数据与训练流程，适合需要在真机、模拟与沙箱之间分配成本的团队；混合环境的分层策略（沙箱保证可复现、模拟覆盖长尾、真机保证保真度）给出了可操作的分配原则；以组成功率作为能力信号切换奖励机制、用成功率导出下界约束优势放大，可以移植到其他有可验证奖励的智能体训练；有界 LLM 控制器只在预定义参数空间内调参，比让模型自由改写奖励函数更可控；轨迹保留错误、重试与恢复的过程证据，让数据修复与失败诊断有据可依。这些设计对使用方也有要求，任务需要可验证的奖励。

参考资料

• Qwen-Planner-Agent 技术报告（MAI Team, Alibaba Token Hub, Alibaba Group，2026-09）：arXiv:2609.29892
• 项目官网：tongyi-mai.github.io/Qwen-Planner-Agent
• 项目 GitHub（博客与技术报告站点仓库）：github.com/Tongyi-MAI/Qwen-Planner-Agent
• MobilePA-Bench：arXiv:2608.23035
• AndroidWorld：arXiv:2405.14573
• Mobile-Agent：arXiv:2401.16158；Mobile-Agent-v3：arXiv:2508.15144；v3.5：arXiv:2602.16855
• AppAgent：arXiv:2312.13771
• AutoGLM：arXiv:2411.00820
• DigiRL：arXiv:2406.11896
• MCPMark：arXiv:2509.24002
• Mem0：arXiv:2504.19413
• LongMemEval：arXiv:2410.10813
• AI-GAs：arXiv:1905.10985
• ML-Master：arXiv:2506.16499
• GDPO：arXiv:2601.05242
• 模型自消耗与崩塌：arXiv:2307.01850、arXiv:2305.17493
• 评测污染：arXiv:2310.10628、arXiv:2410.03249
• Reward hacking：arXiv:1606.06565、arXiv:2210.10760