MCPWorld — API、GUI、混合 Computer Use 的统一测试床
已复核 · 稳定内容MCPWorld 是一个面向 computer-use agents 的测试床，目标是同时评估 API agent、GUI agent，以及 API-GUI 混合 agent。
类比：只测 GUI agent，就像只看一个人会不会点屏幕；MCPWorld 想同时看他会不会点屏幕、会不会直接调用后台接口，以及什么时候该从屏幕切到接口。
论文的核心设计是 white-box apps：使用可拿到源码、可重新编译、可插桩的应用。这样 benchmark 不只靠屏幕截图判断结果，还能通过程序行为验证任务是否完成。
Computer-use agent 的评估常卡在两个极端：只看 GUI 时容易被界面变化干扰，只看 API 时又绕开了用户真实操作路径。
MCPWorld 想解决的是“同一个任务里 API 和 GUI 如何协作评估”的问题。真实自动化经常不是纯点击，也不是纯接口，而是两者混合：界面提供上下文，API 提供稳定动作。
因此它引入 white-box app 和程序化 verifier，让 benchmark 能观察底层状态。这样 agent 不是“看起来点对了”，而是应用状态真的达到目标。
GUI benchmark 很贴近真实用户界面，但也有脆弱点：按钮位置变了、主题改了、弹窗多了，评估就可能漂移。API benchmark 更稳定，但可能脱离人实际操作的软件界面。
MCPWorld 把两条线合起来：既保留 GUI 的人机交互现实，又用 MCP/API 暴露可调用能力，并用动态插桩验证结果。
论文给出的初始规模是 201 个 curated user tasks，覆盖不同用例和难度；代表性 CUA 框架的初步实验达到 75.12% task completion accuracy。
MCPWorld 的设计可以拆成四块：
| 模块 | 作用 |
|---|---|
| white-box apps | 可修改、可插桩、可加 MCP 支持 |
| API actions | 让 agent 直接调用应用能力 |
| GUI actions | 保留截图、点击、输入等人类界面路径 |
| programmatic verifier | 通过应用行为判断任务完成，而不是只看 UI |
这个设计比单纯 GUI 评估更稳定，也比单纯 API 评估更接近真实 computer use。
手工 toy 复现
Section titled “手工 toy 复现”任务：“在绘图应用里导入 3 个 OBJ 文件，并把场景保存为项目文件。”
| 路径 | agent 行为 | 验证方式 |
|---|---|---|
| GUI only | 点击菜单、选择文件、保存 | 容易受 UI 状态影响 |
| API only | 调 import_obj、save_scene | 稳定但绕过界面 |
| hybrid | GUI 选择目录，API 批量导入，GUI 确认保存 | 最接近真实自动化 |
MCPWorld 的价值在第三条：它允许 agent 在 GUI 与 API 之间切换，同时用 white-box instrumentation 验证文件是否真的进入场景。
- GUI 成功截图不等于业务成功：截图看起来对，底层状态可能没变。
- API 成功不等于用户路径可行：真实产品验收仍要考虑界面约束。
- white-box 是优势也是边界：可插桩应用更可验，但不代表所有闭源软件都能这样测。
MCPWorld 把 computer-use eval 从“看屏幕点没点对”推进到“应用状态是否真的变了”。这对 agent 产品很关键，因为 UI 自动化最怕假阳性。
它和 mcp-bench-2025 的区别是：MCP-Bench 更像多 server 工具编排，MCPWorld 更像把 API 和 GUI 放进同一个真实应用沙盒。
- 原文：https://arxiv.org/abs/2506.07672
- 代码与数据：https://github.com/SAAgent/MCPWorld
- react：computer-use agent 仍然需要观察-行动循环。
- toolformer：工具调用的训练视角。