精读：Codex Computer Use
2026 年 4 月 16 日”Codex for (Almost) Everything”更新中，OpenAI 发布了 Background Computer Use——Codex 可以在后台用独立虚拟光标操作电脑，用户继续前台工作不受影响。这是 AI Agent 从”代码工具”向”通用计算机操作者”跨越的标志性功能。
核心理念
传统 Computer Use vs Background Computer Use
| 维度 |
传统方式（Claude/早期） |
Codex Background CU |
| 屏幕占用 |
接管前台，用户必须等待 |
后台运行，用户继续工作 |
| 光标 |
使用用户的鼠标/键盘 |
独立虚拟光标 |
| 并行性 |
单任务串行 |
多 Agent 可并行操作不同应用 |
| 锁屏 |
不支持 |
支持（2026.5 更新） |
| 用户体验 |
“观看 AI 操作” |
“委托 AI 后台完成” |
类比
传统 Computer Use = 你把鼠标键盘借给 AI，你只能看着。
Background Computer Use = AI 有自己的一套鼠标键盘，在你电脑的”后台工位”独立工作。
技术架构
系统层实现
┌────────────────────────────────────────────────┐
│ 用户前台 │
│ ┌──────────────────────────────────────────┐ │
│ │ 正常应用使用（浏览器/IDE/聊天/...） │ │
│ │ 用户光标 + 键盘输入 │ │
│ └──────────────────────────────────────────┘ │
├────────────────────────────────────────────────┤
│ Codex 后台 │
│ ┌──────────────────────────────────────────┐ │
│ │ 虚拟工作空间 │ │
│ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │
│ │ │虚拟光标1│ │虚拟光标2│ │虚拟光标3│ │ │
│ │ │(Agent 1)│ │(Agent 2)│ │(Agent 3)│ │ │
│ │ └─────────┘ └─────────┘ └─────────┘ │ │
│ └──────────────────────────────────────────┘ │
├────────────────────────────────────────────────┤
│ OS 层（macOS / Windows） │
│ Accessibility API + Screen Recording 权限 │
│ Apple Authorization Plug-in (锁屏支持) │
└────────────────────────────────────────────────┘
macOS 实现
| 组件 |
技术 |
| 屏幕捕获 |
Screen Recording 权限 + CGDisplayStream |
| GUI 操作 |
Accessibility API (AXUIElement) |
| 虚拟输入 |
CGEvent（虚拟光标/键盘事件注入） |
| 锁屏支持 |
Apple Authorization Plug-in（2026.5） |
| 沙箱隔离 |
虚拟工作空间 + 进程隔离 |
Windows 实现
| 组件 |
技术 |
| 屏幕捕获 |
Windows Graphics Capture API |
| GUI 操作 |
UI Automation Framework |
| 虚拟输入 |
SendInput API |
| 平台对等 |
2026.5.29 实现完全对等 |
三种浏览器使用模式
模式 1：内置沙箱浏览器
| 特点 |
说明 |
| 场景 |
本地开发服务器预览、公共页面访问 |
| 安全 |
沙箱环境，无用户 cookie |
| 登录态 |
无（不需要登录） |
| 适用 |
localhost:3000 预览、文档查阅 |
模式 2：Chrome 扩展（2026.5.7）
| 特点 |
说明 |
| 场景 |
需要用户已登录状态的真实网站操作 |
| 安全 |
复用用户 Chrome session |
| 登录态 |
有（LinkedIn/Gmail/Salesforce/内部工具） |
| 并行 |
多标签页独立操作，互不干扰 |
| 调试 |
支持 DevTools |
| 适用 |
填表单、发邮件、操作内部系统 |
Chrome 扩展的杀手级场景：
- 用 LinkedIn 搜索候选人并发消息
- 在 Salesforce 中更新客户记录
- 在内部管理后台批量操作
- 在 Jira 中创建/更新 Issue
模式 3：Background Computer Use（原生应用）
| 特点 |
说明 |
| 场景 |
操作桌面应用（IDE、终端、设计工具） |
| 安全 |
逐应用审批 + “always allow” 选项 |
| 并行 |
多 Agent 操作不同应用 |
| 适用 |
Xcode 构建、Figma 设计、Excel 数据处理 |
Mobile Remote Control
Secure Relay Layer
2026 年 5 月 14 日发布的移动远程控制功能：
┌──────────────┐ ┌───────────────┐ ┌──────────────┐
│ 手机/平板 │ │ Secure Relay │ │ Mac/PC │
│ (ChatGPT App)│◀───▶│ (OpenAI 云端) │◀───▶│ (Codex 本地) │
└──────────────┘ └───────────────┘ └──────────────┘
控制端 中继层 执行端
技术特点
| 维度 |
说明 |
| 协议 |
加密中继（不暴露机器到公网） |
| 认证 |
基于 ChatGPT 登录态 |
| 状态同步 |
会话状态跨设备实时同步 |
| 代码执行 |
始终在用户 Mac/PC 上（手机不执行） |
| 订阅要求 |
所有计划（含免费版） |
| 平台 |
iOS + Android |
使用流程
- 在 Mac/PC 上启动 Codex（后台运行）
- 手机打开 ChatGPT App
- 连接到本地 Codex session
- 在手机上下达指令、审批操作、查看进度
- Codex 在 Mac/PC 上执行（后台 Computer Use）
场景示例
- 通勤时在手机上让 Codex 重构代码
- 会议中审批 Codex 的部署请求
- 远程监控 CI/CD 流水线执行状态
- 不在工位时继续推进开发任务
权限与安全
逐应用审批模型
首次操作某应用：
Codex: "我需要操作 Finder 来移动文件，允许吗？"
用户: [允许一次] / [始终允许] / [拒绝]
后续操作同一应用：
如果"始终允许" → 自动执行
如果"允许一次" → 再次询问
安全护栏
| 层级 |
措施 |
| OS 权限 |
需要 Accessibility + Screen Recording |
| 应用白名单 |
每个应用独立审批 |
| 操作确认 |
危险操作（如删除）强制确认 |
| 沙箱隔离 |
虚拟工作空间内执行 |
| 审计日志 |
所有 GUI 操作可回溯 |
与 Claude Code Computer Use 对比
| 维度 |
Codex Computer Use |
Claude Computer Use |
| 发布状态 |
GA（正式发布 2026.4） |
Preview（预览阶段） |
| 后台运行 |
支持（核心特性） |
不支持（前台接管） |
| 虚拟光标 |
有 |
无 |
| 锁屏 |
支持（2026.5） |
不支持 |
| Chrome 扩展 |
有（复用登录态） |
无 |
| 移动远程 |
有（Secure Relay） |
无 |
| 并行 Agent |
多虚拟光标并行 |
单 Agent 串行 |
| 应用审批 |
逐应用 + always allow |
每次截图确认 |
| 模型能力 |
GPT-5.5（专门训练视觉交互） |
Claude 原生 Computer Use |
| API 接口 |
桌面 App 内置 |
Claude API 开放（可编程） |
| 平台 |
macOS + Windows 原生 |
平台无关（API 模式） |
Claude 的优势
- API 开放：开发者可以编程使用 Computer Use 构建自定义方案
- 平台无关：不依赖特定桌面 App
- 截图精度：Claude 视觉理解能力强
Codex 的优势
- 产品完成度远高（GA vs Preview）
- 后台运行 + 不影响用户前台
- Chrome 扩展复用登录态（杀手级功能）
- 移动远程控制
- 锁屏支持
演进时间线
| 时间 |
里程碑 |
| 2026-04-16 |
“Codex for Everything”：Background Computer Use 首发（macOS） |
| 2026-04-16 |
内置沙箱浏览器同步发布 |
| 2026-05-07 |
Chrome 扩展开放（复用用户登录态） |
| 2026-05-14 |
Mobile Remote Control（iOS/Android） |
| 2026-05-22 |
Codex Thursday：锁屏 Computer Use + Goal Mode GA |
| 2026-05-29 |
Windows 完全对等（Computer Use + Mobile Remote） |
对 AI Agent 发展的影响
从”代码工具”到”通用计算机操作者”
Background Computer Use 意味着 AI Agent 不再局限于终端/IDE 内的文本操作，而是可以操控任何有 GUI 的应用。这把 Agent 的能力边界从”编程”扩展到了”任何可以用鼠标键盘完成的工作”。
异步委托模型的确立
“后台运行 + 移动监控”建立了新的人机协作模式：
传统：人坐在电脑前 → 指挥 AI → 等待 → 确认 → 下一步
新模式：人随时随地 → 委托任务 → AI 后台执行 → 手机审批关键节点
多模态 Agent 的技术路径
| 交互类型 |
技术 |
时间 |
| 文本/代码 |
Terminal + 文件系统 |
2025 |
| GUI 操作 |
Background Computer Use |
2026.4 |
| 浏览器 |
内置沙箱 + Chrome 扩展 |
2026.5 |
| 移动 |
Secure Relay |
2026.5 |
| 语音 |
Voice Mode |
2026（Claude Code 也有） |
| 视觉 |
截图理解 + 图片生成 |
2026.4 |
交叉引用