GitHub Copilot 的 computer use 公开预览开始出现在 Copilot CLI 和桌面应用中，支持 Windows 与 macOS。Copilot 可以读取可访问内容和屏幕视觉信息，并点击、输入、滚动、拖拽，在多个桌面软件之间完成流程。它适合没有 API、命令行或 MCP 接口的旧软件；这是需用户授权的预览功能，不是后台无声控制电脑。查看 GitHub Changelog 公告。

GitHub Copilot 可操作桌面应用，Windows 与 macOS 开启公测 官方配图
图片来自 GitHub 的官方发布页面；点击图片可查看原始来源。

开启方法

  • Copilot CLI：运行 /computer on 开启，用 /computer show 查看状态，使用 /computer off 关闭。
  • Copilot 应用：Settings → Computer Use → Enable Computer Use。
  • macOS：按提示授予 Accessibility 和 Screen Recording 权限。

Copilot 在控制某个应用前会征求批准，组织管理设置可以禁用功能；你也能查看或重置设为始终允许的应用。首次启用时应检查授权范围，不要让私人窗口或敏感资料进入测试流程。

怎样写任务指令

说明期望结果、涉及应用和限制条件。例如：“在浏览器里整理本周通知，只列出待处理事项，不要删除或发送内容；最后按日期排序。”这比“帮我整理一下”更易复查。任务完成后应检查界面和实际结果，不要只根据 Copilot 的文字回复判断成功。

从低风险操作开始

  1. 选择可恢复的流程，例如整理通知或把数据填入测试表单。
  2. 使用无付款权限的测试账户，首次操作逐项批准应用控制。
  3. 保留操作前后的状态，对照核实它选中了正确窗口、字段和按钮。
  4. 遇到验证码、权限弹窗或意外页面时暂停并交给人处理，不要要求它绕过安全机制。

图形界面自动化会受布局、缩放、加载速度和弹窗影响。付款、账号设置、外发邮件等高影响任务要保留人工确认与回滚。公告没有公布可确认的统一附加费用。