Vercel 开源的 1.5 万 Star 工具:让 AI 不用截图、不靠像素,直接「读懂」你的桌面
vercel-labs/agent-desktop 是 Vercel Labs 开源的 Computer Use CLI(Apache-2.0,Rust 约 35 万行、2628 个源文件):与主流「截图+视觉模型+像素坐标」的 computer use 不同,它直接读取操作系统的无障碍树(macOS AX API / Windows UI Automation / Linux AT-SPI),把桌面 App 的界面结构化成带 ref 的 JSON,Agent 对 ref 点击、输入,再重新快照验证,形成确定性的 observe→act→verify 循环,内部不含任何模型。默认无头(不移动鼠标、不抢焦点),60 个命令名/56 个操作命令,支持 CLI、C 库和 stdio MCP server,npm 月下载约 3.1 万。本文克隆仓库拆解它的快照/ref 严格解析机制、三态证据模型、防窗口句柄复用的身份校验、平台适配架构和安全边界(快照可能含隐私、密钥走 stdin),也说清它的局限:依赖 App 无障碍支持质量、部分操作必须 headed、1.2 版仍在快速迭代。