AutoGLM 开源手机 Agent 框架概览
一句话总结
Open-AutoGLM 是智谱 AI 开源的一套手机 Agent 工程框架。开发者给一个自然语言指令（如"打开美团搜索附近的火锅店"），框架会驱动一台真实的 Android 手机完成从打开 App、搜索、浏览到执行动作的完整链路。整个过程不是调用 App 内部 API，而是真正"看着"屏幕像人一样操作。
这套框架想解决什么问题
大语言模型已经能写出流畅的代码、回答复杂的问题，但它们始终停留在键盘和屏幕的另一边。现实世界里大量有价值的操作发生在手机 App 的图形界面上——点按钮、输文字、翻页面、选位置。这些动作靠传统脚本录制易脆、靠 App 内部 API 拿不到（而且不同 App 各一套）。
AutoGLM 的答案是：让 AI 学会看屏幕、想步骤、动手做。
开源的内容
2025 年 12 月 8 日开源的 Open-AutoGLM 不只是一份论文复现，而是一套可以直接跑起来的工程交付物：
| 交付物 | 说明 |
|---|---|
| Phone Agent 框架 | 截图→理解→规划→执行的完整 Agent 主循环 |
| 设备控制适配层 | ADB（Android）/ HDC（HarmonyOS NEXT）/ WebDriverAgent（iOS） |
| AutoGLM-Phone-9B 模型权重 | 中文手机优化版（HuggingFace / ModelScope 可下载） |
| AutoGLM-Phone-9B-Multilingual | 多语言版本，支持英文 App 场景 |
| 50+ 中文 App / 60+ 鸿蒙 App | 已测试覆盖的主流应用清单 |
| Python API + CLI | 两种集成方式：命令行直接跑或嵌入自己的 Python 项目 |
| 远程 ADB | WiFi 无线控制，摆脱 USB 线 |
许可证
- 模型权重：MIT License（最宽松的开源许可证，可商用）
- 代码框架：Apache-2.0 License（允许修改、商用、再分发）
开源背后的出发点是三件事：
- 手机 AI 能力不应只掌握在少数厂商手里，需要行业公共底座
- Phone Use 能力天然触及个人隐私（支付、聊天记录、照片相册），开源 + 私有化部署让数据和控制权留在使用方
- 把走过的路交给社区——踩过的坑、重写过的框架值得被复用
和其他自动化方案的区别
| 方案 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| AutoGLM | 视觉理解屏幕 → 生成点击坐标 → ADB 执行 | 不需要 App API，跨 App 通用性强 | 依赖视觉模型，有感知延迟 |
| Appium / UIAutomator | 解析 App 组件树 → 按元素 ID 操作 | 速度快、精度高、稳定 | 每个 App 各一套适配，换框架就得重写 |
| 按键精灵 / TouchAction | 预录脚本回放固定坐标 | 开发快、零模型 | 分辨率一变就挂，无法处理动态界面 |
| Midscene.js | 视觉模型驱动的 UI 自动化 SDK | 支持 iOS / Android，AutoGLM 模型已适配 | 前端测试场景为主 |
AutoGLM 的定位不是替代传统 UI 自动化工具，而是补足不知道要操作什么 App、也不保证 App 提供了 API 的场景——这正是它能跨 50+ 主流中文 App 通用的原因。
从研究到产品的时间线
- 2023.04 — 项目启动，探索"让大模型会用手机"的技术路径
- 2024.10.25 — 首个真机稳定操作链路发布，业内首个具备 Phone Use 能力的 AI Agent
- 2024.11 — 全球首个由 AI 完成的手机红包（通过屏幕理解而非 API）
- 2025 年初 — AutoGLM 2.0，验证强化学习规模扩展定律
- 2025.08 / 09 / 10 — ComputerRL、MobileRL、AgentRL 三篇强化学习论文发布
- 2025.12.08 — Open-AutoGLM 正式开源，GitHub Star 在 24 小时内突破 1.7K
相关阅读
- 工作原理：截图→理解→规划→执行
- 视觉语言模型 AutoGLM-Phone-9B
- GitHub 开源仓库（zai-org/Open-AutoGLM，完整仓库地址见页脚自动注入的 github 锚文本）