AutoGLM 开源手机 Agent 框架完整指南

这是什么

AutoGLM 是智谱 AI（Z.AI）基于 ChatGLM 系列模型推出的一套开源 AI Agent 框架。它的核心理念很简单——让 AI 像人一样，通过视觉理解屏幕内容，以自然语言指令驱动 Android、HarmonyOS NEXT、iOS 等设备完成真实的 GUI 操作。

这套框架的历史可以追溯到 2023 年 4 月，团队从零探索"让大模型真正学会使用手机"的完整技术路径。2024 年 10 月发布的首个真机稳定操作链路被业内视为全球首个具备 Phone Use 能力的 AI Agent。2025 年 12 月，Open-AutoGLM 以 Apache-2.0 许可证正式开源，模型权重以 MIT 许可证开放下载。

产品档案速览

结构导览

本站按「从零搭建手机 AI Agent」的完整工程链路组织内容，每个页面聚焦一个具体技术点：

AutoGLM 框架基础

理解这套框架的核心设计理念、技术架构和 10 种原子操作。从视觉语言模型到 Agent 主循环的每一层都拆解到位。

环境与设备准备

准备 Python 环境、安装 ADB/HDC、配置手机调试模式、安装 ADB Keyboard——从一台普通 Android 手机到可被 AI 控制的完整设备链路。

模型部署

两条路：用智谱或 ModelScope 的云端 API（零 GPU 起步），或者自己用 vLLM/SGLang 在本地部署模型服务。

Agent 使用与配置

命令行交互模式、单次任务模式、Python API 集成、Agent 配置项详解、自定义 System Prompt。

远程调试与多设备

跳过 USB 线：ADB WiFi 无线调试、鸿蒙 HDC 无线连接、多设备管理与切换。

可扩展开发

敏感操作确认回调、登录验证码人工接管、自定义操作处理器、项目目录结构、pytest 测试。

支持的应用与场景

完整的应用支持清单，以及外卖下单、电商购物、出行差旅、社交媒体自动化等场景案例。

AutoGLM 产品线

除了开源 Phone Agent 框架，还有桌面客户端、浏览器插件 AutoGLM Web、OpenClaw 飞书 Agent 平台、智谱 AI 输入法等衍生产品。

强化学习与研究

MobileRL、ComputerRL、AgentRL 三篇强化学习论文，以及 AutoGLM 原始论文与引用方式。

问题排查

adb devices 空列表、无法点击元素、文本输入乱码、截图黑屏、Windows 编码异常、无线调试连接被拒绝——每个常见问题独立一页排查方案。

适用读者

• AI Agent 开发者：想在自己的项目里加入手机自动化能力
• 移动端测试工程师：用自然语言驱动的 UI 自动化替代传统测试脚本
• AI 产品经理 / 创业者：评估用 AutoGLM 构建 AI 原生应用的技术可行性
• 强化学习研究者：关注 GUI Agent 的在线强化学习方向
• 技术爱好者：想亲手把一台 Android 手机变成"AI 手机"

本站所有内容仅用于技术学习与研究。AutoGLM 开源项目自身也明确声明仅供研究和学习使用，严禁用于非法获取信息、干扰系统或任何违法活动。