MobileRL——AutoGLM 移动端在线强化学习框架
背景
AutoGLM 原始版本（2024.10）靠离线训练和人工标注数据，在中文 App 场景达到 89.7% 成功率，但通用 AndroidLab 评测只有 36.2%。差距的根源在于：离线训练覆盖不了真实环境中无限的界面变化，Agent 遇到新 App 或 App 更新后容易迷失。
MobileRL 的核心想法
AutoGLM 团队的解决方案是让 Agent 在真实或虚拟环境里不断试错，通过强化学习自我进化。MobileRL（Mobile Reinforcement Learning）就是为此设计的框架：
- 上千台虚拟 Android 设备（云手机）
- Agent 在每台设备上并行跑任务
- 成功的任务给正反馈、失败的给负反馈
- 模型参数持续更新，从自己的经验里学习
这解决了 AutoGLM 论文里提到的第二个核心洞察：在线课程强化学习（self-evolving online curriculum RL）——离线训练只能到这了，需要在线试错来进一步提升鲁棒性。
论文与发布
MobileRL 论文于 2025 年 9 月发布在 arXiv：
- arXiv:2509.18119
- 作者：Yifan Xu, Xiao Liu, Xinghan Liu, Bohao Fu, ..., Yuxiao Dong（智谱 + 清华）
和 AutoGLM 2.0 的关系
智谱在 2025 年的博客里把 MobileRL 列为 AutoGLM 2.0 的三大强化学习支柱之一（另外两个是 ComputerRL 和 AgentRL）：
- MobileRL → 手机端 Agent 强化学习
- ComputerRL → 电脑端 Agent 强化学习
- AgentRL → 多轮多任务通用强化学习框架
三者共同验证了强化学习的规模扩展定律——更多环境、更多并行 Agent → 更好的泛化能力。
为什么"在线"这么重要
离线训练有一个根本问题：错误恢复能力差。真实世界的手机界面变化太频繁——App 更新加了新按钮、系统升级换了弹窗样式、网络慢导致页面卡住——这些都不在离线数据集里。
在线强化学习让 Agent 自己在跑任务的过程中遇到这些问题、想办法解决、成功后把经验内化到模型参数里。错误恢复能力是靠在线试错练出来的，离线数据集学不出来。
开发者能拿到什么
MobileRL 框架本身是否开源尚未确认，但开源的 Open-AutoGLM 框架已经包含了训练好的、经过强化学习优化过的 AutoGLM-Phone-9B 模型权重。换句话说，你下载的模型已经吃了 MobileRL 训练出来的"经验"。
如果你是强化学习研究者，可以基于 Open-AutoGLM 的框架自己搭建训练 pipeline。