AgentRL——AutoGLM 多轮多任务通用强化学习框架
定位
AgentRL 是 AutoGLM 强化学习三部曲的最后一环（2025.10 发布），也是最通用的一环——它把 MobileRL（手机）和 ComputerRL（浏览器）的方法论抽象出来，形成了一个多轮多任务（Multi-Turn, Multi-Task）通用强化学习框架，可以在任何 Agent 环境里复用。
论文与发布
- arXiv:2510.04206
- 作者：Hanchen Zhang, Xiao Liu, Bowen Lv, Xueqiao Sun, ...（智谱 + 清华）
为什么需要"多轮多任务"
单轮单任务的强化学习很容易理解——给一个目标，Agent 反复试错直到完成。但真实世界的 Agent 任务通常是多轮的（"先在美团搜火锅 → 再看评分 → 最后下单"是三个子任务串联），而且是多任务的（同一模型要会"搜火锅"也会"订机票"）。
AgentRL 的贡献就是让强化学习框架支持这种复杂性：
- 多轮：每个子任务完成后，Agent 把结果传递给下一轮
- 多任务：训练集中混合不同类型任务，模型学会跨任务泛化
- 课程学习：从简单任务逐步过渡到复杂任务
三大强化学习支柱的关系
┌── MobileRL ──┐
AutoGLM ┤ ├── AgentRL（通用抽象层）
└── ComputerRL ──┘MobileRL 先在手机场景验证了在线强化学习的可行性，ComputerRL 在浏览器场景复现了类似效果，AgentRL 把两者的共性提炼出来，变成了可以用于任何 Agent 环境的通用框架。
开源 Agent 和强化学习的关系
开源的 Open-AutoGLM 框架不包含强化学习训练代码，但下载的 AutoGLM-Phone-9B 模型权重已经经过了 MobileRL 训练。换句话说：
- 你拿到的开源框架 = AutoGLM 原始论文版本 + MobileRL 强化学习优化过的模型权重
- 你可以用它跑推理、自己做微调，但训练 pipeline 本身没有开源
如果需要从头做强化学习训练，需要自己搭环境。