AutoGLM 外卖下单场景实战——从说一句话到下完一单
场景描述
用户说一句"帮我在美团点一杯瑞幸咖啡的标准美式,半糖",Agent 要完完整整地从搜索到下单走一遍——选商品、选规格(标准美式)、选糖度(半糖)、加入购物车、选地址、支付确认。
Agent 大致会做什么
根据 verbose 模式的真实输出,大致 15~25 步循环:
[启动美团 → 点搜索框 → 输"瑞幸咖啡" → 点结果 → 选商品 → 选规格 → 选糖度 → 加购 → 选地址 → 点提交订单]
典型指令
> 打开美团搜索附近的火锅店
> 在美团上点一杯冰豆花
> 在饿了么帮我点一份肯德基的香辣鸡腿堡套餐
> 打开美团,帮我找评分最高的日式料理
> 用美团再点一单最近的外卖(再来一单)
特殊处理点
再来一单——美团 App 首页有"再来一单"入口,但位置可能因版本变化。Agent 靠视觉理解当前屏幕,不会依赖固定坐标。如果 App 更新了入口位置,Agent 自动适应。
敏感点——到支付环节时可能触发 Take_over:"请求人工接管支付确认弹窗"。这是正常设计,见 人工接管机制。
典型问题
App 打开后加载慢——Agent 有 Wait 操作,会判断"页面还在加载"时主动等待几秒。
搜索结果多页——Agent 会 Swipe 滑动浏览,根据任务描述筛选目标店铺。
地址确认弹窗——首次使用可能弹出地址授权,Agent 会识别到授权按钮并点击"允许"。
AutoGLM 公开的演示视频
项目主页面上有多段真实速度录制的演示视频,其中一段就是美团外卖场景("在美团上点一杯瑞幸咖啡的标准美式,半糖")。视频展示了完整的操作链路从搜索到下单的全过程。
本地复现
python main.py --verbose --base-url $MODEL_URL "在美团上点一杯瑞幸咖啡的标准美式,半糖"
跑这条命令时观察 verbose 输出,你会看到 Agent 每一步的 think 推理和 do 动作,非常有教学意义。