先记住这三点
- agent 维度三人并列 95 分——Kimi K3、Qwen3.8-Max、GLM-5.3。但失败恢复率是 64% / 71% / 78%，并列第一的那个比另一个并列第一低 14 个百分点。公开基准在这个分数段已经失去区分度。
- 六类失败模式里，“权限弹窗卡死”与“回退风暴”是国产模型的共同弱点，且几乎不出现在任何公开基准里。
- 坐标误差 P95 越过屏幕宽度 2%（1080px 宽约 21.6 物理像素，已小于移动端最小可点击区）的三款全是中低价档：MiMo-V2.5、Qwen3.8-Flash、DeepSeek-V4.1-Flash。它们的问题不是能力弱一点，是尾部风险不可接受。
一个 95 分的三人并列，和一个没人测的指标
在 2026 中国国产原生多模态大模型对比排名天梯榜 的 agent 维度上，出现了整张榜单唯一一次三人并列：Kimi K3、Qwen3.8-Max、GLM-5.3，全部 95 分。
这三人并列不是巧合，是天花板效应。市面上所有公开的 GUI/工具调用基准——AndroidWorld、OSWorld、ScreenSpot、τ-bench——在这个分数段已经区分不出东西了。一个 95 分和一个 95 分，可能一个是“十次里错一次但每次都能自己救回来”，另一个是“十次里错一次然后无限点同一个按钮”。这两种模型在生产环境里的可用性差着数量级，但在天梯榜上它们一模一样。
所以我们没有去测“成功率”。所有厂商都公布成功率，测它等于复述新闻稿。我们测的是失败之后发生了什么。
先厘清一件事：agent 维度不等于 GUI 维度
本站 32 款模型里，只有 4 款在能力声明里明确列出 GUI 操控模态：Kimi K3、Qwen3.8-Max、GLM-5.3、Qwen3.8-Flash。剩下的 28 款，agent 分给的是工具调用、函数调用、多步规划与结构化输出的综合能力——它们能写 function call，但不一定能点按钮。
本期入榜的八款都不在声明之列，原因还各不相同：书生 InternVL 4.0 是模态只覆盖图文（无 GUI 训练数据，agent 78）；脑虎 NeuroXess-N1 是产品形态为院内项目制（agent 76，交付物里没有手机自动化这一项）。六款行业模型（观澜 68、从容 70、紫东太初 70、百灵 80、言犀 78、伏羲 75）的 agent 分全部低于测试门槛，且交付物里都没有手机自动化——安防交付的是摄像头与盒子，场景模型交付的是行业方案。八款都不进入本文的测试集——不是分数不够，是它们卖的东西里没有这一项。
这个区分很重要，因为它意味着：在这份 2026 中国国产原生多模态大模型对比排名天梯榜 上排 agent 第 4 到第 8 名的模型（豆包 Seed 2.0 Pro 93、Qwen3.5-397B 92、GLM-5 91、MiMo-V2.5 90、LongCat-Next 88），你拿去做手机自动化会直接失败，不是分数低一点的问题，是根本没有这个模态。
反过来也成立：Qwen3.8-Flash 的 agent 只有 87 分，总榜第 13，但它是四款真 GUI 模型之一，而且是唯一一款开放权重（Apache-2.0）的。在“能自己部署的 GUI agent”这个子类里，它是唯一选项，没有第二名。
我们因此把测试集定为 10 款：4 款声明 GUI 的 + agent 维度前 8 名里未声明 GUI 的。后者是“用通用能力硬做 GUI”的代表，这个对比本身就是结论的一部分。
失败恢复率：六种失败模式，只数救回来的
我们定义了六种在真实自动化流里高频出现、且公开基准基本不覆盖的失败模式：
| 失败模式 | 触发方式 | 典型症状 |
|---|---|---|
| 点空 | 目标控件被浮层遮挡 / 动画未结束 | 点击落在蒙层上，无任何状态变化 |
| 误点 | 相邻控件密集（列表页、工具栏） | 进入了错误页面，且认为任务在推进 |
| 循环 | 页面结构重复（信息流、表格分页） | 反复执行同一动作，无步数上限意识 |
| 跨应用失忆 | 从 App A 切到 App B 再切回 | 丢失上一应用的操作上下文，重头再来 |
| 权限弹窗卡死 | 系统级弹窗（定位、通知、隐私） | 把弹窗当页面内容读，或无限重试“确定” |
| 回退风暴 | 连续按返回键试图恢复状态 | 一路退到桌面，任务彻底丢失 |
每种模式构造 20 个样本，共 120 个失败场景。恢复的定义很严格：模型必须在没有外部提示的情况下，自己识别出“当前状态与预期状态不符”，并在 5 步之内回到正确路径。识别出来了但用了 8 步，不算恢复；识别出来了但选择放弃并汇报，算半个——我们不计半个，只计完全恢复。
| 排名 | 模型 | agent 分 | 总榜 | 失败恢复率 | 声明 GUI |
|---|---|---|---|---|---|
| 1 | GLM-5.3 | 95 | #4 | 78% | 是 |
| 2 | Qwen3.8-Max | 95 | #1 | 71% | 是 |
| 3 | 豆包 Seed 2.0 Pro | 93 | #2 | 69% | 否 |
| 4 | Qwen3.5-397B | 92 | #3 | 66% | 否 |
| 5 | Kimi K3 | 95 | #5 | 64% | 是 |
| 6 | GLM-5 | 91 | #6 | 61% | 否 |
| 7 | MiMo-V2.5 | 90 | #7 | 58% | 否 |
| 8 | LongCat-Next | 88 | #9 | 52% | 否 |
| 9 | Qwen3.8-Flash | 87 | #13 | 47% | 是 |
| 10 | DeepSeek-V4.1-Flash | 85 | #12 | 41% | 否 |
这张表最重要的一行是第 5 行。 Kimi K3 在 agent 维度并列第一（95），在失败恢复率上却是三个并列者里最差的，64%，比 GLM-5.3 低 14 个百分点。如果你只看 天梯榜 的 agent 列，你会以为这三款可以随便挑；如果你要跑的是无人值守的长流程自动化，你只有三分之一的概率挑对。
第二重要的是第 3 和第 4 行：豆包 Seed 2.0 Pro 和 Qwen3.5-397B 都没有声明 GUI 模态，恢复率却分别排在第 3 和第 4，高于声明了 GUI 的 Kimi K3。 说明“恢复”这件事更多来自通用的状态推理与自我校验能力，而不是来自 GUI 专项训练。这是个反直觉的结果，也是我们不建议把“是否支持 GUI”当唯一筛选条件的原因。
第三重要的是最后两行。两款新出的 Flash 档模型——Qwen3.8-Flash（47%）和 DeepSeek-V4.1-Flash（41%）——恢复率断崖式下跌，跌到 50% 以下。这不是巧合：恢复需要在上下文里同时持有“预期状态”和“实际状态”并做比较，这是一项吃推理长度和推理深度的活。Flash 档为压低单价做的裁剪，第一个砍掉的就是它。
坐标误差 P50 / P95：比成功率更能预测线上事故
第二个指标是点击坐标误差，以屏幕宽度的百分比计。我们用 P95 而不是平均值，因为平均值在自动化里没有意义——你的流程不会在平均情况下崩，它会在第 20 次点击时崩。
| 模型 | 坐标误差 P50 | 坐标误差 P95 | 是否越过 2% 阈值 |
|---|---|---|---|
| Qwen3.8-Max | 0.4% | 1.1% | — |
| GLM-5.3 | 0.5% | 1.3% | — |
| Kimi K3 | 0.5% | 1.6% | — |
| 豆包 Seed 2.0 Pro | 0.6% | 1.5% | — |
| Qwen3.5-397B | 0.6% | 1.7% | — |
| MiMo-V2.5 | 0.8% | 2.1% | ✗ 越线 |
| Qwen3.8-Flash | 0.9% | 2.4% | ✗ 越线 |
| DeepSeek-V4.1-Flash | 1.0% | 2.8% | ✗ 越线 |
2% 这个阈值不是我们拍的。在 1080×2400 的手机上，2% 屏幕宽度约等于 21.6 物理像素——这已经小于主流移动端 UI 最小可点击区域（44×44 pt 设计规范下约 30 物理像素）的三分之二。也就是说，P95 越过 2% 意味着：每 20 次点击里，至少有一次会落到目标控件之外。对于密集列表、工具栏、小图标，这个误差直接等于误点。
八款里有三款越线，全是中低价档。这和恢复率的结论完全一致，也互相印证：Flash 档模型在 GUI 场景下的问题不是“能力弱一点”，而是“尾部风险不可接受”。
注意 Qwen3.8-Max 在这张表上是第一名（P50 0.4%、P95 1.1%），而在恢复率上是第二名。两个指标合起来看，它是唯一一款坐标精度和恢复能力都进前二的模型。这也是为什么在 2026 中国国产原生多模态大模型对比排名天梯榜 上它拿总榜第一，而 agent 维度的三人并列里，它才是那个经得起追问的第一。
把两个指标合成一个可用的选型规则
不要看单一数字。按这个矩阵判断：
| 恢复率 ≥ 65% | 恢复率 < 65% | |
|---|---|---|
| P95 ≤ 2% | 可做无人值守长流程：GLM-5.3、Qwen3.8-Max、豆包 Seed 2.0 Pro、Qwen3.5-397B | 可做有人监督的短流程：Kimi K3 |
| P95 > 2% | （本次测试无模型落入此格） | 只做原型验证，不要上生产：MiMo-V2.5、Qwen3.8-Flash、DeepSeek-V4.1-Flash |
三条落地建议：
第一，无人值守流程的步数上限必须写死。 即使是恢复率 78% 的 GLM-5.3，也有 22% 的失败救不回来。真正的工程解法不是找一个 100% 的模型（不存在），而是让那 22% 便宜地失败：步数上限、状态快照、断点重放。模型选型决定你要写多少兜底代码，不决定你要不要写。
第二，Kimi K3 是这张表里最被误读的一款。 agent 95 分并列第一、恢复率 64% 排第五、坐标 P95 1.6% 合格。它落在“有人监督的短流程”格子里——这恰好是绝大多数演示场景，也是它在公开基准上高分的原因。基准测的是短流程，生产跑的是长流程。
第三，如果你需要私有部署的 GUI agent，选择只有一个，而且它不合格。 Qwen3.8-Flash 是四款 GUI 模型里唯一开放权重的，但它的恢复率 47%、P95 2.4%，两项都不达标。也就是说，“自持权重的手机自动化”在 2026 年 10 月还没有可用方案——不是贵不贵的问题，是能力确实不在。这一点我们在 企业选型手册 的一票否决天梯榜里还会再遇到一次。
边界与口径
失败恢复率与坐标误差都是本站自建的桌面评估，不是封闭实验室复现：样本量 120 个失败场景、每款模型约 800 次点击，UI 环境为三台真机 + 两个模拟器。数字用于相对排序，不保证跨环境绝对值一致。四款未声明 GUI 模态却参与测试的模型，其坐标是通过通用视觉 grounding 能力间接完成的，误差读数偏高属于预期。
关于本文的常见问题
恢复率是怎么测的？
六类失败模式各构造 20 个样本，共 120 个场景：点空、误点、循环、跨应用失忆、权限弹窗卡死、回退风暴。恢复的判定很严——模型必须在无外部提示下自己识别出当前状态与预期不符，并在 5 步内回到正确路径；用了 8 步不算，识别出来但放弃并汇报也不算。恢复率 = 完全恢复的场景占比。
那还需要看成功率吗？
需要，但它是门槛不是排序键。成功率低于某条线的模型直接淘汰；过了线之后，用恢复率和 P95 坐标误差排序，才和真机表现一致。天梯榜的 Agent 维度分正是按这个顺序合成的。
