浏览器 Agent 工具测评怎么做：DOM、无障碍树与截图三套证据不能只信一套

浏览器 Agent 的失败并不总是“没找到按钮”。有些页面视觉上已变化但 DOM 尚未更新，有些自定义控件没有正确的无障碍标签，还有些网页把危险按钮伪装成普通链接。只用一种观察通道，工具可能看似完成任务，实际上填错账户、选错日期或提交了错误表单。

三套证据各解决什么问题

DOM 适合定位稳定属性和表单值；无障碍树更接近用户可理解的角色、名称和当前状态；截图或视觉模型能发现遮挡、弹窗、颜色提示和布局变化。测评时不要求三者完全一致，而是为高风险动作定义“至少两项确认”。例如提交付款前，既要读到按钮的可访问名称，也要确认截图中没有遮挡对话框。

把页面变化做成回归样本

给同一流程准备标签改名、按钮移动、延迟加载、重复元素、iframe、Cookie 弹窗和错误提示覆盖等版本。记录 Agent 的成功率、误点击率、恢复次数与人工接管点。真正有价值的不是演示环境一次跑通，而是页面改版后还能说明自己依据了什么。

高风险动作要降低自动化等级

下载、上传、发布、支付和删除不应由“看起来像成功”触发。要求 Agent 展示目标对象、变更摘要和最后一跳 URL，并保留用户确认。对于登录态切换、企业后台和多账号页面，要额外验证当前身份和工作区，避免把个人会话误用于组织操作。

测评清单

• 元素定位应优先使用稳定角色和名称，而非脆弱坐标；
• 页面加载完成要有网络、DOM 和视觉三类等待条件；
• 遇到多个同名控件，先展示候选项再选择；
• 关键提交后校验业务结果，而非只检查点击事件；
• 每个失败样本都要能重放，区分网页变化与 Agent 判断错误。

如果团队用 top-api.cc 接入多种浏览器或模型能力，可在统一调用层记录工具版本、观察通道与确认步骤，方便横向比较模型在同一页面集上的表现。这样评估的是可靠的操作链路，而不是单次“会不会点”。

什么时候应该判定为不通过

当 Agent 无法识别当前账号、无法解释选择依据，或需要绕过页面安全确认才能继续时，应直接终止该用例并进入人工流程。可靠工具的价值是知道何时停下，而不是强行把每一步都自动化。