浙大设计研究|会反思的GUI智能体

2026-06-30

GUI智能体

GUI智能体正逐步具备像人一样操作手机应用的能力,但在跨页面、长链路任务中,界面变化、弹窗干扰和错误点击可能让整个任务偏离目标。尤其当操作步骤不断增加时,单次判断失误会持续累积。如何让智能体在复杂界面中做出更准确、更可靠的决策,成为移动端自动化的重要问题。

MaDS移动端长链路任务示例
MaDS移动端长链路任务示例

针对这一问题,浙江大学设计学团队提出MaDS系统,通过双层记忆整合通用交互知识与历史操作经验,并利用多轮辩论在动作执行前对操作计划进行验证。系统不仅能够调用成功经验,还会将失败原因转化为可复用的警告,从而减少重复错误,提升GUI智能体在真实移动端长链路任务中的稳定性与完成效率。

MaDS系统双层记忆模块
MaDS系统双层记忆模块

多轮辩论与预执行验证流程
多轮辩论与预执行验证流程

本研究由人工智能学院陈实副教授团队完成。该成果的第一作者是浙江大学设计学硕士生陈鹏臣。“我们希望GUI智能体不仅能够完成操作,还能够在行动前判断风险,并从过去的成功与失败中持续学习。”陈鹏臣分享道。

浙江大学设计学硕士生陈鹏臣
浙江大学设计学硕士生陈鹏臣

项目成果:
项目成果于2026年7月发表在国际计算语言学协会年度顶级会议ACL。研究团队:陈鹏臣、陈实*、叶骐鸣、陈新立、李昕然、向为*。

论文原文链接:
Pengchen Chen, Shi Chen*, Qiming Ye, Xinli Chen, Xinran Li, and Wei Xiang*. 2026. MaDS: Long-Horizon GUI Automation via Synergizing Dual-Layer Memory and Multi-Round Debate. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers, ACL 2026), pages 26158–26180, San Diego, California, United States. Association for Computational Linguistics.
https://doi.org/10.18653/v1/2026.acl-long.1202
(*通讯作者)