AR穿戴助手可以实时采集用户第一人称视角的视频流输入画面，提供即时反馈与任务指导。但在协作中，AR助手常因对用户隐式行为线索的解读不足、注意力错配，导致人机认知偏差，增加协同摩擦成本。

Eye2Eye的协作框架

针对上述问题，浙江大学设计学团队提出了Eye2Eye：一套共享第一人称视角下的认知对齐协作框架。该框架通过联合注意力协调、可修正的动态记忆单元以及反思型情境反馈，构建人机双向流动的“感知-对齐-反思”闭环。基于Apple Vision Pro搭建AR原型系统实验证实，该框架有效降低了交互负担与错误率，显著提升了人机协作流畅度与信任度。

人机协作中的双向注意力信号

AR原型系统构建过程说明

该成果的第一作者是浙江大学设计学硕士生滕朱瑜。“我们希望通过融合第一人称视角的视频流多模态输入，让AR助手可以像人类伙伴一样理解用户意图，减少反复说明和纠正的负担。”滕朱瑜分享道。

浙江大学设计学硕士生滕朱瑜

项目成果：
项目成果于2026年4月发表在国际人机交互领域顶级会议CHI 2026。研究团队：滕朱瑜、陈培、蔡逸晨、陆若晴、蒋招衢、李佳阳、尤伟涛、孙凌云。本项目受到国家自然科学基金的资助支持。

论文原文链接：
Zhuyu Teng, Pei Chen*, Yichen Cai, Ruoqing Lu, Zhaoqu Jiang, Jiayang Li, Weitao You, Lingyun Sun. 2026. Seeing Eye to Eye: Enabling Cognitive Alignment Through Shared First-Person Perspective in Human–AI Collaboration. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI ’26). Association for Computing Machinery, New York, NY, USA, Article 1030, 1–19.
https://doi.org/10.1145/3772318.3791059