浙大设计研究|智能副驾系统

2026-06-25

驾驶风险

驾驶员面临的风险不仅来自即将发生碰撞的车辆,还包括路侧尚未驶入车道、行为意图难以预判的行人与非机动车。当前风险检测大多依靠碰撞轨迹、距离等指标,难以识别这类暂未形成直接冲突、但可能突然闯入道路的潜在隐患。自动驾驶接管场景下,驾驶员注意力衰减会进一步削弱风险感知。

Visionary Co-Driver系统架构
Visionary Co-Driver系统架构:道路场景感知、LLM风险分析与自适应HUD形成闭环

为此,浙江大学设计学团队提出Visionary Co-Driver智能副驾系统,融合大模型、眼动追踪与自适应HUD实现驾驶风险辅助预警。系统将驾驶场景转化为结构化场景描述,依托大模型推演路侧参与者行为意图,并结合驾驶员眼动状态动态调控HUD提示强度,在提醒潜在风险的同时降低视觉干扰。实验证明,该方案有效提升行人风险识别水平,同时不会干扰驾驶员对其余路况要素的感知。

三种HUD条件
三种HUD条件:基础信息、车辆告警与Visionary Co-Driver路侧风险提示

本研究由浙江大学人工智能学院向为副教授团队完成。该成果的第一学生作者为浙江大学工业设计工程硕士生雷子悦。“驾驶安全的关键,不仅在于应对明确碰撞威胁,更在于识别尚未显现的风险。Visionary Co-Driver尝试以大模型理解路侧行为意图,结合驾驶者注意状态提供自适应提示,实现更精准的人机协同风险感知。”雷子悦分享道。

浙江大学工业设计工程硕士生雷子悦
浙江大学工业设计工程硕士生雷子悦

项目成果:
项目成果发表于智能交通领域国际权威期刊IEEE Transactions on Intelligent Transportation Systems。研究团队:向为、雷子悦、王杰、黄莹莹、郑蕲、张天逸、赵桉、孙凌云*。本项目受到国家自然科学基金等基金支持。

论文原文链接:
Wei Xiang, Ziyue Lei, Jie Wang, Yingying Huang, Qi Zheng, Tianyi Zhang, An Zhao, and Lingyun Sun*. 2026. Visionary Co-Driver: Enhancing Driver Perception of Potential Risks With LLM and HUD. IEEE Transactions on Intelligent Transportation Systems, 27(1), 1233-1247.
https://doi.org/10.1109/TITS.2025.3634580
(*通讯作者)