团队名称：206
所属院校：东南大学自动化学院

成员名称：王心果、方湘、陈逸煌
指导老师：李奇教授
项目名称：“基于RK3588的智能座舱多模交互系统与大模型语义理解优化”






项目介绍
随着车载座舱系统功能日益复杂，传统操作方式普遍存在交互繁琐、过度依赖视觉、语义理解能力有限等问题，难以满足现代智能驾驶场景对安全性与便捷性的双重需求。为此，参赛项目基于瑞芯微RK3588设计的ELF 2开发板，设计并实现了一款多模态车载人机交互系统，旨在提升车载环境下的人机交互自然性与操作效率，改善用户体验，具体工作如下：

实物展示

首先，针对实际车载需求，此参赛项目设计并集成了近十项功能模块。在辅助驾驶方面，本项目设计了疲劳驾驶监测、倒车助手、哨兵监控和行车导航等常用功能模块，全面覆盖行车与驻车过程中的多种应用需求；在休闲娱乐方面，本项目设计了音乐播放器和桌面宠物两个模块，此外，还集成了面部解锁，手机投屏，天气播报等功能，在确保行车安全的前提下提升用户的使用体验。用户可通过语音指令、触觉交互等多种方式与系统进行交互，交互方式灵活自然，能够有效降低驾驶过程中对视觉操作的依赖，提升行车安全。

同时，针对传统车载座舱自然语义理解难题，此参赛项目在车载语音交互环节引入了语言大模型（LLM）技术。相比传统语音助手，本项目通过构建高性能语音中枢，实现了对口语化表达的精准理解，能够灵活应对多样化指令，显著改善语音交互体验，有效降低驾驶员认知负担。

最后，此项目采用了模块化架构设计。各功能模块独立部署，便于按需裁剪与升级，满足不同车型、不同用户需求。借助RK3588平台强大的AI算力与多媒体处理能力，系统能够在实现复杂功能的同时保持快速响应，保障用户操作的实时性与流畅性。实际测试表明，系统各模块稳定可靠，语音识别准确率高，响应延迟低，具备较强的实用价值。

团队名称：206
所属院校：东南大学自动化学院

成员名称：王心果、方湘、陈逸煌
指导老师：李奇教授
项目名称：“基于RK3588的智能座舱多模交互系统与大模型语义理解优化”






项目介绍
随着车载座舱系统功能日益复杂，传统操作方式普遍存在交互繁琐、过度依赖视觉、语义理解能力有限等问题，难以满足现代智能驾驶场景对安全性与便捷性的双重需求。为此，参赛项目基于瑞芯微RK3588设计的ELF 2开发板，设计并实现了一款多模态车载人机交互系统，旨在提升车载环境下的人机交互自然性与操作效率，改善用户体验，具体工作如下：

实物展示

首先，针对实际车载需求，此参赛项目设计并集成了近十项功能模块。在辅助驾驶方面，本项目设计了疲劳驾驶监测、倒车助手、哨兵监控和行车导航等常用功能模块，全面覆盖行车与驻车过程中的多种应用需求；在休闲娱乐方面，本项目设计了音乐播放器和桌面宠物两个模块，此外，还集成了面部解锁，手机投屏，天气播报等功能，在确保行车安全的前提下提升用户的使用体验。用户可通过语音指令、触觉交互等多种方式与系统进行交互，交互方式灵活自然，能够有效降低驾驶过程中对视觉操作的依赖，提升行车安全。

同时，针对传统车载座舱自然语义理解难题，此参赛项目在车载语音交互环节引入了语言大模型（LLM）技术。相比传统语音助手，本项目通过构建高性能语音中枢，实现了对口语化表达的精准理解，能够灵活应对多样化指令，显著改善语音交互体验，有效降低驾驶员认知负担。

最后，此项目采用了模块化架构设计。各功能模块独立部署，便于按需裁剪与升级，满足不同车型、不同用户需求。借助RK3588平台强大的AI算力与多媒体处理能力，系统能够在实现复杂功能的同时保持快速响应，保障用户操作的实时性与流畅性。实际测试表明，系统各模块稳定可靠，语音识别准确率高，响应延迟低，具备较强的实用价值。