GesVLA：手势感知的视觉-语言-动作模型嵌入式表示

Wenxuan Guo, Ziyuan Li, Meng Zhang, Yichen Liu, Yimeng Dong, Chuxi Xu, Yunfei Wei, Ze Chen, Erjin Zhou, Jianjiang Feng

2026

摘要

提出GesVLA模型，将手势作为并行指令模态融入视觉-语言-动作框架，通过双VLM架构和两阶段训练策略解决复杂场景中的空间歧义问题。在真实机器人任务上验证了手势输入能显著提升目标定位精度和人机交互效率。

gesture-awarevision-language-actionrobot manipulationspatial ambiguityhuman-robot interaction

MANIPULATION

📊 2 引用

Yusen Li, Ziwei Wang, Xiangye Zhu 等 12 位作者

Robotics and Computer-Integrated Manufacturing · 2026

MANIPULATION

📊 1 引用

Shaoqing Qin, Lida Zhu, Yanpeng Hao 等 10 位作者

Robotics and Computer-Integrated Manufacturing · 2026

MANIPULATION

📊 0 引用

Bo Li, Yuanbo Zhao, Huijie Xiao 等 6 位作者

Robotics and Computer-Integrated Manufacturing · 2026

MANIPULATION

📊 0 引用

Hao Li, Yuhui Yu, Rui Fu 等 6 位作者

Robotics and Computer-Integrated Manufacturing · 2026