Notebookcheck Logo

新系统可将个人特定的手势转化为语音,供交流能力有限的人使用

与研究人员合作开展项目的社区顾问(图片来源:宾夕法尼亚州立大学)
与研究人员合作开展项目的社区顾问(图片来源:宾夕法尼亚州立大学)
宾夕法尼亚州立大学的研究人员开发出一种新系统,利用可穿戴传感器和人工智能来学习个人的独特手势。这种新系统旨在为有运动或视觉障碍的人提供一种与世界交流的有效方式。
Concept / Prototype Science AI

宾夕法尼亚州立大学的一个研究小组开发了一种原型系统,利用可穿戴传感器和人工智能将手势转换成语音。该系统能将个人特有的肢体动作转换成语音,从而区别于一般的系统。

这种新方法发表在《辅助和替代性交流》(Augmentative and Alternative Communication)杂志上,旨在帮助有运动或视觉障碍的人更独立、更有效地进行交流。该系统的关键创新点在于个人层面的可定制性。

与在大型数据集上训练的传统手势转语音系统不同,该系统旨在学习特异性动作--对个人而言具有特定含义的手势。这样,技术就能适应用户认为容易做出的特定动作,从而减轻用户的身体压力。

该系统的工作原理是让人在手腕上佩戴一个传感器,并重复一个手势约三次。它利用人工智能算法测量手势的运动特征,学习其独特的模式。然后将这种模式或手势与 "过来 "或 "停下 "等口语短语进行分配。每当用户做出手势时,联网的智能手机应用程序就会大声说出这句话。

在开发过程中,团队与语言能力有限的人密切合作。艾玛-埃尔科(Emma Elko)就是其中一位值得注意的参与者,她患有皮层视觉障碍。该系统成功地学会了她的个人手势,使她能够在没有母亲--她的主要交流伙伴--的帮助下进行交流。

研究人员表示,下一步将在更多人身上测试原型,以完善其区分相似手势和忽略非自主动作的能力。他们还计划在现有的传感器上增加摄像头,以提高精确度。

资料来源

宾夕法尼亚州立大学

图片来源:宾夕法尼亚州立大学宾夕法尼亚州立大学(以上链接)

Please share our article, every link counts!
Mail Logo
> Notebookcheck中文版(NBC中国) > 新闻 > 新闻档案 > 新闻档案 2025 09 > 新系统可将个人特定的手势转化为语音,供交流能力有限的人使用
Chibuike Okpara, 2025-09- 3 (Update: 2025-09- 3)