摘要:一个研究团队已经开发了一个配备了微型技术的人工智能驱动的环,该戒指可以在美国手语(ASL)中连续,实时弹药。...
由康奈尔大学领导的研究团队开发了一个配备了微型技术技术的人工智能驱动的戒指,可以在美国手语(ASL)中连续,实时实时手指销售。
在当前形式中,拼写环境可用于通过手指销售将文本输入计算机或智能手机,该手指在ASL中用于拼写单词而无需相应的符号,例如适当的名词,名称和技术术语。随着进一步的开发,该设备(认为是同类的第一个设备)可以通过不断整个签名的单词和句子来彻底改变ASL翻译。
信息科学领域的博士生Hyunchul Lim说:“聋哑和听力障碍社区的许多其他认识到ASL中手指的技术并未采用,因为硬件是笨重且不切实际的。” “我们试图开发一个环,以捕获ASL中的所有微妙而复杂的手指运动。”
Lim是“拼写:使用戒指认识到美国手语中连续的手指”的首席作者,该戒指将在计算机机械协会的计算系统人为因素会议(CHI),4月26日至5月1日至5月1日在日本横滨。
咒语戴在拇指上,并配备了麦克风和扬声器。他们一起发送并接收听不清的声波,以佩戴者的手和手指的动作,而迷你陀螺仪则手的运动。
然后,专有的深度学习算法会处理声纳图像,并实时预测ASL手指的字母,并且具有与许多需要更多硬件的现有系统相似的精度。
开发人员用20个经验丰富和新手的ASL签名者评估了拼写,使他们自然而过地将手指插入了多个长度的20,000多个单词。拼写的准确率在82%至92%之间,具体取决于单词的难度。
信息科学助理教授兼论文合着者Cheng Zhang说:“开发工具的技术界和使用它们的目标社区之间总是存在差距。” “我们已经弥合了一些差距。我们为评估它的目标用户设计了拼写。”
Lim的未来工作将包括将微孔系统整合到眼镜中,以捕获上身运动和面部表情,以获得更全面的ASL翻译系统。
林说:“聋哑人和听力障碍的人比双手更多地用于ASL。他们使用面部表情,上身运动和头部手势。”他在康奈尔大学完成了基本和中级ASL课程,作为他的拼写研究的一部分。 “ ASL是一种非常复杂,复杂的视觉语言。”
这项研究由国家科学基金会资助。