手迹传心-温暖无声世界的翻译官

简介

本项目产品是一款基于多种应变融合的传感器，专为聋哑人研发设计的高舒适性、高精度、高质量、低延迟的手语翻译系统，以期为聋哑人向外界交流提供高效的交流工具。目前我国各类残疾人总数已达8500万，其中听力残疾约2054万人，言语残疾约130万人，分别占残疾人总数的24.16％与1.53％。因此，研制出一款可以代替人工手语翻译的产品，对促进聋哑人融入社会，实现随时随地与正常人无障碍交流，尤为重要。为更好了解聋哑人群体，团队成员采用线上访谈与线下实地调研，走访共计22处无声餐厅、15处特殊教育学校、464名听力残疾人及家属。 整个手语识别主要包括三个过程：手语数据采集、手语识别、手语播报。在手语数据采集方面，产品“手迹传心”手语翻译系统采用自主研发的腕部、手背部、指部多维融合触觉传感器的设计。传感器结构方面，腕部的传感器采用毛虫仿生结构，可保证传感器数万次弯折不受损，增加传感器数据采集范围；基于一种自供电的可穿戴视觉触觉传感器，实现了高效的能量转换和同步的视觉反馈，以提升用户的交互体验。在手语识别方面，采用卡尔曼滤波算法，结合使用者行为记忆算法，学习用户手语特点，为各个手语翻译智能判定参数加权赋值，进行差异化手语翻译，整体手语翻译精度高达98%以上。