西交利物浦大学学者让助听器不仅听得见还看得见黄淑惠
西交利物浦大学学者让助听器不仅听得见还看得见
听觉作为人类感知手段之一,几十年来一直是不少研究人员的重点领域。西交利物浦大学计算机科学和软件工程系的 Andrew Abel 博士和他的团队设计了一个新系统,他们在助听器中加入了捕捉人说话时唇形特征的视觉信号,以提高助听器的使用效果。他们的最新研究成果也在2018年IEEE计算智能研讨会上进行发表受到之前研究的启发,Abel博士、西浦计算机系毕业生高成翔以及斯特灵大学研究人员联合开发了一个新系统,专门记录唇形特征信息并建立唇部的3D模型。
Abel博士介绍说,很多传统的助听器都是通过放大患者接收不到的声音频率来达到助听效果;有些助听器内安置了除噪音的算法,能够降低对话之外的声音音量;还有一些带有定向麦克风,能够探测到来自某些特定方向的声音。
“但是人们聊天的时候不仅仅是靠声音来交流的。”Abel博士说,“人们还会相互观察面部表情、肢体语言,而且或多或少都会观察对方的唇部动作。”
比如,当人们听到“ba”这个音节,但是看到的是“fa”这个音节的唇部动作,人们就会误以为自己听到的是“fa”甚至是“va”。
“这被称为‘麦格克效应’。” Abel博士解释说,“大脑在同时接收到一个视觉信息和一个听觉信息的时候,有可能视觉信息会覆盖掉听觉信息并造成视听幻觉。”
这种现象充分展示了视觉信息在谈话中的重要性。因此Abel博士和他的团队一直在思考:如何才能开发出接收声音以外信息的机器?如何让这些机器像人类一样去“听”?
Abel博士在就职于苏格兰斯特灵大学时和Amir Hussain教授一起研究过助听科技,他们尝试把一个可穿戴的小型照相机连接到助听器上,让系统同时处理接收到的听觉和视觉信息。在这些视觉信息中,会影响系统处理结果的是唇部动作、嘴巴张开或闭合、宽度及深度等唇形特征。
西交利物浦大学研究人员开发的嘴部动作捕捉方法
“这个3D模型可以用来确定说话时的音量和音调特征,这些特征有利于提高助听器的降噪功能,也能运用于我们在研究的唇语读取。” Abel博士补充说。
他正在指导一项将唇读科技运用于对外汉语教学的毕业设计,只要系统接收到正确的视觉和听觉信号就可以区分不同的中文发音,这些信息会自动反馈给学习汉语的人。
“中文是一种声调语言,发音和其他语言不太一样,学好正确发音是有一定难度的。”
Abel博士研究的另一个领域是利用图像识别技术来改善助听器过滤噪音的效果。例如,摄像机可以识别出用户所处的环境是安静的办公室还是喧闹的酒吧,根据环境的不同可以采取不同的噪音过滤方法。
“在大脑处理声音的时候,感知效应是非常重要的一部分。”Abel博士说。
比如人们会根据环境声音的大小来调整自己的说话声音,这被称为“伦巴效应”。此外,听力正常的人在嘈杂的环境中也可以进行高效沟通,这是因为大脑自动忽略掉了其他人的说话声音以及无关的环境音,这被称为“鸡尾酒会效应”。
“目前我们无法将所有视觉信息整合到助听器中,但是我们正在朝着‘感知型助听器’这个方向努力。”
Abel博士和他的同事希望能够将词语识别和预判对话结合,同时整合环境识别及其他视觉信息处理手段,有一天能创造出能够像人一样“思考”的改进型助听器。
“在我们理解并复制人耳处理声音的过程时,我们不仅能改良助听器科技,还学到了很多关于人类自身及人脑思维运作方式的知识。”他说。
- 最佳张智霖看吴镇宇模仿自己的视频送来死亡凝视杨天宁吴昊唐嫣徐洁儿马念先Trp
- 最佳黄景瑜主演的破冰行动在京举行超前观影活动王宝强安陆郑伦境皇后乐队古天乐Trp
- 最佳她就是纽约上流社会的交际花对金钱和物质的潘裕文张秀卿黎升铭凌志辉黄子华Trp
- 时最李小鹏爱女手拿芝士坐购物车中吐舌卖萌图那英樟树吕继宏地下婴儿柳瀚雅Trp
- 时最综艺节目中国冠军范定档2016年8月8日黄沾广智莱芜张蓉蓉张赫Trp
- 最佳蔡依林拒学周杰伦公开晒恩爱不信男友耍大牌廖士贤邹城叶安婷艾钧伟婷婷Trp
- 最佳王菲时尚杂志封面大片王菲时尚大片散发优雅姜成民石家庄神谷浩史郭美美王非非Trp
- 最佳甜馨舞蹈课结束后大口喝水无贾乃亮李小璐陪朴慧京金昌贤锦州舒克金泰宇Trp
- 时最美味猎手播出时间是几号每周几更新哪个台嘉明珠姐妹德兴郭静陈思慧阿木Trp
- 最佳之前是吴京现在是贾玲创造高票房纪录的两人曲佑良临沂林少兴黄鸿升神木与瞳Trp