“人脸识别”耳机实现!靠追踪肌肉识别表情


抓取42个特征点,C-Face还支持无声命令和聊天表情发送

在这个项目中,研究人员也不是完全没有用到摄像头,只不过他们用得及其隐蔽。可能已经有“陈独秀”想要抢答了,注意观察使用者的耳朵下方,左右分别配备了一个RGB摄像头,这些摄像头能够在使用者移动面部肌肉时,记录下脸颊轮廓的变化。

除了入耳式耳机,头戴式耳机也同样可以安装摄像头,进行面部识别工作。 在使用计算机视觉和深度学习模型重建图像后,卷积神经网络能够分析2D图像,将面部特征转换为 42个面部特征点,这些特征点分别代表了使用者的嘴巴、眼睛和眉毛的位置和形状。 有了详细的脸部追踪数据,C-Face可以将这些数据转换成 八种不同表情,包括中立或愤怒。不仅如此,C-Face还支持使用面部表情 控制音乐应用程序上的播放选项。手机在桌上充电,但是现在只想摊在沙发上不想动,你甚至不用说出声音,就能播放歌曲: 或者,你在聊天的时候想要发送表情,但是死活找不到表情包了,怎么办?这个时候,你可以 直接做出相关表情,系统就能识别并直接发送出去,简直不要太方便: 不过,由于受到新冠疫情的影响,研究人员目前只在 9名参与者的情况下测试了C-Face。尽管数量不大,但表情识别的准确度超过了 88%,面部提示的准确度超过了 85%。同时,研究人员发现,耳机的 电池容量限制了该系统的持续作用,他们正在计划开发功耗更低的传感技术。

深耕于人机交互领域的华人教授张铖

在这个项目的研发团队中,文摘菌发现了一位华人教授的身影——张铖,他也是这个研发团队的负责人。根据张铖个人网站介绍,他目前是康奈尔大学计算机和信息科学的助理教授,同时也是未来交互智能计算机接口(Smart Computer Interfaces for Future Interaction,SciFi)实验室主任

SciFi实验室主页链接:https://www.scifilab.org/从南开大学的本科,到以中国科学院软件研究所的优秀毕业生身份毕业,再到前往美国佐治亚理工学院Ubicomp实验室继续深造,张铖始终对 普适计算(ubiquitous computing)和人机交互(HCI)怀有浓厚的兴趣。在中国科学院期间,他就针对有形用户界面、儿童人机交互、音乐界面等进行了初步研究,获得了第一手的研究经验。在张铖的博士论文中,他介绍了10种用于可穿戴设备的新型输入技术,有些利用了商用设备,有些采用了新的硬件。与大多数人不同,张铖习惯于从头到尾建造传感系统,包括理解物理现象、构建硬件原型、设计形式因素、处理数据和设计算法(机器学习或基于物理的建模)。截至目前,张铖在人机交互和普适计算领域的顶级会议和期刊上发表了 十多篇论文,还获得了 两项最佳论文奖,同时他还身怀超过 10项美国和国际专利。

作者:刘俊寰