你能看出他是怎么操作手机导航的吗？两只手都举在空中，他没有说话，也没有用眼睛控制光标。
在手机上打开导航软件、输入目的地名称、选择具体商店的过程（本图为2倍速播放） ｜ X @toma *** as
导航之前，他把一个“触控板”放进了嘴里，之后的滑动和点击都是通过舌头进行的。仔细看上图，可以看到他的嘴有微小动作。
图中的人是开发这款“舌头触控板”的软件工程师Corbin Halliwill ｜ X @toma *** as
像这样把所有操作都藏进嘴里，让使用手机或电脑变得更加隐蔽，也为不方便使用双手操作的人连通了数字世界的新入口。
有些情况下，这是唯一好用的维持“正常生活”的 *** 。
为什么要用舌头玩手机？
在手机上导航、玩游戏或者聊天的时候，用手指在触控屏上滑动、点击，是我们最适应的操作 *** ，几乎不学就会用。但有些人用手操作有困难，还有些场景动手控制很不方便。
如果不用手操作，目前常用的替代 *** 包括用眼睛、嘴唇、头部的运动或者用语音控制设备，但它们都没有触摸屏那么直观，需要学习如何使用，而且各有不足，比如眼睛追踪常不够精确、语音输入会被周围人听到。
当下的前沿技术脑机接口，可以直接从大脑读取部分信息，但距离每个人都能购买和使用还有很远的距离。
物理学家霍金曾使用面部肌肉和眼球追踪技术进行输入｜ Paul Alers/NASA
于是，硬件初创公司Augmental决定开发一种新的控制方式，让不用手的操作也可以直观、精确、不易疲劳和私密。公司在今年六月推出了世界上之一款不用手的触控板MouthPad，用户可以用舌头和头部运动控制电脑、平板电脑或智能手机，相当于把一块触控屏放在了嘴里。
Augmental公司推出的触控口腔垫MouthPad ｜ Augmental
MouthPad的透明外层保护套是定制的，公司对每个用户进行口腔扫描后进行3D打印，保证保护套能贴合上颚和牙齿。打印完成后，压力感应板和运动传感器等电子元件再被放入保护套。
拿到MouthPad后，用户开启蓝牙就可以把它连接到手机或电脑上，立即开始使用，就像蓝牙鼠标一样。
操作上，在上颚滑动舌头可以控制光标的移动，用舌头压上颚是点击左键，吮吸是点击右键，也可以进行个性化设置，根据个人需求将控制动作改为牙齿咬合或头部运动等。
因为设备厚度只有7毫米，所以佩戴时仍然可以说话。
Augmental首席执行官Tomás Vega演示触控板识别舌头滑动动作 ｜ @augmentaltech
瘫痪7年，能自己熬夜玩游戏让她感觉到了“正常”
这个“舌头触控板”好用吗？已经有一些人体验过并且每天都在使用了，比如12岁就因为卒中四肢瘫痪的基利·霍希(Keely Horch) 。之前，她主要依靠下巴操作杆和语音辅助设备操作轮椅和手机，很少使用电脑或上网，因为操作电脑常需要别人的帮助。
现在霍希19岁，在马里兰大学巴尔的摩分校学习数学和计算机工程。在课堂上和图书馆里，她不方便发声说话来打开文件或写下笔记，但有了“舌头触控板”之后，她可以安静地写下数学公式和阅读文章。霍希说：不需要依靠别人后一切都不一样了，现在我也可以熬夜写作业或玩游戏，这给了我“正常”的感觉。
霍希母亲对MouthPad的感受是，它帮助女儿成长，让她变得更加独立和强大了。
可以自己熬夜写作业或玩游戏，给了霍希“正常”的感觉 ｜ @augmentaltech
这，正是Augmental公司首席执行官Tomás Vega对设备的期望。
Vega在5岁时开始口吃，发现键盘鼠标能让他的输出流利起来，于是痴迷于增强人类能力的概念。他大学时就开发了帮助残障人士生活独立的技术，并曾做过马斯克脑机接口公司Neuralink的研发实习生。在那里，Vega看到了脑机接口的潜力，但也预见了它得到完善和普及所需要的漫长时间。他更希望提供可以改善每位残障人士生活的产品，马上就能买到、开箱即用的那种。
随着技术渗入生活，世界从物理世界扩展到数字世界，我们每天在线上学习办公、聊天、购物和点外卖，即使线下买水果或奶茶也扫码付款。这时，让每个人都能“正常”地访问数字世界，变得比以往任何时候都更加重要。
霍希在课堂上通过MouthPad阅读和记笔记 ｜ @augmentaltech
不仅仅为行动困难的人，“舌头触控板”还为双手被占用的情况提供支持。
比如，游戏玩家可以在双手之外增加一种控制维度；手术台上的外科医生不再需要吩咐助手操作，自己就能随意控制设备和查看患者资料，而不会弄脏双手；用舌头操控设备更便利的，还有宇航员和实验室技术人员等等，也许也有因为冬天带着厚手套或剥着虾蟹，没法正常用手机的你。
牙齿验证登陆、监测健康？功能将更多样、更复杂
Mouthpad发布之后，《自然·电子学》（Nature Electronics）在8月28日报道了另一种智能触控口腔垫oPad的研究结果，它由新加坡国立大学与天津大学的研究者联合开发。
oPad也用舌头滑动模仿手指在触摸屏上的滑动，但将点击动作设置为牙齿咬合。输入字符时，使用者可以直接用舌头在触控板上写出字符，或者触控虚拟键盘。研究者设计了50个舌头滑动模式，6个牙齿咬合模式，协同控制产生365个模式。将滑动和点击操作分开并增加模式种类，让使用更加流畅快速。
oPad的结构，其主电路大小为10x14x1.6毫米，一次充电可持续工作20小时，吃东西、喝饮料及说话时都可佩戴 ｜ 参考文献[1]
为使输入更精确和省力，研究者使用人工智能进行动作模式分类，并基于50%字符预测后续轨迹。经过训练的系统识别动作模式的准确率达到了98.7%，4名参与者只训练了2～3天，就能将指令的准确率保持在95%以上。
经过短时间适应，参与者尝试用oPad进行了三项日常操作。之一项是玩类似水果忍者的游戏，玩的方式是同时咬左侧牙齿（表示鼠标左键点击）并在期望的方向上滑动舌头。练习约1小时后，参与者就能熟练砍瓜切果了。
用oPad玩类似水果忍者的游戏｜参考文献[1]
第二项是通过触控虚拟键盘输入字符，经过每天2～3小时的3天训练，4名参与者均可在人工智能的辅助下连续输入字符3分钟，不需要纠正错误。输入速度达到平均每分钟38～45个字符，平均准确率95%～97%。
用oPad输入字符，｜参考文献[1]
第三项是驾驶轮椅，参与者们都能在狭窄空间灵活控制轮椅方向。
用oPad驾驶轮椅｜参考文献[1]
不需要长时间的学习和适应，oPad就帮助参与者完成了研究中的日常操作。
接下来，研究者们计划继续优化触控口腔垫，使它能适应更多人、进行更复杂的操作、长时间佩戴更舒适，帮助无法使用双手的人自由地体验这个世界、参与社会活动和与其他人沟通。
或许，未来智能口腔垫还将集成更多功能，比如帮助口腔科医生监测牙齿情况、进行语言治疗、追踪身体健康和锻炼后恢复情况。也许它还可以增加一种生物识别方式，不用刷脸或扫描指纹，我们咬下牙就能安全登录设备或账户了。
触控口腔垫，听起来没有脑机接口技术那么有未来感，也没有鼠标、键盘、语音识别系统使用人数多，目前还有很多可以优化的地方。但是，这样的设备可以真切地帮助到一部分人，立即让TA们的生活变得容易、美好和“正常”一点。
除了提高效率，改善生活质量也是科技创新的意义。
参考文献
[1]Hou, B., Yang, D., Ren, X. et al. A tactile oral pad based on carbon nanotubes for multimodal haptic interaction. Nat Electron (2024). https://doi.org/10.1038/s41928-024-01234-9
[2]https://www.augmental.tech/
[3]https://news.mit.edu/2024/mouth-based-touchpad-augmental-0605
[4]https://www.facebook.com/story.php/?story_fbid=872302738276113&id=100064891832346
作者：代天医
编辑：odette
如有需要请联系sns@guokr.com
发表评论
2024-09-25 10:14:02回复