斯坦福大学开发的一种新的智能皮肤可能预示着有一天人们可以在隐形键盘上打字,仅通过触摸来识别物体,或者允许用户在沉浸式环境中通过手势与应用程序进行交流。
在NatureElectronics杂志刚刚发表的一篇论文中,研究人员描述了一种新型可拉伸生物相容性材料,它可以喷在手背上,就像防晒喷雾一样。网格中集成了一个微型电子网络,可以感知皮肤的拉伸和弯曲,并且使用人工智能,研究人员可以根据手部动作和手势解释无数的日常任务。研究人员表示,它可能在游戏、体育、远程医疗和机器人技术等广泛领域产生应用和影响。
到目前为止,已经积极探索了几种有前途的方法,例如使用腕带或可穿戴手套测量肌肉电活动,以实现各种手部任务和手势。然而,这些设备体积庞大,因为需要多个感官组件来精确定位每个关节的运动。此外,需要为每个用户和任务收集大量数据以训练算法。这些挑战使得将此类设备用作日常电子产品变得困难。
这项工作是第一个实用的方法,它在形式上足够精简,在功能上具有足够的适应性,基本上适用于任何用户——即使数据有限。当前的技术需要多个传感器组件来读取手指的每个关节,这使得它们体积庞大。新设备还采用更精简的软件方法,以加快学习速度。这种精度可能是虚拟现实应用中的关键,可以传达精细的动作以获得更逼真的体验。
促成创新是一种嵌入聚氨酯中的可喷涂电敏网状网络——与制造滑板轮和保护硬木地板免受损坏的耐用且可拉伸的材料相同。该网格由数百万条镀金的银纳米线组成,这些纳米线相互接触以形成动态电通路。这种网状物具有电活性、生物相容性、透气性,除非用肥皂和水擦拭,否则不会脱落。它与佩戴它的每个人手指的皱纹和褶皱紧密贴合。然后一个轻量级的蓝牙模块可以简单地连接到可以无线传输信号变化的网格上。
“当手指弯曲和扭曲时,网格中的纳米线会被挤压在一起并拉开,从而改变网格的导电性。可以测量和分析这些变化,以准确地告诉我们手、手指或关节是如何移动的”,该研究的资深作者、化学工程系李哲南教授解释说。
研究人员选择了一种直接在皮肤上喷涂的方法,这样就可以在没有基材的情况下支撑网状物。这一关键的工程决策消除了不需要的运动伪影,并允许他们使用单条导电网格来生成手指的多关节信息。
该设备的喷涂特性使其能够适应任何大小或形状的手,但也开启了该设备可以适应面部以捕捉微妙情绪线索的可能性。这可能会启用新的计算机动画方法,或导致出现具有更逼真的面部表情和手势的新化身虚拟会议。
然后机器学习接管。计算机监控电导率的变化模式,并将这些变化映射到特定的物理任务和手势。例如,在键盘上键入一个X,算法就会学会根据电导率的变化模式来识别该任务。一旦对算法进行了适当的训练,就不再需要物理键盘了。同样的原理可以用来识别手语,甚至可以通过追踪物体的外表面来识别物体。
而且,尽管现有技术是计算密集型的,并且需要大量的数据,而这些数据必须由人类费力地标记——如果你愿意的话,可以手工标记——斯坦福团队开发了一种计算效率更高的学习方案。
“我们带来了人类学习的各个方面,这些方面仅通过少数被称为‘元学习’的试验就能迅速适应任务。这使得该设备能够通过一些快速试验快速识别任意新的手部任务和用户,”该研究的第一作者、Bao实验室的博士后学者KyunKyu“Richard”Kim说。
“此外,这是应对这一复杂挑战的一种非常简单的方法,这意味着我们可以用更少的数据实现更快的计算处理时间,因为我们的纳米网格捕获了其信号中的细微细节,”Kim补充道。该设备可以精确地映射手指的细微动作,这是这项创新的主要特点之一。
研究人员构建了一个原型,可以通过触摸识别简单的物体,甚至可以在隐形键盘上进行预测性双手打字。该算法能够输入威廉·莎士比亚的“没有比诚实更丰富的遗产”和威廉·欧内斯特·亨利的诗“Invictus”中的“我是命运的主宰,我是灵魂的船长”。