每一个新的计算平台都带来了我们与 设施互动 模式的范式改变 。鼠标的 创造为今日主导 PC 世界的图形消费者界面(GUIs)铺平了 路径,而智能手机直到触摸屏的浮现才开始真正 获得影响力 。

同样的 规定也 实用于可穿戴 设施和 AR, 设想一下,在晨跑时 只有 微微一触指尖就能拍照,或者用 几乎 发觉不到的手部动作来导航菜单 。

AR 时代改造人机交互

在 Connect 2024 大会上,Meta 展示了 EMG 腕带与 Orion 加强 事实眼镜的产品原型 。这两大神器叠加在一同,科幻电影中才会浮现的「隔空打字」场景兴许马上实现 。

Orion AR 眼镜

Meta 推出的肌电图腕带

戴上这样一个腕带,你让双手 舒服地放在身侧,同时进行鼠标的滑动、点击和滚动等操作,无缝操纵数字内容 。

将来还将有许多 其余 利用场景,包含在 加强 事实中操纵物体,或者像在键盘上打字一样 —— 甚至更快, 快捷输入 完全信息, 几乎无需 费劲 。

在近日的 NeurIPS 2024 的「数据集和基」子会场中,Meta 公布了两个数据集 ——emg2qwerty 和 emg2pose, 展示在硬件层面仅仅 依附腕带的状况下,如何产生比 细微手势更 丰盛的输入数据集 。

原文地址：https://arxiv.org/abs/2410.20081

原文地址：https://arxiv.org/abs/2412.02725v1

用于隔空打字的数据集 emg2qwerty

表面肌电图(sEMG)是在皮肤表面测量由肌肉产生的电势,它 能够检测到由单个运动神经元引起的 运动,同时是非侵入性的 。

具体来说,关于单个的脊髓运动神经元,其细胞体位于脊髓中,向肌纤维中投射一条长轴突,每条肌纤维只被一个运动神经元 操纵 。

脊髓运动神经元放电时,就会触发它 操纵的全部肌纤维收缩,同时放大了来自神经元的电脉冲 。正是这些来自肌纤维的电信号,可被皮肤上的 sEMG 传感器检测到 。

用于数据收集的表面肌电图探究 设施(sEMG-RD)及其腕围电极 搁置的示 用意

基于腕带的打字系统旨在解决可穿戴 设施的文本输入问题,实现无需物理键盘的触摸打字 。

仅 使用 目标上检测到的肌肉电信号,系统将可自动解码并对应至 虚构 事实中投影的计算机键盘按键 。

这 象征着,消费者 将来 能够在没有物理键盘的状况下,无论在桌子上、腿上还是厨房桌子上打字,都能如同在实际键盘上一样输入 。

一个针对 揭示「the quick?brown fox」的表面肌电图(sEMG)记录示例,显示左右腕带上 32 通道的表面肌电图信号和按键 工夫；垂直线 示意按键开始,每个电极通道的信号 通过高通滤波

emg2qwerty 数据集包含从两只 目标猎取的高分辩率 sEMG 信号,与 QWERTY 键盘的 实在按键同步 。该数据集总计包含 108 名 参加者 实现的、涵盖 宽泛单字和句子打字 揭示的 346 小时记录,共计超过 520 万次按键 。

emg2qwerty 数据集分割的可视化 。每一列代表一个消费者,每一个方块代表一个会话,方块的高度 示意其 延续 工夫

如何仅通过表面肌电图数据中检测到消费者按了哪个键呢？为了解决这个核心问题,Meta 开发了受自动语音 鉴别(ASR)领域启示的 步骤 。

该 步骤同样 模仿了给定延续多通道 工夫序列下,预测离散字符输出序列的 使命 。为了给 emg2qwerty 构建 壮大的基线,Meta 尝试了 别致的网络架构、不同的训练损失以及语言模型的 使用,始终关注表面肌电图数据的独特领域 特色要求 。

探究发现,在 100 个消费者的规模上, 只管生理、解剖、行为、带 宽容小和传感器 搁置存在差别,消费者间的泛化 依然可浮现 。

当 使用大概半小时的个体消费者打字数据来个性化模型时,性能的进一步 晋升随之而来 。通过整合语言模型来优化 后果,可将字符 舛误率降至 10% 以下 —— 这个值被认为是一个使文本模型可用的 要害阈值 。

随着数据集的添加, 类似语言模型中的 Scaling Law 将会生效,从而使得对消费者输入的预测更加精确 。

emg2pose 姿势估量：可 彻底预测消费者的手部配置

另一个名为 emg2pose 的数据集,旨在解决肌电信号与手部运动中间的映射问题,这关于人机交互、 痊愈工程和 虚构 事实等领域 存在重要 意思 。

该数据集包含来自 193 名 参加者的 370 小时 sEMG 和手部 姿势数据,从 29 个不同的行为组中采集,包含拳头、从一数到五等很多动作 。

数据集包含 25253 个 HDF5 文件, 总计达到 431GB 。每个文件包含 工夫对齐的 2kHz 表面肌电图数据和单手在单一阶段的关节角度 。

手部 姿势标签是通过高分辩率动作 捉拿阵列生成的 。 完全数据集包含超过 8000 万个 姿势标签,其等效规模已经 能够与最大的计算机视觉数据集比肩 。

emg2pose 数据集构成：a) sEMG-RD 腕带和动作 捉拿标记(白色圆点)设置 b)?数据集分解；i)消费者被 揭示执行一系列动作类型(手势),如上下计数,同时记录 sEMG 和 姿势 ii)?特定手势类型的组合构成一个阶段

emg2pose 数据集的重要特色在于其高频率的表面肌电图记录(2kHz)与精确的动作 捉拿数据相 联合,提供了对手部 细微运动的 深刻洞察 。

此外,数据集包含 详尽的元数据,如消费者 ID、会话、阶段、手部侧向、是不是移动等,便于进行多样化的 综合和 试验 。数据集还提供了训练、测试和验证的划分, 支撑多种泛化类型的探究,包含跨消费者、跨阶段以及跨消费者和阶段的泛化 。

在基准测试中,emg2pose 还提供了 存在竞争力的基线和 存在 挑战性的 使命,这些 使命评估了在排除消费者、传感器 搁置和手势 姿势方面的物理世界泛化场景 。

该探究还介绍了一种新的最先进模型,用于从表面肌电图进行 姿势估量的 vemg2pose 模型,通过整合对 姿势速度的预测来重建手势 姿势 。

探究人员将 emg2pose 以及另外两种当代基线用于 sEMG 的 姿势估量,并 综合了它们在泛化条件下的性能 。 后果显示：emg2pose 模型在对不同消费者的数据集进行预测时,仅显示 1 厘米误差,从而在 宽泛的运动 规模内实现了高保真跟踪 。

在不同采集阶段及不同消费者间,基于 vemg2pose 预测的泛化 威力

emg2pose 不只 晋升了动作 鉴别的精确性,还为手势操纵、 痊愈 医治等有潜在的 利用可能 。

• 在医疗 痊愈领域,通过 综合患者的 sEMG 信号, 能够实时监测和评估手部 性能的 复原状况,为个性化 痊愈 方案的 制订提供科学根据；

• 在人机交互领域,该数据集 支撑开发更加自然和精准的手势操纵系统, 晋升消费者体验；

• 此外,emg2pose 还可 利用于 虚构 事实和 加强 事实技术中,实现更加 真切的手部动作 捉拿和交互 。