2010年 失踪近一个世纪的伽利略手指
以文物形式向公众展示
2019年 这位游历德国的青年
打造最小手臂动捕系统
移动的手臂 实时投射至电脑屏幕
字节跳动间 是跨越时空与空间人机交互的美好
全文2550字 阅读时长约10分钟
关于创作者与作品
与非网与雷凡（图右）畅谈
近日，雷凡带着作品造访与非网苏州总部，我们有幸与他探讨电子行业与创新火花，下面从多维度出发给大家介绍一下这款最小手臂动捕系统作品。
动捕系统工作原理
作为人机交互的一个分支，动作捕捉系统是一种利用传感器技术将采集到的数据传输至计算机生成三维模型，然后将生成的模型通过虚拟引擎高度还原人体的真实动作的系统。
图源 | cirmall.com
本作品的工作原理是将6轴IMU采集的姿态数据传送给PC机，通过“动态初始化”快速计算出每颗IMU的坐标系，与对应手臂骨骼模型坐标系之间的偏差关系，并结合初始化结果和IMU的实时姿态，计算出手臂模型的骨骼姿态，实现手臂的动作捕捉。
动捕系统的两种分类
现代动作捕捉系统基于捕捉原理的不同，包括声学式、电磁式、光学式、机械式、视频捕捉式和惯性式，目前市场上有两类主流动作捕捉系统。
一类是基于光学的动作捕捉系统，其优点是采样率高、实时性强，可实现高速运动的动作捕捉需求，缺点是易受光照等环境因素的干扰，造价昂贵，因此普及率低。
另一类是基于惯性传感器的动作捕捉系统，其优点是采集信号量少带来的实时性高、惯性传感器体积小、易于佩戴、价格低，缺点是存在测量噪声、漂移误差，无法对人体姿态进行长时间精确跟踪，但由于价格因素，普及率高。
而在Hackaday Prize 2019获奖的《最小手臂动捕系统》就是属于第二类：基于惯性传感器的动作捕捉系统。
手臂动捕方案分解
方案采用基于“三颗MPU6050+MCU”的硬件方案实现手臂的动作捕捉，其中MCU使用的是TI的MSP430F5259，数据传输方式采用板载USB或蓝牙串口透传二选一的方式。
图源 | cirmall.com
在功能实现过程中，直接调用MPU6050内置的DMP驱动，采集每颗传感器的姿态（四元数格式），并发送至上位机。
通过“动态初始化”的方式将传感器与3D环境下的骨骼模型进行绑定，即确定传感器与对应骨骼模型之间的姿态偏差。结合反向运动学，实时计算骨骼姿态进而实现动作捕捉。
优点
硬件没有使用磁场传感器，用6轴IMU替代9轴IMU，可以做到“即穿即用”，有效避开了重复校准磁场传感器、磁干扰等问题
在初始化过程中可以融合其它带有姿态数据的设备，如谷歌Daydream的遥控器（内置9轴IMU）等
直接调用MPU6050内置的DMP驱动，降低MCU计算压力，进一步压缩成本
缺点
DMP驱动的启动过程较慢，大约需要15秒的时间，传感器的姿态方能稳定下来
DMP驱动计算出的姿态容易漂移，效果不及Mahony或卡尔曼滤波的效果好
DMP采用FIFO的方式缓存计算结果，处理不当容易造成数据溢出
没有融合磁场传感器，不论采用哪种姿态计算方式，漂移现象都会存在，但漂移明显时，可通过重新初始化方式来改善问题
使用
将三颗IMU（MPU6050）分别佩戴在手背、下臂近手腕及上臂近手肘的位置，其中直接布局在MCU主板上的IMU需要戴在下臂近手腕处，其余两颗IMU则是两个独立模块，分别佩戴在手背和上臂手肘处。
演示视频如下：
惯性动捕产业分析
随着计算机和传感器技术的不断进步，人们在人机交互方面的研究也不断深入，动作捕捉作为人机交互方面的一个分支，在近几年也得到了飞速的发展。
如上文中所述，现代动作捕捉系统基于捕捉原理的不同，包括声学式、电磁式、光学式、机械式、视频捕捉式和惯性式。
声学式和电磁式的捕捉系统精度比较差，且受环境噪声和磁场的影响比较大；光学式的捕捉系统精度高，但安装复杂，成本高和对环境要求高；
机械式的动作系统穿戴困难，且会影响人体的自由活动；视频捕捉式的捕捉系统虽然不需要在人体身上佩戴传感节点，但算法复杂，实现难度大。
基于惯性传感器的动作捕捉系统，具有便携穿戴、操作简单和成本低廉的特点，能够不受时间和地点的限制，持续不断地采集人体各个部位的实时运动信息，在跌倒监测、体育训练、军事训练、体感 游戏、虚拟现实和增强现实方面都得到了广泛应用。
海外
惯性动捕行业目前还属于小众产业，国外起步较早，发展较为成熟。
安装有方向传感器的Intertial Labs方案 图源 | 官网
美国Inertiallabs公司已经推出了商业化的惯性式动作捕捉系统3Dsuit；
荷兰的Xsens公司也推出了自己的Xsens MVN惯性动作捕捉系统，两者都可以实时采集人体各部位的姿态数据，快速地完成人体姿态地测量，已经广泛应用与国外的CG电影制作。
本土
对比国外动捕行业的发达，国内动捕系统的商业化程度较低，只有少数企业在做。
如瑞立视、青瞳视觉等，但这些企业都是从事光学动捕系统研发的，对于惯性动捕产业而言，除了诺亦腾、星创动等，大多数仍停留在实验室阶段：
诺亦腾操作界面 图源 | 官网
诺亦腾在SIGGRAPH 2019大会发布了全身惯性动捕系统Perception Neuron Studio，可配置、可定制，并且配有适用于高级动捕应用的硬件和软件附件；
星创动的研究领域是基础惯性动捕系统与机器人，目前处于项目定制阶段；
浙江大学的李启雷等人研发的惯性式动作捕捉系统，可以采集人体运动的加速度和磁力数据；
中国科学院大学的汪俊等人所设计的惯性动作捕捉系统，各惯性传感器节点通过无线WiFi模块进行连接，节点的体积较大；
马杰和刘莉琛两人所在的团队设计了基于Zigbee通讯的惯性式动作捕捉系统，但Zigbee的通讯速率限制了捕捉系统的采样速度与精度。
写在最后
随着5G时代的到来，更高的带宽给动捕产业带来了新的机遇，而最大的动捕市场受众群体在中国，面对市场需求与产业技术的悬殊差距，目前国内企业和科研机构应对标国外技术参数、立足创新，包括底层的算法和硬件的开发，在关键技术方面各个击破，才能走出动捕产品基本靠进口的窘境。
- END -
技 术 | 职 场 | 业 界 | 活 动
电 子 业 内 权 威 社 群
千 余 专 家 群 策 群 力
欢 迎 加 入 与 非 微 信 群
- 添加微信，回复“关键词+公司+岗位”，即可入群
- 关键词：嵌入式、AI、RF、传感器、汽车电子、物联网、IC设计、EDA、PCB、开源硬件