一、AIoT概述
AIoT(Artificial Intelligence & Internet of Things)中文译为人工智能物联网,是将人工智能(AI)与物联网(IoT)两者有机结合的一种技术。AI在这个系统中充当了大脑的角色,赋予了物联网更多的可能性,将万物互联提升到万物智联,如目前的智能医护助手、人体测温摄像头、智能配送机器人都是在AI的加持下得以实现。
据2019年的市场调查报告显示,2020年中国AIoT硬件市场及相关产业的规模将突破万亿元。目前AIoT的主流方案以边缘计算和云计算结合为主,相比之下,边缘计算有部署灵活、稳定性强、网络依赖度低、安全性强更有利于保护隐私的特点。作为布局AIoT的重要产品,ZLG发布了M1808 AI核心板。本文将针对M1808核心板的AI性能参数做具体讲解。
二、M1808平台简介
M1808平台是由M1808-T核心板和M1808-EV-Board评估底板组成,是基于Rockchip 的RK1808 AIoT处理器开发。RK1808处理器芯片采用CPU(Central Processing Unit,中文译为中央处理单元)+NPU(Network Process Unit,中文译为神经网络处理单元)双架构,其中CPU为1.6GHz双核Cortex-A35架构,NPU的峰值算力高达3.0TOPs,支持INT8/INT16/FP16混合运算,最大程度兼顾性能、功耗、运算精度,支持TensorFlow/MXNet/PyTorch/Caffe等一系列框架的网络模型转换,兼容性强。VPU视频处理单元支持1080P视频编解码,支持麦克风阵列,并具有硬件VAD功能,支持低功耗侦听远场唤醒,还支持摄像头视频信号输入,并具有内置ISP。M1808平台具有高性能、低功耗、易编程、集成NPU等特点。
三、AIoT硬件平台AI性能对比
算力和功耗是衡量硬件平台AI性能的重要参数。为了充分验证M1808的高性能、低功耗特点,表格1提供了M1808与其他产品的AI性能参数对比。通过对比可知,M1808 AI核心板能够最大程度的兼顾算力与功耗。这也使其在AIoT硬件平台上具有领先地位。
表格 1
四、常见AI功能的算力花销
考虑到读者对3.0 TOPs的算力很难有一个清晰的概念,在表格2中我们列出了常见AI功能所需要的算力花销:
表格 2
由表格可知,除了自动驾驶这种多模型融合、实际场景十分复杂多变的情形,大部分单一功能的实现所需的算力要求在1TOPS这个数量级。M1808作为目前具有代表性的嵌入式AI平台,具备了3.0 TOPs的基础算力,基本可以满足大部分场景的使用,如人脸门禁、扫脸支付、智能餐桌等。此外,如果对照片处理的实时性要求不高,比如山火识别,面对这种对网络模型的查全率要求很高的场景,就可以使用上结构更深的模型,来达到精度更高的效果。
五、神经网络推理速度
· 为了更直观地认识M1808的AI计算能力,在图表1中,我们分别在三种相同的神经网络模型下,对比M1808与常见手机芯片的网络神经网络运行时间。运行时间的长短可以反应出硬件平台AI计算能力。可以看到,对比当今主流的手机芯片,M1808的AI算力也毫不逊色,足以满足大部分AI功能需求。
图表 1
六、软件层面
除了提供强大的AI算力,M1808也提供了对应的AI开发套件来支持研发人员的开发工作。目前M1808的套件支持主流的tensorflow、tensroflow lite、caffe、darknet、onnx、pytorch等框架训练的模型,可以对其进行模型转换以便将模型部署到开发板上,我们还提供了自动量化及模型运行效率的评估功能,减少模型适配的工作量。
同时,M1808也提供了一些常用的AI模型可供开发人员调用,目前支持以下功能:人脸识别,司机疲劳驾驶检测系统,人脸关键点定位,人脸检测,物体检测,物体分类,纽扣方向的功能。目前的人脸识别精度在lfw上达到了99.7%,一万人脸库的情景下达到每秒10帧左右,支持年龄跨度、人脸部分遮挡和摘戴眼镜等户外及室内场景,更多的功能正在开发测试完善中,敬请期待。