升级后的OpenVINO :让边缘更智能,让AI更实用,让应用更强大
转自:英特尔物联网
这年头,如果你的物联网和边缘计算中没有集成 AI ,都不好意思跟人打招呼。
Gartner预计:到2022年,将有80%的企业物联网项目把 AI 作为主要组成部分。有了 AI 加持的物联网,正在逐渐蔓延这个世界。其中,市场调研公司 Mordor Intelligence 判断:到 2026 年,基于边缘的机器学习将会推动 AI 物联网市场达到每年 27.3% 的复合增长率。
不过,想要开发边缘计算 AI 应用,却不容易。你要面对的是千变万化的硬件组合、纷繁复杂的网络结构、多种多样的算法和模型。无论是开发、优化,还是部署、落地,千头万绪,难以下手。
最近,英特尔刚刚发布了 OpenVINO 2021.2 版本,可以免除上述后顾之忧,帮你轻松开发更实用、更智能的高性能 AI 物联网应用。
一、让边缘计算更智能
OpenVINO 2021.2 版本中的英特尔 DevCloud for the Edge,集成了英特尔 Deep Learning Workbench。这是一套托管在云环境中的硬件平台,专门用于深度学习。开发者不需要设置任何本地硬件,只需借助 OpenVINO,就能组合多种不同远程硬件配置,包括:英特尔 CPU、GPU、英特尔神经计算棒 2、英特尔 Arria 10 FPGA 等等,然后针对这些不同配置,在云上完成多种机器学习模型的图形化分析、比较和调优。使用这样的方式,开发者可以提前了解所需的软硬件知识,从而避免潜在陷阱,还可以优化性能,并确认需要采购的硬件,从而加快产品上市速度。
二、让AI更实用
OpenVINO 2021.2 提供了多种全新预训练模型,可以提升开发效率。其中的公开模型包括:面向物体识别的 Yolov4、面向语音识别的 AISpeech、面向语义分割的DeepLabv3。全新的预训练模型有:数学公式手写识别、通用手语识别、文本转语音;更新过的预训练模型有:人体姿势检测、机器翻译。所有这些,便于我们开发更多、更贴近生活的人工智能应用,实现“技术让世界更美好”的愿景。
三、让应用更强大
应用要想强大,性能表现很重要。2021.2 版本的 OpenVINO,针对使用Tensorflow Quantization-Aware(对权重进行逐通道量化)方式训练的模型,模型优化器新增了相应的逐通道量化支持,以高效的模型压缩,降低延时,提高性能。强大的应用,安全当然也是重中之重。2021.2 版本提供了全新的安全插件,使用安全打包和执行,控制模型的访问权限。该插件基于 KVM 虚拟机和 Docker 容器,部署起来快速方便。此外,对于 Red Hat Enterprise Linux (RHEL) 8.2 的支持,让 OpenVINO 的应用场景更加广泛。
机器学习应用的开发,需要走过模型训练、模型优化、模型部署这三大环节。OpenVINO 2021.2 在各个环节都有相应提升。
1、模型训练:
内置的 Open Model Zoo 中,新增多种预训练模型,目前已经支持超过 100 个模型,同时在性能和精度上都有提升。
2、模型优化:
增加开放神经网络交换格式 ONNX 的多种操作,从而提升了通用性;针对 TensorFlow、MXNet 等模型也增加了多种操作支持,让开发者的选择更灵活、多样。
3、模型部署:
OpenVINO Model Server 是针对部署的高性能可扩展工具,其中的部署管理器(Deployment Manager)可以创建最小部署包,将推理程序部署到不同硬件设备中,包括英特尔的凌动、酷睿、至强、IRIS PRO显卡、Movidius、GNA 以及 ARRiA 等多种计算硬件。
IT 业界著名的 Eclipse 基金会, 有一个下属的 IoT 调研组,他们在 2020 年的一次调研发现:在边缘计算的负载中,人工智能最为常见,占到 30%。
现在,有了 OpenVINO 这样的 AI 物联网开发利器,你还不赶紧用起来吗?