使用AsyncInferQueue进一步提升AI推理程序的吞吐量
作者： 战鹏州 英特尔物联网行业创新大使 本文将介绍基于OpenVINO的异步推理队列类AyncInferQueue，启动多个(＞2)推理请求(infer request)，帮助读者在硬件投入不变的情况下，进一步提升AI推理程序的吞吐量(Throughput)。 在阅读本文前，请读者先了解使用start_async()和wait()方法实现基于2个推理请求的异步推理实现方式。该异步推理实现方式相对
openlab_4276841a
1年前
在企业的数字化之旅中，网络的价值已不仅是连接员工、业务、客户的工具，更要帮助企业实现高速、安全、可靠的云端业务接入，并支持边缘计算应用。 与传统网络架构相比，当下大热的广域软件定义网络 (SD-WAN)技术拥有怎样的优势？让 SD-WAN “更香”的 uCPE 又是何方神圣？ 01 uCPE 推动企业网络架构变革 SD-WAN 建立在透明、可控、可预测的白盒架构基础上，可以定义与虚拟化出需要的网络
openlab_4276841a
1年前
从电商、互联网+新零售，再到智慧零售，零售业从未停止创新和转型的脚步。而每一次变革都离不开技术力量的驱动：AI、大数据、物联网、边缘计算等数字化技术，推动了由数据驱动的消费者个性化体验升级和零售业务重塑。 在数智化转型这条必经之路上，在日趋同质化的激烈竞争中，零售企业如何解锁更低成本、更高效率、以及更多消费者青睐？ 答案尽在1月12日，线上直播芯零售 智**2023 英特尔智慧零售卓越纷享会扫码
openlab_4276841a
1年前
基于OpenVINO™ 2022.2与oneAPI构建GPU视频分析服务流水线 第二篇
以下文章来源于OpenVINO 中文社区 ，作者杨亦诚 OpenVINO 中文社区.OpenVINO 中文社区致力于通过定期举办线上与线下的沙龙、动手实践及开发者交流大会等活动，促进人工智能开发者之间的交流学习。作者：杨亦诚前文回顾:基于OpenVINO™ 2022.2与oneAPI构建GPU视频分析服务流水线-第一篇 任务背景 在 Part 1 部分我们已经讨论了如何在英特尔® GPU 设备上利
openlab_4276841a
1年前
