【哪吒开发板试用】使用 OpenVINO™ C# 异步推理接口部署YOLOv8 ——在哪吒开发板上也可以实现视频推理

有奖征文详情 原文链接:【哪吒开发板试用】使用 OpenVINO™ C# 异步推理接口部署YOLOv8 ——在哪吒开发板上也可以实现视频推理_openvino_椒颜皮皮虾྅-英特尔开发套件专区 2024 Intel®“走近开发者”互动活动-哪吒开发套件免费试用AI创新计划:哪吒开发板是专为支持入门级边缘AI应用程序和设备而设计,能够满足人工智能学习、开发、实训等应用场景。为了测试该开发板的推理性能

openlab_96bf3613 14天前
804 0 0

如何用 C++ 构建 OpenVINO™ 生成式 AI 应用

作者 | 武卓 英特尔 AI 软件布道师 介绍 许多桌面应用程序是使用 C++ 开发的,而将生成式AI(GenAI)功能集成到这些应用程序中可能会很具有挑战性,尤其是因为使用像 Hugging Face 这样的 Python 库的复杂性。C++ 结合 OpenVINO™ Runtime 提供了一个更加简化、轻量且内存高效的解决方案,尤其适用于 Windows 环境。你可以在此找到详细的依赖项对比

openlab_96bf3613 14天前
784 0 0

如何用 OpenVINO™ 在本地快速部署 Llama 3.2

作者 | 武卓 英特尔 AI 软件布道师 随着 Llama 3.2 的刚刚发布,最新的AI模型进展比以往更加易于获取。借助 OpenVINO™ 和 Optimum Intel 的无缝集成,你可以在本地 Intel 硬件上压缩、优化并运行这个强大的模型。在本指南中,我们将带你完成整个流程,从环境搭建到最终执行,帮助你以最少的努力充分发挥 Llama 3.2 的潜力。 第0步:为开发准备你的机器!

openlab_96bf3613 14天前
748 0 0

使用 OpenVINO™ 和 LlamaIndex 构建 Agentic-RAG 系统

背景 RAG 系统的全称是 Retrieval-augmented Generation,本质上是 Prompt Engineering,通过在 Prompt 中注入检索得到的外部数据,可以有效地解决大语言模型在知识时效性和专业性上的不足。但同时传统的 RAG 系统也有它的缺陷,例如灵活性较差,由于 RAG 会过分依赖于向量数据库的检索结果,导致其在解决一些复杂问题的时候,只是一味地 “搬运” 检

openlab_96bf3613 14天前
728 0 0

OpenVINO™ C++ 在哪吒开发板上推理 Transformer 模型

作者:王国强 苏州嘉树医疗科技有限公司 算法工程师 指导:颜国进 英特尔边缘计算创新大使 1.1 OpenVINO™ 介绍 OpenVINO™ 是一个开源工具套件,用于对深度学习模型进行优化并在云端、边缘进行部署。它能在诸如生成式人工智能、视频、音频以及语言等各类应用场景中加快深度学习推理的速度,且支持来自 PyTorch、TensorFlow、ONNX 等热门框架的模型。实现模型的转换与优化,并

openlab_96bf3613 14天前
640 0 0