如何使用 OpenVINO™ 生成式AI API (GenAI API) 以更少的代码构建更快的生成式AI应用

新的 OpenVINO™ 生成式AI API (GenAI API)为开发人员提供了更简单、更清晰的代码来维护。OpenVINO™也从计算机视觉和AI加速和优化库发展成为面向开发人员的生成式AI推动者。 作者:Raymond Lo, Dmitriy Pastushenkov, 武卓 Intel AI软件布道师 随着 ChatGPT 等聊天机器人的风暴席卷全球,生成式预训练Transformers

openlab_96bf3613 3天前
76 0 0

实战精选 | 使用OpenVINOTM和LlamaIndex构建Agentic-RAG系统

杨亦诚,英特尔高级 AI 工程师背景RAG系统的全称是Retrieval-augmented Generation,本质上是Prompt Engineering,通过在Prompt中注入检索得到的外部数据,可以有效地解决大语言模型在知识时效性和专业性上的不足。但同时传统的RAG系统也有它的缺陷,例如灵活性较差,由于RAG会过分依赖于向量数据库的检索结果,导致其在解决一些复杂问题的时候,只是一味地

openlab_96bf3613 3天前
88 0 0

基于Qwen-Agent与OpenVINOTM构建本地AI智能体

杨亦诚 Qwen2是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。Qwen2具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为AI Agent进行互动等多种能力。 图:智能体中工具使用执行逻辑 Qwen-Agent是一个AI智能体的开发框架。开发者可基于本框架开发Agent应用,充分利用基于通义千问模型(Qwen)的指令遵循、工具使用、规划、记忆能力。同时该框

openlab_96bf3613 3天前
76 0 0

OpenVINO2024.2 - 三行代码完成生成式AI部署

英特尔边缘计算创新大使 贾志刚 OpenVINO介绍OpenVINO2024.2版本跟之前版本最大的不同是OpenVINO2024.2分为两个安装包分别是基础包与生成式AI支持包,新发布的GenAI开发包支持C++与Python语言接口调用,支持多种LLM加载与推理部署能力,实现了OpenVINO对CNN网络、生成式模型、LLM网络主流模型的全面推理支持。安装包下载地址如下:https://doc

openlab_96bf3613 3天前
92 0 0

用 OpenVINO™ C# API 在intel平台部署 YOLOv10 目标检测模型

作者:英特尔边缘计算创新大使 颜国进 最近YOLO家族又添新成员:YOLOv10,YOLOv10 提出了一种一致的双任务方法,用于无nms训练的YOLOs,它同时带来了具有竞争力的性能和较低的推理延迟。此外,还介绍了整体效率-精度驱动的模型设计策略,从效率和精度两个角度对YOLOs的各个组成部分进行了全面优化,大大降低了计算开销,增强了性能。在本文中,我们将结合OpenVINO™ C# API 使

openlab_96bf3613 3天前
88 0 0