使用 OpenVINO™ 和 LlamaIndex 构建 Agentic-RAG 系统
背景 RAG 系统的全称是 Retrieval-augmented Generation,本质上是 Prompt Engineering,通过在 Prompt 中注入检索得到的外部数据,可以有效地解决大语言模型在知识时效性和专业性上的不足。但同时传统的 RAG 系统也有它的缺陷,例如灵活性较差,由于 RAG 会过分依赖于向量数据库的检索结果,导致其在解决一些复杂问题的时候,只是一味地 “搬运” 检

OpenVINO™ C++ 在哪吒开发板上推理 Transformer 模型
作者:王国强 苏州嘉树医疗科技有限公司 算法工程师 指导:颜国进 英特尔边缘计算创新大使 1.1 OpenVINO™ 介绍 OpenVINO™ 是一个开源工具套件,用于对深度学习模型进行优化并在云端、边缘进行部署。它能在诸如生成式人工智能、视频、音频以及语言等各类应用场景中加快深度学习推理的速度,且支持来自 PyTorch、TensorFlow、ONNX 等热门框架的模型。实现模型的转换与优化,并

使用 OpenVINO™ 在 Linux AI 开发套件上实现实时人流统计:从入门到精通
作者:Anisha Udayakumar 英特尔AI软件布道师 武卓 英特尔AI软件布道师 介绍 基于 AI 的智能化、自动化人流统计在许多场景中都具有极大的实用价值。例如,在零售和购物中心中,它可以监控客流量,提升客户的购物体验;在公共交通中,它可以优化时间表并管理人群密度;在智能城市中,它有助于提升公共安全和改进城市规划。通过结合 OpenVINO™ 的模型优化和快速部署功能,以及搭载英特尔®

作者:算力魔方创始人 刘力 前面我们分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日,Meta又发布了Llama3.2:一个多语言大型语言模型(LLMs)的**,其中包括: 大语言模型:1B和3B参数版本,仅接收多种语言文本输入。 多模态模型:11B和90B参数版本,既能接收文本输入又能接收图像输入。 本文将介绍使用OpenVINO™ 2024.4在算力魔方上部署Ll

作者:杨亦诚,Ekaterina Aidova 多模态大模型的核心思想是将不同媒体数据(如文本、图像、音频和视频等)进行融合,通过学习不同模态之间的关联,实现更加智能化的信息处理。简单来说,多模态大模型可以可以理解多种不同模态的输入数据,并输出相应反馈结果,例如图像理解,语音识别,视觉问题等。 图:多模态大模型任务流程 多模态大模型都会将文本生成模型作为底座模型,以支持对话能力,其中千问团队近期发
