使用英特尔独立显卡上加速HALCON AI推理

作者:张佳骥 MVTec 售前工程师;张晶 英特尔AI开发者市场部经理 1.1 什么是HALCONMVTec HALCON 是一款在全球范围内使用,综合性的机器视觉标准软件。它有一个专门的集成开发环境(HDevelop),专门用于开发图像处理解决方案。使用 MVTec HALCON,您可以: · 受益于灵活的软件架构 · 加快所有可行的机器视觉应用发展 · 保证快速进入市场 · 持续地降低成

openlab_4276841a 4月前
3172 0 0

如何利用低比特量化技术进一步提升大模型推理性能

作者:杨亦诚 针对大语言模型(LLM)在部署过程中的性能需求,低比特量化技术一直是优化效果最佳的方案之一,本文将探讨低比特量化技术如何帮助LLM提升性能,以及新版OpenVINO™ 对于低比特量化技术的支持。 · 大模型性能瓶颈相比计算量的增加,大模型推理速度更容易受到内存带宽的影响(memory bound),也就是内存读写效率问题,这是因为大模型由于参数量巨大、访存量远超内存带宽容量,意味着模

openlab_4276841a 4月前
3124 0 0

如何在LangChain中调用OpenVINO加速大语言模型

作者:杨亦诚 LangChain简介 LangChain是一个高层级的开源的框架,从字面意义理解,LangChain可以被用来构建 “语言处理任务的链条”,它可以让AI开发人员把大型语言模型(LLM)的能力和外部数据结合起来,从而去完成一些更复杂的任务。简单来说,LangChain可以让你的LLM在回答问题时参考自定义的知识库,实现更精确的答案输出。例如在以下这个Retrieval Augment

openlab_4276841a 4月前
2412 0 0

2023 英特尔On技术创新大会中国站,最佳“游览指南”来了!

2023英特尔On技术创新大会中国站即将上线! 中国专家将深度讲解最新一代增强 AI 能力的计算平台,支持开放、多架构的软件方案和工具,塑造未来的技术和应用创新。大会有哪些干货分享值得期待?预告来袭,精彩先知!收藏这份大会“游览指南”,将大会旅程中的亮点一网打尽!英特尔面向智算时代开发者的年度盛大旅程12 月 19 日 09:00 正式发车!起始站:2场主题演讲,开启开发者盛会主题:芯生无限 赋能

openlab_4276841a 4月前
1316 0 0

当OpenVINO不支持你所部署模型算子时,你该如何做?

作者:英特尔边缘计算创新大使 颜国进 1. 前言英特尔发行版 OpenVINO™工具套件基于oneAPI 而开发,可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件,适用于从边缘到云的各种英特尔平台上,帮助用户更快地将更准确的真实世界结果部署到生产系统中。通过简化的开发工作流程, OpenVINO™可赋能开发者在现实世界中部署高性能应用程序和算法。 OpenVINO™ 2023.2于2

openlab_4276841a 4月前
1820 0 0