作者 | Anisha Udayakumar 英特尔AI软件布道师 武卓 英特尔AI软件布道师在前一篇博客文章中，我们介绍了启动和运行 AI 医疗助手的基础知识之后，是时候探索如何为不同行业定制AI助手并使用我们这个边缘AI套件的基础代码集成各种模型了。1. 为不同行业定制助手医疗保健应用：加强患者互动并简化问诊流程。其它行业应用：零售领域: 为消费者提供更详细的产品介绍和推荐
openlab_96bf3613
2月前
用OpenVINO™ 生成式AI的C++ API部署Llama3.1模型丨开发者实战
作者：东莞职业技术学院 虞晓琼 博士 《五行代码实现Llama3.1在英特尔® 酷睿™ Ultra处理器上的部署》介绍了使用optimum-intel工具包，基于Transformers库的编程风格，实现大语言模型(LLMs)的部署。 《用OpenVINO™ 生成式AI API在酷睿™ Ultra处理器上部署Llama3.1模型》介绍了使用openvino-genai工具包，仅用两个OpenVI
openlab_96bf3613
2月前
英特尔物联网创新大使 黄明明项目背景 之前在很久之前看到这样一个设备（口袋AI设备 rabbit R1）（https://www.rabbit.tech/），可以在很小的便携设备上进行大模型交互，这种带来非常新鲜体验的感觉特别好，所以简单分析了一下，首先在本地推理有点不太可能，原因计算不足，如果计算足功耗和温升也顶不住，所以大致上为本地调用云端大语言模型，然后本地进行结果处理。这个时候有了简单的分
openlab_96bf3613
3月前
OpenVINO™ C# API 最新升级：支持 2024.3 Runtime和更多得C#框架
英特尔物联网创新大使 颜国进 1.1 版本更新 各位开发者大家好，目前OpenVINO官方已经发布了最新版本的Runtime 2024.3.0，因此我们根据官方发布的最新版本已经更新了OpenVINO Runtime NuGet包2024.3.0.1，大家可以下载进行测试使用。 此外也对OpenVINO CSharp API程序集进行了更新，修复了一些接口错误，此外本此发布同时编译了多个框架的程序
openlab_96bf3613
3月前
隆重推出 OpenVINO™ 2024.3: 增强的多头注意力、OneDNN 及vLLM集成显著提升LLM性能
我们很高兴地宣布，OpenVINO™ 2024.3 现已正式推出！本次更新带来了新的功能并对现有功能进行了增强，尤其是大型语言模型 （LLM） 的性能。我们将介绍此版本中的关键改进，更完整的列表，请参阅 发行说明. Hugging Face上的模型专区Hugging Face 作为发现和获取 AI 模型的首选平台，越来越受欢迎。您现在可以在Hugging Face上找到一系列OpenVINO的预
openlab_96bf3613
3月前
