英特尔物联网创新大使 黄明明项目背景 之前在很久之前看到这样一个设备（口袋AI设备 rabbit R1）（https://www.rabbit.tech/），可以在很小的便携设备上进行大模型交互，这种带来非常新鲜体验的感觉特别好，所以简单分析了一下，首先在本地推理有点不太可能，原因计算不足，如果计算足功耗和温升也顶不住，所以大致上为本地调用云端大语言模型，然后本地进行结果处理。这个时候有了简单的分
openlab_96bf3613
20天前
OpenVINO™ C# API 最新升级：支持 2024.3 Runtime和更多得C#框架
英特尔物联网创新大使 颜国进 1.1 版本更新 各位开发者大家好，目前OpenVINO官方已经发布了最新版本的Runtime 2024.3.0，因此我们根据官方发布的最新版本已经更新了OpenVINO Runtime NuGet包2024.3.0.1，大家可以下载进行测试使用。 此外也对OpenVINO CSharp API程序集进行了更新，修复了一些接口错误，此外本此发布同时编译了多个框架的程序
openlab_96bf3613
20天前
隆重推出 OpenVINO™ 2024.3: 增强的多头注意力、OneDNN 及vLLM集成显著提升LLM性能
我们很高兴地宣布，OpenVINO™ 2024.3 现已正式推出！本次更新带来了新的功能并对现有功能进行了增强，尤其是大型语言模型 （LLM） 的性能。我们将介绍此版本中的关键改进，更完整的列表，请参阅 发行说明. Hugging Face上的模型专区Hugging Face 作为发现和获取 AI 模型的首选平台，越来越受欢迎。您现在可以在Hugging Face上找到一系列OpenVINO的预
openlab_96bf3613
20天前
OpenVINO™ 2024.2 发布--推出LLM专属API ！服务持续增强，提升AI生成新境界
对我们来说，这是非常忙碌的几周，因为我们正在努力根据您的反馈改进我们的产品特性，并扩展生态系统以涵盖其它场景和用例。 让我们看看我们所做的最重要的更改。有关更详细的列表，您可以随时参考我们的完整 [新版本说明]。隆重推出 OpenVINO.GenAI 软件包和 LLM特定 API生成式 AI 正在被应用程序设计人员快速地使用着。这不仅体现在使用来自商业云服务模型的传统REST API形式上，而且还
openlab_96bf3613
1月前
作者：英特尔创新大使 刘力 英特尔开发者技术推广经理 李翊玮 1.1 零一万物Yi-1.5简介 2024年5月13日，零一万物发了Yi-1.5系列模型。Yi-1.5系列模型在一个包含5000亿个标记的高质量语料库上进行持续的预训练得到增强，并且还在300万个多样化的微调样本上进行了微调。 Github repo: https://github.com/01-ai/Yi-1.5 与Yi相比，Yi-
openlab_96bf3613
1月前
