隆重介绍OpenVINO 2024.0: 为开发者提供更强性能和扩展支持
作者：武卓 英特尔 AI 软件布道师 欢迎来到OpenVINO 2024.0，我们很高兴在这里推出一系列增强功能，旨在在快速发展的人工智能领域为开发者赋能！此版本通过动态量化、改进的GPU优化以及对混合专家架构的支持，增强了大语言模型（LLM）的性能。OpenVINO 2024.0使开发者能够有效利用人工智能加速，并对来自社区的持续贡献表示感谢。大语言模型推理的提升大语言模型（LLM）没有消失的
openlab_96bf3613
1月前
基于 EdgeX + OpenVINO™ 的边缘智能融合** YiFUSION
作者：上海亿琪软件有限公司 CEO 褚建琪Linux基金会亚太区开源布道者 张晶1.1 应用场景简介有边缘智能需求的大部分客户已经对 AI 推理和边缘计算有一定的了解，都希望可以将边缘数采和AI 推理结合在一起，实现硬件资源的充分利用，完成更高层次的业务结合。l 英特尔® 视频 AI 计算盒：已经兴起一段时间，各种业务场景使用的推理模型不计其数，调优和再训练已经成了当前的热门工作内容。l 边缘数
openlab_96bf3613
1月前
千元开发板，百万可能：OpenVINO™ 助力谷歌大语言模型Gemma 实现高速智能推理
作者：武卓博士，英特尔 AI 软件布道师 大型语言模型（LLM）正在迅速发展，变得更加强大和高效，使人们能够在广泛的应用程序中越来越复杂地理解和生成类人文本。谷歌的 Gemma 是一个轻量级、先进的开源模型新家族，站在 LLM 创新的前沿。然而，对更高推理速度和更智能推理能力的追求并不仅仅局限于复杂模型的开发，它扩展到模型优化和部署技术领域。OpenVINO™ 工具套件因此成为一股引人注目的力量，
openlab_96bf3613
1月前
开发者实战 | OpenVINO™ 协同 Semantic Kernel：优化大模型应用性能新路径
作者：杨亦诚 【摘要】作为主要面向 RAG 任务方向的框架，Semantic Kernel 可以简化大模型应用开发过程，而在 RAG 任务中最常用的深度学习模型就是 Embedding 和 Text completion，分别实现文本的语义向量化和文本生成，因此本文主要会分享如何在 Semantic Kernel 中调用 OpenVINO™ runtime 部署 Embedding 和 Text
openlab_96bf3613
1月前
作者：英特尔创新大使 刘力1.1 Qwen-7B-Chat简介Qwen-7B-Chat是阿里云通义千问系列中的一个专门针对聊天场景优化的模型版本，其参数规模同样为70亿（7B）。该模型继承了通义千问大模型的基本架构和特性，通过针对性的数据训练和调整，增强了在开放性对话和闲聊方面的表现能力。相比通义千问7B通用模型，7B-Chat更加擅长进行自然流畅的多轮交互式对话，适用于社交机器人、客服系统等应用
openlab_96bf3613
1月前
