利用OpenVINO™实现混合式AI部署：迈向无所不在的人工智能
作者：英特尔AI软件布道师 武卓博士随着人工智能技术的飞速发展，AI的应用已经渗透到日常生活的各个方面。为了更有效地利用AI技术，混合式AI部署成为了一个重要趋势。这种部署方式结合了云端和边缘计算的优势，使得AI应用更为灵活和高效。本文将探讨OpenVINO™如何助力混合式AI部署，实现AI的无所不在。点击观看视频混合式AI部署简介混合式AI部署是指将AI模型同时部署在云端和边缘设备上。这种方法
openlab_96bf3613
1年前
隆重介绍OpenVINO 2024.0: 为开发者提供更强性能和扩展支持
作者：武卓 英特尔 AI 软件布道师 欢迎来到OpenVINO 2024.0，我们很高兴在这里推出一系列增强功能，旨在在快速发展的人工智能领域为开发者赋能！此版本通过动态量化、改进的GPU优化以及对混合专家架构的支持，增强了大语言模型（LLM）的性能。OpenVINO 2024.0使开发者能够有效利用人工智能加速，并对来自社区的持续贡献表示感谢。大语言模型推理的提升大语言模型（LLM）没有消失的
openlab_96bf3613
1年前
基于 EdgeX + OpenVINO™ 的边缘智能融合** YiFUSION
作者：上海亿琪软件有限公司 CEO 褚建琪Linux基金会亚太区开源布道者 张晶1.1 应用场景简介有边缘智能需求的大部分客户已经对 AI 推理和边缘计算有一定的了解，都希望可以将边缘数采和AI 推理结合在一起，实现硬件资源的充分利用，完成更高层次的业务结合。l 英特尔® 视频 AI 计算盒：已经兴起一段时间，各种业务场景使用的推理模型不计其数，调优和再训练已经成了当前的热门工作内容。l 边缘数
openlab_96bf3613
1年前
千元开发板，百万可能：OpenVINO™ 助力谷歌大语言模型Gemma 实现高速智能推理
作者：武卓博士，英特尔 AI 软件布道师 大型语言模型（LLM）正在迅速发展，变得更加强大和高效，使人们能够在广泛的应用程序中越来越复杂地理解和生成类人文本。谷歌的 Gemma 是一个轻量级、先进的开源模型新家族，站在 LLM 创新的前沿。然而，对更高推理速度和更智能推理能力的追求并不仅仅局限于复杂模型的开发，它扩展到模型优化和部署技术领域。OpenVINO™ 工具套件因此成为一股引人注目的力量，
openlab_96bf3613
1年前
开发者实战 | OpenVINO™ 协同 Semantic Kernel：优化大模型应用性能新路径
作者：杨亦诚 【摘要】作为主要面向 RAG 任务方向的框架，Semantic Kernel 可以简化大模型应用开发过程，而在 RAG 任务中最常用的深度学习模型就是 Embedding 和 Text completion，分别实现文本的语义向量化和文本生成，因此本文主要会分享如何在 Semantic Kernel 中调用 OpenVINO™ runtime 部署 Embedding 和 Text
openlab_96bf3613
1年前
