加速英特尔® GPU上的大语言模型（LLM）：动态量化实用指南
作者：Mingyu Kim，高级资深工程师；武卓，AI 软件布道师 动态量化是一种强大的优化技术，能显著提升 Transformer 模型在英特尔® GPU（具备 XMX 硬件，如 Lunar Lake、Arrow Lake 以及 Alchemist、Battlemage 等系列的集成及独立显卡）上的性能。 本文将探讨： 什么是动态量化以及它在 OpenVINO™ 2025.2 中如何在 GPU
openlab_96bf3613
17天前
报名开启丨研讨会：OpenVINO™创新协作，赋能AI端侧落地
解锁AI高效部署新路径 共赴智能创新璀璨未来 人工智能浪潮汹涌澎湃的当下 如何让AI技术更快速、更高效地落地应用 成为众多开发者与行业人士关注的焦点 为此，OpenVINO™ DevCon 中国系列工作坊精心筹备 第四场将于8月22日以线上直播的形式盛大举行 本次线上盛会深度聚焦 AI模型优化与端侧应用落地的核心实践 旨在打通技术前沿与产业应用的关键环节 无论您是开发者还是AI爱好者 两大硬核技术
openlab_96bf3613
17天前
国内直连！亲测好用的ChatGPT平替方案，解决注册支付难题
老实说，自从深度体验过ChatGPT后，我真的离不开了。它就像一位24小时在线的全能助手，彻底融入进我的生活和工作的方方面面：健康小帮手： 早上感觉舌苔不对劲，随手一拍发给AI：“帮我看看是不是湿气重，脾胃有点不舒服？”它能给出初步分析，还能连续记录症状变化，方便后续总结给医生看。办公效率神器： 拿到一份格式混乱到让人抓狂的表格？丢给AI：“请按日期排序，合并重复项，统一格式。”以前吭哧吭哧半小时
openlab_7bf40019
17天前
模型介绍混元是腾讯开源的高效大语言模型系列，专为多样化计算环境中的灵活部署而设计。从边缘设备到高并发生产系统，这些模型凭借先进的量化支持和超长上下文能力，在各种场景下都能提供最优性能。系列模型包括预训练和指令微调两种变体，参数规模涵盖 0.5B、1.8B、4B 和 7B。混元官方仓库：https://modelscope.cn/models/Tencent-Hunyuan/Hunyuan-7B-I
openlab_96bf3613
23天前
利用 OpenVINO™ Day0 快速部署端侧可用的 MiniCPM-V4.0 视觉大模型
MiniCPM-V4.0 是 MiniCPM-V 系列中最新的高效模型，参数总量为 4B。该模型在 OpenCompass 评测中图像理解能力超越了 GPT-4.1-mini-20250414、Qwen2.5-VL-3B-Instruct 和 InternVL2.5-8B。凭借小巧的参数规模和高效的架构，MiniCPM-V4.0 是移动端部署的理想选择。OpenVINO™作为一个跨平台的深度学习模
openlab_96bf3613
24天前
