一键加载GGUF！OpenVINO™ GenAI让大模型推理更快更轻
作者：武卓，AI软件布道师；杨粟， AI软件解决方案工程师；陈天萌，AI软件解决方案工程师 引言 大语言模型（LLM）正日益被优化，以适应本地端和边缘设备的部署。在众多轻量化推理格式中，GGUF（General Graph Unified Format，通用图统一格式）是最受欢迎的格式之一。它由 llama.cpp 社区提出，用于高效存储量化后的模型权重，以实现快速的 CPU 和 GPU 推理。
openlab_96bf3613
8小时前
英特尔Day 0高效适配Qwen3新模型，打造智能体提升原生AI PC流畅体验
伴随阿里巴巴通义实验室发布Qwen3-VL中小尺寸模型，英特尔宣布已在Day 0完成了针对该模型的适配，并实现对近期发布的Qwen3-Next模型的高效部署。全新模型在搭载英特尔® 酷睿™ Ultra处理器的AI PC上均展现了流畅的运行表现，充分发挥其CPU、GPU、NPU的XPU架构优势，并带来优异的系统性能提升和流畅的用户体验。这也彰显了英特尔致力于持续赋能AI技术创新、积极推动模型生态合作
openlab_96bf3613
8天前
OpenVINO™ 2025.3: 更多生成式 AI，释放无限可能
作者：武卓介绍在多种设备上高效运行 AI 模型，本该如此简单！ OpenVINO™ 是 Intel 推出的开源工具套件，专为开发者打造，让 AI 模型能够在 CPU、GPU 与 NPU 上实现极致优化与快速部署。全新 OpenVINO™ 2025.3 版本，为你带来更快的上手体验和更强大的性能。此次升级，重点聚焦 生成式 AI：新增多种前沿模型支持，推出全新 GenAI 流水线，并全面扩展了 Op
openlab_96bf3613
1月前
前段时间在整理知识库时，我需要把表格里的问题和相似问题对应起来，让系统能自动调用答案回复。要是放在以前，面对几十条甚至上百条数据，只能一条条人工翻译，效率非常低。这次我尝试把文档交给 AI 工具处理，只调整了两次提问方式，就得到了符合要求的输出，直接**进 Excel 就能用，省了不少时间。也算是个小体会：用 AI 时，第一次可能不一定顺利，但换个表达方式，让它更容易“听懂”，往往就能得到理想的结
openlab_7bf40019
1月前
