【哪吒开发板试用】基于哪吒开发套件开发LLM + RAG应用
关于哪吒开发板 哪吒（Nezha）开发套件以信用卡大小（85 x 56mm）的开发板-哪吒（Nezha）为核心，采用英特尔®处理器 N97（Alder Lake-N），结合了高性能和低功耗的特性。它支持四核 SoC，时钟频率高达 3.60GHz，TDP 仅为 12W。 其内置 GPU 用于 高分辨率显示。哪吒保持了 85mm x 56mm 信用卡大小的外形尺寸，与树莓派相同，包括高达 8GB 的
openlab_96bf3613
1月前
【哪吒开发板试用】（三）使用OpenVINO™ Model Server在哪吒开发板上部署模型
之前分享了哪吒开发板Ubuntu22.04系统的安装和基于OpenVINO(C++)推理Transformer模型的过程，这篇文章分享一下如何通过OpenVINO™ Model Server将模型部署在开发版上。OpenVINO™ Model ServerOpenVINO™ Model Server(OVMS)是一个高性能的模型部署系统，使用C++实现，并在Intel架构上的部署进行了优化，使用O
openlab_96bf3613
1月前
【哪吒开发板试用】（二）在iGPU上使用OpenVINO(C++)推理Transformer模型
上篇文章分享了哪吒开发板的开箱和Ubuntu22.04系统的安装，这篇文章将分享一下我使用哪吒开发板在iGPU上使用OpenVINO(C++)推理Transformer模型的过程。OpenVINO配置在OpenVINO官网下载linux版本的压缩包到开发板上将压缩包解压<span style="background-color:#282c34"><span style="color:#abb2bf
openlab_96bf3613
1月前
【哪吒开发板试用】（一）开发板开箱+Ubuntu22.04系统安装
7月底在我颜导的群里看到了2024 Intel®“走近开发者”互动活动，刚好最近项目在尝试使用OpenVINO进行部署，便申请了一张哪吒开发板试用，提交申请一两周收到官方初选通过的邮件，三天后开发板就通过顺丰快递到了我的手上，速度还是很快的。开发板介绍哪吒（Nezha）开发套件以信用卡大小（85 x 56mm）的开发板-哪吒（Nezha）为核心，采用英特尔®处理器 N97（Alder Lake-N
openlab_96bf3613
1月前
1、项目背景目前我们通过借助OpenVINO 平台可以在Intel平台上快速实现各种AI 能力，如目标检测、文生图、语音识别、语音生成、LLM等多种AI能力。但对于移动端或者边缘计算设备（树莓派、低成本MCU）支持不是特别的好，虽然在Android、树莓派等边缘计算设备或者移动设备上已经具备了TF Lite或者其他的小型AI推理框架，但对于推理设备还是有一定的要求，且部署需要一定的学习能力。所以项
openlab_96bf3613
1月前
