1、WWB 工具介绍

WWB 工具全称为 who_what_benchmark，是 OpenVINO™ GenAI 中的生成式 AI 模型简易准确率基准测试工具，主要用于评估转换或量化压缩后模型与原版模型的相似度，也是社区优选模型的重要评审工具。其核心思路是通过计算两个模型（如基线模型与优化模型）生成数据的嵌入相似度得分来评估性能，这些数据可由不同工具推理生成，相似度得分能反映数据间的整体相近程度。WWB 为支持用例提供默认数据集，且插入和使用自定义数据集较为便捷。

再说下 OpenVINO™ GenAI ，它是一款简化生成式 AI 模型推理的工具。它基于 OpenVINO™ Runtime，隐藏了生成过程的复杂性，并最大限度地减少了所需的代码量。您只需向该工具提供模型和输入上下文，它便会对输入文本进行分词，在选定的设备上执行生成循环，并返回生成的内容。

本例全部在 Ubuntu 系统中演示。

2、首先创建虚拟环境

python3 –m venv en2source env2/bin/activate

3、下载 WWB 工具

该工具为 OpenVINO™ GenAI 的一部分，先下载 OpenVINO™ GenAI

git clone https://github.com/openvinotoolkit/openvino.genai.git

然后这里我使用的 commit 值为 811056b1b9632f006bd97c20cbf53876c53d3a37

切换到该版本

git checkout 811056b1b9632f006bd97c20cbf53876c53d3a37

请注意！如果未来需要支持更多的模型，建议使用更新的版本。

然后**该工具到自己的用户目录

cd openvino.genaicp -r tools/who_what_benchmark  /home/rainhenry/AIGC/20251119_WWB/

**好以后的样子：

4、编译安装依赖的工具

该工具依赖的几个关键包也需要采用源码编译

首先是 AutoGPTQ-0.7.1 下载地址

https://github.com/AutoGPTQ/AutoGPTQ/archive/refs/tags/v0.7.1.tar.gz

先解压

tar -xvf AutoGPTQ-0.7.1.tar.gz

然后安装依赖

pip install torch --index-url https://download.pytorch.org/whl/cpupip install “huggingface-hub>=0.34.0”

中间有报错先忽略

然后编译

cd AutoGPTQ-0.7.1export BUILD_CUDA_EXT=0python3 setup.py buildpython3 setup.py installcd ..

5、编译安装 WWB

cd who_what_benchmarkpip install -r requirements.txtpip install .

注意！这个很重要，不要用 python3 setup.py install 安装，否则会有问题

当一切安装成功后，whowhatbench 的版本信息如下：

6、下载原版 Qwen3-4B 模型进行评估

下载地址 https://modelscope.cn/models/Qwen/Qwen3-4B

使用命令

wwb --base-model /home/rainhenry/AIGC/20251119_PTLLNL/Qwen3-4B --gt-data gt.csv --model-type text --hf

进行生成基准测试文件：gt.csv

注意！这个步骤需要访问 huggingface，请注意网络环境的配置

成功生成的文件如下：

7、下载转换为后的 Qwen3-4B-int4-ov 进行对比

下载地址 https://modelscope.cn/models/OpenVINO/Qwen3-4B-int4-ov

采用 optimum-intel 的推理方式，使用命令对比之前生成的基准 gt.csv，命令如下：

wwb --target-model /home/rainhenry/AIGC/20251119_PTLLNL/Qwen3-4B-int4-ov --gt-data gt.csv --model-type text

结果如图：

它的意思是和原始模型相比，相似度高达 92.5%

如果使用 OpenVINO™ GenAI 的方式，命令如下：

wwb --target-model /home/rainhenry/AIGC/20251119_PTLLNL/Qwen3-4B-int4-ov --gt-data gt.csv --model-type text --genai

相似度达到了 93.2%

所以这就很容易就能反映出，我们自己转换的模型，或者经过量化和压缩以后的模型，相比于原始模型的具体数量上变化参考。它将作为优选模型的主要依据。

除了 LLM 以外，这个 WWB 工具还支持其他类型的相似度计算，可以通过

wwb --help

命令查看，目前支持下面的模型类型

参考链接：

WWB 帮助文档：

https://github.com/openvinotoolkit/openvino.genai/blob/master/tools/who_what_benchmark/README.md

AutoGPTQ 项目：

https://github.com/AutoGPTQ/AutoGPTQ

模型的下载：

https://modelscope.cn/doc***odels/download

环境参考 (pip list)：

© 著作权归作者所有