python -m pip install openvino-genai

关于安装的更多信息可以在这里找到。

运行推理
安装 OpenVINO 后，您可以开始在 GenAI 和 LLM 模型上运行推理。通过利用此 API，您可以加载模型，向其传递上下文，并仅使用几行代码接收响应。在内部，
OpenVINO处理输入文本的标记化，在您选择的设备上执行生成循环，并提供最终响应。让我们根据 openvino.genai 存储库中提供的chat_sample范例，在 Python 和 C++ 中逐步探索这个过程。
第一步: 必须使用 Hugging Face Optimum-Intel（在本例中，我们使用聊天调优的 Tiny Llama）下载 LLM 模型并将其导出为 OpenVINO IR 格式。对于此步骤，建议创建一个单独的虚拟环境，以避免任何依赖项冲突。例如
python -m venv openvino_venv
激活它，

openvino_venv\Script\activate

并安装依赖项，这是模型导出过程所必需的。这些要求可在 openvino.genai 仓库中找到

python -m pip install –upgrade-strategy eager -r requirements.txt

要下载和导出模型，请使用以下命令。

optimum-cli export openvino --trust-remote-code --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 TinyLlama-1.1B-Chat-v1.0

为了提高 LLM 推理期间的性能，我们建议对模型权重使用较低的精度，例如 INT4。在模型导出过程中，您可以使用神经网络压缩框架 （NNCF） 压缩权重，如下所示。

optimum-cli export openvino --trust-remote-code --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 -–weight-format int4 TinyLlama-1.1B-Chat-v1.0

此步骤中安装的虚拟环境和依赖项不再需要，因为模型只需导出一次。请随意从磁盘中删除此虚拟环境。

第二步: 通过 Python 或 C++ API 运行LLM文本生成的推理
通过新的 Python API 设置流水线：

pipe = ov_genai.LLMPipeline(model_path, "CPU")
print(pipe.generate("The Sun is yellow because"))

通过新的 C++ API 设置流水线：

int main(int argc, char* argv[]) {
std::string model_path = argv[1];
ov::genai::LLMPipeline pipe(model_path, "CPU");//target device is CPU
std::cout << pipe.generate("The Sun is yellow because"); //input context

如上所示， 构建 LLM 生成流水线现在只需要几行代码。这种简单性是由于从 Hugging Face Optimum-Intel 导出的模型已经包含执行所需的所有信息，包括 tokenizer/detokenizer 和生成配置，确保结果与 Hugging Face 生成一致。我们提供 C++ 和 Python API 来运行 LLM，对应用程序的依赖性和添加性最少。
提供的代码在 CPU 上运行，但通过将设备名称替换为“GPU”，可以很容易地使其在 GPU 上运行：
pipe = ov_genai.LLMPipeline(model_path, "GPU")
为了创建更具交互性的用户界面，我们添加了对流式模型输出标记的支持，以便在模型生成输出词后立即提供输出词， 也可以通过从流处理器返回 True 来随时停止令牌生成。
此外，有状态模型在内部运行，用于推理文本生成，从而加快生成速度并减少由于数据表示转换而产生的开销。因此，在输入之间保持 KV缓存被证明可能是有益的。用针对聊天的特定方法 start_chat 和 finish_chat标记对话会话来加以实现，如以下示例所示。
Python:

import argparse
import openvino_genai


def streamer(subword):
    print(subword, end='', flush=True)
    # Return flag correspods whether generation should be stopped.
    # False means continue generation.
    return False
model_path = TinyLlama-1.1B-Chat-v1.0

device = 'CPU'  # GPU can be used as well
pipe = openvino_genai.LLMPipeline(arg***odel_dir, device)

config = openvino_genai.GenerationConfig()
config.max_new_tokens = 100

pipe.start_chat()
while True:
    prompt = input('question:\n')
    if 'Stop!' == prompt:
        break
    pipe.generate(prompt, config, streamer)

    print('\n----------')
pipe.finish_chat()

C++:

#include "openvino/genai/llm_pipeline.hpp"

int main(int argc, char* argv[]) try {
    if (2 != argc) {
        throw std::runtime_error(std::string{"Usage: "} + argv[0] + " <MODEL_DIR>");
    }
    std::string prompt;
    std::string model_path = argv[1];

    std::string device = "CPU";  // GPU can be used as well
    ov::genai::LLMPipeline pipe(model_path, "CPU");
    
    ov::genai::GenerationConfig config;
    config.max_new_tokens = 100;
    std::function<bool(std::string)> streamer = [](std::string word) { 
        std::cout << word << std::flush;
        // Return flag correspods whether generation should be stopped.
        // false means continue generation.
        return false; 
    };

    pipe.start_chat();
    for (;;) {
        std::cout << "question:\n";
        
        std::getline(std::cin, prompt);
        if (prompt == "Stop!") 
            break;

        pipe.generate(prompt, config, streamer);
        
        std::cout << "\n----------\n";
    }
    pipe.finish_chat();
} catch (const std::exception& error) {
    std::cerr << error.what() << '\n';
    return EXIT_FAILURE;
} catch (...) {
    std::cerr << "Non-exception object thrown\n";
    return EXIT_FAILURE;
}

最后，以下是我们在 AI PC 上运行上述示例时得到的结果：


图 3：在 AI PC 上本地运行的基于 Llama 的聊天机器人的现场演示
总而言之 ，GenAI API 包括以下 API，可实现轻量级部署和代码编写：
generation_config – 用于启用生成过程自定义的配置，例如生成文本的最大长度、是否忽略句尾标记以及解码策略（贪心、波束搜索或多项式采样）的细节。
llm_pipeline - 提供用于文本生成的类和实用程序，包括用于处理输入、生成文本和使用可配置选项管理输出的流水线。
streamer_base - 用于创建 Streamer 的抽象基类。
tokenizer - 用于文本编码和解码的 Tokenizer 类。
visibility - 控制 生成式AI 库的可见性。

结论