社区贡献者分享 | OpenVINO™ 代码贡献助力我的开源之路
![](/site_media/static/img/headImg/defaultHead.png)
作者:占俊坚
摘要
在 OpenVINO™ 2024.1 release 版本中,我为 OpenVINO™ 添加了 TensorFlow 中的 Rint operation 以及 PyTorch 中的 aten::bucketize operation 的支持,在此分享我的实现过程,给有兴趣参与 OpenVINO™ 开源项目的同学参考,希望大家都能积极参与到社区建设当中来!
OpenVINO™ 代码贡献持续开放中,感兴趣的同学可以点击“化身英特尔‘Issues 猎手’,共创百万用户开源生态!”了解详情。
介绍
OpenVINO™ 中用来支持 TensorFlow 模型的前端组件称为 TensorFlow Frontend (简称“TF FE” )。TF FE 将一个用 TensorFlow opset 表示的模型转成用 OpenVINO™ opset 表示的模型。为了支持模型中含有 Rint 操作的模型的推理,TF FE 需要支持这个操作。同理 PyTorch 前端需要支持 aten::bucketize 操作。
TensorFlow operation 开发过程
1.在 TF FE 的 op 目录为 Rint 实现对应的 loader
一个 loader 负责对一种 TensorFlow 操作进行转换。loader 的职责就是解析 operation 的 attributes, 读取输入,并通过 OpenVINO™ 已有的 operations 去表达。以我的实现为例,我实现了 src/frontends/tensorflow_common/src/op/rint.cpp 文件,内容如下:
// Copyright (C) 2018-2024 Intel Corporation
// SPDX-License-Identifier: Apache-2.0
//
#include "common_op_table.hpp"
#include "openvino/op/round.hpp"
using namespace std;
using namespace ov::op;
namespace ov {
namespace frontend {
namespace tensorflow {
namespace op {
OutputVector translate_rint_op(const NodeContext& node) {
default_op_checks(node, 1, {"Rint"});
auto input = node.get_input(0);
// using default round mode "half_to_even" in openvino,
// as TF has only that mode
auto round_mode = v5::Round::RoundMode::HALF_TO_EVEN;
auto re*****ake_shared(input, round_mode);
set_node_name(node.get_name(), res);
return res->outputs();
}
} // namespace op
} // namespace tensorflow
} // namespace frontend
} // namespace ov
loader 输入的 NodeContext 包含 Rint 的所有的 inputs 和 attributes 。首先使用 default_op_checks 函数校验 Rint 操作已被支持,且输入的个数大于1。然后通过 get_input 方法获取输入。根据 Tensorflow 文档中对 Rint 的定义,在 OpenVINO™ 的 Operation Sets 文档中 https://docs.openvino.ai/archive/2023.2/openvino_docs_ops_opset13.html 找到可以表达 Rint 的 v5::Round(注:复杂的 Operation 可能需要组合使用多个 OpenVINO™ 的 Operation)。最后返回包含输出的 vector。
(1)注册 Rint Operation
分别在 src/frontends/tensorflow/src/op_table.cpp 中加上一行 {"Rint", CreatorFunction(translate_rint_op)}, 在 src/frontends/tensorflow_common/include/common_op_table.hpp 加上一行 OP_CONVERTER(translate_rint_op); 来注册该 Operation。
(2)Build 项目
编译 build 整个 OpenVINO™ 项目。可能需要解决代码规范问题,以及可能出现的编译错误。注意新手在 build 的时候可能会踩坑,注意仔细查看相应平台的 build 文档如 build_linux.md,一步一步操作。例如这个例子中,需要加上文档中提示的编译 Python API 所需要的 -DENABLE_PYTHON=ON 选项。
(3)实现对应单测并验证
在 tests/layer_tests/tensorflow_tests/test_tf_Rint.py 目录中实现对应的单测,如下所示:
# Copyright (C) 2018-2024 Intel Corporation
# SPDX-License-Identifier: Apache-2.0
import numpy as np
import pytest
import tensorflow as tf
from common.tf_layer_test_class import CommonTFLayerTest
class TestRint(CommonTFLayerTest):
def _prepare_input(self, inputs_info):
assert 'input:0' in inputs_info
inputs_shape = inputs_info['input:0']
inputs_data = {}
rng = np.random.default_rng()
inputs_data['input:0'] = rng.uniform(-5.0, 5.0, inputs_shape).astype(self.input_type)
return inputs_data
def create_tf_rint_net(self, input_shape, input_type):
self.input_type = input_type
tf.compat.v1.reset_default_graph()
with tf.compat.v1.Session() as sess:
input = tf.compat.v1.placeholder(input_type, input_shape, 'input')
tf.raw_ops.Rint(x=input)
tf.compat.v1.global_variables_initializer()
tf_net = sess.graph_def
ref_net = None
return tf_net, ref_net
@pytest.mark.parametrize("input_shape", [[], [6], [2, 5], [5, 4, 1]])
@pytest.mark.parametrize("input_type", [np.float32, np.float64])
@pytest.mark.precommit
@pytest.mark.nightly
def test_rint_basic(self, input_shape, input_type, ie_device, precision,
ir_version, temp_dir, use_legacy_frontend):
self._test(*self.create_tf_rint_net(input_shape, input_type),
ie_device, precision, ir_version, temp_dir=temp_dir,
use_legacy_frontend=use_legacy_frontend)
通过 @pytest.mark.parametrize 装饰器配置单测的输入的 shape 和 type,注意要配置输入 shape 为空的 corner case。在 create_tf_rint_net 方法中定义包含 Rint 操作的网络。在 _prepare_input 方法中根据输入的 shape 和 type,随机生成输入的 tensor。
实现之后,执行以下命令开始测试:
export TEST_DEVICE=CPU
cd openvino/tests/layer_tests/tensorflow_tests
pytest test_tf_Shape.py
小 Tips:
1.pytest 加上 -s 选项,否则 pytest 不打印 print 的结果到标准输出。
2.pytest 加上 —maxfail=1 可以在第一组测试用例 fail 的时候停止,防止 console 出现过多的错误用例信息。或者也可以在 pytest.mark.parametrize 装饰器可以先配置一组参数,调通后再添加多组参数。
3.单测的实现可以多参考同目录的其他 operation 单测,基本涵盖了各种情况的测试。
整个 PR 的链接为 https://github.com/openvinotoolkit/openvino/pull/24059/file****r/>PyTorch operation 开发过程
实现步骤及思路同上面的 TensorFlow operation 一致。以我实现的 aten::bucketize operation 为例。
在 PyTorch 的文档中查阅 torch.bucketize 的签名如下torch.bucketize(input, boundaries, ***, out_int32=False, right=False, out=None) → Tensor
然后在 OpenVINO™ 的 opset 文档查阅到可用的 v3::Bucketize 进行相应的转换。
// Copyright (C) 2018-2024 Intel Corporation
// SPDX-License-Identifier: Apache-2.0
//
#include "openvino/op/bucketize.hpp"
#include "openvino/frontend/pytorch/node_context.hpp"
#include "openvino/op/add.hpp"
#include "openvino/op/concat.hpp"
#include "openvino/op/convert_like.hpp"
#include "openvino/op/logical_or.hpp"
#include "openvino/op/multiply.hpp"
#include "utils.hpp"
namespace ov {
namespace frontend {
namespace pytorch {
namespace op {
using namespace ov::op;
OutputVector translate_bucketize(const NodeContext& context) {
num_inputs_check(context, 2, 5);
auto input = context.get_input(0);
auto boundaries = context.get_input(1);
element::Type output_type = ov::element::i64;
if (!context.input_is_none(2) && context.const_input(2)) {
output_type = ov::element::i32;
}
bool with_right_bound = true;
if (!context.input_is_none(3)) {
with_right_bound = !context.const_input(3);
}
auto bucketize =
context.mark_node(std::make_shared(input, boundaries, output_type, with_right_bound));
if (!context.input_is_none(4)) {
context.mutate_input(4, bucketize);
}
return {bucketize};
};
} // namespace op
} // namespace pytorch
} // namespace frontend
} // namespace ov
具体地,首先进行参数个数的校验,然后获取2个输入,随后,通过读取第3个输入决定输出的类型是否为 int32 (默认 int64)。接下来,读取第3个输入,判断 with_right_bound是否为 true。紧接着,就可以创建一个 v3::Bucketize node。接着读取第3个输入,判断输出是否返回。最后返回输出。
后续的注册 operation, build OpenVINO™ 项目以及实现单测的步骤和上面的 Rint 操作思路基本一致。具体可以参考 PR (链接:https://github.com/openvinotoolkit/openvino/pull/23527/file****r/>总结
OpenVINO™ 的社区非常活跃,maintainer 会耐心回答大家的问题,并仔细 review 我们提交的代码。通过这2个 PR,我熟悉了给开源项目贡献代码的流程,也对 OpenVINO™ 有了更深入的了解。看到自己的代码可以被合入到一个拥有百万用户级别的开源项目,我感到非常有成就感!在这里,我鼓励大家可以积极参与,为开源项目做贡献的同时,提升自身技能,共创开源之路!
OpenVINO™ 代码贡献持续开放中,感兴趣的同学可以点击“化身英特尔‘Issues 猎手’,共创百万用户开源生态!”了解详情