OpenVINO™ 实现图像实例分割

openlab_4276841a 更新于 7月前

实例分割概念

图像实例分割是在对象检测的基础上进一步细化,分离对象的前景与背景,实现像素级别的对象分离。所以图像实例分割是基于对象检测的基础上进一步提升。图像实例分割在目标检测、人脸检测、表情识别、医学图像处理与疾病辅助诊断、视频监控与对象跟踪、零售场景的货架空缺识别等场景下均有应用。很多人会把图像语义分割跟实例分割搞混淆、其实图像的语义分割(Semantic Segmentation)与图像的实例分割(Instance Segmentation)是两个不同的概念,看下图:

左侧是图像语义分割的结果,几个不同的类别人、羊、狗、背景分别用不同的颜色表示;右侧是图像实例分割的结果,对每只羊都用不同的颜色表示,而且把每个对象从背景中分离出来。这个就是语义分割跟实例分割的区别,直白点可以说就是语义分割是对每个类别、实例分割是针对每个对象(多个对象可能属于同一个类别)。

常见的实例分割网络

1.Mask-RCNN实例分割网络
图像实例分割是在对象检测的基础上再多出个基于ROI的分割分支,基于这样思想的实例分割MasK-RCNN就是其经典代表,它的网络结构如下:

Mask-RCNN可以简单的认为是Faster-RCNN得基础上加上一个实例分割分支。

2.RetinaMask实例分割网络
RetinaMask可以看出RetinaNet对象检测网络跟Mask-RCNN实例分割网络的两个优势组合,基于特征金字塔实现了更好的Mask预测,网络结构图示如下:

3.Net实例分割网络
PANet主要工作是基于Mask-RCNN网络上改进所得,作者通过改进Backbone部分提升了特征提取能力,通过自适应的池化操作得到更多融合特征,基于全链PA接融合产生mask,最终取得了比Mask-RCNN更好的实例分割效果,该模型的结构如下:


其中全链接特征融合mask分支如下图:


4.YOLACT实例分割网络
该实例分割网络也是基于RetinaNet对象检测网络的基础上,添加一个Mask分支,不过在添加Mask分支的时候它的Mask分支设计跟RetinaMask有所不同,该网络的结构图示如下:


5.CenterMask实例分割网络
该实例网络是基于FCOS对象检测框架的基础上,设计一个Mask分支输出,该Mask分支被称为空间注意力引导蒙板(Spatial Attention Guided Mask),该网络的结构如下:

图-7(来自CenterMask论文)

OpenVINO™ 支持Mask-RCNN模型

OpenVINO™ 中支持两种实例分割模型分别是Mask-RCNN与YOLACT模型,其中Mask-RCNN模型支持来自intel官方库文件、而YOLACT则来自公开的第三方提供。我们这里以官方的Mask-RCNN模型instance-segmentation-security-0050为例说明,该模型基于COCO数据集训练,支持80个类别的实例分割,加上背景为81个类别。

OpenVINO™ 支持部署Faster-RCNN与Mask-RCNN网络时候输入的解析都是基于两个输入层,它们分别是:

im_data : NCHW=[1x3x480x480]
im_info: 1x3 三个值分别是H、W、Scale=1.0

输出有四个,名称与输出格式及解释如下:

name: classes, shape: [100, ] 预测的100个类别可能性,值在[0~1]之间
name: scores: shape: [100, ] 预测的100个Box可能性,值在[0~1]之间
name: boxes, shape: [100, 4] 预测的100个Box坐标,左上角与右下角,基于输入的480x480
name: raw_masks, shape: [100, 81, 28, 28] Box ROI区域的实例分割输出,81表示类别(包含背景),28x28表示ROI大小,注意:此模型输出大小为14x14

模型实例分割代码演示

因为模型的加载与推理部分的代码跟前面系列文章的非常相似,这里就不再给出。代码演示部分重点在输出的解析,为了简化,我用了两个for循环设置了输入与输出数据精度,然后直接通过hardcode的输出层名称来获取推理之后各个输出层对应的数据部分,首先获取类别,根据类别ID与Box的索引,直接获取实例分割mask,然后随机生成颜色,基于mask实现与原图BOX ROI的叠加,产生了实例分割之后的效果输出。解析部分的代码首先需要获取推理以后的数据,获取数据的代码如下:

float w_rate = static_cast<float>(im_w) / 480.0;
float h_rate = static_cast<float>(im_h) / 480.0;

auto scores = infer_request.GetBlob("score******r> auto boxes = infer_request.GetBlob("boxe******r> auto clazzes = infer_request.GetBlob("classe******r> auto raw_masks = infer_request.GetBlob("raw_mask******r> const float* score_data = static_cast<PrecisionTrait<Precision::FP32>::value_type*>(scores->buffer());
const float* boxes_data = static_cast<PrecisionTrait<Precision::FP32>::value_type*>(boxes->buffer());
const float* clazzes_data = static_cast<PrecisionTrait<Precision::FP32>::value_type*>(clazzes->buffer());
const auto raw_masks_data = static_cast<PrecisionTrait<Precision::FP32>::value_type*>(raw_masks->buffer());
const SizeVector scores_outputDims = scores->getTensorDesc().getDim******r> const SizeVector boxes_outputDim*****oxes->getTensorDesc().getDim******r> const SizeVector mask_outputDims = raw_masks->getTensorDesc().getDim******r> const int max_count = scores_outputDims[0];
const int object_size = boxes_outputDims[1];
printf("mask NCHW=[%d, %d, %d, %d]\n", mask_outputDims[0], mask_outputDims[1], mask_outputDims[2], mask_outputDims[3]);
int mask_h = mask_outputDims[2];
int mask_w = mask_outputDims[3];
size_t box_stride = mask_h * mask_w * mask_outputDims[1];

然后根据输出数据格式开始解析Box框与Mask,这部分的代码如下:

for (int n = 0; n < max_count; n++) {
float confidence = score_data[n];
float xmin = boxes_data[n*object_size] * w_rate;
float ymin = boxes_data[n*object_size + 1] * h_rate;
float xmax = boxes_data[n*object_size + 2] * w_rate;
float ymax = boxes_data[n*object_size + 3] * h_rate;
if (confidence > 0.5) {
cv::Scalar color(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
cv::Rect box;
float x1 = std::min(std::max(0.0f, xmin), static_cast<float>(im_w));
float y1 = std::min(std::max(0.0f, ymin), static_cast<float>(im_h));
float x2 = std::min(std::max(0.0f, xmax), static_cast<float>(im_w));
float y2 = std::min(std::max(0.0f, ymax), static_cast<float>(im_h));
box.x = static_cast<int>(x1);
box.y = static_cast<int>(y1);
box.width = static_cast<int>(x2 - x1);
box.height = static_cast<int>(y2 - y1);
int label = static_cast<int>(clazzes_data[n]);
std::cout << "confidence: " << confidence << " class name: " << coco_labels[label] << std::endl;
// 解析mask
float* mask_arr = raw_masks_data + box_stride * n + mask_h * mask_w * label;
cv::Mat mask_mat(mask_h, mask_w, CV_32FC1, mask_arr);
cv::Mat roi_img = src(box);
cv::Mat resized_mask_mat(box.height, box.width, CV_32FC1);
cv::resize(mask_mat, resized_mask_mat, cv::Size(box.width, box.height));

cv::Mat uchar_resized_mask(box.height, box.width, CV_8UC3, color);

roi_img.copyTo(uchar_resized_mask, resized_mask_mat <= 0.5);
cv::addWeighted(uchar_resized_mask, 0.7, roi_img, 0.3, 0.0f, roi_img);
cv::putText(src, coco_labels[label].c_str(), box.tl() + (box.br() - box.tl()) / 2, cv::FONT_HERSHEY_PLAIN, 1.0, cv::Scalar(0, 0, 255), 1, 8);
}
}

其中Mask部分的时候有个技巧的地方,首先获取类别,然后根据类别,直接获取Mask中对应的通道数据生成二值Mask图像,添加上颜色,加权混合到ROI区域即可得到输出结果。最终的代码运行如下:


0个评论