WO2020107687A1 - 一种基于视觉的工作区域边界的检测系统、方法及机器设备 - Google Patents

一种基于视觉的工作区域边界的检测系统、方法及机器设备 Download PDF

Info

Publication number
WO2020107687A1
WO2020107687A1 PCT/CN2019/072304 CN2019072304W WO2020107687A1 WO 2020107687 A1 WO2020107687 A1 WO 2020107687A1 CN 2019072304 W CN2019072304 W CN 2019072304W WO 2020107687 A1 WO2020107687 A1 WO 2020107687A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
image
network model
layer
training
Prior art date
Application number
PCT/CN2019/072304
Other languages
English (en)
French (fr)
Inventor
吴一飞
张伟
鲍鑫亮
Original Assignee
邦鼓思电子科技（上海）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 邦鼓思电子科技（上海）有限公司 filed Critical 邦鼓思电子科技（上海）有限公司
Priority to US17/309,406 priority Critical patent/US20220036562A1/en
Publication of WO2020107687A1 publication Critical patent/WO2020107687A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the vision-based detection system of a working area boundary includes a processor, and a computer-readable medium storing a computer program.
  • the computer program is executed by the processor:
  • the neural network model in the detection system includes a multi-layer convolutional layer, a pooling layer, and an output layer.
  • the multi-layer convolutional layer and the pooling layer are stacked to complete image feature extraction.
  • the output layer is in the neural network
  • the network model training updates the parameters in the learning phase, and outputs the image after the image segmentation results in the model deployment and real-time semantic segmentation phase.
  • the pooling layer performs feature statistics and data dimensionality reduction on the output features of the multi-layer convolutional layer, performs statistics along the rows and columns of the image, and extracts the maximum value of N pixels as the statistical feature of the region, At the same time, the amount of data is reduced to a fraction of the original N.
  • the neural network model is trained through the training data set, which mainly includes:
  • the trained deep neural network model performs feature extraction on the video images collected in real time
  • the same classification is composed of the same color.
  • the boundary between the target classification color and other color patches is used as the boundary of the work area to be detected.
  • FIG 2 is an example diagram of an original picture obtained in an example of the present invention.
  • This scheme uses multiple convolutional layers and pooling layers to extract image features, which not only maintains high accuracy and can greatly reduce the amount of calculation, so that this scheme can be applied to embedded platforms that cannot support excessive matrix calculations.
  • the resulting output layer compares the calculated probability with the image label in the training and learning stage, and updates the model parameters with the loss value of formula (2); in the real-time semantic segmentation stage, the pixels are marked as the category with the highest calculated probability, According to this, all pixels in the image are marked, and the corresponding segmented image is output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

一种基于视觉的工作区域边界的检测系统、方法及机器设备，所述方法在实现时，首先将构建的神经网络模型基于训练数据集进行自主训练学习，提取和学习相应的工作区域特征；接着将完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割，由此来感知环境，并识别工作区域的边界。所述方法基于神经网络的机器视觉技术，通过前期对工作区域特征的提取和学习，能够高效的识别出工作区域的边界，对光照等环境的变化具有较强的鲁棒性。

Description

一种基于视觉的工作区域边界的检测系统、方法及机器设备 技术领域
本发明涉及机器视觉技术，具体涉及基于机器视觉的工作区域边界检测技术。
背景技术
随着机器视觉的发展和普及，越来越多的自主工作机器人使用机器视觉来感知周围的环境和工作区域，比如说植保无人机，物流仓储机器人，电力巡检机器人，厂区安防机器人，园林草坪修剪机器人等。而在这些自主机器人工作时，由于技术的限制，经常出现机器人驶出特定的工作区域，给其他区域造成了一定的风险和安全隐患。其中主要原因是现有的机器视觉技术不能实时的，准确的检测出工作区域的边界。
现有通过机器视觉技术来检测工作区域边界方案，主要采用的方法是颜色匹配法和形状分割法。这样的方式在实现过程中存在对光照等环境变化敏感，识别准确率不高等问题；同时这样的方案很难达到实时检测，需要高昂的硬件支持，性价比不高。如此问题，造成现有自主工作机器人感知周围环境和/或工作区域的精度差，大大影响整个自主工作机器人的性能。
发明内容
针对现有自主工作机器人所采用的检测工作区域边界方案所存在问题，需要一种高精度的工作区域边界检测方案。
为此，本发明的目的在于提供一种基于视觉的工作区域边界的检测系统，并据此进一步提供一种工作区域边界的检测方法以及采用该工作区域边界检测方案的机器设备。
为了达到上述目的，本发明提供的基于视觉的工作区域边界的检测系统，包括处理器，以及存储有计算机程序的计算机可读介质，所述计算机程序被处理器执行时：
构建的神经网络模型基于训练数据集进行自主训练学习，提取和学习相应的工作区域特征；
完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割，由此来感知环境，并识别工作区域的边界。
进一步的，所述检测系统中的神经网络模型包括多层卷积层，池化层以及输出层，所述多层卷积层与池化层进行堆叠，完成图像特征提取所述输出层在神经网络模型训练学习 阶段更新参数，并在模型部署和实时语义分割阶段输出图片分割结果后的图像。
进一步的，所述池化层对多层卷积层的输出特征进行特征统计和数据降维，沿图像行和列的方向上进行统计，抽取N个像素的最大值作为该区域的统计特征，同时将数据量降维到原来的N分之一。
进一步的，所述神经网络模型中还包括空洞卷积层，所述空洞卷积层由若干空洞卷积子层之间并列形成，并设置在池化层之后，通过空洞卷积提取元素中间有相同的间隙，以扩大特征提取的视野，保留图像全局信息。
进一步的，所述神经网络模型中还设置有上采样单元层，该上采样单元层设置在输出层前，通过连续上采样层对降维后的图像抽象内容进行升维，对图像细节内容进行恢复。
为了达到上述目的，本发明提供的基于视觉的工作区域边界的检测方法，包括：
构建的神经网络模型基于训练数据集进行自主训练学习，提取和学习相应工作区域特征；
完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割，由此来感知环境，并识别工作区域的边界。
进一步的，通过获取室外真实工作场景的图片并对图片进行预处理，根据目标对象的类别分割图片制作形成训练数据集。
进一步的，神经网络模型通过训练数据集进行训练，主要包括：
初始化，确定神经网络模型中的神经网络层数和每一层网络的初始参数；
将训练数据集中的图像输入初始化的神经网络模型中进行参数计算；
将输出结果与图像标签进行比对，计算得到神经网络参数的更新值，并更新神经网络模型中相关的参数；
重复上述步骤直到效果最佳，完成神经网络模型训练。
进一步的，所述检测方法在对实时采集的视频图像进行图像语义分割，识别工作区域边界时，包括：
经过训练的深度神经网络模型对实时采集的视频图像进行特征提取；
深度神经网络模型对提取的特征数据进行数据统计及降维；
深度神经网络模型通过模型推理输出图片分割图像。
进一步的，所述深度神经网络模型进行模型推理时，针对实时输入的图像计算图像中每个像素点属于训练集中各类别的概率，将该像素点标记为最大概率的类别，据此完成图像中所有像素点标记，得到对应的分割图像。
进一步的，在通过模型推理形成分割图像时，将相同分类由同样颜色组成，在所得到 的分割图像中，目标分类颜色与其他色块的交界线作为需要检测的工作区域的边界。
为了达到上述目的，本发明提供的机器设备，所述机器设备上设置有上述的基于视觉的工作区域边界的检测系统。
本发明提供的方案基于神经网络的机器视觉技术，通过前期对工作区域特征的提取和学习，能够高效的识别出工作区域的边界，对光照等环境的变化具有较强的鲁棒性。
同时，本方案中采用的精简的神经网络结构保证了在嵌入式平台上也有不错的实时性，非常适合搭载于室外移动机器人平台，如无人机，室外轮式机器人等。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明实例中构建的神经网络结构示意图；
图2为本发明实例中获取到的原始图的示例图；
图3为本发明实例中针对原始图实时输出的结果图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
本方案基于神经网络技术来对摄像头采集的视频图像进行图像语义分割,由此来实现精确感知环境,识别工作区域的边界。
据此原理，本方案构建相应的神经网络模型，同时获取真实的工作场景图片来构成相应的训练数据集，再利用该训练数据集对构成的神经网络模型进行自主训练学习，提取和学习相应的工作区域特征，由此得到经过训练的深度神经网络模型。
在应用时，由训练得到的深度神经网络模型基于训练学习提取的工作区域特征对采集工作环境的视频图像进行实时的图像语义分割，由此来感知环境，并识别工作区域的边界。
参见图1，其所示为本方案基于上述原理所构建的一种神经网络结构示例。
该示例中给出的神经网络模型主要由多层卷积层、池化层，以及输出层相互配合构成。
本神经网络模型中的多层卷积层与池化层进行堆叠，完成图像特征提取；而输出层用于在训练学习阶段更新参数，以及在模型部署和实时语义分割阶段输出图片分割结果后的图像。
这里的多层卷积层用于对输入的图像文件进行多次卷积，每个卷积都有制定大小的卷 积核，例如3x3，5x5等，卷积层通过计算提取卷积核大小的图像特征。提取的图像特征包括但不限于图像颜色深浅、纹理特征，轮廓特征和边缘特征。
这里的池化层用于对多层卷积层输出的不同的图像特征进行特征统计和数据降维。本池化层在进行特征统计和数据降维时，沿图像行和列的方向上进行统计，抽取N个像素的最大值作为该区域的统计特征，同时将数据量降维到原来的N分之一。作为举例，本方案中的池化层沿图像行和列的方向上，每两个像素进行统计，抽取四个像素的最大值作为该区域的统计特征，同时将数据量降维到原来的四分之一。
本方案采用多层卷积层和池化层来提取图像特征，不仅能够保持较高的准确度且能够大幅减少计算量，使得本方案能够适用于无法支持过量矩阵计算的嵌入式平台。
这里的输出层计算得到每个像素点属于训练集中各类别的概率，在训练学习阶段更新参数，在实时语义分割阶段输出图片分割图像。
作为举例，本输出层可采用softmax函数：
Figure PCTCN2019072304-appb-000001
loss＝-logσ(z)j     (2)；
其中，K表示共有K个分类，j表示第j个分类，zj表示通过模型计算第j个分类的数值，Zk表示通过模型计算第k个分类的数值，对所有K个分类数值进行计算累加；
公式(1)为softmax表达式，计算得到第j个分类的概率；
公式(2)为softmaxloss计算损失表达，在训练过程中通过反向传播更新模型参数值。
由此构成的输出层在训练学习阶段，将计算所得概率与图片标签做比对，用公式(2)损失值更新模型参数；在实时语义分割阶段将像素点标记为计算所得最大概率的类别，据此完成图像中所有像素点标记，输出对应的分割图像。
在上述神经网络模型方案的基础上，本实例还给出了进一步的改进方案，以进一步提高分割图像的精度。
作为方案，在上述神经网络模型方案中引入空洞卷积层，该空洞卷积层设置在神经网络模型的池化层之后。
该空洞卷积层具体由若干空洞卷积子层之间并列形成，该空洞卷积层进行的空洞卷积不同于传统卷积只提取相邻元素的特征，卷积核中提取元素并不是相邻的，其所提取元素中间存在相同距离的间隙。例如在3x3的传统卷积核中相邻元素间插入零值，则形成3x3卷积核的空洞卷积，其作用接近5x5的传统卷积，而参数运算仅为原来36％。
作为举例，图1所示的空洞卷积层存在四个并列的空洞卷积子层，卷积核大小从小到大，四个堆叠的空洞卷积扩大滤波器的视野，实现使用很少的参数运算就能提取大范围的图像特征，保留图像全局信息。
进一步的，本改进方案还在上述神经网络模型的输出层前引入上采样过程。上采样过程通过连续上采样层对降维后的图像抽象内容进行升维，实现对图像细节内容进行恢复，再由输出层处理输出图片分割图像。
这里的连续上采样层对图像的抽象内容进行解码并对图像的细节内容进行恢复，每层上采样层将图像沿行和列的方向扩大，对图像大小进行升维。作为举例，本方案中，在每层上采样层将图像沿行和列的方向扩大两倍，使得图像大小升维为原来的四倍。
由于神经网络模型中多层卷积层与池化层在对图像的处理过程中，总有图片特征信息丢失，通过引入连续上采样层增加额外的学习过程还原丢失的特征信息，恢复图像细节内容。同时，上采样过程后的结果和原始图像大小相同，实现所有像素参与模型，分割结果更准确，实现端到端的输出。
上述神经网络方案在具体应用时，可以以计算机程序的形式存在于相应的计算机可读介质中，并可以由相应的处理器调取并执行，以实现上述的功能，形成相应的工作系统。
另外，由于本神经网络方案的计算量和复杂度都大大降低，由此构成的工作系统能够很好的适用于无法支持过量矩阵计算的嵌入式平台(如无人机，室外轮式机器人等等)，且运行在嵌入式平台中的工作系统能够智能识别周边环境,检测工作区域，即能够保证检测精度，又能够保证实时性效果。
由此，基于本神经网络方案所构成的工作区域边界检测系统，其感知环境，并识别工作区域的边界的过程主要包括几下步骤。
(1)获取训练数据。
通过获取室外真实工作场景的图片并对图片进行必要的预处理，根据目标对象的类别(例如，草地，道路，泥地，灌木等等)分割图片制作形成训练数据集。
由于训练图像的数量和图像清晰度对后期图像检测的结果至关重要，为此，针对获取到的室外真实工作场景图片，首先，对部分光照变化较强烈的图像进行光照归一化操作，减小光照的影响；接着，将所有图片剪裁至同一大小，根据目标对象的类别分配不同的RGB颜色并对相同类别目标进行上色处理，得到训练数据对应的标签图像，原始图像和标签图像即为制作的训练数据集。
(2)神经网络模型参数训练。
通过训练数据对模型参数进行训练，主要包括初始化，迭代更新网络参数和网络输出， 具体如下：
初始化，确定神经网络模型中的神经网络层数和每一层网络的初始参数；
将训练数据集中的图像输入初始化的神经网络模型中进行参数计算；
将输出结果与图像标签进行比对，计算得到神经网络参数的更新值，并更新所有参数；
重复上述步骤直到效果最佳，完成神经网络模型训练。
(3)深度神经网络模型部署。
使用训练好的模型进行实际环境中的部署，将摄像头捕捉的实际工作环境视频输入训练所得的深度神经网络模，以检测工作区域的边界。
其中，深度神经网络模通过对实时采集的视频图像进行图像语义分割，以识别工作区域边界，具体包括：
(3-1)深度神经网络模型中卷积层、池化层进行参数运算，对实时采集的视频图像进行特征提取；
(3-2)深度神经网络模型对提取的特征数据进行数据统计及降维；本模型在进行数据统计和降维时，沿图像行和列的方向上进行统计，每两个像素进行统计，抽取四个像素的最大值作为该区域的统计特征，同时将数据量降维到原来的四分之一；
(3-3)深度神经网络模型中输出层通过模型推理输出图片分割图像；本步骤在过模型推理时，针对输入的图像计算图像中每个像素点属于训练集中各类别的概率，并将该像素点标记为最大概率的类别，据此完成图像中所有像素点标记，即得到对应的分割图像；由此形成的分割图像中，相同分类由同样颜色组成，目标分类颜色与其他色块的交界线则为需要检测的工作区域的边界。
在此基础上，为了提升输出图片分割的准确度，检测系统中的神经网络模型在提取特征数据的过程中，引入空洞卷积，实现使用较少参数就能完成大范围内的特征提取，扩大特征提取的视野，保留图片全局信息。
同时，还在输出层通过模型推理输出图片分割图像前引入上采样过程，通过连续上采样层对降维后的图像抽象内容进行升维，实现对图像细节内容进行恢复，再由输出层处理输出图片分割图像。
以一个具体的应用实例来说明一下运行本工作系统的嵌入式平台进行智能识别周边环境，检测工作区域的过程。
作为举例，本实例给出的基于机器视觉的工作区域边界检测设备主要包括数字摄像头模块，嵌入式处理器芯片模块以及计算机存储模块。
其中计算机存储模块中存储有本方案提供的基于机器视觉的工作区域边界检测系统程 序；检测设备中的嵌入式处理器芯片模块通过运行计算机存储模块中的检测系统程序来完成工作区域边界检测。
本实例中把需要识别的对象分为4类，分别为人行地面，草坪，泥土地，和灌木，嵌入式处理器芯片模块运行检测系统程序，根据设定的对象以及形成的实际工作场景的训练数据集，对系统中的神经网络进行训练和学习，使得系统具有自主识别对象的能力。
在工作系统在运行时，由检测设备上的数字摄像头模块实时采集周围的视频图像，并转化为相应的图像形成原始图(如图2所示)。
接着，将该原始图实时输入训练所得的深度神经网络，通过深度神经网络的卷积层、池化层进行参数运算，提取图像特征；再由深度神经网络输出层计算实时采集图片中每个像素点属于训练集中各类别的概率经过深度神经网络参数运算后，得到实时采集图片中每个像素点属于训练集中各类别的概率，并将该像素点标记为最大概率的类别，据此完成图像中所有像素点标记，实时的输出如图3所示的分割图像。由此形成的分割图像中，相同分类由同样颜色组成，目标分类颜色与其他色块的交界线则为需要检测的工作区域的边界。
由上实例可见，本工作系统能够准确的区分目标类(用粉色代表人行路面，用红色代表草坪，用绿色代表泥土地，用蓝色代表灌木)，并确定出需要检测的工作区域的边界。
上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (12)

  1. 基于视觉的工作区域边界的检测系统，包括处理器，以及存储有计算机程序的计算机可读介质，其特征在于，所述计算机程序被处理器执行时：
    构建的神经网络模型基于训练数据集进行自主训练学习，提取和学习相应的工作区域特征；
    完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割，由此来感知环境，并识别工作区域的边界。
  2. 根据权利要求1所述的基于视觉的工作区域边界的检测系统，其特征在于，所述检测系统中的神经网络模型包括多层卷积层，池化层以及输出层，所述多层卷积层与池化层进行堆叠，完成图像特征提取所述输出层在神经网络模型训练学习阶段更新参数，并在模型部署和实时语义分割阶段输出图片分割结果后的图像。
  3. 根据权利要求2所述的基于视觉的工作区域边界的检测系统，其特征在于，所述池化层对多层卷积层的输出特征进行特征统计和数据降维，沿图像行和列的方向上进行统计，抽取N个像素的最大值作为该区域的统计特征，同时将数据量降维到原来的N分之一。
  4. 根据权利要求2所述的基于视觉的工作区域边界的检测系统，其特征在于，所述神经网络模型中还包括空洞卷积层，所述空洞卷积层由若干空洞卷积子层之间并列形成，并设置在池化层之后，通过空洞卷积提取元素中间有相同的间隙，以扩大特征提取的视野，保留图像全局信息。
  5. 根据权利要求4所述的基于视觉的工作区域边界的检测系统，其特征在于，所述神经网络模型中还设置有上采样单元层，该上采样单元层设置在输出层前，通过连续上采样层对降维后的图像抽象内容进行升维，对图像细节内容进行恢复。
  6. 基于视觉的工作区域边界的检测方法，其特征在于，包括：
    构建的神经网络模型基于训练数据集进行自主训练学习，提取和学习相应工作区域特征；
    完成训练学习的神经网络模型基于训练学习提取的工作区域特征对采集的视频图像进行实时的图像语义分割，由此来感知环境，并识别工作区域的边界。
  7. 根据权利要求6所述的基于视觉的工作区域边界的检测方法，其特征在于，通过获取室外真实工作场景的图片并对图片进行预处理，根据目标对象的类别分割图片制作形成训练数据集。
  8. 根据权利要求6所述的基于视觉的工作区域边界的检测方法，其特征在于，神经网 络模型通过训练数据集进行训练，主要包括：
    初始化，确定神经网络模型中的神经网络层数和每一层网络的初始参数；
    将训练数据集中的图像输入初始化的神经网络模型中进行参数计算；
    将输出结果与图像标签进行比对，计算得到神经网络参数的更新值，并更新神经网络模型中相关的参数；
    重复上述步骤直到效果最佳，完成神经网络模型训练。
  9. 根据权利要求6所述的基于视觉的工作区域边界的检测方法，其特征在于，所述检测方法在对实时采集的视频图像进行图像语义分割，识别工作区域边界时，包括：
    经过训练的深度神经网络模型对实时采集的视频图像进行特征提取；
    深度神经网络模型对提取的特征数据进行数据统计及降维；
    深度神经网络模型通过模型推理输出图片分割图像。
  10. 根据权利要求9所述的基于视觉的工作区域边界的检测方法，其特征在于，所述深度神经网络模型进行模型推理时，针对实时输入的图像计算图像中每个像素点属于训练集中各类别的概率，将该像素点标记为最大概率的类别，据此完成图像中所有像素点标记，得到对应的分割图像。
  11. 根据权利要求9所述的基于视觉的工作区域边界的检测方法，其特征在于，在通过模型推理形成分割图像时，将相同分类由同样颜色组成，在所得到的分割图像中，目标分类颜色与其他色块的交界线作为需要检测的工作区域。
  12. 机器设备，其特征在于，所述机器设备上设置有上述的基于视觉的工作区域边界的检测系统。
PCT/CN2019/072304 2018-11-27 2019-01-18 一种基于视觉的工作区域边界的检测系统、方法及机器设备 WO2020107687A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/309,406 US20220036562A1 (en) 2018-11-27 2019-01-18 Vision-based working area boundary detection system and method, and machine equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811428294.2 2018-11-27
CN201811428294.2A CN109859158A (zh) 2018-11-27 2018-11-27 一种基于视觉的工作区域边界的检测系统、方法及机器设备

Publications (1)

Publication Number Publication Date
WO2020107687A1 true WO2020107687A1 (zh) 2020-06-04

Family

ID=66890279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/072304 WO2020107687A1 (zh) 2018-11-27 2019-01-18 一种基于视觉的工作区域边界的检测系统、方法及机器设备

Country Status (3)

Country Link
US (1) US20220036562A1 (zh)
CN (1) CN109859158A (zh)
WO (1) WO2020107687A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备
CN111797925A (zh) * 2020-07-03 2020-10-20 长安大学 一种电力系统视觉图像分类方法及装置
CN112101364A (zh) * 2020-09-10 2020-12-18 西安电子科技大学 基于参数重要性增量学习的语义分割方法
CN112149676A (zh) * 2020-09-11 2020-12-29 中国铁道科学研究院集团有限公司 一种铁路货物装载状态图像的小目标检测处理方法
CN112232303A (zh) * 2020-11-16 2021-01-15 内蒙古自治区农牧业科学院 一种基于高分遥感影像的草原道路信息提取方法
CN112419249A (zh) * 2020-11-12 2021-02-26 厦门市美亚柏科信息股份有限公司 一种特殊服饰图片转化方法、终端设备及存储介质
CN112507826A (zh) * 2020-11-27 2021-03-16 西安电子科技大学 一种端到端生态变化监测方法、终端、计算机设备及介质
CN112861755A (zh) * 2021-02-23 2021-05-28 北京农业智能装备技术研究中心 一种目标多类别实时分割方法及系统
CN113191366A (zh) * 2021-05-21 2021-07-30 北京东方国信科技股份有限公司 电解工艺异常的监测方法及系统
CN114005097A (zh) * 2020-07-28 2022-02-01 株洲中车时代电气股份有限公司 基于图像语义分割的列车运行环境实时检测方法及系统
CN114311023A (zh) * 2020-09-29 2022-04-12 中国科学院沈阳自动化研究所 一种基于服务机器人视觉功能检测方法
CN114661061A (zh) * 2022-02-14 2022-06-24 天津大学 无gps基于视觉室内环境微型无人机飞行控制方法
CN115049603A (zh) * 2022-06-07 2022-09-13 安徽大学 一种基于小样本学习的肠息肉分割方法及系统
CN115082663A (zh) * 2022-07-21 2022-09-20 安徽芯智科技有限公司 一种自动控制除霜除雾系统
CN116403132A (zh) * 2023-06-08 2023-07-07 江西省公路科研设计院有限公司 一种基于图像和机器算法生成征地拆迁表的地物识别方法
CN116452878A (zh) * 2023-04-20 2023-07-18 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统
CN117315723A (zh) * 2023-11-28 2023-12-29 深圳市捷超行模具有限公司 一种基于人工智能的模具车间数字化管理方法及系统
CN115049603B (zh) * 2022-06-07 2024-06-07 安徽大学 一种基于小样本学习的肠息肉分割方法及系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866526A (zh) * 2018-08-28 2020-03-06 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质
CN110428014A (zh) * 2019-08-07 2019-11-08 北京赛育达科教有限责任公司 一种面向教育实训的物体识别系统和方法
CN110866475A (zh) * 2019-11-05 2020-03-06 上海眼控科技股份有限公司 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质
CN112825121A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 深度卷积神经网络初始化和训练方法、装置、介质及设备
CN111008627B (zh) * 2019-12-05 2023-09-05 哈尔滨工业大学（深圳） 一种在边界遮挡状况下检测标记码边框的方法
CN110991372A (zh) * 2019-12-09 2020-04-10 河南中烟工业有限责任公司 一种识别零售商户卷烟牌号陈列情况的方法
CN111007064A (zh) * 2019-12-13 2020-04-14 常州大学 一种基于图像识别的录井岩性智能识别方法
CN113156924A (zh) * 2020-01-07 2021-07-23 苏州宝时得电动工具有限公司 自移动设备的控制方法
US11507831B2 (en) * 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
WO2021226900A1 (zh) * 2020-05-14 2021-11-18 安徽中科智能感知产业技术研究院有限责任公司 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
EP3916633A1 (de) * 2020-05-25 2021-12-01 Sick Ag Kamera und verfahren zum verarbeiten von bilddaten
CN111860123B (zh) * 2020-06-04 2023-08-08 华南师范大学 一种识别工作区域边界的方法
CN112116195B (zh) * 2020-07-21 2024-04-16 蓝卓数字科技有限公司 基于实例分割的铁路梁生产工序识别方法
CN112132850B (zh) * 2020-09-18 2023-09-29 中山大学 一种基于模态学习的血管边界检测方法、系统及装置
CN112396613B (zh) * 2020-11-17 2024-05-10 平安科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN112595276B (zh) * 2020-11-27 2022-07-05 哈尔滨工程大学 一种基于深度学习的输电线路覆冰厚度检测方法
CN112507943B (zh) * 2020-12-18 2023-09-29 华南理工大学 基于多任务神经网络的视觉定位导航方法、系统及介质
CN112633186B (zh) * 2020-12-26 2024-05-28 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人
CN113591591A (zh) * 2021-07-05 2021-11-02 北京瑞博众成科技有限公司 人工智能现场行为识别系统
CN113724247B (zh) * 2021-09-15 2024-05-03 国网河北省电力有限公司衡水供电分公司 一种基于图像判别技术的变电站智能巡检方法
CN113885495A (zh) * 2021-09-29 2022-01-04 邦鼓思电子科技（上海）有限公司 一种基于机器视觉的室外自动工作控制系统、方法及设备
CN113910225A (zh) * 2021-10-09 2022-01-11 邦鼓思电子科技（上海）有限公司 一种基于视觉边界检测的机器人控制系统及方法
CN114648694B (zh) * 2022-03-01 2023-05-26 无锡雪浪数制科技有限公司 一种基于深度相机与机器视觉的海缆排缆间隙识别方法
CN114898152B (zh) * 2022-05-13 2023-05-30 电子科技大学 嵌入式弹性自扩展通用学习系统
CN114967763B (zh) * 2022-08-01 2022-11-08 电子科技大学 一种基于图像定位的植保无人机的播撒控制方法
CN115147782A (zh) * 2022-08-02 2022-10-04 广州度凌科技有限公司 一种死亡动物识别方法及装置
CN115424230B (zh) * 2022-09-23 2023-06-06 哈尔滨市科佳通用机电股份有限公司 一种车门滑轮脱出轨道故障检测方法、存储介质及设备
CN116681992B (zh) * 2023-07-29 2023-10-20 河南省新乡生态环境监测中心 一种基于神经网络的氨氮检测方法
CN117115774B (zh) * 2023-10-23 2024-03-15 锐驰激光(深圳)有限公司 草坪边界的识别方法、装置、设备及存储介质
CN117859500B (zh) * 2024-03-12 2024-05-24 锐驰激光(深圳)有限公司 割草机防出边界方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901890A (zh) * 2014-04-09 2014-07-02 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法
EP3078774A1 (en) * 2015-04-07 2016-10-12 VolkerRail Nederland BV Mobile robot station and repair method
CN108594823A (zh) * 2018-05-21 2018-09-28 珠海格力电器股份有限公司 扫地机器人的控制方法及其控制系统
CN108764453A (zh) * 2018-06-08 2018-11-06 中国科学技术大学 面向多智能体同步博弈的建模方法及动作预测系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2339507B1 (en) * 2009-12-28 2013-07-17 Softkinetic Software Head detection and localisation method
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
CN107766794B (zh) * 2017-09-22 2021-05-14 天津大学 一种特征融合系数可学习的图像语义分割方法
CN108734211B (zh) * 2018-05-17 2019-12-24 腾讯科技（深圳）有限公司 图像处理的方法和装置
CN108875596A (zh) * 2018-05-30 2018-11-23 西南交通大学 一种基于dssnn神经网络的铁路场景图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901890A (zh) * 2014-04-09 2014-07-02 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法
EP3078774A1 (en) * 2015-04-07 2016-10-12 VolkerRail Nederland BV Mobile robot station and repair method
CN108594823A (zh) * 2018-05-21 2018-09-28 珠海格力电器股份有限公司 扫地机器人的控制方法及其控制系统
CN108764453A (zh) * 2018-06-08 2018-11-06 中国科学技术大学 面向多智能体同步博弈的建模方法及动作预测系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备
CN111723732B (zh) * 2020-06-18 2023-08-11 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备
CN111797925B (zh) * 2020-07-03 2024-04-30 河南辉铠智能科技有限公司 一种电力系统视觉图像分类方法及装置
CN111797925A (zh) * 2020-07-03 2020-10-20 长安大学 一种电力系统视觉图像分类方法及装置
CN114005097A (zh) * 2020-07-28 2022-02-01 株洲中车时代电气股份有限公司 基于图像语义分割的列车运行环境实时检测方法及系统
CN112101364A (zh) * 2020-09-10 2020-12-18 西安电子科技大学 基于参数重要性增量学习的语义分割方法
CN112101364B (zh) * 2020-09-10 2023-10-20 西安电子科技大学 基于参数重要性增量学习的语义分割方法
CN112149676A (zh) * 2020-09-11 2020-12-29 中国铁道科学研究院集团有限公司 一种铁路货物装载状态图像的小目标检测处理方法
CN112149676B (zh) * 2020-09-11 2024-04-30 中国铁道科学研究院集团有限公司 一种铁路货物装载状态图像的小目标检测处理方法
CN114311023B (zh) * 2020-09-29 2023-12-26 中国科学院沈阳自动化研究所 一种基于服务机器人视觉功能检测方法
CN114311023A (zh) * 2020-09-29 2022-04-12 中国科学院沈阳自动化研究所 一种基于服务机器人视觉功能检测方法
CN112419249B (zh) * 2020-11-12 2022-09-06 厦门市美亚柏科信息股份有限公司 一种特殊服饰图片转化方法、终端设备及存储介质
CN112419249A (zh) * 2020-11-12 2021-02-26 厦门市美亚柏科信息股份有限公司 一种特殊服饰图片转化方法、终端设备及存储介质
CN112232303B (zh) * 2020-11-16 2023-12-19 内蒙古自治区农牧业科学院 一种基于高分遥感影像的草原道路信息提取方法
CN112232303A (zh) * 2020-11-16 2021-01-15 内蒙古自治区农牧业科学院 一种基于高分遥感影像的草原道路信息提取方法
CN112507826A (zh) * 2020-11-27 2021-03-16 西安电子科技大学 一种端到端生态变化监测方法、终端、计算机设备及介质
CN112507826B (zh) * 2020-11-27 2024-02-06 西安电子科技大学 一种端到端生态变化监测方法、终端、计算机设备及介质
CN112861755B (zh) * 2021-02-23 2023-12-08 北京农业智能装备技术研究中心 一种目标多类别实时分割方法及系统
CN112861755A (zh) * 2021-02-23 2021-05-28 北京农业智能装备技术研究中心 一种目标多类别实时分割方法及系统
CN113191366A (zh) * 2021-05-21 2021-07-30 北京东方国信科技股份有限公司 电解工艺异常的监测方法及系统
CN114661061B (zh) * 2022-02-14 2024-05-17 天津大学 无gps基于视觉室内环境微型无人机飞行控制方法
CN114661061A (zh) * 2022-02-14 2022-06-24 天津大学 无gps基于视觉室内环境微型无人机飞行控制方法
CN115049603B (zh) * 2022-06-07 2024-06-07 安徽大学 一种基于小样本学习的肠息肉分割方法及系统
CN115049603A (zh) * 2022-06-07 2022-09-13 安徽大学 一种基于小样本学习的肠息肉分割方法及系统
CN115082663A (zh) * 2022-07-21 2022-09-20 安徽芯智科技有限公司 一种自动控制除霜除雾系统
CN115082663B (zh) * 2022-07-21 2024-03-22 安徽芯智科技有限公司 一种自动控制除霜除雾系统
CN116452878A (zh) * 2023-04-20 2023-07-18 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统
CN116452878B (zh) * 2023-04-20 2024-02-02 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统
CN116403132B (zh) * 2023-06-08 2023-08-18 江西省公路科研设计院有限公司 一种基于图像和机器算法生成征地拆迁表的地物识别方法
CN116403132A (zh) * 2023-06-08 2023-07-07 江西省公路科研设计院有限公司 一种基于图像和机器算法生成征地拆迁表的地物识别方法
CN117315723B (zh) * 2023-11-28 2024-02-20 深圳市捷超行模具有限公司 一种基于人工智能的模具车间数字化管理方法及系统
CN117315723A (zh) * 2023-11-28 2023-12-29 深圳市捷超行模具有限公司 一种基于人工智能的模具车间数字化管理方法及系统

Also Published As

Publication number Publication date
US20220036562A1 (en) 2022-02-03
CN109859158A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
WO2020107687A1 (zh) 一种基于视觉的工作区域边界的检测系统、方法及机器设备
US11568639B2 (en) Systems and methods for analyzing remote sensing imagery
Yang et al. Visual perception enabled industry intelligence: state of the art, challenges and prospects
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
US20210342586A1 (en) Systems and methods for extracting and vectorizing features of satellite imagery
Goforth et al. GPS-denied UAV localization using pre-existing satellite imagery
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
WO2020164092A1 (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
Komorowski et al. Minkloc++: lidar and monocular image fusion for place recognition
CN108537121B (zh) 气象环境参数与图像信息融合的自适应遥感场景分类方法
Li et al. Fast detection and location of longan fruits using UAV images
CN111886600A (zh) 一种用于图像的实例级别分割的设备和方法
Wang et al. Combining SUN-based visual attention model and saliency contour detection algorithm for apple image segmentation
CN112215925A (zh) 自适应采煤机随动跟踪多摄像头视频拼接方法
CN113674400A (zh) 基于重定位技术的光谱三维重建方法、系统及存储介质
Tutzauer et al. Semantic urban mesh enhancement utilizing a hybrid model
Lu et al. Pic-net: Point cloud and image collaboration network for large-scale place recognition
Nardari et al. Crop anomaly identification with color filters and convolutional neural networks
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
de Jesús Osuna-Coutino et al. Dominant plane recognition in interior scenes from a single image
CN113192100A (zh) 分时重叠植株图像关键特征区域边缘路径获取方法
Maarir et al. Roads detection from satellite images based on active contour model and distance transform
Wang et al. Aerial-DEM geolocalization for GPS-denied UAS navigation
Sun et al. Rgb-channel-based illumination robust slam method
CN106441098A (zh) 一种采摘果蔬的识别定位方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19890831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15/10/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19890831

Country of ref document: EP

Kind code of ref document: A1