WO2023103883A1 - 对象自动标注方法、装置、电子设备及存储介质 - Google Patents

对象自动标注方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2023103883A1
WO2023103883A1 PCT/CN2022/135979 CN2022135979W WO2023103883A1 WO 2023103883 A1 WO2023103883 A1 WO 2023103883A1 CN 2022135979 W CN2022135979 W CN 2022135979W WO 2023103883 A1 WO2023103883 A1 WO 2023103883A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
marker
marked
information
sample
Prior art date
Application number
PCT/CN2022/135979
Other languages
English (en)
French (fr)
Inventor
税国知
钟传琦
李扬
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Publication of WO2023103883A1 publication Critical patent/WO2023103883A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Definitions

  • the key points of the object to be marked can be customized according to the actual situation.
  • the key point is used to represent the outline of the object to be marked. It can be a point on the contour line of the object to be marked. Corner positions, etc. are used as key points of the object to be labeled. It is understandable that there will be some errors in the setting of markers in the actual scene.
  • the markers may be set exactly on the key points, or there may be a small distance from the key points, as long as they can represent the outline of the object to be marked. .
  • the world coordinate system in the embodiment of the present application refers to the coordinate system of the scene where the sample to be marked is located, and the coordinate system of latitude and longitude plus height can be used, or a three-dimensional coordinate system custom-built for the scene where the sample to be marked is located, etc., for example , the world coordinate system may be the coordinate system of the environment map established based on the SLAM algorithm.
  • processor can be general-purpose processor, comprises CPU (Central Processing Unit, central processing unit), NP (Network Processor, network processor) etc.; Can also be DSP (Digital Signal Processing, digital signal processor), ASIC ( Application Specific Integrated Circuit (ASIC), FPGA (Field-Programmable Gate Array, Field Programmable Gate Array) or other programmable logic devices, discrete gate or transistor logic devices, and discrete hardware components.
  • CPU Central Processing Unit
  • NP Network Processor, network processor
  • DSP Digital Signal Processing, digital signal processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array, Field Programmable Gate Array
  • other programmable logic devices discrete gate or transistor logic devices, and discrete hardware components.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种对象自动标注方法、装置、电子设备及存储介质,获取包含标志物及待标注对象的第一待标注图像;对第一待标注图像进行标志物识别,得到目标标志物信息;按照预先设置的标志物信息与对象的三维模型的对应关系,确定目标标志物信息对应的目标三维模型;基于目标三维模型对第一待标注图像进行检测,确定第一待标注图像中待标注对象的位置信息;按照第一待标注图像中待标注对象的位置信息,在第一待标注图像中标注待标注对象。实现了对象的自动标注,可以减少图像的标注成本,并且能够增加图像的标注效率。

Description

对象自动标注方法、装置、电子设备及存储介质
本申请要求于2021年12月10日提交中国专利局、申请号为202111510608.5发明名称为“对象自动标注方法、装置、电子设备及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域,特别是涉及对象自动标注方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的发展,计算机视觉技术尤其是基于深度学习模型的计算机视觉技术得到了飞速发展。在计算机视觉技术中,深度学习模型需要基于大量的标注数据进行训练,例如在需要利用计算机视觉技术进行车辆识别时,需要选取大量标注有车辆的样本图像对深度学习模型进行训练等。
在深度学习模型训练的过程中,海量的样本图像的标注成本已经成为训练过程中最大的成本,如何减少样本图像的人工标注成本,已成为亟待解决的技术问题。
发明内容
本申请实施例的目的在于提供一种对象自动标注方法、装置、电子设备及存储介质,以实现图像中对象的自动标注,从而减少图像的标注成本。具体技术方案如下:
第一方面,本申请提供了一种对象自动标注方法,所述方法包括:获取包含标志物及待标注对象的第一待标注图像;对所述第一待标注图像进行标志物识别,得到目标标志物信息;按照预先设置的标志物信息与对象的三维模型的对应关系,确定所述目标标志物信息对应的目标三维模型;基于所述目标三维模型对所述第一待标注图像进行检测,确定所述第一待标注图像中所述待标注对象的位置信息;按照所述第一待标注图像中所述待标注对象的位置信息,在所述第一待标注图像中标注所述待标注对象。
第二方面,本申请实施例提供了一种对象自动标注装置,所述装置包括:
待标注图像获取模块,用于获取包含标志物及待标注对象的第一待标注图像;
标志物信息识别模块,用于对所述第一待标注图像进行标志物识别,得到目标标志物信息;
三维模型确定模块,用于按照预先设置的标志物信息与对象的三维模型的对应关系,确定所述目标标志物信息对应的目标三维模型;
位置信息确定模块,用于基于所述目标三维模型对所述第一待标注图像进行检测,确定所述第一待标注图像中所述待标注对象的位置信息;
待标注对象标注模块,用于按照所述第一待标注图像中所述待标注对象的位置信息,在所述第一待标注图像中标注所述待标注对象。
第三方面,本申请实施例提供了一种电子设备,包括处理器及存储器;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序时,实现本申请中任一所述的对象自动标注方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请中任一所述的对象自动标注方法。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得计算机执行本申请中任一所述的对象自动标注方法。
本申请实施例有益效果:
本申请实施例提供的对象自动标注方法、装置、电子设备及存储介质,获取包含标志物及待标注对象的第一待标注图像;对第一待标注图像进行标志物识别,得到目标标志物信息;按照预先设置的标志物信息与对象的三维模型的对应关系,确定目标标志物信息对应的目标三维模型;基于目标三维模型对第一待标注图像进行检测,确定第一待标注图像中待标注对象的位置信息;按照第一待标注图像中待标注对象的位置信息,在第一待标注图像中标注待标注对象。实现了对象的自动标注,可以减少图像的标注成本,并且能够增加图像的标注效率;此外,利用标志物来获取待标注对象对应的三维模型,可以实现自动获取待标注对象的三维模型,不用人工设置,减少人工工作量,增加图像的标注效率。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例和现有技术的技术方案,下面对实施例和现有技术中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的对象自动标注方法的第一种示意图;
图2为本申请实施例的对象自动标注方法的第二种示意图;
图3为本申请实施例的对象自动标注方法的第三种示意图;
图4为本申请实施例的对象自动标注方法的第四种示意图;
图5为本申请实施例的待标注对象的第一种示意图;
图6为本申请实施例的待标注对象的第二种示意图;
图7为本申请实施例的三维稀疏点云模型的一种示意图;
图8为本申请实施例的对象自动标注装置的一种示意图;
图9为本申请实施例的电子设备的一种示意图。
具体实施方式
为使本申请的目的、技术方案、及优点更加清楚明白,以下参照附图并举实施例,对本申请进一步详细说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了实现图像中对象的自动标注,本申请实施例提供了一种对象自动标注方法,参见图1,该方法包括:
S101,获取包含标志物及待标注对象的第一待标注图像。
本申请实施例的对象自动标注方法可以通过具备图像处理功能的电子设备实现,一个例子中,该电子设备可以为手持电子设备,例如,智能摄像机、智能手机等,一个例子中,该电子设备还可以为个人电脑、硬盘录像机或服务器等。
第一待标注图像中包括标志物及待标注对象,标志物需要具有明显的外观特征,以便于能够利用计算机视觉技术从图像中准确识别出标志物,标志物的具体类型可以根据实际情况自定义设置,例如,标志物可以为条形码、 二维码、黑白棋盘图案或其他具有明显视觉标识的特定图像等。待标注对象为任意需要标注的对象,例如可以为车辆、建筑、工业零部件、动物或植物等。此处的待标注对象可以与图3所示的实施例中的待标注对象为同一对象,也可以为相同类型的不同对象,例如,同一型号的两辆汽车等。
S102,对所述第一待标注图像进行标志物识别,得到目标标志物信息。
利用计算机视觉技术对第一待标注图像进行标志物识别,得到其中包含的标志物的标志物信息,称为目标标志物信息。一个例子中,标志物的标志物信息可以为该标志物的标识等,可以预先为每一标志物设置一个标识作为该标志物的标志物信息。一个例子中,具有相同视觉特征的标志物的标志物信息相同,不同视觉特征的标志物的标志物信息不同。
在一种可能的实施方式中,所述标志物为二维码,所述目标标志物信息为目标二维码信息,所述对所述第一待标注图像进行标志物识别,得到目标标志物信息,包括:利用二维码识别技术对所述第一待标注图像进行二维码识别,得到所述第一待标注图像中的目标二维码信息;所述按照预先设置的标志物信息与对象的三维模型的对应关系,确定所述目标标志物信息对应的目标三维模型,包括:按照预先设置的二维码信息与对象的三维模型的对应关系,确定所述目标二维码信息对应的目标三维模型。
一个例子中,二维码的二维码信息可以为字符信息,该字符信息唯一对应一类对象的三维模型,例如,扫描二维码信息得到二维码信息12345678,而12345678对应型号A的摄像头的三维模型;该对应关系即为预先设置的标志物信息与对象的三维模型的对应关系。二维码的二维码信息还可以为地址信息或索引信息等,该地址信息或索引信息唯一指向一类对象的三维模型,该指向关系即为预先设置的标志物信息与对象的三维模型的对应关系。
S103,按照预先设置的标志物信息与对象的三维模型的对应关系,确定所述目标标志物信息对应的目标三维模型。
一个例子中,所述对应关系为二维码信息与对象的三维模型的对应关系,例如,二维码信息A对应车辆的三维模型,二维码信息B对应信号灯的三维模型等。按照目标标志物信息查询对应关系,从而得到目标标志物信息对应的三维模型,称为目标三维模型。
S104,基于所述目标三维模型对所述第一待标注图像进行检测,确定所述第一待标注图像中所述待标注对象的位置信息。
基于所述目标三维模型,利用计算机视觉技术对所述第一待标注图像进行待标注对象的检测,从而得到第一待标注图像中待标注对象的位置信息。例如,可以利用目标三维模型对第一待标注图像进行轮廓匹配,从而在第一待标注图像中确定出待标注对象的位置信息。
一个例子中,可以基于目标三维模型,确定目标三维模型在多个角度下的投影,得到多个二维模型,具体的此处的二维模型可以为二维轮廓;将各二维模型分别与第一待标注图像中的图像区域进行比对,从而得到第一待标注图像中待标注对象的位置信息。一个例子中,以暴力匹配为例,按照预设的单位步长,每次对目标三维模型调整单位步长的角度,并将当前角度调整后的目标三维模型投影到二维平面上,得到表示对象二维轮廓的二维模型,将当前的二维模型与第一待标注图像中的图像区域进行轮廓匹配,若匹配成功,则得到第一待标注图像中的待标注对象的位置信息;若匹配失败则对目标三维模型调整单位步长的角度,再次进行轮廓匹配,直至匹配成功或各角度下的目标三维模型均匹配完成。一个例子中,待标注对象的位置信息可以为待标注对象所对应的像素区域。
S105,按照所述第一待标注图像中所述待标注对象的位置信息,在所述第一待标注图像中标注所述待标注对象。
在获取到第一待标注图像中待标注对象的位置信息后,便可以按照该位置信息在第一待标注图像中完成待标注对象的标注。一个例子中,可以通过矩形标注框在第一待标注图像中标注出待标注对象。
在本申请实施例中,实现了对象的自动标注,可以减少图像的标注成本,并且能够增加图像的标注效率;此外,利用标志物来获取待标注对象对应的三维模型,可以实现自动获取待标注对象的三维模型,不用人工设置,减少人工工作量,增加图像的标注效率。
为了减少标志物对待标注图像的影响,在通过标志物确定目标三维模型后,便可以在待标注图像中移除标志物。在一种可能的实施方式中,参见图2,所述方法还包括:
S201,获取包含所述待标注对象且不包含标志物的第二待标注图像。
在利用标志物确定待标注对象对应的目标三维模型后,便可以利用图像采集设备采集包含该待标注对象且不包含标志物的第二待标注图像。
S202,基于所述目标三维模型对所述第二待标注图像进行检测,确定所述第二待标注图像中所述待标注对象的位置信息。
例如,可以利用目标三维模型对第二待标注图像进行轮廓匹配,从而在第二待标注图像中确定出待标注对象的位置信息。
S203,按照所述第二待标注图像中所述待标注对象的位置信息,在所述第二待标注图像中标注所述待标注对象。
例如,在对车辆标注的过程中,首先利用车辆对应的标志物调用车辆的目标三维模型,然后在后续车辆的标注过程中,因为车辆的目标三维模型已经调用,继续使用即可,便无需在使用标志物来调用目标三维模型了,此种情况下可以直接利用目标三维模型对不包含标志物的第二待标注图像进行轮廓匹配,从而实现对象的标注。
在本申请实施例中,利用目标三维模型对不包含标志物的第二待标注图像进行检测,从而可以实现在对包含标志物的第二待标注图像进行对象的标注,从而可以得到不包含标志物的标注后的图像,能够减少后续模型训练过程中标志物对训练结果的影响。
对象的三维模型可以通过人工建模、三维激光扫描建模、二维图像加深度信息建模或SLAM(Simultaneous Localization And Mapping)算法建模等建模方式建立。在一种可能的实施方式中,参见图3,所述方法还包括:
S301,获取由图像采集设备采集的包含所述标志物及待标注对象的多个样本图像,其中,在所述多个样本图像中所述标志物设置在所述待标注对象的多个关键点处。
图像采集设备可以为单目摄像机、双目摄像机或包含摄像功能的智能手机等设备。每个样本图像中包括至少一个标志物,不同样本图像中标志物在待标注对象上的位置可以相同也可以不同,但是对于全部的样本图像而言,这些样本图像中的标志物需要能够表示待标注对象上多个关键点的位置。一个例子中,为了防止重复采集,不同样本图像中所述标志物与待标注对象的 位置不全部相同。一个例子中,不同样本图像中所述标志物设置在待标注对象处的位置不同和/或不同样本图像中采集待标注对象的角度不同。
待标注对象的关键点可以根据实际情况自定义设置,关键点用于表示待标注对象的轮廓,可以为待标注对象轮廓线上的点,一个例子中,可以选取待标注对象上有标志性的边角位置等作为待标注对象的关键点。可以理解的是,实际场景中标志物的设置会有一定的误差,标志物可能恰好设置在关键点上,也可以距离关键点有一个较小的距离,只要能够表示待标注对象的轮廓即可。
S302,分别确定各所述样本图像中所述标志物的位置。
利用计算机视觉技术确定样本图像中标志物的位置。一个例子中,标志物为二维码,可以利用二维码识别技术分别对各样本图像进行二维码识别,得到各样本图像中的二维码的位置。
S303,获取所述图像采集设备采集各所述样本图像时的位姿信息。
图像采集设备的位姿信息可以包括图像采集设备的位置信息(例如在世界坐标系中的位置)以及姿态信息(例如采集样本图像时的拍摄角度)。一个例子中,图像采集设备中可以安装有陀螺仪、地磁传感器、加速度传感器中的一种或多种,从而获取图像采集设备的位姿信息。
在一种可能的实施方式中,所述获取所述图像采集设备采集各所述样本图像时的位姿信息,包括:根据各所述样本图像,利用SLAM算法,确定所述图像采集设备采集各所述样本图像时的位姿信息。
SLAM算法也称为CML(Concurrent Mapping and Localization,即时定位与地图构建)算法或并发建图与定位算法;SLAM算法是指将一个机器人放入未知环境中的未知位置,使机器人一边移动一边逐步描绘出此环境完全的地图,具体的,SLAM算法可以利用图像采集设备采集的二维图像进行未知环境的建模,获取图像采集设备在该未知环境中的位置及姿态,并获取该位置环境中各物体(对象)的位置。使用SLAM算法,要求待标注对象为静止的对象,即待标注对象在世界坐标系中不会发生移动及形变。SLAM算法的具体计算过程可以参见相关技术中的SLAM算法实现过程,本申请中不做具体限定。
S304,针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,确定该样本图像对应的所述标志物在世界坐标系中的位置。
本申请实施例中的世界坐标系是指待标注样本所处场景的坐标系,可以采用经纬度加高度的坐标系,也可以为针对待标注样本所在的场景自定义建立的三维坐标系等,例如,世界坐标系可以为基于SLAM算法建立的环境地图的坐标系。
一个例子中,可以获取图像采集设备的外参,根据标志物在样本图像中的位置、图像采集设备采集该样本图像时的姿态信息、图像采集设备的外参,得到标志物在图像采集设备三维坐标系中的位置;然后根据图像采集设备在世界坐标系中的位置信息以及标志物在图像采集设备三维坐标系中的位置,得到标志物在世界坐标系中的位置。
一个例子中,可以利用SLAM算法,来得到标志物在世界坐标系中的位置。在一种可能的实施方式中,所述针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,确定该样本图像对应的所述标志物在世界坐标系中的位置,包括:所述针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,利用SLAM算法,确定该样本图像对应的所述标志物在世界坐标系中的位置。
S305,根据各所述样本图像对应的所述标志物在所述世界坐标系中的位置,建立所述待标注对象的三维模型。
标志物设置在待标注对象的关键点处,多个样本图像中的标注物可以设置在待标注对象不同的关键点处,待标注对象在世界坐标系中的位置也即待标注对象的关键点在世界坐标系中的位置。因此,可以利用待标注对象的关键点在世界坐标系中的位置,来建立待标注对象在世界坐标系中的三维模型。一个例子中,此处的三维模型为三维稀疏点云模型,例如,由标志物表示的关键点所组成的三维模型。
S306,获取所述标志物的标志物信息,建立所述标志物的标志物信息与所述待标注对象的三维模型的对应关系。
建立标志物的标志物信息与待标注对象的三维模型的对应关系,从而后续可以直接根据标志物来调取待标注对象的三维模型,以实现待标注对象的快速自动标定。
本申请实施例中,结合二维码及SLAM算法,可以利用二维图像来得到待标注对象的关键点在三维世界坐标系中的位置,通过融合SLAM算法与二维码识别解释,解决了二维图像与三维场景交互难的问题。利用二维码结合SLAM算法的方式,工程和人工成本大大降;由二维码来得到对标注对象的关键点,使用了准确的轮廓描述方法,标注结果准确性高。
下面对样本图像的采集过程进行说明,在一种可能的实施方式中,参见图4,所述方法还包括:
S401,将所述标志物设置在所述待标注对象的关键点处,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像。
一个例子中,参见图5,以天然气管道接口为待标注对象为例,将预设二维码作为标志物设置在待标注对象的关键点处,例如图6所示。
S402,调整所述图像采集设备的位姿和/或所述标志物在所述待标注对象处的位置,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像。
调整图像采集设备拍摄待标注对象的角度及位置,从而得到不同位姿下包含标志物的待标注对象;将标志物放置在待标注对象不同的关键点上,从而得到待标注对象不同的关键点的位置。
S403,重复执行上述步骤:S402调整所述图像采集设备的位置和/或所述标志物在所述待标注对象处的位置,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像,直至满足采集终止条件。
重复执行步骤S402直至满足采集终止条件。采集终止条件可以根据实际情况自定义设置,例如采集终止条件可以为采集到预设数量的样本图像,其中预设数量可以根据实际情况自定义设置,但是需要保证预设数据的样本图像足够建立待标注对象的三维模型;例如,采集终止条件可以为用户触发停止采集的指令等。一个例子中,天然气管道接口的八个关键点的三维稀疏点云模型可以如图7所示。
本申请实施例中,通过二维图像采样的方式来得到三维模型,能够实现三维模型的自动生成,对场景的适应性好,对光线亮暗,相机成像效果,室内外均有较大优势。
在一种可能的实施方式中,如图4所示的对象自动标注方法,待标注图像(包括第一待标注图像及第二待标注图像)的采样,以及待标注图像中待标注对象的标注可以实时进行,在采集到待标注图像后,可以实时对其中的待标注对象进行自动标注。在自动标注过程中,可以利用二维码现场采用标注,只需预先制作二维码几乎无准备工作,即采即走,采样完成即可标注完成,无需后期再次标注。
为了更加方便用户感知三维模型的建立效果,在一种可能的实施方式中,所述方法还包括:
步骤一,根据已得到的所述标志物在所述世界坐标系中的位置及所述图像采集设备的当前位姿信息,确定所述待标注对象的关键点在所述图像采集设备的图像坐标系中的位置得到关键点图像位置。
标志物代表待标注对象的关键点,标志物在世界坐标系中的位置即待标注对象的关键点在实际坐标系中的位置。根据图像采集设备的实时位姿信息,可以得到图像采集设备的图像坐标系与世界坐标系的转换关系,因此可以得到关键点在图像坐标系中的位置,也即关键点图像位置。
步骤二,基于已得到的所述关键点图像位置,拟合得到矩形框。
一个例子中,在仅有一个关键点图像位置的情况下,不进行矩形框的拟合。在有至少两个关键点图像位置的情况下,可以对各关键点图像位置进行矩形拟合,得到矩形框。利用多个点拟合得到矩形的方式可以参见相关技术中的矩形拟合方式,一个例子中,可以将关键点图像位置作为矩形框的角点,来拟合得到最大的矩形框,并使得各关键点图像位置均落在矩形框的内部及矩形框上。
步骤三,在所述图像采集设备对应的显示屏中显示所述关键点图像位置及所述矩形框。
图像采集设备对应的显示屏可以为该图像采集设备内置的显示屏,也可以为该图像采集设备外接的显示屏。在图像采集设备对应的显示屏中显示关键点图像位置及矩形框,能够使得用户直观的感知三维模型的建立效果,并 且能够直观的感知到矩形框标注结果,便于用户实时调整标志物的位置,以得到标注效果更好的三维模型。
本申请实施例还提供了一种对象自动标注装置,参见图8,所述装置包括:
待标注图像获取模块801,用于获取包含标志物及待标注对象的第一待标注图像;
标志物信息识别模块802,用于对所述第一待标注图像进行标志物识别,得到目标标志物信息;
三维模型确定模块803,用于按照预先设置的标志物信息与对象的三维模型的对应关系,确定所述目标标志物信息对应的目标三维模型;
位置信息确定模块804,用于基于所述目标三维模型对所述第一待标注图像进行轮廓匹配,确定所述第一待标注图像中所述待标注对象的位置信息;
待标注对象标注模块805,用于按照所述第一待标注图像中所述待标注对象的位置信息,在所述第一待标注图像中标注所述待标注对象。
在一种可能的实施方式中,所述标志物为二维码,所述目标标志物信息为目标二维码信息,所述对应关系为二维码信息与对象的三维模型的对应关系;所述标志物信息识别模块,具体用于:利用二维码识别技术对所述第一待标注图像进行二维码识别,得到所述第一待标注图像中的目标二维码信息。
在一种可能的实施方式中,所述装置还包括:
样本图像获取模块,用于获取由图像采集设备采集的包含所述标志物及待标注对象的多个样本图像,其中,在所述多个样本图像中所述标志物设置在所述待标注对象的多个关键点处;
标志物位置确定模块,用于分别确定各所述样本图像中所述标志物的位置;
位姿信息获取模块,用于获取所述图像采集设备采集各所述样本图像时的位姿信息;
世界坐标确定模块,用于针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,确定该样本图像对应的所述标志物在世界坐标系中的位置;
三维模型建立模块,用于根据各所述样本图像对应的所述标志物在所述 世界坐标系中的位置,建立所述待标注对象的三维模型;
对应关系建立模块,用于获取所述标志物的标志物信息,建立所述标志物的标志物信息与所述待标注对象的三维模型的对应关系。
在一种可能的实施方式中,所述位姿信息获取模块,具体用于:根据各所述样本图像,利用同步定位与建图SLAM算法,确定所述图像采集设备采集各所述样本图像时的位姿信息。
在一种可能的实施方式中,所述世界坐标确定模块,具体用于:针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,利用SLAM算法,确定该样本图像对应的所述标志物在世界坐标系中的位置。
在一种可能的实施方式中,所述装置还包括:
标志物设置模块,用于将所述标志物设置在所述待标注对象的关键点处,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像;
样本图像采集模块,用于调整所述图像采集设备的位姿和/或所述标志物在所述待标注对象处的位置,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像;
采集完成判断模块,用于调用所述样本图像采集模块重复采集样本图像,直至满足采集终止条件。
在一种可能的实施方式中,所述装置还包括:
矩形框显示模块,用于根据已得到的所述标志物在所述世界坐标系中的位置及所述图像采集设备的当前位姿信息,确定所述待标注对象的关键点在所述图像采集设备的图像坐标系中的位置得到关键点图像位置;基于已得到的所述关键点图像位置,拟合得到矩形框;在所述图像采集设备对应的显示屏中显示所述关键点图像位置及所述矩形框。
在一种可能的实施方式中,所述待标注图像获取模块还用于:获取包含所述待标注对象且不包含标志物的第二待标注图像;
所述位置信息确定模块,还用于基于所述目标三维模型对所述第二待标注图像进行轮廓匹配,确定所述第二待标注图像中所述待标注对象的位置信息;
所述待标注对象标注模块,还用于按照所述第二待标注图像中所述待标注对象的位置信息,在所述第二待标注图像中标注所述待标注对象。
本申请实施例还提供了一种电子设备,包括:处理器及存储器;上述存储器,用于存放计算机程序;上述处理器用于执行上述存储器存放的计算机程序时,实现本申请中任一所述的对象自动标注方法。
可选的,参见图9,本申请实施例的电子设备还包括通信接口902和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信。
上述电子设备提到的通信总线可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(Extended Industry Standard Architecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-Volatile Memory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processing,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质内存储有计算机程序,上述计算机程序被处理器执行时实现本申请中任一所述的对象自动标注方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的对象自动标注方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意 组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)。
需要说明的是,在本文中,各个可选方案中的技术特征只要不矛盾均可组合来形成方案,这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (19)

  1. 一种对象自动标注方法,其特征在于,所述方法包括:
    获取包含标志物及待标注对象的第一待标注图像;
    对所述第一待标注图像进行标志物识别,得到目标标志物信息;
    按照预先设置的标志物信息与对象的三维模型的对应关系,确定所述目标标志物信息对应的目标三维模型;
    基于所述目标三维模型对所述第一待标注图像进行检测,确定所述第一待标注图像中所述待标注对象的位置信息;
    按照所述第一待标注图像中所述待标注对象的位置信息,在所述第一待标注图像中标注所述待标注对象。
  2. 根据权利要求1所述的方法,其特征在于,所述标志物为二维码,所述目标标志物信息为目标二维码信息,所述对应关系为二维码信息与对象的三维模型的对应关系;
    所述对所述第一待标注图像进行标志物识别,得到目标标志物信息,包括:
    利用二维码识别技术对所述第一待标注图像进行二维码识别,得到所述第一待标注图像中的目标二维码信息;
    所述按照预先设置的标志物信息与对象的三维模型的对应关系,确定所述目标标志物信息对应的目标三维模型,包括:
    按照预先设置的二维码信息与对象的三维模型的对应关系,确定所述目标二维码信息对应的目标三维模型。
  3. 根据权利要求1所述的方法,其特征在于,所述方法还包括:
    获取由图像采集设备采集的包含所述标志物及待标注对象的多个样本图像,其中,在所述多个样本图像中所述标志物设置在所述待标注对象的多个关键点处;
    分别确定各所述样本图像中所述标志物的位置;
    获取所述图像采集设备采集各所述样本图像时的位姿信息;
    针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,确定该样本图像对应的所述标志物在世界坐标系中的位置;
    根据各所述样本图像对应的所述标志物在所述世界坐标系中的位置,建立所述待标注对象的三维模型;
    获取所述标志物的标志物信息,建立所述标志物的标志物信息与所述待标注对象的三维模型的对应关系。
  4. 根据权利要求3所述的方法,其特征在于,所述获取所述图像采集设备采集各所述样本图像时的位姿信息,包括:
    根据各所述样本图像,利用同步定位与建图SLAM算法,确定所述图像采集设备采集各所述样本图像时的位姿信息。
  5. 根据权利要求4所述的方法,其特征在于,所述针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,确定该样本图像对应的所述标志物在世界坐标系中的位置,包括:
    针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,利用SLAM算法,确定该样本图像对应的所述标志物在世界坐标系中的位置。
  6. 根据权利要求3所述的方法,其特征在于,所述方法还包括:
    将所述标志物设置在所述待标注对象的关键点处,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像;
    调整所述图像采集设备的位姿和/或所述标志物在所述待标注对象处的位置,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本 图像;
    重复执行上述步骤:调整所述图像采集设备的位置和/或所述标志物在所述待标注对象处的位置,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像,直至满足采集终止条件。
  7. 根据权利要求3-6任一所述的方法,其特征在于,所述方法还包括:
    根据已得到的所述标志物在所述世界坐标系中的位置及所述图像采集设备的当前位姿信息,确定所述待标注对象的关键点在所述图像采集设备的图像坐标系中的位置得到关键点图像位置;
    基于已得到的所述关键点图像位置,拟合得到矩形框;
    在所述图像采集设备对应的显示屏中显示所述关键点图像位置及所述矩形框。
  8. 根据权利要求1所述的方法,其特征在于,所述方法还包括:
    获取包含所述待标注对象且不包含标志物的第二待标注图像;
    基于所述目标三维模型对所述第二待标注图像进行检测,确定所述第二待标注图像中所述待标注对象的位置信息;
    按照所述第二待标注图像中所述待标注对象的位置信息,在所述第二待标注图像中标注所述待标注对象。
  9. 一种对象自动标注装置,其特征在于,所述装置包括:
    待标注图像获取模块,用于获取包含标志物及待标注对象的第一待标注图像;
    标志物信息识别模块,用于对所述第一待标注图像进行标志物识别,得到目标标志物信息;
    三维模型确定模块,用于按照预先设置的标志物信息与对象的三维模型的对应关系,确定所述目标标志物信息对应的目标三维模型;
    位置信息确定模块,用于基于所述目标三维模型对所述第一待标注图像进行检测,确定所述第一待标注图像中所述待标注对象的位置信息;
    待标注对象标注模块,用于按照所述第一待标注图像中所述待标注对象的位置信息,在所述第一待标注图像中标注所述待标注对象。
  10. 根据权利要求9所述的装置,其特征在于,所述标志物为二维码,所述目标标志物信息为目标二维码信息,所述对应关系为二维码信息与对象的三维模型的对应关系;
    所述标志物信息识别模块,具体用于:利用二维码识别技术对所述第一待标注图像进行二维码识别,得到所述第一待标注图像中的目标二维码信息;
    所述三维模型确定模块,具体用于:按照预先设置的二维码信息与对象的三维模型的对应关系,确定所述目标二维码信息对应的目标三维模型。
  11. 根据权利要求9所述的装置,其特征在于,所述装置还包括:
    样本图像获取模块,用于获取由图像采集设备采集的包含所述标志物及待标注对象的多个样本图像,其中,在所述多个样本图像中所述标志物设置在所述待标注对象的多个关键点处;
    标志物位置确定模块,用于分别确定各所述样本图像中所述标志物的位置;
    位姿信息获取模块,用于获取所述图像采集设备采集各所述样本图像时的位姿信息;
    世界坐标确定模块,用于针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,确定该样本图像对应的所述标志物在世界坐标系中的位置;
    三维模型建立模块,用于根据各所述样本图像对应的所述标志物在所述世界坐标系中的位置,建立所述待标注对象的三维模型;
    对应关系建立模块,用于获取所述标志物的标志物信息,建立所述标志 物的标志物信息与所述待标注对象的三维模型的对应关系。
  12. 根据权利要求11所述的装置,其特征在于,所述位姿信息获取模块,具体用于:根据各所述样本图像,利用同步定位与建图SLAM算法,确定所述图像采集设备采集各所述样本图像时的位姿信息。
  13. 根据权利要求12所述的装置,其特征在于,所述世界坐标确定模块,具体用于:针对每一个样本图像,根据所述图像采集设备采集该样本图像时的位姿信息、所述标志物在该样本图像中的位置,利用SLAM算法,确定该样本图像对应的所述标志物在世界坐标系中的位置。
  14. 根据权利要求11所述的装置,其特征在于,所述装置还包括:
    标志物设置模块,用于将所述标志物设置在所述待标注对象的关键点处,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像;
    样本图像采集模块,用于调整所述图像采集设备的位姿和/或所述标志物在所述待标注对象处的位置,并利用所述图像采集设备采集包含所述标志物及所述待标注对象的样本图像;
    采集完成判断模块,用于调用所述样本图像采集模块重复采集样本图像,直至满足采集终止条件。
  15. 根据权利要求11-14任一所述的装置,其特征在于,所述装置还包括:
    矩形框显示模块,用于根据已得到的所述标志物在所述世界坐标系中的位置及所述图像采集设备的当前位姿信息,确定所述待标注对象的关键点在所述图像采集设备的图像坐标系中的位置得到关键点图像位置;基于已得到的所述关键点图像位置,拟合得到矩形框;在所述图像采集设备对应的显示屏中显示所述关键点图像位置及所述矩形框。
  16. 根据权利要求9所述的装置,其特征在于,所述待标注图像获取模块还用于:获取包含所述待标注对象且不包含标志物的第二待标注图像;
    所述位置信息确定模块,还用于基于所述目标三维模型对所述第二待标注图像进行检测,确定所述第二待标注图像中所述待标注对象的位置信息;
    所述待标注对象标注模块,还用于按照所述第二待标注图像中所述待标注对象的位置信息,在所述第二待标注图像中标注所述待标注对象。
  17. 一种电子设备,其特征在于,包括处理器及存储器;
    所述存储器,用于存放计算机程序;
    所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-8任一所述的对象自动标注方法。
  18. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的对象自动标注方法。
  19. 一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得计算机执行权利要求1-8任一所述的对象自动标注方法。
PCT/CN2022/135979 2021-12-10 2022-12-01 对象自动标注方法、装置、电子设备及存储介质 WO2023103883A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111510608.5A CN116266402A (zh) 2021-12-10 2021-12-10 对象自动标注方法、装置、电子设备及存储介质
CN202111510608.5 2021-12-10

Publications (1)

Publication Number Publication Date
WO2023103883A1 true WO2023103883A1 (zh) 2023-06-15

Family

ID=86729648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/135979 WO2023103883A1 (zh) 2021-12-10 2022-12-01 对象自动标注方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN116266402A (zh)
WO (1) WO2023103883A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235831A (zh) * 2023-11-13 2023-12-15 北京天圣华信息技术有限责任公司 一种零件自动标注方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102589443A (zh) * 2012-01-31 2012-07-18 华中科技大学 一种基于图像识别的管片拼装质量的智能检测系统及其检测方法
US20180300551A1 (en) * 2017-04-14 2018-10-18 Microsoft Technology Licensing, Llc Identifying a Position of a Marker in an Environment
CN109948671A (zh) * 2019-03-04 2019-06-28 腾讯科技(深圳)有限公司 图像分类方法、装置、存储介质以及内窥镜成像设备
CN110287934A (zh) * 2019-07-02 2019-09-27 北京搜狐互联网信息服务有限公司 一种对象检测方法、装置、客户端及服务器
CN113627248A (zh) * 2021-07-05 2021-11-09 深圳拓邦股份有限公司 自动选择识别模型的方法、系统、割草机及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102589443A (zh) * 2012-01-31 2012-07-18 华中科技大学 一种基于图像识别的管片拼装质量的智能检测系统及其检测方法
US20180300551A1 (en) * 2017-04-14 2018-10-18 Microsoft Technology Licensing, Llc Identifying a Position of a Marker in an Environment
CN109948671A (zh) * 2019-03-04 2019-06-28 腾讯科技(深圳)有限公司 图像分类方法、装置、存储介质以及内窥镜成像设备
CN110287934A (zh) * 2019-07-02 2019-09-27 北京搜狐互联网信息服务有限公司 一种对象检测方法、装置、客户端及服务器
CN113627248A (zh) * 2021-07-05 2021-11-09 深圳拓邦股份有限公司 自动选择识别模型的方法、系统、割草机及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235831A (zh) * 2023-11-13 2023-12-15 北京天圣华信息技术有限责任公司 一种零件自动标注方法、装置、设备及存储介质
CN117235831B (zh) * 2023-11-13 2024-02-23 北京天圣华信息技术有限责任公司 一种零件自动标注方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116266402A (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
EP3690815B1 (en) Method, medium and apparatus for automatically labeling target object within image
CN112258567B (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
US8611592B2 (en) Landmark identification using metadata
CN103366250B (zh) 基于三维实景数据的市容环境检测方法及系统
WO2015014018A1 (zh) 移动终端基于图像识别技术的室内定位与导航方法
US20130243250A1 (en) Location of image capture device and object features in a captured image
KR20220028042A (ko) 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN105023266A (zh) 增强现实实现方法、装置和终端设备
US11989827B2 (en) Method, apparatus and system for generating a three-dimensional model of a scene
US20130135446A1 (en) Street view creating system and method thereof
CN110706278A (zh) 一种基于激光雷达和摄像头的物体识别方法和装置
WO2023103883A1 (zh) 对象自动标注方法、装置、电子设备及存储介质
KR20150082195A (ko) 어노테이션 방법 및 기기
CN111399634B (zh) 一种手势引导物体识别的方法及装置
CN114529621B (zh) 户型图生成方法、装置、电子设备及介质
CN116701554A (zh) 基于gis、bim和全景影像技术的三维空间数据质检方法和系统
CN114089836B (zh) 标注方法、终端、服务器和存储介质
CN114140771A (zh) 一种图像深度数据集自动标注方法及系统
WO2023103884A1 (zh) 对象模型建立方法、装置、电子设备及存储介质
CN115033128A (zh) 基于图像识别的电子白板控制方法、电子白板及可读介质
TW201937452A (zh) 定位系統及方法及電腦可讀取儲存媒體
CN112017247A (zh) 利用kinect实现无人车视觉的方法
US20160086339A1 (en) Method of providing cartograic information of an eletrical component in a power network
CN111145095B (zh) 一种带尺度测量的vr图生成方法及数据采集装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22903305

Country of ref document: EP

Kind code of ref document: A1

WD Withdrawal of designations after international publication