WO2021032197A1 - 单目视觉测距方法、存储介质及单目摄像头 - Google Patents

单目视觉测距方法、存储介质及单目摄像头 Download PDF

Info

Publication number
WO2021032197A1
WO2021032197A1 PCT/CN2020/110572 CN2020110572W WO2021032197A1 WO 2021032197 A1 WO2021032197 A1 WO 2021032197A1 CN 2020110572 W CN2020110572 W CN 2020110572W WO 2021032197 A1 WO2021032197 A1 WO 2021032197A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
target
ref
monocular
monocular camera
Prior art date
Application number
PCT/CN2020/110572
Other languages
English (en)
French (fr)
Inventor
宫原俊二
Original Assignee
长城汽车股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 长城汽车股份有限公司 filed Critical 长城汽车股份有限公司
Priority to US17/636,383 priority Critical patent/US20220266835A1/en
Priority to EP20853748.0A priority patent/EP4006486A4/en
Publication of WO2021032197A1 publication Critical patent/WO2021032197A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/12—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with monocular observation at a single point, e.g. coincidence type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

一种单目视觉测距方法，包括：基于单目摄像头（A）与目标（B）的几何关系，计算目标（B）相对于单目摄像头（A）的第一距离（S100）；基于目标（B）与对应的参考目标的尺寸比，计算目标（B）相对于单目摄像头（A）的第二距离（S200）；评估第一距离和第二距离的可信度，并根据所评估的可信度来确定向第一距离和第二距离分别分配的权重值，其中可信度越高，对应的权重值越高（S300）；以及基于第一距离、第二距离及第一距离和第二距离各自对应的权重值，计算目标（B）相对于单目摄像头（A）的最终距离（S400）。还公开了存储介质及单目摄像头（A）。能实现更好、更稳定、更广泛的目标检测。

Description

单目视觉测距方法、存储介质及单目摄像头
相关申请的交叉引用
本申请要求2019年08月21日提交的中国专利申请201910772025.6的权益，该申请的内容通过引用被合并于本文。
技术领域
本发明涉及智能交通及图像处理技术领域，特别涉及一种单目视觉测距方法、存储介质及单目摄像头。
背景技术
目前，具有AD(Autonomous driving，自主驾驶)功能或ADAS(Advanced Driver Assistance System，高级驾驶辅助系统)的车辆已推向市场，极大地促进了智能交通的发展。
现有技术中，支持AD/ADAS的传感器主要有雷达、视觉相机系统、激光雷达、超声波传感器等，其中视觉相机系统因能够获得与人类视觉一样的二维图像信息而应用最为广泛，其典型应用包括车道检测、物体检测、车辆检测、行人检测、骑车人检测等指定目标检测。
目前用于物体识别/检测的视觉相机系统主要包括单目摄像头和立体摄像机，两者都有自己的特色。单目摄像头具有紧凑、简单、易于安装等优点，且它需要的计算量比立体摄像机小。由于这些优点，单目摄像头在实际市场中的使用越来越多。但是，单目摄像头存在一个致命的缺点，即其进行距离估计的准确性不足以满足要求(低于立体摄像机)，因此长期以来一直期望能够提高单目摄像头的距离估测精度。
发明内容
有鉴于此，本发明旨在提出一种单目视觉测距方法，以解决现有单目摄像头距离估测精度不高的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种单目视觉测距方法，包括：基于单目摄像头与目标的几何关系，计算所述目标相对于所述单目摄像头的第一距离；基于所述目标与对应参考图案中的参考目标的尺寸比，计算所述目标相对于所述单目摄像头的第二距离，其中所述尺寸比包括高度比或宽度比；评估所述第一距离和所述第二距离的可信度，并根据所评估的可信度来确定向所述第一距离和所述第二距离分别分配的权重值，其中可信度越高，对应的权重值越高；以及基于所述第一距离、所述第二距离及所述第一距离和所述第二距离各自对应的权重值，计算所述目标相对于所述单目摄像头的最终距离。
下面对所述单目视觉测距方法的一个方面进行解释。所述计算所述目标相对于所述单目摄像头的所述第一距离包括：在所述单目摄像头的感兴趣范围中的一个距离处设置假想窗口，其中所述假想窗口具有预定的物理尺寸，且包括所述目标的全部或部分且所述假想窗口的底部接触真实地面；以及将所述单目摄像头至所述假想窗口的距离作为第一距离d1。
进一步的，所述计算所述目标相对于所述单目摄像头的第一距离包括：在所述单目摄像头的感兴趣范围中设置多个假想窗口，其中每一假想窗口相对于所述单目摄像头距离不同且具有相同的物理尺寸，且包括所述目标的全部或部分；评估目标高度与该目标底部至各窗口底部的距离之间的高度比以用于评分；以及根据评估结果对每一假想窗口进行评分，并选择分数最高的假想窗口，并将该分数最高的假想 窗口相对于所述单目摄像头的距离作为所述第一距离d1。
进一步的，所述评估目标高度与该目标底部至窗口底部的距离之间的高度比包括：通过每一假想窗口的物理尺寸来计算目标高度及目标底部至各窗口底部的距离，并根据计算结果评估目标高度与该目标底部至窗口底部的距离之间的高度比。
进一步的，评估所述第一距离的可信度包括：获取目标高度h1以及该目标底部至用于确定所述第一距离的窗口底部的高度h2；以及确定h1及h2的比值h2/h1，且该比值h2/h1越接近于0，对应的第一距离的可信度越高。
进一步的，所述计算所述目标相对于所述单目摄像头的第二距离包括：获取目标尺寸参数s1，且所述目标尺寸参数s1包括目标高度h1或目标宽度w1；获取相对于所述单目摄像头的参考距离d_ref内的参考图案中的参考目标对应于目标尺寸参数s1的尺寸参数s_ref，且该参考目标尺寸参数包括参考目标高度h_ref或参考目标宽度w_ref；以及根据下式计算第二距离d2：
d2＝(s_ref/s1)*d_ref。
进一步地，评估所述第二距离的可信度包括：确定s1及s_ref的比值s_ref/s1，且比值s_ref/s1越接近于1，对应的第二距离的可信度越高。
进一步地，所述基于所述第一距离、所述第二距离及所述第一距离和所述第二距离各自对应的权重值，计算所述目标相对于所述单目摄像头的最终距离包括：采用下式计算所述最终距离：
range_w_r＝(d1*point_win+d2*point_ref)/(point_win+point_ref)
式中，range_w_r表示最终距离，d1表示第一距离，point_win表示第一距离对应的第一权重值，d2表示第二距离，point_ref表示第二距离对应的第二权重值。
进一步地，当使用多个假想窗口时，基于第一权重值point_win和第二权重值point_ref的具有最高得分的最终距离range_w_r被选择作为最终距离，其中所述得分是第一权重值point_win和第二权重值point_ref之和或者是关于第一权重值point_win和第二权重值point_ref的函数。
相对于现有技术，本发明所述的单目视觉测距方法具有以下优势：本发结合了第一距离和第二距离两种测距方案(即基于几何关系和基于图案匹配)来共同确定最终距离，显著地提高了单目摄像头的测距可信度，并且相对于采用单一距离的方案，如果某一测距方案不可用，则在某些情况下可以使用另一种测距方案，从而本发明实施例的单目视觉测距方法能实现更好、更稳定、更广泛的目标检测。
本发明的另一目的在于提出一种机器可读存储介质和处理器，以解决现有单目摄像头距离估测精度不高的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的单目视觉测距方法。
一种处理器，用于运行程序，所述程序被运行时用于执行：如上述的单目视觉测距方法。
所述机器可读存储介质及处理器与上述单目视觉测距方法相对于现有技术所具有的优势相同，在此不再赘述。
本发明的另一目的在于提出一种单目摄像头，以解决现有单目摄像头距离估测精度不高的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种单目摄像头，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执 行，使得所述一个或多个处理器实现如上述的单目视觉测距方法。
所述单目摄像头与上述单目视觉测距方法相对于现有技术所具有的优势相同，在此不再赘述。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种单目视觉测距方法的流程示意图；
图2是本发明实施例中基于单目摄像头与实际目标的几何关系进行测距的原理示意图；
图3是本发明实施例中的测量图像与参考图案的示意图；
图4(a)是设置有三个假想窗口的示意图；
图4(b)是与图4(a)相对应的三个假想窗口与窗口中的实际目标的相对位置示意图；
图4(c)示出了基于多个窗口确定第一距离的流程示意图；
图4(d)示出了窗口中目标的位置的示意图；以及
图5(a)和图5(b)分别为采用测量方法_1和测量方法_2确定权重值的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
下面将参考附图并结合实施方式来详细说明本发明。
图1是本发明实施例的一种单目视觉测距方法的流程示意图，其中所述单目视觉是针对安装在车辆上的单目摄像头的，且所述测距是指测量所述单目摄像头相对于车辆周边的实际目标的距离。如图1所示，该单目视觉测距方法可以包括以下步骤：
步骤S100，基于单目摄像头与目标的几何关系，计算所述目标相对于所述单目摄像头的第一距离。
其中，所述目标是指所述单目摄像头预期要拍摄的目标，例如是车辆前方的其他车辆、障碍物(如路锥等)等。
举例而言，图2是本发明实施例中基于单目摄像头与实际目标的几何关系进行测距的原理示意图。如图2所示，假设单目摄像头A的坐标与地面平行，并设单目摄像头A至地面的距离为h，且单目摄像头A至目标B的接触地面的底部(即目标的下边缘)的视线相对于地面的夹角为θ，则单目摄像头A至目标B的距离d1＝h/tanθ。但在实际中，因难以确定目标的下边缘，实际上很难计算出精确的距离d1。对此，本发明实施例提出了新的计算距离d1的方法，将在下文进行具体介绍。
步骤S200，基于所述目标与对应参考图案中的参考目标的尺寸比，计算所述目标相对于所述单目摄像头的第二距离。
其中，所述参考目标是指是指同一摄像头在测量之前以参考距离拍摄的图像中的目标，或者是根据参考距离计算出的目标。在优选的实施例中，计算所述目标相对于所述单目摄像头的第二距离可以包括以下步骤：获取目标尺寸参数s1，且所述目标尺寸参数s1包括目标高度h1或目标宽度w1；获取相对于所述单目摄像头的参考距离d_ref内的参考图案中的参考目标对应于目标尺寸参数s1的尺寸参数s_ref，且该参考目标尺寸参数包括参考目标高度h_ref或参考目标宽度 w_ref；以及根据下式计算第二距离d2：
d2＝(s_ref/s1)*d_ref。
进一步以高度比为例，图3是本发明实施例中的测量图像与参考图案的示意图，其中，设测量图像中的目标(即实际目标)的高度为h1，设参考图案中的参考目标高度为h_ref，进一步设单目摄像头至参考图案的参考距离为d_ref，则计算第二距离的步骤可以包括：获取实际目标B高度h1；获取相对于单目摄像头A的参考距离d_ref内的参考图案中的参考目标高度h_ref；以及根据下式计算第二距离d2：
d2＝(h_ref/h1)*d_ref。
采用宽度比w_ref/w1计算第二距离d2的方法与采用高度比的方法相似，故在此不再进行赘述。
其中，可将步骤S100的测距方法称为测量方法_1，将步骤S200的测距方法称为测量方法_2，两者各自的优缺点如下面的表1所示：
表1
Figure PCTCN2020110572-appb-000001
其中，对于基于几何关系的测量方式_1，在本发明实施例中，可进一步通过距离窗口算法(RangeWindow Algorithm，RWA)来实现。 该RWM又分别单个窗口和多个窗口两种实施方式，具体如下：
1)单个窗口
在单目摄像头的感兴趣范围中的一个距离处设置假想窗口，该假想窗口具有预定的物理尺寸，且包括目标的全部或部分且该假想窗口的底部接触真实地面。此时，将所述单目摄像头至所述假想窗口的距离作为所述第一距离。
2)多个窗口
在所述单目摄像头的感兴趣范围中设置多个假想窗口，其中每一假想窗口相对于所述单目摄像头距离不同且具有相同的物理尺寸，且包括所述目标的全部或部分。以目标为车辆为例，图4(a)是设置有三个假想窗口的示意图，其中三个假想窗口分别为w1、w2和w3，图4(b)是与图4(a)相对应的三个假想窗口与实际目标的相对位置示意图，可知每个假想窗口与实际目标的位置关系不同。其中，各个假想窗口至单目摄像头的距离可设为range_window,该range_window可以是设定距离的几何级数，例如各窗口的range_window分别是50米、60米＝50×1.2米、73.2米＝60×1.2米。另外，每个窗口都具有相同的物理尺寸，例如4×1.6米。
据此，在每一假想窗口对应的图像中，评估目标高度与该目标底部至各窗口底部的距离之间的高度比。根据评估结果对每一假想窗口进行评分，并选择分数最高的假想窗口，并将该分数最高的假想窗口相对于所述单目摄像头的距离作为所述第一距离。
在优选的实施例中，评估目标高度与该目标底部至窗口底部的距离之间的高度比的步骤可以包括：通过每一假想窗口的物理尺寸来计算目标高度及目标底部至各窗口底部的距离，并根据计算结果评估目标高度与该目标底部至窗口底部的距离之间的高度比。举例而言，假 想窗口的物理尺寸为4×2米，据此可通过窗口尺寸估算目标高度和目标底部至窗口底部的距离的高度比。需说明的是，在其他实施例中，除了高度比之外，需要评估的项目还可以包括实际目标的宽度、边长、内/外纹理等其他度量。在现有技术中，一般是通过像素来表示目标，一个目标可能由多个像素点表示，但本发明实施例则是基于像素的度量，即这里的高度、宽度等，来表示目标。
具体地，图4(c)示出了基于多个窗口确定第一距离的流程示意图。参考图4(c)，可以包括以下步骤：
步骤S110，从单目摄像头获得单色图像。
步骤S120，通过水平差分(differential)处理及阈值获得所述单色图像对应的三元图像。
其中，通过连接边缘点创建三元图像中的线段。
步骤S130，通过阈值获得所述单色图像对应的二值图像。例如，可以使用OTSU(最大类间方差)来创建二值图像。该二值图像用于将目标与背景分离。这有助于线段创建对象。该二值图像可以抑制两个目标之间的重影(ghost)目标。
步骤S140，使用三元图像的线段和二值图像创建目标，并将分数给予单个帧中的目标。
步骤S150，根据得分选择窗口的最佳目标。
步骤S160，对不同的距离的窗口重复上述过程，并确定每个窗口的最佳目标。
步骤S170，选择最佳距离，该最佳距离对应的窗口的最佳目标的得分最高。
步骤S180，最佳距离的距离成为第一距离。
其中，图4(d)示出了窗口中目标的位置的示意图，设实际目 标的高度为h1(与上下文一致)，目标底部距离至各窗口底部(可能是地面)的距离为h2，则可知实际目标在窗口的底部位置可通过h2/h1来表述，而h2/h1也从基于像素的表达转变成了基于高度的表达。据此，承接于上面的表1，表2进一步示出的RWA的测量方法_1与测量方法_2的优缺点比较。
表2
Figure PCTCN2020110572-appb-000002
在本发明实施例中，测量方法_2可用于支持测量方法_1，以下将进一步介绍将两者进行组合以实现精确测距的方案。
步骤S300，评估所述第一距离和所述第二距离的可信度，并根据所评估的可信度来确定向所述第一距离和所述第二距离分配权重值。
其中，可信度越高，对应的权重值越高。
其中，针对第一距离，以上述的RWA为例，h2/h1反映了其可信度。理论上，实际目标是接触路面的，故h2应该为0，h1应该接近目标的真实高度，因此h2/h1应该接近为0，且越接近于0，对应的可信度越高。
其中，针对第二距离，评估所述第二距离的可信度包括：确定s1及s_ref的比值s_ref/s1，且比值s_ref/s1越接近于1，对应的第二距离的可信度越高。以上述的表2为例，h_ref/h1反映了其可信度。h_ref是参考距离内的参考图案中的目标高度，其可以通过计算或实际图像测量来确定。例如，可以通过将目标放在100米来拍照以提供高度h_ref，而100m将是参考距离d_ref。理论上，h_ref与h1应该一致，从而h_ref/h1应该接近于1，且越接近于1，对应的可信度越高。
步骤S400，基于所述第一距离、所述第二距离及所述第一距离和所述第二距离各自对应的权重值，计算所述目标相对于所述单目摄像头的最终距离。
具体地，采用下式计算所述最终距离：
range_w_r＝(d1*point_win+d2*point_ref)/(point_win+point_ref)
式中，range_w_r表示最终距离，d1表示第一距离，point_win表示第一距离对应的第一权重值，d2表示第二距离，point_ref表示第二距离对应的第二权重值。即，通过上式求取了测量方法_1和测量方法2分别获得的测距结果的加权和，从而提高了测距精度。
优选地，当使用多个假想窗口时，基于第一权重值point_win和第二权重值point_ref的具有最高得分的最终距离range_w_r被选择作为最终距离，其中所述得分是第一权重值point_win和第二权重值point_ref之和或者是关于第一权重值point_win和第二权重值point_ref的函数。
在此通过示例具体说明采用本发明实施例的方法所能取得的效果。该示例中，图5(a)和图5(b)分别为采用测量方法_1和测量方法_2确定权重值的示意图，其中图5(a)的第一权重值用f win(x)表示，并基于h2/h1确定，图5(b)的第二权重值用f ref(x)表示，并基于h_ref/h1确定。基于图5(a)和图5(b)可以理解h2/h1的绝对 值越小(接近于0)，可信度越高，而h_ref/h1越接近于1，可信度越高。
对于该示例，基于图5(a)和图5(b)示出的权重值选择，针对假想窗口i＝1～N，进一步执行以下的测距处理：
1)h2/h1：range_win＝range_window
其中，range_win对应为上述的第一距离d1。
2)h_ref/h1：基于高度比，range_ref＝range_window*(h_ref/h1)。
其中，range_ref对应为上述的第二距离d2。
3)h2/h1：参考图5(a)，设第一权重值为point_win，则point_win＝f win(h2/h1)。
4)h_ref/h1：参考图5(b)，设第二权重值为point_ref，则point_ref＝f ref(h_ref/h1)。
5)range_w_r(i)＝(range_win*point_win+range_ref*point_ref)/(point_win+point_ref)
其中，range_w_r(i)表示针对第i个窗口的测距结果。
6)point_w_r(i)＝point_win+point_ref
其中，point_w_r(i)表示针对第i个窗口的最终权重值。
7)针对所有相关窗口：基于point_w_r(i)选择最佳range_w_r(i)。
即，选择权重值最高的窗口作为最佳窗口以确定range_w_r(i)，i此时是最佳窗口号。
8)range_new＝range_w_r(i0)，point_w_r(i0)。
其中，range_new表示最终所求的实际目标相对于单目摄像头的距离。对应于图5(a)和图5(b)的数据，该示例中检测150m范围内的四个目标的估计距离为145.2m、146.3m、146.7m和146.3m，准确率约为3.2％，这比通常的单目摄像头的测距要好得多。需说明 的是，单目摄像头通常最高只有5％的准确率，这是因为在原则上单目摄像头无法在不引入某些假设的情况下测量范围，这些假设例如：目标与单目摄像头系统位于相同的层级(相对于地面的高度层级)以及目标的尺寸是已知的。
综上，本发明实施例的单目视觉测距方法结合了第一距离和第二距离两种测距方案(即基于几何关系和基于图案匹配)来共同确定最终距离，显著地提高了单目摄像头的测距可信度，并且相对于采用单一距离的方案，如果某一测距方案不可用，则在某些情况下可以使用另一种测距方案。因此，本发明实施例的单目视觉测距方法能实现更好、更稳定、更广泛的目标检测。
本发明另一实施例还提出了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的单目视觉测距方法。其中，所述机器可读存储介质包括但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备等各种可以存储程序代码的介质。
本发明另一实施例还提供一种单目摄像头，该单目摄像头包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的单目视觉测距方法。
本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行实现上述单目视觉测距方法。
其中，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。处理器可以是通用处理器、专用处理器、传统处理器、数字信号处理器(DSP)、多个微处理器、与DSP内核相关联的一个或多个微处理器、控制器、微控制器、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。
本申请还提供了一种计算机程序产品，当在车辆上执行时，适于执行初始化有上述单目视觉测距方法的步骤的程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计 算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

  1. 一种单目视觉测距方法，其特征在于，所述单目视觉测距方法包括：
    基于单目摄像头与目标的几何关系，计算所述目标相对于所述单目摄像头的第一距离；
    基于所述目标与对应参考图案中的参考目标的尺寸比，计算所述目标相对于所述单目摄像头的第二距离，其中所述尺寸比包括高度比或宽度比；
    评估所述第一距离和所述第二距离的可信度，并根据所评估的可信度来确定向所述第一距离和所述第二距离分别分配的权重值，其中可信度越高，对应的权重值越高；以及
    基于所述第一距离、所述第二距离及所述第一距离和所述第二距离各自对应的权重值，计算所述目标相对于所述单目摄像头的最终距离。
  2. 根据权利要求1所述的单目视觉测距方法，其特征在于，计算所述目标相对于所述单目摄像头的所述第一距离包括：
    在所述单目摄像头的感兴趣范围中的一个距离处设置假想窗口，其中所述假想窗口具有预定的物理尺寸，且包括所述目标的全部或部分且所述假想窗口的底部接触真实地面；以及
    将所述单目摄像头至所述假想窗口的距离作为第一距离d1。
  3. 根据权利要求1所述的单目视觉测距方法，其特征在于，所述计算所述目标相对于所述单目摄像头的第一距离包括：
    在所述单目摄像头的感兴趣范围中设置相对于所述单目摄像头 距离不同的多个假想窗口，其中每一假想窗口相对于所述单目摄像头距离不同且具有相同的物理尺寸，且包括所述目标的全部或部分；
    评估目标高度与该目标底部至各窗口底部的距离之间的高度比；以及
    根据评估结果对每一假想窗口进行评分，并选择分数最高的假想窗口，并将该分数最高的假想窗口相对于所述单目摄像头的距离作为所述第一距离d1。
  4. 根据权利要求3所述的单目视觉测距方法，其特征在于，所述评估目标高度与该目标底部至窗口底部的距离之间的高度比包括：
    通过每一假想窗口的物理尺寸来计算目标高度及目标底部至各窗口底部的距离，并根据计算结果评估目标高度与该目标底部至窗口底部的距离之间的高度比。
  5. 根据权利要求2至4中任意一项所述的单目视觉测距方法，其特征在于，评估所述第一距离的可信度包括：
    获取目标高度h1以及该目标底部至用于确定所述第一距离的窗口底部的高度h2；以及
    计算h1及h2的比值h2/h1，且该比值h2/h1越接近于0，对应的第一距离的可信度越高。
  6. 根据权利要求1所述的单目视觉测距方法，其特征在于，所述计算所述目标相对于所述单目摄像头的第二距离包括：
    获取目标尺寸参数s1，且所述目标尺寸参数s1包括目标高度h1或目标宽度w1；
    获取相对于所述单目摄像头的参考距离d_ref内的参考图案中的 参考目标对应于目标尺寸参数s1的尺寸参数s_ref，且该参考目标尺寸参数包括参考目标高度h_ref或参考目标宽度w_ref；以及
    根据下式计算第二距离d2：
    d2＝(s_ref/s1)*d_ref。
  7. 根据权利要求6所述的单目视觉测距方法，其特征在于，评估所述第二距离的可信度包括：
    确定s1及s_ref的比值s_ref/s1，且比值s_ref/s1越接近于1，对应的第二距离的可信度越高。
  8. 根据权利要求1所述的单目视觉测距方法，其特征在于，所述基于所述第一距离、所述第二距离及所述第一距离和所述第二距离各自对应的权重值，计算所述目标相对于所述单目摄像头的最终距离包括：
    采用下式计算所述最终距离：
    range_w_r＝(d1*point_win+d2*point_ref)/(point_win+point_ref)
    式中，range_w_r表示最终距离，d1表示第一距离，point_win表示第一距离对应的第一权重值，d2表示第二距离，point_ref表示第二距离对应的第二权重值。
  9. 根据权利要求8所述的单目视觉测距方法，其特征在于，当使用多个假想窗口时，基于第一权重值point_win和第二权重值point_ref的具有最高得分的最终距离range_w_r被选择作为最终距离，其中所述得分是第一权重值point_win和第二权重值point_ref之和或者是关于第一权重值point_win和第二权重值point_ref的函数。
  10. 一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1至9中任意一项所述的单目视觉测距方法。
  11. 一种单目摄像头，其特征在于，所述单目摄像头包括：
    一个或多个处理器；
    存储器，用于存储一个或多个程序，
    当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至9中任意一项所述的单目视觉测距方法。
  12. 一种处理器，其特征在于，用于运行程序，所述程序被运行时用于执行：如权利要求1至9中任意一项所述的单目视觉测距方法。
PCT/CN2020/110572 2019-08-21 2020-08-21 单目视觉测距方法、存储介质及单目摄像头 WO2021032197A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/636,383 US20220266835A1 (en) 2019-08-21 2020-08-21 Monocular vision ranging method, storage medium, and monocular camera
EP20853748.0A EP4006486A4 (en) 2019-08-21 2020-08-21 DISTANCE MEASUREMENT PROCEDURES FOR MONOCULAR VISION, STORAGE MEDIUM AND MONOCULAR CAMERA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910772025.6A CN111521117B (zh) 2019-08-21 2019-08-21 单目视觉测距方法、存储介质及单目摄像头
CN201910772025.6 2019-08-21

Publications (1)

Publication Number Publication Date
WO2021032197A1 true WO2021032197A1 (zh) 2021-02-25

Family

ID=71900268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/110572 WO2021032197A1 (zh) 2019-08-21 2020-08-21 单目视觉测距方法、存储介质及单目摄像头

Country Status (4)

Country Link
US (1) US20220266835A1 (zh)
EP (1) EP4006486A4 (zh)
CN (1) CN111521117B (zh)
WO (1) WO2021032197A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521117B (zh) * 2019-08-21 2022-01-28 毫末智行科技有限公司 单目视觉测距方法、存储介质及单目摄像头
CN113465573A (zh) * 2021-06-30 2021-10-01 深圳市优必选科技股份有限公司 单目测距方法、装置及智能装置
CN115657061B (zh) * 2022-12-13 2023-04-07 成都量芯集成科技有限公司 一种室内墙面三维扫描装置及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806595A1 (en) * 2006-01-04 2007-07-11 Mobileye Technologies Limited Estimating distance to an object using a sequence of images recorded by a monocular camera
CN103499334A (zh) * 2013-09-05 2014-01-08 小米科技有限责任公司 距离测量方法、装置及电子设备
CN104897132A (zh) * 2015-04-29 2015-09-09 江苏保千里视像科技集团股份有限公司 一种单摄像头测车距的系统及其测量方法
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法
CN106443650A (zh) * 2016-09-12 2017-02-22 电子科技大学成都研究院 一种基于几何关系的单目视觉测距方法
CN107290738A (zh) * 2017-06-27 2017-10-24 清华大学苏州汽车研究院（吴江） 一种测量前方车辆距离的方法和装置
CN107920211A (zh) * 2017-12-28 2018-04-17 深圳市金立通信设备有限公司 一种拍照方法、终端及计算机可读存储介质
CN108909624A (zh) * 2018-05-13 2018-11-30 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
CN110031829A (zh) * 2019-04-18 2019-07-19 北京联合大学 一种基于单目视觉的目标精准测距方法
US20190250631A1 (en) * 2018-02-14 2019-08-15 Ford Global Technologies, Llc Methods and apparatus to perform visual odometry using a vehicle camera system
CN111521117A (zh) * 2019-08-21 2020-08-11 长城汽车股份有限公司 单目视觉测距方法、存储介质及单目摄像头

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
JP5752729B2 (ja) * 2013-02-28 2015-07-22 富士フイルム株式会社 車間距離算出装置およびその動作制御方法
EP2894491B1 (en) * 2013-12-18 2020-05-27 LG Electronics Inc. Distance measuring device and method thereof
KR101574876B1 (ko) * 2014-02-13 2015-12-04 영남대학교 산학협력단 비전 센서 데이터베이스를 이용한 거리 측정 방법
CN109544633B (zh) * 2017-09-22 2021-08-27 华为技术有限公司 目标测距方法、装置及设备
CN108596116B (zh) * 2018-04-27 2021-11-05 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质
CN109443319A (zh) * 2018-12-21 2019-03-08 联创汽车电子有限公司 基于单目视觉的障碍物测距系统及其测距方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806595A1 (en) * 2006-01-04 2007-07-11 Mobileye Technologies Limited Estimating distance to an object using a sequence of images recorded by a monocular camera
CN103499334A (zh) * 2013-09-05 2014-01-08 小米科技有限责任公司 距离测量方法、装置及电子设备
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法
CN104897132A (zh) * 2015-04-29 2015-09-09 江苏保千里视像科技集团股份有限公司 一种单摄像头测车距的系统及其测量方法
CN106443650A (zh) * 2016-09-12 2017-02-22 电子科技大学成都研究院 一种基于几何关系的单目视觉测距方法
CN107290738A (zh) * 2017-06-27 2017-10-24 清华大学苏州汽车研究院（吴江） 一种测量前方车辆距离的方法和装置
CN107920211A (zh) * 2017-12-28 2018-04-17 深圳市金立通信设备有限公司 一种拍照方法、终端及计算机可读存储介质
US20190250631A1 (en) * 2018-02-14 2019-08-15 Ford Global Technologies, Llc Methods and apparatus to perform visual odometry using a vehicle camera system
CN108909624A (zh) * 2018-05-13 2018-11-30 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
CN110031829A (zh) * 2019-04-18 2019-07-19 北京联合大学 一种基于单目视觉的目标精准测距方法
CN111521117A (zh) * 2019-08-21 2020-08-11 长城汽车股份有限公司 单目视觉测距方法、存储介质及单目摄像头

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4006486A4 *

Also Published As

Publication number Publication date
CN111521117B (zh) 2022-01-28
EP4006486A4 (en) 2022-10-12
EP4006486A1 (en) 2022-06-01
US20220266835A1 (en) 2022-08-25
CN111521117A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
WO2021032197A1 (zh) 单目视觉测距方法、存储介质及单目摄像头
US10762643B2 (en) Method for evaluating image data of a vehicle camera
WO2019233286A1 (zh) 视觉定位方法、装置、电子设备及系统
US8885049B2 (en) Method and device for determining calibration parameters of a camera
CN110782494A (zh) 一种基于点线融合的视觉slam方法
US10210411B2 (en) Method and apparatus for establishing feature prediction accuracy
CN109074490B (zh) 通路检测方法、相关装置及计算机可读存储介质
US10891795B2 (en) Localization method and apparatus based on 3D color map
US20150356358A1 (en) Obstacle detection device and obstacle detection method
WO2020233436A1 (zh) 车辆速度确定方法及车辆
EP4209755A1 (en) Positioning method and positioning apparatus of mobile device
CN112862890B (zh) 道路坡度预测方法、装置和存储介质
US20200226392A1 (en) Computer vision-based thin object detection
CN111046719A (zh) 用于转换图像的设备和方法
Laflamme et al. Driving datasets literature review
CN111381585A (zh) 一种构建占据栅格地图的方法及其装置、相关设备
CN110992424B (zh) 基于双目视觉的定位方法和系统
WO2022227708A1 (zh) 一种测距方法、装置、电子设备及存储介质
Romero-Cano et al. Stereo-based motion detection and tracking from a moving platform
Duran et al. Vehicle-to-vehicle distance estimation using artificial neural network and a toe-in-style stereo camera
CN112902911B (zh) 基于单目相机的测距方法、装置、设备及存储介质
CN110986887A (zh) 物体尺寸检测方法、测距方法、存储介质及单目摄像头
US9064310B2 (en) Position estimation device, position estimation method, and computer program product
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
CN110488320A (zh) 一种利用立体视觉检测车辆距离的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20853748

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020853748

Country of ref document: EP

Effective date: 20220222