WO2021138993A1 - 一种多波段立体相机的视差图像融合方法 - Google Patents

一种多波段立体相机的视差图像融合方法 Download PDF

Info

Publication number
WO2021138993A1
WO2021138993A1 PCT/CN2020/077962 CN2020077962W WO2021138993A1 WO 2021138993 A1 WO2021138993 A1 WO 2021138993A1 CN 2020077962 W CN2020077962 W CN 2020077962W WO 2021138993 A1 WO2021138993 A1 WO 2021138993A1
Authority
WO
WIPO (PCT)
Prior art keywords
disparity
band
parallax
binocular
map
Prior art date
Application number
PCT/CN2020/077962
Other languages
English (en)
French (fr)
Inventor
仲维
张宏
李豪杰
王智慧
刘日升
樊鑫
罗钟铉
李胜全
Original Assignee
大连理工大学
鹏城实验室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大连理工大学, 鹏城实验室 filed Critical 大连理工大学
Priority to US17/604,288 priority Critical patent/US11948333B2/en
Publication of WO2021138993A1 publication Critical patent/WO2021138993A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Definitions

  • the invention belongs to the field of image processing and computer vision, and relates to multi-modal binocular disparity estimation and confidence calculation, and fusion and calculation depth of disparity information obtained by a multi-band sensor. Specifically, it relates to a method for calculating the degree of confidence and a method for fusion of parallax images of a multi-band stereo camera.
  • the visible light waveband binocular camera and the infrared waveband binocular camera form a multi-band stereo vision system, and the infrared imaging is not affected by fog, rain, snow, and light to make up for the lack of imaging in the visible light band, so as to obtain more complete and accurate depth information.
  • Dr. Tong Ying fuses infrared and visible light information at the two-dimensional image level, uses infrared band information to repair and enhance the missing visible light band information, and then uses the generated fused image as a basis for stereo matching and 3D reconstruction ( ⁇ Research on Several Key Technologies of Three-dimensional Reconstruction Based on Fusion of Infrared and Visible Images" [D], Tianjin University, 2015).
  • the key step of binocular depth estimation is to obtain the position of each pixel in the left image L in the right image R according to the pixel intensity and the relative position information between pixels, that is, the binocular matching information, and the corresponding pixels of the binocular image need to be Only by satisfying the strict geometric relationship can the binocular depth information be obtained based on the binocular matching information.
  • the above-mentioned method of fusing visible light image and infrared image at the two-dimensional image level although the general structure of the image and the pixel intensity information are restored, the errors and uncertainties in the fusion process will change the difference between matched pixel pairs.
  • Geometric relationship in addition, due to the uncertain factors of fusion, the small change of pixel intensity and the small change of local structure will cause the matching cost between corresponding pixels to increase, which will affect the matching accuracy.
  • Another more mainstream multi-band information fusion method is the fusion of point cloud information obtained at multiple bands, that is, using infrared binocular images and visible binocular images, as well as infrared binocular camera calibration data and visible cursor calibration data, to generate infrared band and For the point cloud corresponding to the visible light band, use the rigid transformation between infrared and visible light units and various point cloud registration and fusion algorithms to explore multi-band binocular point cloud fusion.
  • Infrared and visible light three-dimensional point cloud fusion algorithm research The above method matches binocular cameras of different bands separately, and then maps the image into three-dimensional information according to the matching result, and merges it at the point cloud level, which greatly increases the amount of calculation and resource consumption, and is difficult to apply to actual products.
  • the present invention provides a confidence calculation method and a multi-band disparity information fusion method.
  • the confidence information of each pixel is obtained during the stereo matching process of each band image, and each band binocular camera separately obtains the respective disparity information with confidence. Then, the fusion is directly performed on the two-dimensional disparity map according to the confidence, and then the depth information is calculated according to the fusion disparity map. Confidence information is obtained in the process of binocular disparity estimation.
  • the disparity is directly obtained from single-band binocular images, which avoids matching errors introduced by image fusion between bands, and the confidence information is obtained from intermediate variables without additional calculation overhead.
  • depth information fusion does not require operations such as conversion from 2D to 3D and optimization of projection mapping. Compared with fusion on point cloud information, the efficiency is greatly improved.
  • the present invention aims to overcome the shortcomings of the prior art, and provides a parallax fusion method for the all-weather depth estimation process of multi-lens and multi-band cameras.
  • the disparity map obtained by the sensor is fused based on the confidence strategy to obtain all-weather, more complete and accurate depth information.
  • a parallax image fusion method for a multi-band stereo camera the steps are as follows:
  • Internal parameters include focal length and optical center; external parameters include rotation and translation. Correct the binocular images output by binocular cameras of different bands into a parallel equipotential relationship.
  • the disparity maps obtained by the cameras in the two modes are merged to obtain a more complete and accurate depth map.
  • the depth map corresponding to the fused parallax is calculated.
  • the present invention proposes a strategy of fusing disparity maps obtained by devices of different bands to achieve complementary advantages of devices of different bands.
  • the present invention has the following advantages:
  • the present invention proposes a method for obtaining pixel disparity confidence information by using the intermediate output of binocular disparity estimation.
  • the confidence information can be used to determine the reliability of the positional disparity and assist the disparity fusion.
  • the confidence acquisition process makes full use of the intermediate output of the calculation, which can be easily embedded in the traditional disparity estimation process, with high calculation efficiency, simplicity and easy operation.
  • the present invention proposes a multi-band stereo camera parallax fusion method.
  • the disparity map involved in the fusion is obtained based on the binocular image of the corresponding band, which makes full use of the information of each band while avoiding the introduction of uncertainty and errors.
  • accurate information of each band can be selected to achieve the purpose of complementing the advantages of multi-band equipment.
  • Figure 1 is the overall flow chart of the program
  • Figure 2 shows the detailed process of the disparity estimation module
  • Figure 3 is a schematic diagram of the influence of energy propagation on cost distribution
  • Figure 4 shows the detailed process of the parallax fusion module
  • Figure 5 is an effect diagram after parallax fusion.
  • the invention is based on a multi-band sensor device and a binocular disparity estimation method, fuse the disparity map obtained based on the multi-modal device, and then calculate the distance information according to the triangulation principle and the fused disparity, so as to use different band devices in different environments Imaging advantages.
  • the specific implementation scheme is as follows:
  • FIG 1 shows the overall process of the program.
  • Stereo matching is mainly divided into the following processes: cost calculation, cost aggregation, confidence calculation, and disparity calculation.
  • HD( ⁇ ) represents the Hamming distance
  • CensusL and CensusR are the Census feature descriptors of the pixels on the left and right respectively.
  • the output of the cost calculation is a tensor of height (H) ⁇ width (W) ⁇ maximum disparity (D), which is the cost map.
  • C(p, D p ) is the cost when the disparity is D p at the position p
  • T[ ⁇ ] is the indicator function
  • the output is 1 when the input meets the condition in [], otherwise it is 0.
  • P 1 and P 2 are penalty items.
  • D q is the disparity value at position q.
  • Equation 4 according to the global structure of the image, the cost distribution information of surrounding pixels is transferred from multiple directions to the central pixel:
  • L r (p, d) is the aggregate energy when the parallax is d at the position p, and r is the transmission direction.
  • a tensor of height (H) ⁇ width (W) ⁇ maximum disparity (D) is obtained, that is, the energy map.
  • H height
  • W width
  • D maximum disparity
  • the energy map information can calculate the confidence information of the disparity of each pixel according to a variety of confidence strategies, and the confidence information is encoded into a binary string and connected in series with the disparity to save storage space.
  • the present invention proposes a confidence calculation strategy, and the specific operations are as follows:
  • Rate2Energy Cost min /Cost SecMin (7)
  • p(x,y) is the disparity value at the position (x,y)
  • t and t1 are threshold values, obtained by experimental statistics, and stored in the hardware
  • T[ ⁇ ] is the indicator function
  • the input meets the conditions in [] When the output is 1, the output is 0, otherwise it is 0.
  • ⁇ (x,y) is a local area centered on (x,y).
  • parallax fusion module 5. The specific operations of the parallax fusion module are as follows:
  • the disparity vis a pixel on the disparity ir p vis the p vis matching pixel coordinates p ir correspondence is as follows:
  • H is the homography matrix of the infrared disparity map mapped to the visible disparity map.
  • step 1.3 Determine the disparity value and confidence value of the matching point to the corresponding position. If the disparity values of the corresponding positions of p vis and p ir are both 0, no processing is performed and the disparity fusion ends; if one of them is 0, the value of the corresponding position of disparity vis is filled with a non-zero side, and step 1.3 is performed; If both are not 0, judge the confidence of the corresponding position of p vis and p ir , select the one with greater confidence to fill the corresponding position of disparity vis , and proceed to step 1.3.
  • (cu ir , cv ir ) is the position of the principal point of the reference image of the infrared device.
  • B ir and fir are the baseline length and focal length of the infrared device respectively.
  • d ir is the disparity value corresponding to the position of p ir;
  • X′ vis , Y′ vis , Z′ vis are the coordinates of the point P ir in the infrared device camera coordinate system converted to the visible light device camera coordinate system.
  • R is the rotation relationship between the infrared and visible light camera coordinate systems
  • t is the translation relationship between the infrared and visible light camera coordinate systems.
  • (cu vis , cv vis ) is the position of the principal point of the reference image of the visible light equipment.
  • B vis and f vis are the baseline length and focal length of the visible light device, respectively.
  • D z_vis is the disparity value obtained according to Z′ vis coordinates
  • Z′ u_vis is the depth obtained according to X′ vis coordinates
  • Z′ v_vis is the depth obtained according to Y′ vis coordinates.
  • du_vis is the disparity value obtained according to the X direction relationship
  • d v_vis is the disparity value obtained according to the Y direction relationship
  • d z_vis is the disparity value obtained according to the Z direction relationship
  • the depth map is calculated according to the fused disparity.
  • the formula for the relationship between disparity and depth is as follows:
  • B is the baseline length
  • f is the focal length
  • Z is the depth
  • d is the parallax

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种多波段立体相机的视差图像融合方法，属于图像处理和计算机视觉领域。本发明提出的利用双目视差估计的中间输出获取像素视差置信度信息的方法，该置信度信息可用于判断该位置视差可信度，辅助视差融合。置信度获取过程充分利用计算的中间输出，可方便嵌入到传统视差估计过程中，计算效率高，简洁易操作。本发明提出的多波段立体相机视差融合方法，参与融合的视差图是根据对应波段双目图像获得，充分利用了每个波段信息，同时避免引入不确定性及误差。根据置信度对视差进行融合的策略，可选取各波段的准确信息，达到多波段设备优势互补目的。

Description

一种多波段立体相机的视差图像融合方法 技术领域
本发明属于图像处理和计算机视觉领域，涉及多模态双目视差估计及置信度计算，并对多波段传感器获得的视差信息进行融合及计算深度。具体涉及一种置信度计算方法及多波段立体相机的视差图像融合方法。
背景技术
基于可见光波段的双目立体视觉技术发展较为成熟，可见光成像具有丰富的对比度、颜色、形状信息，因而可以准确、迅速的获得双目图像之间的匹配信息，进而获取场景深度信息。但可见光波段成像存在其缺陷，如在强光、雾雨雪天气或夜晚，其成像质量大大下降，影响匹配的精度。因此利用不同波段信息源的互补性建立多波段立体视觉系统，是实现特殊环境下空间三维重构的一种有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的深度信息。
多波段信息互补系统中，对多波段信息进行融合获取最终深度信息较为关键。目前，对红外与可见光波段构成的多波段立体成像系统的研究与应用较为常见。如佟颖博士，将红外与可见光信息在二维图像层面进行融合，以红外波段信息对缺失的可见光波段信息进行修补、增强，再以生成的融合图像为基础进行立体匹配和三维重构(《基于红外与可见光图像融合的三维重构若干关键技术研究》[D],天津大学，2015)。由于双目深度估计的关键步是根据像素强度及像素间相对位置信息获取左图L中的每一个像素在右图R中的位置，即双目匹配信息，且双目图像对应像素之间需满足严格的几何关系，才能根据双目匹配信息得到双目深度信息。而上述在二维图像层面对可见光图像与红外图像进行融合的方法，尽管恢复了图像的大致结构与像素强度信息，但融合过程中的误差及不确定性因素，会改变匹配像素对之间的几何关系，另外，由于融合的不确定性因素导致像素强度 的微小改变及局部结构的微小变动会导致对应像素点间匹配代价变大，对匹配精度造成影响。
另外一个较主流的多波段信息融合方式为对多波段获得的点云信息融合，即利用红外双目图像与可见光双目图像，以及红外双目相机标定数据与可见光标定数据，分别生成红外波段与可见光波段对应的点云，再借助红外与可见光机组之间的刚性变换及各类点云配准、融合算法探索多波段双目点云融合。(《红外与可见光三维点云融合算法研究》)。上述方法对不同波段双目相机分别进行匹配，再根据匹配结果将图像映射为三维信息，在点云层面上进行融合，大大提高了计算量以及资源消耗，难以应用于实际产品。
本发明提出一种置信度计算方法和一种多波段视差信息融合方法，在各波段图像立体匹配过程中获得每个像素的置信度信息，各波段双目相机分别获取各自带置信度的视差信息后，直接在二维的视差图上根据置信度进行融合，再根据融合后的视差图计算深度信息。置信度信息在双目视差估计过程中获得，根据单波段双目图像直接获取视差，避免了波段间图像融合引入的匹配误差，且置信度信息由中间变量获得，未添加额外计算开销。另外，深度信息融合无需二维到三维之间的转换以及投影映射优化等操作，相较于在点云信息上做融合，大大提高了效率。
发明内容
本发明旨在克服现有技术的不足，提供了一种针对多目、多波段相机全天候深度估计过程的视差融合方法，即利用不同波段双目相机得到各自对应的场景视差，将不同模态下传感器获得的视差图基于置信度策略进行融合，获得全天候、更完整、更精确的深度信息。
本发明的技术方案：
一种多波段立体相机的视差图像融合方法，步骤如下：
1、标定多波段双目相机各自的内部、外部参数。内部参数包括焦距、光心； 外部参数包括旋转、平移。将不同波段双目相机输出的双目图像校正为平行等位关系。
2、对多波段双目相机之间进行联合标定，获取不同波段设备间的位置关系参数，包括旋转、平移。
3、对多波段双目相机之间进行配准，得到不同波段设备采集的图像间对应像素的坐标转换矩阵，即单应性矩阵。
4、根据全局匹配算法SGM(semi-global matching)方法进行双目图像间的匹配，获取多波段双目图像各自的代价图。根据代价图计算每个像素点的置信度以及视差，获得带置信度的视差图。
5、根据置信度、旋转与平移参数、单应性矩阵将两个模态下相机获得的视差图进行融合，获得更完整、精确的深度图。根据标定参数及三角测量原理，计算融合后的视差对应的深度图。
本发明的有益效果是：本发明基于多波段双目深度估计，提出了一种对不同波段设备获取的视差图进行融合的策略，以达到不同波段设备优势互补。本发明具有以下优势：
(1)本发明提出一种利用双目视差估计的中间输出获取像素视差置信度信息的方法，该置信度信息可用于判断该位置视差可信度，辅助视差融合。置信度获取过程充分利用计算的中间输出，可方便嵌入到传统视差估计过程中，计算效率高，简洁易操作。
(2)本发明提出一种多波段立体相机视差融合方法。参与融合的视差图是根据对应波段双目图像获得，充分利用了每个波段信息，同时避免引入不确定性及误差。根据置信度对视差进行融合的策略，可选取各波段的准确信息，达到多波段设备优势互补目的。
附图说明
图1为方案的整体流程图；
图2为视差估计模块的详细流程；
图3为能量传播对代价分布的影响示意图；
图4为视差融合模块的详细流程；
图5为视差融合后的效果图。
具体实施方式
本发明基于多波段传感器设备及双目视差估计方法，对基于多模态设备得到的视差图进行融合，再根据三角测量原理与融合后的视差计算距离信息，以利用不同波段设备在不同环境下的成像优势。以一对可见光双目相机与一对红外双目相机的深度估计为例，具体实施方案如下：
图1为方案的整体流程。
一、标定及联合标定模块具体操作如下：
1.分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定
1.1利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数。
1.2对可见光双目相机进行联合标定，获得双目相机系统两台相机之间的旋转、平移等外部参数。对红外双目相机进行联合标定，获得红外双目系统两台相机之间的旋转、平移等外部参数。根据双目相机系统各自的外参对输出图像对进行校正，使同一部双目相机系统输出的双目图像满足平行等位关系。
2.对可见光双目相机系统和红外相机系统之间进行联合标定及配准
2.1利用张正友标定法对可见光双目系统的左镜头与红外双目系统的左镜头进行联合标定，获得可见光及红外相机之间的旋转、平移外部参数。
2.2用两对双目相机同时拍摄棋盘格在不同平面内的图像，利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系，用单应性矩阵H表示。
二、视差估计模块具体流程如图2，具体操作如下：
1采用高斯滤波算法对输入图像进行降噪滤波处理。高斯滤波窗口权值由高斯函数(式1)决定。
Figure PCTCN2020077962-appb-000001
其中(x,y)是点坐标，σ是标准差。通过对高斯函数离散化，得到权值矩阵，即为高斯滤波器。
经过高斯滤波处理，能够有效的抑制噪声，平滑图像。防止噪声造成后续的匹配误差。
2对输入图像进行匹配，获得视差及置信度。立体匹配主要分为以下过程：代价计算，代价聚合，置信度计算，视差计算。
2.1首先进行初始代价计算。这里以基于Census特征的滑动窗口匹配为例描述匹配代价计算流程。
获取每个像素的Census特征描述子。利用滑动窗口，在扫描线上进行搜索，计算每个像素可能视差对应的代价(式2)：
Figure PCTCN2020077962-appb-000002
式中HD(·)表示汉明距离，CensusL、CensusR为分别为左图、右图像素的Census特征描述子。代价计算的输出为高(H)×宽(W)×最大视差(D)大小的张量，即代价图。
2.2在初始代价图上做能量传播。获得能量图。能量描述如下：
Figure PCTCN2020077962-appb-000003
其中C(p,D p)为p位置处当视差为D p时的代价，T[·]为指示函数，输入满足[]内条件时输出为1，否则为0。P 1、P 2为惩罚项。D q为q位置处的视差值。
根据式4，依据图像全局结构，从多个方向向中心像素传递周围像素代价分布信息：
Figure PCTCN2020077962-appb-000004
L r(p,d)为p位置处视差为d时的聚合能量，r为传递方向。
能量传播后得到高(H)×宽(W)×最大视差(D)大小的张量，即能量图。以上到下(TB)、左上到右下(LTB)、左到右(LR)、右到左(RL)四个方向依次进行能量传播为例，能量传播过程中某个像素的代价曲线变化如图3。
2.3根据能量传播图，对每个像素位置找到最小能量对应的视差，即为该像素的整数视差d(x,y)。
Figure PCTCN2020077962-appb-000005
energy(·)为聚合后能量。
2.4利用能量图与整像素视差图计算亚像素级视差图。
三、置信度计算
在双目视差计算过程中，由能量图信息可根据多种置信度策略计算每个像素视差的置信度信息，将置信度信息编码为二进制串，与视差串联，以节省存储空间。本发明提出一种置信度计算策略，具体操作如下：
1对能量图中每个像素对应的代价向量进行搜索，得到每个像素对应的最小代价Cost min及其对应的视差d min、次小代价Cost SecMin及其对应的视差d SecMin；
2计算两个视差之差绝对值：
abs2dis＝|d min-d SecMin|  (6)
3计算两个能量值之间的比值：
Rate2Energy＝Cost min/Cost SecMin  (7)
4判断两个量的大小关系。当abs2dis＝thresh 1时，若Rate2Energy<thresh 2,则置信度置1，否则置0；当abs2dis>thresh 1时，若Rate2Energy<thresh 13,则置信度置1，否则置0。其中thresh 1、thresh 2、thresh 3由统计获得，事先存储于硬件中。
四、对获取的视差图进行滤波操作，去除无效视差。
首先对图像进行斑点滤波，去除视差图中的异常值。
Figure PCTCN2020077962-appb-000006
p(x,y)为(x,y)位置处的视差值，t与t1为阈值，由实验统计获得，实现存于硬件中，T[·]为指示函数，输入满足[]内条件时输出为1，否则为0。Ω(x,y)为以(x,y)为中心的局部区域。
再对视差图进行中值滤波，p(x,y)＝median (i,j)∈Ω(x,y)(p(i,j))  (9)
五、视差融合模块具体操作如下：
1.根据单应性矩阵H，可见光及红外系统之间的平移和旋转位置关系、两位置信度标记位对可见光双目相机获得的视差图disparity vis及红外双目相机获得的视差图disparity ir进行融合，具体操作如下：
1.1以disparity vis为基准，根据单应性矩阵计算出每个位置对应的disparity ir的坐标，disparity vis上某像素点p vis与disparity ir上与p vis匹配的像素点p ir坐标对应关系如下：
p vis＝H·p ir  (10)
其中H为红外视差图映射到可见光视差图的单应性矩阵。
1.2判断匹配点对对应位置的视差值及置信度值。若p vis与p ir对应位置的视差值均为0，则不进行处理，视差融合结束；若其中一个为0，则用非0一方填 补disparity vis对应位置的值，进行1.3步；若两者皆不为0，则判断p vis与p ir对应位置置信度，选择置信度大的对disparity vis对应位置进行填充，进行1.3步。
1.3首先将p ir位置(对应像素坐标系下坐标表示为(u ir,v ir))对应的视差值d ir变换到可见光双目相机坐标系下对应的视差值d vis，再对p vis位置(对应像素坐标系下坐标表示为(u vis,v vis))进行填充。红外设备对应相机坐标系下位置P ir处坐标表示为(X ir,Y ir,Z ir)。
将p ir转换到红外相机坐标系下：
Figure PCTCN2020077962-appb-000007
其中(cu ir,cv ir)为红外设备基准图像的主点位置。B ir与f ir分别为红外设备的基线长与焦距。d ir为p ir位置对应视差值；
再根据可见光系统与红外系统的位置关系，将P ir转换到可见光相机坐标系下：
[X′ vis,Y′ vis,Z′ vis] T＝R·[X ir,Y ir,Z ir] T+t
(X′ vis,Y′ vis,Z′ vis)为红外设备相机坐标系下的点P ir转换到可见光设备相机坐标系下的坐标。；R为红外与可见光相机坐标系之间的旋转关系量，t为红外与可见光相机坐标系之间的平移关系量。
Figure PCTCN2020077962-appb-000008
其中(cu vis,cv vis)为可见光设备基准图像的主点位置，。B vis与f vis分别为可见光设备的基线长与焦距。，d z_vis为根据Z′ vis坐标所得视差值，Z′ u_vis为根据X′ vis坐标所得深度，Z′ v_vis为根据Y′ vis坐标所得深度。
由式12可得：
Figure PCTCN2020077962-appb-000009
所以由式13可得视差：
Figure PCTCN2020077962-appb-000010
其中，d u_vis为根据X方向关系所得视差值，d v_vis为根据Y方向关系所得视差值，d z_vis为根据Z方向关系所得视差值；
计算p vis位置处应填入的视差值：
d vis＝α·d u_vis+β·d v_vis+γ·d z_vis  (15)
其中α+β+γ＝1，α、β、γ由实验获得。
将d vis填入p vis位置。
最后根据融合的视差计算深度图，视差与深度的关系公式如下：
Figure PCTCN2020077962-appb-000011
其中B为基线长，f为焦距，Z为深度，d为视差。

Claims (5)

  1. 一种多波段立体相机的视差图像融合方法，其特征在于，包括下列步骤：
    1、标定多波段双目相机各自的内部、外部参数；内部参数包括焦距、光心；外部参数包括旋转、平移；将不同波段双目相机输出的双目图像校正为平行等位关系；
    2、对多波段双目相机之间进行联合标定，获取不同波段设备间的位置关系参数，包括旋转、平移；
    3、对多波段双目相机之间进行配准，得到不同波段设备采集的图像间对应像素的坐标转换矩阵，即单应性矩阵；
    4、根据全局匹配算法SGM方法进行双目图像间的匹配，获取多波段双目图像各自的代价图；根据代价图计算每个像素点的置信度以及视差，获得带置信度的视差图；
    5、根据置信度、旋转与平移参数、单应性矩阵将两个模态下相机获得的视差图进行融合，获得更完整、精确的深度图；根据标定参数及三角测量原理，计算融合后的视差对应的深度图。
  2. 根据权利要求2所述的一种多波段立体相机的视差图像融合方法，其特征在于，全局匹配算法SGM方法的具体过程如下：1.1首先进行初始代价计算；当利用基于Census特征的滑动窗口匹配时，过程为：
    获取每个像素的Census特征描述子，利用滑动窗口，在扫描线上进行搜索，计算每个像素可能视差对应的代价：
    Figure PCTCN2020077962-appb-100001
    式中HD(·)表示汉明距离，CensusL、CensusR为分别为左图、右图像素的Census特征描述子；代价计算的输出为高×宽×最大视差大小的张量，即代价图；
    1.2在初始代价图上做能量传播，获得能量传播图；能量描述如下：
    Figure PCTCN2020077962-appb-100002
    其中，C(p,D p)为p位置处当视差为D p时的代价，T[·]为指示函数，输入满足[]内条件时输出为1，否则为0；P 1、P 2为惩罚项；D q为q位置处的视差值；
    根据式(4)，依据图像全局结构，从多个方向向中心像素传递周围像素代价分布信息：
    Figure PCTCN2020077962-appb-100003
    L r(p,d)为p位置处视差为d时的聚合能量，r为传递方向，i与k分别表示p位置处、p-r位置处视差值i、k；
    能量传播后得到高×宽×最大视差大小的张量，即能量传播图；
    1.3根据能量传播图，对每个像素位置找到最小能量对应的视差，即为该像素的整数视差d(x,y)；
    Figure PCTCN2020077962-appb-100004
    其中，energy(·)为聚合后能量；
    1.4利用能量传播图与整像素视差图计算亚像素级视差图。
  3. 根据权利要求1或2所述的一种多波段立体相机的视差图像融合方法，其特征在于，置信度计算方法具体如下：
    2.1对能量传播图中每个像素对应的代价向量进行搜索，得到每个像素对应的最小代价Cost min及其对应的视差d min、次小代价Cost SecMin及其对应的视差d SecMin；
    2.2计算两个视差之差绝对值：
    abs2dis＝|d min-d SecMin|  (6)
    2.3计算两个能量值之间的比值：
    Rate2Energy＝Cost min/Cost SecMin  (7)
    2.4判断abs2dis和Rate2Energy的大小关系：当abs2dis＝thresh 1时，若Rate2Energy<thresh 2，则置信度置1，否则置0；当abs2dis>thresh 1时，若Rate2Energy<thresh 13，则置信度置1，否则置0；其中thresh 1、thresh 2、thresh 3由统计获得，事先存储于硬件中。
  4. 根据权利要求书1或2所述的一种多波段立体相机的视差图像融合方法，其特征在于，视差融合方法是根据单应性矩阵H，A波段双目系统与B波段双目系统之间的平移和旋转位置关系、两位置信度标记位对A波段双目系统获得的视差图disparity A及B波段双目系统获得的视差图disparity B进行融合，具体操作如下：
    3.1以disparity A为基准，根据单应性矩阵计算出每个位置对应的disparity B的坐标，disparity A上某像素点p A与disparity B上与p A匹配的像素点p B坐标对应关系如下：
    p A＝H·p B  (10)
    其中，H为B波段获得的视差图映射到A波段获得的视差图的单应性矩阵；
    3.2判断匹配点对对应位置的视差值及置信度值：若p A与p B对应位置的视差值均为0，则不进行处理，视差融合结束；若其中一个为0，则用非0一方填补disparity A对应位置的值，进行步骤3.3；若两者皆不为0，则判断p A与p B对应位置置信度，选择置信度大的对disparity A对应位置进行填充，进行步骤3.3；
    3.3首先将p B位置对应的视差值d B变换到A波段双目相机坐标系下对应的视差值d A，再对p A位置进行填充；B波段系统对应相机坐标系下位置P B处坐标表示为(X B,Y B,Z B)；其中，p B位置对应像素坐标系下坐标表示为(u B,v B)，p A位置对应像素坐标系下坐标表示为(u A,v A)；
    将p B转换到B相机坐标系下：
    Figure PCTCN2020077962-appb-100005
    其中，(cu B,cv B)为B设备基准图像的主点位置；b B与f B分别为B设备的基线长与焦距，Z B为P B处Z方向坐标，d B为p B位置对应的视差值；
    再根据A波段系统与B波段系统的位置关系，将P B转换到B波段系统相机坐标系下：
    [X′ A,Y′ A,Z′ A] T＝R·[X B,Y B,Z B] T+t
    (X′ A,Y′ A,Z′ A)为B波段设备相机坐标系下的点P B转换到A波段设备相机坐标系下的坐标；R为B设备与A设备相机坐标系的旋转关系量，t为B设备与A设备相机坐标系的旋转关系量；
    Figure PCTCN2020077962-appb-100006
    其中，(cu A,cv A)为A设备基准图像的主点位置，b A与f A分别为A设备的基线长与焦距，Z′ u_A为由X′ A坐标所得深度值，Z′ v_A为Y′ A坐标所得深度值，d z_A为根据Z′ A坐标所得视差值；
    由式(12)得：
    Figure PCTCN2020077962-appb-100007
    所以由式(13)得视差：
    Figure PCTCN2020077962-appb-100008
    其中，d u_A为根据X方向关系所得视差值，d v_A为根据Y方向关系所得视差值，d z_A为根据Z方向关系所得视差值；
    计算p A位置处应填入的视差值：
    d A＝α·d u_A+β·d v_A+γ·d z_A  (15)
    其中α+β+γ＝1，α、β、γ由实验获得；
    将d A填入p A位置。
  5. 根据权利要求书3所述的一种多波段立体相机的视差图像融合方法，其特征在于，视差融合方法是根据单应性矩阵H，A波段双目系统与B波段双目系统之间的平移和旋转位置关系、两位置信度标记位对A波段双目系统获得的视差图disparity A及B波段双目系统获得的视差图disparity B进行融合，具体操作如下：
    3.1以disparity A为基准，根据单应性矩阵计算出每个位置对应的disparity B的坐标，disparity A上某像素点p A与disparity B上与p A匹配的像素点p B坐标对应关系如下：
    p A＝H·p B  (10)
    其中，H为B波段获得的视差图映射到A波段获得的视差图的单应性矩阵；
    3.2判断匹配点对对应位置的视差值及置信度值：若p A与p B对应位置的视差值均为0，则不进行处理，视差融合结束；若其中一个为0，则用非0一方填补disparity A对应位置的值，进行步骤3.3；若两者皆不为0，则判断p A与p B对应位置置信度，选择置信度大的对disparity A对应位置进行填充，进行步骤3.3；
    3.3首先将p B位置对应的视差值d B变换到A波段双目相机坐标系下对应的视差值d A，再对p A位置进行填充；B波段系统对应相机坐标系下位置P B处坐标表示为(X B,Y B,Z B)；其中，p B位置对应像素坐标系下坐标表示为(u B,v B)，p A位置对应像素坐标系下坐标表示为(u A,v A)；
    将p B转换到B相机坐标系下：
    Figure PCTCN2020077962-appb-100009
    其中，(cu B,cv B)为B设备基准图像的主点位置；b B与f B分别为B设备的基线长与焦距，Z B为P B处Z方向坐标，d B为p B位置对应的视差值；
    再根据A波段系统与B波段系统的位置关系，将P B转换到B波段系统相机坐标系下：
    [X′ A,Y′ A,Z′ A] T＝R·[X B,Y B,Z B] T+t
    (X′ A,Y′ A,Z′ A)为B波段设备相机坐标系下的点P B转换到A波段设备相机坐标系下的坐标；R为B设备与A设备相机坐标系的旋转关系量，t为B设备与A设备相机坐标系的旋转关系量；
    Figure PCTCN2020077962-appb-100010
    其中，(cu A,cv A)为A设备基准图像的主点位置，b A与f A分别为A设备的基线长与焦距，Z′ u_A为由X′ A坐标所得深度值，Z′ v_A为Y′ A坐标所得深度值，d z_A为根据Z′ A坐标所得视差值；
    由式(12)得：
    Figure PCTCN2020077962-appb-100011
    所以由式(13)得视差：
    Figure PCTCN2020077962-appb-100012
    其中，d u_A为根据X方向关系所得视差值，d v_A为根据Y方向关系所得视差值，d z_A为根据Z方向关系所得视差值；
    计算p A位置处应填入的视差值：
    d A＝α·d u_A+β·d v_A+γ·d z_A  (15)
    其中α+β+γ＝1，α、β、γ由实验获得；
    将d A填入p A位置。
PCT/CN2020/077962 2020-01-10 2020-03-05 一种多波段立体相机的视差图像融合方法 WO2021138993A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/604,288 US11948333B2 (en) 2020-01-10 2020-03-05 Disparity image fusion method for multiband stereo cameras

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010027774.9A CN111260597B (zh) 2020-01-10 2020-01-10 一种多波段立体相机的视差图像融合方法
CN202010027774.9 2020-01-10

Publications (1)

Publication Number Publication Date
WO2021138993A1 true WO2021138993A1 (zh) 2021-07-15

Family

ID=70950373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/077962 WO2021138993A1 (zh) 2020-01-10 2020-03-05 一种多波段立体相机的视差图像融合方法

Country Status (3)

Country Link
US (1) US11948333B2 (zh)
CN (1) CN111260597B (zh)
WO (1) WO2021138993A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808070A (zh) * 2021-07-26 2021-12-17 南京理工大学智能计算成像研究院有限公司 一种双目数字散斑图像相关的视差测量方法
CN114332188A (zh) * 2021-11-19 2022-04-12 山东信通电子股份有限公司 一种用于双目视觉设备的视差图像生成方法、设备及介质
CN114926515A (zh) * 2022-06-08 2022-08-19 北京化工大学 基于时空域深度信息补全的红外与可见光图像配准方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210481A (zh) * 2020-01-10 2020-05-29 大连理工大学 多波段立体相机的深度估计加速方法
CN112102380A (zh) * 2020-09-11 2020-12-18 北京华捷艾米科技有限公司 一种红外图像与可见光图像的配准方法及相关装置
CN112215876B (zh) * 2020-10-22 2022-10-04 烟台艾睿光电科技有限公司 一种双光谱图像配准融合方法、装置、设备及存储介质
CN112306064A (zh) * 2020-11-04 2021-02-02 河北省机电一体化中试基地 一种双目视觉识障的rgv控制系统及方法
CN112396562B (zh) * 2020-11-17 2023-09-05 中山大学 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
CN112634304B (zh) * 2020-12-31 2022-09-13 上海易维视科技有限公司 去除3d格式视频或图像中的反射光斑的方法
CN113379812B (zh) * 2021-05-31 2024-09-06 上海集成电路制造创新中心有限公司 异常像素的滤除方法及设备
CN113205562B (zh) * 2021-05-31 2023-09-15 中国矿业大学(北京) 一种基于双目视觉的矿井热动力灾害判识与定位方法
CN113610908B (zh) * 2021-07-29 2023-08-18 中山大学 一种用于单目内窥镜手术中的多基线融合的深度估计方法
CN114332345B (zh) * 2021-09-23 2023-06-20 北京科技大学 一种基于双目视觉的冶金库区局部三维重建方法及系统
CN113989347B (zh) * 2021-11-09 2024-05-03 北京智芯原动科技有限公司 一种双目视差计算方法及装置
CN115240093B (zh) * 2022-09-22 2022-12-23 山东大学 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN115578296B (zh) * 2022-12-06 2023-03-10 南京诺源医疗器械有限公司 一种立体视频处理方法
CN116188558B (zh) * 2023-04-27 2023-07-11 华北理工大学 基于双目视觉的立体摄影测量方法
CN117061719B (zh) * 2023-08-11 2024-03-08 元橡科技（北京）有限公司 一种车载双目相机视差校正方法
CN117350926B (zh) * 2023-12-04 2024-02-13 北京航空航天大学合肥创新研究院 一种基于目标权重的多模态数据增强方法
CN117437563B (zh) * 2023-12-13 2024-03-15 黑龙江惠达科技股份有限公司 一种基于双目视觉的植保无人机打点方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228605A (zh) * 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
US20190166350A1 (en) * 2017-11-29 2019-05-30 Center For Integrated Smart Sensors Foundation Image merging method using viewpoint transformation and system therefor
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN110264527A (zh) * 2019-06-19 2019-09-20 上海物联网有限公司 基于zynq的实时双目立体视觉输出方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224357B2 (en) * 2000-05-03 2007-05-29 University Of Southern California Three-dimensional modeling based on photographic images
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
WO2013074153A1 (en) * 2011-11-17 2013-05-23 University Of Southern California Generating three dimensional models from range sensor data
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9418475B2 (en) * 2012-04-25 2016-08-16 University Of Southern California 3D body modeling from one or more depth cameras in the presence of articulated motion
US9098911B2 (en) * 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
CN104778675B (zh) * 2015-04-28 2017-07-28 中国矿业大学 一种采煤综掘工作面动态视频图像融合方法
JP6776692B2 (ja) * 2016-07-25 2020-10-28 株式会社リコー 視差演算システム、移動体及びプログラム
JP7024782B2 (ja) * 2017-03-27 2022-02-24 ソニーグループ株式会社 画像処理装置と画像処理方法および撮像装置
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN110602474B (zh) * 2018-05-24 2022-07-05 杭州海康威视数字技术股份有限公司 一种图像视差的确定方法、装置及设备
CN110111250B (zh) * 2019-04-11 2020-10-30 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置
CN110111255B (zh) * 2019-04-24 2023-02-28 天津大学 一种立体图像拼接方法
CN110197510B (zh) * 2019-06-05 2021-08-17 广州极飞科技股份有限公司 双目相机的标定方法、装置、无人机和存储介质
CN111080724B (zh) * 2019-12-17 2023-04-28 大连理工大学 一种红外和可见光的融合方法
CN111161356B (zh) * 2019-12-17 2022-02-15 大连理工大学 一种基于双层优化的红外和可见光融合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228605A (zh) * 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法
US20190166350A1 (en) * 2017-11-29 2019-05-30 Center For Integrated Smart Sensors Foundation Image merging method using viewpoint transformation and system therefor
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN110264527A (zh) * 2019-06-19 2019-09-20 上海物联网有限公司 基于zynq的实时双目立体视觉输出方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808070A (zh) * 2021-07-26 2021-12-17 南京理工大学智能计算成像研究院有限公司 一种双目数字散斑图像相关的视差测量方法
CN113808070B (zh) * 2021-07-26 2024-06-07 南京理工大学智能计算成像研究院有限公司 一种双目数字散斑图像相关的视差测量方法
CN114332188A (zh) * 2021-11-19 2022-04-12 山东信通电子股份有限公司 一种用于双目视觉设备的视差图像生成方法、设备及介质
CN114926515A (zh) * 2022-06-08 2022-08-19 北京化工大学 基于时空域深度信息补全的红外与可见光图像配准方法
CN114926515B (zh) * 2022-06-08 2024-05-14 北京化工大学 基于时空域深度信息补全的红外与可见光图像配准方法

Also Published As

Publication number Publication date
US11948333B2 (en) 2024-04-02
US20220207776A1 (en) 2022-06-30
CN111260597A (zh) 2020-06-09
CN111260597B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
WO2021138993A1 (zh) 一种多波段立体相机的视差图像融合方法
WO2021138989A1 (zh) 多波段立体相机的深度估计加速方法
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
CN113034568B (zh) 一种机器视觉深度估计方法、装置、系统
CN105374019B (zh) 一种多深度图融合方法及装置
CN106780618B (zh) 基于异构深度摄像机的三维信息获取方法及其装置
CN110689008A (zh) 一种面向单目图像的基于三维重建的三维物体检测方法
CN106408513B (zh) 深度图超分辨率重建方法
CN110487216A (zh) 一种基于卷积神经网络的条纹投影三维扫描方法
CN108520554A (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN107635129A (zh) 三维三目摄像装置及深度融合方法
CN107274483A (zh) 一种物体三维模型构建方法
Rishav et al. DeepLiDARFlow: A deep learning architecture for scene flow estimation using monocular camera and sparse LiDAR
CN111091076B (zh) 基于立体视觉的隧道限界数据测量方法
CN110942477B (zh) 一种利用双目相机和激光雷达深度图融合的方法
WO2024032233A1 (zh) 基于双目视觉的立体摄影测量方法
Shen et al. Extrinsic calibration for wide-baseline RGB-D camera network
Mai et al. Sparse LiDAR and stereo fusion (SLS-Fusion) for depth estimation and 3D object detection
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN116222543A (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN114187208B (zh) 基于融合代价和自适应惩罚项系数的半全局立体匹配方法
CN117611438B (zh) 一种基于单目图像的2d车道线到3d车道线的重构方法
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
CN113850293A (zh) 基于多源数据和方向先验联合优化的定位方法
CN107248179A (zh) 用于视差计算的三维匹配建立方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20913047

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20913047

Country of ref document: EP

Kind code of ref document: A1