WO2024045632A1 - 基于双目视觉和imu的水下场景三维重建方法及设备 - Google Patents

基于双目视觉和imu的水下场景三维重建方法及设备 Download PDF

Info

Publication number
WO2024045632A1
WO2024045632A1 PCT/CN2023/088584 CN2023088584W WO2024045632A1 WO 2024045632 A1 WO2024045632 A1 WO 2024045632A1 CN 2023088584 W CN2023088584 W CN 2023088584W WO 2024045632 A1 WO2024045632 A1 WO 2024045632A1
Authority
WO
WIPO (PCT)
Prior art keywords
imu
camera
binocular camera
data
dimensional
Prior art date
Application number
PCT/CN2023/088584
Other languages
English (en)
French (fr)
Inventor
王振民
迟鹏
廖海鹏
田济语
张芩
Original Assignee
华南理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华南理工大学 filed Critical 华南理工大学
Publication of WO2024045632A1 publication Critical patent/WO2024045632A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Definitions

  • the present invention relates to the technical field of three-dimensional reconstruction, and more specifically, to a method and equipment for three-dimensional reconstruction of underwater scenes based on binocular vision and IMU.
  • underwater detection technology With the continuous advancement of science and technology, various countries are working hard to develop underwater detection technology to meet human exploration of unknown underwater environments and the exploitation of precious marine resources. At the same time, underwater detection technology is still undergoing underwater maintenance and repair. Search and rescue and other fields play an extremely important role. As an important component of underwater detection technology, underwater three-dimensional reconstruction technology has always been the main direction of the development of computer vision. Since traditional underwater 3D reconstruction technology mostly uses acoustic-based sonar detection technology, its equipment is expensive and has many limitations. In contrast, computer vision-based methods more intuitively display the optical characteristics of the underwater environment. Methods based on binocular vision are widely used because it is easier to obtain depth information.
  • the purpose of the present invention is to provide a method and device for three-dimensional reconstruction of underwater scenes based on binocular vision and IMU; this method is implemented by fusing IMU and binocular camera data in a tightly coupled manner.
  • Precise positioning, three-dimensional reconstruction based on positioning results and point clouds generated from multi-frame images, and pose correction based on point cloud features, can establish object models in the target scene more accurately and densely.
  • a method based on binocular vision The three-dimensional reconstruction method of underwater scenes based on visual perception and IMU includes the following steps:
  • the S1 includes the following steps:
  • S15 Record the relative motion relationship between the binocular camera and the IMU, and calibrate the intrinsic parameters of the binocular camera, the extrinsic parameters between the left and right cameras of the binocular camera, and the extrinsic parameters of the left camera and the IMU.
  • the deterministic error of the IMU includes an accelerometer error
  • the accelerometer error is corrected according to the following formula:
  • l ax , la ay , l az represent the corrected results of the three coordinate axes of X, Y, and Z respectively;
  • a x , a y , a z represent the initial results of the three coordinate axes of X, Y, and Z respectively;
  • s xx ,s yy ,s zz represent the scale transformation of the three coordinate axes of X, Y and Z respectively;
  • m xy ,m xz ,m yx ,m yz ,m zx ,m zy respectively represent the misalignment of the three coordinate axes of X, Y and Z;
  • b ax , b ay , b az represent the fixed deviations of the three coordinate axes of X, Y and Z respectively;
  • the random error of the IMU includes Gaussian white noise and error random walk; the Gaussian white noise is expressed as:
  • t time
  • n() Gaussian process
  • E[] is the mean value
  • ⁇ 2 is the variance
  • ⁇ () is the Dirac function
  • the error random walk is expressed as:
  • n b (t) is the Wiener process
  • ⁇ b is the random walk standard deviation
  • ⁇ (t) is the white noise with a variance of 1;
  • l represents the left camera
  • r represents the right camera
  • K l and K r represent the internal parameter matrices of the left and right cameras respectively
  • f xl , f yl , f xr and f yr respectively represent the use of pixels to represent the left and right cameras in the x-axis and y-axis directions.
  • Calibrating the left and right camera and IMU external parameters of the binocular camera refers to:
  • the S2 includes the following steps:
  • the IMU data includes acceleration data and rotation data; integrate the IMU data and convert it into discrete quantities.
  • V k and V k+1 are the speeds at time k and k+1 respectively; a is the acceleration; ⁇ t is the time interval; T k and T k+1 are the translations at time k and k+1 respectively.
  • Vector; R k and R k+1 are the rotation matrices at time k and k+1 respectively; ⁇ is the angular velocity; is the Kronecker product;
  • Input the binocular camera image data perform feature extraction on the left and right camera image data of the binocular camera respectively, and then match it with the features of the previous frame to obtain the image coordinates of the feature points on the images of the two adjacent frames; through the IMU data Integrate and time align to obtain the estimated position of the binocular camera, which is set as the initial value of the state quantity; construct an error function, and use the least squares method to obtain the optimal estimate F of the state quantity:
  • R ci and T ci are rotation matrices and translation vectors respectively;
  • Q j is the feature point coordinates;
  • ci is the i-th camera coordinate system;
  • ⁇ ( ⁇ ) is the projection function;
  • Observe Q j for ci; is the norm;
  • ⁇ x is the change amount
  • ⁇ x T represents the transpose
  • 3 ) is the higher-order term of Taylor expansion
  • J and H are the first-order derivative and second-order derivative matrix of the loss function respectively; ignore Taylor expansion
  • the higher-order term of the loss function becomes a quadratic function, and local extreme values and saddle points are solved based on the properties of the H matrix of the stable point where the first derivative is 0;
  • the binocular camera and IMU are integrated in a tightly coupled manner to realize the positioning of each frame of binocular camera image data.
  • the S3 includes the following steps:
  • B is the baseline length
  • f is the focal length
  • d is the left and right image disparity.
  • the S4 includes the following steps:
  • x i is the value in the i-th small cube
  • the rotation matrix and translation vector obtained in S2 are used as initial values to calculate the probability distribution function p(x).
  • the optimization function E the best estimated rotation matrix and translation vector between the two frames of three-dimensional point cloud data are obtained.
  • a computing device including a processor and a memory for storing a program executable by the processor.
  • the processor executes the program stored in the memory, it implements the binocular vision and IMU-based method described in any one of claims 1-6. 3D reconstruction method of underwater scenes.
  • the present invention has the following advantages and beneficial effects:
  • the present invention is based on fusion positioning and matching of multi-frame binocular camera image data and pose correction based on three-dimensional point cloud data. Compared with traditional vision-based methods, the present invention can achieve more accurate underwater positioning and reduce the probability of matching loss, thus Improve the accuracy of 3D reconstruction results;
  • the present invention obtains three-dimensional reconstruction results based on multi-frame point cloud fusion. Compared with the traditional underwater single-frame three-dimensional reconstruction method, the present invention can establish a denser three-dimensional environment model and provide rich and three-dimensional environmental perception information.
  • Figure 1 is a schematic flow chart of the three-dimensional reconstruction method of underwater scenes according to the present invention.
  • FIG. 2 is a schematic flowchart of S1 of the underwater scene three-dimensional reconstruction method of the present invention
  • Figures 3(a) to 3(d) are underwater image data of the three-dimensional reconstruction method of underwater scenes in Embodiment 1;
  • 4(a) to 4(e) are schematic diagrams of the underwater three-dimensional reconstruction process of the underwater scene three-dimensional reconstruction method in Embodiment 1.
  • This embodiment is a three-dimensional reconstruction method of underwater scenes based on binocular vision and IMU, as shown in Figure 1, including the following five steps: calibrating the internal parameters of the binocular camera, the IMU parameters, and the external parameters of the binocular camera and IMU; Eye vision and IMU are tightly coupled for positioning; binocular images calculate disparity maps and generate 3D point clouds; pose matching correction is performed based on 3D point clouds; 3D reconstruction is achieved based on poses and 3D point clouds.
  • S1 calibrate the intrinsic parameters of the binocular camera, the IMU parameters, and the extrinsic parameters of the binocular camera and IMU.
  • the S1 includes the following steps:
  • the deterministic error is mainly due to problems in the manufacturing process of the multi-axis sensor, which causes the three coordinate axes of X, Y, and Z to be non-vertical.
  • the deterministic error of the IMU includes the accelerometer error; the accelerometer error is corrected according to the following formula:
  • l ax , l ay , l az respectively represent the results after correction of the three coordinate axes of X, Y, and Z;
  • a x , a y , a z are divided into respectively represent the initial results of the three coordinate axes of X, Y, and Z ;
  • s xx , s yy , and s zz respectively represent the scale transformation ( scale ) of the three coordinate axes of , m zx , m zy represent the misalignment of the three coordinate axes of X, Y and Z respectively;
  • b ax , b ay , b az represent the fixed deviation (bias) of the three coordinate axes of X, Y and Z respectively;
  • the random error of IMU usually assumes that the noise obeys Gaussian distribution, including Gaussian white noise (Gaussian white noise) and error random walk (bias random walker); the Gaussian white noise is expressed as:
  • t time
  • n() Gaussian process
  • E[] is the mean value
  • ⁇ 2 is the variance
  • ⁇ () is the Dirac function
  • the error random walk is expressed as:
  • n b (t) is the Wiener process
  • ⁇ b is the random walk standard deviation
  • ⁇ (t) is the white noise with a variance of 1;
  • S15 Record the relative motion relationship between the binocular camera and the IMU, and calibrate the internal parameters of the left and right cameras of the binocular camera.
  • Involving the left camera and IMU external parameters Use the checkerboard grid to calibrate the internal parameters of the binocular camera and the external parameters between the left and right cameras of the binocular camera, use the checkerboard grid to estimate the motion trajectory in the left camera coordinate system, and use integrals to calculate the accelerometer in the IMU The acceleration information provided and the rotation information provided by the gyroscope are used to obtain the motion trajectory in the IMU coordinate system;
  • the internal parameters for calibrating the left and right cameras of a binocular camera refer to:
  • l represents the left camera
  • r represents the right camera
  • K l and K r respectively represent the left and right camera internal parameter matrices
  • f xl , f yl , f xr and f yr respectively represent the use of pixels to represent the left and right cameras in the x-axis and y-axis directions.
  • the length of the focal length; (u 0l , v 0l ), (u 0r , v 0r ) respectively represent the actual pixel coordinates of the principal points of the image plane coordinate system of the left and right cameras; calibrating the left and right cameras and IMU external parameters of the binocular camera refers to:
  • IMU data parameters binocular camera internal parameters
  • external parameters between the left and right cameras and IMU are all known.
  • This method can use binocular camera feature matching to eliminate the cumulative integration error of the IMU. At the same time, due to the introduction of high-frequency IMU data, it can increase the output frequency of positioning results.
  • the S2 includes the following steps:
  • the IMU data includes acceleration data and rotation data; integrate the IMU data and convert it into discrete quantities.
  • V k and V k+1 are the speed at time k and k+1 respectively; a is the acceleration; ⁇ t is the time interval; T k and T k+1 are the translation vectors at time k and k+1 respectively; R k and R k+1 are the rotation matrices at time k and k+1 respectively; ⁇ is the angular velocity; is the Kronecker product;
  • Figure 3(c) and Figure 3(d) correspond to the left camera image and right camera of a certain frame during the underwater 3D reconstruction test.
  • Image perform feature extraction on the left and right camera image data of the binocular camera respectively, and then match it with the features of the previous frame to obtain the image coordinates of the feature points on the images of two adjacent frames; through the integration and time alignment of the IMU data, Obtain the estimated position of the binocular camera and set it as the initial value of the state quantity; construct an error function and use the least squares method to obtain the optimal estimate F of the state quantity:
  • R ci and T ci are rotation matrices and translation vectors respectively;
  • Q j is the feature point coordinates;
  • ci is the i-th camera coordinate system;
  • ⁇ ( ⁇ ) is the projection function;
  • Observe Q j for ci; is the norm;
  • ⁇ x is the change amount
  • ⁇ x T represents the transpose
  • 3 ) is the higher-order term of Taylor expansion
  • J and H are the first-order derivative and second-order derivative matrix of the loss function respectively; ignore Taylor expansion
  • the higher-order term of the loss function becomes a quadratic function, and local extreme values and saddle points are solved based on the properties of the H matrix of the stable point where the first derivative is 0;
  • the image data positioning of each frame has been achieved by integrating the IMU and the binocular camera in a tightly coupled manner.
  • the integral data of the IMU in a short period of time is sufficiently credible, it can be used between two frames of image data. Through interpolation calculation, higher frequency positioning results are obtained.
  • the same frame of image data from the binocular camera is used to calculate the disparity map; three-dimensional point cloud data is generated through the disparity map and the original coordinates of the two-dimensional image data.
  • the S3 includes the following steps:
  • Figure 4(c) is the disparity map generated based on Figure 4(a) and Figure 4(b);
  • B is the baseline length
  • f is the focal length
  • d is the left and right image disparity.
  • Figure 4(d) is the three-dimensional point cloud data generated based on Figure 4(c).
  • the S4 includes the following steps:
  • x i is the value in the i-th small cube
  • the rotation matrix and translation vector obtained in S2 are used as initial values to calculate the probability distribution function p(x).
  • the optimization function E the best estimated rotation matrix and translation vector between the two frames of three-dimensional point cloud data are obtained.
  • the multi-frame 3D point cloud data obtained by S3 is superimposed and filtered to obtain denser 3D reconstructed point cloud data, thereby providing rich environmental perception information.
  • Figure 4(e) is the three-dimensional reconstruction result after multi-frame fusion.
  • This embodiment provides a computing device, including a processor and a memory for storing a program executable by the processor.
  • the feature is that when the processor executes the program stored in the memory, the binocular vision-based and binocular vision-based method described in Embodiment 1 is implemented. IMU's 3D reconstruction method of underwater scenes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

一种基于双目视觉和IMU的水下场景三维重建方法及设备；其中方法为：标定双目相机和IMU参数；对IMU数据进行积分，对双目相机图像数据进行特征提取和匹配；以紧耦合方式融合定位，得到旋转矩阵和平移向量；计算视差图生成三维点云数据；基于三维点云数据进行位姿匹配校正；计算三维点云数据之间的最佳估计旋转矩阵和平移向量；基于最佳估计旋转矩阵和平移向量以及三维点云数据进行叠加并滤波得到三维重建点云数据。该方法利用紧耦合的方式融合IMU和双目相机数据实现精准定位，基于定位结果和多帧图像生成的点云进行三维重建，并基于点云特征进行位姿校正，能够更精确且稠密地建立目标场景中的物体模型。

Description

基于双目视觉和IMU的水下场景三维重建方法及设备 技术领域
本发明涉及三维重建技术领域，更具体地说，涉及一种基于双目视觉和IMU的水下场景三维重建方法及设备。
背景技术
随着科技的不断进步，各个国家都在极力发展水下探测技术，以满足人类对未知水下环境的探索和对珍贵海洋资源的开采，与此同时，水下探测技术还在水下维修和搜救等领域发挥极为重要的作用。水下三维重建技术作为水下探测技术中重要的组成部分，一直是计算机视觉发展的主要方向。由于传统的水下三维重建技术多采用基于声学的声呐探测技术，其设备昂贵且有诸多限制，相比之下，基于计算机视觉的方法则更为直观地展示了水下环境的光学特征，而基于双目视觉的方法因其更容易获得深度信息而被广泛应用。
近年来，有越来越多的基于双目视觉的水下三维重建方法被提出，但是其中大部分只针对水下单帧的双目图像进行三维重建，一般的步骤包括图像获取、图像标定、图像增强、视差图获取、三维重建，所生成的点云较为稀疏，不足以支撑上述研究内容。部分基于多帧融合的双目视觉三维重建也存在定位匹配不准的问题，导致多帧叠加后存在很多噪声点，从而导致三维重建结果不准确，因此，开发一种精确定位且点云稠密的双目视觉三维重建算法显得尤为重要。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于双目视觉和IMU的水下场景三维重建方法及设备；该方法利用紧耦合的方式融合IMU和双目相机数据实现精准定位，基于定位结果和多帧图像生成的点云进行三维重建，并基于点云特征进行位姿校正，能够更精确且稠密地建立目标场景中的物体模型。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于双目视 觉和IMU的水下场景三维重建方法，包括如下步骤：
S1、标定双目相机内参、IMU参数以及双目相机与IMU外参；
S2、统一双目相机和IMU的时间戳；对高频率的IMU数据进行积分，对低频率的双目相机图像数据进行特征提取和匹配；以紧耦合的方式将双目相机和IMU融合定位，得到多帧图像数据之间的坐标转换参数，从而得到初始的旋转矩阵和平移向量；
S3、利用双目相机的同一帧图像数据进行视差图的计算；通过视差图和二维的图像数据原始坐标生成三维点云数据；
S4、基于三维点云数据的多帧匹配进行位姿匹配校正；S2得到的旋转矩阵和平移向量作为本步骤中匹配算法的初始输入参数，计算多帧三维点云数据之间的最佳估计旋转矩阵和平移向量；
S5、基于S4得到的最佳估计旋转矩阵和平移向量，对S3得到的多帧三维点云数据进行叠加并滤波，得到更为稠密的三维重建点云数据。
优选地，所述S1包括如下步骤：
S11、标定IMU的确定性误差与随机误差；
S12、将双目相机与IMU刚性固定；
S13、将刚性固定的双目相机与IMU，以及参数已知的标定板一同放入水下；
S14、充分移动双目相机并录制数据；记录下多组双目相机图像数据，对图像进行角点识别标定双目相机镜头焦距、基线距离及畸变参数；
S15、记录双目相机和IMU的相对运动关系，标定双目相机内参、双目相机的左右相机之间的外参及左相机与IMU外参。
优选地，所述S11中，IMU的确定性误差包括加速度计误差；
加速度计误差按照以下公式校正：
其中，lax,lay,laz分别代表X、Y、Z三个坐标轴校正后的结果；ax,ay,az分别代表X、Y、Z三个坐标轴初始结果；sxx,syy,szz分别代表X、Y、Z三个坐标轴尺度变换；mxy,mxz,myx,myz,mzx,mzy分别代表X、Y、Z三个坐标轴错位；bax,bay,baz代表分别X、Y、Z三个坐标轴固定偏差；
IMU的随机误差包括高斯白噪声和误差随机游走；所述高斯白噪声表示为：
其中，t为时间，n()为高斯过程，E[]为均值，σ2为方差，δ()为狄拉克函数；
所述误差随机游走表示为：
其中，nb(t)为维纳过程，σb为随机游走标准差，ω(t)是方差为1的白噪声；
所述S15中，标定双目相机的左右相机的内参是指：
其中，l代表左相机；r代表右相机；Kl，Kr分别代表左右相机内参矩阵；fxl,fyl，fxr,fyr分别代表使用像素表示左右相机在x轴和y轴方向上的焦距长度；(u0l,v0l),(u0r,v0r)分别代表左右相机像平面坐标系的主点的实际像素坐标；
标定双目相机的左右相机与IMU外参是指：
设定IMU坐标系为世界坐标系，则双目相机的左右相机图像点到IMU坐标系下的转换关系为：

其中，分别为左右相机坐标系下的二维坐标；为IMU坐标系下的三维坐标；Rlr,Rri分别为右相机到左相机、左相机到IMU坐标系的3*3的旋转矩阵；Tlr,Tri分别为右相机到左相机、左相机到IMU坐标系的1*3的平移向量。
优选地，所述S2，包括如下步骤：
输入IMU数据；IMU数据包括加速度数据和旋转数据；将IMU数据积分并转化为离散量，在k时刻到k+1时刻下IMU数据积分得到的速度V、平移结果T和旋转参数R分别表示为：
Vk+1＝Vk+aΔt

其中，Vk,Vk+1分别为k时刻、k+1时刻下的速度；a为加速度；Δt为时间间隔；Tk,Tk+1分别为k时刻、k+1时刻下的平移向量；Rk,Rk+1分别为k时刻、k+1时刻下的旋转矩阵；ω为角速度；为克罗内克积；
输入双目相机图像数据；对双目相机的左右相机图像数据分别进行特征提取，再与前一帧的特征进行匹配，得到特征点在相邻两帧的图像上的图像坐标；通过IMU数据的积分及时间对齐，得到双目相机的估计位置，设为状态量初始值；构建误差函数，利用最小二乘法得到状态量的最优估计F：
其中，Rci,Tci分别为旋转矩阵和平移向量；Qj为特征点坐标；ci为第i个相机坐标系；π(·)为投影函数；为ci对Qj观测；为范数；
基于最小二乘问题求解最优估计F，损失函数表达为：
其中，Δx为变化量；ΔxT代表转置；ο(||Δx||3)为泰勒展开的高阶项；J和H分别为损失函数一阶导和二阶导矩阵；忽略泰勒展开的高阶项，损失函数变成二次函数，根据一阶导数为0的稳定点的H矩阵的性质求解出局部极值和鞍点；
从而得到以紧耦合的方式融合双目相机和IMU实现每一帧双目相机图像数据定位。
优选地，所述S3，包括如下步骤：
S31、根据双目相机内参对输入的双目相机图像数据进行畸变校正；基于NCC算法进行视差计算：
其中，x，y，d分别为x轴坐标，y轴坐标，视差；i，j分别为x轴，y轴方向的变化值；m,n分别为x轴，y轴方向的最大值；I1(x,y),I2(x,y)分别为原始图像和目标图像上偏移后的像素值；分别为原始图像和目标图像上偏移后像素的均值；

进而求得双目相机图像同一帧图像数据对应的视差图；
S32，通过视差图和原始坐标生成三维点云数据，三维坐标表示为:
其中，xl、xr分别为左右相机对应的横坐标值；yl、yr分别为左右相机纵坐标值；fx,fy分别为左右相机内参中对应的焦距；X，Y，Z分别为为三维坐标；D为深度值，由下式计算：
D＝B·f/d
其中，B为基线长度，f为焦距，d为左右图像视差。
优选地，所述S4包括如下步骤：
将两帧三维点云数据分别进行空间分割，分为n个小正方体；对每个小正方体进行均值和协方差矩阵Σ的计算：

其中，xi第i个小正方体中的值；
建立两帧三维点云数据之间的概率分布函数p(x)：
得到优化函数E：
将S2得到的旋转矩阵和平移向量作为初始值计算概率分布函数p(x)，通过优化函数E迭代收敛，获得两帧三维点云数据之间最佳估计旋转矩阵和平移向量。
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现权利要求1-6中任一项所述的基于双目视觉和IMU的水下场景三维重建方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明，基于融合定位匹配多帧双目相机图像数据并基于三维点云数据进行位姿校正，相比传统的基于视觉的方法能够实现更精准的水下定位，减少匹配丢失概率，从而提高三维重建结果的精度；
2、本发明，基于多帧点云融合得到三维重建结果，相比于传统水下单帧三维重建方法可以建立更为稠密的环境三维模型，提供丰富且立体的环境感知信息。
附图说明
图1是本发明水下场景三维重建方法的流程示意图；
图2是本发明水下场景三维重建方法的S1流程示意图；
图3(a)～图3(d)是实施例一水下场景三维重建方法的水下图像数据；
图4(a)～图4(e)是实施例一水下场景三维重建方法的水下三维重建过程示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种基于双目视觉和IMU的水下场景三维重建方法，如图1所示，包含以下五个步骤：标定双目相机内参、IMU参数以及双目相机与IMU的外参；双目视觉和IMU紧耦合定位；双目图像计算视差图并生成三维点云；基于三维点云进行位姿匹配校正；基于位姿和三维点云实现三维重建。
具体地说，S1、标定双目相机内参、IMU参数以及双目相机与IMU外参。
如图2所示，所述S1包括如下步骤：
S11、将IMU静置，标定IMU的确定性误差与随机误差；
确定性误差主要由于多轴传感器制作工艺的问题，导致X、Y、Z三个坐标轴可能不垂直。IMU的确定性误差包括加速度计误差；加速度计误差按照以下公式校正：
其中，lax,lay,laz分别代表X、Y、Z三个坐标轴校正后的结果；ax,ay,az分 别代表X、Y、Z三个坐标轴初始结果；sxx,syy,szz分别代表X、Y、Z三个坐标轴尺度变换(scale)；mxy,mxz,myx,myz,mzx,mzy分别代表X、Y、Z三个坐标轴错位(misalignment)；bax,bay,baz代表分别X、Y、Z三个坐标轴固定偏差(bias)；
IMU的随机误差通常假定噪声服从高斯分布,包括高斯白噪声(Gaussian white noise)和误差随机游走(bias random walker)；所述高斯白噪声表示为：
其中，t为时间，n()为高斯过程，E[]为均值，σ2为方差，δ()为狄拉克函数；
所述误差随机游走表示为：
其中，nb(t)为维纳过程，σb为随机游走标准差，ω(t)是方差为1的白噪声；
至此，IMU参数已经标定完毕；
S12、将双目相机与IMU刚性固定；
S13、将刚性固定的双目相机与IMU，以及参数已知的标定板一同放入水下；标定板可采用棋盘格；如图3(a)和图3(b)所示；图3(a)和图3(b)对应水下标定时的左相机图像和右相机图像。
S14、固定棋盘格，充分移动双目相机，尽量使得棋盘格出现在双目相机视野的各个位置，利于对相机畸变进行标定；双目相机录制数据；记录下多组双目相机图像数据，对图像进行角点识别标定双目相机镜头焦距、基线距离及畸变参数；
S15、记录双目相机和IMU的相对运动关系，标定双目相机的左右相机的内 参及左相机与IMU外参：利用棋盘格标定双目相机内参及双目相机的左右相机之间的外参，利用棋盘格估计左相机坐标系下的运动轨迹，利用积分计算IMU中加速度计提供的加速度信息和陀螺仪提供的旋转信息，得到IMU坐标系下的运动轨迹；
具体地，标定双目相机的左右相机的内参是指：
其中，l代表左相机；r代表右相机；Kl，Kr分别代表左右相机内参矩阵；fxl,fyl，fxr,fyr分别代表使用像素表示左右相机在x轴和y轴方向上的焦距的长度；(u0l,v0l),(u0r,v0r)分别代表左右相机像平面坐标系的主点的实际像素坐标；标定双目相机的左右相机与IMU外参是指：
设定IMU坐标系为世界坐标系，则双目相机的左右相机图像点到IMU坐标系下的转换关系为：

其中，分别为左右相机坐标系下的二维坐标；为IMU坐标系下的三维坐标；Rlr,Rri分别为右相机到左相机、左相机到IMU坐标系的3*3的旋转矩阵；Tlr,Tri分别为右相机到左相机、左相机到IMU坐标系的1*3的平移向量。
至此，IMU数据参数、双目相机内参以及左右相机和IMU之间的外参均已知。
S2、双目视觉和IMU紧耦合定位。
统一双目相机和IMU的时间戳；对高频率的IMU数据进行积分，对低频率的双目相机图像数据进行特征提取和匹配；以紧耦合的方式将双目相机和IMU融合定位，得到多帧图像数据之间的坐标转换参数。这种方法可以利用双目相机特征匹配消除IMU的累计积分误差，同时由于引入了高频率的IMU数据，可以提高定位结果的输出频率。
所述S2，包括如下步骤：
输入IMU数据；IMU数据包括加速度数据和旋转数据；将IMU数据积分并转化为离散量，在k时刻到k+1时刻下IMU数据积分得到的速度V、平移结果T和旋转参数R分别表示为：
Vk+1＝Vk+aΔt

其中，Vk,Vk+1分别为k时刻、k+1时刻下的速度；a为加速度；Δt为时间间 隔；Tk,Tk+1分别为k时刻、k+1时刻下的平移向量；Rk,Rk+1分别为k时刻、k+1时刻下的旋转矩阵；ω为角速度；为克罗内克积；
输入双目相机图像数据，如图3(c)和图3(d)所示；图3(c)和图3(d)对应水下三维重建测试时某一帧的左相机图像和右相机图像；对双目相机的左右相机图像数据分别进行特征提取，再与前一帧的特征进行匹配，得到特征点在相邻两帧的图像上的图像坐标；通过IMU数据的积分及时间对齐，得到双目相机的估计位置，设为状态量初始值；构建误差函数，利用最小二乘法得到状态量的最优估计F：
其中，Rci,Tci分别为旋转矩阵和平移向量；Qj为特征点坐标；ci为第i个相机坐标系；π(·)为投影函数；为ci对Qj观测；为范数；
基于最小二乘问题求解最优估计F，损失函数表达为：
其中，Δx为变化量；ΔxT代表转置；ο(||Δx||3)为泰勒展开的高阶项；J和H分别为损失函数一阶导和二阶导矩阵；忽略泰勒展开的高阶项，损失函数变成二次函数，根据一阶导数为0的稳定点的H矩阵的性质求解出局部极值和鞍点；
至此，已经基于紧耦合的方式融合IMU和双目相机实现了每一帧的图像数据定位，同时由于IMU频率较高，且短时间内IMU的积分数据充分可信，可以在两帧图像数据之间通过插值计算，得到较高频率的定位结果。
S3、双目图像计算视差图并生成三维点云。
利用双目相机的同一帧图像数据进行视差图的计算；通过视差图和二维的图像数据原始坐标生成三维点云数据。
所述S3，包括如下步骤：
S31、根据双目相机内参对输入的双目相机图像数据进行畸变校正；如图4(a)和图4(b)所示，图4(a)和图4(b)对应三维重建测试时，某一帧去畸变后的左相机图像和右相机图像；基于NCC算法进行视差计算：
其中，x，y，d分别为x轴坐标，y轴坐标，视差；i，j分别为x轴，y轴方向的变化值；m,n分别为x轴，y轴方向的最大值；I1(x,y),I2(x,y)分别为原始图像和目标图像上偏移后的像素值；分别为原始图像和目标图像上偏移后像素的均值；

进而求得双目相机图像同一帧图像数据对应的视差图；图4(c)所示，图4(c)是基于图4(a)和图4(b)生成的视差图；
S32，通过视差图和原始坐标生成三维点云数据，三维坐标表示为:
其中，xl、xr分别为左右相机对应的横坐标值；yl、yr分别为左右相机纵坐标值；fx,fy分别为左右相机内参中对应的焦距；X，Y，Z分别为为三维坐标；D为深度值，由下式计算：
D＝B·f/d
其中，B为基线长度，f为焦距，d为左右图像视差。
至此，可以基于双目相机图像数据生成三维点云数据，如图4(d)所示，图4(d)是基于图4(c)生成的三维点云数据。
S4、基于三维点云进行位姿匹配校正。
在进行S2和S3后，可得到多帧由双目相机图像数据生成的三维点云及多帧之间的坐标转换结果，但是由于坐标转换结果由二维图像数据计算得到，所以增加了基于三维点云数据的多帧匹配进行位姿匹配校正；S2的定位结果作为本步骤中匹配算法的初始输入参数，计算多帧三维点云数据之间的最佳坐标转换参数。这种方法提高了匹配精度的同时减少了三维数据的匹配时间。
所述S4包括如下步骤：
将两帧三维点云数据分别进行空间分割，分为n个小正方体；对每个小正方体进行均值和协方差矩阵Σ的计算：

其中，xi第i个小正方体中的值；
建立两帧三维点云数据之间的概率分布函数p(x)：
得到优化函数E：
将S2得到的旋转矩阵和平移向量作为初始值计算概率分布函数p(x)，通过优化函数E迭代收敛，获得两帧三维点云数据之间最佳估计旋转矩阵和平移向量。
S5、基于位姿和三维点云数据实现三维重建。
基于S4得到的最佳坐标转换参数，对S3得到的多帧三维点云数据进行叠加并滤波，得到更为稠密的三维重建点云数据，从而提供丰富的环境感知信息。如图4(e)所示，图4(e)是经过多帧融合的三维重建结果。
实施例二
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现实施例一所述的基于双目视觉和IMU的水下场景三维重建方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

  1. 一种基于双目视觉和IMU的水下场景三维重建方法，其特征在于：包括如下步骤：
    S1、标定双目相机内参、IMU参数以及双目相机与IMU外参；
    S2、统一双目相机和IMU的时间戳；对高频率的IMU数据进行积分，对低频率的双目相机图像数据进行特征提取和匹配；以紧耦合的方式将双目相机和IMU融合定位，得到多帧图像数据之间的坐标转换参数，从而得到初始的旋转矩阵和平移向量；
    S3、利用双目相机的同一帧图像数据进行视差图的计算；通过视差图和二维的图像数据原始坐标生成三维点云数据；
    S4、基于三维点云数据的多帧匹配进行位姿匹配校正；S2得到的旋转矩阵和平移向量作为本步骤中匹配算法的初始输入参数，计算多帧三维点云数据之间的最佳估计旋转矩阵和平移向量；
    S5、基于S4得到的最佳估计旋转矩阵和平移向量，对S3得到的多帧三维点云数据进行叠加并滤波，得到三维重建点云数据。
  2. 根据权利要求1所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S1包括如下步骤：
    S11、标定IMU的确定性误差与随机误差；
    S12、将双目相机与IMU刚性固定；
    S13、将刚性固定的双目相机与IMU，以及参数已知的标定板一同放入水下；
    S14、充分移动双目相机并录制数据；记录下多组双目相机图像数据，对图像进行角点识别标定双目相机镜头焦距、基线距离及畸变参数；
    S15、记录双目相机和IMU的相对运动关系，标定双目相机内参、双目相机的左右相机之间的外参及左相机与IMU外参。
  3. 根据权利要求2所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S11中，IMU的确定性误差包括加速度计误差；
    加速度计误差按照以下公式校正：
    其中，lax,lay,laz分别代表X、Y、Z三个坐标轴校正后的结果；ax,ay,az分别代表X、Y、Z三个坐标轴初始结果；sxx,syy,szz分别代表X、Y、Z三个坐标轴尺度变换；mxy,mxz,myx,myz,mzx,mzy分别代表X、Y、Z三个坐标轴错位；bax,bay,baz代表分别X、Y、Z三个坐标轴固定偏差；
    IMU的随机误差包括高斯白噪声和误差随机游走；所述高斯白噪声表示为：
    其中，t为时间，n()为高斯过程，E[]为均值，σ2为方差，δ()为狄拉克函数；
    所述误差随机游走表示为：
    其中，nb(t)为维纳过程，σb为随机游走标准差，ω(t)是方差为1的白噪声；
    所述S15中，标定双目相机的左右相机的内参是指：
    其中，l代表左相机；r代表右相机；Kl，Kr分别代表左右相机内参矩阵；fxl,fyl，fxr,fyr分别代表使用像素表示左右相机在x轴和y轴方向上的焦距长度；(u0l,v0l),(u0r,v0r)分别代表左右相机像平面坐标系的主点的实际像素坐标；
    标定双目相机的左右相机与IMU外参是指：
    设定IMU坐标系为世界坐标系，则双目相机的左右相机图像点到IMU坐标系下的转换关系为：

    其中，分别为左右相机坐标系下的二维坐标；为IMU坐标系下的三维坐标；Rlr,Rri分别为右相机到左相机、左相机到IMU坐标系的3*3的旋转矩阵；Tlr,Tri分别为右相机到左相机、左相机到IMU坐标系的1*3的平移向量。
  4. 根据权利要求1所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S2，包括如下步骤：
    输入IMU数据；IMU数据包括加速度数据和旋转数据；将IMU数据积分并转化为离散量，在k时刻到k+1时刻下IMU数据积分得到的速度V、平移结果T 和旋转参数R分别表示为：
    Vk+1＝Vk+aΔt

    其中，Vk,Vk+1分别为k时刻、k+1时刻下的速度；a为加速度；Δt为时间间隔；Tk,Tk+1分别为k时刻、k+1时刻下的平移结果；Rk,Rk+1分别为k时刻、k+1时刻下的旋转结果；ω为角速度；为克罗内克积；
    输入双目相机图像数据；对双目相机的左右相机图像数据分别进行特征提取，再与前一帧的特征进行匹配，得到特征点在相邻两帧的图像上的图像坐标；通过IMU数据的积分及时间对齐，得到双目相机的估计位置，设为状态量初始值；构建误差函数，利用最小二乘法得到状态量的最优估计F：
    其中，Rci,Tci分别为旋转矩阵和平移向量；Qj为特征点坐标；ci为第i个相机坐标系；π(·)为投影函数；为ci对Qj观测；为范数；
    基于最小二乘问题求解最优估计F，损失函数表达为：
    其中，Δx为变化量；ΔxT代表转置；ο(||Δx||3)为泰勒展开的高阶项；J和H分别为损失函数一阶导和二阶导矩阵；忽略泰勒展开的高阶项，损失函数变成二次函数，根据一阶导数为0的稳定点的H矩阵的性质求解出局部极值和鞍点；
    从而得到以紧耦合的方式融合双目相机和IMU实现每一帧双目相机图像数据定位。
  5. 根据权利要求1所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S3，包括如下步骤：
    S31、根据双目相机内参对输入的双目相机图像数据进行畸变校正；基于NCC算法进行视差计算：
    其中，x，y，d分别为x轴坐标，y轴坐标，视差；i，j分别为x轴，y轴方向的变化值；m,n分别为x轴，y轴方向的最大值；I1(x,y),I2(x,y)分别为原始图像和目标图像上偏移后的像素值；分别为原始图像和目标图像上偏移后像素的均值；

    进而求得双目相机图像同一帧图像数据对应的视差图；
    S32，通过视差图和原始坐标生成三维点云数据，三维坐标表示为:
    其中，xl、xr分别为左右相机对应的横坐标值；yl、yr分别为左右相机纵坐标值；fx,fy分别为左右相机内参中对应的焦距；X，Y，Z分别为为三维坐标；D为深度值，由下式计算：
    D＝B·f/d
    其中，B为基线长度，f为焦距，d为左右图像视差。
  6. 根据权利要求1所述的基于双目视觉和IMU的水下场景三维重建方法，其特征在于：所述S4包括如下步骤：
    将两帧三维点云数据分别进行空间分割，分为n个小正方体；对每个小正方体进行均值和协方差矩阵Σ的计算：

    其中，xi第i个小正方体中的值；
    建立两帧三维点云数据之间的概率分布函数p(x)：
    得到优化函数E：
    将S2得到的旋转矩阵和平移向量作为初始值计算概率分布函数p(x)，通过优化函数E迭代收敛，获得两帧三维点云数据之间最佳估计旋转矩阵和平移向量。
  7. 一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-6中任一项所述的基于双目视觉和IMU的水下场景三维重建方法。
PCT/CN2023/088584 2022-08-31 2023-04-17 基于双目视觉和imu的水下场景三维重建方法及设备 WO2024045632A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211059387.9A CN115471534A (zh) 2022-08-31 2022-08-31 基于双目视觉和imu的水下场景三维重建方法及设备
CN202211059387.9 2022-08-31

Publications (1)

Publication Number Publication Date
WO2024045632A1 true WO2024045632A1 (zh) 2024-03-07

Family

ID=84368295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/088584 WO2024045632A1 (zh) 2022-08-31 2023-04-17 基于双目视觉和imu的水下场景三维重建方法及设备

Country Status (2)

Country Link
CN (1) CN115471534A (zh)
WO (1) WO2024045632A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118196217A (zh) * 2024-05-15 2024-06-14 湖南大学 一种高精度双目立体相机在线自标定方法
CN118334099A (zh) * 2024-06-12 2024-07-12 湖南大学 一种开放海面场景海上目标深度估计方法及其系统
CN118376230A (zh) * 2024-04-16 2024-07-23 济南大学 一种基于双目视觉与imu融合的煤矿巡检机器人建图和定位方法、终端机及可读存储介质
CN118442973A (zh) * 2024-07-05 2024-08-06 天津水运工程勘察设计院有限公司 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法
CN118470220A (zh) * 2024-07-10 2024-08-09 中国海洋大学 基于声呐和光学图像融合的快速水下三维重建方法及系统
CN118501895A (zh) * 2024-07-18 2024-08-16 威海市城市规划技术服务中心有限公司 基于激光探测的智能测绘方法及系统
CN118505784A (zh) * 2024-06-13 2024-08-16 华中农业大学 一种水培植物根系三维重建及表型特征提取方法
CN118521646A (zh) * 2024-07-25 2024-08-20 中国铁塔股份有限公司江西省分公司 基于图像处理的多机型无人机受电架对准方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备
CN116543057B (zh) * 2023-06-27 2023-10-10 华南理工大学 一种水下多相机与imu一体化标定方法
CN117309856B (zh) * 2023-08-30 2024-08-06 中国科学院空天信息创新研究院 烟幕效果监测方法、装置、电子设备和存储介质
CN117333649B (zh) * 2023-10-25 2024-06-04 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117173342B (zh) * 2023-11-02 2024-07-02 中国海洋大学 基于水下单双目相机的自然光下移动三维重建装置及方法
CN117649454B (zh) * 2024-01-29 2024-05-31 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质
CN118298112B (zh) * 2024-06-04 2024-09-20 华南理工大学 一种基于悬浮式云台的水下目标三维重建方法
CN118628573A (zh) * 2024-08-01 2024-09-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种针对水下视觉退化场景的机器人在线定位和建图方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945220A (zh) * 2017-11-30 2018-04-20 华中科技大学 一种基于双目视觉的重建方法
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN109991636A (zh) * 2019-03-25 2019-07-09 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及系统
CN114111818A (zh) * 2021-12-08 2022-03-01 太原供水设计研究院有限公司 一种通用视觉slam方法
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN107945220A (zh) * 2017-11-30 2018-04-20 华中科技大学 一种基于双目视觉的重建方法
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN109991636A (zh) * 2019-03-25 2019-07-09 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及系统
CN114111818A (zh) * 2021-12-08 2022-03-01 太原供水设计研究院有限公司 一种通用视觉slam方法
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118376230A (zh) * 2024-04-16 2024-07-23 济南大学 一种基于双目视觉与imu融合的煤矿巡检机器人建图和定位方法、终端机及可读存储介质
CN118196217A (zh) * 2024-05-15 2024-06-14 湖南大学 一种高精度双目立体相机在线自标定方法
CN118334099A (zh) * 2024-06-12 2024-07-12 湖南大学 一种开放海面场景海上目标深度估计方法及其系统
CN118505784A (zh) * 2024-06-13 2024-08-16 华中农业大学 一种水培植物根系三维重建及表型特征提取方法
CN118442973A (zh) * 2024-07-05 2024-08-06 天津水运工程勘察设计院有限公司 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法
CN118442973B (zh) * 2024-07-05 2024-09-27 天津水运工程勘察设计院有限公司 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法
CN118470220A (zh) * 2024-07-10 2024-08-09 中国海洋大学 基于声呐和光学图像融合的快速水下三维重建方法及系统
CN118501895A (zh) * 2024-07-18 2024-08-16 威海市城市规划技术服务中心有限公司 基于激光探测的智能测绘方法及系统
CN118521646A (zh) * 2024-07-25 2024-08-20 中国铁塔股份有限公司江西省分公司 基于图像处理的多机型无人机受电架对准方法及系统

Also Published As

Publication number Publication date
CN115471534A (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
WO2024045632A1 (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
CN109461180B (zh) 一种基于深度学习的三维场景重建方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN107255476B (zh) 一种基于惯性数据和视觉特征的室内定位方法和装置
CN109165680B (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN107680159B (zh) 一种基于投影矩阵的空间非合作目标三维重建方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
Chatterjee et al. Algorithms for coplanar camera calibration
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN111127540B (zh) 一种三维虚拟空间自动测距方法及系统
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN111815765B (zh) 一种基于异构数据融合的图像三维重建方法
CN110349249B (zh) 基于rgb-d数据的实时稠密重建方法及系统
CN112598706B (zh) 无需精确时空同步的多相机运动目标三维轨迹重建方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN110874854A (zh) 一种基于小基线条件下的大畸变广角相机双目摄影测量方法
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN114018291A (zh) 一种惯性测量单元参数的标定方法、装置
CN113240597B (zh) 基于视觉惯性信息融合的三维软件稳像方法
CN111047636A (zh) 基于主动红外双目视觉的避障系统和避障方法
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
Ruchay et al. Accurate reconstruction of the 3D indoor environment map with a RGB-D camera based on multiple ICP
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及系统
CN110148216B (zh) 一种双球幕相机的三维建模方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23858673

Country of ref document: EP

Kind code of ref document: A1