WO2023045455A1 - 基于分支重构配准的非合作目标三维重建方法 - Google Patents

基于分支重构配准的非合作目标三维重建方法 Download PDF

Info

Publication number
WO2023045455A1
WO2023045455A1 PCT/CN2022/101095 CN2022101095W WO2023045455A1 WO 2023045455 A1 WO2023045455 A1 WO 2023045455A1 CN 2022101095 W CN2022101095 W CN 2022101095W WO 2023045455 A1 WO2023045455 A1 WO 2023045455A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
reconstruction
registration
point
dimensional
Prior art date
Application number
PCT/CN2022/101095
Other languages
English (en)
French (fr)
Inventor
张艳宁
杨佳琪
黄志强
Original Assignee
西北工业大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西北工业大学 filed Critical 西北工业大学
Publication of WO2023045455A1 publication Critical patent/WO2023045455A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Definitions

  • the invention belongs to the field of computer vision, and in particular relates to a three-dimensional reconstruction method of non-cooperative targets based on branch reconstruction registration.
  • spacecraft In recent years, with the development of aerospace technology and the deepening of human exploration of outer space resources, spacecraft has gradually been applied to many fields such as society, military, and economy. However, due to the weak gravitational effect of the earth on the spacecraft, the spacecraft cannot fall into the atmosphere and be destroyed after it fails or completes its mission. Instead, it continues to float freely in the orbital circle and becomes space junk. Due to the limitation of the satellite docking position, it is urgent to clean up the space junk in the orbital circle. In addition, with the development of technology, the structure of various spacecraft has become more sophisticated and complex, and the cost has also increased relatively. In order to save manufacturing costs as much as possible, prolong the service life, and improve the working capacity, the spacecraft needs to have the function of on-orbit maintenance.
  • the main technical solutions are divided into methods based on laser scanning (scanning lidar, TOF flash lidar) and methods based on camera projection geometry (structured light camera, stereo vision camera, etc.). kind.
  • the method based on laser scanning sends a beam of light to the surface of the object by the laser rangefinder, and determines the distance between the object and the laser rangefinder according to the time difference between the sent signal and the received signal, and then determines the size and shape of the object.
  • a typical representative method based on projective geometry is the structure from motion (SfM) method.
  • This method first captures multiple images from multiple viewpoints, then detects the key points in the images, and uses the feature matching algorithm to obtain the corresponding relationship between the pixels in the images, and then combines the matching constraints and the principle of triangulation to obtain the three-dimensional coordinate information of the spatial points , and finally reconstruct the three-dimensional information of the object.
  • This type of method has low requirements on images, and has strong robustness and practical value.
  • the reconstructed point cloud data is relatively sparse, and the reconstruction takes a long time, which cannot meet the real-time requirements.
  • the present invention proposes a non-cooperative object 3D reconstruction method based on branch reconstruction registration.
  • a method for three-dimensional reconstruction of non-cooperative targets based on branch reconstruction registration characterized in that the steps are as follows:
  • the step of classifying the multi-angle picture sequence according to time sequence includes:
  • S11 number the acquired image sequence 1-N according to the time sequence
  • the step of using SfM technology to simultaneously obtain the corresponding three-dimensional point cloud numbers of each category picture sequence in S2 includes:
  • M i represents the i-th image
  • n s and n t are the number of points in the source point cloud and target point cloud respectively, and dis i represents the Euclidean distance between the i-th point in the point cloud and its nearest neighbor;
  • S44 Sampling triplets; perform three-point sampling according to the sorting result of S43, wherein the three samples are matched and the pose is calculated according to the three sampled matches
  • R it t it represent the rotation change matrix and translation change matrix between the scene point cloud and the target point cloud of the ith iteration respectively;
  • the preprocessing in step 41 includes point cloud down-sampling, calculation of key points, descriptors and establishment of feature matching.
  • a non-cooperative target 3D reconstruction method based on branch reconstruction registration proposed by the present invention in the case of a given multi-angle picture sequence, the method first classifies the picture sequence, and uses the motion restoration structure algorithm to obtain the correspondence of various picture sequences 3D point cloud data. Afterwards, the scales of various point cloud data are unified, and then the point cloud registration algorithm is used to perform registration and reconstruction of various point clouds, thereby realizing the three-dimensional reconstruction of non-cooperative objects in space.
  • the inventive method has the beneficial effects of:
  • the image sequence is classified and reconstructed in parallel, which reduces the time consumption in the reconstruction process, improves the reconstruction efficiency, and can meet the real-time requirements of the spacecraft operation.
  • Fig. 1 is the schematic flow sheet of the embodiment of technical scheme of the present invention.
  • Figure 2 is a schematic diagram of parallel reconstruction
  • Figure 3 is a flowchart of SFM three-dimensional reconstruction
  • Figure 4 is a flow chart of the point cloud registration algorithm based on RANSAC
  • Figure 5 is the reconstruction results of the traditional SFM method and the proposed method under different data
  • Table 1 is the quantitative analysis results of the reconstruction results of the proposed method and the traditional SFM method under different data.
  • the method for 3D reconstruction of non-cooperative targets based on branch reconstruction registration provided by the embodiment of the technical solution of the present invention is shown in Figure 1. It mainly includes four steps: classification, parallel 3D reconstruction, unified scale, and 3D registration and reconstruction. .
  • the present invention first classifies the initial image sequence according to time sequence; then performs parallel 3D reconstruction for each category; then unifies the scale of the reconstructed point cloud data, and then uses pairwise The quasi-algorithm is used for 3D registration and reconstruction, and finally the reconstructed target point cloud data is obtained.
  • the optional classification strategies are based on viewing angle, gray value, scale, etc. Considering that the follow-up point cloud registration requires overlap between point cloud data and image sequences between adjacent categories also need to have overlapping parts, so the example of the present invention adopts the classification method based on time series as shown in FIG. 2 .
  • the initial picture sequence is numbered 1-N according to the time sequence (the time sequence here refers to the moment when the camera captures the picture), and the category size K (the number of picture sequences contained in each category) and the overlapping rate r between the categories (adjacent to each other) are set.
  • the overlap rate between the two categories 50% is used in the figure), calculate the number of categories
  • n is the number of three-dimensional points
  • M i , K i , [R i T i ] are the corresponding camera projection matrix, internal parameter and external parameter matrix respectively
  • the specific steps of SfM reconstruction include as shown in Figure 3 The four steps shown are establishing feature matching, solving the basic matrix, solving the essential matrix, and solving the three-dimensional point coordinates by triangulation.
  • M i represents the i-th image
  • n s and n t are the number of points in the source point cloud and target point cloud respectively, and dis i represents the Euclidean distance between the i-th point in the point cloud and its nearest neighbor.
  • the guided three-point sampling consensus algorithm is used for registration. Compared with the traditional random sampling consensus algorithm, this algorithm can sample the correct match at the initial stage of iteration and improve the registration accuracy and efficiency.
  • the algorithm flow chart is as follows As shown in Figure 4, it mainly includes six steps, including preprocessing, computing compatibility values, composition, sampling, hypothesis generation, and hypothesis evaluation. The specific operations are as follows.
  • R it , t it represent the rotation change matrix and translation change matrix between the scene point cloud and the target point cloud of the ith iteration respectively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于分支重构配准的非合作目标三维重建方法，属于计算机视觉领域。该方法在给定多角度图片序列的情况下，首先将图片序列分类，使用运动恢复结构算法获得各类图片序列对应的三维点云数据。之后将各类点云数据进行尺度统一，再使用点云配准算法对各类点云进行配准重建，进而实现对空间非合作目标的三维重建。本发明将图片序列分类后并行重建，进而减少了重建过程中的时间消耗，提高了重建效率，可以满足航天器操作的实时性要求。将各类重建后的点云数据进行配准，最终重建得到的点云更加稠密，提高了重建精度。

Description

基于分支重构配准的非合作目标三维重建方法 技术领域
本发明属于计算机视觉领域，具体涉及一种基于分支重构配准的非合作目标三维重建方法。
背景技术
近年来，随着航天技术的发展和人类对外太空资源探索的深入，航天器逐步应用到了社会、军事、经济等多个领域。然而，由于地球对航天器的引力作用微弱，航天器发生故障或完成任务被丢弃后并不能自行坠入到大气层销毁，而是继续滞留在轨道圈内自由漂浮，成为太空垃圾。受限于卫星停靠位置的限制，对轨道圈太空垃圾的清理刻不容缓。此外，随着技术的发展，各类航天器的结构变得更加精密复杂，造价也相对增高。为尽可能的节约制造成本，延长使用寿命、提高工作能力，航天器需要有在轨维修的功能。获取目标的准确位置信息，完成空间交互对接是实现上述故障卫星维修，太空垃圾清理等在轨服务任务的首要条件。因此，作为一种有效的获取目标位置信息技术手段，空间非合作目标(不能提供有效合作信息、失去合作表示的航天器)三维重建逐渐成为了研究热点。
随着空间技术的发展，空间合作目标的抓捕技术已经比较成熟，在具有目标先验知识的情况下，可以实现对目标姿态、速度等信息的解算，相关技术已成功应用于如空间交互对接、燃料补给、货物运输等一些航天器的在轨任务中。
然而实际的空间任务更多是非合作的，事先并不知道目标的运动情况和其在空间轨道内的位置姿态参数信息。目前，针对空间非合作目标的三维重建，主要的技术方案分为基于激光扫描(扫描激光雷达、TOF闪光激光雷达)的方法和基于相机投影几何(结构光相机、立体视觉相机等)的方法两类。其中，基于激光扫描的方法由激光测距仪发射光束到物体表面，根据发送信号和接收信号的时间差确定物体距激光测距 仪的距离，进而确定物体的大小和形状。这种方法生成模型的精度较高，但得到的点云数据较为庞大，且之后还需要对多个视角下的点云数据进行配准，耗时较长，不能满足空间操作的实时性要求。基于投影几何的典型代表方法就是运动恢复结构法(Structure from Motion，SfM)。该方法首先从多个视点捕获多张图像，然后检测图像中的关键点，并使用特征匹配算法获得图像之间像素点的对应关系，再结合匹配约束和三角测量原理获得空间点的三维坐标信息，最终重建出物体的三维信息。该类方法对图像的要求较低，具有较强的鲁棒性和实用价值，但其重建出来的点云数据较为稀疏，且重建耗时长，不能满足实时性要求。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于分支重构配准的非合作目标三维重建方法。
技术方案
一种基于分支重构配准的非合作目标三维重建方法，其特征在于步骤如下：
S1：对输入的多角度图片序列进行分类处理；
S2：对每一类别的图片序列，同时使用SfM技术获得对应的三维点云数据；
S3：将不同尺度的点云数据进行尺度统一；
S4：使用两两配准算法，将相邻类别图片序列获取到的三维点云数据两两配准，进而获得重建点云。
本发明进一步的技术方案：S1中对多角度图片序列按照时序进行分类的步骤包括：
S11：将获取到的图片序列按照时序编号1-N；
S12：设定类别大小K和类间的重叠率r，计算类别数目：
Figure PCTCN2022101095-appb-000001
Figure PCTCN2022101095-appb-000002
本发明进一步的技术方案：S2中使用SfM技术同时获得各个类别图片序列对应的三维点云数的步骤包括：
S21：对图片进行特征点提取和特征描述，建立相邻图片之间的对应关系；
S22：依据对应关系，利用八点法求解基础矩阵F；
S23：利用基础矩阵F估计摄像机矩阵M i：
S24：使用三角化求解三维点X j的坐标
Figure PCTCN2022101095-appb-000003
其中，X j为所求的n个三维点，j＝1,…,n，x ij表示三维点在m张图像对应的像素坐标，i＝1,…,m，M i表示第i张图像对应的摄像机投影矩阵，且
x ij＝M iX j(i＝1,…,m,j＝1,…,n)      (3)。
本发明进一步的技术方案：S3中将各类点云数据统一尺度的步骤如下：
S31：记相邻的两个点云分别为源点云P s和目标点云P t，分别计算每个点云序列的分辨率
Figure PCTCN2022101095-appb-000004
Figure PCTCN2022101095-appb-000005
其中n s和n t分别为源点云和目标点云中点的个数，dis i表示该点云中第i个点与其最近邻之间的欧式距离；
S32：统一尺度，将源点云P s中每个点的坐标扩大
Figure PCTCN2022101095-appb-000006
倍。
本发明进一步的技术方案：S4中将各类图片序列获得的点云两两配准的步骤如下：
S41：预处理：
采用随机采样一致性的算法思想对相邻点云进行配准，首先对两个点云进行预处 理，获得初始匹配集C＝{c i}，其中
Figure PCTCN2022101095-appb-000007
Figure PCTCN2022101095-appb-000008
和
Figure PCTCN2022101095-appb-000009
分别表示源点云和目标点云中相互匹配的关键点，将初始匹配集作为算法的输入；
S42：计算匹配之间的兼容性值
Figure PCTCN2022101095-appb-000010
其中t cons是一个常数，D(c i,c j)表示匹配之间的距离，定义如下
Figure PCTCN2022101095-appb-000011
S43：依据兼容性值构图并排序三元组；将每根匹配抽象成一个节点，若节点之间的兼容性值s(c i,c j)大于预先设定的阈值t comp，则在节点之间连接一条边，最终将离散的节点构成一个图；计算图中三角形的兼容性得分
Comp(COT)＝l(e(i,j))+l(e(i,k))+l(e(j,k))       (8)
其中l(e(i,j))＝s(c i,c j)，再将三角形按照兼容性得分进行排序；
S44：采样三元组；按照S43的排序结果进行三点采样，其中采样的三根匹配并依据采样的三根匹配计算出位姿
Figure PCTCN2022101095-appb-000012
其中R it,t it分别表示第it次迭代场景点云与目标点云之间的旋转变化矩阵和平移变化矩阵；
S45：使用平均绝对误差MAE函数评价位姿优劣
Figure PCTCN2022101095-appb-000013
Figure PCTCN2022101095-appb-000014
其中
Figure PCTCN2022101095-appb-000015
表示旋转误差，t he是一个常量，用于判断c j是否为内点；
S46：重复迭代S44和S45两步，选择得分最高的位姿R it,t it作为最终输出位姿。
本发明进一步的技术方案：所述步骤41中的预处理包括点云降采样、计算关键点、 描述子和建立特征匹配。
有益效果
本发明提出的一种基于分支重构配准的非合作目标三维重建方法，该方法在给定多角度图片序列的情况下，首先将图片序列分类，使用运动恢复结构算法获得各类图片序列对应的三维点云数据。之后将各类点云数据进行尺度统一，再使用点云配准算法对各类点云进行配准重建，进而实现对空间非合作目标的三维重建。
本发明方法相对于现有技术，其有益效果为：
1)将图片序列分类后并行重建，进而减少了重建过程中的时间消耗，提高了重建效率，可以满足航天器操作的实时性要求。
2)将各类重建后的点云数据进行配准，最终重建得到的点云更加稠密，提高了重建精度。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1是本发明技术方案的实施例的流程示意图；
图2是并行重建示意图；
图3是SFM三维重建流程图；
图4是基于RANSAC的点云配准算法流程图；
图5是不同数据下传统SFM方法与提出方法重建结果图；
表1是不同数据下提出方法与传统SFM方法重建结果定量分析结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发 明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明技术方案的实施例提供的基于分支重构配准的非合作目标三维重建方法，其流程如图1所示，主要包括分类、并行三维重建、统一尺度、以及三维配准重建等四步。相比于传统的基于运动结构恢复的三维重建，本发明首先将初始图片序列按照时序分类；然后对每一类进行并行三维重建；之后将重建后的点云数据统一尺度，再使用两两配准算法进行三维配准重建，最终得到重建后的目标点云数据。
具体求解方法如下：
(1)对输入的多角度图片序列进行分类处理。可选的分类策略有依据视角、灰度值、尺度等。考虑到后续的点云配准要求点云数据之间存在重叠，相邻类别之间的图片序列也需要有重叠部分，因此本发明例采用如图2所示的基于时序的分类方法。将初始图片序列按照时序编号1-N(此处的时序指的是摄像机获取图片的时刻)，设定类别大小K(每一类包含的图片序列数目)和类间的重叠率r(相邻两类之间的重叠率，图中使用的是50％)，计算类别数目
Figure PCTCN2022101095-appb-000016
(2)对每一类别的图片序列，同时使用SfM技术获得对应的三维点云数据。在进行重建之前，已知n个三维点X j(j＝1,…,n)在m张图像中对应的像素坐标x ij以及m张图像对应的摄像机内参矩阵K i(i＝1,…,m)，且
x ij＝M iX j＝K i[R i T i]X j i＝1,…,m,j＝1,…,n       (2)
其中m为图像的个数，n为三维点数，M i，K i，[R i T i]分别为对应的摄像机投影矩阵、内参数以及外参数矩阵，SfM重建的具体步骤包括如图3所示的建立特征匹配、求解基础矩阵、求解本质矩阵以及三角化求解三维点坐标等四步。
(2.1)建立特征匹配。对图片进行特征点提取和特征描述，建立相邻图片之间的 对应关系。具体的，本实施例中对相邻图片进行sift特征提取，对每一个特征点进行描述，建立两张特征点的对应关系。
(2.2)求解基础矩阵。上一步中得到的匹配关系中可能存在错误匹配，因此使用随机采样一致性算法剔除错误，提高匹配的内点率。再依据对应关系，利用八点法求解基础矩阵F。
(2.3)利用基础矩阵F和估计摄像机矩阵M i。
(2.4)计算三维点坐标。最后使用三角化求解三维点X j的坐标
Figure PCTCN2022101095-appb-000017
其中，X j为所求的n个三维点，j＝1,…,n，x ij表示三维点在m张图像对应的像素坐标，i＝1,…,m，M i表示第i张图像对应的摄像机投影矩阵，且
x ij＝M iX j(i＝1,…,m,j＝1,…,n)      (3)
进一步的，S3中将各类点云数据统一尺度的步骤如下：
(3)将步骤(2)重建得到的多时序三维点云统一尺度，以便于进行后续的点云配准，具体操作如下。
(3.1)记相邻的两个点云分别为源点云P s和目标点云P t，分别计算每个点云序列的分辨率
Figure PCTCN2022101095-appb-000018
Figure PCTCN2022101095-appb-000019
其中n s和n t分别为源点云和目标点云中点的个数，dis i表示该点云中第i个点与其最近邻之间的欧式距离。
(3.2)统一尺度，将点云P s中每个点的坐标扩大
Figure PCTCN2022101095-appb-000020
倍。
(4)将步骤(3)统一尺度后的三维点云数据进行配准重建，得到完整、稠密的点云数据。本实施例中采用引导三点采样一致性算法进行配准，和传统的随机采样一 致性算法相比，本算法能够在迭代初期采样到正确匹配，提高配准准确率和效率，算法流程图如图4所示，主要包括预处理、计算兼容性值、构图、采样、假设生成和假设评估等六步，具体操作如下。
(4.1)采用随机采样一致性的算法思想对相邻点云进行配准。记相邻的两个点云分别为源点云P s和目标点云P t，首先对两个点云进行预处理(包含点云降采样，计算关键点、描述子，建立特征匹配)，获得初始匹配集C＝{c i}，其中
Figure PCTCN2022101095-appb-000021
Figure PCTCN2022101095-appb-000022
和
Figure PCTCN2022101095-appb-000023
分别表示源点云和目标点云中相互匹配的关键点。将初始匹配集作为算法的输入。
(4.2)计算匹配之间的兼容性值
Figure PCTCN2022101095-appb-000024
其中t cons是一个常数，D(c i,c j)表示匹配之间的距离，定义如下
Figure PCTCN2022101095-appb-000025
(4.3)依据兼容性值构图并排序三角形。将每根匹配抽象成一个节点，若节点之间的兼容性值s(c i,c j)大于预先设定的阈值t comp，则在节点之间连接一条边，最终将离散的节点构成一个图。计算图中三角形的兼容性得分
Comp(COT)＝l(e(i,j))+l(e(i,k))+l(e(j,k))       (8)
其中l(e(i,j))＝s(c i,c j)，再将三角形按照兼容性得分进行排序。
(4.4)采样三元组。按照排序结果进行三点采样，并依据采样的三根匹配计算出位姿
Figure PCTCN2022101095-appb-000026
其中R it,t it分别表示第it次迭代场景点云与目标点云之间的旋转变化矩阵和平移变化矩阵。
(4.5)使用MAE函数评价位姿优劣
Figure PCTCN2022101095-appb-000027
Figure PCTCN2022101095-appb-000028
其中
Figure PCTCN2022101095-appb-000029
表示旋转误差，t he是一个常量，用于判断c j是否为内点。S mae(T i)为当前位姿T i的误差，该误差越小，表示当前位姿置信度越高。
(4.6)重复迭代(4.4)和(4.5)两步，直至达到指定的迭代次数后终止算法，并选择得分最高的位姿R it,t it作为最终输出位姿，使用最终位姿完成三维配准重建。
将本发明算法应用到实际的非合作目标的三维重建，效果如图5和表1所示，通过重建多组空间非合作目标可以发现，本发明的算法在重建时效性和稠密程度上都优于传统的SFM算法。
表1 不同数据下提出方法与传统SFM方法重建结果定量分析
Figure PCTCN2022101095-appb-000030
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (6)

  1. 一种基于分支重构配准的非合作目标三维重建方法，其特征在于步骤如下：
    S1：对输入的多角度图片序列进行分类处理；
    S2：对每一类别的图片序列，同时使用SfM技术获得对应的三维点云数据；
    S3：将不同尺度的点云数据进行尺度统一；
    S4：使用两两配准算法，将相邻类别图片序列获取到的三维点云数据两两配准，进而获得重建点云。
  2. 根据权利要求1所述的一种基于分支重构配准的非合作目标三维重建方法，其特征在于：S1中对多角度图片序列按照时序进行分类的步骤包括：
    S11：将获取到的图片序列按照时序编号1-N；
    S12：设定类别大小K和类间的重叠率r，计算类别数目：
    Figure PCTCN2022101095-appb-100001
  3. 根据权利要求1所述的一种基于分支重构配准的非合作目标三维重建方法，其特征在于：S2中使用SfM技术同时获得各个类别图片序列对应的三维点云数的步骤包括：
    S21：对图片进行特征点提取和特征描述，建立相邻图片之间的对应关系；
    S22：依据对应关系，利用八点法求解基础矩阵F；
    S23：利用基础矩阵F估计摄像机矩阵M i：
    S24：使用三角化求解三维点X j的坐标
    Figure PCTCN2022101095-appb-100002
    其中，X j为所求的n个三维点，j＝1,…,n，x ij表示三维点在m张图像对应的像素坐标，i＝1,…,m，M i表示第i张图像对应的摄像机投影矩阵，且
    x ij＝M iX j(i＝1,…,m,j＝1,…,n)  (3)
                                    。
  4. 根据权利要求1所述的一种基于分支重构配准的非合作目标三维重建方法，其特征在于：S3中将各类点云数据统一尺度的步骤如下：
    S31：记相邻的两个点云分别为源点云P s和目标点云P t，分别计算每个点云序列的分辨率
    Figure PCTCN2022101095-appb-100003
    Figure PCTCN2022101095-appb-100004
    其中n s和n t分别为源点云和目标点云中点的个数，dis i表示该点云中第i个点与其最近邻之间的欧式距离；
    S32：统一尺度，将源点云P s中每个点的坐标扩大
    Figure PCTCN2022101095-appb-100005
    倍。
  5. 根据权利要求1所述的一种基于分支重构配准的非合作目标三维重建方法，其特征在于：S4中将各类图片序列获得的点云两两配准的步骤如下：
    S41：预处理：
    采用随机采样一致性的算法思想对相邻点云进行配准，首先对两个点云进行预处理，获得初始匹配集C＝{c i}，其中
    Figure PCTCN2022101095-appb-100006
    和
    Figure PCTCN2022101095-appb-100007
    分别表示源点云和目标点云中相互匹配的关键点，将初始匹配集作为算法的输入；
    S42：计算匹配之间的兼容性值
    Figure PCTCN2022101095-appb-100008
    其中t cons是一个常数，D(c i,c j)表示匹配之间的距离，定义如下
    Figure PCTCN2022101095-appb-100009
    S43：依据兼容性值构图并排序三元组；将每根匹配抽象成一个节点，若节点之间的兼容性值s(c i,c j)大于预先设定的阈值t comp，则在节点之间连接一条边，最终将离散的节点构成一个图；计算图中三角形的兼容性得分
    Comp(COT)＝l(e(i,j))+l(e(i,k))+l(e(j,k))  (8)
    其中l(e(i,j))＝s(c i,c j)，再将三角形按照兼容性得分进行排序；
    S44：采样三元组；按照S43的排序结果进行三点采样，其中采样的三根匹配并依据采样的三根匹配计算出位姿
    Figure PCTCN2022101095-appb-100010
    其中R it,t it分别表示第it次迭代场景点云与目标点云之间的旋转变化矩阵和平移变化矩阵；
    S45：使用平均绝对误差MAE函数评价位姿优劣
    Figure PCTCN2022101095-appb-100011
    Figure PCTCN2022101095-appb-100012
    其中
    Figure PCTCN2022101095-appb-100013
    表示旋转误差，t he是一个常量，用于判断c j是否为内点；
    S46：重复迭代S44和S45两步，选择得分最高的位姿R it,t it作为最终输出位姿。
  6. 根据权利要求5所述的一种基于分支重构配准的非合作目标三维重建方法，其特征在于：所述步骤41中的预处理包括点云降采样、计算关键点、描述子和建立特征匹配。
PCT/CN2022/101095 2021-09-21 2022-06-24 基于分支重构配准的非合作目标三维重建方法 WO2023045455A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111117965.5 2021-09-21
CN202111117965.5A CN113888695A (zh) 2021-09-21 2021-09-21 基于分支重构配准的非合作目标三维重建方法

Publications (1)

Publication Number Publication Date
WO2023045455A1 true WO2023045455A1 (zh) 2023-03-30

Family

ID=79010481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/101095 WO2023045455A1 (zh) 2021-09-21 2022-06-24 基于分支重构配准的非合作目标三维重建方法

Country Status (2)

Country Link
CN (1) CN113888695A (zh)
WO (1) WO2023045455A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN116934822A (zh) * 2023-09-15 2023-10-24 众芯汉创(江苏)科技有限公司 一种基于三维点云数据自主配准转化精细化模型的系统
CN116942317A (zh) * 2023-09-21 2023-10-27 中南大学 一种手术导航定位系统
CN116993947A (zh) * 2023-09-26 2023-11-03 光谷技术有限公司 一种三维场景可视化展示方法及系统
CN117291930A (zh) * 2023-08-25 2023-12-26 中建三局第三建设工程有限责任公司 一种基于图片序列中目标物体分割的三维重建方法和系统
CN117315146A (zh) * 2023-09-22 2023-12-29 武汉大学 基于跨尺度多源数据的三维模型的重建方法及存储方法
CN117649409A (zh) * 2024-01-29 2024-03-05 深圳市锐健电子有限公司 基于机器视觉的滑台自主限位系统、方法、装置及介质
CN117934725A (zh) * 2024-02-01 2024-04-26 西安中核核仪器股份有限公司 一种测试建筑物室内三维点云配准准确度的仿真方法
CN118037540A (zh) * 2024-01-23 2024-05-14 重庆大学 一种基于配准模板的桥梁点云数据多层次多视图配准方法
CN118097432A (zh) * 2024-04-18 2024-05-28 厦门理工学院 基于二阶空间一致约束的遥感图像模型估计方法
CN118154677A (zh) * 2024-05-11 2024-06-07 常熟理工学院 一种非合作目标位姿估计方法、系统及存储介质
CN118334094A (zh) * 2024-06-17 2024-07-12 济南市勘察测绘研究院 一种基于三维点云的模型配准方法
CN118379526A (zh) * 2024-06-26 2024-07-23 集美大学 基于概率分布采样约束的多特征点云匹配方法
CN118628398A (zh) * 2024-08-12 2024-09-10 浙江托普云农科技股份有限公司 基于可视外壳的稠密点云去噪方法、系统及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888695A (zh) * 2021-09-21 2022-01-04 西北工业大学 基于分支重构配准的非合作目标三维重建方法
CN115191949B (zh) * 2022-07-28 2024-08-02 哈尔滨工业大学 一种牙病诊断方法及诊断仪
CN116883463A (zh) * 2023-07-03 2023-10-13 西北工业大学 一种基于多域多维特征图的三维配准重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680159A (zh) * 2017-10-16 2018-02-09 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
CN111383333A (zh) * 2020-04-02 2020-07-07 西安因诺航空科技有限公司 一种分段式sfm三维重建方法
CN112085844A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 面向野外未知环境的无人机影像快速三维重建方法
US20210044787A1 (en) * 2018-05-30 2021-02-11 Panasonic Intellectual Property Corporation Of America Three-dimensional reconstruction method, three-dimensional reconstruction device, and computer
CN112508999A (zh) * 2020-11-20 2021-03-16 西北工业大学深圳研究院 一种基于协作观测图像序列的空间目标运动状态辨识方法
CN113888695A (zh) * 2021-09-21 2022-01-04 西北工业大学 基于分支重构配准的非合作目标三维重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680159A (zh) * 2017-10-16 2018-02-09 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
US20210044787A1 (en) * 2018-05-30 2021-02-11 Panasonic Intellectual Property Corporation Of America Three-dimensional reconstruction method, three-dimensional reconstruction device, and computer
CN111383333A (zh) * 2020-04-02 2020-07-07 西安因诺航空科技有限公司 一种分段式sfm三维重建方法
CN112085844A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 面向野外未知环境的无人机影像快速三维重建方法
CN112508999A (zh) * 2020-11-20 2021-03-16 西北工业大学深圳研究院 一种基于协作观测图像序列的空间目标运动状态辨识方法
CN113888695A (zh) * 2021-09-21 2022-01-04 西北工业大学 基于分支重构配准的非合作目标三维重建方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883471B (zh) * 2023-08-04 2024-03-15 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN117291930A (zh) * 2023-08-25 2023-12-26 中建三局第三建设工程有限责任公司 一种基于图片序列中目标物体分割的三维重建方法和系统
CN116934822A (zh) * 2023-09-15 2023-10-24 众芯汉创(江苏)科技有限公司 一种基于三维点云数据自主配准转化精细化模型的系统
CN116934822B (zh) * 2023-09-15 2023-12-05 众芯汉创(江苏)科技有限公司 一种基于三维点云数据自主配准转化精细化模型的系统
CN116942317A (zh) * 2023-09-21 2023-10-27 中南大学 一种手术导航定位系统
CN116942317B (zh) * 2023-09-21 2023-12-26 中南大学 一种手术导航定位系统
CN117315146B (zh) * 2023-09-22 2024-04-05 武汉大学 基于跨尺度多源数据的三维模型的重建方法及存储方法
CN117315146A (zh) * 2023-09-22 2023-12-29 武汉大学 基于跨尺度多源数据的三维模型的重建方法及存储方法
CN116993947B (zh) * 2023-09-26 2023-12-12 光谷技术有限公司 一种三维场景可视化展示方法及系统
CN116993947A (zh) * 2023-09-26 2023-11-03 光谷技术有限公司 一种三维场景可视化展示方法及系统
CN118037540A (zh) * 2024-01-23 2024-05-14 重庆大学 一种基于配准模板的桥梁点云数据多层次多视图配准方法
CN117649409A (zh) * 2024-01-29 2024-03-05 深圳市锐健电子有限公司 基于机器视觉的滑台自主限位系统、方法、装置及介质
CN117649409B (zh) * 2024-01-29 2024-04-02 深圳市锐健电子有限公司 基于机器视觉的滑台自主限位系统、方法、装置及介质
CN117934725A (zh) * 2024-02-01 2024-04-26 西安中核核仪器股份有限公司 一种测试建筑物室内三维点云配准准确度的仿真方法
CN118097432A (zh) * 2024-04-18 2024-05-28 厦门理工学院 基于二阶空间一致约束的遥感图像模型估计方法
CN118154677A (zh) * 2024-05-11 2024-06-07 常熟理工学院 一种非合作目标位姿估计方法、系统及存储介质
CN118334094A (zh) * 2024-06-17 2024-07-12 济南市勘察测绘研究院 一种基于三维点云的模型配准方法
CN118379526A (zh) * 2024-06-26 2024-07-23 集美大学 基于概率分布采样约束的多特征点云匹配方法
CN118628398A (zh) * 2024-08-12 2024-09-10 浙江托普云农科技股份有限公司 基于可视外壳的稠密点云去噪方法、系统及装置

Also Published As

Publication number Publication date
CN113888695A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
WO2023045455A1 (zh) 基于分支重构配准的非合作目标三维重建方法
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
Li et al. DeepI2P: Image-to-point cloud registration via deep classification
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN110458939B (zh) 基于视角生成的室内场景建模方法
Riegler et al. Octnetfusion: Learning depth fusion from data
CN110189399B (zh) 一种室内三维布局重建的方法及系统
CN111860651B (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及系统
Zhao et al. RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
Basak et al. Monocular depth estimation using encoder-decoder architecture and transfer learning from single RGB image
Ding et al. Jst: Joint self-training for unsupervised domain adaptation on 2d&3d object detection
Zhuang et al. Amos-SLAM: An Anti-Dynamics Two-stage SLAM Approach
Li et al. Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems
Zhang et al. Depth Monocular Estimation with Attention-based Encoder-Decoder Network from Single Image
Chaturvedi et al. Small object detection using retinanet with hybrid anchor box hyper tuning using interface of Bayesian mathematics
Li et al. Learning dense consistent features for aerial-to-ground structure-from-motion
Shang et al. Model-based tracking by classification in a tiny discrete pose space
Bai et al. Colmap-pcd: An open-source tool for fine image-to-point cloud registration
Chen et al. 360ORB-SLAM: A Visual SLAM System for Panoramic Images with Depth Completion Network
Munoz-Silva et al. A Survey on Point Cloud Generation for 3D Scene Reconstruction
Sawyer et al. Cluster-based 3D reconstruction of aerial video
Han et al. Online 3D Reconstruction Based On Lidar Point Cloud
Del-Tejo-Catalá et al. Probabilistic pose estimation from multiple hypotheses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22871516

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22871516

Country of ref document: EP

Kind code of ref document: A1