WO2023178658A1 - 一种一般运动下的相机自标定方法 - Google Patents

一种一般运动下的相机自标定方法 Download PDF

Info

Publication number
WO2023178658A1
WO2023178658A1 PCT/CN2022/083071 CN2022083071W WO2023178658A1 WO 2023178658 A1 WO2023178658 A1 WO 2023178658A1 CN 2022083071 W CN2022083071 W CN 2022083071W WO 2023178658 A1 WO2023178658 A1 WO 2023178658A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
calibration
general motion
constraints
method under
Prior art date
Application number
PCT/CN2022/083071
Other languages
English (en)
French (fr)
Inventor
张慧
刘玉
Original Assignee
张慧
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 张慧 filed Critical 张慧
Publication of WO2023178658A1 publication Critical patent/WO2023178658A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the invention relates to the field of three-dimensional vision technology, and specifically refers to a camera self-calibration method under general motion.
  • a camera self-calibration method under general motion including the following steps:
  • Step 1 Obtain the basic matrix from the corresponding feature points
  • Step 2 Decompose the basic matrix to obtain the conic conic Steiner curve Fs and fixed point xa;
  • Step 3 Obtain their general eigenvector constraints from the absolute quadratic curve image and Fs;
  • Step 4 Obtain the initial estimate of the camera's three internal parameters and the absolute quadratic curve image based on the general eigenvector constraints;
  • Step 5 Obtain the ring point from the intersection of the absolute quadratic curve image and Fs, and then obtain the initial solutions of two vanishing lines and two circle centers;
  • Step 6 Set up the objective function to optimize the double circle center
  • Step 7 Obtain the internal parameters of the camera from the optimal solution of the double circle center.
  • the advantage of this invention compared with the existing technology is that it can automatically realize complete calibration of the five internal parameters of the camera and the calibration of the six external parameters of the camera by utilizing the geometric relationship between the symmetric part of the basic matrix Steiner curve and the absolute quadratic curve under general motion.
  • Calibration the calibration process is simple to operate. One calibration only requires taking at least three pictures of general motion, which saves time in camera calibration operations. Moreover, this solution has a simple method, convenient calculation, and accurate results.
  • Figure 1 is a schematic diagram of step two in a camera self-calibration method under general motion.
  • Figure 2 is a schematic diagram of step three in a camera self-calibration method under general motion.
  • Figure 3 is a schematic diagram of step five in a camera self-calibration method under general motion.
  • Figure 4 is a schematic diagram of step six in a camera self-calibration method under general motion.
  • Step 1 Obtain the basic matrix from the corresponding feature points
  • Step 2 Decompose the basic matrix to obtain the conic conic Steiner curve Fs and fixed point xa;
  • Step 3 Obtain their general eigenvector constraints from the absolute quadratic curve image and Fs;
  • Step 4 Obtain the initial estimate of the camera's three internal parameters and the absolute quadratic curve image based on the general eigenvector constraints;
  • Step 5 Obtain the ring point from the intersection of the absolute quadratic curve image and Fs, and then obtain the initial solutions of two vanishing lines and two circle centers;
  • Step 6 Set up the objective function to optimize the double circle center
  • Step 7 Obtain the internal parameters of the camera from the optimal solution of the double circle center.
  • the symmetric part F s is a conic quadratic Steiner curve
  • the pole pair ⁇ e, e′ ⁇ can be obtained from the zero vector of the basic matrix F.
  • the common eigenvectors of the absolute quadratic curve image ⁇ and the symmetric part of the basic matrix F s can form a common self-polar triangle ⁇ v 1 v 2 v 3 .
  • the general eigenvector v 1 corresponding to the maximum eigenvalue of ⁇ and F s is located on the line la
  • the other two general eigenvectors v 2 and v 3 are located on the axis l s
  • l s and la are positive with respect to ⁇ Hand over, that is
  • the two center projections can be recovered And the center of the circle Located on the axis l s , ⁇ and the symmetric part F s of a pair of image fundamental matrices F have two pairs of virtual intersection points, which are ring points, respectively located on the two vanishing lines caused by the plane normal ambiguity.
  • double circle centers of Fs are optimized: initial estimates at the two circle centers respectively. Select some sampling points evenly in the nearby area Connect a pair of sampling points to obtain a fixed-axis image from the center of the circle The polar pole constraint calculation about Fs corresponds to two horizontal lines Then take the horizontal line Two pairs of virtual intersection points with Fs obtain two pairs of ring points they satisfy
  • This constraint can calculate the absolute conic image Provides 4 independent constraints. So use at least three images to get more donut points and the absolute conic image constraint to get the absolute conic image Calculate by the method in step 4

Abstract

本发明公开了一种运动下的相机自标定方法，包括七个步骤。本发明与现有技术相比的优点在于：利用一般运动下的基本矩阵对称部分Steiner曲线和绝对二次曲线的几何关系，可自动实现相机五个内部参数完全标定，以及相机六个外部参数的标定，标定过程操作简单，一次标定只需要拍摄至少三张一般运动的图片，节省了相机标定操作的时间，且本方案方法简单，计算方便，结果精确。

Description

一种一般运动下的相机自标定方法 技术领域
本发明涉及三维视觉技术领域，具体是指一种一般运动下的相机自标定方法。
背景技术
在三维视觉领域，往往需要准确标定相机的内外参数，以便准确进行后继的摄影测量、基于视觉的自主导航、运动估计、三维重建等操作。但是，在实际计算中一般运动下完成相机自标定的方法，原有的技术忽视了基本矩阵的内在约束，使用Kruppa方程往往只能计算部分相机参数；对于五个未知数的相机内参，在五个二次方程中仍有二的五次方个可能的解。并且计算精度不够准确。其他方法试图通过一些特定操作消除尺度系数来简化Kruppa方程，然而，在获得的相机自动校准约束中仍然存在一些歧义并且结果不够精确。
发明内容
为解决上述技术问题，本发明提供的技术方案为：一种一般运动下的相机自标定方法，包括以下步骤：
步骤一、由特征点对应获取基本矩阵；
步骤二、分解基本矩阵获得圆锥二次曲线Steiner曲线Fs和固定点xa；
步骤三、由绝对二次曲线图像和Fs获得它们的一般特征向量约束；
步骤四、由一般特征向量约束获得相机三个内参及绝对二次曲线图像的初始估计；
步骤五、由绝对二次曲线图像和Fs的交点获得圆环点，继而得到两条消失线和两个圆心的初始解；
步骤六、设立目标函数优化双圆心；
步骤七、由双圆心的最优解获得相机内部参数。
本发明与现有技术相比的优点在于：利用一般运动下的基本矩阵对称部分Steiner曲线和绝对二次曲线的几何关系，可自动实现相机五个内部参数完全标定，以及相机六个外部参数的标定，标定过程操作简单，一次标定只需要拍摄至少三张一般运动的图片，节省了相机标定操作的时间，且本方案方法简单，计算方便，结果精确。
附图说明
图1是一种一般运动下的相机自标定方法中步骤二的示意图。
图2是一种一般运动下的相机自标定方法中步骤三的示意图。
图3是一种一般运动下的相机自标定方法中步骤五的示意图。
图4是一种一般运动下的相机自标定方法中步骤六的示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明。
本发明在具体实施时，如图1至图4所示的实施例中，提出一种一般运动下的相机自标定方法，包括以下步骤：
步骤一、由特征点对应获取基本矩阵；
步骤二、分解基本矩阵获得圆锥二次曲线Steiner曲线Fs和固定点xa；
步骤三、由绝对二次曲线图像和Fs获得它们的一般特征向量约束；
步骤四、由一般特征向量约束获得相机三个内参及绝对二次曲线图像的初始估计；
步骤五、由绝对二次曲线图像和Fs的交点获得圆环点，继而得到两条消失线和两个圆心的初始解；
步骤六、设立目标函数优化双圆心；
步骤七、由双圆心的最优解获得相机内部参数。
其中：
1、对需要测量的场景拍摄至少三张有重叠区域的图像。选取临近两张图像对，用特征提取及匹配方法如SIFT获取高精度的特征点与匹配。基于图像对中的匹配特征点，用八点法或其它方法以及RANSAC法估计精确的基本矩阵F。
2、如图1所示的实施例中，基本矩阵F可分解为对称部分F s＝(F+F T)/2和非对称部分F a＝(F-F T)/2。其中对称部分F s是一个圆锥二次曲线Steiner曲线，非对称部分F a是一个反对称矩阵，可被写成F a＝[x a] ×，因此点x a是F a的零向量。同时，由基本矩阵F的零向量可以得到极点对{e,e′}，它们落在二次曲线F s上，它们的连线l a满足关于F s的极点极线正交约束l a＝F sx a。总结如下，在基本矩阵F的几何表示中，对称部分F s是一个圆锥二次曲线，非对称部分是F a的零向量，即点x a。极点对{e,e′}落在二次曲线F s上，它们是基本矩阵F的零向量，它们的连线l a满足la＝l a＝F sx a。
3、如图2所示的实施例中，设绝对二次曲线图像为ω，那么v ⊥＝ω *l a，其中线l a和点v ⊥是相对于绝对圆锥二次曲线图像ω的一对极线和极点。连接点v ⊥和点x a可得到固定轴l s。ω和基本矩阵的对称部分F s构成ω *F s，其最大特征值对应的一般特征向量为点v 1，它位于线l a上，其余两个一般特征向量为点v 2和v 3，它们位于l s的图像上，绝对二次曲线图像ω和基本矩阵的对称部分F s的公共特征向量可形成公共自极三角形△v 1v 2v 3。其中，与ω和F s最大特征值对应的一般特征向量v 1位于线l a上，其余两个一般特征向量v 2和v 3，位于轴l s上，且l s与l a关于ω正交，即
Figure PCTCN2022083071-appb-000001
4、由于ω *F s最大特征值对应的一般特征向量v 1位于线l a上，可以获得以下约束，
Figure PCTCN2022083071-appb-000002
其中包括三个独立的约束。当已知主轴点(u 0，v 0)时，可以从方程中恢复三个未知参数即f，(v 1x，v 1y)。其中f  f是自然相机的焦距，(v 1x,v 1y)是一般特征向量v 1的坐标。利用至少三幅图像获得三个图像对，使用 并不限于以上约束，对于具有已知主轴点的相机内参，可以恢复三个相机内参，即焦距f x，f y和偏斜参数s，并可获得绝对二次曲线图像的初始估计
Figure PCTCN2022083071-appb-000003
5、如图3所示的实施例中，由于绝对二次曲线图像
Figure PCTCN2022083071-appb-000004
和一对图像基本矩阵F的对称部分F s有两对虚交点，它们是圆环点i i，j i，i＝1,2。假设F s是空间某平面上一个圆的投影，根据此平面法向的二义性对应两条消失线l hi，i＝1,2。它们的交点v 1位于线l a上，而两对圆环点i i，j i分别位于这两条消失线上。由于消失线l hi和圆心投影关于F s有极线极点约束，因此可以恢复两个圆心投影
Figure PCTCN2022083071-appb-000005
并且圆心
Figure PCTCN2022083071-appb-000006
位于轴l s上，ω和一对图像基本矩阵F的对称部分F s有两对虚交点，它们是圆环点，分别位于平面法向二义性带来的两条消失线上。
6、如图4所示的实施例中，优化Fs的双圆心：分别在两个圆心的初始估计
Figure PCTCN2022083071-appb-000007
附近区域均匀选取一些采样点
Figure PCTCN2022083071-appb-000008
连接一对采样点可得固定轴图像
Figure PCTCN2022083071-appb-000009
由圆心
Figure PCTCN2022083071-appb-000010
关于Fs的极线极点约束计算对应两条水平线
Figure PCTCN2022083071-appb-000011
进而以水平线
Figure PCTCN2022083071-appb-000012
与Fs的两对虚交点获得两对圆环点
Figure PCTCN2022083071-appb-000013
它们满足
Figure PCTCN2022083071-appb-000014
此约束能为计算绝对二次曲线图像
Figure PCTCN2022083071-appb-000015
提供4个独立约束。因此使用至少三幅图像获得更多圆环点和绝对二次曲线图像约束可获得绝对二次曲线图像
Figure PCTCN2022083071-appb-000016
由步骤4中方法算出
Figure PCTCN2022083071-appb-000017
的三个特征向量，他们分别是点
Figure PCTCN2022083071-appb-000018
以及计算相对于绝对圆锥二次曲线
Figure PCTCN2022083071-appb-000019
的极点
Figure PCTCN2022083071-appb-000020
构造目标函数，可包含并不限于以下几个约束：1)x a，
Figure PCTCN2022083071-appb-000021
在轴
Figure PCTCN2022083071-appb-000022
上；2)点
Figure PCTCN2022083071-appb-000023
在线l a上；3)l s与l a关于ω正交；l l与l r关于ω正交，优化以上约束带来的目标函数求解圆心o i(i＝1,2)的最优解。
7、由圆心o i(i＝1,2)的最优解关于Fs的极线极点约束计算对应水平线l hi；进而以水平线l hi与Fs的两对虚交点获得圆环点i i，j i，i＝1,2；它们满足
Figure PCTCN2022083071-appb-000024
它能为计算绝对二次曲线图像ω提供4个独立约束。因此至少3张图像构成3个图像对将包含6对圆环点，它们提供12个独立约束可以计算出绝对二次曲线图像ω。通过Cholesky分解ω得到相机的5个内部参数。相机外参从而可由分解本质矩阵获得。使用更多图像将提高该相机自标定算法的精度。
以上显示和描述了本发明的基本原理和主要特征以及本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神 和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

  1. 一种一般运动下的相机自标定方法，其特征在于包括以下步骤：
    步骤一、由特征点对应获取基本矩阵；
    步骤二、分解基本矩阵获得圆锥二次曲线Steiner曲线Fs和固定点xa；
    步骤三、由绝对二次曲线图像和Fs获得他们的一般特征向量约束；
    步骤四、由一般特征向量约束获得相机三个内参及绝对二次曲线图像的初始估计；
    步骤五、由绝对二次曲线图像和Fs的交点获得圆环点，继而得到两条消失线和两个圆心的初始解；
    步骤六、设立目标函数优化双圆心；
    步骤七、由双圆心的最优解获得相机内部参数。
PCT/CN2022/083071 2022-03-22 2022-03-25 一种一般运动下的相机自标定方法 WO2023178658A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210284800.5A CN114663527A (zh) 2022-03-22 2022-03-22 一种一般运动下的相机自标定方法
CN202210284800.5 2022-03-22

Publications (1)

Publication Number Publication Date
WO2023178658A1 true WO2023178658A1 (zh) 2023-09-28

Family

ID=82031880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/083071 WO2023178658A1 (zh) 2022-03-22 2022-03-25 一种一般运动下的相机自标定方法

Country Status (2)

Country Link
CN (1) CN114663527A (zh)
WO (1) WO2023178658A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437823B1 (en) * 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
CN104167001A (zh) * 2014-08-27 2014-11-26 大连理工大学 基于正交补偿的大视场摄像机标定方法
CN106530358A (zh) * 2016-12-15 2017-03-22 北京航空航天大学 仅用两幅场景图像标定ptz摄像机的方法
CN109064516A (zh) * 2018-06-28 2018-12-21 北京航空航天大学 一种基于绝对二次曲线像的相机自标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437823B1 (en) * 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
CN104167001A (zh) * 2014-08-27 2014-11-26 大连理工大学 基于正交补偿的大视场摄像机标定方法
CN106530358A (zh) * 2016-12-15 2017-03-22 北京航空航天大学 仅用两幅场景图像标定ptz摄像机的方法
CN109064516A (zh) * 2018-06-28 2018-12-21 北京航空航天大学 一种基于绝对二次曲线像的相机自标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI HAIBIN, HAO XIANG-YANG, SHAN HAI-TAO, CHEN JIE: "Algorithms of Camera Auto-Calibration for Image Triplets", JOURNAL OF GEOMATICS SCIENCE AND TECHNOLOGY, vol. 25, no. 2, 30 April 2008 (2008-04-30), pages 131 - 134, XP093094322, ISSN: 1673-6338 *
SHI YANQING, CHANG CAIXIA; LIU XIAOHONG; LI ZIYU; ZHANG ZONGHUA; GAO NAN; MENG ZHAOZONG: "Calibration Methods and Progress for Internal and External Parameters of Area-Array Camera", LASER & OPTOELECTRONICS PROGRESS, vol. 58, no. 24, 31 December 2021 (2021-12-31), pages 9 - 29, XP093094324, DOI: 10.3788/LOP202158.2400001 *

Also Published As

Publication number Publication date
CN114663527A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
WO2021232470A1 (zh) 基于多传感器融合的slam制图方法、系统
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
US10070121B2 (en) Method for calibrating a depth camera
CN112102458A (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
US10438366B2 (en) Method for fast camera pose refinement for wide area motion imagery
CN108615246B (zh) 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
WO2019029099A1 (zh) 基于图像梯度联合优化的双目视觉里程计算方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
CN109115184B (zh) 基于非合作目标协同测量方法及系统
WO2024045632A1 (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
CN111524194B (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
CN109102567B (zh) 一种基于重建误差最小化的位姿参数高精度求解方法
CN103308000B (zh) 基于双目视觉的曲线物体测量方法
JP2023021994A (ja) 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN111523547A (zh) 一种3d语义分割的方法及终端
CN110245367B (zh) 光机集成分析面形误差处理方法
WO2023178658A1 (zh) 一种一般运动下的相机自标定方法
CN117232499A (zh) 多传感器融合的点云地图构建方法、装置、设备及介质
WO2023130842A1 (zh) 一种相机位姿确定方法和装置
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22932720

Country of ref document: EP

Kind code of ref document: A1