KR20230003803A - Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system - Google Patents
Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system Download PDFInfo
- Publication number
- KR20230003803A KR20230003803A KR1020210085341A KR20210085341A KR20230003803A KR 20230003803 A KR20230003803 A KR 20230003803A KR 1020210085341 A KR1020210085341 A KR 1020210085341A KR 20210085341 A KR20210085341 A KR 20210085341A KR 20230003803 A KR20230003803 A KR 20230003803A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate system
- lidar
- camera
- target object
- vector
- Prior art date
Links
- 239000013598 vector Substances 0.000 title claims abstract description 86
- 239000011159 matrix material Substances 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 abstract description 9
- 230000009466 transformation Effects 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Abstract
Description
본 발명은 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 관한 것으로서, 보다 상세하게는 서로 다른 방식의 자율주행용 센서에 의해 획득된 데이터 간의 좌표계 변환 관계를 찾아주는 자동 캘리브레이션(Calibration)에 관한 것이다.The present invention relates to an automatic calibration method through vector matching of a lidar coordinate system and a camera coordinate system, and more particularly, an automatic calibration that finds a coordinate system conversion relationship between data acquired by sensors for autonomous driving in different ways It is about.
구체적으로, 본 발명은 레이저 펄스를 이용하는 라이다(LiDAR)와 가시광선영역의 이미지를 촬영하는 카메라의 각 좌표계에서의 벡터 매칭을 통해, 자율주행에서 가장 기본이 되는 인지영역에서의 정확한 객체 인식이 가능하도록 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 관한 것이다.Specifically, the present invention provides accurate object recognition in the cognitive domain, which is the most basic in autonomous driving, through vector matching in each coordinate system of a LiDAR using laser pulses and a camera that captures images in the visible ray region. It relates to an automatic calibration method through vector matching between a lidar coordinate system and a camera coordinate system, which makes it possible.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계(인지영역)와, 인식된 환경으로부터 주행경로를 계획하는 단계(판단영역), 그리고 계획된 경로를 따라 주행하는 단계(제어영역)로 구성될 수 있다.Unmanned autonomous vehicle (autonomous driving vehicle) largely consists of recognizing the surrounding environment (recognition area), planning a driving route from the recognized environment (decision area), and driving along the planned route (control area). may consist of
특히, 인지영역의 경우 자율주행을 위해 가장 처음 수행되는 기반 기술이며, 이러한 인지영역에서의 기술이 정확히 이루어져야만 다음 단계인 판단영역 및 제어영역에서도 정확한 수행이 가능하게 된다.In particular, in the case of the cognitive domain, it is the base technology that is first performed for autonomous driving, and only when the technology in this cognitive domain is accurately performed can accurate performance be performed in the next step, the judgment domain and the control domain.
인지영역의 기술로는, GPS를 이용하여 차량의 정확한 위치를 파악하는 기술과, 라이다(LiDAR) 및 카메라를 통해 획득된 영상정보를 통해 주위환경에 대한 정보를 획득하는 기술 등이 있다.As technologies in the cognitive domain, there are technologies for determining the exact location of a vehicle using GPS and technologies for obtaining information about the surrounding environment through image information acquired through LiDAR and cameras.
이외에도 레이다(RADAR)나 IMU(Inertial Measurement Unit) 등의 여러 센서들을 통해 들어오는 정보들을 사용하여 주변 환경을 인식하는 기술들이 사용될 수 있다.In addition, technologies for recognizing the surrounding environment using information received through various sensors such as a RADAR or an Inertial Measurement Unit (IMU) may be used.
이때, 각각의 센서들을 통해 들어오는 정보들은, 각 센서의 위치 및 좌표계가 서로 다르기 때문에, 이들을 하나의 좌표계로 통일시켜주는 캘리브레이션 과정이 필요하며, 이러한 캘리브레이션 과정을 거처야만 각 센서들로부터 들어온 정보를 통합하여 주변 환경을 인식하고 판단 및 제어하는 단계로 이어지는 자율주행 프로세스를 수행할 수 있게 된다.At this time, since the position and coordinate system of each sensor are different for the information coming in through each sensor, a calibration process to unify them into one coordinate system is required. Thus, it is possible to perform the autonomous driving process leading to the step of recognizing, judging, and controlling the surrounding environment.
이에, 본 발명은 서로 다른 방식의 자율주행용 센서에 의해 획득된 데이터 간의 좌표계 변환 관계를 자동으로 찾아줄 수 있는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법을 제공하는데 목적이 있다.Accordingly, an object of the present invention is to provide an automatic calibration method through vector matching between a lidar coordinate system and a camera coordinate system that can automatically find a coordinate system transformation relationship between data acquired by sensors for autonomous driving in different types.
구체적으로, 본 발명은 레이저 펄스를 이용하는 라이다(LiDAR)와 가시광선영역의 이미지를 촬영하는 카메라의 각 좌표계에서의 벡터 매칭을 통해, 자율주행에서 가장 기본이 되는 인지영역에서의 정확한 객체 인식이 가능하도록 할 수 있는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법을 제공하는데 목적이 있다.Specifically, the present invention provides accurate object recognition in the cognitive domain, which is the most basic in autonomous driving, through vector matching in each coordinate system of a LiDAR using laser pulses and a camera that captures images in the visible ray region. The purpose is to provide an automatic calibration method through vector matching of the lidar coordinate system and the camera coordinate system that can be made possible.
특히, 본 발명은 라이다좌표계와 카메라좌표계의 벡터 매칭을 통해, 라이다좌표계에서 카메라좌표계로 변환하는 회전행렬과 이동행렬을 산출하고, 이러한 행렬들을 이용하여 두 좌표계간의 캘리브레이션이 정확하게 수행될 수 있는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법을 제공하는데 목적이 있다.In particular, the present invention calculates a rotation matrix and a movement matrix that converts from the lidar coordinate system to the camera coordinate system through vector matching between the lidar coordinate system and the camera coordinate system, and calibration between the two coordinate systems can be accurately performed using these matrices The purpose is to provide an automatic calibration method through vector matching between the lidar coordinate system and the camera coordinate system.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법은, 라이다(LiDAR)와 카메라를 포함하는 자율주행센서를 이용하여 동일 시간에 대상객체에 대한 센서별 데이터를 획득하는 센서데이터 획득단계; 상기 라이다를 통해 획득된 점군데이터에 기초하여 라이다좌표계를 기준으로 대상객체의 특징요소를 산출하는 라이다좌표계 특징요소 산출단계; 상기 카메라를 통해 획득된 영상데이터에 기초하여 카메라좌표계를 기준으로 대상객체의 특징요소를 산출하는 카메라좌표계 특징요소 산출단계; 및 상기 라이다좌표계의 특징요소와 카메라좌표계의 특징요소에 기초하여 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬 및 이동행렬을 산출하는 변환행렬 산출단계;를 포함한다.In order to achieve the above object, the automatic calibration method through vector matching of the lidar coordinate system and the camera coordinate system according to the present invention uses an autonomous driving sensor including a LiDAR and a camera to detect the target object at the same time A sensor data acquisition step of obtaining data for each sensor for the; a lidar coordinate system feature element calculating step of calculating feature elements of a target object based on a lidar coordinate system based on the point cloud data obtained through the lidar; a camera coordinate system feature element calculating step of calculating feature elements of a target object based on a camera coordinate system based on image data acquired through the camera; and a conversion matrix calculation step of calculating a rotation matrix and a movement matrix for converting from the lidar coordinate system to the camera coordinate system based on the characteristic elements of the lidar coordinate system and the camera coordinate system.
또한, 상기 라이다좌표계 특징요소 산출단계는, 상기 라이다를 통해 획득된 점군데이터 중 대상객체에 대한 포인트를 추출하는 객체점군데이터 추출과정; 및 상기 객체점군데이터에 기초하여, 라이다좌표계에서의 대상객체에 대한 특징요소를 산출하는 특징요소 산출과정;을 포함할 수 있다.In addition, the step of calculating feature elements of the LIDAR coordinate system may include: an object point cloud data extraction step of extracting a point for a target object from among point cloud data acquired through the LIDAR; and a feature element calculation process of calculating feature elements for the target object in the LIDAR coordinate system based on the object point cloud data.
또한, 상기 대상객체는 사각평면으로 형성되고, 상기 특징요소는 상기 대상객체에 대한 평면방정식 및 모서리의 직선벡터를 포함하며, 상기 특징요소 산출과정은, 상기 객체점군데이터에 기초하여 대상객체에 대한 평면의 법선벡터를 산출하는 법선벡터 산출과정; 및 상기 객체점군데이터에 기초하여 대상각체에 대한 직선벡터를 산출하는 직선벡터 산출과정;을 포함할 수 있다.In addition, the target object is formed in a rectangular plane, the feature element includes a plane equation and a straight line vector of an edge of the target object, and the feature element calculation process is performed on the target object based on the object point cloud data. a normal vector calculation process of calculating a normal vector of a plane; and a straight line vector calculation step of calculating a straight line vector for each object based on the object point cloud data.
또한, 상기 직선벡터 산출과정은, 무작위로 샘플링된 포인트들로부터, 해당 포인트들의 경향성을 기준으로 선택된 주포인트들에 기초하여 상기 직선벡터를 산출할 수 있다.In addition, the straight line vector calculation process may calculate the straight line vector based on the main points selected based on the tendencies of corresponding points from randomly sampled points.
또한, 상기 법선벡터 산출과정은, 상기 객체점군데이터에 기초하여 대상객체에 대한 평면방정식을 산출한 후, 해당 평면방정식으로부터 법선벡터를 산출하며, 상기 직선벡터 산출과정은, 상기 대상객체의 평면상으로 사영(Projection)시킨 직선벡터를 산출할 수 있다.In addition, the normal vector calculation process calculates a plane equation for the target object based on the object point cloud data, and then calculates a normal vector from the plane equation. A projected straight line vector can be calculated with
또한, 상기 카메라좌표계 특징요소 산출단계는, 상기 카메라를 통해 획득된 영상데이터에서 대상객체의 특징점과, 월드좌표계를 기준으로 대상객체의 특징점을 추출하는 특징점 추출과정; 및 각 좌표계의 특징점에 기초하여, 카메라좌표계에서의 대상객체에 대한 특징요소를 산출하는 특징요소 산출과정;을 포함할 수 있다.In addition, the step of calculating feature elements in the camera coordinate system may include a feature point extraction process of extracting feature points of the target object from image data acquired through the camera and feature points of the target object based on the world coordinate system; and a feature element calculation process of calculating feature elements for the target object in the camera coordinate system based on the feature points of each coordinate system.
또한, 상기 특징요소 산출과정은, 상기 월드좌표계의 특징점에서 카메라좌표계의 특징점으로 변환하는 회전행렬 및 이동행렬 중 적어도 하나를 산출하는 행렬산출과정;을 포함하고, 상기 회전행렬 및 이동행렬 중 적어도 하나를 이용하여, 월드좌표계에서의 대상객체에 대한 특징요소로부터 카메라좌표계에서의 대상객체에 대한 특징요소를 산출할 수 있다.In addition, the feature element calculation process includes a matrix calculation process of calculating at least one of a rotation matrix and a movement matrix for converting feature points in the world coordinate system to feature points in the camera coordinate system, and at least one of the rotation matrix and the movement matrix. Characteristic elements of the target object in the camera coordinate system can be calculated from the characteristic elements of the target object in the world coordinate system.
또한, 상기 행렬산출과정은, 각 좌표계별로 대응되는 특징점에 대하여, 카메라의 자세정보를 반영하여 해당 회전행렬 및 이동행렬 중 적어도 하나를 산출할 수 있다.In the matrix calculation process, at least one of a rotation matrix and a movement matrix may be calculated by reflecting attitude information of a camera with respect to feature points corresponding to each coordinate system.
또한, 상기 대상객체는 사각평면으로 형성되고, 상기 특징요소는, 각 좌표계별 대상객체에 대한 법선벡터, 직선벡터 및 특징점 중 적어도 하나를 포함하고, 상기 변환행렬 산출단계는, 상기 라이다좌표계와 카메라좌표계에서 각각 산출된 법선벡터 및 직선벡터 중 적어도 하나를 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬을 산출하는 회전행렬 산출과정; 및 상기 라이다좌표계와 카메라좌표계에서 각각 산출된 특징점을 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 이동행렬을 산출하는 이동행렬 산출과정;을 포함할 수 있다.In addition, the target object is formed in a rectangular plane, the feature element includes at least one of a normal vector, a straight line vector, and a feature point for the target object for each coordinate system, and the conversion matrix calculation step includes the lidar coordinate system and a rotation matrix calculation step of calculating a rotation matrix for converting from a lidar coordinate system to a camera coordinate system using at least one of a normal vector and a linear vector calculated in the camera coordinate system; and a movement matrix calculation step of calculating a movement matrix for converting from the lidar coordinate system to the camera coordinate system using the feature points calculated in the lidar coordinate system and the camera coordinate system, respectively.
또한, 상기 회전행렬 산출과정은, 상기 라이다좌표계에서 카메라좌표계로 변환했을 때, 오차가 가장 작은 회전행렬을 최적화 회전행렬로 선택할 수 있다.In addition, in the rotation matrix calculation process, when the LIDAR coordinate system is converted to the camera coordinate system, a rotation matrix having the smallest error may be selected as the optimized rotation matrix.
상기와 같은 해결수단에 의해, 본 발명은 서로 다른 방식의 자율주행용 센서에 의해 획득된 데이터 간의 좌표계 변환 관계를 자동으로 찾아줄 수 있는 장점이 있다.By means of the above solution, the present invention has the advantage of being able to automatically find a coordinate system transformation relationship between data acquired by sensors for autonomous driving of different types.
구체적으로, 본 발명은 레이저 펄스를 이용하는 라이다(LiDAR)와 가시광선영역의 이미지를 촬영하는 카메라의 각 좌표계에서의 벡터 매칭을 통해, 자율주행에서 가장 기본이 되는 인지영역에서의 정확한 객체 인식이 가능하도록 할 수 있는 장점이 있다.Specifically, the present invention provides accurate object recognition in the cognitive domain, which is the most basic in autonomous driving, through vector matching in each coordinate system of a LiDAR using laser pulses and a camera that captures images in the visible ray region. There are advantages to making this possible.
이를 통해, 본 발명은 라이다와 카메라 사이의 좌표계와 위치 관계를 통일하는 방법을 제공하고, 이를 적용한 시스템을 제공할 수 있도록 함으로써, 자율주행 분야에서의 신뢰도를 크게 향상시킬 수 있다.Through this, the present invention provides a method of unifying the coordinate system and positional relationship between the lidar and the camera, and provides a system to which the same is applied, thereby greatly improving reliability in the field of autonomous driving.
특히, 본 발명은 라이다좌표계와 카메라좌표계의 벡터 매칭을 통해, 라이다좌표계에서 카메라좌표계로 변환하는 회전행렬과 이동행렬을 산출하고, 이러한 행렬들을 이용하여 두 좌표계간의 캘리브레이션이 정확하게 수행될 수 있는 장점이 있다.In particular, the present invention calculates a rotation matrix and a movement matrix that converts from the lidar coordinate system to the camera coordinate system through vector matching between the lidar coordinate system and the camera coordinate system, and calibration between the two coordinate systems can be accurately performed using these matrices There are advantages.
이에 본 발명은 두 좌표계간의 캘리브레이션에 요구되는 시간을 월등히 단축시킬 수 있고, 정합의 오차 또한 최소화할 수 있는 장점이 있다.Accordingly, the present invention has the advantage of significantly reducing the time required for calibration between the two coordinate systems and minimizing the matching error.
이를 통해, 본 발명은 라이다의 점군데이터와 카메라의 영상이미지를 동시에 사용해야 하는 자율주행에서, 인지영역에서의 가장 중요한 전처리과정을 신속하고 정확하게 수행할 수 있는 장점이 있다.Through this, the present invention has the advantage of being able to quickly and accurately perform the most important pre-processing process in the cognitive domain in autonomous driving, which requires simultaneous use of lidar point cloud data and camera video images.
또한, 본 발명은 백터를 이용한 캘리브레이션을 통해, 라이다의 점군데이터와 카메라의 영상이미지를 융합할 수 있도록 함으로써, 자율주행의 인지영역에서 객체의 인식을 정밀하게 수행하고, 이를 기반으로 3차원 고정밀 지도(HD map)의 정밀도를 크게 향상시킬 수 있는 장점이 있다.In addition, the present invention performs precise object recognition in the cognitive domain of autonomous driving by enabling the convergence of point cloud data of lidar and video images of cameras through calibration using vectors, and based on this, 3D high-precision It has the advantage of greatly improving the precision of the HD map.
또한, 본 발명은 대상객체의 특징점 및 벡터성분을 이용하여 캘리브레이션에 필요한 연산을 수행하므로, 연산과정이 매우 효율적일 뿐만 아니라 센서의 종류에 무관하게 동일 내지 유사한 방법으로 캘리브레이션을 수행할 수 있다는 장점이 있다.In addition, since the present invention performs the calculation necessary for calibration using the feature points and vector components of the target object, the calculation process is very efficient, and the calibration can be performed in the same or similar way regardless of the type of sensor. .
결과적으로, 본 발명은 다양한 자율주행센서에 대한 각 좌표계의 변환을 쉽고 빠르며 정확하게 수행할 수 있는 장점이 있다.As a result, the present invention has the advantage of being able to easily, quickly and accurately transform each coordinate system for various autonomous driving sensors.
따라서 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행용 센서 캘리브레이션 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.Therefore, it is possible to improve reliability and competitiveness in fields similar to or related to, as well as autonomous driving, object recognition for autonomous driving, and sensor calibration for autonomous driving.
도 1은 본 발명에 의한 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1의 단계 'S200'을 보다 구체적으로 설명하는 흐름도이다.
도 3은 도 1의 단계 'S300'을 보다 구체적으로 설명하는 흐름도이다.
도 4는 도 1의 단계 'S400'을 보다 구체적으로 설명하는 흐름도이다.
도 5 내지도 7은 도 1을 설명하기 위한 도면이다.1 is a flowchart illustrating an embodiment of an automatic calibration method through vector matching between a lidar coordinate system and a camera coordinate system according to the present invention.
FIG. 2 is a flowchart illustrating step 'S200' of FIG. 1 in more detail.
FIG. 3 is a flowchart illustrating step 'S300' of FIG. 1 in more detail.
FIG. 4 is a flowchart illustrating step 'S400' of FIG. 1 in more detail.
5 to 7 are views for explaining FIG. 1 .
본 발명에 따른 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.An example of the automatic calibration method through vector matching of the lidar coordinate system and the camera coordinate system according to the present invention can be applied in various ways, and hereinafter, the most preferred embodiment will be described with reference to the accompanying drawings.
도 1은 본 발명에 의한 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법의 일 실시예를 나타내는 흐름도이다.1 is a flowchart illustrating an embodiment of an automatic calibration method through vector matching between a lidar coordinate system and a camera coordinate system according to the present invention.
도 1을 참조하면, 본 발명의 캘리브레이션 방법은 센서데이터 획득단계(S100), 라이다좌표계 특징요소 산출단계(S200), 카메라좌표계 특징요소 산출단계(S300) 및 변환행렬 산출단계(S400)를 포함한다.Referring to FIG. 1, the calibration method of the present invention includes a sensor data acquisition step (S100), a lidar coordinate system feature element calculation step (S200), a camera coordinate system feature element calculation step (S300), and a conversion matrix calculation step (S400). do.
센서데이터 획득단계(S100)는 라이다(LiDAR)와 카메라를 포함하는 자율주행센서를 이용하여 동일 시간에 대상객체에 대한 센서별 데이터를 획득하는 과정으로, 라이다와 카메라 이외에도 다양한 자율주행용 센서들이 선택될 수 있으며, 대상객체는 캘리브레이션을 위해 별도로 제작되어 사용될 수 있다.The sensor data acquisition step (S100) is a process of obtaining sensor-specific data for a target object at the same time using an autonomous driving sensor including a LiDAR and a camera, and various sensors for autonomous driving in addition to lidar and cameras. may be selected, and the target object may be separately manufactured and used for calibration.
라이다좌표계 특징요소 산출단계(S200)는 라이다를 통해 획득된 점군데이터에 기초하여 라이다좌표계를 기준으로 대상객체의 특징요소를 산출하는 과정으로, 특징요소는 대상객체의 형상 등에 따라 다양하게 선택될 수 있다.The lidar coordinate system feature element calculation step (S200) is a process of calculating the feature elements of the target object based on the lidar coordinate system based on the point cloud data obtained through lidar. can be chosen
예를 들어, 대상객체가 도 5의 (b)에 나타난 바와 같이 격자무늬가 형성된 4각형 형태의 플레이트인 경우, 특징요소는 대상객체의 평면방정식, 평면에 대한 법선벡터, 모서리의 직선벡터 등을 포함할 수 있다.For example, if the target object is a square-shaped plate with grid patterns as shown in FIG. can include
카메라좌표계 특징요소 산출단계(S300)는 카메라를 통해 획득된 영상데이터에 기초하여 카메라좌표계를 기준으로 대상객체의 특징요소를 산출하는 과정이다.The camera coordinate system feature element calculation step (S300) is a process of calculating feature elements of the target object based on the camera coordinate system based on the image data obtained through the camera.
예를 들어, 카메라좌표계의 특징요소는 라이다좌표계와의 캘리브레이션을 위해 앞서 라이다좌표계에서 선택된 특징요소와 동일 내지 유사한 것을 선택할 수 있다.For example, the feature elements of the camera coordinate system may be the same as or similar to those previously selected in the lidar coordinate system for calibration with the lidar coordinate system.
변환행렬 산출단계(S400)는 라이다좌표계의 특징요소와 카메라좌표계의 특징요소에 기초하여 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬 및 이동행렬을 산출하는 과정으로, 필요시 월드좌표계를 이용할 수 있다.The conversion matrix calculation step (S400) is a process of calculating a rotation matrix and a movement matrix for converting from the lidar coordinate system to the camera coordinate system based on the characteristic elements of the lidar coordinate system and the camera coordinate system. If necessary, the world coordinate system can be used. there is.
이하에서는, 구체적인 예를 참조하여 도 1에 나타난 단계들을 보다 구체적으로 살펴보기로 한다.Hereinafter, the steps shown in FIG. 1 will be described in more detail with reference to specific examples.
도 2는 도 1의 단계 'S200'을 보다 구체적으로 설명하는 흐름도이다.FIG. 2 is a flowchart illustrating step 'S200' of FIG. 1 in more detail.
도 2를 참조하면, 라이다좌표계 특징요소 산출단계(S200)는 객체점군데이터 추출과정(S210) 및 특징요소 산출과정(S220)을 포함할 수 있다.Referring to FIG. 2 , the lidar coordinate system feature element calculation step (S200) may include an object point cloud data extraction step (S210) and a feature element calculation step (S220).
먼저, 객체점군데이터 추출과정(S210)에서는 라이다를 통해 획득된 점군데이터 중 대상객체에 대한 포인트를 추출할 수 있다.First, in the process of extracting object point cloud data (S210), points for a target object may be extracted from among point cloud data acquired through LIDAR.
예를 들어, 도 5의 (b)에 나타난 바와 같은 4각형의 평면인 대상객체를 포함하는 주변의 점군데이터는 도 5의 (a)와 같이 수집될 수 있다.For example, as shown in FIG. 5(b), point cloud data around a target object that is a quadrangular plane may be collected as shown in FIG. 5(a).
이에, 도 6의 (a)에서 왼쪽에 나타난 바와 같이 수집된 주변의 점군데이터 중 대상객체에 대한 포인트(분홍색 박스)만을 추출할 수 있다(S210).Accordingly, as shown on the left in (a) of FIG. 6, only the points (pink boxes) for the target object can be extracted from among the collected surrounding point cloud data (S210).
이후, 추출된 대상객체의 점군으로부터 대상객체의 평면방적식을 구할 수 있다. 이때, 대상객체의 평면방적식은 RANSAC(Random Sample Consessus; 무작위 샘플 일치 방법)을 이용하여 구할 수 있다.Then, the plane equation of the target object can be obtained from the extracted point cloud of the target object. At this time, the plane equation of the target object can be obtained using RANSAC (Random Sample Consessus; random sample matching method).
한편, 점군데이터로부터 유효한 데이터를 획득하는 과정에는 최소자승법도 있으나, 이 경우 전체 점군(포인트)의 평균값을 이용하게 되므로 오류로 인해 포함된 점군들로 인해 정확한 형상을 얻기에는 부족함이 있다.On the other hand, there is also the least squares method in the process of obtaining valid data from point cloud data, but in this case, since the average value of all point clouds (points) is used, it is insufficient to obtain an accurate shape due to the included point clouds due to errors.
이에 반해, RANSAC을 이용하게 되면 오차가 발생한 점군을 정상범위로 보정하여 추정하는 방식으로 계산하게 되므로, 대상객체의 외형에 대한 데이터를 정확하게 획득할 수 있다.On the other hand, when RANSAC is used, data on the external appearance of the target object can be accurately obtained because it is calculated by correcting and estimating the error-occurring point cloud to a normal range.
이에, 본 발명에서는 객체의 점군데이터 중 모서리부분에 해당하는 점군(포인트)만을 선택한 후, RANSAC을 이용하여 대상객체의 모서리에 대한 직선벡터를 산출할 수 있다(S220).Accordingly, in the present invention, after selecting only the point clouds (points) corresponding to the corner part among the point cloud data of the object, a straight line vector for the corner of the target object can be calculated using RANSAC (S220).
다시 말해, 대상객체는 사각평면으로 형성될 수 있고, 특징요소는 대상객체에 대한 평면방정식 및 모서리의 직선벡터를 포함할 수 있다.In other words, the target object may be formed as a rectangular plane, and the characteristic elements may include a plane equation for the target object and straight line vectors of corners.
그리고, 특징요소 산출과정(S220)은 객체점군데이터에 기초하여 대상객체에 대한 평면방적식을 산출 한 후, 이를 이용하여 평면의 법선벡터를 산출하는 법선벡터 산출과정(S221)과, 객체점군데이터에 기초하여 대상각체에 대한 직선벡터를 산출하는 직선벡터 산출과정(S222)을 포함할 수 있다.Then, the feature element calculation process (S220) calculates the plane equation for the target object based on the object point cloud data, and then calculates the normal vector of the plane using the normal vector calculation process (S221), and the object point cloud data A straight line vector calculation process (S222) of calculating a straight line vector for each object may be included based on the above.
그리고, 직선벡터 산출과정(S222)은 앞서 설명한 바와 같이 RANSAC에 의해, 무작위로 샘플링된 포인트들로부터, 해당 포인트들의 경향성을 기준으로 선택된 주포인트들에 기초하여 해당 직선벡터를 산출할 수 있다.And, as described above, in the straight line vector calculation process (S222), the corresponding straight line vector can be calculated based on the main points selected based on the tendencies of the corresponding points from randomly sampled points by RANSAC.
한편, 직선벡터를 산출하는 과정에서 앞서 선택된 대상객체의 모서리 부분에 해당하는 점군들을 사용한다 하더라도, 해당 직선벡터들이 대상객체의 평면 위에 있는 것은 아니며, 일부의 직선벡터들은 대상객체의 가장자리 측면에 있을 수 있다.On the other hand, even if point clouds corresponding to the corners of the previously selected target object are used in the process of calculating the straight line vectors, the straight line vectors do not lie on the plane of the target object, and some of the straight line vectors may be on the side of the edge of the target object. can
이에, 본 발명에서는 앞서 산출된 4개(대상객체가 4각형인 경우)의 직선벡터들을 사영(Projection, 투영)시킨 후, 도 6의 (a)에 나타난 바와 같이 평면위로 사영된 직선벡터를 산출할 수 있다.Therefore, in the present invention, after projecting the previously calculated 4 straight line vectors (when the target object is a square), the straight line vector projected onto the plane is calculated as shown in FIG. 6 (a). can do.
도 6의 (a)에서 오른쪽 이미지에 포함된 변수는, 각 벡터들의 교점(P1 L, P2 L, P3 L, P4 L)과 평면의 법선벡터(nL) 및 모서리에 해당하는 4개의 직선벡터(d1 L, d2 L, d3 L, d4 L)를 포함할 수 있다.In (a) of FIG. 6, variables included in the image on the right are the intersection points of each vector (P 1 L , P 2 L , P 3 L , P 4 L ), the normal vector (n L ) of the plane, and the corresponding corners. It may include four straight line vectors (d 1 L , d 2 L , d 3 L , d 4 L ).
도 3은 도 1의 단계 'S300'을 보다 구체적으로 설명하는 흐름도이다.FIG. 3 is a flowchart illustrating step 'S300' of FIG. 1 in more detail.
도 3을 참조하면, 카메라좌표계 특징요소 산출단계(S300)는 특징점 추출과정(S310) 및 특징요소 산출과정(S320)을 포함할 수 있다.Referring to FIG. 3 , the camera coordinate system feature element calculation step (S300) may include a feature point extraction step (S310) and a feature element calculation step (S320).
먼저, OpenCV(Open Source Computer Vision)의 코너검출을 이용하여, 도 6의 (b)에 나타난 바와 같이 카메라를 통해 획득된 영상데이터에서 대상객체의 특징점(4개의 꼭짓점)에 대한 좌표를 구할 수 있다(S310).First, by using corner detection of OpenCV (Open Source Computer Vision), as shown in FIG. (S310).
한편, 대상객체는 본 발명의 캘리브레이션을 위해 제작된 것으로, 대상객체의 실제크기를 알 수 있으므로, 대상객체는 도 7의 (a)에 나타난 바와 같이 월드좌표계의 원점과 두 축에 접한 상태로 생각할 수 있다.On the other hand, the target object is manufactured for the calibration of the present invention, and since the actual size of the target object can be known, the target object can be considered as being in contact with the origin of the world coordinate system and two axes as shown in (a) of FIG. can
이에, 월드좌표계에서의 네 꼭짓점은 원점과 사각판의 가로 및 세로 길이에 정해지므로(S310), 대상객체의 법선 벡터(nW)를 구할 수 있다.Accordingly, since the four vertices in the world coordinate system are determined by the origin and the horizontal and vertical lengths of the rectangular plate (S310), the normal vector (n W ) of the target object can be obtained.
그리고, 월드좌표계에서의 네 꼭짓점과 카메라좌표계이서의 네 꼭짓점이 서로 대응될 수 있으므로, SolvePnP를 사용하여 변환관계식을 계산할 수 있다.Also, since the four vertices in the world coordinate system and the four vertices in the camera coordinate system can correspond to each other, the transformation relational expression can be calculated using SolvePnP.
다시 말해, 도 7의 (a)에 나타난 바와 같이 월드좌표계에서 카메라좌표계로 변환하는 회전행렬(RW C)과 이동행렬(TW C)을 계산할 수 있으며, 이를 이용하여 카메라좌표계에서의 대상객체에 대한 특징요소(법선벡터 및 직선벡터)를 산출할 수 있다(S320).In other words, as shown in (a) of FIG. 7, it is possible to calculate a rotation matrix (R W C ) and a movement matrix (T W C ) that convert from the world coordinate system to the camera coordinate system, and by using this, the target object in the camera coordinate system Characteristic elements (normal vector and linear vector) for can be calculated (S320).
다시 말해, 특징요소 산출과정(S320)은 월드좌표계의 특징점에서 카메라좌표계의 특징점으로 변환하는 회전행렬 및 이동행렬 중 적어도 하나를 산출할 수 있다(S321).In other words, in the feature element calculation process (S320), at least one of a rotation matrix and a movement matrix for converting feature points in the world coordinate system to feature points in the camera coordinate system may be calculated (S321).
이때, 행렬산출과정(S321)은 각 좌표계별로 대응되는 특징점에 대하여, 카메라의 자세정보를 반영하여 해당 회전행렬 및 이동행렬 중 적어도 하나를 산출할 수 있다.In this case, in the matrix calculation process (S321), at least one of a rotation matrix and a movement matrix may be calculated by reflecting attitude information of the camera with respect to feature points corresponding to each coordinate system.
그리고, 회전행렬 및 이동행렬 중 적어도 하나를 이용하여, 월드좌표계에서의 대상객체에 대한 특징요소로부터 카메라좌표계에서의 대상객체에 대한 특징요소를 산출할 수 있다(S322).In addition, feature elements of the target object in the camera coordinate system may be calculated from feature elements of the target object in the world coordinate system using at least one of the rotation matrix and the movement matrix (S322).
도 4는 도 1의 단계 'S400'을 보다 구체적으로 설명하는 흐름도이다.FIG. 4 is a flowchart illustrating step 'S400' of FIG. 1 in more detail.
도 4를 참조하면, 변환행렬 산출단계(S400)는 회전행렬 산출과정(S410) 및 이동행렬 산출과정(S420)을 포함할 수 있다.Referring to FIG. 4 , the conversion matrix calculation step ( S400 ) may include a rotation matrix calculation step ( S410 ) and a movement matrix calculation step ( S420 ).
먼저, 회전행렬 산출과정(S410)을 살펴보면, 라이다좌표계와 카메라좌표계에서 각각 산출된 법선벡터 및 직선벡터 중 적어도 하나를 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬을 산출할 수 있다.First, looking at the rotation matrix calculation process (S410), a rotation matrix for converting from the lidar coordinate system to the camera coordinate system can be calculated using at least one of the normal vector and the straight line vector calculated in the lidar coordinate system and the camera coordinate system, respectively. .
보다 구체적으로, 도 7의 (b)에 나타난 바와 같이 라이다좌표계와 카메라좌표계에서 각각 구한 평면의 법선벡터와 모서리에 대한 4개의 직선벡터를 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬(RL C)의 최적화된 값(
[수학식 1][Equation 1]
여기서, i는 취즉된 라이다와 카메라의 데이터 셋의 수이고, j는 대상객체의 모서리 번호이다.Here, i is the number of LIDAR and camera data sets acquired, and j is the edge number of the target object.
이러한 수학식 1을 이용하면 라이다좌표계에서 카메라좌표계로 변환됐을 때, 평면의 법선벡터와 4개의 직선벡터의 오차가 가장 작은 회전행렬(RL C)을 찾을 수 있다.Using Equation 1, when converted from the LIDAR coordinate system to the camera coordinate system, a rotation matrix (R L C ) having the smallest error between the normal vector of the plane and the four straight vector vectors can be found.
다시 말해, 회전행렬 산출과정(S410)은 라이다좌표계에서 카메라좌표계로 변환했을 때, 오차가 가장 작은 회전행렬을 최적화 회전행렬로 할 수 있다.In other words, in the rotation matrix calculation process (S410), the rotation matrix with the smallest error when converted from the LIDAR coordinate system to the camera coordinate system can be used as the optimized rotation matrix.
이를 위하여, 수학식 1을 RMSE(Root Mean Square Error; 평균 제곱근 편차)형태로 표현한 수학식 2를 이용하여 오차를 확인할 수 있다.To this end, the error can be checked using Equation 2, which expresses Equation 1 in the form of Root Mean Square Error (RMSE).
[수학식 2][Equation 2]
이후, 라이다좌표계에서의 첫 번째 꼭짓점(P1 L)과 카메라좌표계에서의 첫 번째 꼭짓점(P1 C), 그리고 수학식 1에서 계산된 최적화 회전행렬(
[수학식 3][Equation 3]
다시 말해, 라이다좌표계와 카메라좌표계에서 각각 산출된 특징점을 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 이동행렬을 산출할 수 있다(S420).In other words, a movement matrix for converting the lidar coordinate system to the camera coordinate system may be calculated using the feature points calculated in the lidar coordinate system and the camera coordinate system respectively (S420).
이상에서 본 발명에 의한 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.In the above, the automatic calibration method through vector matching between the lidar coordinate system and the camera coordinate system according to the present invention has been described. It will be understood that the technical configuration of the present invention can be implemented in other specific forms without changing the technical spirit or essential features of the present invention by those skilled in the art to which the present invention belongs.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.Therefore, the embodiments described above are illustrative in all respects and should be understood as non-limiting ones.
Claims (10)
상기 라이다를 통해 획득된 점군데이터에 기초하여 라이다좌표계를 기준으로 대상객체의 특징요소를 산출하는 라이다좌표계 특징요소 산출단계;
상기 카메라를 통해 획득된 영상데이터에 기초하여 카메라좌표계를 기준으로 대상객체의 특징요소를 산출하는 카메라좌표계 특징요소 산출단계; 및
상기 라이다좌표계의 특징요소와 카메라좌표계의 특징요소에 기초하여 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬 및 이동행렬을 산출하는 변환행렬 산출단계;를 포함하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
A sensor data acquisition step of acquiring sensor-specific data for a target object at the same time by using an autonomous driving sensor including a LiDAR and a camera;
a lidar coordinate system feature element calculating step of calculating feature elements of a target object based on a lidar coordinate system based on the point cloud data obtained through the lidar;
a camera coordinate system feature element calculating step of calculating feature elements of a target object based on a camera coordinate system based on image data acquired through the camera; and
Conversion matrix calculation step of calculating a rotation matrix and a movement matrix for converting from the lidar coordinate system to the camera coordinate system based on the characteristic elements of the lidar coordinate system and the characteristic elements of the camera coordinate system; vector matching of the lidar coordinate system and the camera coordinate system including Automatic calibration method through .
상기 라이다좌표계 특징요소 산출단계는,
상기 라이다를 통해 획득된 점군데이터 중 대상객체에 대한 포인트를 추출하는 객체점군데이터 추출과정; 및
상기 객체점군데이터에 기초하여, 라이다좌표계에서의 대상객체에 대한 특징요소를 산출하는 특징요소 산출과정;을 포함하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
According to claim 1,
In the LiDAR coordinate system feature element calculation step,
an object point cloud data extraction process of extracting points for a target object from among the point cloud data obtained through the LIDAR; and
Based on the object point cloud data, a feature element calculation process of calculating feature elements for the target object in the lidar coordinate system; automatic calibration method through vector matching of the lidar coordinate system and the camera coordinate system.
상기 대상객체는 사각평면으로 형성되고,
상기 특징요소는 상기 대상객체에 대한 평면방정식 및 모서리의 직선벡터를 포함하며,
상기 특징요소 산출과정은,
상기 객체점군데이터에 기초하여 대상객체에 대한 평면의 법선벡터를 산출하는 법선벡터 산출과정; 및
상기 객체점군데이터에 기초하여 대상각체에 대한 직선벡터를 산출하는 직선벡터 산출과정;을 포함하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
According to claim 2,
The target object is formed in a rectangular plane,
The feature element includes a plane equation for the target object and a straight line vector of an edge,
The feature element calculation process,
a normal vector calculation process of calculating a normal vector of a plane of a target object based on the object point cloud data; and
A straight line vector calculation process of calculating a straight line vector for each object based on the object point cloud data; automatic calibration method through vector matching between the lidar coordinate system and the camera coordinate system, characterized in that it comprises.
상기 직선벡터 산출과정은,
무작위로 샘플링된 포인트들로부터, 해당 포인트들의 경향성을 기준으로 선택된 주포인트들에 기초하여 상기 직선벡터를 산출하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
According to claim 3,
The straight line vector calculation process,
An automatic calibration method through vector matching between a lidar coordinate system and a camera coordinate system, characterized in that the straight line vector is calculated based on the main points selected based on the tendency of the points from randomly sampled points.
상기 법선벡터 산출과정은,
상기 객체점군데이터에 기초하여 대상객체에 대한 평면방정식을 산출한 후, 해당 평면방정식으로부터 법선벡터를 산출하며,
상기 직선벡터 산출과정은,
상기 대상객체의 평면상으로 사영(Projection)시킨 직선벡터를 산출하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
According to claim 3,
The normal vector calculation process,
After calculating the plane equation for the target object based on the object point group data, calculating the normal vector from the plane equation;
The straight line vector calculation process,
An automatic calibration method through vector matching between a lidar coordinate system and a camera coordinate system, characterized in that for calculating a straight line vector projected onto the plane of the target object.
상기 카메라좌표계 특징요소 산출단계는,
상기 카메라를 통해 획득된 영상데이터에서 대상객체의 특징점과, 월드좌표계를 기준으로 대상객체의 특징점을 추출하는 특징점 추출과정; 및
각 좌표계의 특징점에 기초하여, 카메라좌표계에서의 대상객체에 대한 특징요소를 산출하는 특징요소 산출과정;을 포함하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
According to claim 1,
In the camera coordinate system feature element calculation step,
a feature point extraction process of extracting feature points of the target object from image data obtained through the camera and feature points of the target object based on a world coordinate system; and
An automatic calibration method through vector matching between a lidar coordinate system and a camera coordinate system, characterized in that it includes; a feature element calculation process of calculating feature elements for a target object in a camera coordinate system based on feature points of each coordinate system.
상기 특징요소 산출과정은,
상기 월드좌표계의 특징점에서 카메라좌표계의 특징점으로 변환하는 회전행렬 및 이동행렬 중 적어도 하나를 산출하는 행렬산출과정;을 포함하고,
상기 회전행렬 및 이동행렬 중 적어도 하나를 이용하여, 월드좌표계에서의 대상객체에 대한 특징요소로부터 카메라좌표계에서의 대상객체에 대한 특징요소를 산출하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
According to claim 6,
The feature element calculation process,
A matrix calculation process of calculating at least one of a rotation matrix and a movement matrix for converting feature points in the world coordinate system to feature points in the camera coordinate system;
Characterized in that the characteristic elements of the target object in the camera coordinate system are calculated from the characteristic elements of the target object in the world coordinate system using at least one of the rotation matrix and the movement matrix. Automatic calibration method through .
상기 행렬산출과정은,
각 좌표계별로 대응되는 특징점에 대하여, 카메라의 자세정보를 반영하여 해당 회전행렬 및 이동행렬 중 적어도 하나를 산출하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
According to claim 7,
The matrix calculation process,
An automatic calibration method through vector matching between a lidar coordinate system and a camera coordinate system, characterized in that for feature points corresponding to each coordinate system, at least one of a rotation matrix and a movement matrix is calculated by reflecting the attitude information of the camera.
상기 대상객체는 사각평면으로 형성되고,
상기 특징요소는,
각 좌표계별 대상객체에 대한 법선벡터, 직선벡터 및 특징점 중 적어도 하나를 포함하고,
상기 변환행렬 산출단계는,
상기 라이다좌표계와 카메라좌표계에서 각각 산출된 법선벡터 및 직선벡터 중 적어도 하나를 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬을 산출하는 회전행렬 산출과정; 및
상기 라이다좌표계와 카메라좌표계에서 각각 산출된 특징점을 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 이동행렬을 산출하는 이동행렬 산출과정;을 포함하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
According to claim 1,
The target object is formed in a rectangular plane,
The characteristic elements are,
Includes at least one of a normal vector, a straight line vector, and a feature point for a target object for each coordinate system,
In the conversion matrix calculation step,
a rotation matrix calculation step of calculating a rotation matrix for converting from a lidar coordinate system to a camera coordinate system using at least one of a normal vector and a linear vector calculated in the lidar coordinate system and the camera coordinate system, respectively; and
A movement matrix calculation process of calculating a movement matrix for converting from the lidar coordinate system to the camera coordinate system using the feature points calculated in the lidar coordinate system and the camera coordinate system, respectively; vectors of the lidar coordinate system and the camera coordinate system, characterized in that it includes Automatic calibration method through registration.
상기 회전행렬 산출과정은,
상기 라이다좌표계에서 카메라좌표계로 변환했을 때, 오차가 가장 작은 회전행렬을 최적화 회전행렬로 선택하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.According to claim 9,
The rotation matrix calculation process,
When converted from the lidar coordinate system to the camera coordinate system, an automatic calibration method through vector matching of the lidar coordinate system and the camera coordinate system, characterized in that for selecting the rotation matrix with the smallest error as the optimal rotation matrix.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210085341A KR102490521B1 (en) | 2021-06-30 | 2021-06-30 | Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210085341A KR102490521B1 (en) | 2021-06-30 | 2021-06-30 | Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230003803A true KR20230003803A (en) | 2023-01-06 |
| KR102490521B1 KR102490521B1 (en) | 2023-01-26 |
Family
ID=84924345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210085341A KR102490521B1 (en) | 2021-06-30 | 2021-06-30 | Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102490521B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102626574B1 (en) * | 2023-06-20 | 2024-01-22 | 주식회사 모빌테크 | Method for calibration of camera and lidar, and computer program recorded on record-medium for executing method therefor |
| CN117456013A (en) * | 2023-12-22 | 2024-01-26 | 江苏集萃深度感知技术研究所有限公司 | Automatic calibration method of radar integrated machine based on countermeasure generation network |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180055292A (en) * | 2016-11-16 | 2018-05-25 | 국민대학교산학협력단 | Integration method for coordinates of multi lidar |
| KR102012179B1 (en) * | 2018-04-30 | 2019-08-20 | 충북대학교 산학협력단 | APPARATUS AND METHOD FOR CALIBRATING LiDAR-CAMERA BASED ON 3D PLANE EXTRATION |
| KR102054455B1 (en) * | 2018-09-28 | 2019-12-10 | 재단법인대구경북과학기술원 | Apparatus and method for calibrating between heterogeneous sensors |
| KR102249769B1 (en) | 2019-12-06 | 2021-05-12 | 주식회사 모빌테크 | Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same |
| KR20210078439A (en) * | 2019-12-18 | 2021-06-28 | 모셔널 에이디 엘엘씨 | Camera-to-lidar calibration and validation |
-
2021
- 2021-06-30 KR KR1020210085341A patent/KR102490521B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180055292A (en) * | 2016-11-16 | 2018-05-25 | 국민대학교산학협력단 | Integration method for coordinates of multi lidar |
| KR102012179B1 (en) * | 2018-04-30 | 2019-08-20 | 충북대학교 산학협력단 | APPARATUS AND METHOD FOR CALIBRATING LiDAR-CAMERA BASED ON 3D PLANE EXTRATION |
| KR102054455B1 (en) * | 2018-09-28 | 2019-12-10 | 재단법인대구경북과학기술원 | Apparatus and method for calibrating between heterogeneous sensors |
| KR102249769B1 (en) | 2019-12-06 | 2021-05-12 | 주식회사 모빌테크 | Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same |
| KR20210078439A (en) * | 2019-12-18 | 2021-06-28 | 모셔널 에이디 엘엘씨 | Camera-to-lidar calibration and validation |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102626574B1 (en) * | 2023-06-20 | 2024-01-22 | 주식회사 모빌테크 | Method for calibration of camera and lidar, and computer program recorded on record-medium for executing method therefor |
| CN117456013A (en) * | 2023-12-22 | 2024-01-26 | 江苏集萃深度感知技术研究所有限公司 | Automatic calibration method of radar integrated machine based on countermeasure generation network |
| CN117456013B (en) * | 2023-12-22 | 2024-03-05 | 江苏集萃深度感知技术研究所有限公司 | Automatic calibration method of radar integrated machine based on countermeasure generation network |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102490521B1 (en) | 2023-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (en) | Visual positioning method, device and computer readable medium | |
| WO2018142900A1 (en) | Information processing device, data management device, data management system, method, and program | |
| Mei et al. | Calibration between a central catadioptric camera and a laser range finder for robotic applications | |
| US10909395B2 (en) | Object detection apparatus | |
| KR102249769B1 (en) | Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same | |
| US11830216B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP6767998B2 (en) | Estimating external parameters of the camera from the lines of the image | |
| CN111882612A (en) | Vehicle multi-scale positioning method based on three-dimensional laser detection lane line | |
| CN107167826B (en) | Vehicle longitudinal positioning system and method based on variable grid image feature detection in automatic driving | |
| CN112837383B (en) | Camera and laser radar recalibration method and device and computer readable storage medium | |
| Xie et al. | Infrastructure based calibration of a multi-camera and multi-lidar system using apriltags | |
| CN111123242B (en) | Combined calibration method based on laser radar and camera and computer readable storage medium | |
| KR102490521B1 (en) | Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system | |
| JP4132068B2 (en) | Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus | |
| Munoz-Banon et al. | Targetless camera-lidar calibration in unstructured environments | |
| CN113409459A (en) | Method, device and equipment for producing high-precision map and computer storage medium | |
| KR101255461B1 (en) | Position Measuring Method for street facility | |
| CN114413958A (en) | Monocular vision distance and speed measurement method of unmanned logistics vehicle | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| Nagy et al. | SFM and semantic information based online targetless camera-LIDAR self-calibration | |
| JPH07103715A (en) | Method and apparatus for recognizing three-dimensional position and attitude based on visual sense | |
| KR102195040B1 (en) | Method for collecting road signs information using MMS and mono camera | |
| WO2021063756A1 (en) | Improved trajectory estimation based on ground truth | |
| CN114494466B (en) | External parameter calibration method, device and equipment and storage medium | |
| Yu et al. | Registration and Fusion of UAV LiDAR System Sequence Images and Laser Point Clouds. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |