WO2023027268A1 - 카메라-라이다 캘리브레이션 장치 및 방법 - Google Patents

카메라-라이다 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
WO2023027268A1
WO2023027268A1 PCT/KR2021/095119 KR2021095119W WO2023027268A1 WO 2023027268 A1 WO2023027268 A1 WO 2023027268A1 KR 2021095119 W KR2021095119 W KR 2021095119W WO 2023027268 A1 WO2023027268 A1 WO 2023027268A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern board
plane
point
camera
lidar
Prior art date
Application number
PCT/KR2021/095119
Other languages
English (en)
French (fr)
Inventor
배기덕
엄태영
최영호
박정우
이종득
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Publication of WO2023027268A1 publication Critical patent/WO2023027268A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a camera-lidar calibration apparatus and method, and more particularly, to a camera-lidar calibration apparatus and method capable of detecting an accurate corresponding point.
  • Camera-lidar calibration means a process of obtaining a rotation matrix R and a movement matrix t that define the positional relationship (distance, angle) between the lidar (LRF) and the camera. .
  • the RGB data of the camera can be mapped to 3D data, the values calculated by the camera can be reflected to the lidar, and the values calculated by the lidar can be reflected to the camera.
  • An object of the present invention is to provide a camera-lidar calibration apparatus and method capable of accurately detecting corresponding points.
  • a 2D correspondence point detection unit that detects a first correspondence point from a 2D image including a pattern board acquired by a camera; a 3D corresponding point detector detecting a second corresponding point corresponding to the first corresponding point from a 3D point cloud including the pattern board, obtained by lidar; and a transformation matrix derivation unit for deriving a transformation matrix using the first correspondence point and the second correspondence point.
  • the 3D correspondence point detection unit derives a 3D plane for the pattern board from the 3D point cloud, derives an edge of the pattern board from the derived 3D plane, and detects an intersection of the derived corner as the second correspondence point. characterized by
  • the 3D correspondence point detection unit includes a data filter module for removing noise other than the pattern board included in a 3D point cloud including the pattern board; a 3D plane derivation module for deriving a 3D plane equation for the pattern board from the noise-removed 3D point cloud and deriving a 3D plane for the pattern board using the 3D plane equation; a straight line derivation module for deriving a straight line equation for the edge of the pattern board from the derived 3D plane and deriving the edge of the pattern board using the derived straight line equation;
  • a 3D correspondence point detection module for detecting the derived intersection of the corners of the pattern board as the second correspondence point may include.
  • the data filter module performs primary filtering using a distance value from a preset lidar to a pattern board, and then uses a RANSAC-based planar model segmentation algorithm Point information corresponding to the pattern board can be left by using .
  • the 3D plane derivation module may derive a 3D plane using a RANSAC-based plane fitting algorithm.
  • the straight line derivation module may derive straight line equations for the edge of a pattern board by performing a RANSAC-based line fitting algorithm.
  • a 3D plane for the pattern board is derived from the 3D point cloud, corners of the pattern board are derived from the derived 3D plane, and an intersection of the derived corners is detected as the second correspondence point. It is characterized by doing.
  • the detecting of the 3D corresponding point may include a data filtering process of removing noise other than the pattern board included in the 3D point cloud including the pattern board; a 3D plane derivation process of deriving a 3D plane equation for the pattern board from the noise-removed 3D point cloud and deriving a 3D plane for the pattern board using the 3D plane equation; a straight line derivation process of deriving a straight line equation for the edge of the pattern board from the derived 3D plane and deriving the edge of the pattern board using the derived straight line equation;
  • a 3D correspondence point detection process of detecting the derived intersection of the corners of the pattern board as the second correspondence point may include.
  • first filtering is performed using a distance value from a preset lidar to a pattern board, and then a RANSAC-based planar model segmentation algorithm Point information corresponding to the pattern board can be left by using .
  • the 3D plane derivation process may derive a 3D plane using a RANSAC-based plane fitting algorithm.
  • the straight line derivation process may derive straight line equations for the edge of the pattern board by performing a RANSAC-based line fitting algorithm.
  • the present invention it is possible to solve the difficulty of detecting the corresponding points caused by the low resolution of the lidar sensor, and to obtain easier, faster and more accurate calibration results than before using only a simple rectangular pattern board and a small number of corresponding points.
  • 1 is a diagram for explaining a general camera-lidar calibration process.
  • FIG. 2 is a diagram for explaining a problem caused by an image obtained by a lidar in a general camera-lidar calibration process.
  • FIG. 3 is a block diagram illustrating a camera-lidar calibration apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining an operating process of a Harris corner detection algorithm performed in a 2D correspondence point detection unit.
  • FIG. 5 is a diagram showing a result of detecting a first correspondence point by a 2D correspondence point detection unit.
  • FIG. 6 is a block diagram illustrating a 3D correspondence point detection unit.
  • 7 to 12 are diagrams for explaining a process of detecting a second corresponding point in a 3D corresponding point detector.
  • FIG. 13 is a diagram showing a result of detecting a first corresponding point and a second corresponding point.
  • FIG. 14 is a flowchart illustrating a camera-lidar calibration method according to an embodiment of the present invention.
  • 15 is a diagram illustrating a computing device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a camera-lidar calibration apparatus according to an embodiment of the present invention.
  • the camera-lidar calibration apparatus includes a 2D correspondence point detection unit 100, a 3D correspondence point detection unit 200, and a conversion matrix derivation unit 300.
  • the camera-lidar calibration device of the present invention is an input unit that receives or receives a 2D image obtained by a camera sensor (hereinafter, 'camera') and a 3D point cloud obtained by a lidar sensor (hereinafter, 'lidar') (not shown), and the input unit may transmit a 2D image to the 2D correspondence point detection unit 100 and transmit a 3D point cloud to the 3D correspondence point detection unit 200 .
  • the pattern board On the pattern board, square black/white grid patterns are alternately and repeatedly arranged.
  • the pattern board may be formed in a square shape such as a rectangle or a square in which grid patterns are repeatedly arranged.
  • the pattern board is photographed in an inclined state with respect to the ground at a certain angle. This will be described later with reference to FIG. 9 .
  • the 2D correspondence point detector 100 detects a first correspondence point from the 2D image.
  • the 2D image is an image acquired with a camera, including a pattern board.
  • the 2D correspondence point detection unit 100 detects black and white patterns and vertices of the pattern board using a Harris Corner Detection Algorithm.
  • the vertex of the pattern board is a 1st corresponding point.
  • FIG. 4 is a diagram for explaining an operating process of a Harris corner detection algorithm performed in a 2D correspondence point detection unit.
  • the Harris corner detection algorithm uses the fact that when a small window is moved little by little in an image, in the case of a corner point, the image change must be large in all directions. detect a point
  • it is not necessarily limited to using the Harris corner detection algorithm, and any algorithm capable of detecting corner points can be applied.
  • the 2D correspondence point detection unit 100 processes the detected vertex as a first correspondence point and coordinates the corresponding point.
  • the first correspondence point may be displayed as (u, v) coordinates.
  • FIG. 5 shows the result of the 2D correspondence point detection unit 100 detecting the first correspondence point, (u 1 , v 1 ), (u 2 , v 2 ), (u 3 , v 3 ), (u 4 , v 4 ) becomes the first set of correspondence points.
  • the 3D correspondence point detector 200 detects a second correspondence point from a 3D point cloud.
  • a 3D point cloud is a set of a plurality of points acquired by LIDAR. Since lidar has low resolution, the point cloud obtained by lidar has unclear vertices of the pattern board as shown in FIG.
  • the 3D correspondence point detection unit 200 derives a 3D plane for the pattern board from the 3D point cloud, derives the corner of the pattern board from the derived 3D plane, and sets the intersection (vertex) of the derived corner to the second Detected by corresponding points.
  • FIGS. 6 to 13 is a block diagram showing the 3D corresponding point detector 200
  • FIGS. 7 to 12 are diagrams for explaining a process of detecting a second corresponding point in the 3D corresponding point detector 200
  • FIG. It is a diagram showing the result of detecting the second corresponding point.
  • the 3D correspondence point detection unit 200 may include a data filter module 210, a 3D plane derivation module 220, a straight line derivation module 230, and a 3D correspondence point detection module 240.
  • the data filter module 210 removes points corresponding to the background except for the pattern board in the 3D point cloud by noise processing.
  • the data filter module 210 performs primary filtering using a preset distance value from LIDAR to the pattern board. Then, only point information corresponding to the pattern board is left by using a Plane Model Segmentation Algorithm that predicts and classifies a plane based on a Random Sample Consensus (RANSAC) algorithm.
  • RANSAC Random Sample Consensus
  • the RANSAC algorithm is an algorithm that removes noise from selected data and predicts a model. It obtains model parameters that satisfy randomly selected sample data, and counts the number of data close to the obtained model, so the number is large. This is a method of selecting the model with the maximum number by repeating the process of saving this model several times.
  • FIG. 7 illustrates a 3D point cloud before filtering
  • (b) of FIG. 7 illustrates a 3D point cloud from which noise has been removed by the data filter module 210 .
  • the 3D plane derivation module 220 derives a 3D plane equation for the pattern board from the noise-removed 3D point cloud and derives a 3D plane for the pattern board using the 3D plane equation.
  • the 3D plane derivation module 220 derives a 3D plane using a plane fitting algorithm based on the RANSAC algorithm.
  • FIG. 8 (a) illustrates a 3D point cloud from which noise has been removed
  • FIG. 8 (b) illustrates a 3D plane derived by the 3D plane derivation module 220 .
  • the straight line derivation module 230 derives a straight line equation corresponding to the edge of the pattern board on the derived 3D plane and derives the edge of the pattern board using the derived straight line equation.
  • the straight line derivation module 230 obtains the first data and the last data for each LIDAR channel, as shown in FIG. 9, in order to obtain coordinates of points located at the corners of the pattern board. At this time, since the pattern board is photographed in a state inclined at a certain angle with respect to the ground, the first data and the last data for each channel can be easily obtained. If the pattern board is photographed in a state parallel to the ground, the first and last data for each channel in the first channel (channel 1) and the last channel are not obtained. will not be able to perform
  • FIG. 10 illustrates a 3D plane derived by the plane derivation module 220
  • (b) of FIG. 10 illustrates data obtained through the method of FIG. 9 .
  • a RANSAC-based Line Fitting Algorithm is performed to derive straight line equations for the edges of the pattern board.
  • the RANSAC-based line fitting algorithm is an algorithm that obtains four direction vectors orthogonal to each other through relational analysis of data and obtains a straight line equation most satisfied with the data. Since the pattern board has 4 corners, a total of 4 linear equations are obtained.
  • FIG. 11(a) illustrates the first data and the last data for each LIDAR channel
  • FIG. 11(b) illustrates corner straight lines derived by the straight line derivation module 230.
  • the 3D correspondence point detection module 240 detects the intersection of the derived edge straight lines of the pattern board as a second correspondence point.
  • the second correspondence point is a 3D vertex of the pattern board and may be expressed as (x, y, z) coordinates.
  • FIG. 12 (a) illustrates corner straight lines derived by the straight line derivation module 230
  • FIG. 12 (b) illustrates second correspondence points detected by the 3D correspondence point detection module 240.
  • (x 1 , y 1 , z 1 ), (x 2 , y 2 , z 2 ), (x 3 , y 3 , z 3 ), (x 4 , y 4 , z 4 ) form the second set of correspondence points .
  • FIG. 13 shows a first correspondence point and a second correspondence point detection result derived by the camera-lidar calibration apparatus according to an embodiment of the present invention.
  • the transformation matrix derivation unit 300 derives a transformation matrix using the first correspondence point and the second correspondence point.
  • the conversion matrix derivation unit 300 performs Extrinsic Calibration using the corresponding point sets (U, V) and (X, Y, Z) obtained as described above to obtain final calibration parameters (conversion matrix (R, t)).
  • Extrinsic Calibration is a 2D-3D conversion relationship equation using the first correspondence point (2D correspondence point)-second correspondence point (3D correspondence point) correspondence pair It means the process of obtaining the transformation matrix (R, t) in . Since this is a known content, a detailed description thereof will be omitted.
  • FIG. 14 is a flowchart illustrating a camera-lidar calibration method according to an embodiment of the present invention.
  • the camera-lidar calibration method includes a 2D correspondence point detection step (S100), a 3D correspondence point detection step (S200), and a conversion matrix derivation step (S300).
  • the pattern board is photographed by a camera and LIDAR in a state tilted at a certain angle with respect to the ground.
  • the captured 2D image and the 3D point cloud are transmitted to the 2D correspondence point detection unit 100 and the 3D correspondence point detection unit 200 .
  • a vertex of the pattern board is detected as a first correspondence point by applying a Harris corner detection algorithm to the 2D image. (S100)
  • a 3D plane for the pattern board is derived from the 3D point cloud, edges of the pattern board are derived from the derived 3D plane, and intersections (vertexes) of the derived edges are detected as second corresponding points.
  • This step S200 may include a data filtering process (S210), a 3D plane derivation process (S220), a straight line derivation process (S230), and a 3D corresponding point detection process (S240).
  • S210 data filtering process
  • S220 3D plane derivation process
  • S230 straight line derivation process
  • S240 3D corresponding point detection process
  • points corresponding to the background except for the pattern board in the 3D point cloud are noise-processed using the distance value from the preset lidar to the pattern board, and the RANSAC algorithm-based plane model segmentation algorithm so that only the point information corresponding to the pattern board remains.
  • the computing device TN100 of FIG. 15 may be a device described in this specification (eg, a camera-lidar calibration device).
  • the computing device TN100 may include at least one processor TN110, a transceiver TN120, and a memory TN130.
  • the computing device TN100 may further include a storage device TN140, an input interface device TN150, and an output interface device TN160. Elements included in the computing device TN100 may communicate with each other by being connected by a bus TN170.
  • the processor TN110 may execute program commands stored in at least one of the memory TN130 and the storage device TN140.
  • the processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.
  • Processor TN110 may be configured to implement procedures, functions, methods, and the like described in relation to embodiments of the present invention.
  • the processor TN110 may control each component of the computing device TN100.
  • Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110.
  • Each of the memory TN130 and the storage device TN140 may include at least one of a volatile storage medium and a non-volatile storage medium.
  • the memory TN130 may include at least one of read only memory (ROM) and random access memory (RAM).
  • the transmitting/receiving device TN120 may transmit or receive a wired signal or a wireless signal.
  • the transmitting/receiving device TN120 may perform communication by being connected to a network.
  • the present invention may be implemented as a computer program.
  • the present invention can be combined with hardware and implemented as a computer program stored in a computer-readable recording medium.
  • Methods according to embodiments of the present invention may be implemented in the form of programs readable by various computer means and recorded on computer-readable recording media.
  • the recording medium may include program commands, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in computer software.
  • recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magneto-optical media such as floptical disks. optical media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of the program command may include a high-level language that can be executed by a computer using an interpreter, as well as a machine language generated by a compiler.
  • These hardware devices may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.
  • data filter module 220 3D plane derivation module

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 정확한 대응점을 검출할 수 있는 카메라-라이다 캘리브레이션 장치 및 방법에 관한 것으로, 본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치는, 카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지로부터 제1 대응점을 검출하는 2D 대응점 검출부; 라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출부; 및, 상기 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출하는 변환행렬 도출부;를 포함한다. 상기 3D 대응점 검출부는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하는 것을 특징으로 한다.

Description

카메라-라이다 캘리브레이션 장치 및 방법
본 발명은 카메라-라이다 캘리브레이션 장치 및 방법에 관한 것으로, 보다 구체적으로는 정확한 대응점을 검출할 수 있는 카메라-라이다 캘리브레이션 장치 및 방법에 관한 것이다.
카메라-라이다 캘리브레이션은, 도 1에 도시된 바와 같이, 라이다(LRF)와 카메라의 위치 관계(거리, 각도)를 정의하는 회전행렬(R), 이동행렬(t)를 구하는 과정을 의미한다.
라이다와 카메라의 위치 관계를 알고 있다면, 카메라에서 보는 시점과 라이다에서 보는 시점을 맞출 수 있으므로, 카메라에 의해 획득되는 이미지와 라이다에 의해 획득되는 3차원 데이터를 동일한 시점에서 획득할 수 있게 된다.
이렇게 되면 카메라의 RGB 데이터를 3차원 데이터에 맵핑할 수 있고, 카메라에서 계산한 값을 라이다에 반영할 수 있고, 라이다에서 계산한 값을 카메라에 반영할 수 있다.
이러한 변환행렬(R, t)을 구하기 위해서는 카메라에 의해 획득되는 이미지의 특정 점과 라이다에 의해 획득되는 3차원 데이터들 중 특정 데이터를 대응시키는 과정이 필수적으로 요구된다.
그러나, 도 2의 (b)와 같이, 라이다 센서의 낮은 분해능에 의해 카메라 이미지(도 2의 (a))의 특정 점과 라이다의 특정 데이터를 대응시킨 대응점을 구하기가 어렵다는 문제가 있다.
본 발명은 정확한 대응점을 검출할 수 있는 카메라-라이다 캘리브레이션 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치는,
카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지로부터 제1 대응점을 검출하는 2D 대응점 검출부; 라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출부; 및, 상기 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출하는 변환행렬 도출부;를 포함한다. 상기 3D 대응점 검출부는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치에 있어서, 상기 3D 대응점 검출부는, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드에 포함된 상기 패턴 보드 이외의 노이즈를 제거하는 데이터 필터모듈; 상기 노이즈 제거된 3차원 포인트 클라우드에서 상기 패턴 보드에 대한 3D 평면 방정식을 도출하고 상기 3D 평면 방정식을 이용하여 상기 패턴 보드에 대한 3D 평면을 도출하는 3D 평면 도출모듈; 상기 도출된 3D 평면에서 상기 패턴 보드의 모서리에 대한 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 상기 패턴 보드의 모서리를 도출하는 직선 도출모듈; 상기 도출된 상기 패턴 보드의 모서리의 교점을 상기 제2 대응점으로 검출하는 3D 대응점 검출모듈;을 포함할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치에 있어서, 상기 데이터 필터모듈은, 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한 다음, RANSAC 기반 평면 모델 분할 알고리즘을 이용하여 상기 패턴 보드에 해당하는 포인트 정보가 남도록 할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치에 있어서, 상기 3D 평면 도출모듈은, RANSAC 기반 평면 피팅 알고리즘을 이용하여 3D 평면을 도출할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치에 있어서, 상기 직선 도출모듈은, RANSAC 기반 선 피팅 알고리즘을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출할 수 있다.
또한, 본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법은,
카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지로부터 제1 대응점을 검출하는 2D 대응점 검출단계; 라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출단계; 및, 상기 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출하는 변환행렬 도출단계;를 포함한다. 상기 3D 대응점 검출단계는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법에 있어서, 상기 3D 대응점 검출단계는, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드에 포함된 상기 패턴 보드 이외의 노이즈를 제거하는 데이터 필터과정; 상기 노이즈 제거된 3차원 포인트 클라우드에서 상기 패턴 보드에 대한 3D 평면 방정식을 도출하고 상기 3D 평면 방정식을 이용하여 상기 패턴 보드에 대한 3D 평면을 도출하는 3D 평면 도출과정; 상기 도출된 3D 평면에서 상기 패턴 보드의 모서리에 대한 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 상기 패턴 보드의 모서리를 도출하는 직선 도출과정; 상기 도출된 상기 패턴 보드의 모서리의 교점을 상기 제2 대응점으로 검출하는 3D 대응점 검출과정;을 포함할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법에 있어서, 상기 데이터 필터과정은, 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한 다음, RANSAC 기반 평면 모델 분할 알고리즘을 이용하여 상기 패턴 보드에 해당하는 포인트 정보가 남도록 할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법에 있어서, 상기 3D 평면 도출과정은, RANSAC 기반 평면 피팅 알고리즘을 이용하여 3D 평면을 도출할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법에 있어서, 상기 직선 도출과정은, RANSAC 기반 선 피팅 알고리즘을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출할 수 있다.
기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.
본 발명의 실시 형태에 따르면, 라이다 센서의 분해능이 떨어져서 발생하는 대응점 검출의 어려움을 해결하고, 간단한 사각형 형태의 패턴 보드와 적은 대응점 검출만으로도 종래보다 쉽고 빠르며 정확한 캘리브레이션 결과를 얻을 수 있다.
도 1은 일반적인 카메라-라이다 캘리브레이션 과정을 설명하기 위한 도면이다.
도 2는 일반적인 카메라-라이다 캘리브레이션 과정에서 라이다에 의해 획득된 이미지에 의해 발생하는 문제점을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 장치가 도시된 블록도이다.
도 4는 2D 대응점 검출부에서 수행되는 해리스 코너 검출 알고리즘의 동작 과정을 설명하기 위한 도면이다.
도 5는 2D 대응점 검출부가 제1 대응점을 검출한 결과를 보여주는 도면이다.
도 6은 3D 대응점 검출부가 도시된 블록도이다.
도 7 내지 도 12는 3D 대응점 검출부에서 제2 대응점을 검출하는 과정을 설명하기 위한 도면이다.
도 13은 제1 대응점과 제2 대응점 검출 결과를 보여주는 도면이다.
도 14는 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 방법이 도시된 순서도이다.
도 15은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치 및 방법을 설명한다.
도 3은 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 장치가 도시된 블록도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 장치는, 2D 대응점 검출부(100), 3D 대응점 검출부(200), 변환행렬 도출부(300)를 포함한다.
본 발명의 카메라-라이다 캘리브레이션 장치는 카메라 센서(이하, '카메라)에 의해 획득된 2D 이미지와 라이다 센서(이하, '라이다')에 의해 획득된 3차원 포인트 클라우드를 수신하거나 입력받는 입력부(미도시)를 포함하며 입력부는 2D 대응점 검출부(100)로 2D 이미지를 전송하고, 3D 대응점 검출부(200)로 3차원 포인트 클라우드를 전송할 수 있다.
패턴 보드는 사각형상의 흑색/백색 격자 무늬가 교대로 반복 배열된다. 본 발명에서, 패턴 보드는 격자 무늬가 반복 배열된 직사각형 또는 정사각형 등의 사각 형상으로 형성될 수 있다. 3D 대응점 검출부(200)에서의 대응점 검출이 용이하도록, 패턴 보드는 지면에 대해 일정 각도로 기울어진 상태로 촬영되는 것이 바람직하다. 이에 대해서는 도 9를 참조하여 후술한다.
2D 대응점 검출부(100)는 2D 이미지로부터 제1 대응점을 검출한다. 2D 이미지는 패턴 보드를 포함하는, 카메라로 획득된 이미지이다.
2D 대응점 검출부(100)는 해리스 코너 검출 알고리즘(Harris Corner Detection Algorithm)을 이용하여 패턴 보드의 흑백 패턴과 꼭지점을 검출한다. 여기서, 패턴 보드의 꼭지점이 제1 대응점이다.
도 4는 2D 대응점 검출부에서 수행되는 해리스 코너 검출 알고리즘의 동작 과정을 설명하기 위한 도면이다. 도 4의 (a) ~ (c)에 도시된 바와 같이, 해리스 코너 검출 알고리즘은, 이미지에서 작은 윈도우를 조금씩 이동시켰을 때, 코너점의 경우는 모든 방향으로 영상변화가 커야 한다는 점을 이용하여 코너점을 검출한다. 물론, 반드시 해리스 코너 검출 알고리즘을 이용하는 것에 한정되지 않고, 코너점을 검출할 수 있는 알고리즘이면 모두 적용 가능하다.
2D 대응점 검출부(100)는 검출된 꼭지점을 제1 대응점으로 처리하고, 해당 지점을 좌표 처리한다. 제1 대응점은 (u, v) 좌표로 표시될 수 있다.
도 5는 2D 대응점 검출부(100)가 제1 대응점을 검출한 결과를 보여주고 있으며, (u1, v1), (u2, v2), (u3, v3), (u4, v4)는 제1 대응점 세트가 된다.
3D 대응점 검출부(200)는 3차원 포인트 클라우드(point cloud)로부터 제2 대응점을 검출한다. 3차원 포인트 클라우드는 라이다로 획득된 복수개의 포인트들의 집합이다. 라이다는 분해능이 낮으므로, 라이다로 획득된 포인트 클라우드 는 도 2의 (b)와 같이 패턴 보드의 꼭지점이 불분명하여, 패턴 보드의 꼭지점을 정확하게 도출할 수 없다.
본 발명에서, 3D 대응점 검출부(200)는 3차원 포인트 클라우드로부터 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점(꼭지점)을 제2 대응점으로 검출한다.
이에 대해, 도 6 내지 도 13을 참조하여 설명한다. 도 6은 3D 대응점 검출부(200)가 도시된 블록도이고, 도 7 내지 도 12는 3D 대응점 검출부(200)에서 제2 대응점을 검출하는 과정을 설명하기 위한 도면이며, 도 13은 제1 대응점과 제2 대응점 검출 결과를 보여주는 도면이다.
도 6을 참조하면, 3D 대응점 검출부(200)는, 데이터 필터모듈(210), 3D 평면 도출모듈(220), 직선 도출모듈(230), 3D 대응점 검출모듈(240)을 포함할 수 있다.
데이터 필터모듈(210)은 3차원 포인트 클라우드에서 패턴 보드를 제외한 나머지 배경에 해당하는 포인트들을 노이즈 처리하여 제거한다. 데이터 필터모듈(210)은 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한다. 그 다음, RANSAC(Random Sample Consensus) 알고리즘 기반으로 평면을 예측하여 분류하는 평면 모델 분할 알고리즘(Plane Model Segmentation Algorithm)을 이용하여 패턴 보드에 해당하는 포인트 정보만이 남도록 한다.
RANSAC 알고리즘은 선택된 데이터들로부터 노이즈를 제거하고 모델을 예측하는 알고리즘으로, 무작위로 데이터를 뽑은 샘플 데이터들을 만족시키는 모델 파라미터를 구하고, 이렇게 구한 모델과 가까이에 있는 데이터들의 개수를 세어서 그 개수가 크다면 이 모델을 저장하는 과정을 여러번 반복하여 최대 개수를 가지는 모델을 선택하는 방식이다.
도 7의 (a)는 필터링 이전의 3차원 포인트 클라우드를 예시하고, 도 7의 (b)는 데이터 필터모듈(210)에 의해 노이즈가 제거된 3차원 포인트 클라우드를 예시한다.
3D 평면 도출모듈(220)은 노이즈 제거된 3차원 포인트 클라우드에서 패턴 보드에 대한 3D 평면 방정식을 도출하고 3D 평면 방정식을 이용하여 패턴 보드에 대한 3D 평면을 도출한다.
3D 평면 도출모듈(220)은 RANSAC 알고리즘 기반의 평면 피팅 알고리즘 (Plane Fitting Algorithm)을 이용하여 3D 평면을 도출한다.
RANSAC 기반 평면 피팅 알고리즘은 데이터들이 가장 많이 만족하는 3차원 평면 방정식 (ax + by + cz = d)의 파라미터 a, b, c, d를 구하는 알고리즘이다.
도 8의 (a)는 노이즈가 제거된 3차원 포인트 클라우드를 예시하고, 도 8의 (b)는 3D 평면 도출모듈(220)에 의해 도출된 3D 평면을 예시한다.
직선 도출모듈(230)은 도출된 3D 평면에서 패턴 보드의 모서리에 해당하는 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 패턴 보드의 모서리를 도출한다.
직선 도출모듈(230)은 패턴 보드의 모서리에 위치한 포인트들의 좌표를 구하기 위해, 도 9에 도시된 바와 같이, 라이다의 채널별 첫번째 데이터와 마지막 데이터를 구한다. 이때, 패턴 보드가 지면에 대해 일정 각도로 기울어진 상태로 촬영되었기 때문에, 채널별 첫번째 데이터와 마지막 데이터가 쉽게 구해질 수 있다. 만약, 패턴 보드가 지면과 평행한 상태에서 촬영되었다면, 첫번째 채널(채널 1)과 마지막 채널에서 채널별 첫번째 데이터와 마지막 데이터가 구해지지 않게 되어, 후행 과정인 패턴 보드의 모서리에 대한 직선 방정식 도출을 수행할 수 없게 된다.
도 10의 (a)는 평면 도출모듈(220)에 의해 도출된 3D 평면을 예시하고, 도 10의 (b)는 도 9의 방식을 통해 구해진 데이터들을 예시한다.
이렇게 구해진 데이터들을 3D 평면 도출모듈(220)에서 도출된 3차원 평면 방정식 (ax + by + cz = d)에 투영(Projection)시킨다. 투영시킨 값들을 입력값으로 RANSAC 기반 선 피팅 알고리즘(Line Fitting Algorithm)을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출한다.
RANSAC 기반 선 피팅 알고리즘은, 데이터들의 관계 분석을 통해 서로 직교하는 4개의 방향 벡터를 구하고 데이터들이 가장 많이 만족하는 직선 방정식을 구하는 알고리즘이다. 패턴 보드의 모서리가 4개이므로 총 4개의 직선 방정식이 구해진다.
도 11의 (a)는 라이다의 채널별 첫번째 데이터들과 마지막 데이터들을 예시하고, 도 11의 (b)는 직선 도출모듈(230)에 의해 도출된 모서리 직선들을 예시한다.
3D 대응점 검출모듈(240)은 도출된 패턴 보드의 모서리 직선들의 교점을 제2 대응점으로 검출한다. 제2 대응점은 패턴 보드의 3차원 꼭지점이며, (x, y, z) 좌표로 표시될 수 있다.
도 12의 (a)는 직선 도출모듈(230)에 의해 도출된 모서리 직선들을 예시하고, 도 12의 (b)는 3D 대응점 검출모듈(240)에 의해 검출된 제2 대응점들을 예시한다. (x1, y1, z1), (x2, y2, z2), (x3, y3, z3), (x4, y4, z4)는 제2 대응점 세트가 된다.
도 13은 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 장치에 의해 도출된 제1 대응점과 제2 대응점 검출 결과를 보여준다.
변환행렬 도출부(300)는 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출한다. 변환행렬 도출부(300)는 상기와 같이 구해진 대응점 세트(U, V), (X, Y, Z)를 이용하여 Extrinsic Calibration을 수행하여 최종 캘리브레이션 파라미터(변환행렬(R, t))를 구한다.
Extrinsic Calibration은 제1 대응점(2D 대응점)-제2 대응점(3D 대응점) 대응쌍을 이용하여 2D-3D의 변환 관계 방정식
Figure PCTKR2021095119-appb-img-000001
에서 변환 행렬(R, t)을 구하는 과정을 의미한다. 이는 알려진 내용이므로, 상세한 설명은 생략한다.
다음, 도 14를 참조하여 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 방법을 설명한다. 도 14는 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 방법이 도시된 순서도이다.
도 14를 참조하면, 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 방법은, 2D 대응점 검출단계(S100), 3D 대응점 검출단계(S200), 변환행렬 도출단계(S300)를 포함한다.
먼저, 패턴 보드는 지면에 대해 일정 각도로 기울어진 상태로 카메라 및 라이다에 의해 촬영된다. 촬영된 2D 이미지와 3차원 포인트 클라우드는 2D 대응점 검출부(100)와 3D 대응점 검출부(200)로 전송된다.
다음, 2D 이미지에 대해 해리스 코너 검출 알고리즘을 적용하여 패턴 보드의 꼭지점을 제1 대응점으로 검출한다. (S100)
다음, 3차원 포인트 클라우드로부터 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점(꼭지점)을 제2 대응점으로 검출한다. (S200)
이러한, S200 단계는, 데이터 필터링과정(S210), 3D 평면 도출과정(S220),직선 도출과정(S230), 3D 대응점 검출과정(S240)을 포함할 수 있다.
데이터 필터링과정(S210)에서는, 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 3차원 포인트 클라우드에서 패턴 보드를 제외한 나머지 배경에 해당하는 포인트들을 노이즈 처리하고, RANSAC 알고리즘 기반 평면 모델 분할 알고리즘을 이용하여 패턴 보드에 해당하는 포인트 정보만이 남도록 한다.
3D 평면 도출과정(S220)에서는, RANSAC 알고리즘 기반의 평면 피팅 알고리즘을 이용하여 3D 평면을 도출한다. 즉, 3차원 평면 방정식 (ax + by + cz = d)의 파라미터 a, b, c, d를 구한다.
직선 도출과정(S230)에서는, 라이다의 채널별 첫번째 데이터와 마지막 데이터를 구하고, 이를 3차원 평면 방정식 (ax + by + cz = d)에 투영(Projection)시킨 후, RANSAC 기반 선 피팅 알고리즘을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출한다.
3D 대응점 검출과정(S240)에서는, 도출된 패턴 보드의 모서리 직선들의 교점을 제2 대응점으로 검출한다.
다음, 상기와 같이 구해진 대응점 세트(U, V), (X, Y, Z)를 이용하여 Extrinsic Calibration을 수행하여 최종 캘리브레이션 파라미터(변환행렬(R, t))를 구한다. (S300)
상기와 같은 본 발명에 따르면, 라이다 센서의 분해능이 떨어져서 발생하는 대응점 검출의 어려움을 해결하고, 간단한 사각형 형태의 패턴 보드와 적은 대응점 검출만으로도 종래보다 쉽고 빠르며 정확한 캘리브레이션 결과를 얻을 수 있다.
도 15는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 15의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 카메라-라이다 캘리브레이션 장치) 일 수 있다.
도 15의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 본 발명은 하드웨어와 결합되어, 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다.
기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다.
이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
[부호의 설명]
100 : 2D 대응점 검출부
200 : 3D 대응점 검출부
210 : 데이터 필터모듈 220 : 3D 평면 도출모듈
230 : 직선 도출모듈 240 : 3D 대응점 검출모듈
300 : 변환행렬 도출부

Claims (10)

  1. 카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지로부터 제1 대응점을 검출하는 2D 대응점 검출부;
    라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출부; 및,
    상기 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출하는 변환행렬 도출부;를 포함하며,
    상기 3D 대응점 검출부는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 장치.
  2. 청구항 1에 있어서, 상기 3D 대응점 검출부는,
    상기 패턴 보드를 포함하는 3차원 포인트 클라우드에 포함된 상기 패턴 보드 이외의 노이즈를 제거하는 데이터 필터모듈;
    상기 노이즈 제거된 3차원 포인트 클라우드에서 상기 패턴 보드에 대한 3D 평면 방정식을 도출하고 상기 3D 평면 방정식을 이용하여 상기 패턴 보드에 대한 3D 평면을 도출하는 3D 평면 도출모듈;
    상기 도출된 3D 평면에서 상기 패턴 보드의 모서리에 대한 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 상기 패턴 보드의 모서리를 도출하는 직선 도출모듈;
    상기 도출된 상기 패턴 보드의 모서리의 교점을 상기 제2 대응점으로 검출하는 3D 대응점 검출모듈;
    을 포함하는 카메라-라이다 캘리브레이션 장치.
  3. 청구항 2에 있어서, 상기 데이터 필터모듈은,
    미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한 다음, RANSAC 기반 평면 모델 분할 알고리즘(Plane Model Segmentation Algorithm)을 이용하여 상기 패턴 보드에 해당하는 포인트 정보가 남도록 하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 장치.
  4. 청구항 2에 있어서, 상기 3D 평면 도출모듈은,
    RANSAC 기반 평면 피팅 알고리즘(Plane Fitting Algorithm)을 이용하여 3D 평면을 도출하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 장치.
  5. 청구항 2에 있어서, 상기 직선 도출모듈은,
    RANSAC 기반 선 피팅 알고리즘(Line Fitting Algorithm)을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 장치.
  6. 컴퓨팅 수단에 의해 수행되며,
    카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지로부터 제1 대응점을 검출하는 2D 대응점 검출단계;
    라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출단계; 및,
    상기 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출하는 변환행렬 도출단계;를 포함하며,
    상기 3D 대응점 검출단계는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 방법.
  7. 청구항 6에 있어서, 상기 3D 대응점 검출단계는,
    상기 패턴 보드를 포함하는 3차원 포인트 클라우드에 포함된 상기 패턴 보드 이외의 노이즈를 제거하는 데이터 필터과정;
    상기 노이즈 제거된 3차원 포인트 클라우드에서 상기 패턴 보드에 대한 3D 평면 방정식을 도출하고 상기 3D 평면 방정식을 이용하여 상기 패턴 보드에 대한 3D 평면을 도출하는 3D 평면 도출과정;
    상기 도출된 3D 평면에서 상기 패턴 보드의 모서리에 대한 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 상기 패턴 보드의 모서리를 도출하는 직선 도출과정;
    상기 도출된 상기 패턴 보드의 모서리의 교점을 상기 제2 대응점으로 검출하는 3D 대응점 검출과정;
    을 포함하는 카메라-라이다 캘리브레이션 방법.
  8. 청구항 7에 있어서, 상기 데이터 필터과정은,
    미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한 다음, RANSAC 기반 평면 모델 분할 알고리즘(Plane Model Segmentation Algorithm)을 이용하여 상기 패턴 보드에 해당하는 포인트 정보가 남도록 하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 방법.
  9. 청구항 7에 있어서, 상기 3D 평면 도출과정은,
    RANSAC 기반 평면 피팅 알고리즘(Plane Fitting Algorithm)을 이용하여 3D 평면을 도출하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 방법.
  10. 청구항 7에 있어서, 상기 직선 도출과정은,
    RANSAC 기반 선 피팅 알고리즘(Line Fitting Algorithm)을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 방법.
PCT/KR2021/095119 2021-08-26 2021-12-13 카메라-라이다 캘리브레이션 장치 및 방법 WO2023027268A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0113255 2021-08-26
KR1020210113255A KR102556759B1 (ko) 2021-08-26 2021-08-26 카메라-라이다 캘리브레이션 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023027268A1 true WO2023027268A1 (ko) 2023-03-02

Family

ID=85323034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/095119 WO2023027268A1 (ko) 2021-08-26 2021-12-13 카메라-라이다 캘리브레이션 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102556759B1 (ko)
WO (1) WO2023027268A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117872330A (zh) * 2024-03-11 2024-04-12 安徽大学 面向复杂环境的无人驾驶多激光雷达标定与融合建图方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102626574B1 (ko) * 2023-06-20 2024-01-22 주식회사 모빌테크 카메라 및 라이다의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049361A (ko) * 2012-10-17 2014-04-25 한국과학기술원 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
KR20150069927A (ko) * 2013-12-16 2015-06-24 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
KR102014097B1 (ko) * 2019-01-16 2019-08-26 주식회사 나노시스템즈 스캐너와 카메라의 캘리브레이션 시스템
JP2020052585A (ja) * 2018-09-25 2020-04-02 クラリオン株式会社 区画線認識装置
KR20210057285A (ko) * 2019-11-11 2021-05-21 경북대학교 산학협력단 3차원 위치 보정 시스템 및 3차원 위치 보정 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647929B1 (ko) 2019-01-03 2024-03-15 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049361A (ko) * 2012-10-17 2014-04-25 한국과학기술원 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
KR20150069927A (ko) * 2013-12-16 2015-06-24 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
JP2020052585A (ja) * 2018-09-25 2020-04-02 クラリオン株式会社 区画線認識装置
KR102014097B1 (ko) * 2019-01-16 2019-08-26 주식회사 나노시스템즈 스캐너와 카메라의 캘리브레이션 시스템
KR20210057285A (ko) * 2019-11-11 2021-05-21 경북대학교 산학협력단 3차원 위치 보정 시스템 및 3차원 위치 보정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117872330A (zh) * 2024-03-11 2024-04-12 安徽大学 面向复杂环境的无人驾驶多激光雷达标定与融合建图方法
CN117872330B (zh) * 2024-03-11 2024-05-31 安徽大学 面向复杂环境的无人驾驶多激光雷达标定与融合建图方法

Also Published As

Publication number Publication date
KR102556759B1 (ko) 2023-07-17
KR20230030955A (ko) 2023-03-07

Similar Documents

Publication Publication Date Title
WO2023027268A1 (ko) 카메라-라이다 캘리브레이션 장치 및 방법
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2012161431A9 (ko) 차량 어라운드 뷰 영상 생성 방법
WO2014185710A1 (ko) Tiled display에서 3d 영상을 보정하는 방법 및 장치
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
WO2023277371A1 (ko) 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2011065671A2 (ko) 영상의 정점 검출 장치 및 방법
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2021025364A1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
WO2019127049A1 (zh) 一种图像匹配方法、装置及存储介质
WO2016114574A2 (ko) 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
WO2022154523A1 (ko) 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
WO2018021657A1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
WO2023210884A1 (ko) 비지역적 평균 기반의 노이즈 제거 장치 및 방법
WO2022203464A2 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
WO2019009579A1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2022114283A1 (ko) 지면 요철 결정 전자 장치 및 그 동작방법
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2021101213A1 (ko) 3d 투어 내에서 실제 거리 측정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21955183

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21955183

Country of ref document: EP

Kind code of ref document: A1