KR102556759B1 - 카메라-라이다 캘리브레이션 장치 및 방법 - Google Patents

카메라-라이다 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR102556759B1
KR102556759B1 KR1020210113255A KR20210113255A KR102556759B1 KR 102556759 B1 KR102556759 B1 KR 102556759B1 KR 1020210113255 A KR1020210113255 A KR 1020210113255A KR 20210113255 A KR20210113255 A KR 20210113255A KR 102556759 B1 KR102556759 B1 KR 102556759B1
Authority
KR
South Korea
Prior art keywords
pattern board
plane
point
derived
correspondence
Prior art date
Application number
KR1020210113255A
Other languages
English (en)
Other versions
KR20230030955A (ko
Inventor
배기덕
엄태영
최영호
박정우
이종득
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020210113255A priority Critical patent/KR102556759B1/ko
Priority to PCT/KR2021/095119 priority patent/WO2023027268A1/ko
Publication of KR20230030955A publication Critical patent/KR20230030955A/ko
Application granted granted Critical
Publication of KR102556759B1 publication Critical patent/KR102556759B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 정확한 대응점을 검출할 수 있는 카메라-라이다 캘리브레이션 장치 및 방법에 관한 것으로,
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치는,
카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지로부터 제1 대응점을 검출하는 2D 대응점 검출부; 라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출부; 및, 상기 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출하는 변환행렬 도출부;를 포함한다. 상기 3D 대응점 검출부는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하는 것을 특징으로 한다.

Description

카메라-라이다 캘리브레이션 장치 및 방법 {Apparatus for Camera-Lidar Calibration and method thereof}
본 발명은 카메라-라이다 캘리브레이션 장치 및 방법에 관한 것으로, 보다 구체적으로는 정확한 대응점을 검출할 수 있는 카메라-라이다 캘리브레이션 장치 및 방법에 관한 것이다.
카메라-라이다 캘리브레이션은, 도 1에 도시된 바와 같이, 라이다(LRF)와 카메라의 위치 관계(거리, 각도)를 정의하는 회전행렬(R), 이동행렬(t)를 구하는 과정을 의미한다.
라이다와 카메라의 위치 관계를 알고 있다면, 카메라에서 보는 시점과 라이다에서 보는 시점을 맞출 수 있으므로, 카메라에 의해 획득되는 이미지와 라이다에 의해 획득되는 3차원 데이터를 동일한 시점에서 획득할 수 있게 된다.
이렇게 되면 카메라의 RGB 데이터를 3차원 데이터에 맵핑할 수 있고, 카메라에서 계산한 값을 라이다에 반영할 수 있고, 라이다에서 계산한 값을 카메라에 반영할 수 있다.
이러한 변환행렬(R, t)을 구하기 위해서는 카메라에 의해 획득되는 이미지의 특정 점과 라이다에 의해 획득되는 3차원 데이터들 중 특정 데이터를 대응시키는 과정이 필수적으로 요구된다.
그러나, 도 2의 (b)와 같이, 라이다 센서의 낮은 분해능에 의해 카메라 이미지(도 2의 (a))의 특정 점과 라이다의 특정 데이터를 대응시킨 대응점을 구하기가 어렵다는 문제가 있다.
한국공개특허 제2020-0084552호
본 발명은 정확한 대응점을 검출할 수 있는 카메라-라이다 캘리브레이션 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치는,
카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지로부터 제1 대응점을 검출하는 2D 대응점 검출부; 라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출부; 및, 상기 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출하는 변환행렬 도출부;를 포함한다. 상기 3D 대응점 검출부는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치에 있어서, 상기 3D 대응점 검출부는, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드에 포함된 상기 패턴 보드 이외의 노이즈를 제거하는 데이터 필터모듈; 상기 노이즈 제거된 3차원 포인트 클라우드에서 상기 패턴 보드에 대한 3D 평면 방정식을 도출하고 상기 3D 평면 방정식을 이용하여 상기 패턴 보드에 대한 3D 평면을 도출하는 3D 평면 도출모듈; 상기 도출된 3D 평면에서 상기 패턴 보드의 모서리에 대한 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 상기 패턴 보드의 모서리를 도출하는 직선 도출모듈; 상기 도출된 상기 패턴 보드의 모서리의 교점을 상기 제2 대응점으로 검출하는 3D 대응점 검출모듈;을 포함할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치에 있어서, 상기 데이터 필터모듈은, 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한 다음, RANSAC 기반 평면 모델 분할 알고리즘을 이용하여 상기 패턴 보드에 해당하는 포인트 정보가 남도록 할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치에 있어서, 상기 3D 평면 도출모듈은, RANSAC 기반 평면 피팅 알고리즘을 이용하여 3D 평면을 도출할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치에 있어서, 상기 직선 도출모듈은, RANSAC 기반 선 피팅 알고리즘을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출할 수 있다.
또한, 본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법은,
카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지로부터 제1 대응점을 검출하는 2D 대응점 검출단계; 라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출단계; 및, 상기 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출하는 변환행렬 도출단계;를 포함한다. 상기 3D 대응점 검출단계는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법에 있어서, 상기 3D 대응점 검출단계는, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드에 포함된 상기 패턴 보드 이외의 노이즈를 제거하는 데이터 필터과정; 상기 노이즈 제거된 3차원 포인트 클라우드에서 상기 패턴 보드에 대한 3D 평면 방정식을 도출하고 상기 3D 평면 방정식을 이용하여 상기 패턴 보드에 대한 3D 평면을 도출하는 3D 평면 도출과정; 상기 도출된 3D 평면에서 상기 패턴 보드의 모서리에 대한 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 상기 패턴 보드의 모서리를 도출하는 직선 도출과정; 상기 도출된 상기 패턴 보드의 모서리의 교점을 상기 제2 대응점으로 검출하는 3D 대응점 검출과정;을 포함할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법에 있어서, 상기 데이터 필터과정은, 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한 다음, RANSAC 기반 평면 모델 분할 알고리즘을 이용하여 상기 패턴 보드에 해당하는 포인트 정보가 남도록 할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법에 있어서, 상기 3D 평면 도출과정은, RANSAC 기반 평면 피팅 알고리즘을 이용하여 3D 평면을 도출할 수 있다.
본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 방법에 있어서, 상기 직선 도출과정은, RANSAC 기반 선 피팅 알고리즘을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출할 수 있다.
기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.
본 발명의 실시 형태에 따르면, 라이다 센서의 분해능이 떨어져서 발생하는 대응점 검출의 어려움을 해결하고, 간단한 사각형 형태의 패턴 보드와 적은 대응점 검출만으로도 종래보다 쉽고 빠르며 정확한 캘리브레이션 결과를 얻을 수 있다.
도 1은 일반적인 카메라-라이다 캘리브레이션 과정을 설명하기 위한 도면이다.
도 2는 일반적인 카메라-라이다 캘리브레이션 과정에서 라이다에 의해 획득된 이미지에 의해 발생하는 문제점을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 장치가 도시된 블록도이다.
도 4는 2D 대응점 검출부에서 수행되는 해리스 코너 검출 알고리즘의 동작 과정을 설명하기 위한 도면이다.
도 5는 2D 대응점 검출부가 제1 대응점을 검출한 결과를 보여주는 도면이다.
도 6은 3D 대응점 검출부가 도시된 블록도이다.
도 7 내지 도 12는 3D 대응점 검출부에서 제2 대응점을 검출하는 과정을 설명하기 위한 도면이다.
도 13은 제1 대응점과 제2 대응점 검출 결과를 보여주는 도면이다.
도 14는 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 방법이 도시된 순서도이다.
도 15은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 카메라-라이다 캘리브레이션 장치 및 방법을 설명한다.
도 3은 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 장치가 도시된 블록도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 장치는, 2D 대응점 검출부(100), 3D 대응점 검출부(200), 변환행렬 도출부(300)를 포함한다.
본 발명의 카메라-라이다 캘리브레이션 장치는 카메라 센서(이하, '카메라)에 의해 획득된 2D 이미지와 라이다 센서(이하, '라이다')에 의해 획득된 3차원 포인트 클라우드를 수신하거나 입력받는 입력부(미도시)를 포함하며 입력부는 2D 대응점 검출부(100)로 2D 이미지를 전송하고, 3D 대응점 검출부(200)로 3차원 포인트 클라우드를 전송할 수 있다.
패턴 보드는 사각형상의 흑색/백색 격자 무늬가 교대로 반복 배열된다. 본 발명에서, 패턴 보드는 격자 무늬가 반복 배열된 직사각형 또는 정사각형 등의 사각 형상으로 형성될 수 있다. 3D 대응점 검출부(200)에서의 대응점 검출이 용이하도록, 패턴 보드는 지면에 대해 일정 각도로 기울어진 상태로 촬영되는 것이 바람직하다. 이에 대해서는 도 9를 참조하여 후술한다.
2D 대응점 검출부(100)는 2D 이미지로부터 제1 대응점을 검출한다. 2D 이미지는 패턴 보드를 포함하는, 카메라로 획득된 이미지이다.
2D 대응점 검출부(100)는 해리스 코너 검출 알고리즘(Harris Corner Detection Algorithm)을 이용하여 패턴 보드의 흑백 패턴과 꼭지점을 검출한다. 여기서, 패턴 보드의 꼭지점이 제1 대응점이다.
도 4는 2D 대응점 검출부에서 수행되는 해리스 코너 검출 알고리즘의 동작 과정을 설명하기 위한 도면이다. 도 4의 (a) ~ (c)에 도시된 바와 같이, 해리스 코너 검출 알고리즘은, 이미지에서 작은 윈도우를 조금씩 이동시켰을 때, 코너점의 경우는 모든 방향으로 영상변화가 커야 한다는 점을 이용하여 코너점을 검출한다. 물론, 반드시 해리스 코너 검출 알고리즘을 이용하는 것에 한정되지 않고, 코너점을 검출할 수 있는 알고리즘이면 모두 적용 가능하다.
2D 대응점 검출부(100)는 검출된 꼭지점을 제1 대응점으로 처리하고, 해당 지점을 좌표 처리한다. 제1 대응점은 (u, v) 좌표로 표시될 수 있다.
도 5는 2D 대응점 검출부(100)가 제1 대응점을 검출한 결과를 보여주고 있으며, (u1, v1), (u2, v2), (u3, v3), (u4, v4)는 제1 대응점 세트가 된다.
3D 대응점 검출부(200)는 3차원 포인트 클라우드(point cloud)로부터 제2 대응점을 검출한다. 3차원 포인트 클라우드는 라이다로 획득된 복수개의 포인트들의 집합이다. 라이다는 분해능이 낮으므로, 라이다로 획득된 포인트 클라우드 는 도 2의 (b)와 같이 패턴 보드의 꼭지점이 불분명하여, 패턴 보드의 꼭지점을 정확하게 도출할 수 없다.
본 발명에서, 3D 대응점 검출부(200)는 3차원 포인트 클라우드로부터 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점(꼭지점)을 제2 대응점으로 검출한다.
이에 대해, 도 6 내지 도 13을 참조하여 설명한다. 도 6은 3D 대응점 검출부(200)가 도시된 블록도이고, 도 7 내지 도 12는 3D 대응점 검출부(200)에서 제2 대응점을 검출하는 과정을 설명하기 위한 도면이며, 도 13은 제1 대응점과 제2 대응점 검출 결과를 보여주는 도면이다.
도 6을 참조하면, 3D 대응점 검출부(200)는, 데이터 필터모듈(210), 3D 평면 도출모듈(220), 직선 도출모듈(230), 3D 대응점 검출모듈(240)을 포함할 수 있다.
데이터 필터모듈(210)은 3차원 포인트 클라우드에서 패턴 보드를 제외한 나머지 배경에 해당하는 포인트들을 노이즈 처리하여 제거한다. 데이터 필터모듈(210)은 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한다. 그 다음, RANSAC(Random Sample Consensus) 알고리즘 기반으로 평면을 예측하여 분류하는 평면 모델 분할 알고리즘(Plane Model Segmentation Algorithm)을 이용하여 패턴 보드에 해당하는 포인트 정보만이 남도록 한다.
RANSAC 알고리즘은 선택된 데이터들로부터 노이즈를 제거하고 모델을 예측하는 알고리즘으로, 무작위로 데이터를 뽑은 샘플 데이터들을 만족시키는 모델 파라미터를 구하고, 이렇게 구한 모델과 가까이에 있는 데이터들의 개수를 세어서 그 개수가 크다면 이 모델을 저장하는 과정을 여러번 반복하여 최대 개수를 가지는 모델을 선택하는 방식이다.
도 7의 (a)는 필터링 이전의 3차원 포인트 클라우드를 예시하고, 도 7의 (b)는 데이터 필터모듈(210)에 의해 노이즈가 제거된 3차원 포인트 클라우드를 예시한다.
3D 평면 도출모듈(220)은 노이즈 제거된 3차원 포인트 클라우드에서 패턴 보드에 대한 3D 평면 방정식을 도출하고 3D 평면 방정식을 이용하여 패턴 보드에 대한 3D 평면을 도출한다.
3D 평면 도출모듈(220)은 RANSAC 알고리즘 기반의 평면 피팅 알고리즘 (Plane Fitting Algorithm)을 이용하여 3D 평면을 도출한다.
RANSAC 기반 평면 피팅 알고리즘은 데이터들이 가장 많이 만족하는 3차원 평면 방정식 (ax + by + cz = d)의 파라미터 a, b, c, d를 구하는 알고리즘이다.
도 8의 (a)는 노이즈가 제거된 3차원 포인트 클라우드를 예시하고, 도 8의 (b)는 3D 평면 도출모듈(220)에 의해 도출된 3D 평면을 예시한다.
직선 도출모듈(230)은 도출된 3D 평면에서 패턴 보드의 모서리에 해당하는 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 패턴 보드의 모서리를 도출한다.
직선 도출모듈(230)은 패턴 보드의 모서리에 위치한 포인트들의 좌표를 구하기 위해, 도 9에 도시된 바와 같이, 라이다의 채널별 첫번째 데이터와 마지막 데이터를 구한다. 이때, 패턴 보드가 지면에 대해 일정 각도로 기울어진 상태로 촬영되었기 때문에, 채널별 첫번째 데이터와 마지막 데이터가 쉽게 구해질 수 있다. 만약, 패턴 보드가 지면과 평행한 상태에서 촬영되었다면, 첫번째 채널(채널 1)과 마지막 채널에서 채널별 첫번째 데이터와 마지막 데이터가 구해지지 않게 되어, 후행 과정인 패턴 보드의 모서리에 대한 직선 방정식 도출을 수행할 수 없게 된다.
도 10의 (a)는 평면 도출모듈(220)에 의해 도출된 3D 평면을 예시하고, 도 10의 (b)는 도 9의 방식을 통해 구해진 데이터들을 예시한다.
이렇게 구해진 데이터들을 3D 평면 도출모듈(220)에서 도출된 3차원 평면 방정식 (ax + by + cz = d)에 투영(Projection)시킨다. 투영시킨 값들을 입력값으로 RANSAC 기반 선 피팅 알고리즘(Line Fitting Algorithm)을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출한다.
RANSAC 기반 선 피팅 알고리즘은, 데이터들의 관계 분석을 통해 서로 직교하는 4개의 방향 벡터를 구하고 데이터들이 가장 많이 만족하는 직선 방정식을 구하는 알고리즘이다. 패턴 보드의 모서리가 4개이므로 총 4개의 직선 방정식이 구해진다.
도 11의 (a)는 라이다의 채널별 첫번째 데이터들과 마지막 데이터들을 예시하고, 도 11의 (b)는 직선 도출모듈(230)에 의해 도출된 모서리 직선들을 예시한다.
3D 대응점 검출모듈(240)은 도출된 패턴 보드의 모서리 직선들의 교점을 제2 대응점으로 검출한다. 제2 대응점은 패턴 보드의 3차원 꼭지점이며, (x, y, z) 좌표로 표시될 수 있다.
도 12의 (a)는 직선 도출모듈(230)에 의해 도출된 모서리 직선들을 예시하고, 도 12의 (b)는 3D 대응점 검출모듈(240)에 의해 검출된 제2 대응점들을 예시한다. (x1, y1, z1), (x2, y2, z2), (x3, y3, z3), (x4, y4, z4)는 제2 대응점 세트가 된다.
도 13은 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 장치에 의해 도출된 제1 대응점과 제2 대응점 검출 결과를 보여준다.
변환행렬 도출부(300)는 제1 대응점과 상기 제2 대응점을 이용하여 변환행렬을 도출한다. 변환행렬 도출부(300)는 상기와 같이 구해진 대응점 세트(U, V), (X, Y, Z)를 이용하여 Extrinsic Calibration을 수행하여 최종 캘리브레이션 파라미터(변환행렬(R, t))를 구한다.
Extrinsic Calibration은 제1 대응점(2D 대응점)-제2 대응점(3D 대응점) 대응쌍을 이용하여 2D-3D의 변환 관계 방정식
Figure 112021098891619-pat00001
에서 변환 행렬(R, t)을 구하는 과정을 의미한다. 이는 알려진 내용이므로, 상세한 설명은 생략한다.
다음, 도 14를 참조하여 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 방법을 설명한다. 도 14는 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 방법이 도시된 순서도이다.
도 14를 참조하면, 본 발명의 일 실시예에 따른 카메라-라이다 캘리브레이션 방법은, 2D 대응점 검출단계(S100), 3D 대응점 검출단계(S200), 변환행렬 도출단계(S300)를 포함한다.
먼저, 패턴 보드는 지면에 대해 일정 각도로 기울어진 상태로 카메라 및 라이다에 의해 촬영된다. 촬영된 2D 이미지와 3차원 포인트 클라우드는 2D 대응점 검출부(100)와 3D 대응점 검출부(200)로 전송된다.
다음, 2D 이미지에 대해 해리스 코너 검출 알고리즘을 적용하여 패턴 보드의 꼭지점을 제1 대응점으로 검출한다. (S100)
다음, 3차원 포인트 클라우드로부터 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점(꼭지점)을 제2 대응점으로 검출한다. (S200)
이러한, S200 단계는, 데이터 필터링과정(S210), 3D 평면 도출과정(S220),직선 도출과정(S230), 3D 대응점 검출과정(S240)을 포함할 수 있다.
데이터 필터링과정(S210)에서는, 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 3차원 포인트 클라우드에서 패턴 보드를 제외한 나머지 배경에 해당하는 포인트들을 노이즈 처리하고, RANSAC 알고리즘 기반 평면 모델 분할 알고리즘을 이용하여 패턴 보드에 해당하는 포인트 정보만이 남도록 한다.
3D 평면 도출과정(S220)에서는, RANSAC 알고리즘 기반의 평면 피팅 알고리즘을 이용하여 3D 평면을 도출한다. 즉, 3차원 평면 방정식 (ax + by + cz = d)의 파라미터 a, b, c, d를 구한다.
직선 도출과정(S230)에서는, 라이다의 채널별 첫번째 데이터와 마지막 데이터를 구하고, 이를 3차원 평면 방정식 (ax + by + cz = d)에 투영(Projection)시킨 후, RANSAC 기반 선 피팅 알고리즘을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출한다.
3D 대응점 검출과정(S240)에서는, 도출된 패턴 보드의 모서리 직선들의 교점을 제2 대응점으로 검출한다.
다음, 상기와 같이 구해진 대응점 세트(U, V), (X, Y, Z)를 이용하여 Extrinsic Calibration을 수행하여 최종 캘리브레이션 파라미터(변환행렬(R, t))를 구한다. (S300)
상기와 같은 본 발명에 따르면, 라이다 센서의 분해능이 떨어져서 발생하는 대응점 검출의 어려움을 해결하고, 간단한 사각형 형태의 패턴 보드와 적은 대응점 검출만으로도 종래보다 쉽고 빠르며 정확한 캘리브레이션 결과를 얻을 수 있다.
도 15는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 15의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 카메라-라이다 캘리브레이션 장치) 일 수 있다.
도 15의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 본 발명은 하드웨어와 결합되어, 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다.
기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다.
이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100 : 2D 대응점 검출부
200 : 3D 대응점 검출부
210 : 데이터 필터모듈 220 : 3D 평면 도출모듈
230 : 직선 도출모듈 240 : 3D 대응점 검출모듈
300 : 변환행렬 도출부

Claims (10)

  1. 카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지에 해리스 코너 검출 알고리즘을 이용하여 상기 패턴 보드의 꼭지점인 제1 대응점을 검출하는 2D 대응점 검출부;
    라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출부; 및,
    상기 제1 대응점과 상기 제2 대응점을 이용하여 Extrinsic Calibration을 수행하여 변환행렬을 도출하는 변환행렬 도출부;를 포함하며,
    상기 3D 대응점 검출부는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하며,
    상기 패턴 보드는 지면에 대해 일정 각도로 기울어진 상태로 촬영되고,
    상기 3D 대응점 검출부는, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드에 포함된 상기 패턴 보드 이외의 노이즈를 제거하는 데이터 필터모듈; 상기 노이즈 제거된 3차원 포인트 클라우드에서 상기 패턴 보드에 대한 3D 평면 방정식을 도출하고 상기 3D 평면 방정식을 이용하여 상기 패턴 보드에 대한 3D 평면을 도출하는 3D 평면 도출모듈; 상기 도출된 3D 평면에서 상기 패턴 보드의 모서리에 대한 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 상기 패턴 보드의 모서리를 도출하는 직선 도출모듈; 상기 도출된 상기 패턴 보드의 모서리의 교점을 상기 제2 대응점으로 검출하는 3D 대응점 검출모듈;을 포함하며,
    상기 데이터 필터모듈은 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한 다음, RANSAC 기반 평면 모델 분할 알고리즘(Plane Model Segmentation Algorithm)을 이용하여 상기 패턴 보드에 해당하는 포인트 정보가 남도록 하고,
    상기 3D 평면 도출모듈은 RANSAC 기반 평면 피팅 알고리즘(Plane Fitting Algorithm)을 이용하여 3D 평면을 도출하며,
    상기 직선 도출모듈은 상기 패턴 보드의 모서리에 위치한 포인트들의 좌표를 구하기 위해 라이다의 채널별 첫번째 데이터와 마지막 데이터를 구한 후, RANSAC 기반 선 피팅 알고리즘(Line Fitting Algorithm)을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 컴퓨팅 수단에 의해 수행되며,
    카메라에 의해 획득된, 패턴 보드를 포함하는 2D 이미지에 해리스 코너 검출 알고리즘을 이용하여 상기 패턴 보드의 꼭지점인 제1 대응점을 검출하는 2D 대응점 검출단계;
    라이다에 의해 획득된, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드로부터 상기 제1 대응점과 대응하는 제2 대응점을 검출하는 3D 대응점 검출단계; 및,
    상기 제1 대응점과 상기 제2 대응점을 이용하여 Extrinsic Calibration을 수행하여 변환행렬을 도출하는 변환행렬 도출단계;를 포함하며,
    상기 3D 대응점 검출단계는, 상기 3차원 포인트 클라우드로부터 상기 패턴 보드에 대한 3D 평면을 도출하고, 도출된 3D 평면에서 상기 패턴 보드의 모서리를 도출하고, 도출된 모서리의 교점을 상기 제2 대응점으로 검출하며,
    상기 패턴 보드는 지면에 대해 일정 각도로 기울어진 상태로 촬영되고,
    상기 3D 대응점 검출단계는, 상기 패턴 보드를 포함하는 3차원 포인트 클라우드에 포함된 상기 패턴 보드 이외의 노이즈를 제거하는 데이터 필터과정; 상기 노이즈 제거된 3차원 포인트 클라우드에서 상기 패턴 보드에 대한 3D 평면 방정식을 도출하고 상기 3D 평면 방정식을 이용하여 상기 패턴 보드에 대한 3D 평면을 도출하는 3D 평면 도출과정; 상기 도출된 3D 평면에서 상기 패턴 보드의 모서리에 대한 직선 방정식을 도출하고 도출된 직선 방정식을 이용하여 상기 패턴 보드의 모서리를 도출하는 직선 도출과정; 상기 도출된 상기 패턴 보드의 모서리의 교점을 상기 제2 대응점으로 검출하는 3D 대응점 검출과정;을 포함하며,
    상기 데이터 필터과정은 미리 설정된 라이다로부터 패턴 보드까지의 거리값을 이용하여 1차 필터링을 수행한 다음, RANSAC 기반 평면 모델 분할 알고리즘(Plane Model Segmentation Algorithm)을 이용하여 상기 패턴 보드에 해당하는 포인트 정보가 남도록 하며,
    상기 3D 평면 도출과정은 RANSAC 기반 평면 피팅 알고리즘(Plane Fitting Algorithm)을 이용하여 3D 평면을 도출하며,
    상기 직선 도출과정은 상기 패턴 보드의 모서리에 위치한 포인트들의 좌표를 구하기 위해 라이다의 채널별 첫번째 데이터와 마지막 데이터를 구한 후, RANSAC 기반 선 피팅 알고리즘(Line Fitting Algorithm)을 수행하여 패턴 보드의 모서리에 대한 직선 방정식들을 도출하는 것
    을 특징으로 하는 카메라-라이다 캘리브레이션 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020210113255A 2021-08-26 2021-08-26 카메라-라이다 캘리브레이션 장치 및 방법 KR102556759B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210113255A KR102556759B1 (ko) 2021-08-26 2021-08-26 카메라-라이다 캘리브레이션 장치 및 방법
PCT/KR2021/095119 WO2023027268A1 (ko) 2021-08-26 2021-12-13 카메라-라이다 캘리브레이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210113255A KR102556759B1 (ko) 2021-08-26 2021-08-26 카메라-라이다 캘리브레이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230030955A KR20230030955A (ko) 2023-03-07
KR102556759B1 true KR102556759B1 (ko) 2023-07-17

Family

ID=85323034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210113255A KR102556759B1 (ko) 2021-08-26 2021-08-26 카메라-라이다 캘리브레이션 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102556759B1 (ko)
WO (1) WO2023027268A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102626574B1 (ko) * 2023-06-20 2024-01-22 주식회사 모빌테크 카메라 및 라이다의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN117872330B (zh) * 2024-03-11 2024-05-31 安徽大学 面向复杂环境的无人驾驶多激光雷达标定与融合建图方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052585A (ja) * 2018-09-25 2020-04-02 クラリオン株式会社 区画線認識装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049361A (ko) * 2012-10-17 2014-04-25 한국과학기술원 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
KR101565900B1 (ko) * 2013-12-16 2015-11-05 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
KR102647929B1 (ko) 2019-01-03 2024-03-15 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
KR102014097B1 (ko) * 2019-01-16 2019-08-26 주식회사 나노시스템즈 스캐너와 카메라의 캘리브레이션 시스템
KR20210057285A (ko) * 2019-11-11 2021-05-21 경북대학교 산학협력단 3차원 위치 보정 시스템 및 3차원 위치 보정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052585A (ja) * 2018-09-25 2020-04-02 クラリオン株式会社 区画線認識装置

Also Published As

Publication number Publication date
KR20230030955A (ko) 2023-03-07
WO2023027268A1 (ko) 2023-03-02

Similar Documents

Publication Publication Date Title
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
CN111024040B (zh) 距离估计方法和设备
US9519968B2 (en) Calibrating visual sensors using homography operators
KR102556759B1 (ko) 카메라-라이다 캘리브레이션 장치 및 방법
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
US11080878B2 (en) Method and apparatus for detecting 3D object from 2D image
US9679384B2 (en) Method of detecting and describing features from an intensity image
JP5182229B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111665842A (zh) 一种基于语义信息融合的室内slam建图方法及系统
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
KR20100000671A (ko) 영상 처리 방법
JP5972498B2 (ja) エッジ検出装置、エッジ検出方法およびプログラム
JP4429461B2 (ja) 画像処理装置、平面検出方法、及び平面検出プログラムを記録した記録媒体
US20110235898A1 (en) Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof
TWI716874B (zh) 影像處理裝置、影像處理方法、及影像處理程式
CN111046719A (zh) 用于转换图像的设备和方法
US20210407189A1 (en) Information processing apparatus, information processing method, and program
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质
CN115533902A (zh) 一种基于视觉引导的拆垛方法、装置、电子设备及系统
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
SE541083C2 (en) Method and image processing system for facilitating estimation of volumes of load of a truck
CN115683109A (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
US9721151B2 (en) Method and apparatus for detecting interfacing region in depth image
CN114548136B (zh) 一种反光二维码图片的解析方法、装置、设备和介质
KR102389295B1 (ko) 인스턴스 분할 기반 단일 실내 영상으로부터의 물체 크기 추정 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant