KR102490521B1 - 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 - Google Patents

라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 Download PDF

Info

Publication number
KR102490521B1
KR102490521B1 KR1020210085341A KR20210085341A KR102490521B1 KR 102490521 B1 KR102490521 B1 KR 102490521B1 KR 1020210085341 A KR1020210085341 A KR 1020210085341A KR 20210085341 A KR20210085341 A KR 20210085341A KR 102490521 B1 KR102490521 B1 KR 102490521B1
Authority
KR
South Korea
Prior art keywords
coordinate system
lidar
target object
camera
vector
Prior art date
Application number
KR1020210085341A
Other languages
English (en)
Other versions
KR20230003803A (ko
Inventor
김재승
임도영
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020210085341A priority Critical patent/KR102490521B1/ko
Publication of KR20230003803A publication Critical patent/KR20230003803A/ko
Application granted granted Critical
Publication of KR102490521B1 publication Critical patent/KR102490521B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

본 발명은 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 관한 것으로, 보다 상세하게는 레이저 펄스를 이용하는 라이다(LiDAR)와 가시광선영역의 이미지를 촬영하는 카메라의 각 좌표계에서의 벡터 매칭을 통해 두 센서 간의 좌표계 변환 관계를 찾아주는 자동 캘리브레이션(Calibration)에 관한 것이다.
특히, 본 발명은 라이다좌표계와 카메라좌표계의 벡터 매칭을 통해, 라이다좌표계에서 카메라좌표계로 변환하는 회전행렬과 이동행렬을 산출하고, 이러한 캘리브레이션을 통해, 자율주행에서 가장 기본이 되는 인지영역에서의 정확한 객체 인식이 가능하도록 한다.
또한, 본 발명은 백터를 이용한 캘리브레이션을 통해, 라이다의 점군데이터와 카메라의 영상이미지를 융합할 수 있도록 함으로써, 자율주행의 인지영역에서 객체의 인식을 정밀하게 수행하고, 이를 기반으로 3차원 고정밀 지도(HD map)의 정밀도를 크게 향상시킬 수 있다.
따라서 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행용 센서 캘리브레이션 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법{Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system}
본 발명은 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 관한 것으로서, 보다 상세하게는 서로 다른 방식의 자율주행용 센서에 의해 획득된 데이터 간의 좌표계 변환 관계를 찾아주는 자동 캘리브레이션(Calibration)에 관한 것이다.
구체적으로, 본 발명은 레이저 펄스를 이용하는 라이다(LiDAR)와 가시광선영역의 이미지를 촬영하는 카메라의 각 좌표계에서의 벡터 매칭을 통해, 자율주행에서 가장 기본이 되는 인지영역에서의 정확한 객체 인식이 가능하도록 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계(인지영역)와, 인식된 환경으로부터 주행경로를 계획하는 단계(판단영역), 그리고 계획된 경로를 따라 주행하는 단계(제어영역)로 구성될 수 있다.
특히, 인지영역의 경우 자율주행을 위해 가장 처음 수행되는 기반 기술이며, 이러한 인지영역에서의 기술이 정확히 이루어져야만 다음 단계인 판단영역 및 제어영역에서도 정확한 수행이 가능하게 된다.
인지영역의 기술로는, GPS를 이용하여 차량의 정확한 위치를 파악하는 기술과, 라이다(LiDAR) 및 카메라를 통해 획득된 영상정보를 통해 주위환경에 대한 정보를 획득하는 기술 등이 있다.
이외에도 레이다(RADAR)나 IMU(Inertial Measurement Unit) 등의 여러 센서들을 통해 들어오는 정보들을 사용하여 주변 환경을 인식하는 기술들이 사용될 수 있다.
이때, 각각의 센서들을 통해 들어오는 정보들은, 각 센서의 위치 및 좌표계가 서로 다르기 때문에, 이들을 하나의 좌표계로 통일시켜주는 캘리브레이션 과정이 필요하며, 이러한 캘리브레이션 과정을 거처야만 각 센서들로부터 들어온 정보를 통합하여 주변 환경을 인식하고 판단 및 제어하는 단계로 이어지는 자율주행 프로세스를 수행할 수 있게 된다.
대한민국 등록특허공보 제10-2249769호 '2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법'
이에, 본 발명은 서로 다른 방식의 자율주행용 센서에 의해 획득된 데이터 간의 좌표계 변환 관계를 자동으로 찾아줄 수 있는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법을 제공하는데 목적이 있다.
구체적으로, 본 발명은 레이저 펄스를 이용하는 라이다(LiDAR)와 가시광선영역의 이미지를 촬영하는 카메라의 각 좌표계에서의 벡터 매칭을 통해, 자율주행에서 가장 기본이 되는 인지영역에서의 정확한 객체 인식이 가능하도록 할 수 있는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법을 제공하는데 목적이 있다.
특히, 본 발명은 라이다좌표계와 카메라좌표계의 벡터 매칭을 통해, 라이다좌표계에서 카메라좌표계로 변환하는 회전행렬과 이동행렬을 산출하고, 이러한 행렬들을 이용하여 두 좌표계간의 캘리브레이션이 정확하게 수행될 수 있는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법은, 라이다(LiDAR)와 카메라를 포함하는 자율주행센서를 이용하여 동일 시간에 대상객체에 대한 센서별 데이터를 획득하는 센서데이터 획득단계; 상기 라이다를 통해 획득된 점군데이터에 기초하여 라이다좌표계를 기준으로 대상객체의 특징요소를 산출하는 라이다좌표계 특징요소 산출단계; 상기 카메라를 통해 획득된 영상데이터에 기초하여 카메라좌표계를 기준으로 대상객체의 특징요소를 산출하는 카메라좌표계 특징요소 산출단계; 및 상기 라이다좌표계의 특징요소와 카메라좌표계의 특징요소에 기초하여 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬 및 이동행렬을 산출하는 변환행렬 산출단계;를 포함한다.
또한, 상기 라이다좌표계 특징요소 산출단계는, 상기 라이다를 통해 획득된 점군데이터 중 대상객체에 대한 포인트를 추출하는 객체점군데이터 추출과정; 및 상기 객체점군데이터에 기초하여, 라이다좌표계에서의 대상객체에 대한 특징요소를 산출하는 특징요소 산출과정;을 포함할 수 있다.
또한, 상기 대상객체는 사각평면으로 형성되고, 상기 특징요소는 상기 대상객체에 대한 평면방정식 및 모서리의 직선벡터를 포함하며, 상기 특징요소 산출과정은, 상기 객체점군데이터에 기초하여 대상객체에 대한 평면의 법선벡터를 산출하는 법선벡터 산출과정; 및 상기 객체점군데이터에 기초하여 대상객체에 대한 직선벡터를 산출하는 직선벡터 산출과정;을 포함할 수 있다.
또한, 상기 직선벡터 산출과정은, 무작위로 샘플링된 포인트들로부터, 해당 포인트들의 경향성을 기준으로 선택된 주포인트들에 기초하여 상기 직선벡터를 산출할 수 있다.
또한, 상기 법선벡터 산출과정은, 상기 객체점군데이터에 기초하여 대상객체에 대한 평면방정식을 산출한 후, 해당 평면방정식으로부터 법선벡터를 산출하며, 상기 직선벡터 산출과정은, 상기 대상객체의 평면상으로 사영(Projection)시킨 직선벡터를 산출할 수 있다.
또한, 상기 카메라좌표계 특징요소 산출단계는, 상기 카메라를 통해 획득된 영상데이터에서 대상객체의 특징점과, 월드좌표계를 기준으로 대상객체의 특징점을 추출하는 특징점 추출과정; 및 각 좌표계의 특징점에 기초하여, 카메라좌표계에서의 대상객체에 대한 특징요소를 산출하는 특징요소 산출과정;을 포함할 수 있다.
또한, 상기 특징요소 산출과정은, 상기 월드좌표계의 특징점에서 카메라좌표계의 특징점으로 변환하는 회전행렬 및 이동행렬 중 적어도 하나를 산출하는 행렬산출과정;을 포함하고, 상기 회전행렬 및 이동행렬 중 적어도 하나를 이용하여, 월드좌표계에서의 대상객체에 대한 특징요소로부터 카메라좌표계에서의 대상객체에 대한 특징요소를 산출할 수 있다.
또한, 상기 행렬산출과정은, 각 좌표계별로 대응되는 특징점에 대하여, 카메라의 자세정보를 반영하여 해당 회전행렬 및 이동행렬 중 적어도 하나를 산출할 수 있다.
또한, 상기 대상객체는 사각평면으로 형성되고, 상기 특징요소는, 각 좌표계별 대상객체에 대한 법선벡터, 직선벡터 및 특징점 중 적어도 하나를 포함하고, 상기 변환행렬 산출단계는, 상기 라이다좌표계와 카메라좌표계에서 각각 산출된 법선벡터 및 직선벡터 중 적어도 하나를 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬을 산출하는 회전행렬 산출과정; 및 상기 라이다좌표계와 카메라좌표계에서 각각 산출된 특징점을 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 이동행렬을 산출하는 이동행렬 산출과정;을 포함할 수 있다.
또한, 상기 회전행렬 산출과정은, 상기 라이다좌표계에서 카메라좌표계로 변환했을 때, 오차가 가장 작은 회전행렬을 최적화 회전행렬로 선택할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 서로 다른 방식의 자율주행용 센서에 의해 획득된 데이터 간의 좌표계 변환 관계를 자동으로 찾아줄 수 있는 장점이 있다.
구체적으로, 본 발명은 레이저 펄스를 이용하는 라이다(LiDAR)와 가시광선영역의 이미지를 촬영하는 카메라의 각 좌표계에서의 벡터 매칭을 통해, 자율주행에서 가장 기본이 되는 인지영역에서의 정확한 객체 인식이 가능하도록 할 수 있는 장점이 있다.
이를 통해, 본 발명은 라이다와 카메라 사이의 좌표계와 위치 관계를 통일하는 방법을 제공하고, 이를 적용한 시스템을 제공할 수 있도록 함으로써, 자율주행 분야에서의 신뢰도를 크게 향상시킬 수 있다.
특히, 본 발명은 라이다좌표계와 카메라좌표계의 벡터 매칭을 통해, 라이다좌표계에서 카메라좌표계로 변환하는 회전행렬과 이동행렬을 산출하고, 이러한 행렬들을 이용하여 두 좌표계간의 캘리브레이션이 정확하게 수행될 수 있는 장점이 있다.
이에 본 발명은 두 좌표계간의 캘리브레이션에 요구되는 시간을 월등히 단축시킬 수 있고, 정합의 오차 또한 최소화할 수 있는 장점이 있다.
이를 통해, 본 발명은 라이다의 점군데이터와 카메라의 영상이미지를 동시에 사용해야 하는 자율주행에서, 인지영역에서의 가장 중요한 전처리과정을 신속하고 정확하게 수행할 수 있는 장점이 있다.
또한, 본 발명은 백터를 이용한 캘리브레이션을 통해, 라이다의 점군데이터와 카메라의 영상이미지를 융합할 수 있도록 함으로써, 자율주행의 인지영역에서 객체의 인식을 정밀하게 수행하고, 이를 기반으로 3차원 고정밀 지도(HD map)의 정밀도를 크게 향상시킬 수 있는 장점이 있다.
또한, 본 발명은 대상객체의 특징점 및 벡터성분을 이용하여 캘리브레이션에 필요한 연산을 수행하므로, 연산과정이 매우 효율적일 뿐만 아니라 센서의 종류에 무관하게 동일 내지 유사한 방법으로 캘리브레이션을 수행할 수 있다는 장점이 있다.
결과적으로, 본 발명은 다양한 자율주행센서에 대한 각 좌표계의 변환을 쉽고 빠르며 정확하게 수행할 수 있는 장점이 있다.
따라서 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행용 센서 캘리브레이션 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1의 단계 'S200'을 보다 구체적으로 설명하는 흐름도이다.
도 3은 도 1의 단계 'S300'을 보다 구체적으로 설명하는 흐름도이다.
도 4는 도 1의 단계 'S400'을 보다 구체적으로 설명하는 흐름도이다.
도 5 내지 도 7은 도 1을 설명하기 위한 도면이다.
본 발명에 따른 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법의 일 실시예를 나타내는 흐름도이다.
도 1을 참조하면, 본 발명의 캘리브레이션 방법은 센서데이터 획득단계(S100), 라이다좌표계 특징요소 산출단계(S200), 카메라좌표계 특징요소 산출단계(S300) 및 변환행렬 산출단계(S400)를 포함한다.
센서데이터 획득단계(S100)는 라이다(LiDAR)와 카메라를 포함하는 자율주행센서를 이용하여 동일 시간에 대상객체에 대한 센서별 데이터를 획득하는 과정으로, 라이다와 카메라 이외에도 다양한 자율주행용 센서들이 선택될 수 있으며, 대상객체는 캘리브레이션을 위해 별도로 제작되어 사용될 수 있다.
라이다좌표계 특징요소 산출단계(S200)는 라이다를 통해 획득된 점군데이터에 기초하여 라이다좌표계를 기준으로 대상객체의 특징요소를 산출하는 과정으로, 특징요소는 대상객체의 형상 등에 따라 다양하게 선택될 수 있다.
예를 들어, 대상객체가 도 5의 (b)에 나타난 바와 같이 격자무늬가 형성된 4각형 형태의 플레이트인 경우, 특징요소는 대상객체의 평면방정식, 평면에 대한 법선벡터, 모서리의 직선벡터 등을 포함할 수 있다.
카메라좌표계 특징요소 산출단계(S300)는 카메라를 통해 획득된 영상데이터에 기초하여 카메라좌표계를 기준으로 대상객체의 특징요소를 산출하는 과정이다.
예를 들어, 카메라좌표계의 특징요소는 라이다좌표계와의 캘리브레이션을 위해 앞서 라이다좌표계에서 선택된 특징요소와 동일 내지 유사한 것을 선택할 수 있다.
변환행렬 산출단계(S400)는 라이다좌표계의 특징요소와 카메라좌표계의 특징요소에 기초하여 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬 및 이동행렬을 산출하는 과정으로, 필요시 월드좌표계를 이용할 수 있다.
이하에서는, 구체적인 예를 참조하여 도 1에 나타난 단계들을 보다 구체적으로 살펴보기로 한다.
도 2는 도 1의 단계 'S200'을 보다 구체적으로 설명하는 흐름도이다.
도 2를 참조하면, 라이다좌표계 특징요소 산출단계(S200)는 객체점군데이터 추출과정(S210) 및 특징요소 산출과정(S220)을 포함할 수 있다.
먼저, 객체점군데이터 추출과정(S210)에서는 라이다를 통해 획득된 점군데이터 중 대상객체에 대한 포인트를 추출할 수 있다.
예를 들어, 도 5의 (b)에 나타난 바와 같은 4각형의 평면인 대상객체를 포함하는 주변의 점군데이터는 도 5의 (a)와 같이 수집될 수 있다.
이에, 도 6의 (a)에서 왼쪽에 나타난 바와 같이 수집된 주변의 점군데이터 중 대상객체에 대한 포인트(분홍색 박스)만을 추출할 수 있다(S210).
이후, 추출된 대상객체의 점군으로부터 대상객체의 평면방적식을 구할 수 있다. 이때, 대상객체의 평면방적식은 RANSAC(Random Sample Consessus; 무작위 샘플 일치 방법)을 이용하여 구할 수 있다.
한편, 점군데이터로부터 유효한 데이터를 획득하는 과정에는 최소자승법도 있으나, 이 경우 전체 점군(포인트)의 평균값을 이용하게 되므로 오류로 인해 포함된 점군들로 인해 정확한 형상을 얻기에는 부족함이 있다.
이에 반해, RANSAC을 이용하게 되면 오차가 발생한 점군을 정상범위로 보정하여 추정하는 방식으로 계산하게 되므로, 대상객체의 외형에 대한 데이터를 정확하게 획득할 수 있다.
이에, 본 발명에서는 객체의 점군데이터 중 모서리부분에 해당하는 점군(포인트)만을 선택한 후, RANSAC을 이용하여 대상객체의 모서리에 대한 직선벡터를 산출할 수 있다(S220).
다시 말해, 대상객체는 사각평면으로 형성될 수 있고, 특징요소는 대상객체에 대한 평면방정식 및 모서리의 직선벡터를 포함할 수 있다.
그리고, 특징요소 산출과정(S220)은 객체점군데이터에 기초하여 대상객체에 대한 평면방적식을 산출 한 후, 이를 이용하여 평면의 법선벡터를 산출하는 법선벡터 산출과정(S221)과, 객체점군데이터에 기초하여 대상객체에 대한 직선벡터를 산출하는 직선벡터 산출과정(S222)을 포함할 수 있다.
그리고, 직선벡터 산출과정(S222)은 앞서 설명한 바와 같이 RANSAC에 의해, 무작위로 샘플링된 포인트들로부터, 해당 포인트들의 경향성을 기준으로 선택된 주포인트들에 기초하여 해당 직선벡터를 산출할 수 있다.
한편, 직선벡터를 산출하는 과정에서 앞서 선택된 대상객체의 모서리 부분에 해당하는 점군들을 사용한다 하더라도, 해당 직선벡터들이 대상객체의 평면 위에 있는 것은 아니며, 일부의 직선벡터들은 대상객체의 가장자리 측면에 있을 수 있다.
이에, 본 발명에서는 앞서 산출된 4개(대상객체가 4각형인 경우)의 직선벡터들을 사영(Projection, 투영)시킨 후, 도 6의 (a)에 나타난 바와 같이 평면위로 사영된 직선벡터를 산출할 수 있다.
도 6의 (a)에서 오른쪽 이미지에 포함된 변수는, 각 벡터들의 교점(P1 L, P2 L, P3 L, P4 L)과 평면의 법선벡터(nL) 및 모서리에 해당하는 4개의 직선벡터(d1 L, d2 L, d3 L, d4 L)를 포함할 수 있다.
도 3은 도 1의 단계 'S300'을 보다 구체적으로 설명하는 흐름도이다.
도 3을 참조하면, 카메라좌표계 특징요소 산출단계(S300)는 특징점 추출과정(S310) 및 특징요소 산출과정(S320)을 포함할 수 있다.
먼저, OpenCV(Open Source Computer Vision)의 코너검출을 이용하여, 도 6의 (b)에 나타난 바와 같이 카메라를 통해 획득된 영상데이터에서 대상객체의 특징점(4개의 꼭짓점)에 대한 좌표를 구할 수 있다(S310).
한편, 대상객체는 본 발명의 캘리브레이션을 위해 제작된 것으로, 대상객체의 실제크기를 알 수 있으므로, 대상객체는 도 7의 (a)에 나타난 바와 같이 월드좌표계의 원점과 두 축에 접한 상태로 생각할 수 있다.
이에, 월드좌표계에서의 네 꼭짓점은 원점과 사각판의 가로 및 세로 길이에 정해지므로(S310), 대상객체의 법선 벡터(nW)를 구할 수 있다.
그리고, 월드좌표계에서의 네 꼭짓점과 카메라좌표계이서의 네 꼭짓점이 서로 대응될 수 있으므로, SolvePnP를 사용하여 변환관계식을 계산할 수 있다.
다시 말해, 도 7의 (a)에 나타난 바와 같이 월드좌표계에서 카메라좌표계로 변환하는 회전행렬(RW C)과 이동행렬(TW C)을 계산할 수 있으며, 이를 이용하여 카메라좌표계에서의 대상객체에 대한 특징요소(법선벡터 및 직선벡터)를 산출할 수 있다(S320).
다시 말해, 특징요소 산출과정(S320)은 월드좌표계의 특징점에서 카메라좌표계의 특징점으로 변환하는 회전행렬 및 이동행렬 중 적어도 하나를 산출할 수 있다(S321).
이때, 행렬산출과정(S321)은 각 좌표계별로 대응되는 특징점에 대하여, 카메라의 자세정보를 반영하여 해당 회전행렬 및 이동행렬 중 적어도 하나를 산출할 수 있다.
그리고, 회전행렬 및 이동행렬 중 적어도 하나를 이용하여, 월드좌표계에서의 대상객체에 대한 특징요소로부터 카메라좌표계에서의 대상객체에 대한 특징요소를 산출할 수 있다(S322).
도 4는 도 1의 단계 'S400'을 보다 구체적으로 설명하는 흐름도이다.
도 4를 참조하면, 변환행렬 산출단계(S400)는 회전행렬 산출과정(S410) 및 이동행렬 산출과정(S420)을 포함할 수 있다.
먼저, 회전행렬 산출과정(S410)을 살펴보면, 라이다좌표계와 카메라좌표계에서 각각 산출된 법선벡터 및 직선벡터 중 적어도 하나를 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬을 산출할 수 있다.
보다 구체적으로, 도 7의 (b)에 나타난 바와 같이 라이다좌표계와 카메라좌표계에서 각각 구한 평면의 법선벡터와 모서리에 대한 4개의 직선벡터를 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬(RL C)의 최적화된 값(
Figure 112021075376768-pat00001
)을 수학식1을 이용하여 계산할 수 있다.
[수학식 1]
Figure 112021075376768-pat00002
여기서, i는 취즉된 라이다와 카메라의 데이터 셋의 수이고, j는 대상객체의 모서리 번호이다.
이러한 수학식 1을 이용하면 라이다좌표계에서 카메라좌표계로 변환됐을 때, 평면의 법선벡터와 4개의 직선벡터의 오차가 가장 작은 회전행렬(RL C)을 찾을 수 있다.
다시 말해, 회전행렬 산출과정(S410)은 라이다좌표계에서 카메라좌표계로 변환했을 때, 오차가 가장 작은 회전행렬을 최적화 회전행렬로 할 수 있다.
이를 위하여, 수학식 1을 RMSE(Root Mean Square Error; 평균 제곱근 편차)형태로 표현한 수학식 2를 이용하여 오차를 확인할 수 있다.
[수학식 2]
Figure 112021075376768-pat00003
이후, 라이다좌표계에서의 첫 번째 꼭짓점(P1 L)과 카메라좌표계에서의 첫 번째 꼭짓점(P1 C), 그리고 수학식 1에서 계산된 최적화 회전행렬(
Figure 112021075376768-pat00004
)을 이용하여 수학식 3과 같이 이동행렬(TL C)을 계산할 수 있다.
[수학식 3]
Figure 112021075376768-pat00005
다시 말해, 라이다좌표계와 카메라좌표계에서 각각 산출된 특징점을 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 이동행렬을 산출할 수 있다(S420).
이상에서 본 발명에 의한 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.

Claims (10)

  1. 라이다(LiDAR)와 카메라를 포함하는 자율주행센서를 이용하여 동일 시간에 대상객체에 대한 센서별 데이터를 획득하는 센서데이터 획득단계;
    상기 라이다를 통해 획득된 점군데이터에 기초하여 라이다좌표계를 기준으로 대상객체의 특징요소를 산출하는 라이다좌표계 특징요소 산출단계;
    상기 카메라를 통해 획득된 영상데이터에 기초하여 카메라좌표계를 기준으로 대상객체의 특징요소를 산출하는 카메라좌표계 특징요소 산출단계; 및
    상기 라이다좌표계의 특징요소와 카메라좌표계의 특징요소에 기초하여 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬 및 이동행렬을 산출하는 변환행렬 산출단계;를 포함하고,
    상기 대상객체는 사각평면으로 형성되며,
    상기 특징요소는,
    각 좌표계별 대상객체에 대한 법선벡터, 직선벡터 및 특징점 중 적어도 하나를 포함하고,
    상기 변환행렬 산출단계는,
    상기 라이다좌표계와 카메라좌표계에서 각각 산출된 법선벡터 및 직선벡터 중 적어도 하나를 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 회전행렬을 산출하는 회전행렬 산출과정; 및
    상기 라이다좌표계와 카메라좌표계에서 각각 산출된 특징점을 이용하여, 라이다좌표계에서 카메라좌표계로 변환시키는 이동행렬을 산출하는 이동행렬 산출과정;을 포함하며,
    상기 회전행렬 산출과정은,
    수학식 1을 이용하여 상기 라이다좌표계에서 카메라좌표계로 변환했을 때, 오차가 가장 작은 회전행렬을 최적화 회전행렬로 선택하고,
    [수학식 1]
    Figure 112022020788238-pat00013

    (여기서, RL C는 회전행렬이고, d는 직선 벡터이며, n은 법선 벡터이고, i는 취즉된 라이다와 카메라의 데이터 셋의 수이고, j는 대상객체의 모서리 번호이다.)
    상기 회전행렬 산출과정은,
    수학식 2를 이용하여 상기 수학식 1로 산출된 상기 최적화 회전행렬의 오차를 확인하며,
    [수학식 2]
    Figure 112022020788238-pat00014

    (여기서, RL C는 회전행렬이고, d는 직선 벡터이며, n은 법선 벡터이고, i는 취즉된 라이다와 카메라의 데이터 셋의 수이고, j는 대상객체의 모서리 번호이다.)
    상기 이동행렬 산출과정은,
    상기 대상객체에 대한 라이다좌표계에서의 첫 번째 꼭짓점과 상기 대상객체에 대한 카메라좌표계에서의 첫 번째 꼭짓점 및 상기 수학식 1에서 계산된 회전행렬을 포함하는 수학식 3을 이용하는,
    [수학식 3]
    Figure 112022020788238-pat00015

    (여기서, RL C는 회전행렬이고, P는 꼭짓점이다.)
    라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
  2. 제 1항에 있어서,
    상기 라이다좌표계 특징요소 산출단계는,
    상기 라이다를 통해 획득된 점군데이터 중 대상객체에 대한 포인트를 추출하는 객체점군데이터 추출과정; 및
    상기 객체점군데이터에 기초하여, 라이다좌표계에서의 대상객체에 대한 특징요소를 산출하는 특징요소 산출과정;을 포함하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
  3. 제 2항에 있어서,
    상기 대상객체는 사각평면으로 형성되고,
    상기 특징요소는 상기 대상객체에 대한 평면방정식 및 모서리의 직선벡터를 포함하며,
    상기 특징요소 산출과정은,
    상기 객체점군데이터에 기초하여 대상객체에 대한 평면의 법선벡터를 산출하는 법선벡터 산출과정; 및
    상기 객체점군데이터에 기초하여 대상객체에 대한 직선벡터를 산출하는 직선벡터 산출과정;을 포함하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
  4. 제 3항에 있어서,
    상기 직선벡터 산출과정은,
    무작위로 샘플링된 포인트들로부터, 해당 포인트들의 경향성을 기준으로 선택된 주포인트들에 기초하여 상기 직선벡터를 산출하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
  5. 제 3항에 있어서,
    상기 법선벡터 산출과정은,
    상기 객체점군데이터에 기초하여 대상객체에 대한 평면방정식을 산출한 후, 해당 평면방정식으로부터 법선벡터를 산출하며,
    상기 직선벡터 산출과정은,
    상기 대상객체의 평면상으로 사영(Projection)시킨 직선벡터를 산출하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
  6. 제 1항에 있어서,
    상기 카메라좌표계 특징요소 산출단계는,
    상기 카메라를 통해 획득된 영상데이터에서 대상객체의 특징점과, 월드좌표계를 기준으로 대상객체의 특징점을 추출하는 특징점 추출과정; 및
    각 좌표계의 특징점에 기초하여, 카메라좌표계에서의 대상객체에 대한 특징요소를 산출하는 특징요소 산출과정;을 포함하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
  7. 제 6항에 있어서,
    상기 특징요소 산출과정은,
    상기 월드좌표계의 특징점에서 카메라좌표계의 특징점으로 변환하는 회전행렬 및 이동행렬 중 적어도 하나를 산출하는 행렬산출과정;을 포함하고,
    상기 회전행렬 및 이동행렬 중 적어도 하나를 이용하여, 월드좌표계에서의 대상객체에 대한 특징요소로부터 카메라좌표계에서의 대상객체에 대한 특징요소를 산출하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
  8. 제 7항에 있어서,
    상기 행렬산출과정은,
    각 좌표계별로 대응되는 특징점에 대하여, 카메라의 자세정보를 반영하여 해당 회전행렬 및 이동행렬 중 적어도 하나를 산출하는 것을 특징으로 하는 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법.
  9. 삭제
  10. 삭제
KR1020210085341A 2021-06-30 2021-06-30 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 KR102490521B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210085341A KR102490521B1 (ko) 2021-06-30 2021-06-30 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210085341A KR102490521B1 (ko) 2021-06-30 2021-06-30 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법

Publications (2)

Publication Number Publication Date
KR20230003803A KR20230003803A (ko) 2023-01-06
KR102490521B1 true KR102490521B1 (ko) 2023-01-26

Family

ID=84924345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210085341A KR102490521B1 (ko) 2021-06-30 2021-06-30 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR102490521B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102626574B1 (ko) * 2023-06-20 2024-01-22 주식회사 모빌테크 카메라 및 라이다의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN117456013B (zh) * 2023-12-22 2024-03-05 江苏集萃深度感知技术研究所有限公司 基于对抗生成网络的雷视一体机自动标定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102012179B1 (ko) 2018-04-30 2019-08-20 충북대학교 산학협력단 3차원 평면 검출 기반의 라이다-카메라 캘리브레이션 장치 및 방법
KR102054455B1 (ko) 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR102249769B1 (ko) 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
GB2594111B (en) * 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102012179B1 (ko) 2018-04-30 2019-08-20 충북대학교 산학협력단 3차원 평면 검출 기반의 라이다-카메라 캘리브레이션 장치 및 방법
KR102054455B1 (ko) 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법

Also Published As

Publication number Publication date
KR20230003803A (ko) 2023-01-06

Similar Documents

Publication Publication Date Title
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
Mei et al. Calibration between a central catadioptric camera and a laser range finder for robotic applications
US10909395B2 (en) Object detection apparatus
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
US20110123135A1 (en) Method and device of mapping and localization method using the same
JP5109294B2 (ja) ３次元位置補正装置
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN112837383B (zh) 相机与激光雷达重标定方法、装置及计算机可读存储介质
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
Xie et al. Infrastructure based calibration of a multi-camera and multi-lidar system using apriltags
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
WO2021063756A1 (en) Improved trajectory estimation based on ground truth
EP1307705A1 (en) Height measurement apparatus
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
Yu et al. Registration and Fusion of UAV LiDAR System Sequence Images and Laser Point Clouds.
CN116429098A (zh) 低速无人飞行器视觉导航定位方法及系统

Legal Events

Date Code Title Description
GRNT Written decision to grant