KR102438490B1 - 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 - Google Patents

단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 Download PDF

Info

Publication number
KR102438490B1
KR102438490B1 KR1020200078349A KR20200078349A KR102438490B1 KR 102438490 B1 KR102438490 B1 KR 102438490B1 KR 1020200078349 A KR1020200078349 A KR 1020200078349A KR 20200078349 A KR20200078349 A KR 20200078349A KR 102438490 B1 KR102438490 B1 KR 102438490B1
Authority
KR
South Korea
Prior art keywords
sensor
coordinate transformation
coordinates
sensors
coordinate
Prior art date
Application number
KR1020200078349A
Other languages
English (en)
Other versions
KR20210116161A (ko
Inventor
임종우
이원명
원창희
Original Assignee
주식회사 멀티플아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 멀티플아이 filed Critical 주식회사 멀티플아이
Priority to PCT/KR2021/002642 priority Critical patent/WO2021182793A1/ko
Publication of KR20210116161A publication Critical patent/KR20210116161A/ko
Application granted granted Critical
Publication of KR102438490B1 publication Critical patent/KR102438490B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치가 개시된다. 개시된 이종 센서 캘리브레이션 방법은, 라이다 센서 및 복수의 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 라이다 센서 및 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터 및 상기 카메라 센서의 내부 파라미터를 생성하는 단계; 상기 제1좌표 변환 벡터를 이용하여, 월드 좌표계와 상기 센서 좌표계 사이의 제2좌표 변환 벡터 및 상기 체커보드 좌표계와 상기 월드 좌표계 사이의 제3좌표 변환 벡터를 생성하는 단계; 및 상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계를 포함한다.

Description

단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치{HETEROGENEOUS SENSORS CALIBRATION METHOD AND APPARATUS USING SINGLE CHECKERBOARD}
본 발명은 이종 센서 캘리브레이션 방법 및 장치에 관한 것으로서, 보다 상세하게는 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치에 관한 것이다.
많은 자율 주행 시스템에서, 주변 환경을 인지하고 장애물을 회피하기 위해 다양한 센서들이 이용되고 있다. 그리고 자율 주행 성능을 높이기 위해 서로 다른 종류의 이종 센서가 함께 이용되고 있다.
자율 주행 시스템에 함께 이용되는 이종 센서로서 대표적인 것이 카메라와 라이다(LiDARs)이며, 일반적으로 카메라는 차량의 여러 방향이 촬영될 수 있도록 복수개가 사용된다.
복수의 단일 센서, 그리고 이종 센서 사이에 캘리브레이션은 필수적이며, 센서 캘리브레이션(sensor calibration)은 센서간 좌표계를 변환하기 위해 센서간의 외부 파라미터를 산출하는 것을 의미한다.
이러한 센서 캘리브레이션은 체커보드(checkerboard)와 같은 캘리브레이션 마커를 촬영한 이미지를 통해 이루어지는데, 기존 캘리브레이션 방법은 한쌍의 센서 사이에서 수행되었다. 따라서 자율 주행 시스템에 사용되는 센서의 개수가 증가할수록 캘리브레이션의 수행 횟수 역시 증가하는 문제가 있다.
관련 선행문헌으로 특허문헌인 대한민국 등록특허 제10-1545633호, 제10-2054455호, 대한민국 공개특허 제2018-0055292호가 있으며, 비특허문헌으로 "Z. Zhang, H. Rebecq, C. Forster, and D. Scaramuzza, Benefit of large ield-of-view cameras for visual odometry, 2016"가 있다.
본 발명은 이종 센서 캘리브레이션을 통합적으로 수행할 수 있는 방법 및 장치를 제공하기 위한 것이다.
특히, 본 발명은 이종 센서가 탑재된 자율 주행 시스템에서, 복수의 카메라와 라이다 센서의 캘리브레이션을 통합적으로 수행할 수 있는 방법 및 장치를 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 라이다 센서 및 복수의 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 라이다 센서 및 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터 및 상기 카메라 센서의 내부 파라미터를 생성하는 단계; 상기 제1좌표 변환 벡터를 이용하여, 월드 좌표계와 상기 센서 좌표계 사이의 제2좌표 변환 벡터 및 상기 체커보드 좌표계와 상기 월드 좌표계 사이의 제3좌표 변환 벡터를 생성하는 단계; 및 상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계를 포함하는 이종 센서 캘리브레이션 방법이 제공된다.
또한 본 발명의 일 실시예에 따르면, 상기 제2 및 제3좌표 변환 벡터를 생성하는 단계는 제1센서에 대한 제2좌표 변환 벡터를 생성하는 단계; 서로 인접한 제1 및 제2센서에 대한 제1좌표 변환 벡터를 이용하여, 상기 제1 및 제2센서 사이의 센서 좌표 변환 벡터를 생성하는 단계; 상기 제1센서에 대한 제2좌표 변환 벡터 및 상기 센서 좌표 변환 벡터를 이용하여, 상기 제2센서에 대한 제2좌표 변환 벡터를 계산하는 단계; 및 상기 제2센서에 대한 제1좌표 변환 벡터 및 제2좌표 변환 벡터를 이용하여, 상기 제3좌표 변환 벡터를 생성하는 단계를 포함한다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 적어도 하나의 라이다 센서; 복수의 카메라 센서; 및 상기 라이다 센서 및 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 카메라 센서의 내부 파라미터를 생성하고, 상기 라이다 센서 및 상기 카메라 센서의 외부 파라미터를 생성하는 파라미터 생성부를 포함하며, 상기 파라미터 생성부는 글로벌 프레임 및 로컬 프레임을 이용하여, 상기 내부 및 외부 파라미터를 갱신하며, 상기 글로벌 프레임은, 복수의 센서에 의해 관측된 상기 체커보드를 포함하는 프레임 또는 포인트 클라우드이며, 상기 로컬 프레임은, 단일 센서에 의해 관측된 상기 체커보드를 포함하는 프레임 또는 포인트 클라우드인 이종 센서 캘리브레이션 장치가 제공된다.
본 발명의 일실시예에 따르면, 센서 캘리브레이션을 위한 고가의 환경 구조물없이, 단일 체커보드를 활용하여 이종 센서의 캘리브레이션을 수행할 수 있다.
또한 본 발명의 일실시예에 따르면, 센서 각각에 대한 캘리브레이션 과정없이, 이종 센서의 캘리브레이션을 통합적으로 한번에 수행할 수 있다.
도 1은 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에서 이용되는 글로벌 프레임과 로컬 프레임을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 방법의 의사 코드를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 캘리브레이션 결과를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명은 단일 체커보드를 이용하는 이종 센서 사이의 캘리브레이션 방법 및 장치에 관한 발명이다.
이하 실시예에서는 이종 센서로서 라이다 센서와 카메라 센서가 이용되는 환경에서의 캘리브레이션 방법 및 장치가 설명되나, 본 발명은 캘리브레이션이 요구되는 이종 센서 환경에 모두 적용될 수 있다. 예컨대, 본 발명은 이미지 레이더 센서와 카메라 센서 또는 이미지 레이더 센서와 라이더 센서 사이의 캘리브레이션에도 적용될 수 있다.
또한 이하 실시예에서 표현되는 센서는, 이종 센서 모두를 포함하는 용어이다. 다시 말해 센서라고 함은, 라이다 센서와 카메라 센서를 모두 지칭하는 것이다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 장치를 설명하기 위한 도면이며, 도 2는 본 발명의 일실시예에서 이용되는 글로벌 프레임과 로컬 프레임을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 장치는 적어도 하나의 라이다 센서(110), 복수의 카메라 센서(121 내지 124) 및 파라미터 생성부(130)를 포함한다. 도 1에서는 4개의 카메라 센서와 하나의 라이다 센서가 사용되는 실시예가 도시되며, 이용되는 센서의 개수는 실시예에 따라서 달라질 수 있다.
또한 일실시예로서, 이종 센서 캘리브레이션 장치는 자율 주행 차량에 이용될 수 있다. 카메라 센서(121 내지 124)와 라이다 센서(110)는, 사각 지대없이 차량의 전방향을 촬영할 수 있도록 차량에 배치될 수 있으며, 일실시예로서, 전방향을 감지할 수 있는 라이다 센서의 특성상 라이다 센서는 카메라 센서 사이에 배치될 수 있다.
라이다 센서(110) 및 카메라 센서(121 내지 124)는 체커보드(140)를 센싱 및 촬영하여, 체커보드가 포함된 영상 프레임을 생성한다. 본 발명의 일실시예에서는 단일 체커보드가 이용되며, 단일 체커보드의 위치가 변경된 상태에서 라이다 센서(110) 및 카메라 센서(121 내지 124)에서 촬영된 복수의 영상 프레임이 캘리브레이션에 이용된다.
파라미터 생성부(130)는 라이다 센서(110) 및 카메라 센서(121 내지 124)에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 카메라 센서(121 내지 124)의 내부 파라미터를 생성하고, 라이다 센서(110) 및 카메라 센서(121 내지 124)의 외부 파라미터를 생성한다. 외부 파라미터는 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터, 월드 좌표계와 센서 좌표계 사이의 제2좌표 변환 벡터 및 체커보드 좌표계와 월드 좌표계 사이의 제3좌표 변환 벡터를 포함한다. 파라미터 생성부(130)는 다양한 캘리브레이션 알고리즘을 이용하여, 내부 및 외부 파라미터를 생성할 수 있다.
그리고 파라미터 생성부(130)는 글로벌 프레임 및 로컬 프레임을 이용하여, 내부 및 외부 파라미터를 갱신함으로써 내부 및 외부 파라미터를 최적화한다. 즉, 파라미터 생성부(130)는 1차적으로 내부 및 외부 파라미터의 초기값을 생성한 후, 초기값을 갱신하여 내부 및 외부 파라미터를 최적화한다. 일실시예로서, 파라미터 생성부(130)는 내부 파라미터, 제2좌표 변환 벡터 및 제3좌표 변환 벡터를 갱신할 수 있다.
글로벌 프레임(global frame)은 복수의 센서에 의해 관측된 체커보드를 포함하는 프레임 또는 포인트 클라우드이며, 로컬 프레임(local frame)은 단일 센서에 의해 관측된 체커보드를 포함하는 프레임 또는 포인트 클라우드를 나타낸다.
도 2에 도시된 바와 같이, 카메라 또는 라이다 센서는 미리 설정된 화각에 포함된 객체에 대한 이미지를 생성하며, 체커보드의 위치에 따라서 센서에서 생성된 프레임 또는 포인트 클라우드에 체커보드가 포함될 수도 포함되지 않을 수도 있다. 제1 및 제2센서의 화각(211, 221)이 오버랩되는 B 영역에 체커보드가 위치할 경우, 제1 및 제2센서(210, 220)에서 생성되는 프레임 또는 포인트 클라우드에는 체커 보드가 모두 포함되며, 이 때 제1 및 제2센서(210, 220)에 의해 생성되는 프레임 또는 포인트 클라우드는 글로벌 프레임에 대응된다.
제1 및 제2센서의 화각(211, 221)이 오버랩되지 않는 A 영역에 체커보드가 위치할 경우에는 제1센서(210)에서 생성되는 프레임 또는 포인트 클라우드에만 체커보드가 포함되며, 제1 및 제2센서의 화각(211, 221)이 오버랩되지 않는 B 영역에 체커보드가 위치할 경우에는 제2센서(220)에서 생성되는 프레임 또는 포인트 클라우드에만 체커보드가 포함된다. 이러한 경우의 프레임 또는 포인트 클라우드는 로컬 프레임에 대응된다.
파라미터 생성부(130)는 글로벌 프레임 및 로컬 프레임을 이용하여, 내부 파라미터, 제2 및 제3좌표 변환 벡터에 따른 좌표 변환 오차가 최소화되도록, 내부 파라미터, 제2 및 제3좌표 변환 벡터를 갱신할 수 있다.
도 3은 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 방법을 설명하기 위한 도면이다. 본 발명의 일실시예에 따른 캘리브레이션 방법은 메모리 및 프로세서를 포함하는 PC, 노트북, 모바일 기기, 서버, 캘리브레이션 장치와 같은 컴퓨팅 장치에서 수행될 수 있으며, 이하에서는 캘리브레이션 장치에서 수행되는 캘리브레이션 방법이 일실시예로서 설명된다.
본 발명의 일실시예에 따른 캘리브레이션 장치는 라이다 센서 및 복수의 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 라이다 센서 및 복수의 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터 및 카메라 센서의 내부 파라미터를 생성(S310)한다. 단계 S310에서 캘리브레이션 장치는 공지된 다양한 캘리브레이션 알고리즘을 이용하여, 내부 파라미터(
Figure 112020066095934-pat00001
) 및 제1좌표 변환 벡터를 생성할 수 있다.
그리고 캘리브레이션 장치는 제1좌표 변환 벡터를 이용하여, 월드 좌표계와 센서 좌표계 사이의 제2좌표 변환 벡터 및 체커보드 좌표계와 월드 좌표계 사이의 제3좌표 변환 벡터를 생성(S320)한다.
그리고 캘리브레이션 장치는 내부 파라미터, 제2 및 제3좌표 변환 벡터를 갱신(S330)하여, 내부 파라미와 제2 및 제3좌표 변환 벡터를 최적화한다.
이하 단계 S320 및 S330에 대해 보다 자세히 설명하기로 한다.
제1 및 제2좌표 변환 벡터 생성
제1좌표 변환 벡터는 체커보드와 센서의 상대적인 자세(relative pose)를 나타내는 벡터라고 할 수 있다. 따라서, 서로 다른 센서에 대한 제1좌표 변환 벡터를 이용하면, 체커보드를 기준으로 서로 다른 센서 사이의 상대적인 자세에 대응되는 센서 좌표 변환 벡터가 추정될 수 있다.
일실시예로서, 체커보드가 포함된 k번째 프레임으로부터 동시에 획득된 i번째 및 j번째 센서에 대한 제1좌표 변환 벡터를 각각
Figure 112020066095934-pat00002
및
Figure 112020066095934-pat00003
라고 한다면, i번째 및 j번째 센서 사이의 상대적인 자세를 나타내는 센서 좌표 변환 벡터(
Figure 112020066095934-pat00004
)는 [수학식 1]과 같이 계산될 수 있다.
Figure 112020066095934-pat00005
여기서
Figure 112020066095934-pat00006
는 컴포지션(composition) 연산자를 나타내며,
Figure 112020066095934-pat00007
는 아래 첨자(Si)에 대응되는 좌표계의 좌표를 윗첨자(Sj)에 대응되는 좌표계의 좌표로 변환하는 벡터를 나타낸다. b는 체커보드 좌표계를 나타낸다.
본 발명의 일실시예에 따른 캘리브레이션 장치는 서로 인접한 제1 및 제2센서에 대한 제1좌표 변환 벡터를 이용하여, 제1 및 제2센서 사이의 센서 좌표 변환 벡터를 생성하고, 제1센서에 대한 제2좌표 변환 벡터 및 센서 좌표 변환 벡터를 이용하여, 제2센서에 대한 제2좌표 변환 벡터를 계산할 수 있다. 제1 및 제2센서는 제1지점에 위치한 체커보드를 공통으로 포함하는 글로벌 프레임을 생성하는 센서일 수 있다.
제1센서는 기준 센서로서, 카메라 센서일 수 있으며, 캘리브레이션 장치는 일반적인 캘리브레이션 알고리즘을 이용하여 제1센서에 대한 제2좌표 변환 벡터를 먼저 생성할 수 있다. 그리고 캘리브레이션 장치는 일실시예로서 [수학식 2]와 같이, 제2센서에 대한 제2좌표 변환 벡터를 계산할 수 있다.
Figure 112020066095934-pat00008
여기서, w는 월드 좌표계를 나타낸다. 그리고
Figure 112020066095934-pat00009
는 c번째 센서의 센서 좌표계와 월드 좌표계 사이의 제2좌표 변환 벡터를 나타내며, 제2센서에 대한 제2좌표 변환 벡터에 대응된다.
Figure 112020066095934-pat00010
는 제1센서에 대한 제2좌표 변환 벡터를 나타내며,
Figure 112020066095934-pat00011
는 제1 및 제2센서 사이의 센서 좌표 변환 벡터를 나타낸다.
그리고 본 발명의 일실시예에 따른 캘리브레이션 장치는 제2센서에 대한 제1좌표 변환 벡터 및 제2좌표 변환 벡터를 이용하여, 제3좌표 변환 벡터(
Figure 112020066095934-pat00012
)를 생성하며, 일실시예로서 [수학식 3]을 이용할 수 있다.
Figure 112020066095934-pat00013
여기서,
Figure 112020066095934-pat00014
는 c번째 센서의 제1좌표 변환 벡터를 나타내며, 제2센서에 대한 제1좌표 변환 벡터에 대응된다.
본 발명의 일실시예에 따른 캘리브레이션 장치는 인접하여 배치된 즉, 글로벌 프레임을 생성하는 관계의 2개의 센서 사이의 센서 좌표 변환 벡터를 계산하여, 모든 센서에 대한 제2좌표 변환 벡터를 생성할 수 있다.
또한 본 발명의 일실시예에 따른 캘리브레이션 장치는 서로 인접하여 배치되지 않은, 즉 화각이 오버랩되지 않아 글로벌 프레임을 생성할 수 없는 관계의 2개의 센서 사이의 센서 좌표 변환 벡터에 대해, 이러한 2개의 센서와 글로벌 프레임을 생성하는 관계의 센서에 대한 좌표 변환 벡터를 이용하여 계산할 수 있다.
예컨대, 제2 및 제3센서는, 제2지점에 위치한 체커보드를 공통으로 포함하는 글로벌 프레임을 생성하며, 제1 및 제3센서는, 서로 다른 지점에 위치한 체커보드를 포함하는 로컬 프레임을 생성하는 센서라면, 캘리브레이션 장치는 [수학식 4]와 같이, 제1 및 제2센서 사이의 센서 좌표 변환 벡터와, 제2센서 및 제3센서 사이에 대한 센서 좌표 변환 벡터를 이용하여, 제1 및 제3센서 사이의 센서 좌표 변환 벡터를 생성할 수 있다.
Figure 112020066095934-pat00015
여기서,
Figure 112020066095934-pat00016
는 제1 및 제2센서 사이의 센서 좌표 변환 벡터,
Figure 112020066095934-pat00017
는 제2 및 제3센서 사이의 센서 좌표 변환 벡터
Figure 112020066095934-pat00018
는 제1 및 제3센서 사이의 센서 좌표 변환 벡터에 대응된다.
이와 같이, 제3좌표 변환 벡터와, 모든 센서에 대한 제2좌표 변환 벡터가 생성될 수 있는데, 이러한 좌표 변환 벡터는 인접한 센서 사이의 제2좌표 변환 벡터로부터 얻어지는 것이기 때문에, 기준 센서로부터 멀어질수록 제2좌표 변환 벡터의 오차는 누적된다. 제2좌표 변환 벡터의 오차는 다른 파라미터에도 영향을 미치므로, 이러한 오차를 줄이기 위한 최적화 과정이 필요하며, 이러한 최적화 과정이 단계 S330에서 수행된다.
단계 S330에서 캘리브레이션 장치는, 내부 파라미터, 제2 및 제3좌표 변환 벡터에 따른 좌표 변환 오차를 최소화시키는 목적 함수를 이용하여, 내부 파라미터, 제2 및 제3좌표 변환 벡터를 갱신한다. 캘리브레이션 장치는 일실시예로서, [수학식 5]와 같은 목적 함수를 이용하여, 내부 파라미터, 제2 및 제3좌표 변환 벡터를 갱신할 수 있다.
Figure 112020066095934-pat00019
내부 파라미터, 제2 및 제3좌표 변환 벡터에 따른 좌표 변환 오차는 크게 Corner Reprojection Error(
Figure 112020066095934-pat00020
, 제1오차), Point-to-plane Distance Error(
Figure 112020066095934-pat00021
, 제2오차), Local Reprojection Error(
Figure 112020066095934-pat00022
)를 포함한다.
여기서, G는 글로벌 프레임 집합을 나타내며, L은 로컬 프레임 집합을 나타낸다. C는 카메라 집합을 나타내며, i는 카메라 센서의 인덱스, j는 라이다 센서의 인덱스를 나타낸다. 그리고
Figure 112020066095934-pat00023
,
Figure 112020066095934-pat00024
및
Figure 112020066095934-pat00025
각각은 제1 내지 제3오차에 부여되는 가중치를 나타낸다.
제2오차는 라이다 센서에 대한 오차이며, 제1 및 제3오차는 카메라 센서에 대한 오차이다. 캘리브레이션 장치는 글로벌 프레임을 생성하는 카메라 센서를 이용하여 제1오차를 계산하며, 로컬 프레임을 생성하는 카메라 센서를 이용하여 제3오차를 계산한다. 만일 카메라 센서가 글로벌 프레임과 로컬 프레임을 모두 생성한다면, 캘리브레이션 장치는 이러한 카메라 센서에 대해 제1 및 제3오차를 모두 계산한다.
Corner Reprojection Error
본 발명의 일실시예에 따른 캘리브레이션 장치는 카메라 센서인 제1센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 좌표와, 제1지점에 위치한 체커보드의 기준 코너점에 대한 제1변환 좌표 사이의 거리를, 좌표 변환 오차에 포함되는 제1오차로 계산한다. 여기서, 제1변환 좌표는, 제1지점에 위치한 체커보드의 기준 코너점의 월드 좌표로부터 제1센서의 센서 좌표계의 좌표로 변환된 좌표이며, 기준 코너점은 체커보드의 코너점 또는 격자의 교차점 중 하나가 될 수 있다.
캘리브레이션 장치는 일실시예로서, [수학식 6]을 이용하여 제1오차를 계산할 수 있다.
Figure 112020066095934-pat00026
여기서,
Figure 112020066095934-pat00027
는 i번째 카메라 센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 좌표로서, 센서 좌표계 상의 좌표이며, 제1센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 좌표에 대응된다. 그리고
Figure 112020066095934-pat00028
는 i번째 카메라 센서에 대한 카메라 프로젝션 함수로서, 월드 좌표계의 좌표를 센서 좌표계의 좌표로 투영시키는 함수이다.
Figure 112020066095934-pat00029
는 제1지점에 위치한 체커보드의 기준 코너점의 월드 좌표(
Figure 112020066095934-pat00030
)에, 제3좌표 변환 벡터 및 제1센서에 대한 제2좌표 변환 벡터가 컴포지션된 좌표이다(
Figure 112020066095934-pat00031
). 그리고
Figure 112020066095934-pat00032
는 제1변환 좌표에 대응되며,
Figure 112020066095934-pat00033
에 제1센서의 내부 파라미터가 컴포지션되어 계산된다.
만일, 제1센서가 화각 180도 이상의 어안 렌즈 카메라인 경우, 캘리브레이션 장치는 [수학식 7]과 같이 레이 디스턴스(ray distance)를 이용하여 제1오차를 계산할 수 있다.
Figure 112020066095934-pat00034
여기서,
Figure 112020066095934-pat00035
는 카메라 프로젝션 함수의 역함수이며,
Figure 112020066095934-pat00036
는 단위 레이(unit ray)로서,
Figure 112020066095934-pat00037
와 같이 계산된다.
Point-to-plane Distance Error
본 발명의 일실시예에 따른 캘리브레이션 장치는 카메라 센서인 제1센서의 글로벌 프레임에 포함된 체커 보드를 3차원 평면으로 모델링하며, 라이다 센서인 제2센서의 포인트 클라우드에 포함된 포인트 중 하나와 3차원 평면 사이의 거리를, 좌표 변환 오차에 포함되는 제2오차로 계산한다. 전술된 바와 같이, 제1 및 제2센서는 글로벌 프레임을 생성하는 관계이다.
제1센서의 글로벌 프레임에 포함된 체커보드는, 일실시예로서 PCA(Principal Component Analysis) 알고리즘을 통해 3차원 평면으로 모델링될 수 있으며, 이 때 3차원 평면에 대한 평면 파라미터는
Figure 112020066095934-pat00038
와 같다. 여기서,
Figure 112020066095934-pat00039
는 3차원 평면의 법선 벡터(normal vector)를 나타내며,
Figure 112020066095934-pat00040
는 원점과 3차원 평면 사이의 거리를 나타낸다.
캘리브레이션 장치는 3차원 평면에 대한 평면 파라미터 및 제1지점에 위치한 체커보드의 기준 코너점에 대한 제2변환 좌표를 통해 제2오차를 계산하며, 일실시예로서, [수학식 8]과 같이 제2오차를 계산할 수 있다. 제2변환 좌표(
Figure 112020066095934-pat00041
)는 제1지점에 위치한 체커보드의 기준 코너점의 월드 죄표계의 좌표로부터, 제2센서의 센서 좌표계의 좌표로 변환된 좌표이다. 라이다 센서는 내부 파라미터가 없으므로, 내부 파라미터의 적용없이 제2변환 좌표가 계산될 수 있다.
Figure 112020066095934-pat00042
Local Reprojection Error
본 발명의 일실시예에 따른 캘리브레이션 장치는 제1오차와 유사한 방법으로 제3오차를 계산한다. 다만, 이용되는 프레임이 로컬 프레임으로 제1오차와 차이가 있다.
캘리브레이션 장치는 카메라 센서인 제1센서의 로컬 프레임에 포함된 체커보드의 기준 코너점의 좌표와, 제3지점에 위치하는 체커보드의 기준 코너점에 대한 제3변환 좌표 사이의 거리를, 좌표 변환 오차에 포함되는 제3오차로 계산한다. 제3변환 좌표는, 제3지점에 위치한 체커보드의 기준 코너점의 월드 좌표로부터 제1센서의 센서 좌표계의 좌표로 변환된 좌표이다. 제3지점은 제1센서의 화각 중 다른 센서와 오버랩되지 않는 영역의 한 지점에 대응된다.
캘리브레이션 장치는 전술된 [수학식 6]이나 [수학식 7]을 이용하여, 제3오차를 계산할 수 있다.
이상 살펴본 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 방법을 의사 코드로 표현하면 도 4와 같다.
본 발명의 일실시예에 따르면, 단일 체커보드를 이용하여, 여러 이종 센서 사이의 캘리브레이션을 통합적으로 한번에 수행할 수 있다.
도 5는 본 발명의 일실시예에 따른 캘리브레이션 결과를 나타내는 도면이다. 도 5에서 흑백 영상은 카메라 센서에서 촬영된 영상이며, 녹색 또는 분홍색 줄무늬는 라이다 센서의 클라우드 포인트를 나타낸다. 본 발명의 일실시예에 따른 캘리브레이션에 의해, 라이다 센서의 클라우드 포인트가 카메라 센서의 영상에 포함된 체커 보드 상에 정확히 프로젝션되고 있음을 알 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 라이다 센서 및 복수의 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 라이다 센서 및 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터 및 상기 카메라 센서의 내부 파라미터를 생성하는 단계;
    상기 제1좌표 변환 벡터를 이용하여, 월드 좌표계와 상기 센서 좌표계 사이의 제2좌표 변환 벡터 및 상기 체커보드 좌표계와 상기 월드 좌표계 사이의 제3좌표 변환 벡터를 생성하는 단계; 및
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계
    를 포함하되,
    상기 제2 및 제3좌표 변환 벡터를 생성하는 단계는
    제1센서에 대한 제2좌표 변환 벡터를 생성하는 단계;
    서로 인접한 제1 및 제2센서에 대한 제1좌표 변환 벡터를 이용하여, 상기 제1 및 제2센서 사이의 센서 좌표 변환 벡터를 생성하는 단계;
    상기 제1센서에 대한 제2좌표 변환 벡터 및 상기 센서 좌표 변환 벡터를 이용하여, 상기 제2센서에 대한 제2좌표 변환 벡터를 계산하는 단계; 및
    상기 제2센서에 대한 제1좌표 변환 벡터 및 제2좌표 변환 벡터를 이용하여, 상기 제3좌표 변환 벡터를 생성하는 단계
    를 포함하는 이종 센서 캘리브레이션 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 제1 및 제2센서는,
    제1지점에 위치한 상기 체커보드를 공통으로 포함하는 글로벌 프레임을 생성하는
    이종 센서 캘리브레이션 방법.
  4. 제 3항에 있어서,
    상기 제1 및 제2센서 사이의 센서 좌표 변환 벡터와, 상기 제2센서 및 제3센서 사이에 대한 센서 좌표 변환 벡터를 이용하여, 상기 제1 및 제3센서 사이의 센서 좌표 변환 벡터를 생성하는 단계를 더 포함하며,
    상기 제2 및 제3센서는, 제2지점에 위치한 상기 체커보드를 공통으로 포함하는 글로벌 프레임을 생성하며,
    상기 제1 및 제3센서는, 서로 다른 지점에 위치한 상기 체커보드를 포함하는 로컬 프레임을 생성하는
    이종 센서 캘리브레이션 방법.
  5. 제 3항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터에 따른 좌표 변환 오차를 최소화시키는 목적 함수를 이용하여, 상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는
    이종 센서 캘리브레이션 방법.
  6. 제 5항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    카메라 센서인 상기 제1센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 좌표와, 상기 제1지점에 위치한 상기 체커보드의 기준 코너점에 대한 제1변환 좌표 사이의 거리를, 상기 좌표 변환 오차에 포함되는 제1오차로 계산하며,
    상기 제1변환 좌표는,
    상기 제1지점에 위치한 상기 체커보드의 기준 코너점의 월드 좌표계의 좌표로부터 상기 제1센서의 센서 좌표계의 좌표로 변환된 좌표인
    이종 센서 캘리브레이션 방법.
  7. 제 6항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    상기 제1센서가 어안 렌즈를 이용하는 카메라 센서인 경우, 하기 수학식을 이용하여, 상기 제1오차를 계산하는
    이종 센서 캘리브레이션 방법.
    [수학식]
    Figure 112020066095934-pat00043

    여기서,
    Figure 112020066095934-pat00044
    는 상기 제1센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 센서 좌표계의 좌표이며,
    Figure 112020066095934-pat00045
    는 상기 제1지점에 위치한 체커보드의 기준 코너점의 월드 좌표계의 좌표에, 상기 제3좌표 변환 벡터 및 상기 제1센서에 대한 제2좌표 변환 벡터가 컴포지션된 좌표를 나타냄.
  8. 제 5항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    카메라 센서인 상기 제1센서의 글로벌 프레임에 포함된 체커 보드를 3차원 평면으로 모델링하는 단계; 및
    라이다 센서인 상기 제2센서의 포인트 클라우드에 포함된 포인트 중 하나와 상기 3차원 평면 사이의 거리를, 상기 좌표 변환 오차에 포함되는 제2오차로 계산하는 단계
    를 포함하는 이종 센서 캘리브레이션 방법.
  9. 제 8항에 있어서,
    상기 제2오차는
    상기 3차원 평면에 대한 평면 파라미터 및 상기 제1지점에 위치한 상기 체커보드의 기준 코너점에 대한 제2변환 좌표를 통해 계산되며,
    상기 제2변환 좌표는
    상기 제1지점에 위치한 상기 체커보드의 기준 코너점의 월드 좌표계의 좌표로부터 상기 제2센서의 센서 좌표계의 좌표로 변환된 좌표인
    이종 센서 캘리브레이션 방법.
  10. 제 5항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    카메라 센서인 상기 제1센서의 로컬 프레임에 포함된 체커보드의 기준 코너점의 좌표와, 제3지점에 위치하는 상기 체커보드의 기준 코너점에 대한 제3변환 좌표 사이의 거리를, 상기 좌표 변환 오차에 포함되는 제3오차로 계산하며,
    상기 제3변환 좌표는,
    다른 센서의 프레임에 포함되지 않는 상기 제3지점에 위치한 상기 체커보드의 기준 코너점의 월드 좌표로부터 상기 제1센서의 센서 좌표계의 좌표로 변환된 좌표인
    이종 센서 캘리브레이션 방법.
  11. 삭제
  12. 삭제
KR1020200078349A 2020-03-12 2020-06-26 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 KR102438490B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/002642 WO2021182793A1 (ko) 2020-03-12 2021-03-04 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200030674 2020-03-12
KR20200030674 2020-03-12

Publications (2)

Publication Number Publication Date
KR20210116161A KR20210116161A (ko) 2021-09-27
KR102438490B1 true KR102438490B1 (ko) 2022-09-01

Family

ID=77925855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200078349A KR102438490B1 (ko) 2020-03-12 2020-06-26 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102438490B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077827A1 (zh) 2021-11-08 2023-05-11 南京理工大学 一种用于多传感器标定的三维塔式棋盘格以及基于该棋盘格的雷达与相机的联合标定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105577A (ja) * 2014-11-25 2016-06-09 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105577A (ja) * 2014-11-25 2016-06-09 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법

Also Published As

Publication number Publication date
KR20210116161A (ko) 2021-09-27

Similar Documents

Publication Publication Date Title
CN107160395B (zh) 地图构建方法及机器人控制系统
Pandey et al. Extrinsic calibration of a 3d laser scanner and an omnidirectional camera
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
KR20150144731A (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR20150144727A (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10602125B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
KR20210049581A (ko) 이동체의 전방향에 대한 거리 취득 장치 및 방법
CN112184824A (zh) 一种相机外参标定方法、装置
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
JP2007218705A (ja) 白線モデル計測システム、計測台車および白線モデル計測装置
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
JP2020122754A (ja) ３次元位置推定装置及びプログラム
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
KR102438490B1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
Karrer et al. Real-time dense surface reconstruction for aerial manipulation
CN113436267A (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN113052907A (zh) 一种动态环境移动机器人的定位方法
JP7138856B2 (ja) 俯瞰映像提示システム
Presnov et al. Robust range camera pose estimation for mobile online scene reconstruction
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
US11915449B2 (en) Method and apparatus for estimating user pose using three-dimensional virtual space model
JP2007034964A (ja) カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム
KR101502071B1 (ko) 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right