KR101023275B1

KR101023275B1 - 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛

Info

Publication number: KR101023275B1
Application number: KR1020090029342A
Authority: KR
Inventors: 코넵스키
Original assignee: 삼성전기주식회사
Priority date: 2009-04-06
Filing date: 2009-04-06
Publication date: 2011-03-18
Also published as: US20100253784A1; KR20100110999A

Abstract

본 발명은 차량 본체에 어떠한 타깃 장치를 부착할 필요가 없을 뿐만 아니라, 차량 조립 라인과 차고(garage) 조건 모두에서 실행 가능하기에 신속하고 저렴한 비용이 소요되는 카메라 시스템 캘리브레이션 방법을 제공하는 것을 그 목적 중 하나로 한다. 이를 위하여 본 발명에 의한 차량용 카메라 시스템의 캘리브레이션 방법은: 차량의 각 측면에 부착된 카메라 각각에 대한 적어도 2 이상의 타깃들 - 상기 타깃들은 차량의 주변 영역에 위치함 - 을 특징으로 하는 제 1 이미지를 캡쳐하는 단계; 상기 타깃들을 이동시키지 않고 상기 차량을 길이 방향으로 변위시키는 단계; 상기 변위된 위치에서 상기 타깃들을 특징으로 하는 제 2 이미지를 캡쳐하는 단계; 상기 캡쳐된 제 1 및 제 2 이미지 상의 타깃들을 검출하는 단계; 상기 검출된 타깃들의 전역 좌표를 계산하는 단계; 및 상기 계산된 타깃들의 전역 좌표에 기초하여 메트릭 함수를 최적화하면서 상기 카메라의 각도상 오정렬을 검색하는 단계를 포함하여 이루어진다.

Description

차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛{CALIBRATION METHOD AND APPARATUS FOR AUTOMOTIVE CAMERA SYSTEM, AND METHOD AND ECU FOR DETERMINING ANGULAR MISALIGNMENTS OF AUTOMOTIVE CAMERA SYSTEM}

본 발명은 차량용 카메라 시스템의 캘리브레이션 방법 및 장치에 관한 것으로서, 구체적으로는 차량 운행의 안전을 위하여 차량에 부착된 카메라 유닛에 기초한 카메라 시스템의 캘리브레이션 방법 및 장치에 관한 것이다.

이미지 센서 기반 카메라들은 차량에 널리 사용되고 있다. 차량을 둘러싼 주위 환경의 일부분을 켭쳐하고, 그것을 운전자 앞의 모니터 상에 디스플레이함으로써, 이러한 시스템은 다른 대상물들(다른 차량, 보행자, 사이클리스트, 빌딩, 나무, 도로 및 주차장 표시 등)에 대해 차량의 위치 및 방위의 더 양호한 감지를 가능하게 하고, 교통 상황 전반의 제어를 향상시키며, 이에 따라 차량 운행 안정성을 향상시킨다.

운전자로 하여금 차량의 모든 주위를 동시에 관찰할 수 있도록 하기 위하여, 복수의 카메라를 포함하는 시스템이 사용된다. 카메라는, 차량의 주위 영역 내의 임의의 포인트가 적어도 하나 이상의 카메라의 광역 시야(FOV: Field Of View) 내에 있도록, 차량에 장착된다. 많은 공보들, 가령, 미국 특허공개공보 US 2005/0249379 및 US 2003/0090570 등에 기재된 가장 일반적으로 사용되는 시스템 구조 중 하나로서, 도 1에 도시된 바와 같이, 4 개의 카메라, 즉 차량 그릴 영역의 전방 시야 카메라(Front View Camera; 이하, 'FVC'라고 함)와 후방 패널 또는 부트 리드의 후방 시야 카메라(Rear View Camera; 이하, 'RVC'라고 함) 및 좌우측 사이드 미러 영역의 측방 시야 카메라들(Right Side View Camera 및 Left Side View Camera; 이하, 각각 'SVC-R', 'SVC-L'라고 함)을 지니고 있다.

각각의 카메라에 의하여 켭쳐된 이미지는 이미지 프로세싱 수단을 포함하는 전자 제어 유닛(ECU)으로 전송된다. ECU는 이미지들을 변환("피시-아이(fish-eye)" 효과, 왜곡 등을 제거)하고, 디스플레이된 이미지가 차량 위로부터 촬영된 것과 같은 느낌을 주도록 이미지들을 하나의 시야(single view)로 서로 합친다. ECU는 합성된 이미지를 디스플레이 장치로 전송한다(도 2 참조). 이러한 방식의 장점으로서, 디스플레이된 이미지가 운전자로 하여금 차량 주위 전체를 동시에 볼 수 있도록 해주며 또한 매우 간단하고 자연스러운 형식으로 주차 마커 및 외부 물체에 대한 차량의 상대적 위치를 관찰할 수 있도록 하여 운전을 더욱 쉽고 안전하게 하도록 해준다(도 3 참조).

그러나, 이러한 카메라들이 차량 및 서로에 대하여 오정렬된다면, 디스플레이된 이미지는 운전자의 눈에 불편하게 보일 뿐만 아니라 외부 물체에 대한 거리의 혼동 및 오해를 야기하여 결국 안전을 저해할 수 있다. 도 4는 FVC의 오정렬의 경 우에 있어서의 예시적 결과를 나타낸다.

이러한 문제점을 해결하기 위하여, 각각의 카메라의 방위에 대한 수동 조정이 요구된다. 그러나, 이러한 조작은 차량 조립 라인에서 사용되기에 너무 노동 집약적(labor-intensive)이다. 한편, 대부분의 카메라 방위 조작 방법은 차량에 대한 사전 설정된 지점 내에 위치되는 챠트 또는 타깃에 의존하게 된다. 타깃을 올바르게 위치시키지 않으면 카메라 방위의 오류가 발생한다. 따라서, 차량 정비 공장과 같은 차고에서 사용될 경우, 이러한 방법은 고도의 자격을 갖는 인력, 차량 부품의 부분적 분해, 타깃을 정렬하기 위한 큰 공간 및 오랜 수행 시간 등을 요구하므로, 결과적으로 차량 서비스의 비용을 증가시키게 된다.

아울러, 카메라를 고정적으로 유지함과 동시에 조정이 이루어질 때마다 방위를 변경시킬 수 있도록 하는 조정 가능한 패스너(fastener)는 조정이 불가능한 강성 브래킷보다 훨씬 복잡하고 고비용이다.

한편, 미국 특허공개공보 US 2001/0012985에는, 카메라가 오정렬되더라도 수정된 이미지가 생성되도록 하는 방식으로 ECU 상에서의 이미지 프로세싱을 변화시킬 수 있는 카메라 시스템 캘리브레이션 방법이 개시되어 있다. 이러한 방법은 기계적인 카메라 조정의 필요성을 제거할 수 있게 해 준다. 상기 공보에 개시된 방법에 의하면, 카메라로 캡쳐될 타깃이 사전 설정된 위치를 갖는 방식으로 차량 상에 직접 고정되어 있다. 이미지 상에서의 타깃의 좌표들은 전역 좌표(world coordinate)로 변환되며, 이는 다시 사전 설정된 사양과 대비되어, 결국 카메라의 상대적 방위가 획득된다. 그 후, 이미지 프로세싱 수단은 이에 따라 수정되어 카 메라 오정렬을 보상하게 된다.

그러나, 이러한 방법은 차량 조립 라인에서 단지 제한된 용례를 가질 뿐인데, 이는 시스템에 포함된 각각의 카메라에 대해 적어도 하나 이상의 타깃 장치를 차량 상에 설치할 필요가 있기 때문이다. 한편, 차고 조건에 있어서, 캘리브레이션을 수행하기 위한 특별한 설비(타깃 장치)에 대한 필요성은 서비스의 비용을 증가시키게 된다. 또한, 차량의 디자인에 있어서, 고 정밀도의 타깃 장치를 장착하기 위한 수단을 고려하여야만 하며, 이는 추가적인 제약 및 조건들을 부과하게 되는 결과가 되고 차량의 외관을 저해할 수도 있다.

따라서, 차량에 대한 사전 설정된 위치에 위치되는 타깃을 요하지 않으면서 차량 조립 라인과 차고 조건에서 수행될 수 있는 정도의 신속하고 저렴한 카메라 시스템 캘리브레이션 방법의 필요성이 대두되고 있으며, 이는 자동적이면서도 차량 치수 및 카메라의 위치에 불변하는 것이 바람직할 것이다.

본 발명은 차량 본체에 어떠한 타깃 장치를 부착할 필요가 없을 뿐만 아니라, 차량 조립 라인과 차고(garage) 조건 모두에서 실행 가능하기에 신속하고 저렴한 비용이 소요되는 카메라 시스템 캘리브레이션 방법을 제공하는 것을 그 목적 중 하나로 한다.

또한, 본 발명의 일 실시형태에 의한 카메라 시스템 캘리브레이션 방법에 의하면, 카메라 유닛에 의하여 캡쳐되는 타깃이 차량 주위의 지면에 놓이거나 페인팅되어 있어서, 타깃이 차량에 대한 소정의 특정 위치에 정교하게 위치될 필요가 없다.

본 발명에 의하면, 먼저 각각의 카메라 유닛은 타깃을 캡쳐한다. 그 후, 타깃의 이동 없이 차량이 전방 또는 후방으로 이동하여, 또다른 이미지가 캡쳐된다. 차량은 그 자체의 바퀴로 이동될 수도 있으며, 또는 컨베이어 또는 기타 수단 상에 의해서도 가능하다.

캡쳐된 이미지로부터 차량의 이동 전후의 타깃의 전역 좌표계(world coordinate system)를 계산함에 의하고 이들을 서로에 대하여 비교함에 의하여, 각 카메라의 각도상 오정렬이 결정되며, 이미지 프로세싱 파라미터는 각각의 카메라 유닛에 대하여 상응되게 수정된다.

본 발명의 장점 중 하나는 카메라 시스템의 캘리브레이션이 카메라 유닛의 방위의 기계적 조정이 요구되지 않는다는 점이다.

본 발명의 또다른 장점 중 하나는 캡쳐되는 타깃이 차량에 대하여 사전 설정된 위치에 정확하게 위치될 필요가 없다는 점이며, 이로써 차량 상에 타깃 장치를 설치할 필요성을 제거하게 된다.

또한, 본 발명은 캘리브레이션 프로세스가 차량 조립 라인과 차고 조건 둘 다에 적합하고 자동화될 수 있다는 장점을 갖는다.

아울러, 본 발명은 캘리브레이션 방법이 차량의 치수, 시스템에 통합된 카메라의 수 및 차량의 위치에 따라 변화하지 않으며, 변화없이 다양한 카메라 카메라에 대하여 사용될 수 있다는 장점을 갖는다.

나아가, 본 발명에 의한 캘리브레이션 장치는 기존의 ECU에 통합되거나 또는 독자적인 디바이스일 수 있다는 장점을 갖는다.

이를 위하여, 본 발명에 의한 차량용 카메라 시스템의 캘리브레이션 방법은

a. 차량의 각 측면에 부착된 카메라 각각에 대한 적어도 2 이상의 타깃들 - 상기 타깃들은 차량의 주변 영역에 위치함 - 을 특징으로 하는 제 1 이미지를 캡쳐하는 단계;

b. 상기 타깃들을 이동시키지 않고 상기 차량을 길이 방향으로 변위시키는 단계;

c. 상기 변위된 위치에서 상기 타깃들을 특징으로 하는 제 2 이미지를 캡쳐하는 단계;

d. 상기 캡쳐된 제 1 및 제 2 이미지 상의 타깃들을 검출하는 단계;

e. 상기 검출된 타깃들의 전역 좌표를 계산하는 단계; 및

f. 상기 계산된 타깃들의 전역 좌표에 기초하여 메트릭 함수를 최적화하면서 상기 카메라의 각도상 오정렬을 검색하는 단계를 포함하여 이루어진다.

바람직하게는, 상기 타깃들은 차량 주변의 지면에 페인팅 되거나 지상에 놓인다.

여기서, 상기 타깃들 사이의 횡방향 거리는 카메라 유닛의 시계(field of view) 내에 상기 타깃들을 모두 유지하면서 최대화하는 것이 바람직하다.

또한, 상기 b) 단계는 차량 자체가 구동되거나 또는 컨베이어와 같은 기타 차량 이동 수단에 의할 수 있다.

그리고, 상기 e) 단계는, 상기 카메라 내의 광학 유닛으로 들어오는 주 광선(chief ray)의 구 좌표(spherical coordinate)와 상기 주 광선과 지면과의 교점의 전역 좌표를 계산하는 단계를 더 포함하며, 렌즈 광학 왜곡에 따라 주 광선을 구 좌표에 적합화시키는 단계를 더 포함하는 것이 바람직하다.

바람직하게는, 상기 f) 단계는 카메라의 공칭 회전 각도로부터 검색을 시작하는 단계를 더 포함하며, 렌즈 광학 왜곡에 따라 주 광선을 구 좌표에 적합화시키는 단계를 더 포함한다.

한편, 본 발명에 의한 차량용 카메라 시스템에 대한 캘리브레이션 장치는, 차량의 전방, 후방 및 좌우측방에 각각 부착되어 차량 주위의 일측 영역마다 형성된 적어도 2 이상의 타깃을 포함하는 이미지를 캡쳐하도록 구성된 복수의 카메라 유닛; 상기 복수의 카메라 각각에 의하여 켭쳐된 이미지를 합성 처리하여 하나의 상부 시야(single top view)를 형성하도록 구성된 전자 제어 유닛을 포함하고, 상기 전자 제어 유닛은 앞서 설명한 캘리브레이션 방법에 의하여 차량 각도상 오정렬을 판단하는 것을 특징으로 한다.

아울러, 본 발명에 의한 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법은, 차량의 제 1 위치에서, 차량 주위 영역 중 일측에 형성된 적어도 2 이상의 타깃을 동시에 포함하는 제 1 이미지를 캡쳐하는 단계; 상기 차량의 제 1 위치로부터 일정 직선 거리만큼 이격된 제 2 위치에서, 상기 적어도 2 이상의 타깃을 동시에 포함하는 제 2 이미지를 캡쳐하는 단계; 상기 제 1 및 제 2 이미지들 상의 타깃들을 검출하여 이미저 상에서의 좌표를 획득하는 단계; 회전 각도 α,β,γ를 공칭(nominal) 회전 각도로 각각 초기화하는 단계; 상기 제 1 및 제 2 위치에서의 타깃들 각각에 대하여 구 좌표계에서의 주 광선을 정의하는 각도 θ,

를 계산하는 단계; 상기 회전 각도 α,β,γ의 현재 값으로 아핀 변환 회전 매트릭스(affine transformation rotation matrix)를 계산하는 단계; 상기 각도 θ,

와 차량에 설치된 카메라의 지면으로부터의 높이를 이용하여, 상기 제 1 및 제 2 위치에서의 타깃들 각각에 대한 전역 좌표를 계산하는 단계; 상기 계산된 전역 좌표를 이용하여 회전 각도 최적화에 사용되는 메트릭 을 계산하는 단계; 최적화 방법을 사용하여, 상기 최적화 방법에 대한 종료 범위가 만족될 때까지 상기 회전 각도 α,β,γ를 업데이트하는 단계; 및 상기 종료 범위를 만족하는 회전 각도와 상기 공칭 회전 각도 사이의 차로부터 오정렬 각도를 계산하는 단계를 포함하여 이루어진다.

나아가, 차량용 카메라 시스템의 각도상 오정렬을 판단하기 위한 전자 제어 유닛은, 차량의 제 1 위치와 상기 제 1 위치로부터 일정 직선 거리만큼 이격된 제 2 위치 각각에서, 차량 주위 영역 중 일측에 형성된 적어도 2 이상의 타깃을 동시에 포함하도록 캡쳐된 제 1 이미지 및 제 2 이미지 상의 타깃들을 검출하여 이미저 상에서의 좌표를 획득하는 단계; 회전 각도 α,β,γ를 공칭 회전 각도로 각각 초기화하는 단계; 상기 제 1 및 제 2 위치에서의 타깃들 각각에 대하여 구 좌표계에서의 주 광선을 정의하는 각도 θ,

를 계산하는 단계; 상기 회전 각도 α,β,γ의 현재 값으로 아핀 변환 회전 매트릭스를 계산하는 단계; 상기 각도 θ,

와 차량에 설치된 카메라의 지면으로부터의 높이를 이용하여, 상기 제 1 및 제 2 위치에서의 타깃들 각각에 대한 전역 좌표를 계산하는 단계; 상기 계산된 전역 좌표를 이용하여 회전 각도 최적화에 사용되는 메트릭을 계산하는 단계; 최적화 방법을 사용하여, 상기 최적화 방법에 대한 종료 범위가 만족될 때까지 상기 회전 각도 α,β,γ를 업데이트하는 단계; 및 상기 종료 범위를 만족하는 회전 각도와 상기 공칭 회전 각도 사이의 차로부터 오정렬 각도를 계산하는 단계를 수행하도록 구성된다.

바람직하게는, 상기 전자 제어 유닛은 차량 내에 설치되어 있는 전자 제어 유닛에 통합된 것이거나, 대안적으로는 상기 전자 제어 유닛은 차량 내에 설치되어 있는 전자 제어 유닛과는 별도의 디바이스이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속 하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

또한, 이하에서는 별도의 언급이 없는 한 FVC에 적용되는 캘리브레이션 방법에 대해서만 설명하되, RVC, SVC-R 및 SVC-L에도 동일한 방법이 적용될 수 있음은 자명하다는 것을 밝혀 둔다.

가정 및 정의

이하에서는, 단지 각도상 오정렬(angular misalignment)만이 교정을 요함을 가정하고 있는데, 이는 카메라 위치에 있어서 레이아웃에 대한 어느 한 방향으로의 합리적인 (가령, 수십 밀리미터 내) 오차는 결과적인 평면 이미지(top view image)에 심각한 영향을 주지는 않기 때문이다. 나아가, 카메라의 위치는 전형적으로 (가령, 브래킷, 패스너, 스크류 등과 같은) 카메라 부착 메커니즘으로 쉽게 제어된다. 따라서, 본 발명에 의한 캘리브레이션 프로세스는 오직 카메라의 "각도상 오정렬"을 판단하는 것을 그 목적으로 한다.

3차원 데카르트 좌표계(Cartesian coordinate system) - 이하에서는 전역 좌표계(world coordinate system)로 명명됨 - 은 카메라와 연관되며, 원점은 렌즈의 조리개(aperture stop)의 중심에 있으며, X축은 차량의 변위 방향을 따라 배치되고 Z축은 지면에 수직으로 상방향으로 배치되며 Y축은 X 및 Z와 오른손 시스템(right-hand system)을 구성한다고 가정한다(도 5 참조). 도 5는 FVC 및 SVC-L과 연관된 전역 좌표계를 나타낸다.

전역 좌표계에서의 통상적인 카메라 방위는 렌즈 시스템의 광축 O가 X축과 일치하며 이미저(imager; 가령, 이미지 센서 등)의 장축은 지면에 평행하다. 실제의 카메라 방위는 통상적인 카메라 방위로 시작하여 전역 좌표계 축들을 중심으로 카메라를 회전시킴에 의하여 얻어질 수 있다. α, β 및 γ는 각각 X축, Y축 및 Z축을 중심으로 하는 회전 각도를 의미한다.

α, β 및 γ 각도 각각은 두 성분, 즉 카메라 시스템 디자인에 의하여 사전 정의되고 알려진 공칭 각도(nominal angle) α _nom , β _nom 및 γ _nom 와 캘리브레이션 프로세스의 마지막에 결정될 각도상 오정렬 α _err , β _err 및 γ _err 의 합에 해당한다.

카메라가 통상적인 위치에 있는 경우, 좌표계 XYZ는 이미저 평면 상으로 투영되어, Y축의 투영인 P축과 Z축의 투영인 Q축과 같은 2차원 좌표계 PQ를 구성하게 된다(도 6 참조).

도 6에 도시된 바와 같이, P와 Q는 이미저(imager)와 연관된 2차원 시스템의 좌표축이어서, 그 원점은 이미저의 중심과 일치하며 P축은 이미저의 장축과 평행하고 Q축은 수직하게 된다. 나아가, 이미저의 중심은 렌즈 시스템의 광축 O 상에 있다고 가정한다.

이미지들의 획득

도 7a 및 도 7b는 각각 차량의 변위 전후의 캘리브레이션 시스템에 대한 셋업(set-up)의 예시를 나타낸다.

도 7a에 도시된 바와 같이, 캡쳐될 타깃들은 차량의 주변 영역 내에 위치된다. 각각의 카메라는 적어도 2개의 타깃들(타깃 A와 타깃 B)을 캡쳐하는 것으로 가정한다. 앞서 설명한 바와 같이, 비록 차량에 대한 타깃들의 위치를 정밀하게 사전에 설정할 필요는 없지만, 고 정밀도의 캘리브레이션을 달성하기 위해서는 타깃 A와 타깃 B 사이의 횡 방향 거리를 카메라 유닛의 시계(field of view) 내에서 유지하면서 최대화하는 것이 바람직하다. 소형 차량의 경우, 타깃들 사이의 합리적인 거리는 약 2 미터 정도일 것이다.

타깃들 A와 B는 카메라 유닛에 의하여 모두 동시에 캡쳐되며, 이미지는 ECU로 전달되어 메모리에서 I₁으로 저장된다.

다음, 도 7b에 도시된 바와 같이, 차량은 (X축을 따라) 길이 방향으로 타깃들에 대하여 소정 거리만큼 이동된다. 차량의 변위는 캘리브레이션의 고 정밀도를 위하여 최대화되어야 하지만, 타깃들은 여전히 대응 카메라의 시계 내에 유지되어 있어야만 한다. 소형 차량의 경우, 합리적인 변위는 약 1.5 내지 2 미터 정도일 것이다.

타깃들은 차량의 새로운 위치에서 캡쳐되며, 이미지는 ECU로 전달되어 메모리에서 I₂로 저장된다.

타깃들은, 현 기술 수준에서의 임의의 머신 비전 알고리즘(machine vision algorithm)을 사용하여, 이미지들 I₁ 및 I₂ 각각에서 검출되며, 이들의 좌표는 메모리 내에서 다음과 같이 저장된다.

p _1A , q _1A : 이미지 I ₁ , 타깃 A

p _1B , q _1B : 이미지 I ₁ , 타깃 B

p _2A , q _2A : 이미지 I ₂ , 타깃 A

p _2B , q _2B : 이미지 I ₂ , 타깃 B

타깃들의 전역 좌표 계산

이미저 상에서의 타깃들의 좌표는 차량의 변위 전후의 타깃들의 전역 좌표를 획득하기 위하여 변환된다. 이하, 특정 이미지 또는 타깃에 상관없이 일반적인 용어로 변환을 예시적으로 나타낸다.

이미저 상에서의 좌표 p, q를 갖는 포인트에 대응하는 광학 시스템으로 들어오는 주 광선은, 이하, 주 광선(chief ray)으로 명명된다.

먼저, 좌표 p, q를 갖는 포인트로부터 이미저의 중심까지의 거리가 아래 수학식 1에 의하여 계산된다.

카메라 시스템에 사용되는 광각 렌즈는 흔히 심각한 광학 왜곡(optical distortion)을 나타낸다고 널리 알려져 있다. 따라서, 이러한 왜곡을 고려하기 위하여, r은 광축 O와 주 광선 사이의 공간 각도(spatial angle) θ로 전환된다. 이 는 흔히 "왜곡 커브"로 일컬어지는 맵핑 함수를 사용하여 행해지며, 룩업 테이블, 그래프 또는 분석적 표현(analytical expression)의 형태로 표현된다. 왜곡 커브의 예시가 도 8에 도시되어 있다. 왜곡 커브는 렌즈 시스템 광학 설계로부터 알려져 있다.

이미저 평면 상의 주 광선의 투영과 P축 사이의 각도

가 아래 수학식 2에 의하여 계산될 수 있다.

각도

와 θ는 원점이 전역 좌표계의 원점과 일치하는 구 좌표계 내의 주 광선을 정의함에 주의해야 한다. 도 9는 카메라가 통상적인 방위(normal orientation)에 있다고 가정하여 전역 좌표계 XYZ와 함께 구 좌표계를 도시하고 있다. 통상적인 방위로부터 실제 방위로 카메라를 구동하기 위하여 필요한 회전을 고려하여, 전역 좌표계에서 동일한 주 광선을 정의하기 위하여 수학식 3의 선형 방정식을 이용한다.

여기서, 파라미터들은 다음과 같이 나타낼 수 있다.

이러한 수식에서

는 다음과 같은 아핀 변환 회전 매트릭스(affine transformation rotation matrix)를 나타낸다.

전역 좌표계에서 지면(ground plane) 수식은 아래와 같이 정의된다.

여기서, h는 지상 위로의 카메라 높이이며 카메라 시스템 설계로부터 알려진다.

수학식 7에서 z를 대체하면,

와 θ 에 의해 정의되는 주 광선과 지면의 교점의 전역 좌표를 발견할 것이며, 이는 오직 타깃의 전역 좌표일 뿐이다.

수학식 1 및 2의 p, q를 특정 이미지와 타깃에 대한 값들로 대체하면, 이미지 I ₁ 타깃 A (x _1A , y _1A ), 이미지 I ₁ 타깃 B (x _1B , y _1B ), 이미지 I ₂ 타깃 A (x _2A , y _2A ) 및 이미지 I ₂ 타깃 B (x _2B , x _2B )에 대한 전역 좌표계가 계산된다.

각도상 오정렬 계산

타깃의 전역 좌표를 계산하는데 사용되는 회전 각도 α, β 및 γ 각도가 실제 카메라 변위에 대응한다면, 다음 식들을 만족한다.

여기서,

이에 기초하여, 회전 각도 최적화에 사용되는 메트릭을 정의한다.

그러나, 다수의 다른 메트릭이 본 발명의 범위로부터 벗어 나지 않고 당업자 에 의하여 정의될 수 있다.

α _err , β _err 및 γ _err 를 변화시킴에 의하여, 메트릭

이 최소화되도록 이러한 각도의 조합이 구해질 수 있다. 다수의 최적화 방법은, 가령 그레디언트 디슨트(Gradient Decent) 또는 가우스-뉴튼(Gauss-Newton) 최적화 방법과 같이, 최적 각도의 빠른 검색을 제공하도록 채택될 수 있다. 물론, 다른 방법이 본 발명의 범위로부터 벗어 나지 않고 사용될 수도 있다. 예를 들어, 최소 메트릭 임계치(minimum metric threshold), 최소 각도 변화 임계치(minimum angle change threshold) 또는 반복적 최적화 방법들(iterative optimization methods)에 대한 종료 범위로서 최대 수의 이터레이션(iteration)을 사용할 수도 있다.

캘리브레이션 단계

따라서, 카메라 시스템 캘리브레이션 방법은 시스템 내에 통합된 카메라 각각에 대하여 개별적으로 수행되는 다음 단계들을 포함한다.

단계 1. 이미지 I₁을 캡쳐하고, ECU로 전송하고, 메모리에 저장함.

단계 2. 일정 거리만큼 길이방향으로 차량을 이동시킴.

단계 3. 이미지 I₂를 캡쳐하고, ECU로 전송하고, 메모리에 저장함.

단계 4. 이미지들 상의 타깃들을 검출하고, (p _1A , q _1A ), (p _1B , q _1B ), (p _2A , q _2A ) 및 (p _2B , q _2B )를 획득함.

단계 5. α, β 및 γ를 α _nom , β _nom 및 γ _nom 로 각각 초기화함.

단계 6. 수학식 1과 2 및 왜곡 커브를 이용하여,

,

를 계산함.

단계 7. 수학식 5를 사용하여 α, β 및 γ의 현재 값으로

를 계산함.

단계 8. 수학식 4와 7을 이용하여, 전역 좌표 (x _1A , y _1A ), (x _1B , y _1B ), (x _2A , y _2A ) 및 (x _2B , x _2B )를 계산함.

단계 9. 수학식 10을 이용하여, 메트릭

를 계산함.

단계 10. 최적화 방법을 사용하여 각도 α, β 및 γ를 업데이트함.

단계 11. 최적화 방법에 대한 특정 종료 범위를 만족할 경우, 단계 13으로 진행됨.

단계 12. 최적화 방법에 대한 특정 종료 범위를 만족하지 못할 경우, 단계 7로 진행됨.

단계 13. 오정렬 각도

,

를 계산함.

단계 14. 중단.

이상과 같은 본 실시예에 의한 카메라 시스템 캘리브레이션 방법은 이후에 설명되는 [예시] 부분에 의하면 더욱 명확하게 이해될 것이다.

바림직한 실시예의 구체적 예시

이하, 본 발명의 발명의 바람직한 실시예의 예시를 구체적인 수치와 함께 보인다.

사전 설정된 파라미터는 다음과 같다.

- 공칭 각도:

- 지면으로부터의 카메라 높이(m):

h = 0.8

- 왜곡 커브는 선형이며 분석적 형태(analytical form)로 정의됨:

이미지를 캡쳐한 후, 타깃들이 검출되며 이미저 상에서의 이들의 좌표들(mm 단위)이 다음 표 1에서와 같이 결정된다.

각각의 타깃들에 대하여 다음과 같이 파라미터들이 계산된다.

본 예시에서는 쿼지-뉴튼 라인 검색 방법(Quasi-Newton Line Search method)을 사용하여 최적의 각도가 결정되었다. 종료 범위는 최소 메트릭 임계치로서

< 10^-5로 정의되었다. 각각의 이터레이션에 대한 진행은 다음 표에서 보여진 바와 같다.

위 표에서 확인되는 바와 같이, 13번째 이터레이션에서 종료 범위인

< 10^-5가 만족되며, 이에 따라 최적화 단계는 종료된다.

결국, 구하고자 하는 오정렬 각도는 다음과 같이 계산된다.

이상에서 설명된 내용은 본 발명의 바람직한 실시예의 형태로 제공되었으므로, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해하여야 할 것이다. 따라서, 본 발명의 권리 범위는 개시된 실시예에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1은 카메라가 장착된 차량을 나타내는 도면;

도 2는 일반적으로 사용되는 시스템의 구조를 도시한 도면;

도 3은 디스플레이된 이미지의 예시를 나타낸 도면;

도 4는 복수의 카메라 중 FVC가 각도상 오정렬로 장착된 경우에 있어서의 디스플레이된 이미지의 예시를 나타낸 도면;

도 5는 FVC 및 SVC-L과 연관된 전역 좌표계를 나타낸 도면;

도 6은 이미저(imager)와 연관된 좌표계를 나타낸 도면;

도 7a 및 도 7b는 각각 차량의 변위 전후의 캘리브레이션 시스템에 대한 셋업의 예시를 나타낸 도면;

도 8은 이미저 상의 포인트 좌표를 왜곡 커브를 사용하여 주 광선(chief ray)와 광축(optical axis) 사이의 각도로 변환한 것을 도시한 도면 - 여기서, FOV는 렌즈의 각도상 FOV를 나타냄;

도 9는 카메라와 연관된 주 광선과 구 좌표계를 도시한다.

* 도면의 주요 부호에 대한 설명*

FVC: 전방 시야 카메라(Front View Camera)

RVC: 후방 시야 카메라(Rear View Camera)

SVC-R, SVC-L: 측방 시야 카메라들(Right Side View Camera, Left Side View Camera)

Claims

차량용 카메라 시스템의 캘리브레이션 방법에 있어서,

a. 차량의 각 측면에 부착된 카메라 각각에 대한 적어도 2 이상의 타깃들 - 상기 타깃들은 차량의 주변 영역에 위치함 - 을 특징으로 하는 제 1 이미지를 캡쳐하는 단계;

b. 상기 타깃들을 이동시키지 않고 상기 차량을 전후 방향으로 변위시키는 단계;

c. 상기 변위된 위치에서 상기 타깃들을 특징으로 하는 제 2 이미지를 캡쳐하는 단계;

d. 상기 캡쳐된 제 1 및 제 2 이미지 상의 타깃들을 검출하는 단계;

e. 상기 검출된 타깃들의 전역 좌표를 계산하는 단계; 및

f. 상기 계산된 타깃들의 전역 좌표에 기초하여 메트릭 함수를 최적화하면서 상기 카메라의 각도상 오정렬을 검색하는 단계

을 포함하는 차량용 카메라 시스템의 캘리브레이션 방법.
제 1 항에 있어서,

상기 타깃들은 차량 주변의 지면에 페인팅 되거나 지상에 놓이는 것을 특징으로 하는 차량용 카메라 시스템의 캘리브레이션 방법.
제 2 항에 있어서,

상기 타깃들 사이의 횡 방향 거리는 카메라 유닛의 시계(field of view) 내에상기 타깃들을 모두 유지하면서 최대화하는 것을 특징으로 하는 차량용 카메라 시스템의 캘리브레이션 방법.
제 1 항에 있어서,

상기 b) 단계는 차량 자체가 구동되거나 또는 컨베이어와 같은 기타 차량 이동 수단에 의하는 것을 특징으로 하는 차량용 카메라 시스템의 캘리브레이션 방법.
제 1 항에 있어서,

상기 e) 단계는, 상기 카메라 내의 광학 유닛으로 들어오는 주 광선(chief ray)의 구 좌표(spherical coordinate)와 상기 주 광선과 지면과의 교점의 전역 좌표를 계산하는 단계를 더 포함하는 차량용 카메라 시스템의 캘리브레이션 방법.
제 5 항에 있어서,

렌즈 광학 왜곡에 따라 주 광선을 구 좌표에 적합화시키는 단계를 더 포함하는 차량용 카메라 시스템의 캘리브레이션 방법.
제 1 항에 있어서,

상기 f) 단계는 카메라의 공칭 회전 각도로부터 검색을 시작하는 단계를 더 포함하는 차량용 카메라 시스템의 캘리브레이션 방법.
제 7 항에 있어서,

렌즈 광학 왜곡에 따라 주 광선을 구 좌표에 적합화시키는 단계를 더 포함하는 차량용 카메라 시스템의 캘리브레이션 방법.
차량용 카메라 시스템에 대한 캘리브레이션 장치에 있어서,

차량의 전방, 후방 및 좌우측방에 각각 부착되어 차량 주위의 일측 영역마다 형성된 적어도 2 이상의 타깃을 포함하는 이미지를 캡쳐하도록 구성된 복수의 카메라 유닛;

상기 복수의 카메라 각각에 의하여 켭쳐된 이미지를 합성 처리하여 하나의 상부 시야(single top view)를 형성하도록 구성된 전자 제어 유닛을 포함하고,

상기 전자 제어 유닛은 제 1 항 내지 제 8 항 중 어느 한 항에 정의된 캘리브레이션 방법에 의하여 차량 각도상 오정렬을 판단하는 것을 특징으로 하는 차량용 카메라 시스템의 캘리브레이션 장치.
제 9 항에 있어서,

상기 전자 제어 유닛은 차량 내에 설치되어 있는 전자 제어 유닛에 통합된 것을 특징으로 하는 차량용 카메라 시스템의 캘리브레이션 장치.
제 9 항에 있어서,

상기 전자 제어 유닛은 차량 내에 설치되어 있는 전자 제어 유닛과는 별도의 디바이스인 것을 특징으로 하는 차량용 카메라 시스템의 캘리브레이션 장치.
차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법에 있어서,

a. 차량의 제 1 위치에서, 차량 주위 영역 중 일측에 형성된 적어도 2 이상의 타깃을 동시에 포함하는 제 1 이미지를 캡쳐하는 단계;

b. 상기 차량의 제 1 위치로부터 일정 직선 거리만큼 이격된 제 2 위치에서, 상기 적어도 2 이상의 타깃을 동시에 포함하는 제 2 이미지를 캡쳐하는 단계;

c. 상기 제 1 및 제 2 이미지들 상의 타깃들을 검출하여 이미저 상에서의 좌표를 획득하는 단계;

d. 회전 각도 α,β,γ를 공칭(nominal) 회전 각도로 각각 초기화하는 단계;

e. 상기 제 1 및 제 2 위치에서의 타깃들 각각에 대하여 구 좌표계에서의 주 광선을 정의하는 각도 θ,
를 계산하는 단계;

f. 상기 회전 각도 α,β,γ의 현재 값으로 아핀 변환 회전 매트릭스(affine transformation rotation matrix)를 계산하는 단계;

g. 상기 각도 θ,
와 차량에 설치된 카메라의 지면으로부터의 높이를 이용하여, 상기 제 1 및 제 2 위치에서의 타깃들 각각에 대한 전역 좌표를 계산하는 단계;

h. 상기 계산된 전역 좌표를 이용하여 회전 각도 최적화에 사용되는 메트릭 을 계산하는 단계;

i. 최적화 방법을 사용하여, 상기 최적화 방법에 대한 종료 범위가 만족될 때까지 상기 회전 각도 α,β,γ를 업데이트하는 단계; 및

j. 상기 종료 범위를 만족하는 회전 각도와 상기 공칭 회전 각도 사이의 차로부터 오정렬 각도를 계산하는 단계

를 포함하여 이루어지는 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법.
차량용 카메라 시스템의 각도상 오정렬을 판단하기 위한 전자 제어 유닛에 있어서,

상기 전자 제어 유닛은,

a. 차량의 제 1 위치와 상기 제 1 위치로부터 이격된 제 2 위치 각각에서, 차량 주위 영역 중 일측에 형성된 적어도 2 이상의 타깃을 동시에 포함하도록 캡쳐된 제 1 이미지 및 제 2 이미지 상의 타깃들을 검출하여 이미저 상에서의 좌표를 획득하는 단계;

d. 회전 각도 α,β,γ를 공칭 회전 각도로 각각 초기화하는 단계;

e. 상기 제 1 및 제 2 위치에서의 타깃들 각각에 대하여 구 좌표계에서의 주 광선을 정의하는 각도 θ,
를 계산하는 단계;

f. 상기 회전 각도 α,β,γ의 현재 값으로 아핀 변환 회전 매트릭스를 계산하는 단계;

g. 상기 각도 θ,
와 차량에 설치된 카메라의 지면으로부터의 높이를 이용하여, 상기 제 1 및 제 2 위치에서의 타깃들 각각에 대한 전역 좌표를 계산하는 단계;

h. 상기 계산된 전역 좌표를 이용하여 회전 각도 최적화에 사용되는 메트릭을 계산하는 단계;

i. 최적화 방법을 사용하여, 상기 최적화 방법에 대한 종료 범위가 만족될 때까지 상기 회전 각도 α,β,γ를 업데이트하는 단계; 및

j. 상기 종료 범위를 만족하는 회전 각도와 상기 공칭 회전 각도 사이의 차로부터 오정렬 각도를 계산하는 단계

를 수행하도록 구성된 전자 제어 유닛.
제 13 항에 있어서,

상기 전자 제어 유닛은 차량 내에 설치되어 있는 전자 제어 유닛에 통합된 것을 특징으로 하는 전자 제어 유닛.
제 13 항에 있어서,

상기 전자 제어 유닛은 차량 내에 설치되어 있는 전자 제어 유닛과는 별도의 디바이스인 것을 특징으로 하는 전자 제어 유닛.
제 13 항 내지 제 15 항 중 어느 한 항에 있어서,

상기 타깃들은 차량 주위의 지면에 페인팅되거나 지상에 놓이는 것을 특징으로 하는 전자 제어 유닛.
제 16 항에 있어서,

상기 타깃들 사이의 횡방향 거리는 카메라 유닛의 시계(field of view) 내에상기 타깃들을 모두 유지하면서 최대화하는 것을 특징으로 하는 전자 제어 유닛.