KR20070051275A

KR20070051275A - 입체시각 시스템의 자동 보정 방법

Info

Publication number: KR20070051275A
Application number: KR1020077003637A
Authority: KR
Inventors: 제로미 마르큐에
Original assignee: 르노 에스.아.에스.
Priority date: 2004-08-11
Filing date: 2005-06-27
Publication date: 2007-05-17
Also published as: WO2006021700A1; FR2874300B1; FR2874300A1; EP1779677A1; US20070291125A1; JP2008509619A

Abstract

본 발명은 차량에 탑재하여 배치되도록 한 입체시각 시스템(stereovision system)의 자동 보정 방법에 관한 것이다. 본 발명의 방법은, 제1 및 제2 포착 장치를 사용하여 적어도 하나의 차량용 통행 레인을 포함하는 동일한 장면(scene)의 좌측 이미지와 우측 이미지를 포착하는 단계(610)와; 기본적으로 평행한 2 개의 레인의 직선에 대응하는 적어도 2 개의 소멸선(vanishing line)에 대하여 좌측 이미지와 우측 이미지를 검색하는 단계(620)와; 상기 적어도 2 개의 소멸선의 검출 시, 좌측 이미지와 우측 이미지에 대하여 상기 적어도 2 개의 각각 검출된 소멸선의 교차점의 좌표를 결정하는 단계(640)와; 좌측 이미지와 우측 이미지에 대하여 결정된 교차점의 좌표로부터 피치(pitch) 각도 및 흔들림(yaw) 각도에 관한 카메라간 차(intercamera difference)의 형태로 피치 에러와 흔들림 에러를 결정하는 단계(650)를 포함한다.

입체시각 시스템, 카메라, 이미지, 피치 에러, 흔들림 에러, 자동 보정, 프레임, 좌표, 소멸선, 파라미터

Description

입체시각 시스템의 자동 보정 방법{METHOD FOR THE AUTOMATIC CALIBRATION OF A STEREOVISION SYSTEM}

본 발명은 차량에 탑재되도록 한 입체시각 시스템의 자동 보정 방법에 관한 것이다.

입체시각 시스템을 좌우측 2 개의 카메라와 통합시킨, 차량에 사용되는 장애물 검출 시스템은 조작 가능하도록 매우 정확하게 보정되어야 한다. 구체적으로, ±0.1°차수의 보정 에러 - 즉, 카메라 축의 정렬 에러 - 는 검출 시스템의 기능 장애를 야기할 수 있다. 현재, 이러한 정밀도는 기계적으로 달성하기에 매우 어렵다. 따라서, 카메라 축의 정렬 에러를 결정하고 결정된 정렬 에러의 기능으로서 카메라에 의해 검출된 이미지에 기초하여 이행된 측정값을 교정하는 데 있는 소위 전자 보정 방식이 고찰되어야 한다.

알려진 보정 방식들은 입체시각 시스템을 향해 배치되어야 하는 테스트 패턴의 사용을 필요로 한다. 따라서, 이 방식들은 워크숍에 개입시키기 위하여 차량의 수동적인 작업 정지를 필요로 하고 보정이 규칙적인 시간격으로 이행되어야 하므로 매우 값비싼데, 그 이유는 하나의 카메라에 대한 다른 카메라의 움직임이 차량의 라이프 사이클에서 ±0.1°미만인 것을 보장할 수 없기 때문이다.

J. DOURET에 의해 2004년 4월 2일자 제출된 University of Paris 6으로부터의 박사학위 논문에는, 그라운드 마킹(ground marking)의 도로상의 검출과 이들 마킹(개별 위치, 간격 및/또는 전반적 구조)에 부과된 기하학적 제약의 사전 지식에 기초한 테스트 패턴이 없는 보정 방식이 제안되어 있다. 이 방식은, 한편으로 이것의 용도가 미리 정해진 특징을 갖는 마킹이 시계(field of vision) 내에 배치되고 또한 이러한 마킹에 부과된 기하학적 제약이 체계화되어야 한다는 것을 미리 가정한다는 사실 때문에, 그리고 다른 한편으로, 이것의 용도가 한편으로 차도의 마킹에 의한 라인의 구분이 유용하고 또한 다른 한편 좌측 이미지와 우측 이미지에서 각각 검출된 마킹의 횡방향 및 종방향 위치를 나타내는 여러 마킹점들의 위치들 간에 일치가 확립되어야 한다는 것을 미리 가정한다는 사실 때문에 복잡한 것으로 판명되어 있다.

따라서, 본 발명은, 단순하고 자동적이며, 특히 테스트 패턴의 사용, 또는 인위적 개입, 또는 차량의 정지를 필요로 하지 않고, ±0.1°미만의 보정 정밀도를 얻을 수 있는, 차량에 탑재되도록 의도된 입체시각 시스템의 보정 방법을 생성하는 것을 목적으로 한다.

이러한 목적으로, 본 발명의 과제는, 차량에 탑재되도록 의도되고, 적어도 2 개의 이미지 포착 장치, 즉 제1의 소위 "좌측" 이미지를 포착하는 제1 포착 장치 및 제2의 소위 "우측" 이미지를 포착하는 제2 포착 장치를 포함하는 입체시각 시스템의 자동 보정 방법으로서,

a) 상기 제1 포착 장치 및 상기 제2 포착 장치에서 상기 차량용의 적어도 하나의 주행 트랙(running track)을 포함하는 하나의 동일한 장면(scene)의 좌측 이미지와 우측 이미지의 각각을 포착하는 단계,

b) 보정 에러를 결정하는 단계,

c) 상기 보정 에러에 기초하여 상기 좌측 및 우측 이미지의 조정을 실행하는 단계

를 포함하고, 상기 자동 보정 방법 중 단계 b)는,

b1) 상기 좌측 이미지 및 상기 우측 이미지를 통해서 주행 트랙의 거의 평행한 2 개의 직선에 대응하는 적어도 2 개의 소멸선(vanishing line), 특히 주행 트랙의 경계선 또는 마킹(marking) 선을 검색하는 단계,

b2) 상기 좌측 이미지 및 상기 우측 이미지에 대하여 상기 적어도 2 개의 각각 검출된 소멸선의 교차점의 좌표를 결정하는 단계,

b3) 상기 좌측 이미지 및 상기 우측 이미지에 대하여 결정된 상기 교차점 좌표에 기초하여 피치(pitch) 각도 및 흔들림(yaw) 각도의 각각의 카메라간 차(intercamera difference)의 형태로 피치 에러 및 흔들림 에러를 결정함으로써 보정 에러를 결정하는 단계

를 포함하며,

상기 좌측 및 우측 이미지의 상기 조정은 상기 피치 에러 및 상기 흔들림 에러의 함수로서 실행되는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법이다.

여기서 넓은 의미에서 주행 트랙은 도로 자체(차도와 길가를 포함함), 단독의 차도 또는 도로상에 여러 레인으로 구분된 주행 레인 모두를 의미한다.

본 발명에 따른 방법은 주행 트랙이 거의 평행한 선, 즉 주행 트랙의 에지에 대응하는 경계선이나 주행 트랙의 마킹 선 중 어느 한 선을 포함한다는 사실을 이용한다. 또한, 위에서 언급한 선행 기술과 반대로, 마킹 선은 반드시 미리 정해진 간격을 제시 또는 나타낼 필요가 없다. 최종적으로, 우측 이미지와 좌측 이미지에서의 소멸점의 결정만이 보정 에러, 특히 피치 에러 및 흔들림 에러를 결정할 수 있다.

특히 유리한 실시예에 따라, 피치 에러 및 흔들림 에러는 회전 각도(angle of roll)가 소정의 간격, 예컨대 -5°와 +5°사이에 있다고 가정함으로써 결정된다.

본 방법이 인위적인 개입 없이 실행된다는 사실 때문에, 본 방법은 차량이 충분히 평평한 주행 레인을 따르자마자 어떠한 비용 초과도 없이 반복적으로 실시될 수 있다. 본 방법은 소정의 주기성에 따라 규칙적인 시간 간격으로 실시되는 것이 바람직하다. 또한, 본 방법은 차량 정지를 필요로 하지 않고 차량이 변위하는 동안 실시되기에 적합하다. 이것은, 예를 들면 카메라의 기계적인 "재보정"의 경우에, 차량이 다시 충분히 평평한 주행 레인을 따르자마자 자동적으로 그리고 전자적으로 보정이 다시 실시될 수 있다는 것을 보장한다.

본 발명에 따른 방법의 특히 유리한 실시예에 따라, 본 발명은,

좌측 이미지와 우측 이미지에 대하여 결정된 소멸선의 방정식 파라미터의 프레이밍을 결정하는 단계,

소멸점의 방정식 파라미터의 프레이밍에 기초하여 좌측 이미지와 우측 이미지의 소멸점 좌표의 프레이밍을 결정하는 단계, 및

소멸선의 좌표의 프레이밍에 기초하여 피치 에러와 흔들림 에러의 프레이밍을 결정하는 단계를 더 포함한다.

본 발명의 기타 다른 이점 및 특징들은 다음의 설명에 비추어 명백해질 것이다.

도 1은 입체시각 시스템을 구비한 차량의 개략도.

도 2a 및 도 2b는 주행 트랙 상의 위치에서 차량에 설치된 카메라에 의해 포착된 이미지의 실례를 나타내는 도면.

도 3a, 도 3b 및 도 3c는 본 발명에 따른 방법에 사용되는 기하학적 모델의 3차원의 기하학적 예시도.

도 4a 및 도 4b는 본 발명에 따른 방법에 사용되는 일정한 파라미터의 계산법을 나타내는 도면.

도 5는 본 발명에 따른 방법의 간략화된 흐름도.

다음으로, 도 1에 나타낸 바와 같이, 주행 트랙(B) 상에서 이동하거나 또는 정지된 차량(V)(위로부터 보여짐)을 고려한다. 주행 트랙은 거의 평평한 것으로 가정한다. 따라서, 주행 트랙은 주행 트랙 자체(우측 및 좌측 에지)의 경계선(LB) 또는 측면(L1, L2)이나 중앙(LM)의 마킹 선 중 어느 하나로 이루어진 거의 평행한 선을 포함한다. 마킹 선(L1, L2)은 차도를 적절히 한정하는 반면, 선(L1, LM)(또는 L2, LM)은 이 차도상의 주행 레인을 한정한다. 도로의 에지(LB)가 충분히 직선적이고 도로의 직접적인 환경에 대해서 충분한 콘트라스트를 나타낸다면, 이 에지가 평행한 선으로서 이용할 수 있는 한, 도로의 마킹이 본 발명에 따른 방법의 실행에 반드시 필수적이지 않다는 것을 주목해야 한다. 특히, 휘도 콘트라스트나 색도 콘트라스트는 균등하게 작지만 도로 및 그 도로의 직접적인 환경의 스냅샷(snapshot) 상에서 검출가능한 이들 에지들을 렌더링하는데 충분할 수 있다.

차량은 어느 정도 이격 배치된 2 개의 카메라인 우측 CD와 좌측 CG를 포함하는 입체시각 시스템이 구비되어 있다. 이들 카메라는 전형적으로 디지털 이미지의 포착을 허용하는 CCD 카메라이다. 이미지는 2 개의 카메라와 통신하여 이들이 디지털화하는 이미지를 수신하는 중앙 처리 계산 시스템(S)에 의해 처리된다. 우선적으로, 좌측 및 우측 이미지는 변함 없이 고유한 보정 파라미터와 함께 변형되어 공간 지점이 카메라의 초점면의 지점에 투영되는 핀홀 모델로 축소되는데, 이 지점은 공간 지점을 카메라의 광학 중심에 결합하는 직선과 이 초점면의 교차점에 대응한다. (예를 들면 Prentice Hall에 의해 출판된 Forsyth와 Ponce 저서 "Computer Vision, A modem approach"의 3장을 참조). 이후 이미지는 예를 들면 콘트라스트 또는 선명도를 향상시켜 이미지의 라인을 검출하는 후속 단계를 용이하게 하도록 필터링 또는 사전 처리 포착 후의 주제를 형성한다.

차량에 배치된 각각의 카메라(CD, CG)는 도 2a 또는 도 2b에 나타낸 것과 같 은 이미지를 포착한다. 이미지(2a)는 차량이 직선적인 주행 레인을 따르는 상황에 대응한다. 이 이미지에서, 주행 트랙을 마킹하는 선(L1, L2)은 평행하고 이미지의 소멸점에 집중한다. 이미지(2b)는 차량이 도시 내의 굴곡을 따르는 상황에 대응한다. 이 이미지에서 검출할 수 있는 선(L1, L2)은 매우 짧은 직선 부분이다.

이제부터 본 방법의 특정 형태의 각각을 예시하는 도 3a, 도 3b, 도 3c 및 도 4a, 도 4b와 결합하여 도 5를 참조하여 단계적으로 본 발명에 따른 방법을 설명한다. 단계 610 내지 640은 우측 이미지와 좌측 이미지상에서 동일한 방식으로 정확하게 실시되고, 단계 650 내지 670은 2 개의 이미지를 조합하여 단계 610 내지 640에서 얻어진 결과를 이용한다.

직선의 검출

단계 610에서 우측 카메라(CD)에 의해 포착되어 이 카메라(CD)에 대한 핀홀 모델로 축소하도록 교정된 이미지뿐만 아니라, 좌측 카메라(CG)에 의해 포착되어 동일한 방식으로 교정된 이미지는 이후 선 검출 단계(620)로 넘겨진다. 이러한 목적으로 Hough 변환 또는 Radon 변환이 사용되는 것이 바람직하다. 매트릭스 필터링, 스레시홀딩(thresholding) 및 이미지 내의 경사도의 검출 등에 의한 직선을 검출하기 위한 임의의 다른 프로세스가 또한 이용될 수 있다. Hough 또는 Radon 변환의 사용은 이미지 내에 존재하는 선을 결정하고 더욱이 이 선에 속하는 지점의 수를 결정할 수 있다. 발견된 지점의 수의 함수로서, 차량이 직선 상황에 있는지 또는 곡선에 있는지를 결정할 수 있다. 첫 번째 경우에 입체적인 보정이 실시될 수 있지만 두 번째 경우는 아니다.

이들 선이 직선인 경우, 이 변환은 선의 검출에 이용되는 변환의 파라미터화에 의한 정밀도로 직선 방정식의 계수를 결정할 수 있다.

이러한 목적으로 좌측 카메라에 의해 포착된 좌측 이미지 및 도 3a에 예시된 오소노말 아핀(orthonormal affine) 기준 프레임 R_IG = (O_IG,

G -

G )에 대해서 정의하고, 여기서 좌표 (u0, v0)를 갖는 원점 O_IG는 카메라의 포착 매트릭스(전형적으로는 CCD 매트릭스)의 중앙에 위치하는 것으로 가정되고, 기본 벡터

G와

G는 매트릭스의 수평 및 수직축에 각각 대응한다. 여기서 기준 프레임 R_IG의 좌표(u0, v0)는 카메라의 이미지 매트릭스에 대하여 많은 픽셀로서 주어진다. 우측 이미지에 대해서도 마찬가지로 오소노말 아핀 기준 프레임 R_ID = (O_ID,

D,

D )를 정의한다. 여기서 단순화하기 위해 2 개의 포착 매트릭스 우측 및 좌측의 치수는 동일한 것으로 가정한다. 따라서, 각 우측 및 좌측 매트릭스의 중앙의 좌표(u0, v0)는 또한 동일하다.

이러한 기준 프레임에서 직선은 다음의 방정식을 갖는다:

여기서, θ 및 ω는 직선의 원점에서 기울기 및 세로 좌표를 특징화하는 파라미터이다.

따라서, Hough 또는 Radon 변환에 의해서 결정된 각각의 직선 방정식은 θ의 값과 ω의 값에 대응한다. 이용된 변환의 파라미터화에 따라, 파라미터의 이들 2 개 값의 프레이밍을 검출된 각 직선에 대하여 결정할 수 있다.

주행 트랙의 직선(L1)에 대응하는 우측 이미지의 제1 직선(LD1)에 대하여, θ 및 ω의 값 θ_D1 및 ω_D1에 대한 다음의 프레이밍을 얻는다:

그리고 주행 트랙의 직선(L2)에 대응하는 우측 이미지의 제2 직선(LD2)에 대하여, θ 및 ω의 다음의 프레이밍 값 θ_D2 및 ω_D2를 얻는다:

마찬가지로, 주행 트랙의 직선(L1)에 대응하는 우측 이미지의 제1 직선(LG1)에 대하여, θ 및 ω의 값 θ_G1 및 ω_G1에 대한 다음의 프레이밍을 얻는다:

주행 트랙의 직선(L2)에 대응하는 우측 이미지의 제2 직선(LG2)에 대하여, θ 및 ω의 값 θ_G2 및 ω_G2에 대한 다음의 프레이밍을 얻는다:

차량이 비직선형 레인 부분을 따르고 검출된 직선 부분이 이미지 내의 소멸점의 정확한 결정에 부적합한 도 2b의 유형의 상황을 제거하기 위해, 충분한 갯수의 지점이 얻어지는 이미지의 직선들만을 유지한다. 따라서, 테스트 단계(630)는 검출된 직선 각각에서 실시되어 2 개의 적은 지점을 포함하는 직선의 부분을 제거하고 이미지 내의 적어도 2 개의 직선에 대하여 지점의 개수가 임계값보다 큰지를 결정한다. 이 임계값은 경험적으로 정해지거나 연속적인 특징 이미지상에서의 실험의 결과이다. 어떠한 직선도 또는 직선의 일부도 충분한 갯수의 지점을 갖지 않은 경우, 본 방법의 다음 단계는 실시되지 않고 이미지 포착 단계(610)로 되돌아간다. 적어도 2 개의 직선이 충분한 갯수의 지점을 갖는 경우, 이들 우측 및 좌측 이미지에서 2 개의 직선만을 유지하는데, 예를 들면 2 개의 직선이 각 이미지에서 대부분의 지점을 가지면 다음 단계(640)로 간다.

소멸점의 결정

각각의 우측 및 좌측 이미지에 대하여 소멸점의 좌표, 즉 유지된 2 개의 직선의 교차점의 좌표를 결정한다.

위에서 정의된 표기 및 방정식에 기초하여, 우측 이미지 내에서의 직선(LD1, LD2)의 좌표(U_DF, V_DF)를 갖는 교차점은 다음의 관계식으로 정의된다:

여기서 θ_D1, ω_D1, θ_D2, 및 ω_D2는 관계식 (2) 내지 (5)로 정의된 간격에서 각각 변화된다.

따라서, 앞서 결정된 프레임 값으로부터, θ_D1, ω_D1, θ_D2, 및 ω_D2가 관계식 (2) 내지 (5)로 정의된 간격에서 각각 변화되는 관계식 (10) 및 (11)로 주어진 최대 및 최소의 U_DF와 V_DF를 검색함으로써, 다음 형태의 우측 이미지 내에서의 소멸점의 좌표 (U_DF, V_DF)의 프레이밍을 결정한다:

마찬가지로, 좌측 이미지 내에서의 직선(LG1, LG2)의 좌표(U_GF, V_GF)를 갖는 교차점은 다음의 관계식으로 정의된다:

여기서 θ_G1, ω_G1, θ_G2, 및 ω_G2는 관계식 (6) 내지 (9)로 정의된 간격에서 변화된다.

우측 이미지에 대해서도 마찬가지로, 좌측 이미지의 소멸점의 좌표(U_GF, V_GF)에 대하여 다음 형태의 프레이밍을 결정한다:

최소값 또는 최대값의 검색은 예컨대 θ 및 ω에 대한 0.1 또는 0.05 단위의 단계 등에 관계된 다양한 파라미터를 다양한 간격에서 변화시켜 실시된다. 다른 수학적 분석 기술이 특히 도함수의 계산에 의해 사용될 수 있음은 물론이다.

기하학적 모델

보정 에러의 결정을 설명하기 전에, 도 3a, 도 3b 및 도 3c를 참조하여 사용되는 기하학적 모델을 설명한다.

사용되는 기하학적 모델은 다음 방식의 3차원 공간에서 정의되는 복수의 우회전(right-handed) 오소노말 기준 프레임에 기초한다:

- O_G 와 O_D 각각을 좌측 카메라의 광학적 중심과 우측 카메라의 광학적 중심의 각각이 되도록 한다.

- O_S를 세그먼트 [O_G, O_D]의 중앙이 되도록 한다; O_G로부터 O_D까지의 거리를 B로 표시한다.

- 한편의

G 와

G 및 다른 한편의

G 와

G 가 동선형(colinear) 이도록 R_G = (O_G,

G,

G )를 좌측 카메라의 고유 기준 프레임이 되도록 한다; R_1G와 R_G 간의 차는 R_G에서 좌표가 많은 픽셀로서가 아닌 미터 단위(예컨대, m, mm)로 주어지는 것에 있다.

- R_D = (O_D,

D,

D ) 를 우측 카메라의 고유 기준 프레임이 되도록 한다.

- R_R = (O_R,

R,

R ) 을 소위 도로 기준 프레임 또는 주행 트랙 기준 프레임이 되도록 하고, 벡터

R 은 도로의 평면에 속하는 직선(L1, L2)에 평행하고, 벡터

R 은 도로의 평면에 평행하면서

R 로 정의된 방향에 수직하고, 지점 O_R은 도로의 평면에 위치하고 수직면에서 다음과 같이 지점(OS)의

R 로 정의된다.

- R_S = (O_S,

S,

S ) 를 입체 기준 프레임이 되도록 하고, 벡터

S 는 지점(O_G, O_S, O_D)를 통과하여 지점(O_S)에서 지점(O_G)로 향하는 직선과 동선 형이며, 벡터

S 는

S 에 수직 선택되어 벡터

G 와

D 의 벡터 곱에 동선형을 이룬다.

다음에, 기준 프레임 매트릭스의 다음 변화를 정의한다:

- 변환은 기준 프레임(R_R)으로부터 기준 프레임(R_S)으로 스위칭하는 것을 가능하게 하고, 이는 각도(α_xr, α_yr, α_zr) 각각 및 축(

R,

R ) 각각의 3 회전의 합성이고, 각도 {α_xr, α_yr, α_zr}로 정의되며, 기준 프레임 매트릭스(MR_SR)의 다음 변화에 대응하여,

R_S 내의 지점(M)의 좌표(x_S, y_S, z_S)는 다음과 같이 R_R 내의 이들 좌표(x_R, y_R, z_R)에 기초하여 계산된다:

- 변환은 기준 프레임(R_S)으로부터 기준 프레임(R_G)으로 스위칭하는 것을 가능하게 하고, 이는 각도(ε_xg, ε_yg, ε_zg) 각각 및 축(

G,

G ) 각각의 3 회전의 합성이고, 각도 {ε_xg, ε_yg, ε_zg}로 정의되며, 기준 프레임 매트릭스(MR_GS)의 다음 변화에 대응하여,

R_G 내의 지점(M)의 좌표(x_G, y_G, z_G)는 다음과 같이 R_S 내의 좌표(x_S, y_S, z_S)에 기초하여 계산된다:

- 변환은 기준 프레임(R_S)으로부터 기준 프레임(R_D)으로 스위칭하는 것을 가능하게 하고, 이는 각도(ε_xd, ε_yd, ε_zd) 각각 및 축(

D,

D ) 각각의 3 회전의 합성이고, 각도 {ε_xd, ε_yd, ε_zd}로 정의되며, 기준 프레임 매트릭스(MR_DS)의 다음 변화에 대응하여,

R_D 내의 지점(M)의 좌표(x_D, y_D, z_D)는 다음과 같이 R_S 내의 좌표(x_S, y_S, z_S) 에 기초하여 계산된다:

또한, 관계식 (20) 및 (22)로부터 R_G 내의 지점(M)의 좌표(x_G, y_G, z_G)가 다음과 같이 R_R 내의 좌표(x_R, y_R, z_R)에 기초하여 계산되는 것을 추정한다:

마찬가지로, 관계식 (20) 및 (24)로부터 R_D 내의 지점(M)의 좌표(x_D, y_D, z_D)가 다음과 같이 R_R 내의 좌표(x_R, y_R, z_R)에 기초하여 계산되는 것을 추정한다:

또한, 도로의 기준 프레임에 대해서 좌측 카메라에 대한 회전, 피치 및 흔들림의 명시 각도(apparent angle) {θ_xg, θ_yg, θ_zg}를 정의하고:

도로의 기준 프레임에 대해서 우측 카메라에 대한 회전, 피치 및 흔들림의 명시 각도 {θ_xd, θ_yd, θ_zd}를 정의한다:

또한, 카메라의 내부 보정 파라미터가 단계(610)에서 사용되어 핀홀 모델로 축소되면, R_G 내의 좌표(X_G, Y_G, Z_G)를 갖는 지점(M)의 좌측 이미지 내의 투영의 좌표(U_G, V_G)는 다음과 같이 (X_G, Y_G, Z_G)에 기초하여 계산된다:

여기서 K_u는 이미지 내의 mm당 픽셀의 갯수이고 f는 카메라의 초점 길이이다. 단순화하기 위해서, 초점 길이 및 mm당 픽셀의 갯수는 여기서 양쪽 카메라에 대하여 동일한 것으로 가정한다.

우측 카메라에 대해서 동일하게 가정한 상태에서, R_D 내의 좌표(X_D, Y_D, Z_D)를 갖는 지점(M)의 우측 이미지 내의 투영의 좌표(U_D, V_D)는 다음과 같이 (X_D, Y_D, Z_D)에 기초하여 계산된다:

피치 에러 및 흔들림 에러의 결정

입체 기준 프레임(R_S)에 대해서 좌측 또는 우측 카메라의 기준 프레임의 축 각각의 편차와 관련된, 각도로 주어진 보정 에러는 ε_xg, ε_yz 및 ε_zg 각각으로 표시된다. 우측 카메라에 대하여, 이들 동일한 에러는 ε_xd, ε_yd 및 ε_zd 각각으로 표시된다. 본 발명의 문맥 중에서, 피치 각도의 카메라간 차로서 여기서 정의된 피치 에러(Δε_y) 형태와:

흔들림 각도의 카메라간 차로서 여기서 정의된 흔들림 에러(Δε_z) 형태의 입체 영상 시스템의 보정 에러를 결정하는 것에 관심이 있다:

조정 방식에 대한 기초로 유용한 공액선(epipolar line)의 거리 및 변위 측정의 에러에 가장 크게 영향을 미치는 것이 이들 2 개의 에러이다.

이러한 피치 에러 및 흔들림 에러의 결정에서, 각 카메라의 회전의 명시 각도가 작은 것으로, 전형적으로는 절대값으로 5°미만인 것으로 가정한다. 이러한 가정은, 특히 타이트한 곡선에서도 회전 각도가 5°를 초과하지 않는 한 의미 있다. 또한, 이러한 가정은, 설명되는 바와 같이, 피치와 흔들림, 즉 카메라의 기준 프레임에 대한 도로 평면의 명백한 에러를 계산하는 것이 가능하다. 그렇지만, 명백한 피치 에러와 흔들림 에러는 회전의 명시 각도에 따라 적게 변화된다. 결과적으로 회전 각도를 대략 인식함으로써 매우 정밀하게 명백한 피치 및 흔들림 에러를 결정하는 것이 가능하다.

피치 에러 및 흔들림 에러(Δε_y, Δε_z)의 인식은 우측 이미지 또는 좌측 이미지의 조정을 실행 가능하게 함으로써, 양호하게 보정된 입체시각 시스템의 상태로 축소되는데, 즉 우측 및 좌측 카메라의 축이 평행해진다. 이 조정 처리는 알려진 방식(예를 들면, "Computer vision, a modem approach" 제목의 11장에서 이미 인용된 문서를 참조)으로 비보정된 입체시각 시스템으로부터 발생하는 우측 및 좌측 이미지를 카메라의 광학적 중심과 결합하는 선에 평행한 공통 이미지 평면을 포함하는 2 개의 동등한 우측 및 좌측 이미지로 교체하는 것이다. 보통 이 조정은 카메라의 광학적 중심과 결합하는 선에 평행한 하나의 동일 이미지 평면 내로 원래의 이미지를 투영하는 것에 있다. 좌표계가 적절하게 선택되면, 조정 방법을 통해서 공액선은 조정된 이미지의 수평선이 되고 카메라의 광학적 중심과 결합하는 선에 평행해진다. 조정된 이미지는 입체시각에 의해 장애물을 검출하는 시스템에서 사용할 수 있고, 이는 일반적으로 우측 및 좌측 카메라의 축이 평행하다는 것을 미리 가정함으로써 필요로 한다. 보정 에러의 경우에, 즉 카메라의 축이 더 이상 평행하지 않은 경우, 공액선은 더 이상 필요로 하는 이미지의 선에 대응하지 않고, 거리 측정은 오류가 있고 장애물 검출은 불가능해진다.

우측 이미지 및 좌측 이미지 내의 소멸점 위치의 프레이밍에 의해서, 이후 증명되는 바와 같이, 다음 형태의 피치 에러(Δε_y) 및 흔들림 에러(Δε_z)의 프레이밍을 결정하는 것이 가능하다:

이 프레이밍은 이미지 포착 단계(610)로 되돌아가기 전에 단계(650)에서 우측 및 좌측 이미지 한쌍에 대하여 결정된다.

본 발명에 따른 방법의 특히 유리한 실시예에 따라, 피치 에러(Δε_y) 및 흔들림 에러(Δε_z)의 프레이밍의 결정은 복수의 이미지에 대하여 반복된다. 그리고 나서, 단계(660)에서 이 복수의 이미지에 대하여, Δε_ymax와 Δε_zmax의 이미지의 각각에 대하여 얻어진 값의 최소값(또는 하한선)뿐만 아니라, Δε_ymin와 Δε_zmin 에 대하여 얻어진 값의 최대값(또는 상한선)이 결정된다. 이것은 결국 다음 형태의 보다 정확한 프레이밍을 산출한다:

여기서 함수 "min" 과 "max"는 상기 복수의 이미지에 대하여 결정된다. 도 4a 및 도 4b는 Δε_ymin과 Δε_zmin (°로 주어짐) 각각이 연속한 이미지에 대하여 변화되는 방법 및 이 복수의 이미지에 대하여 결정된 최소값과 최대값을 추정하는 방법을 예시한다. 이렇게 얻어진 프레이밍이 포착된 이미지의 조정을 허용하고 장애 물 검출 처리에서 본 발명에 따른 처리에 의해 조정된 이미지의 사용을 허용하기에 충분히 정확한 것으로 판명되었다. 특히, Hough 변환에 대한 0.5°와 1 픽셀의 스텝 사이즈를 선택함으로써, ±0.15°내의 Δε_y의 프레이밍과 ±0.1°내의 Δε_z의 프레이밍을 얻는 것이 입증되었다.

최종 단계(670)에서, 단계(660 또는 650)에서 얻어진 피치 및 흔들림은 우측 및 좌측 이미지의 조정을 실시하는데 사용된다.

다음으로, 관계식 (35) 및 (36)의 프레이밍을 결정하는 프로세스를 설명한다. 이후 설명되는 단계들은 주로 근사 프로세스(approximation process)를 예시하는 것을 목적으로 한다. 적절히 행해진 일정 수의 근사 및 가정에 의해서, 많은 모르는 것들과 많은 수학적 관계식을 얻음으로써 피치 에러(Δε_y) 및 흔들림 에러(Δε_z)의 결정이 우측 및 좌측 이미지의 소멸점의 좌표만으로 가능하기 때문에, 기타 다른 수학 방정식이나 모델이 사용될 수 있다.

각도 {ε_xg, ε_yg, ε_zg} 및 {ε_xd, ε_yd, ε_zd}가 작은 것으로, 전형적으로는 1°미만인 것으로 가정하면, 관계식( 21) 및 (23)이 양호한 근사치로 표기될 수 있다:

및

매트릭스(MR_GS, MR_DS, MR_SR)에 의해서 다음과 같이 매트릭스(ΔMR)를 결정한다:

ΔMR = (MR_GS - MR_DS ) MR_SR

이 매트릭스(ΔMR)의 제1 행, 제2 열의 계수는

이고 이 매트릭스(ΔMR)의 제1 행, 제3 열의 계수는 다음과 같다.

각도 {α_xr, α_yr, α_zr}가 충분히 작은 것으로, 전형적으로는 5°미만인 것으로 가정하면, 다음과 같이 표기할 수 있다:

관계식 (43) 및 (44)를 관계식 (27) 및 (28)과 결합함으로써 다음 형태의 피 치 에러 및 흔들림 에러의 근사치를 얻는다:

관계식 (25) 및 (27)에 의해서, 마킹 선(L1, L2)에 평행한 도로 평면 내의 직선에 속하는 좌표(x_R, y_R, z_R)를 갖는 지점(M)에 대한 함수(x_R, y_R, z_R)로서 비율y_G/x_G를 계산하고, 방정식은 z_R=0, y_R=a, x_R 임의수이다. 무한대에 가까운 x_R을 마킹함으로써, 좌측 이미지의 소멸점(U_G=U_GF, V_G=V_GF, X_G=X_GF, Y_G=Y_GF, Z_G=Z_GF)에서 결정된 비율 y_G/x_G의 값에 대응하는 비율 y_G/x_G의 극한을 결정한다. 소멸점의 좌표에 관계식 (29) 및 (30)을 적용시킨 것과 이 극한을 비교함으로써, 다음 관계식을 추정한다:

관계식 (47) 및 (48)에 대하여 f_ug와 f_vg 및 θ_xg의 함수로서 θ_yg와 θ_zg의 값을 추정한다:

우측 이미지에 대해서도 동일한 방식으로, 우측 이미지의 소멸점에 대하여 다음 관계식을 얻고:

관계식 (51) 및 (52)로부터 f_ud와 f_vd 및 θ_xd의 함수로서 θ_yd와 θ_zd의 값을 추정한다:

요약하면, 피치 에러 및 흔들림 에러는 다음과 같다:

식 중,

여기서,

관계식 (25) 및 (26)에 따른 피치 에러 및 흔들림 에러의 프레이밍을 결정하기 위해서, θ_xg와 θ_xd 가 소정의 간격 [-A, A], 예컨대 [-5°, +5°]에서 변화되고 u_DF, v_DF, u_GF 및 v_GF가 관계식 (12), (13), (16), (17)로 정의된 간격에서 변화되는 경우, Δε_y와 Δε_z의 최소값 및 최대값을 결정한다. 최소 및 최대를 검색하는 임의의 수학적 방법이 이 목적에 적합하다. 가장 간단한 것은 충분히 세밀한 스텝에서 주어진 간격 내의 다양한 파라미터를 변화시키는 것과 매번 조사된 함수의 최소 또는 최대를 유지하는 것에 있다.

관계식 (55) 내지 (64)에서, 오소노말 아핀(orthonormal affine) 기준 프레임 또는 관련 위치의 원점의 좌표가 관계되지 않는다는 것을 주목해야 한다. 따라서, 본 발명에 따른 방법에 의한 피치 에러 및 흔들림 에러의 결정은 주행 트랙상의 차량의 위치와 무관하다.

Claims

차량에 탑재되도록 하고, 적어도 2 개의 이미지 포착 장치, 즉 제1의 소위 "좌측" 이미지를 포착하는 제1 포착 장치 및 제2의 소위 "우측" 이미지를 포착하는 제2 포착 장치를 포함하는 입체시각 시스템의 자동 보정 방법으로서,

a) 상기 제1 포착 장치 및 상기 제2 포착 장치에서 상기 차량용의 적어도 하나의 주행 트랙(running track)을 포함하는 하나의 동일한 장면(scene)의 좌측 이미지와 우측 이미지의 각각을 포착하는 단계와;

b) 보정 에러를 결정하는 단계와;

c) 상기 보정 에러에 기초하여 상기 좌측 및 우측 이미지의 조정을 실행하는 단계

를 포함하고,

상기 자동 보정 방법 중 단계 b)는,

b1) 상기 좌측 이미지 및 상기 우측 이미지를 통해서 주행 트랙의 거의 평행한 2 개의 직선에 대응하는 적어도 2 개의 소멸선(vanishing line), 특히 주행 트랙의 경계선 또는 마킹(marking) 선을 검색하는 단계,

b2) 상기 좌측 이미지 및 상기 우측 이미지에 대하여 상기 적어도 2 개의 각각 검출된 소멸선의 교차점의 좌표를 결정하는 단계,

b3) 상기 좌측 이미지 및 상기 우측 이미지에 대하여 결정된 상기 교차점 좌표에 기초하여 피치(pitch) 각도 및 흔들림(yaw) 각도의 각각의 카메라간 차(intercamera difference)의 형태로 피치 에러 및 흔들림 에러를 결정함으로써 보정 에러를 결정하는 단계

를 포함하며,

상기 좌측 및 우측 이미지의 상기 조정은 상기 피치 에러 및 상기 흔들림 에러의 함수로서 실행되는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항에 있어서,

단계 b3)은 상기 피치 에러값 및 상기 흔들림 에러값의 최소값과 최대값 사이의 제1 프레이밍(framing)을 결정하는 단계를 더 포함하는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항 또는 제2항에 있어서,

상기 방법은 복수의 좌측 및 우측 이미지에 대하여 단계 a), b1), b2), b3)를 반복하는 단계와, 상기 복수의 좌측 및 우측 이미지에 대하여 획득된 상기 제1 프레이밍에 기초하여 상기 피치 에러값과 상기 흔들림 에러값의 제2 프레이밍을 결정하는 단계를 더 포함하는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제3항에 있어서,

상기 제2 프레이밍은 상기 피치 에러값 및 상기 흔들림 에러값의 상기 제1 프레이밍에 대하여 획득된 최소값의 세트 중 최대값과, 상기 피치 에러값 및 상기 흔들림 에러값의 상기 제1 프레이밍에 대하여 획득된 최대값의 세트 중 최소값을 포함하는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

단계 b1)은 상기 좌측 이미지와 상기 우측 이미지에 대한 상기 소멸선의 방정식 파라미터의 프레이밍을 결정하는 단계를 더 포함하는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제5항에 있어서,

단계 b2)는 단계 b1)에서 획득된 프레이밍에 기초하여 상기 좌측 이미지와 상기 우측 이미지의 소멸점 좌표의 프레이밍을 결정하는 단계를 더 포함하는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제6항에 있어서,

단계 b3)은 단계 b2)에서 획득된 프레이밍에 기초하여 상기 피치 에러와 상기 흔들림 에러의 프레이밍을 결정하는 단계를 더 포함하는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,

단계 b3)은 우측과 좌측 카메라에 대한 회전 각도가 소정의 간격, 특히 절대값으로 5°미만에 있는 것으로 가정하고, 그리고 상기 회전 각도가 이러한 간격에서 변화될 때 획득되는 상기 피치 에러 및 상기 흔들림 에러의 최대 및 최소 에러를 결정함으로써 실행되는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,

단계 b3)은 피치 및 흔들림의 에러가 작은 것으로, 특히 절대값으로 1°미만인 것으로 가정함으로써 실행되는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,

상기 소멸선은 Hough 변환에 의해서 검출되는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,

상기 소멸선은 Radon 변환에 의해서 검출되는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,

상기 방법은 포착 후의 상기 우측 및 좌측 이미지를 교정하여 상기 제1 및 제2 이미지 포착 장치에 대한 핀홀 모델(pinhole model)로 축소하는 단계를 더 포함하는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,

상기 방법은 단계 b1)에서 검출된 상기 소멸선의 각각에 속하는 지점들의 수가 소정의 임계값보다 큰 경우에만 단계 b2) 및 단계 b3)을 실행하는 단계를 더 포함하는 것을 특징으로 하는 입체시각 시스템의 자동 보정 방법.