KR20120126016A - 서라운드뷰 시스템 카메라 자동 보정 전용 외부 변수 - Google Patents

Abstract

미리 결정된 고유 보정부를 갖추고 차량과 같은 대상체에 설치되어 해당 대상체의 둘레 주변부를 커버하는 다수의 카메라를 포함하는 카메라 시스템을 보정하는 방법으로서, 한 세트의 마커를 공지된 거리만큼 이격시켜 위치결정하여, 상기 대상체의 둘레 주변부에서와 한 카메라의 시야에서 단일 평면에 배치하는 단계와, 카메라용 각각의 세트의 마커로부터 카메라의 외부 변수를 계산하는 단계와, 다수의 카메라 중 나머지 다른 카메라 각각에 대해 상기 단계들을 반복하는 단계를 포함한다.

Description

서라운드뷰 시스템 카메라 자동 보정 전용 외부 변수{THE SURROUNDVIEW SYSTEM CAMERA AUTOMATIC CALIBRATION-ONLY EXTRINSIC PARAMETERS}

본 발명은 미리 결정된 고유 보정부를 갖춘 다수의 카메라를 포함하는 카메라 시스템을 보정하는 방법에 관한 것으로, 상기 카메라는 차량과 같은 대상체에 제공되어 해당 대상체의 둘레 주변부를 커버한다.

차량과 같은 최신 대상체에서는 해당 대상체의 바로 주변에 관한 정보를 획득하려는 요구가 커지고 있다. 가령 차량의 경우 운전자는 종종 주차 거리를 제어하기 위해 센서 이외의 정보를 원한다. 그러한 정보는 알려지지 않거나, 좁거나, 좁고 사방이 막힌 공간에서나, 다른 환경으로 인해 운전자에게도 만약 승객이 있을 경우 승객에게도 운전자를 돕기 위해 차량 밖으로 나가도록 유도하지 않을 때 특히 유용할 수 있다. 그러한 경우, 제어 디스플레이 상에 나타난 실질적인 전체 화상을 제공하여, 조감도로부터 차량과 차량 주변을 모두 보여주는 것이 종종 바람직하다. 그러한 화상은 보통 주차 거리를 감지하고 제어하는데 종종 사용되는 초음파 감지기로부터 얻을 수 없다. 대신에, 카메라는 그러한 화상을 얻는데 종종 사용된다. 얻어진 이미지는 차량을 제어할 때 운전자나 사람이 쉽게 볼 수 있는 몇몇 제어 디스플레이에 보통 디지털 방식으로 나타난다. 이러한 명백한 개요는 운전자가 자신의 고개를 돌리기조차 하지 않고서도 좁고 한정된 장소에서조차 차량이나 대상체를 정확히 이동시킬 수 있게 한다. 그러한 정보는 도로를 벗어난 통로와 같은 험한 지대에서조차 밀리미터의 정확성으로 바위, 나무, 통나무 및 다른 장애물을 피할 수 있게 할 수 있다. 그러한 정보는 트레일러를 달고 운전할 때에도 특히 유용할 수 있다. 따라서, 꽃을 심은 통, 벽 등으로 인한 흠집은 실질적으로 방지할 수 있다. 상기 시스템은 차량이 저속으로 이동할 동안조차도 낮과 밤에 모두 유용하여, 좁은 운전 조건에서 다른 차량 또는 움직이지 않는 물체와 접촉하는 것을 방지할 수 있다.

그러한 정보는 부분적으로 또는 더 완전히 원격 제어하에 있는 대상체에 대해서도 또한 유용할 수 있다.

전형적으로, 360도 원주에 실질적으로 근접한 주변의 뷰(view)를 얻기 위하여 적어도 두 대의 카메라가 필요하다. 그러한 카메라는 차량의 사이드 미러에 제공될 수 있다. 차와 차 주변에 설치된 이들 카메라에서 얻어진 데이터는 중앙 컴퓨터에 의해 처리될 수 있다.

추가의 카메라는 대상체의 다른 위치에서 카메라 시스템에 통합되고, 따라서 예를 들면 차량의 옆으로 이동하는 차량을 감시하는데 쓰일 수 있다. 중요한 사안은 시스템의 어느 카메라에 의해서도 커버되지 않는 차량의 사각 지대/사고 다발 지역, 즉, 차량의 변수에 관한 지점을 피하는 것이다.

그러한 개요 화상을 제공하는 카메라 시스템의 한가지 중요한 양태는 시스템의 보정이다.

카메라 보정을 위한 단순한 모델은 기본 변수 중 일부를 설명하는데 유용할 수 있는 핀 홀 카메라(pin hole camera) 또는 마찬가지로 투시도의 핀 홀 모델에 적용되는 차이(Tsai)에 의한 모델이다.

차이의 카메라 모델은 투시도의 핀 홀 모델에 근거한다. 3D 세계 좌표에서 한 지점의 위치가 주어지면 상기 모델은 2D 픽셀 좌표에서 그 지점의 이미지의 위치를 예측한다. 차이의 모델은 5가지 내부(고유 또는 내면이라고도 칭함) 변수와 6가지 외부 변수를 포함하여 11가지 변수를 갖는다.

내부 변수는 핀 홀 카메라의 유효 초점 거리를 나타내는 f, 1차 방사상 렌즈 왜곡 계수 Cx를 나타내는 k₁, 방사상 렌즈 왜곡의 중심 좌표를 나타내는 Cy, 카메라의 센서 면과 카메라 좌표 프레임의 Z축의 만나는 점, 프래임그래버 수평 주사선 리샘플링(framegrabber horizontal scanline resampling)으로 인한 어떠한 불확실성이라도 고려하는 스케일 계수를 나타내는 sx를 포함한다.

외부(외적 또는 외면이라고도 칭함) 변수는 세계 좌표 프레임과 카메라 좌표 프레임 사이의 변환을 위한 회전각(오일러의 각)을 나타내는 Rx, Ry, Rz, 세계 좌표 프레임과 카메라 좌표 프레임 사이의 변환을 위한 변환 요소(translational components)를 나타내는 Tx, Ty, Tz를 포함한다. 인덱스 x, y, z는 1, 2, 3으로 동등하게 표시될 수 있다.

내부 변수는 카메라가 이미지를 어떻게 형성하는가를 설명하고, 외부 변수는 세계 좌표 프레임에서 카메라의 위치와 방향을 설명한다. 모델의 보정 데이터는 특징 지점(보통 mm의 단위로 주어짐)의 3D(x,y,z) 세계 좌표와 이미지에서 상기 특징 지점의 대응 2D 좌표(Xf,Yf)(보통 픽셀의 단위로 주어짐)로 구성된다. 두 가지 형태의 보정이 가능한데, 동일 평면 보정에서 보정 지점은 3D에서 단일 평면에 있는 반면, 동일하지 않은 평면에서 보정 지점은 3D 볼륨을 차지한다. 기본 보정 알고리즘의 설명은 예를 들면, 문헌들["An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision", Roger Y. Tsai, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986, pages 364-374, 및 "A versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", Roger Y. Tsai, IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, August 1987, pages 323-344]에 부여되어 있다.

다른 카메라 보정 방법이 문헌[in "flexible new technique for camera calibration", Z. Zhang, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000]에 논의되고 있다.

카메라의 시스템은 고정된 위치에서 제공되는 마커(marker)를 사용하여 종종 보정된다. 그러한 보정을 위해서 차량과 같은 대상체는 고정된 위치로 가져와야만 한다. 차량은 또한 고정 방향을 가져야만 한다. 두 요구 조건은 훨씬 어렵고 시간이 소요되는 작업이다. 이러한 보정 방법은 또한 전체 보정 셋업(setup)이 정밀하게 이송 또는 복사/재생되어야 하는 떨어진 곳에서의 시연에서는 실행하기 훨씬 어렵다. 어떤 경우에나, 마커 위치와, 대상체와 마커의 상대적 위치는 가능한 한 정밀하게 유지되어야 한다.

본 발명은 카메라 시스템을 보정하기 위해 위에서 언급한 문제점에 대한 해법을 제공하는 것이다. 특히, 본 해법에 따르면 카메라 시스템을 보정하는 방법은 카메라 시스템의 모든 카메라의 외부 변수를 제공함으로써 매우 융통성 있고 기동성 있으며 쉽게 보정을 수행할 수 있게 한다.

본 발명은 미리 결정된 고유 보정부를 갖추고 차량과 같은 대상체에 설치되어 대상체의 둘레 주변부를 커버하는 다수의 카메라를 포함하는 카메라 시스템을 보정하는 방법으로서, (a) 한 세트의 마커를 공지된 거리만큼 이격시켜 위치결정하여, 대상체의 둘레 주변부에서와 한 카메라의 시야에서 단일 평면에 배치하는 단계; (b) 카메라용 각각의 세트의 마커로부터 카메라의 외부 변수를 계산하는 단계; 및 (c) 다수의 카메라 중 나머지 다른 카메라 각각에 대해 상기 단계 (a)와 단계 (b)를 반복하는 단계를 포함하는, 카메라 시스템의 보정방법을 제공한다.

공지된 방법에 의해 제공되는 공지된 고유 보정을 고려하여, 본 발명에 따른 방법은 외부 변수에 초점을 맞춘다. 상기 단계는 보통 단일 평면 즉, 동일 평면에서 지점을 제공하는 것으로 추정되는 체커판(chequered board)과 같은 한 세트의 마커를 이용하여 보정될 수 있다. 이들 보드는 보통 사각이며 실질적으로 평평할 수 있다.

각각의 카메라에 대한 고유 카메라 변수는 고유 보정으로부터 이미 알려져 있기 때문에 회전 및 변환 변수(rotation and translation parameters)와 같은 외부 변수를 결정하기 위한 기초를 제공한다. 마커 세트는 외부 변수를 결정하는데 사용되는 어떠한 선형 방정식의 시스템(또는 선형 시스템)에도 미지수의 수보다 훨씬 더 큰 수의 다수의 지점을 제공하기 때문에 임의의 선형 시스템 셋업은 최적화가 적용되도록 중첩 결정된다.

위에서 설명된 방법에서, 각각의 카메라의 시야는 그 이웃 카메라들 중 적어도 하나와 적어도 부분적으로 중첩될 수 있다. 카메라 시스템에서 사용된 카메라의 시야의 중첩은 카메라 시스템 중 다른 카메라 즉, 독립된 카메라로 본 대응 이미지 지점을 제공하는 장점을 제공한다. 마커 세트는 단일 평면 내에서 그 치수와 범위가 잘 알려져 있기 때문에, 중첩은 또한 보정 에러의 감소, 즉, 카메라 변수의 정확한 결정에 기여한다.

위에서 설명된 바와 같은 방법에서, 마커 세트는 이웃하는 카메라의 시야의 중첩 영역에서 선택될 수 있다. 마커 세트는 보통 이웃하는 카메라의 중첩 영역에서 선택된다. 예를 들면, 한 평면 내에 위치하는 카메라의 경우는 각각의 카메라에 대한 대응 지점을 제공할 수 있으면 각각의 카메라의 좌측 및 우측 이웃이라 칭한다.

위에서 설명된 방법에서, 다수의 카메라 중 적어도 하나에 대해, 각각의 마커 세트는, 각각의 카메라의 외부 변수가 원점(the origin)을 참조할 수 있도록, 해당 원점을 포함할 수 있다. 기준점과 같은 세계 좌표계의 원점이 따라서 도입될 수 있다.

위에서 설명된 방법은 (d) 단계 (c)에서 획득한 나머지 다른 카메라의 외부 변수와 상대적인 다수의 카메라의 각각에 대한 제2세트의 외부 변수를 계산하는 단계를 더 포함할 수 있다. 이들 추가 단계에 의해 카메라의 보정은 이웃 카메라에 대해 상대적으로 검사될 수 있다. 즉, 카메라의 외부 변수는 그 이웃 중 하나에 대해 상대적으로 표현될 수 있다. 그러나, 이들 변수는 또한 상기 카메라의 또 다른 이웃에 상대적으로 제공될 수 있다. 이는 모든 카메라가 추가의 최적화에 적합한 방정식 세트를 얻도록 연속적으로 계속될 수 있다.

위에서 설명된 방법은 (e) 원점에 대해서 상대적인 다른 카메라 각각에 대한 제3세트의 외부 변수를 추정하는 단계를 더 포함할 수 있다. 기준점으로서 위에서 이미 지적한 원점은 해당 원점에 관하여 한 카메라에서 봤을 때 임의의 다른 카메라의 외부 변수를 표시할 가능성을 제공하여, 후속 최적화에 사용될 추가 정보에 대한 가능성을 제공한다.

위에서 설명된 방법은 (f) 외부 변수의 세트를 최적화하는 단계를 더 포함할 수 있다. 측정치의 잡음 없이, 상기 추정된 외부 변수는 정확할 것이다. 그러나, 각각의 측정치가 보통 예를 들면 잡음으로 인해 어느 정도 불확실성을 수반하기 때문에 최적화 단계가 필요하다. 보통, 최소화 문제점은 최소 평균 제곱법(mean-least square method)을 사용하여, 변수의 추정치를 최소화할 수 있다. 그러한 방법은 뉴튼-가우스 및 기울기 하강법(Newton-Gauss and gradient descent methods)을 조합한 레벤베르그 마르쿼트(Levenberg-Marquardt) 알고리즘을 이용하여 이행될 수 있다.

위에서 설명된 방법에서, 최적화는 보통 단계 (e)의 추정 결과를 사용하는 재투사의 에러를 최소화한다. 즉, 선택된 마커의 세트의 재투사는 보통 최소 에러를 산출해야 한다.

위에서 설명된 방법에서 최적화는 보통 단계 (d)의 결과들 간의 차를 최소화한다. 이것은 위에서 설명된 최소화 방법에 대한 추가의 규제로서 사용될 수 있고, 이는 따라서 최소화 문제점에서 통제받지 않는 변수의 수를 줄이고 상기 방법의 컨버전스(convergence)를 개선한다.

위에서 설명된 방법에서, 최적화는 각각의 카메라의 정면에서 공지된 위치에서 마커의 추가 세트를 사용하여 더 규제될 수 있다. 최소화 문제의 변수에 대한 한계를 제공하고, 문제점의 컨버전스를 더 개선하기 위해 추가의 정보가 있다. 나아가, 최소 제곱법(least-square method) 대신 최대 가능성법(maximum likelihood approach)을 최적화 문제점에 적용하는 것도 가능할 수 있다.

위에서 설명된 방법에서, 카메라의 투사 면에 대해 수직인 왜곡은 보통 다항식에 의해 근사치가 계산된다. 카메라의 왜곡은 따라서 다항식 근사식에 의해 근사치가 계산될 수 있어서, 즉, 함수 근사식을 즉시 사용할 수 있다. 그러한 관점에서, 다른 함수, 예를 들면 스플라인(splines)에 의해 왜곡의 근사치를 계산할 수도 있다.

위에서 설명된 방법에서, 카메라는 어안 카메라(fisheye-camera)일 수 있다. 보통 120°또는 그 이상의 각도일 수 있는 큰 개방 각도(opening angle)를 갖는 직교(rectilinear) 카메라는 사용하기 매우 복잡하고 제공하기에 값비싸다. 어안 카메라를 사용하면 보통 견고함을 제공할 가능성을 주고 카메라 세트를 다루기 매우 쉽다. 보통 상기 카메라의 수평 개방 각도는 적어도 175°이다. 그러한 카메라는 또한 외부 변수를 보정하기 위해 추가의 용장 정보(redundant information)를 제공하는 이웃 카메라를 적어도 부분적으로 볼 가능성을 제공할 수 있다.

위에서 설명된 방법에서, 카메라는 대상체의 적어도 하나의 대칭 축에 대하여 대칭으로 배치될 수 있다. 대상체에서, 특히 차량에 대하여, 그러한 카메라는 차량의 좌우 미러에 제공될 수 있다. 더 나아가, 적어도 하나의 카메라가 차량의 정면 및/또는 배면에 제공될 수 있다. 더 큰 대상체의 경우, 대상체의 지붕의 림 근방과 같이, 선택된 카메라에 대한 추가 또는 다른 위치가 있을 수 있다.

위에서 설명된 방법에서, 카메라의 수는 4대일 수 있다. 이것은 몇몇 차량 제조자가 현재 채용하는 서라운드뷰 시스템과 같은 시스템에서 사용될 수 있는 카메라의 선택이다.

본 발명에 따르면 컴퓨터에서 실행할 때 선행 청구항들 중 한 항의 방법의 단계들을 수행하기 위한 컴퓨터 실행 가능한 명령을 갖는 적어도 하나의 컴퓨터 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품이 더 제공된다. 즉, 본 발명은 위에서 설명된 방법에 따른 카메라 시스템을 보정하는데 맞춰진 대상체 또는 컴퓨터 프로그램 제품을 제공할 수 있다. 상기 장치는 위에서 설명된 방법에 따라 위에서 설명된 카메라 시스템을 보정하는 수단을 포함할 수 있다.

본 발명의 상기 및 다른 양태, 특징 및 장점은 첨부 도면과 관련하여 이루어지는 다음의 상세한 설명에 의해 더 명확해질 것이다.

도 1은 본 발명에 따라 보정될 수 있는 카메라 시스템의 배치도;
도 2는 본 발명에 따라 보정될 수 있는 카메라 시스템의 카메라의 포착을 나타내는 도면;
도 3은 본 발명에 따른 카메라 시스템의 외부 변수를 보정하는 방법을 도식화한 도면;
도 4는 차량의 둘레 주변부를 나타내기 위해 최대 6대의 카메라를 포함하는 카메라 시스템의 예시도.

이하, 4대의 카메라를 구비하는 카메라 시스템이 설명된다. 카메라의 수는 결코 제한하는 것으로 이해되지는 말아야 하고 단순히 설명을 목적으로 선택된 것으로 이해되어야 하며, 카메라의 수는 카메라 시스템의 구체적 적용에 따라 다른 시스템 및 다른 대상체의 경우 바뀔 수 있다.

도 1은 4대의 카메라를 포함하는 카메라 시스템을 갖춘 대상체(1)를 도시한 것이다. 카메라는 전방 카메라를 나타내는 2F, 후방/후면 카메라를 나타내는 2B, 좌측 카메라를 나타내는 2L, 우측 카메라를 나타내는 2R로 표시된다. 대상체(1)는 실질적으로 직육면체로 그려져 있다. 카메라(2F, 2B, 2L, 2R)는 예를 들면 차량과 같은 대상체(1)를 나타내는 직육면체의 장축(AL) 및 단축(AR)에 대해 대칭으로 배치된 검은 점으로 그려져 있다. 도 1에서 카메라(2F, 2B, 2L, 2R)는 도 1에서 수직축을 나타내는 z에서 실질적으로 동일 높이 또는 위치에 있도록 배치된다. 도 1은 각각 x축을 mm 단위로 -8000㎜ 내지 8000㎜, y축을 -5000㎜ 내지 5000㎜ 범위로 도시한다. z축은 ㎜ 단위로 0 내지 5000㎜ 범위로 도시한다. 이러한 범위는 단지 실례의 목적으로 선택된 것이며 다른 범위가 사용될 수 있음을 이해해야 한다.

카메라 시스템의 카메라(2F, 2B, 2L, 2R)는 특별히 광각 카메라와 같은 큰 개방 각도를 갖는다. 이들 카메라(2F, 2B, 2L, 2R)의 개방 각도는 예를 들면 120°를 초과할 수 있다. 이들 카메라의 수평 개방 각도는 175°및 그 이상일 수 있다. 카메라는 대안적으로 대상체(1)의 주변에 대해 대칭적으로 위치결정되어, 대상체의 전체 둘레 주변부를 가능한 한 많이 커버할 수 있다. 윤곽선(CL)은 도 1에서 점선으로 그려져 있다. 예를 들어, 차량과 같은 대상체(1)의 구성 양상으로 인해, 측면 방향을 보기 위해서는 대상체(1)의 측면에 상기 카메라를 제공하는 것이 더 힘들 수 있다. 카메라(2F, 2B, 2L, 2R)는 따라서 대상체(1)의 측면의 충분한 뷰와 범위를 제공하기 위해, 차량의 미러(도시 생략)와 같은, 대상체(1)의 가장 좌우 지점에 제공될 수 있다.

카메라(2F, 2B, 2L, 2R)의 투사 공간은 도 1에 표시되어 있고, 도 1에서 거리가 ㎜ 단위로 도시되어 있다. 대상체(1)의 볼(bowl) 형상의 투사 공간의 밑면은 밑면 상의 지점이 실질적으로 한 평면에만 주어지도록 평평하다.

도 2는 어안 카메라와 같은 4대의 카메라로 볼 때 체커판 무늬 시험판(4)의 일례를 도시하며, 이들 카메라의 뷰는 3F(전방), 3B(후방/후면), 3L(좌측), 3R(우측)로 표시된다. 도 2의 뷰를 생성하는 카메라는 도 1에 도시된 카메라(2F, 2B, 2L, 2R)와 대응할 수 있다. 도 2의 각각의 카메라는 예를 들면 적어도 2대의 카메라의 뷰의 평면에서 체커판 무늬 시험판을 도시한다.

도 1의 카메라에 대하여, 예를 들면 카메라(2F)(전방)와 (2R)(우측)는 도 3에서 뷰(3F, 3R)로 도시된 바와 같이 체커판 무늬 시험판(4)과 같은 시험판을 본다. 즉, 동일한 보드(4)는 적어도 2대의 카메라 각각에 의해 보인다.

도 1 및 도 2에 도시되 바와 같은 셋업을 위해, 보정 방법이 후속적으로 설명된다. 이 예에서 카메라의 수는 4대이지만, 카메라의 수는 바뀔 수 있고 더 적거나 더 많은 카메라가 선택될 수 있다는 점이 다시 한번 강조되어야 한다. 이하, 보정 방법은 위에서 설명된 4대의 카메라(2F, 2B, 2L, 2R)를 구비한 도 1의 카메라 시스템에 관한 것이다. 상기 카메라(2F, 2B, 2L, 2R)는 도 2에 대해 설명된 뷰(3F, 3B, 3L, 3R)를 생성할 수 있다.

카메라 시스템의 각각의 카메라(2F, 2B, 2L, 2R)에 대한 고유 보정이 알려져 있고 적합한 보정 방법에 의해 달성될 수 있다고 가정하면, 외부 변수의 결정은 고유 변수의 보정으로부터 분리되는 것으로 추정된다. 회전 및 변환 변수인 외부 변수는 유일한 조건이 치수가 알려져야만 한다는 점인 체커판 무늬 시험판(4)(도 2를 참조)과 같은 테스트 마커의 세트를 도시하는 단일 평면으로부터 추론할 수 있다. 즉, 테스트 마커 세트의 외부 크기가 알려져야 하고, 테스트 마커 사이의 거리가 알려져야 한다. 보통, 테스트 마커는 실질적으로 평면에 위치한다. 체커판 무늬 시험판(4)의 경우 그 크기는 알려져야 하고 보드의 흑백 정사각형 또는 직사각형의 크기는 알려져야 한다.

보통, 도 2의 카메라(2F, 2B, 2L, 2R)와 같은 어안형 카메라는 상이한 매핑 메카니즘(mapping mechanism)을 갖는다. 각각의 카메라의 카메라 작용을 설명하는 구체적인 카메라 응답 기능은 얻기가 어려울 수 있다. 따라서 왜곡은 다항식 또는 스플라인과 같은 적절한 근사식 함수로 근사치를 계산할 수 있다.

이하, 변환 행렬(translation matrix) T는 카메라에 대한 마커의 패턴/세트의 변환을 위한 외부 변수를 설명하고, 더 나아가 회전 행렬 R은 오일러의 각과 같은 회전 외부 변수를 설명한다. 외부 패턴 좌표 시스템에서, 지점은 X =[X, Y, Z, 1]'로 표시된다. 다음 설명을 통하여, 다수의 성분을 갖는 벡터의 표기는 예를 들면 [x,y,z으로 표시된다. 전치된 벡터(transposed vector)는 [x,y,z]'나 [x,y,z]^T로 표시될 수 있다. 어안 카메라들 중 한 카메라의 이미지에 의한 뷰로서, 지점 X = [X, Y, Z, 1]'의 투사는 x = [x,y,z]'로 표시된다. 위에서 설명된 바와 같이, z는 각각의 카메라의 왜곡의 다항식 근사식 등과 같은 근사식에 의해 다음과 같이 부여될 수 있다:

z = a₀ +a₁d + a₂d² ...+ a_ndⁿ

식 중, d는 이미지 중심에 대한 투사된 지점의 거리를 나타내고, n은 근사치를 위해 선택된 다항식의 차수를 나타낸다.

이하에서, H는 투사 행렬을 나타내며, H와 x는 동일 선상에 있기 때문에 H와 x의 외적은 0이라는 점을 주목해야 하는 것이 중요하다. H는 하기 수학식 (1)과 같이 부여된다:

다음에, Z=0으로 가정하여 즉, 각각의 지점은 외부 패턴 좌표 시스템의 XY 면에 위치한다. 이러한 가정 하에, 하기 수학식 (2)가 얻어질 수 있다:

수학식 (2)로부터, z에 대한 왜곡의 근사치를 고려하여 하기 수학식 (3)의 선형 시스템을 유도한다:

시작을 위해, 시험판에 위치하는 모든 지점에 대해 적어도 2개의 수학식이 고려되며, 이로부터 하기 수학식 (4)를 얻을 수 있으며,

이때, 이하의 정의가 이용된다:

체커판과 같은 마커 세트로부터의 지점의 수는 보통 미지수의 수보다 훨씬 크기 때문에, 다음과 같은 최소 제곱 기준에 의해 선형 시스템을 풀 수 있다.

더 나아가, 회전 행렬 R의 열은 정규직교(orthonormal)임을 주목해야 한다. 따라서, 회전 행렬 R의 잔여 성분이 유일하게 결정된다.

시스템 내에서 외부 회전 및 변환 변수는 따라서 T₃을 제외하고는 결정된다.

이하, T₃을 풀기 위하여, 회전 변수 및 변환 변수 R과 T에 대하여 위에서 구한 식을 고려하여, 수학식 (3)의 처음 두 식이 사용된다. 그러면, 하기 수학식 (6)이 얻어진다.

식 중, 이하의 식 (7)과 같은 약어가 사용된다.

식 중, 지수 j는 시험판 상의 지점 즉, 보정을 위해 사용된 마커의 테스트 세트 상의 지점을 나타낸다.

수학식 (6)의 경우, 중복결정된 선형 시스템이 구해진다. 이 시스템은 시스템에 무어 펜로스 의사 역행렬(Moore-Penrose pesudoinverse)(차후, 단순히 "의사 역행렬"이라 칭함)을 이용하여 해를 구하여, 선형 방정식의 시스템에 대한 최적(최소 제곱 등) 해를 계산할 수 있다. 이는 다중 해를 갖는 선형 방정식의 시스템에 대한 최소 (유클리드) 표준해로도 쓰인다. 의사 역행렬은 엔트리가 실수 또는 복소수인 모든 행렬에 대해 정의되고 유일함을 주목해야 한다. 이것은 특이값 분해(SVD: singular value decomposition)를 이용하여 이행될 수 있다.

T₃을 구하기 위해, 하기 수학식 (8)을 얻고:

이로부터 이제 회전 행렬 및 변환 행렬 R 과 T의 모든 변수가 결정되었다. 즉, 도 1 및 도 2의 카메라 각각에 대해서와 각각의 특정 테스트 보드에 대해서 외부 변수가 얻어졌다.

이어서, 제1카메라의 외부 변수에 대해서, 개략적으로 얘기하면 제1카메라에 대해서 상대적인 제2카메라의 외부 변수를, 개략적으로 얘기하면 제2카메라를 나타낼 수 있다. 예를 들어, 제1카메라가 전방 카메라이고 제2카메라가 우측 카메라일 경우, 도 1 및 도 2에 도시된 바와 같이, RBoard_1L 및 RBoard_1R은 카메라 1에 대해 상대적인 보드의 좌측 및 우측 회전 행렬을 나타낸다. 대응하는 변환 변수는 각각 TBoard_1L 및 TBoard_1R로 표시된다. 제2카메라는 제1카메라에 대해 상대적인 위치에서 표시될 수 있으며, 즉, 하기 수학식 (9)와 같이 표시될 수 있다:

위의 식 내에서, 카메라 2의 변수는 카메라 1에 대해 상대적으로 표시되어 있다. 이 식에 이어서, 도 1 및 도 2에서 후방 카메라인 제3카메라 즉, 카메라 3은 카메라 2에 대해 상대적으로 표시될 수 있다, 더 나아가, 도 1 및 도 2에서 좌측면에 있는 제4카메라, 즉 카메라 4는 카메라 1에 대해 상대적으로 표시될 수 있다.

이제, 두 가지 서로 다른 방식으로 카메라 1에 대해 상대적인 카메라 3(후방)의 외부 변수를 표시할 수 있다. 중간 결과로서 제2카메라의 변수를 사용하거나, 마찬가지로 중간 결과로서 제4카메라의 변수를 사용할 수 있다. 상기 두 옵션은 하기 수학식 (10) 및 (11)로 표시될 수 있다:

전체 기준점을 얻기 위하여, 전방 카메라, 즉 카메라 1의 외부 변수는 보통 카메라의 정면에서 테스트 마커 세트 즉, 보정 보드를 지면 상에 배치함으로써 결정될 수 있다. 지면의 전방에서 보정 보드의 이러한 위치는 보드의 중간 축이 차량의 정면의 중심과 대략 일치하도록 선택된다. 보드는 따라서 그 축을 따라서 차와 실질적으로 평행하게 선택되었다. 이러한 방식으로 차에 상대적인 전방 카메라 외부 보정은 달성된다. 비록 이 보정이 매우 거칠고 근사치이지만, 실현하기에 단순하고 쉬우며 후속 보정을 위한 출발점을 제공한다.

테스트 마커 세트, 판의 치수가 결정되어 알려지고 상기 방법을 위한 입력으로서 사용될 수 있다. 따라서 제1카메라에 대한 외부 변수는 전체 기준 지점에 대해서 얻어진다.

나머지 3대의 카메라, 즉, 상기 방법을 제한하는 일없이, 이 실례의 경우, 후방 카메라 3, 좌측 카메라 4, 및 우측 카메라 2의 변수는 원점에 대해 상대적으로 표시되며, 이는 기준점에 대해 상대적이며, 즉, 하기 수학식 (12)와 같이 부여된다:

이러한 방식으로, 카메라 시스템의 모든 카메라, 여기에서는 카메라 1 내지 4에 대한 외부 변수의 추정치가 얻어진다. 추정치의 상기 값은 카메라 잡음 및 왜곡 없이 정확할 것이며, 이는 이상적이 시나리오라고 칭할 것이다. 그러나, 카메라 잡음도 왜곡도 방치될 수 없기 때문에 각각의 카메라에서 얻은 측정치는 최적화 절차를 위한 입력으로서 사용된다.

최적화는 뉴튼-가우스 및 기울기 하강법의 조합인 레벤베르그-마르쿼트 알고리즘을 이용하여 최소 평균 제곱법을 사용하여 이행될 수 있다.

최적화 내에서, 추가의 규제가 고려될 수 있다. 추정된 결과를 사용하여 보정 판 상의 재투사는 최소 에러를 제공해야 한다. 더 나아가, 수학식 (10)과 (11)에 의해, 즉, 위에서 설명된 두 가지 서로 다른 방식으로 계산된 카메라 변수가 동일한 결과를 산출해야 한다. 보통 지면 위에서 각각의 카메라의 정면에 배치된 추가의 보드는 최적화 문제에 대해 추가의 규제를 제공하도록 이용될 수 있다.

도 3은 본 발명에 따른 카메라 시스템의 외부 변수를 보정하는 방법을 도식적으로 도시한 도면이다. 카메라 시스템은 도 1 및 도 2에 대해 도시되고 설명된 카메라 시스템을 또다시 지칭할 수 있다.

단계(200)에서, 마커 세트를 공지된 거리 만큼 이격하여, 대상체의 둘레 주변부에서와 한 카메라의 시야에서 단일 평면에 배치한다. 단계(210)에서, 방법은 카메라용 각각의 마커 세트로부터 카메라의 외부 변수를 계산하는 것에 관한 것이다. 단계(220)에서 단계(200)와 단계(210)가 다수의 카메라 중 나머지 다른 카메라들 각각에 대해 반복된다. 단계(230)에서는, 단계(220)에서 얻어진 나머지 다른 카메라들의 외부 변수에 상대적인 다수의 카메라 각각에 대한 제2세트의 외부 변수가 계산된다. 단계(240)에서, 원점에 대해 상대적인 나머지 다른 카메라들 각각에 대한 제3세트의 외부 변수에 대한 추정치가 제공된다. 단계(250)에서, 단계(240)의 외부 변수 세트가 최적화된다. 단계(250)의 최적화는 단계(240)의 추정 결과를 이용하여 마커 세트상의 재투사 에러를 최소화하는 단계(253), 각각의 카메라의 정면에서 공지된 위치에 있는 추가의 마커 세트를 이용하여 규제하는 단계(255), 다른 카메라들에 대한 단계(230)의 결과들 간의 차를 최소화하는 단계(257) 중 하나 이상을 고려할 수 있다. 단계(300)에서, 결과는 카메라 시스템의 제어 중에 있는 제어 시스템의 출력 유닛을 출력한다.

위에서 설명된 방법은 컴퓨터 프로그램 제품을 나타낼 수 있는 제어 시스템 또는 제어 유닛에서 이행될 수 있다. 상기 방법은 상기 제어 시스템에 포함된 하드 디스크, 플래시 디스크, 플래시 메모리 또는 어떤 다른 최신 메모리 유닛과 같은 적어도 하나의 컴퓨터 판독가능 매체에 저장될 수 있다. 메모리는 따라서 제어 유닛과 같은 컴퓨터 상에서 실행할 때 선행 청구항들 중 하나의 방법의 단계를 수행하기 위한 컴퓨터 실행가능한 명령을 가질 수 있다. 상기 컴퓨터 실행가능한 명령은 예를 들면 C++와 같은 대상체-지향형 컴퓨터 랭귀지로 코딩될 수 있다.

카메라 시스템에서 얻은 데이트는 장치의 제어 유닛에 의해 유익하게 고려될 수 있다. 제어 유닛은 적절한 디스플레이 상에 데이터의 이미지를 제공할 수 있으며, 보통 차량의 운전자가 쉽게 볼 수 있다. 얻어진 결과는 장치의 속도를 제어하는 속도 제어 시스템과 결합 될 수 있다. 장치의 시계, 속도, 인근 중 하나 이상에 관한 미리 결정된 임계치와 인근 장치의 속도 변화는 고려될 수 있고, 본인의 결정을 돕기 위해 장치의 제어시에 운전자나 사람에게 신호가 보내질 수 있다.

도 4는 다른 예를 도시한다. 차량(10)은 6대의 카메라 즉, 전방을 나타내는 11F, 후방/후면을 나타내는 11B, 우측을 나타내는 11R, 좌측을 나타내는 11L, 차량의 전방 좌측을 보는 카메라를 나타내는 11FL, 차량의 전방 우측을 보는 카메라를 나타내는 11FR, 차량의 후방 좌측을 보는 카메라를 나타내는 11BL, 카메라의 후방 우측을 보는 카메라를 나타내는 11BR을 구비하는 카메라 시스템으로 설비된다. 카메라 세트(11F, 11B, 11L, 11R, 11FL, 11FR, 11BL, 11BR)는 차량(10)의 둘레 주변부를 실질적으로 커버한다. 도 1 및 도 2에 도시된 카메라 시스템과 유사하게, 상기 카메라들은 뷰의 중첩 필드를 갖는다.

사람, 동물의 실루엣, 추가로 열 방사선원의 실루엣과 같은 미리 결정된 패턴과 얻어진 데이터를 비교할 수 있는 패턴 인지 유닛과 카메라 시스템에서 얻어진 데이터를 결합하는 것도 또한 가능하다. 이것은 장치를 안전하게 안내하기 위해 밤에 충분한 비전을 제공하기 위해 특히 중요하다.

주변의 시각적 인지를 위한 카메라와, 적외선용 즉, 주변의 열 감지용 추가 카메라의 수는 상이할 수 있거나, 이들 카메라는 차량의 헤드라이트 외의 영역을 커버하기 위해 다른 주된 방향으로 향한다.

카메라는 이들 추가의 정보가 고려될 수 있도록 도로 신호나 교통 신호 또는 경계 표시, 특히, 운전자의 시야에 있지 않은 도로 신호나 교통 신호 또는 경계 표시와 같은 교통 정보를 등록하는 것도 또한 가능하다.

본 발명은 본 발명의 특정의 양호한 실시예를 참조하여 도시되고 설명되었으나, 당업자라면, 첨부된 특허청구범위에 의해 규정되는 바와 같이 본 발명의 정신과 범위에서 벗어나는 일없이 형태와 세부사항에 있어서 다양한 변화가 이루어질 수 있다는 점을 이해할 것이다.

Claims (15)

1. 미리 결정된 고유 보정부를 갖추고 차량과 같은 대상체에 설치되어 해당 대상체의 둘레 주변부를 커버하는 다수의 카메라를 포함하는 카메라 시스템을 보정하는 방법으로서,
   (a) 한 세트의 마커를 공지된 거리만큼 이격시켜 위치결정하고, 상기 대상체의 둘레 주변부에서와 카메라의 시야에서 단일 평면에 배치하는 단계;
   (b) 카메라용 각각의 세트의 마커로부터 카메라의 외부 변수를 계산하는 단계; 및
   (c) 다수의 카메라 중 나머지 다른 카메라 각각에 대해 단계(a)와 단계 (b)를 반복하는 단계를 포함하는, 카메라 시스템의 보정방법.
2. 제1항에 있어서, 각각의 카메라의 시야는 이웃하는 카메라들 중 적어도 하나와 적어도 부분적으로 중첩되는 것인, 카메라 시스템의 보정방법.
3. 제2항에 있어서, 상기 마커의 세트는 이웃하는 카메라들의 시야의 중첩되는 영역에서 선택되는 것인, 카메라 시스템의 보정방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 다수의 카메라 중 적어도 하나의 카메라에 대해서, 각각의 세트의 마커는, 각각의 카메라의 외부 변수가 원점(the origin)을 참조하도록 해당 원점을 포함하는, 카메라 시스템의 보정방법.
5. 제4항에 있어서, (d) 단계 (c)에서 획득한 다른 카메라의 외부 변수에 대해서 상대적인 다수의 카메라의 각각에 대한 제2세트의 외부 변수를 계산하는 단계를 더 포함하는, 카메라 시스템의 보정방법.
6. 제4항 또는 제5항에 있어서, (e) 원점에 대해서 상대적인 다른 카메라 각각에 대한 제3세트의 외부 변수를 추정하는 단계를 더 포함하는, 카메라 시스템의 보정방법.
7. 제6항에 있어서, (f) 외부 변수의 세트를 최적화시키는 단계를 더 포함하는, 카메라 시스템의 보정방법.
8. 제7항에 있어서, 상기 최적화는 단계 (e)의 추정 결과를 사용하는 마크의 세트에 대한 재투사의 에러를 최소화하는 것인, 카메라 시스템의 보정방법.
9. 제7항 또는 제8항에 있어서, 상기 최적화는 단계 (d)의 결과들 간의 차를 최소화하는 것인, 카메라 시스템을 보정하는 방법.
10. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 최적화는 각각의 카메라의 정면에서 공지된 위치들에서 추가 세트의 마커를 이용함으로써 더 규제되는 것인, 카메라 시스템의 보정방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서, 카메라의 투사면에 수직인 왜곡이 다항식에 의해 근사화되는 것인, 카메라 시스템을 보정하는 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 카메라는 어안 카메라(fisheye-camera)인 것인, 카메라 시스템의 보정방법.
13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 카메라는 상기 대상체의 적어도 하나의 대칭 축에 대해서 대칭으로 배치되는 것인, 카메라 시스템의 보정방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 카메라의 수는 4대인 것인, 카메라 시스템의 보정방법.
15. 컴퓨터 상에서 실행할 때 제1항 내지 제14항 중 한 항의 방법의 단계를 수행하기 위한 컴퓨터 실행 가능 명령을 갖춘 적어도 하나의 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품.

Images