KR20010078102A

KR20010078102A - 캘리브레이션 시스템, 타겟장치 및 캘리브레이션방법

Info

Publication number: KR20010078102A
Application number: KR1020010003871A
Authority: KR
Inventors: 오카모토수사쿠; 나카가와마사미치; 모리무라아츠시
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 2000-01-27
Filing date: 2001-01-27
Publication date: 2001-08-20
Also published as: EP1120746A3; EP1120746B1; US20010012985A1; EP1120746A2; US6542840B2

Abstract

본 발명은 이동체에 탑재된 카메라에 대하여 그 캘리브레이션을 간단히 실행 가능하게 하는 것이다.

카메라(101)가 탑재된 차량(10)에 대하여 캘리브레이션을 위한 타겟장치(30)를 조인트 수단(107a, 107b)에 의하여 물리적으로 고정시킨다. 차량(10)과 타겟장치(30) 위치관계의 미세 조정은 차량(10)에 설치된 목표점(106)을 스코프 수단(105)을 통하여 시각 확인하면서 실행한다.

Description

캘리브레이션 시스템, 타겟장치 및 캘리브레이션방법{CALIBRATION SYSTEM, TARGET APPARATUS AND CALIBRATION METHOD}

본 발명은 카메라의 위치나 방향 등을 계산하는 캘리브레이션에 관한 것으로 특히 이동체에 탑재된 카메라에 대하여, 그 캘리브레이션을 간단하고 또 정밀도 좋게 실행하는 기술에 속한다.

종래, 차량에 카메라를 장착시켜 그 카메라에 의하여 차량 주위를 감시하는 시스템이 알려져 있다. 이와 같은 감시 시스템에서는, 복수 개의 카메라를 차량에 탑재시켜 촬영한 영상을 차량 내 모니터에 표시한다는 구성이 일반적이다.

도 23은 종래의 차량주위 감시 시스템 구성을 나타내는 블록도이다(일본특허공개공보 특개평 3-99952호에 개시). 도 23에서, 화상변환부(1202)는 차량에 설치된 복수 대의 카메라(1201) 화상을 수취하고 투시변환에 의하여 가상시점으로부터 본 합성화상을 생성한다. 화상표시부(1203)는 이 합성화상을 예를 들어 운전석에 설치된 TV모니터(1204)에 표시한다. 가상시점을 차량 중심 상방에 아래 쪽으로 설치하면, 운전자는 TV모니터(1204)를 보고 자신의 차와 그 주위 상황을 한눈에 알수 있다. 이로써 차량운전의 안전성이 향상된다.

그런데 상술한 감시 시스템에서는 복수의 카메라화상을 맞추어 연결시켜 1장의 화상을 합성한다. 이 경우 합성하는 화상끼리의 경계에 어긋남이 발생하지 않도록 하기 위해서는 각각의 카메라가 어느 위치, 어느 방향으로 장착되는지를 미리 정확하게 계산해 둘 필요가 있다. 이 계산을 카메라의 캘리브레이션(calibration)이라 한다.

캘리브레이션 방법으로서는 예를 들어 소정 좌표계의 좌표위치를 이미 알고 있는 특징점을 각각의 카메라로 촬영하고, 각 특징점의 카메라 화상 상에서의 좌표와 실제 공간좌표를 대응시킨 1 조의 데이터, 즉 캘리브레이션 데이터를 이용하여 실행하는 방법이 알려져 있다. 상세하게는, 예를 들어 마츠야마(松山) 외 "컴퓨터 비젼: 기술평론과 장래전망"(신기술 커뮤니케이션즈, pp.37-53, 1998년 6월)에 기재되어 있어 여기서는 그 설명은 생략한다.

카메라 캘리브레이션에 관해서는 예를 들어 반송라인의 시각 감지 시스템에 대하여, 전용 지그를 이용하여 캘리브레이션을 행하는 기술(일본특허공보 특공평 7-90494호에 개시)이나, 로봇 핸들링 장치에서 로봇 좌표계에 대한 고정 3차원 시각수단의 설치 오차를 구하는 기술(일본특허공보 특공평 7-27408호에 개시) 등이 알려졌다. 그러나 차량과 같은 이동체에 탑재된 카메라 캘리브레이션에 대해서는 아직 유효한 기술은 확립되어 있지 못한 것이 실상이다.

또 차량주위 감시용과 같은 넓은 범위를 촬영하는 카메라에 대하여 캘리브레이션을 하기 위해서는 특징점을, 카메라 촬영범위에 될 수 있는 대로 넓게 분포시킬 필요가 있다. 이 때문에 특징점이 설치된 거대한 설비를 설치하자면 광대한 부지가 필요하게 되고, 또 막대한 원가가 들게 되므로 바람직하지 못하다. 또한 이와 같은 설비를 어떤 장소에 설치했다고 하면, 카메라 캘리브레이션을 위하여 차량을 그 설비장소까지 일부러 이동시켜야만 하므로 매우 불편하다. 장래, 차량주위 감시 시스템은 널리 보급될 것으로 생각되므로 카메라의 교환이나 추가, 또는 사고, 주행에 따른 카메라 설치위치의 상충 등이 빈번하게 일어날 수 있다는 점을 감안하면, 간단한 카메라 캘리브레이션 방식의 개발이 급선무가 될 것이다.

상기 문제에 감안하여 본 발명은 이동체에 탑재된 카메라에 대하여 간단하고 또 정밀도 높게 캘리브레이션 실행이 가능하도록 하는 것을 과제로 한다.

도 1은 본 발명의 기술적 사상을 개념적으로 나타낸 도면.

도 2는 본 발명의 제 1 실시예에 관한 캘리브레이션 시스템의 구성도.

도 3은 조인트수단의 다른 구성예를 나타낸 도면.

도 4는 위치조정수단의 구성예를 나타낸 도면.

도 5는 스코프수단의 구성예를 나타낸 도면.

도 6은 본 발명의 제 1 실시예에 관한 캘리브레이션 시스템의 다른 구성예로서, 스코프수단 및 위치조정수단을 설치한 구성도.

도 7은 도 6 구성의 변형예.

도 8은 스코프수단을 타겟장치 쪽에 설치한 경우의 위치조정을 나타낸 도면.

도 9는 스코프수단을 차량 쪽에 설치한 경우의 위치조정을 나타낸 도면.

도 10은 본 발명의 제 1 실시예에 관한 캘리브레이션 시스템의 구성을 기능적으로 나타낸 블록도.

도 11은 캘리브레이션 방법을 설명하기 위한 도면으로, 핀 홀 카메라 모델에 기초하여 월드좌표계, 카메라 좌표계 및 화상좌표의 관계를 나타낸 도면.

도 12는 본 발명의 제 2 실시예에 관한 캘리브레이션 시스템의 구성도.

도 13은 본 발명의 제 2 실시예에 있어서의 타겟장치의 위치조정을 나타내는 도면.

도 14는 스코프수단의 설치위치에 관하여 주의해야 할 점을 설명하기 위한 도면.

도 15는 본 발명의 제 3 실시예에 관한 캘리브레이션 시스템의 구성을 기능적으로 나타낸 블록도.

도 16은 본 발명의 제 3 실시예에 관한 캘리브레이션 시스템의 구성을 나타낸 도면.

도 17은 본 발명의 제 4 실시예에 관한 캘리브레이션 시스템의 구성을 나타낸 도면.

도 18은 특징점의 좌표값을 계산하는 처리 흐름도.

도 19는 특징점의 좌표값 계산을 설명하기 위한 도면.

도 20은 본 발명의 제 4 실시예에 관한 캘리브레이션 시스템의 다른 구성을 나타낸 도면.

도 21은 본 발명을 서비스에 적용할 경우의 순서 개요를 나타낸 도면.

도 22는 정밀한 카메라 캘리브레이션을 필요로 하는 이유를 설명하기 위한 도면.

도 23은 종래의 차량감시 시스템의 구성을 나타낸 도면.

* 도면의 주요 부분에 대한 부호의 설명 *

1, 101 : 카메라 2, 10 : 차량

3, 30 : 타겟장치 105 : 스코프수단

106 : 목표점 107a, 107b, 107A : 조인트수단

109 : 제어수단 110a : 발광수단

113 : 위치계산수단 114, 114A : 목표 데이터 취득수단

PP : 특징점

상기 과제를 해결하기 위하여 본 발명은, 캘리브레이션 시스템으로서 카메라가 탑재된 이동체와, 상기 카메라 캘리브레이션을 실행하기 위한 타겟장치와, 상기 이동체 및 타겟장치의 적어도 어느 한쪽에 설치되어, 상기 이동체와 상기 타겟장치의 위치관계를 소정 관계로 고정시키기 위한 위치결정수단을 구비하는 것이다.

이 발명에 의하면, 이동체와 타겟장치의 위치관계는 위치결정수단에 의하여 소정 관계로 고정시킬 수 있으므로, 카메라 캘리브레이션을 위하여 이동체를 정밀도 높게 위치 결정할 필요가 없어진다. 따라서 이동체에 탑재된 카메라의 캘리브레이션을 간단하게 실행할 수 있다.

그리고 상기 본 발명의 캘리브레이션 시스템의 위치결정수단은 상기 타겟장치를 상기 이동체에 대하여 물리적으로 고정시키는 조인트수단을 갖는 것으로 한다.

또한 상기 본 발명의 캘리브레이션 시스템에서의 위치결정수단은 상기 이동체 및 타겟장치 중 어느 한쪽에 설치되어, 그 다른 쪽에 있는 목표점을 참조하여 상기 타겟장치의 위치를 결정하기 위한 스코프수단을 갖는 것으로 한다.

또 상기 본 발명의 캘리브레이션 시스템에서의 타겟장치는 외부로부터의 제어에 의하여 특징점이 발광 가능하게 구성되고, 상기 이동체는 상기 타겟장치 특징점의 발광을 제어하는 제어수단을 구비하는 것으로 한다.

또한 본 발명은 캘리브레이션 시스템으로서 카메라가 탑재된 이동체와, 상기 카메라 캘리브레이션을 실행하기 위한 타겟장치와, 상기 이동체 및 타겟장치의 적어도 어느 한쪽에 설치되어, 상기 이동체와 상기 타겟장치의 위치관계를 구하기 위한 위치관계 추정수단을 구비하는 것이다.

이 발명에 의하면 이동체와 타겟장치의 위치관계는 위치관계 추정수단에 의하여 구할 수 있으므로, 카메라 캘리브레이션을 위하여 이동체를 정밀도 높게 위치 결정할 필요가 없어진다. 따라서 이동체에 탑재된 카메라의 캘리브레이션을 간단히 실행할 수 있다.

그리고 상기 본 발명의 캘리브레이션 시스템의 위치관계 추정수단은 상기 이동체 및 타겟장치 중 어느 한쪽에 설치되고, 그 다른 쪽에 있는 목표점을 참조하여 상기 한 쪽의 좌표계에서의 상기 목표점 좌표값을 구하기 위한 목표 데이터 취득수단을 갖는 것으로 한다.

또 본 발명은 이동체에 탑재된 카메라의 캘리브레이션을 실행하기 위한 타겟장치로서, 상기 이동체와 당해 타겟장치의 위치관계를 소정 관계로 고정시키기 위한 위치결정수단을 구비하는 것이다.

또한 본 발명은 이동체에 탑재된 카메라의 캘리브레이션을 실행하기 위한 타겟장치로서, 상기 이동체와 당해 타겟장치의 위치관계를 구하기 위한 위치관계 추정수단을 구비하는 것으로 한다.

또 본 발명은 이동체에 탑재된 카메라에 대하여 캘리브레이션을 행하는 방법으로서, 캘리브레이션을 위한 타겟장치를 상기 이동체 주변에 준비하고 상기 이동체 및 타겟장치의 적어도 어느 한쪽에 설치된 위치결정수단을 이용하여, 상기 타겟장치의 위치를 상기 이동체와의 위치관계가 소정 관계로 되도록 고정시키고, 상기 카메라에 의하여 상기 타겟장치의 특징점을 촬영하며, 상기 특징점의 화상좌표와 상기 특징점의 실제 월드좌표의 관계를 기초로 하여 상기 카메라의 캘리브레이션을 행하는 것이다.

또한 본 발명은 이동체에 탑재된 카메라에 대하여 캘리브레이션을 행하는 방법으로서, 캘리브레이션을 위한 타겟장치를 상기 이동체 주변에 준비하고, 상기 이동체 및 타겟장치의 적어도 어느 한쪽에 설치된 위치관계 추정수단을 이용하여 상기 타겟장치와 상기 이동체의 위치관계를 구하며, 상기 카메라에 의하여 상기 타겟장치의 특징점을 촬영하고, 상기 특징점의 화상좌표와, 상기 타겟장치를 기준으로 한 상기 특징점의 실제 월드좌표, 및 구해진 상기 타겟장치와 상기 이동체의 위치관계를 기초로 하여 상기 카메라의 캘리브레이션을 행하는 것이다.

상술한 목적 및 기타의 목적과 본 발명의 특징 및 이점은 첨부 도면과 관련한 다음의 상세한 설명을 통해 보다 분명해 질 것이다.

(실시예)

도 1은 본 발명의 기술적 사상을 개념적으로 나타낸 도면이다. 도 1의 (a)에서, 카메라(1)가 탑재된 차량(2)은 지면에 대하여 위치 결정되고, 캘리브레이션을 위한 타겟장치(3)는 지면에 대하여 고정된다. 바꾸어 말하면, 지면을 매개로 하여 차량(2)과 타겟장치(3)의 위치관계가 설정된다고 할 수 있다.

그러나 도 1의 (a)의 경우에는, 우선 정밀도 높은 캘리브레이션의 실현을 위하여 차량(2)을 지면에 대하여 수㎜ 정밀도로 위치를 정할 필요가 있지만, 이는 실제로는 매우 어렵다. 또 캘리브레이션할 때마다 타겟장치(3)가 설치된 장소로 차량(2)을 이동시켜야만 한다.

여기서 본 발명에서는 도 1의 (b)에 도시한 바와 같이 타겟장치(3)를, 지면을 매개로 하지 않고 직접 차량(2)에 고정시킨다. 이로써 차량(2)의 수㎜ 정밀도의 위치결정이 불필요해짐과 동시에 캘리브레이션 실행장소가 한정되지 않게 되므로 간단한 캘리브레이션이 실현된다.

이하 본 발명의 실시예에 대하여 도면을 참조하면서 설명하기로 한다.

(제 1 실시예)

도 2는 본 발명의 제 1 실시예에 관한 캘리브레이션 시스템의 구성을 나타낸 도면이다. 도 2에서는 카메라(101)가 탑재된 이동체로서의 차량(10)과 카메라(101)의 캘리브레이션을 위한 타겟장치(30)가, 위치결정수단으로서의 조인트수단(107a, 107b)에 의하여 물리적으로 고정된다. 도 2 중 (a)는 타겟장치(30)가 차량(10)의 뒤쪽에서 결합되는 양상을, (b)는 타겟장치(30)가 차량(10)의 옆쪽에서 결합되는 양상을 각각 나타낸다. 타겟장치(30)쪽의 조인트수단(107a)은 구체적으로 예를 들어 나사가 부착된 돌기물이고, 차량(10)쪽의 조인트수단(107b)은 구체적으로 예를 들어 나사 구멍이다.

타겟장치(30)에는 카메라(101) 조정에 필요한 특징점(PP)이 설치된다. 도 2에서 특징점(PP)은 플라스틱, 목재 그 밖의 막대 재료에 의하여 조립된 격자구조의 교차점으로 주어진다. 기타 특징점(PP)의 설치 방법으로는 판상 재료에 특징점(PP)을 직접 그리는 등, 위치가 특정될 수 있는 형태라면 어떤 것이라도 상관없다.

그리고 조인트수단(107a, 107b)에 의하여 차량(10)과 타겟장치(30)가 서로 고정결합된 상태에서 카메라(101)의 캘리브레이션이 실행된다. 또 도 2와 같은 구성에 의하면 복수 개소에 설치된 카메라(101)의 캘리브레이션을 위하여 타겟장치(30)를 각각 독립시켜 작성할 필요는 없으며 동일 타겟장치(30)를 공용할 수 있다.

여기서 차량(10)과 타겟장치(30)를 물리적으로 고정시키는 조인트수단의 구체적 구성으로는, 나사가 부착된 돌기와 나사 구멍의 조합에 한정되는 것이 아닌 여러 구성을 생각할 수 있다. 예를 들어 차량(10)에 조인트수단으로서 미리 구멍을 뚫어 놓고 타겟장치(30)에 설치된 막대형의 조인트수단을 그 구멍에 끼우도록 해도 된다.

또 타겟장치(30)에만 조인트수단으로서 고정기구를 설치하고 이 고정기구를 차량(10)의 일부에 끼우는 등, 타겟장치(30)를 차량(10)에 고정시켜도 상관없다. 도 3은 이와 같은 고정기구를 이용한 구성예를 나타낸 도면이다. 도 3의 예에서는 조인트수단(107A)으로서 조임기구를 이용하며 이 조임기구로 차량(10)의 후부 범퍼를 끼움으로써 타겟장치(30)를 차량(10)에 물리적으로 고정시킨다. 이 경우 차량(10)쪽에는 특별한 기구(機構)를 설치할 필요가 없으므로 차량(10)의 외관을 손상시킬 일이 없다. 또 끼우는 위치에 미리 표시를 해둠으로써 타겟장치(30)를 고정시키는 작업을 간단하게 할 수 있다. 물론 차량(10)쪽에 고정기구를 설치하여 타겟장치(30)를 고정시키도록 해도 상관없다.

또한 도 4에 도시한 바와 같은 위치조정수단(104)을 타겟장치(30)에 설치함으로써 차량(10)에 대한 타겟장치(30)의 위치조정이 쉬워진다. 도 4에 도시하는 위치조정수단(104)은 나사로 높이 방향의 미세한 조정이 가능한 기구(104a)와, 차바퀴로 전후좌우의 위치조정이 가능한 기구(104b)를 구비한다. 여기서 캘리브레이션 실행 중 타겟장치(30)의 위치 상충을 방지하기 위하여 위치조정수단(104)은 기구(104a, 104b)의 움직임을 고정시키는 고정기구를 갖는 것이 바람직하다. 단 이 고정기구는 어디까지나 타겟장치(30)의 지면에 대한 위치 상충을 고정시킨다는 관점에서 필요한 것으로서, 원리적으로 차량(10)과 타겟장치(30)의 위치관계를 조인트수단으로 일정하게 유지할 수 있다면 카메라(101)의 캘리브레이션은 가능해진다.

또, 본 실시예에서는 도 5에 도시한 바와 같은 스코프수단(105)을 이용한다. 스코프수단(105)이란, 차량(10)과 타겟장치(30)의 위치관계가 소정의 관계로 되었는지의 여부를 확인할 수 있도록 하기 위한 수단이며, 도 5의 구성예에서는 가로 세로로 눈금을 매긴 2 장의 원형유리(501)가 소정 간격을 두고 설치된다. 이 스코프수단(105)을 타겟장치(30)에 설치함으로써 타겟장치(30)의 위치조정을 쉽게 할 수 있다.

도 6은 도 4에 도시한 위치조정수단(104) 및 도 5에 도시한 스코프수단(105)을 갖는 타겟장치(30)를 이용한 캘리브레이션 시스템의 구성예를 나타낸 도면이다. 위치조정수단(104)과 스코프수단(105) 및 조인트수단(107a, 107b)에 의하여 본 발명에 관한 위치결정수단이 구성된다. 도 6에 도시한 바와 같이 차량(10)에 설치된 목표점(106)을, 타겟장치(30)의 스코프수단(105)을 통하여 시각 확인함으로써 타겟장치(30)의 위치조정을 쉽게 할 수 있다. 목표점(106)은 차량(10)과 타겟장치(30) 사이에 위치 상충이 없는지의 여부를 스코프수단(105)을 통하여 쉽게 확인할 수 있는 것이라면 어떠한 구성이라도 상관없다. 구체적으로는 예를 들어 목표점(106) 위치에 LED를 설치하고 이 LED를 점등시키거나 점멸시키거나 함으로써 실현시킨다. 또 차량의 특정 개소, 예를 들어 뒤창의 구석을 목표점(106)으로 정하는 것만으로도 된다. 또 스코프수단(105)은 멀리 떨어진 곳에서도 목표점(106)을 확인할 수 있도록 렌즈 가공을 한 것이라도 된다.

여기서 도 7에 도시한 바와 같이 스코프수단(105)을 차량(10) 쪽에 설치하여 목표점(106)을 타겟장치(30)쪽으로 정해도 상관없다. 또 스코프수단(105)은 처음부터 장착시켜 고정시켜도 되고 탈착 가능하게 해도 상관없다. 단 도 7의 경우 스코프수단(105)은 캘리브레이션시 이외는 불필요해지므로 탈착 가능한 쪽이 바람직하다. 또 스코프수단(105)은 타겟장치(30)의 위치조정을 위하여 설치하는 것이므로, 캘리브레이션 시에 스코프수단(105)은 차량(10) 또는 타겟장치(30)에 견고하게 고정되는 것이 바람직하다.

또한 타겟장치(30)의 복수 개소에 스코프수단(105)을 탈착 가능하게 하여도 된다. 이로써 다종류 차량(10) 카메라(101)의 캘리브레이션을 행할 경우, 차량(10) 종류별로 스코프수단(105)의 설치위치를 선택할 수 있다. 이 경우 차량(10)의 목표점(106) 설치위치의 자유성을 높일 수 있다.

타겟장치(30)의 위치조정은 목표점(106)을 스코프수단(105)으로 보면서 실행한다. 예를 들어 2 장의 원형유리(501) 중심끼리 완전히 일치되는 곳에 목표점(106)이 보이도록, 타겟장치(30)의 미묘한 위치결정을 위치조정수단(104)에 의하여 실행하면 된다.

도 8은 스코프수단(105)을 타겟장치(30)쪽에 설치한 경우의 위치조정을 나타낸 도면으로서, 도 8 중 (a)는 위치결정 전, (b)는 위치결정 후의 상황을 나타낸다. 도 8의 예에서는 위치결정을 위한 목표점(106)을 차량(10)의 뒤창 하단의 오른쪽에 설정하고 이 목표점(106)이 2 장의 원형유리(501) 중심끼리 완전히 일치되는 곳에 보이도록, 타겟장치(30) 위치의 미세 조정을 행한다.

또 도 9는 스코프수단(105)을 차량(10)쪽에 설치한 경우의 위치조정을 나타낸 도면으로, 도 9 중 (a)는 위치결정 전, (b)는 위치결정 후의 상황을 나타낸다. 도 9의 예에서는 위치결정을 위한 목표점(106)을 타겟장치(30)의 특징점(PP) 중 중앙의 한 점에 설정하고 이 목표점(106)이 2 장의 원형유리(501) 중심끼리 완전히일치되는 곳에 보이도록, 타겟장치(30) 위치의 미세 조정을 행한다. 도 8 또는 도 9와 같은 위치결정 작업에서, 목표점(106)에 LED와 같은 목표제시수단을 설치하여 그 시각 인식성을 향상시킴으로써 캘리브레이션의 작업효율을 향상시킬 수 있다.

여기서 스코프수단(105)의 필요성은 차량(10)과 타겟장치(30)를 물리적으로 고정시키는 조인트 방식에 의존한다. 즉 차량(10)과 타겟장치(30)를 고정시킨 결과, 양자의 위치관계가 항상 일정하게 유지된다는 보장이 있는 경우에는 스코프수단(105)은 필요없다.

또 조인트수단 자체에 타겟장치(30)의 미묘한 위치조정 기능을 갖게 함으로써 위치조정수단(104)이 필요 없게 할 수도 있다. 예를 들어 타겟장치(30)쪽의 조인트수단(107a)을 막대형 부재로 하고, 차량(10)쪽의 조인트수단(107b)을 구멍이 있는 것으로 하여 조인트수단(107a)을 조인트수단(107b)에 끼우는 방식을 채용할 경우, 조인트수단(107a)을 끼우는 깊이를 바꿈으로써 타겟장치(30)의 미묘한 위치조정이 가능해진다. 이 경우는 위치결정을 위하여 스코프수단(105)을 이용하는 것이 바람직하다. 또 위치를 조정한 후 고정기구를 이용하여 차량(10)과 타겟장치(30)의 위치관계를 고정시키는 것이 바람직하다.

도 10은 본 실시예에 관한 캘리브레이션 시스템의 구성을 기능적으로 나타낸 블록도이다. 도 10에 도시한 바와 같이 차량(10)은 카메라(101) 이외에, 카메라(101)의 캘리브레이션을 행하는 카메라 캘리브레이션수단(108), 카메라(101)의 촬영화상에 소정의 처리를 실시하여 화상변환을 행하는 화상변환수단(102), 및 변환된 화상을 표시하는 모니터 등의 화상표시수단(103)을 구비한다. 또 상술한바와 같은 조인트수단(107b) 및 목표점(106)을 구비한다. 한편 타겟장치(30)는 상술한 바와 같은 위치조정수단(104)과 스코프수단(105) 및 조인트수단(107a)을 구비한다.

카메라 캘리브레이션수단(108)은 후술하는 캘리브레이션 데이터를 이용하여 카메라 캘리브레이션을 행하는 것이지만, 반드시 실시간 처리를 필요로 하지 않으므로 차량(10) 내부에 필수인 것은 아니다. 또 캘리브레이션 소프트웨어가 동작 가능한 범용 컴퓨터로 실현 가능하다. 만일 범용 컴퓨터로 실현시킬 경우에는 차량(10)으로부터 떨어진 장소에 두고, 취득한 캘리브레이션 데이터를 플로피 디스크나 메모리 카드 등의 기억매체나, 무선 유선 등의 통신을 통해 이 컴퓨터로 보내도록 해도 된다.

다음에 카메라의 캘리브레이션방법을 도 11을 이용하여 간단하게 설명하기로 한다. 여기서는 설명을 단순하게 하기 위하여 렌즈 왜곡이나 광축의 어긋남 등이 무시될 수 있는 핀 홀 카메라를 이용한 경우를 상정한다. 도 11은 핀 홀 카메라 모델에 기초하여 월드 좌표계와 카메라 좌표계 및 화상 좌표계의 관계를 나타낸 도면이다. 캘리브레이션에서는 특징점(PP)을 이용하여 월드 좌표계에서의 카메라 위치나 방향을 계산한다.

도 11에서 카메라의 초점거리를 f, 특징점(PP)을 카메라로 촬영했을 때의 화상 좌표값을 Pv(u, v), 특징점(PP)의 카메라 좌표계에서의 좌표값을 Pe(Xe, Ye, Ze), 특징점(PP)의 월드 좌표계의 좌표값을 Pw(Xw, Yw, Zw)로 한다. 카메라 좌표계와 월드 좌표계의 관계에서 좌표계의 축을 맞추기 위한 3×3의 회전행렬을R(r11, …, r33), 원점을 일치시키기 위한 평행이동 벡터를 T(tx, ty, tz)로 하면, Pv와 Pw는 다음의 수학식 1로 대응시킬 수 있다.

카메라 캘리브레이션이라는 것은 구체적으로, 회전행렬(R)의 각 요소(카메라 방향에 상당), 평행이동 벡터(T)의 각 요소(카메라 위치에 상당)를 구하는 것과 다름없다. 그런데 상기 식에서는 카메라의 방향, 위치를 결정하기 위한 미지의 파라미터 개수가, 회전행렬(R) 3개(행렬 요소는 9개이지만 회전행렬인 점에서 독립된 파라미터는 X축과 Y축 및 Z축을 각각 회전 중심축으로 한 회전각 3개뿐), 평행이동 벡터(T) 요소 3개의, 합 6개로 된다.

화상좌표(Pv(u, v))와 이에 대응하는 월드 좌표계에서의 좌표값(Pw(Xw, Yw, Zw))의 조, 즉 캘리브레이션 데이터 1 조를 상기 식에 대입시킴으로써 u, v 각각에 관한 2 개의 식을 세울 수 있다. 따라서 캘리브레이션 데이터가 최저 3 조가 있다면, 상술한 6 개의 파라미터 값을 구할 수 있다. 실제로는 측정오차의 영향을 줄이기 위하여 광범위하게 흩어진, 될 수 있는 한 많은 특징점에 관한 캘리브레이션 데이터를 이용하여 최소 이승법 등으로 푸는 것이 일반적이다.

그런데 카메라 캘리브레이션을 정밀도 높게 행하기 위해서는 카메라 촬영범위 내에, 미리 정한 좌표계의 정확한 좌표값을 이미 알고 있는 점, 즉 특징점(PP)을 다수 준비할 필요가 있다. 여기서 특징점(PP)을, 이미 알고 있는 좌표값 위치에 정확하게 설정하는 것이 가장 중요하다. 이는 바꾸어 말하면 특징점(PP)을 갖는 타겟장치(30)를 차량(10)에 대하여 정밀도 높게 설치하는 것이 요구된다는 것과 다름없다.

캘리브레이션 데이터의 작성은 정확하게 설치된 타겟장치(30)를 이용하여 예를 들어 다음 2 가지의 단계에 의하여 수작업으로 행해진다.

1. 특징점(PP)을 카메라로 촬영하고 카메라 화상 상에서의 특징점(PP) 좌표값(Pv(u, v))을 지정한다. 좌표값의 지정은 예를 들어 카메라 화상을 컴퓨터에 입력시켜 화면으로 표시하고, 화면에 비친 특징점 위치로 마우스 커서를 옮겨 그곳에 마우스를 클릭하는 등의 수작업으로 행해진다.

2. 특징점(PP)의 월드 좌표계에서의 좌표값(Pw(Xw, Yw, Zw))과, 지정한 카메라 화상 상의 좌표값(Pv(u, v))을 대응시켜 캘리브레이션 데이터로서 작성한다.

이상과 같이 본 실시예에 의하면 이동체와 타겟장치의 위치관계를 조인트수단이나 스코프 수단 등에 의하여, 숙련자가 아니라도 쉽게 소정 관계로 고정시킬 수 있다. 따라서 카메라 캘리브레이션 때문에 이동체를 정밀도 높게 위치 결정할 필요가 없어지고, 이동체에 탑재된 카메라의 캘리브레이션을 간단하게 행할 수 있다. 또 캘리브레이션을 위하여 광대한 공간을 필요로 하지 않아 좁은 장소에서 실행할 수 있다. 더욱이 타겟장치를, 이동 가능한 컴팩트 사이즈로 실현할 수 있다.

(제 2 실시예)

본 발명의 제 2 실시예는 제 1 실시예에 나타낸 바와 같은 차량(10)과 타겟장치(30)를 물리적으로 고정시키는 조인트수단을 이용하지 않고 스코프수단만을 이용하여, 차량(10)과 타겟장치(30)를 접촉시키는 일없이 그 위치관계를 소정 관계로 고정시키는 것이다.

도 12는 본 실시예에 관한 캘리브레이션 시스템의 구성을 나타낸 도면이다. 도 12에서는 카메라(101)가 탑재된 차량(10)과 타겟장치(30)는 물리적으로 고정되지 않고, 차량(10)에 설치된 목표점(106)을 타겟장치(30)에 설치된 스코프수단(105)으로 시각 확인함으로써 타겟장치(30)의 위치결정이 행해진다. 위치조정수단(104) 및 스코프수단(105)은 제 1 실시예에서 나타낸 것과 마찬가지의 구성으로 이루어진다. 위치조정수단(104) 및 스코프수단(105)에 의하여 본 발명에 관한 위치결정수단이 구성된다.

도 13은 본 실시예에서의 타겟장치(30)의 위치조정을 나타내는 도면으로, 도 13 중 (a)는 위치결정 전, (b)는 위치결정 후의 상황을 나타낸다. 도 13의 예에서는 위치결정을 위한 목표점(106)을 차량(10) 뒤창 하부의 좌우 구석에 설정하고, 이들 목표점(106)이 2 개의 스코프수단(105) 각각에 대하여 2 장의 원형 유리(501) 중심끼리 완전히 겹치는 곳에 보이도록, 타겟장치(30)의 위치 미세 조정을 한다.

그리고 스코프수단(105)의 구성은, 여기서 나타낸 것에 한정되는 것이 아니며 다른 구성이라도 상관없다. 예를 들어 스코프수단으로서 레이저 빔 발광장치를 이용하여 그 발광된 레이저 빔광이 목표점(106)에 닿도록, 타겟장치(30)의 위치조정을 행해도 상관없다. 이 경우 위치가 맞는지 여부의 확인을, 스코프를 보지 않고 실행할 수 있다는 이점이 있다. 또는 레이저 빔광이 목표점(106)에 닿았는지의 확인을 더 쉽게 하기 위하여 목표점(106)에 반사판을 설치해도 되며, 또 이 반사광을 수광하기 위한 수단을 스코프수단에 설치하여 각 스코프수단이 그 수광수단으로 반사광을 수취했을 때, 위치조정 완료의 사인을 부저 등의 소리로 알리도록 해도 된다.

여기서 스코프수단의 설치위치에 관하여 주의해야 할 점을 설명한다. 즉 스코프수단의 설치위치에 따라서, 목표점과 2 장의 원형 유리 중심이 일치하는 타겟장치의 위치가 얼마든지 있을 수 있다. 이에 대하여 도 14를 이용하여 설명한다. 도 14에서는 2 개의 스코프수단을 이용하여 타겟장치의 위치결정을 하는 경우를 상정한다. 그리고 타겟장치(30)는 차량(10)이 놓여 있는 평면(즉 노면(S)) 위를 일정 높이로 전후좌우 자유롭게 이동할 수 있는 것으로 한다.

도 14의 (a)의 경우, 스코프수단(105)을 통해 시선(VL1)이 노면(S)과 평행이고 또 이 시선(VL1)이 목표점(106)을 통하고 있다. 이 경우 타겟장치(30)에 설치된 2개의 스코프수단(105)에 대하여, 각각이 볼 목표점(106)과 2 장의 원형 유리(501) 중심이 일치하는 타겟장치(30)의 위치가 다수 존재한다. 예를 들어 도 14의 (b)에 도시한 바와 같이 각 위치(VP-1, VP-2, VP-3)로부터 차량(10)의 뒤창 위쪽 양각에 설치된 목표점(106)을 본 경우, 두 경우 모두 스코프수단(105)에서 볼 때 목표점(106)이 일치해 버린다. 이 때문에 타겟장치(30)를 정확한 위치에 설치하는 것이 어렵다.

이와 같은 문제를 피하기 위해서는 예를 들어 도 14의 (c)에 도시한 바와 같이 스코프수단(105)을 통한 시선(VL2)이 타겟장치(30)를 움직이는 평면, 즉 노면(S)과 평행이 되지 않게 하면 된다. 여기서 스코프수단을 3대 이상 이용하는 경우에도 마찬가지 문제가 발생할 가능성이 있음을 고려하여 스코프수단 및 목표점의 설치 위치에는 충분한 주의를 기울일 필요가 있다.

(제 3 실시예)

특징점의 개수가 적거나, 캘리브레이션을 실행하는 카메라의 대수가 적은 경우에는 캘리브레이션 데이터를 수작업으로 작성해도 된다. 그러나 특징점의 개수가 많거나 다수 카메라의 캘리브레이션을 실행해야 할 경우에는, 수작업으로는 캘리브레이션에 막대한 시간을 필요로 하게 된다. 또 특징점의 화상좌표 입력에는 집중력을 요하므로 장시간 작업은 대단한 중노동이 되며, 작업자의 피로로 인해 좌표 입력의 정확성이 떨어져 결국 캘리브레이션 정밀도가 저하될 우려가 있다. 이와 같은 점을 감안하여 본 발명의 제 3 실시예는 캘리브레이션 데이터 작성을 자동화하는 것이다.

도 15는 본 발명의 제 3 실시예에 관한 캘리브레이션 시스템의 구성을 기능적으로 나타낸 블록도이다. 도 15에서는 도 10과 공통 구성요소에 대하여 도 10과 동일 부호를 부여하고 여기서는 그 상세한 설명을 생략한다. 차량(10)은 타겟장치(30)를 제어하는 제어수단(109) 및 캘리브레이션 데이터를 자동 작성하기 위한 제어 데이터(111)를 저장하는 기억수단을 구비한다. 또 타겟장치(30)는 제어수단(109)으로부터의 제어신호에 따라 특징점을 발생시키는 특징점 발생수단(110)을 구비한다.

제어수단(109)은 특징점 발생수단(110)으로 제어신호를 송신하여 카메라(101) 조정에 필요한 특징점을 발생시켜 캘리브레이션 데이터를 자동 또는 반자동으로 작성함으로써, 카메라(101) 캘리브레이션의 고속화 및 간략화를 실현한다. 구체적인 처리내용은 후술하기로 한다.

도 16은 본 실시예에 관한 캘리브레이션 시스템의 구성을 도시한 도면이다. 도 16에서 특징점 발생수단(110)은 발광수단(110a)을 이용하여 특징점을 발생시킨다. 즉 내부의 구동수단(도시 생략)이, 제어수단(109)으로부터의 제어신호를 받아 그 신호 내용에 따라 캘리브레이션을 위한 특징점을 발광수단(110a)으로 발생시킨다. 카메라(101)가 통상 CCD카메라나 적외선카메라인 경우에는 발광수단(110a)으로서 스트로보나 백열전구 등이 이용 가능하다.

다음, 발광된 특징점을 이용하여 캘리브레이션 데이터를 자동 또는 반자동으로 작성하는 처리에 대하여 설명한다.

발광위치의 자동검출 방법으로는, 예를 들어 프레임간 차분 방법이 유효하다. 프레임간 차분 방법이란, 연속된 2 프레임간의 차분을 계산하여 그 차분이 최대인 위치를 추출하는 것이다. 프레임간 차분법을 이용하는 경우, 특징점 추출 처리의 흐름은 다음과 같은 단계로 이루어진다.

(ST 1) 프레임간 차분의 계산처리를 개시한다.

(ST 2) 제어수단(109)이 특징점 발광개시를 위한 제어신호를 타겟장치(30)로 송신한다.

(ST 3) 특징점 발생수단(110)이 제어신호를 수신하고, 이 제어신호에 대응하는 특징점을 발광시킨다.

(ST 4) 제어수단(109)이 제어신호를 출력한 뒤 소정시간 사이에서 프레임간 차분의 적분값이 최대로 되는 프레임을 추출한다.

(ST 5) 단계(ST 4)에서 추출된 프레임에 있어서, 차분 크기가 최대로 되는 점의 좌표를 구하고, 이 좌표값을, 발광시킨 특징점의 공간좌표와 대응시켜 카메라(101)의 캘리브레이션 데이터로서 기억한다.

상기한 각 단계(ST 1∼ST 5)의 일련의 처리를, 제어 가능한 모든 특징점에 대하여 실행함으로써 카메라(101)의 캘리브레이션 데이터, 즉 특징점의 공간좌표와 촬영화상상의 좌표값을 대응시킨 데이터를 자동 생성하는 것이 가능해진다. 이로써 카메라 캘리브레이션의 작업 효율을 대폭 향상시킬 수 있다.

상술한 바와 같은 처리를 실행하기 위하여 제어수단(109)은, 미리 타겟장치(30)에 설치된 각 특징점 번호와 당해 특징점의 공간좌표를 대응시킨 데이터를 제어데이터(111)로서 유지시켜 둔다. 다음의 표 1은 제어데이터(111)의 일례이다.

제어수단(109)은 표 1에 나타낸 바와 같은 제어데이터(111)로부터 특징점 번호를 차례로 취득하고, 이 특징점 번호에 대응하는 특징점을 발광시키도록 타겟장치(30)로 제어신호를 송신한다. 그 후 상기 단계(ST1~ST5) 처리를 실행함으로써 카메라(101)의 촬영화상상의 당해 특징점 좌표를 구하고, 이 좌표를 제어데이터(111) 내의 당해 특징점의 공간좌표값과 대응시킴으로써 한 쌍의 캘리브레이션 데이터를 얻는다.

표 1에서는 타겟장치(30)의 설치위치가 1 개소만인 것을 전제로 한다. 만일 타겟장치(30)를 설치하는 위치가 복수 존재하는 경우, 예를 들어 카메라(101)에 의한 감시 범위가 차량(10) 후방부 및 좌우 측방부인 경우에는 각 특징점 번호와 당해 특징점의 공간좌표를 대응시킨 데이터는 타겟장치(30)의 설치위치 별로 준비해둘 필요가 있다. 표 2는 이와 같은 경우의 제어데이터(111)의 일례이다.

제어수단(109)은 우선 타겟장치(30)의 설치위치를 소정의 방법으로 취득하고, 표 2에 나타낸 바와 같은 제어데이터(111)로부터 이 설치위치에 대응하는 설치장소 번호를 가진 데이터만을 추출한다. 그리고 추출한 데이터를 이용하여 상술한 바와 같이 특징점 번호를 차례로 취득하여 이 특징점 번호에 대응하는 특징점을 발광시키도록 타겟장치(30)에 제어신호를 송신한다. 그 후 상기 단계(ST1~ST5) 처리를 실행함으로써 카메라(101)의 촬상화상상에서의 당해 특징점 좌표를 구하고, 그 좌표를, 추출한 데이터 내의 당해 특징점의 공간좌표값과 대응시킴으로써 한 쌍의 캘리브레이션 데이터를 얻는다.

제어데이터(111)는 기본적으로는 처음 한번만 계측해두면 된다. 만일 어떤원인으로 카메라(101)의 위치 상충이 발생했다 하더라도, 차량(10)과 타겟장치(30)의 위치관계가 변하지 않았다면 캘리브레이션을 다시 실행할 때에 제어데이터(111)를 그대로 이용할 수 있다. 단 어떤 충격을 받아 조인트수단이 변형되거나, 또는 스코프수단이나 목표점이 변형되는 등의 경우에는, 제어데이터(111)에 기술된 특징점의 공간좌표값 자체가 어긋날 가능성이 있다. 이러한 경우는 특징점의 공간좌표값을 다시 계측하는 것이 바람직하다. 카메라(101) 위치상충 발생의 여부는, 타겟장치(30)를 설치하고 카메라(101)로 촬영하여 화상변환수단(102)에 의하여 변환된 화상상에서 특징점이 소정위치에 배치됐는지의 여부를 확인함으로써 쉽게 판단할 수 있다.

여기서, 제어신호의 전송을 위해서는 제어수단(109)과 특징점 발생수단(110)을 연결시키는 전용선(무선도 포함)을 설치해도 되고, 조인트수단(107a, 107b)에 신호선을 조립시켜도 된다. 또 특징점 발광에 필요한 전력을 차량(10)으로부터 조인트수단(107a, 107b)을 통해 타겟장치(30)로 전송하도록 하면, 타겟장치(30)에 별도로 전력공급을 하지 않아도 되므로 타겟장치(30)의 소형화, 경량화를 실현시킬 수 있다.

이상과 같이 본 실시예에 의하면 수작업으로는 막대한 번거로움을 요하는 캘리브레이션 데이터의 수집이 자동으로 실행되게 되므로 캘리브레이션 작업 효율을 비약적으로 향상시킬 수 있다.

(제 4 실시예)

상술한 각 실시예에서는 카메라가 탑재된 이동체와, 카메라의 캘리브레이션을 위한 타겟장치와의 위치관계를 물리적으로(접촉상태로), 또는 비접촉 상태로 소정 관계로 고정시키는 것으로 하였다. 이에 대하여 본 발명의 제 4 실시예는 이동체와 타겟장치를 적당히 배치한 후 이들의 위치관계를 구하고, 그 구한 위치관계를 이용하여 카메라의 캘리브레이션을 실행하는 것이다.

도 17은 본 실시예에 관한 캘리브레이션 시스템의 구성을 도시한 도면이다. 도 17에 나타낸 바와 같이 본 실시예에 관한 타겟장치(30)는 스테레오카메라(초점거리가 서로 같고, 광축이 서로 평행하며 또 각각의 화상면이 동일 평면상에 오도록 배치된 카메라)에 의하여 구성된 목표데이터 취득수단(114)과, 목표데이터 취득수단(114)으로 얻어진 데이터로부터 타겟장치(30) 자체가 차량(10)에 대하여 어떠한 위치관계인지를 계산하는 위치계산수단(113)을 구비한다. 위치계산수단(113) 및 목표데이터 취득수단(114)에 의하여 본 발명에 관한 위치관계 추정수단이 구성된다.

목표데이터 취득수단(114)은, 차량(10)을 기준으로 한 좌표계(좌표계 2)의 위치를 이미 알고 있는 목표점(106)에 대하여, 타겟장치(30)를 기준으로 한 좌표계(좌표계 1)의 좌표값을 취득한다. 위치계산수단(113)은, 목표데이터 취득수단(114)에 의하여 취득된 좌표값으로부터 차량(10)에 대한 타겟장치(30)의 위치관계를 계산하고, 이에 기초하여 타겟장치(30)에 설치된 특징점의 좌표계 2에서의 좌표값을 계산한다.

도 18은 특징점의 좌표계 2에서의 좌표값을 계산하는 처리의 흐름을 나타내는 흐름도이다. 여기서는 설명을 간단하게 하기 위하여 스테레오카메라를 구성하는 개개의 카메라는 렌즈 왜곡 등이 없는 이상적인 핀 홀 카메라인 것으로 한다.

우선 단계(S1)에서 타겟장치(30)를 설치한다. 여기서는 목표데이터 취득수단(114)을 구성하는 각각의 스테레오카메라 화상에 목표점(106)이 비치도록 타겟장치(30)의 위치결정을 한다. 이는 계산에 필요한 모든 목표점(106)이 스테레오카메라 화상에 비치는 것이, 차량(10)과 타겟장치(30)의 위치관계를 계산하기 위한 조건이기 때문이다. 단 차량(10)에 설치된 카메라(101)의 캘리브레이션이 최종적인 목적이므로 상술한 조건을 만족하면서 또 특징점이, 가능한 한 광범위하게 카메라(101)에 비치도록 타겟장치(30)를 설치하는 것이 바람직하다.

타겟장치(30)를 설치한 후, 타겟장치(30)를 기준으로 한 좌표계 1을 적당하게 설정한다. 좌표계 1은 목표점(106)의 좌표값을 계산하기 위한 것이므로, 타겟장치(30) 어느 곳을 기준으로 설정해도 상관없다. 그리고 좌표계 1에서의 스테레오카메라의 카메라 파라미터는 미리 계산해둘 필요가 있다.

다음으로 단계(S2)에서 좌표계 1에서의 목표점(106) 좌표값을 계측한다. 즉 목표데이터 취득수단(114)을 구성하는 스테레오카메라에 의하여, 계산에 필요한 모든 목표점(106)을 촬영하고 각 목표점(106)의 좌표계 1에서의 좌표값을 계산한다.

예를 들어 도 19에서, 목표점(106)의 좌표계 1에서의 좌표값(X1, Y1, Z1)은 스테레오카메라의 기선길이를 b, 목표점(106) 좌화상에서의 좌표값을 (X1, Y1), 우화상에서의 좌표값을 (Xr, Yr), d＝X1-Xr로 하면, 삼각측량의 원리에 근거하여 아래의 식으로 계산할 수 있다.

(관계식)

목표점(106)의 왼쪽 카메라화상 및 오른쪽 카메라화상에서의 각각의 좌표값(X1, Y1), (Xr, Yr)은 마우스로 클릭하는 등 수작업으로 취득해도 되고, 자동으로 취득해도 된다.

다음에 단계(S3)에서 좌표계 1과, 차량(10)을 기준으로 한 좌표계 2와의 위치관계를 계산한다. 모든 목표점(106)에 대하여 좌표계 1에서의 좌표값이 구해지면, 이들 좌표값을 이용하여 좌표계 1과 좌표계 2의 위치관계를 나타내는 다음의 수학식 2의 미지 파라미터(ri(i＝1~9), tx, ty, tz)를 구한다.

수학식 2에 있어서, ri는 좌표계 1의 좌표축을 좌표계 2의 좌표축에 맞추기 위한 회전을 나타내는 3×3 행렬의 요소이고, tx, ty, tz는 좌표계 1의 원점을 좌표계 2의 원점으로 이동시키기 위한 평행이동 벡터의 요소이며, 이들의 미지 파라미터를 구함으로써 좌표계 1의 좌표(X1, Y1, Z1)를 좌표계 2의 좌표(X2, Y2, Z2)로 변환시키는 것이 가능해진다. 이들 미지 파라미터를 구하기 위해서는 좌표계 1의목표점(106) 좌표와 좌표계 2의 목표점(106) 좌표의 조를 수학식 2에 대입시켜, 연립방정식으로 풀면 된다.

여기서 수학식 2에는 12 개의 미지 파라미터가 있는 것처럼 보이지만 ri는 좌표계 1의 X축, Y축, Z축 주변의 회전 파라미터로 구성되므로 그 기본이 되는 변수는 3개이다. 따라서 미지수의 개수는 6이고, 목표점(106)은 최소 2조(1조에 3개의 식을 세울 수 있으므로) 있으면 미지 파라미터를 구하는 것이 가능하다. 실제로는 계산 오차를 작게 하기 위하여 많은 목표점을 이용하여 식을 세우고, 이들을 가장 잘 만족시키는 파라미터를, 예를 들어 최소이승법 등을 이용하여 구하는 것이 일반적이다.

다음에 단계(S4)에서 타겟장치(30)에 설치된 특징점의 좌표계 2에서의 좌표값을 계산한다. 즉 단계(S3)에서 좌표계 1과 좌표계 2의 위치관계를 나타내는 파라미터를 구할 수 있으므로, 특징점의 좌표계 1에서의 좌표값을 좌표계 2 좌표값으로 변환시킬 수 있다. 이 변환은 간단하게, 미리 계측한 특징점의 좌표계 1의 좌표값을 수학식 2의 (X1, Y1, Z1)으로 입력함으로써 실행된다.

그리고 단계(S5)에서 좌표계 2에서의 특징점 좌표값을 차량(10)의 카메라 캘리브레이션수단(108)으로 전송한다. 이 좌표값 데이터는 예를 들어 상술한 표 1과 같은 형태의 것이면 된다. 이로써 캘리브레이션수단(108)은, 카메라(101)에 비치는 특징점의 좌표계 2에서의 좌표값을 입수할 수 있으므로, 카메라(101)의 캘리브레이션을 실행하는 것이 가능해진다.

여기서 본 실시예에서는 차량(10)에 설치된 목표점(106)의 좌표계 1에서의좌표값을 계측하기 위하여 스테레오카메라를 이용했지만, 물론 그 이외의 방법을 이용하여도 상관없다. 예를 들어 도 20에 도시하는 바와 같이 거리계측 레이더를 목표데이터 취득수단(114A)으로 이용해도 된다. 이 경우 목표점(106)에는 레이더 반사판을 설치하면 된다.

또 본 실시예를 제 3 실시예와 조합시켜 실시해도 된다. 즉 차량(10)으로부터 타겟장치(30)의 특징점을 순차 발광시키도록 해도 상관없다.

(서비스에의 응용)

본 발명의 효과에 의하여 공장과 같은 넓은 부지가 있는 장소 이외에서도 카메라 캘리브레이션을 서비스 비즈니스로서 전개하는 것이 가능해진다. 예를 들어 차량 정비를 하는 서비스센터에서, 서비스의 일환으로서 카메라 캘리브레이션이 가능해지므로 고객으로부터 서비스의 대가를 취하는 식의 비즈니스의 실시도 가능해진다. 앞으로 차량주위 감시 시스템이 널리 보급되어, 카메라의 교환이나 추가, 또는 사고, 주행에 따른 카메라 설치 위치의 상충 등이 빈번하게 일어날 수 있다고 생각되므로, 이러한 서비스 비즈니스가 보급되는 것은 당연히 예상된다.

장래, 본 발명에 관한 캘리브레이션을 실제로 서비스센터에서 실시하는 경우를 상정하여 그 순서의 개요를 도 21을 참조하여 설명한다.

단계(SS1)

서비스센터에 상비된 타겟장치(30)를 캘리브레이션이 필요한 카메라(101)가 설치된 차량(10) 가까이 설치한다. 타겟장치(30)의 설치위치는 그 목표데이터 취득수단(114)이 차량(10)의 목표점(106)을 취할 수 있으며, 또 타겟장치(30)에 설치된 특징점이 카메라(101)에 되도록 많이 비치도록 정한다.

단계(SS2)

목표데이터 취득수단(114)에 의하여 목표점(106)을 취한다. 예를 들어 목표데이터 취득수단(114)으로서 스테레오카메라를 이용할 경우에는, 좌우 양쪽 카메라에 의하여 목표점(106)을 포함한 화상을 촬영한다.

단계(SS3)

위치계산수단(113)에 의하여 차량(10)과 타겟장치(30)의 위치관계를 구하고 차량(10)에서 본 특징점의 좌표값을 계산한다. 그리고 이 계산결과를 차량(10)의 카메라 캘리브레이션수단(108)으로 보낸다. 전송수단으로는 유선 또는 무선 네트워크라도 상관없으며, 또 플로피디스크나 메모리카드 등의 기억매체를 이용하는 등 어떠한 방법이라도 상관없다.

단계(SS4)

카메라(101)로 촬영한 특징점의 화상좌표와, 타겟장치(30)로부터 수취한 특징점의 좌표데이터를 기초로 하여 카메라 캘리브레이션수단(108)이 각 카메라(101)의 캘리브레이션을 실행한다.

단 카메라(101)의 위치나 방향이 따로따로이고 단계(SS1~SS4) 처리를 한 번 실행하는 것만으로는 모든 카메라(101)의 캘리브레이션을 실행할 수 없을 경우에는, 몇 번 반복하여 실행하면 된다. 예를 들어 차량(10)의 전후좌우에 카메라(101)가 외향으로 설치된 경우에는 타겟장치(30)를 차량(10)의 전후좌우에 설치하고 그때마다 단계(SS1~SS4) 처리를 하면 된다. 물론 이와 같은 경우에는,목표점(106)은 차량의 뒤만이 아니라 그 앞이나 좌우에 설치해둘 필요가 있다.

여기서 상술한 각 실시예에서는 화상변환수단(102)이나 표시수단(103)을 차량(10) 내부에 설치하는 것으로 했지만, 차량(10) 내부에 설치하지 않고 별도의 장소에 설치하도록 해도 상관없다.

또한 차량 이외의 이동체, 예를 들어 열차나 비행기, 또는 로봇 등에 카메라를 설치한 경우에도 본 발명은 이용 가능하다.

<보충설명>

카메라의 용도가 단순한 감시용인 경우는 그리 정밀한 캘리브레이션을 필요로 하지 않는다. 그러나 예를 들어 카메라화상을 이용하여 화상 합성을 하는 경우나, 카메라화상으로부터 다른 물체까지의 거리 등을 측정하는 등의 경우에는 정밀한 캘리브레이션이 필요하므로 본 발명은 매우 유효하다.

여기서 정밀한 카메라 캘리브레이션이 필요해지는 이유를 보충설명하기로 한다.

현재 도 22의 (a)에 도시한 바와 같이 차량(10)에, 그 후방의 노면을 촬영하는 카메라(101)가 배치된 것으로 한다. 카메라(101)의 설치조건은 도 22의 (b)에 도시한 바와 같이 지면으로부터의 높이가 1000㎜, 방향(θ)이 수직축에서 60°이다.

도 22의 (b)에 도시한 바와 같이, 가령 카메라(101)의 광축이 어긋나 그 방향(θ)이 아래로 dθ(＝1°) 움직인 것으로 한다. 이때 카메라(101)의 광축 중심에 비치는 노면 위치는 P1에서 P2로 어긋난다. 어긋나는 거리(d1)는,

로 되어 약 7㎝ 정도의 상충이 발생한다. 만일 카메라(101) 방향이 3°변화하면 마찬가지 계산으로 19㎝ 정도의 상충이 발생한다. 노면 위 도로표지의 백선 폭이 15㎝ 정도인 것을 감안한다면, 방향이 3°변화하면 백선 폭 이상의 상충이 발생하게 된다. 이는 예를 들어 2 개의 카메라 화상을 노면에 투영시켜 접합하는 경우에 합성화상 위에서 백선이 연속하지 않는 것을 의미한다.

또 렌즈와 CCD의 위치관계가 변화함에 의해서도 커다란 위치 상충이 발생한다. 도 22의 (c)에 도시한 바와 같이 1/2 인치 크기의 CCD(세로 6.47㎜, 가로 폭 4.85㎜)와 수평화각 111도의 광각렌즈를 상정한다. 초점거리(f1)는 약 3㎜로 된다. 가령 현재, 이 CCD와 렌즈의 위치관계가 도 22의 (c)에 도시한 바와 같이 CCD면에 평행으로 du(＝0.1㎜) 어긋난 것으로 한다. 이 때 광축의 상충각(dρ)은,

로 되어 광축이 노면과 접하는 점의 위치 상충(d2)은 약 14㎝가 된다.

이와 같이 카메라 방향의 수 도의 어긋남이나, CCD와 렌즈의 위치관계가 0.1㎜ 정도의 어긋남에 의하여 노면상에서 10㎝ 이상의 위치 상충이 발생한다. 따라서 카메라의 방향이나 카메라 내부 렌즈와 CCD의 위치관계에 대하여, 이 이상의 정밀도로 캘리브레이션을 행할 필요가 있다.

이상과 같이 본 발명에 의하면 이동체와 타겟장치의 위치관계가 위치결정수단에 의하여 소정의 관계로 고정되거나, 또는 위치관계 추정수단에 의하여 구해지므로 카메라 캘리브레이션을 실행하기 위하여 이동체를 정밀도 높게 위치결정하는 것이 불필요해진다. 따라서 이동체에 탑재된 카메라 캘리브레이션을 간단하게 실행할 수 있다.

Claims

카메라가 탑재된 이동체와,

상기 카메라의 캘리브레이션을 실행하기 위한 타겟장치와,

상기 이동체 및 타겟장치의 적어도 어느 한쪽에 설치되어, 상기 이동체와 상기 타겟장치의 위치관계를 소정 관계로 고정시키기 위한 위치결정수단을 구비하는 것을 특징으로 하는 캘리브레이션 시스템.
제 1항에 있어서,

상기 위치결정수단은,

상기 타겟장치를 상기 이동체에 대하여 물리적으로 고정시키는 조인트수단을 갖는 것을 특징으로 하는 캘리브레이션 시스템.
제 1항에 있어서,

상기 위치결정수단은,

상기 이동체 및 타겟장치 중 어느 한쪽에 설치되어, 그 다른 쪽에 있는 목표점을 참조하여 상기 타겟장치의 위치를 결정하기 위한 스코프수단을 갖는 것임을 특징으로 하는 캘리브레이션 시스템.
제 1항에 있어서,

상기 타겟장치는,

외부로부터의 제어에 의하여 특징점이 발광 가능하게 구성되고,

상기 이동체는,

상기 타겟장치 특징점의 발광을 제어하는 제어수단을 구비하는 것을 특징으로 하는 캘리브레이션 시스템.
카메라가 탑재된 이동체와,

상기 카메라 캘리브레이션을 실행하기 위한 타겟장치와,

상기 이동체 및 타겟장치의 적어도 어느 한쪽에 설치되어, 상기 이동체와 상기 타겟장치의 위치관계를 구하기 위한 위치관계 추정수단을 구비하는 것을 특징으로 하는 캘리브레이션 시스템.
제 5항에 있어서,

상기 위치관계 추정수단은,

상기 이동체 및 타겟장치 중 어느 한쪽에 설치되고, 그 다른 쪽에 있는 목표점을 참조하여 상기 한 쪽의 좌표계의 상기 목표점 좌표값을 구하기 위한 목표 데이터 취득수단을 갖는 것임을 특징으로 하는 캘리브레이션 시스템.
이동체에 탑재된 카메라의 캘리브레이션을 실행하기 위한 타겟장치로서,

상기 이동체와 당해 타겟장치의 위치관계를 소정 관계로 고정시키기 위한 위치결정수단을 구비하는 것을 특징으로 하는 타겟장치.
이동체에 탑재된 카메라의 캘리브레이션을 실행하기 위한 타겟장치로서,

상기 이동체와 당해 타겟장치의 위치관계를 구하기 위한 위치관계 추정수단을 구비하는 것을 특징으로 하는 타겟장치.
이동체에 탑재된 카메라에 대하여 캘리브레이션을 행하는 방법으로서,

캘리브레이션을 위한 타겟장치를 상기 이동체 주변에 준비하고,

상기 이동체 및 타겟장치의 적어도 어느 한쪽에 설치된 위치결정수단을 이용하여, 상기 타겟장치의 위치를 상기 이동체와의 위치관계가 소정 관계로 되도록 고정시키고,

상기 카메라에 의하여 상기 타겟장치의 특징점을 촬영하며,

상기 특징점의 화상좌표와 상기 특징점의 실제 월드좌표의 관계를 기초로 하여 상기 카메라의 캘리브레이션을 행하는 것을 특징으로 하는 캘리브레이션 방법.
이동체에 탑재된 카메라에 대하여 캘리브레이션을 행하는 방법으로서,

캘리브레이션을 위한 타겟장치를 상기 이동체 주변에 준비하고,

상기 이동체 및 타겟장치의 적어도 어느 한쪽에 설치된 위치계산수단을 이용하여 상기 타겟장치와 상기 이동체의 위치관계를 구하며,

상기 카메라에 의하여 상기 타겟장치의 특징점을 촬영하고,

상기 특징점의 화상좌표와, 상기 타겟장치를 기준으로 한 상기 특징점의 실제 월드좌표, 및 구해진 상기 타겟장치와 상기 이동체의 위치관계를 기초로 하여, 상기 카메라의 캘리브레이션을 행하는 것을 특징으로 하는 캘리브레이션 방법.