KR20110116243A - 차량 탑재 카메라의 교정 장치, 방법 및 프로그램 - Google Patents

Abstract

간단한 구성으로, 단시간에 정밀도 높은 차량 탑재 카메라를 교정할 수 있는 생산성 높은 차량 탑재 카메라의 교정 장치를 제공한다. 카메라좌표계의 사영면상에 특정된 실좌표와 확정 전의 카메라 조정치를 이용하여 교정점의 초기좌표가 변환된 변환좌표에 기초하여 카메라 좌표계의 3개의 축 안의 조정치를 갱신하고 실좌표 및 갱신 후의 카메라 조정치에 기초하는 변환좌표에 기초하여 카메라좌표계의 남은 축을 중심으로 하는 회전각에 대응하는 조정치를 연산하여 카메라 조정치를 갱신하고, 소정의 완료 조건을 충족시킨 경우에는 갱신된 카메라 조정치를 확정시킨다.

Description

차량 탑재 카메라의 교정 장치, 방법 및 프로그램{CALIBRATION DEVICE, METHOD, AND PROGRAM FOR ONBOARD CAMERA}

본 발명은, 차량 탑재 카메라를 차량에 장착했을 때의 설치 오차를 조정하여 차량 탑재 카메라를 교정하는 차량 탑재 카메라의 교정 장치에 관한 것이다.

최근, 운전자의 시야를 보충하거나, 운전 지원을 위한 화상처리의 입력 정보로 하기 위하여, 차량주변의 정경(광경)을 촬영하는 카메라가 차량에 탑재되는 경우가 늘어나고 있다. 카메라에 의하여 촬영된 화상이 주차 지원 장치 등에 이용되는 경우에는, 카메라에 의한 촬영 화상의 좌표계와 화상처리에 이용하는 화상의 좌표계의 상관관계가 높은 정밀도로 정합되어 있을 필요가 있다. 그러나, 실제로는 카메라 자체 생산상의 정밀도나, 차량에 카메라를 장착할 때의 설치 정밀도 등에 의하여, 양좌표계의 상관 관계는 설계상의 이상적인 상관 관계로는 되지 않은 경우가 많다. 따라서, 차량의 생산 공정에 있어서 카메라의 교정을 행하고, 양좌표계의 정합이 도모되고 요구되고 있다.

US 6,813,371B (특허문헌1)이나, JP2005-77107A 1(특허문헌2)에는, 상술한 바와 같이, 차량의 생산 공정에 있어서 카메라의 교정을 행하는 기술이 개시되어 있다.

이들 문헌에는, 작업자의 조정 버튼 조작에 의하여, 디스플레이 화면상에서, 카메라로 촬영된 교정 지표와, 촬영화상에 중첩 표시된 조정 테두리를 소정의 기준에 일치시켜서 카메라를 교정하는 기술이 기재되어 있다. 조정 테두리는, 삼차원 직교좌표계에서의 롤(roll)·틸트(tilt)·팬(pan)에 대응하여 3종류가 설치된다. 순차적으로, 이들 조정 테두리에 교정 지표가 알맞게 들어가도록 조정 버튼을 조작 함으로써, 카메라 파라미터가 변경된다. 3개의 축에 대한 조정이 모두 완료하면, 변경된 카메라 파라미터가 메모리에 기록된다.

특허문헌 1이나 특허문헌 2에 기재된 기술은, 간단한 구성에서 카메라를 교정할 수 있는 뛰어난 것이다. 하지만, 카메라의 회전에 대응하는 3축에 대한 조정을, 작업자가 디스플레이 화면을 보면서 수동으로 조정 버튼을 조작하여 행하기 위해, 교정에 시간이 필요하다. 또한 작업자에 의하여 교정 정밀도가 안정되지 않고, 교정이 불충분한 제품이 후공정으로 보내질 가능성도 있다. 거기에서, JP2008-131177A 1(특허문헌3) 및 JP2008-131250A 1(특허문헌4)에 나타난 바와 같이 카메라의 회전 행렬을 연산하고, 카메라 파라미터(투영 파라미터)를 구하는 기술이 제안되어 있다. 이에 의하면, 기준좌표에 있어서, 소정 위치에 배치된 교정 점의 기준좌표계에서의 좌표에 기초하여 제1행렬이 연산된다. 또한 카메라의 촬영 화상으로부터 특정된 교정점의 화상좌표계 좌표에 기초하여 제2행렬이 연산된다. 그리고, 제1행렬과 제2행렬로부터 카메라의 회전행렬(제3행렬)이 연산된다.

특허문헌: 미국특허 제6,813,371호 명세서 (제5란 제43~67줄, 제8란 제56줄~ 제10란 제23줄, Fig. 6등) 특허문헌2: 일본국 공개특허공보 특개 2005-77107호 공보(제43~63단락 등) 특허문헌3: 일본국 공개특허공보 특개 2008-131177호 공보(제60~102단락 등) 특허문헌4: 일본국 공개특허공보 특개 2008-131250호 공보(제54~96단락 등)

특허문헌3 및 특허문헌4에 기재된 기술은, 특허문헌1 이나 2와 같이 "시각적으로 맞춤"이 아니라, 카메라의 회전 행렬을 구하는 것에 의하여 이상적으로 카메라를 교정하는 뛰어난 것이다. 그러나, 현실적인 생산 현장에서는 여러 가지 오차요인이 존재하므로, 요구되는 회전 행렬에도 자주 오차가 생긴다. 이 경우에는, 교정 후에도 시각적으로 어긋남이 생기게 된다. 이 때문에, 특허문헌3에 있어서도, 제106단락에 기재되어 있는 것과 같이, 교정의 성공여부를 판정하는 성공여부판정공정이 설치되어있다. 성부판정공정에 있어서 교정이 되어있지 않다고 판정되면, 다시 교정을 행할 필요가 있고, 결과적으로 생산성을 저하시키게 된다. 교정 지표수를 늘리고, 상세한 연산을 실시하면 회전 행렬의 정밀도도 높아지지만, 생산 설비를 늘리고, 또 연산 시간도 증대하는 점에서, 바람직하지는 않다.

따라서, 간단한 구성으로, 단시간에 정밀도 높은 차량 탑재 카메라를 교정할 수 있는 생산성 높은 차량 탑재 카메라의 교정 장치가 요구된다. 또한 이와 같은 차량 탑재 카메라의 교정 방법 및 차량 탑재 카메라의 교정 기능을 컴퓨터에 실행시키기 위한 차량 탑재 카메라의 교정 프로그램의 제공이 요구된다.

상기 배경에 비추어 본, 본 발명의 하나의 양태에 따른 차량 탑재 카메라의 교정 장치는,

3차원 직교좌표계의 기준좌표계에서 규정 위치에 규정된 자세로 차량에 장착된 차량 탑재 카메라의 3차원 직교좌표계의 카메라 좌표계와 상기 기준좌표계와의 관계를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 정의하고, 상기 차량 탑재 카메라를 교정하는 차량 탑재 카메라의 교정 장치로서,

상기 차량 탑재 카메라에 의하여, 상기 기준좌표계의 서로 다른 2군데의 소정 위치에 배치된 교정 지표를 시계내에 포함하여 촬영된 촬영 화상을 취득하는 화상취득부와;

상기 카메라 좌표계의 사영면인 상기 촬영 화상에서 상기 교정 지표 안의 각각의 교정점을 검출하고, 상기 사영면에 설정되는 2차원 직교좌표계에서 각각의 상기 교정점 좌표를 실좌표로 특정하는 교정점 특정부와;

상기 카메라 좌표계와 상기 기준좌표계의 관계를 정의하는 카메라 파라미터에 기초하여 상기 차량 탑재 카메라가 상기 규정위치에 상기 규정 자세로 장착되었을 때에 상기 사영면(투영면, project plane)에서 각각의 상기 교정점이 특정되는 좌표인 초기좌표를 설정하는 카메라 자세 설정부와;

상기 카메라 파라미터를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 보정하는 카메라 조정 값으로서 상기 규정 자세로부터의 변위량에 대응하고, 상기 카메라 좌표계의 3개의 좌표축 각각을 중심으로 하는 회전각에 대응하는 3개의 조정치를 가지고 구성되는 당해 카메라 조정치를 초기화하는 초기화 연산부와;

상기 초기좌표를 확정 전의 상기 카메라 조정치를 이용하여 변환 좌표로 변환하는 좌표변화부와;

상기 변환 좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 중의 1개 또는 2개의 조정치를 연산하고, 상기 카메라 조정치를 갱신하는 제1조정부와;

상기 제1조정부에 의하여 갱신된 상기 카메라 조정치를 이용하여 상기 좌표변화부에 의하여 좌표변화된 상기 변환좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 중, 상기 제1조정부에서 연산된 조정치를 제외한 다른 조정치를 연산하여, 상기 카메라 조정치를 갱신하는 제2조정부와;

상기 제1조정부 및 상기 제2조정부에 있어서의 조정시 상기 변환 좌표와 상기 실좌표와의 변위량이 각각 소정의 기준 변위량 미만일 경우에, 상기 카메라 조정치의 조정이 완료되었다고 판정하는 조정완료 판정부와;

상기 조정완료 판정부에 의한 조정완료의 판정결과에 기초하여 상기 제1조정부 및;

상기 제2조정부에서 연산된 조정치에 의하여 갱신된 상기 카메라 조정치를 확정시키는 카메라 조정치 설정부를 포함하는 차량 탑재 카메라의 교정 장치를

포함한다.

3차원 카메라 좌표계의 오차를 2차원의 촬영 화상을 이용하여 조정하지 않으면 안되지만, 제1조정부와 제2조정부를 이용하여 2단계로 조정함으로써, 간단한 구성에 의하여 카메라의 교정 장치를 구축할 수 있다. 제1조정부에 의한 조정 결과에 의하여 카메라 조정치는 갱신되고, 그 카메라 조정치를 이용하여 좌표 변환된 변환 좌표를 이용하여 제2조정부에 의한 조정이 실시된다. 따라서, 제1조정부와 제2조정부는, 소정의 순서로 카메라 조정치의 조정을 행하게 된다. 다만, 2차원 촬영 화상상에서 검출된 교정점에 기초하여 3차원의 카메라 좌표계의 3축의 어느 곳을 조정하면, 다른 축에 대하여 조정 결과에 영향을 줄 가능성이 있다. 따라서, 이 영향에 입각하여 제1조정부 및 제2조정부 각각에 있어서 조정대상이 되는 카메라 좌표계의 축이 설정된다. 게다가, 제1조정부와, 제1조정부의 결과를 이용하여 조정을 실시하는 제2조정부에 의하여, 카메라 조정치가 조정된다. 따라서, 단시간에 정밀도 높은 차량 탑재 카메라를 교정할 수 있는 생산성 높은 차량 탑재 카메라의 교정 장치가 제공된다.

또한 본발명의 하나의 바람직한 양태에 따른 차량 탑재 카메라의 교정 장치는, 상기 제1조정부에서 연산된 조정치가, 상기 제1조정부에 의한 조정후의 상기 제2조정부에 의한 조정에 의하여 재조정 오차를 발생시키고, 상기 제2조정부에서 연산된 조정치가, 상기 제2조정부에 의한 조정후의 상기 제1조정부에 의한 조정에 의하여 재조정 오차를 발생시키는 것이며, 상기 제1조정부에서 연산된 조정치에 발생하는 재조정 오차가, 상기 제2조정부에서 연산된 조정치에 발생하는 재조정 오차보다 작아지도록, 상기 제1조정부에 있어서 조정되는 1개 또는 2개의 조정치에 대응하는 상기 좌표축이 설정된다.

상술한 바와 같이, 2차원 좌표계에서 특정된 교정점에 기초하여 3차원 카메라 좌표계의 3축의 어떤 것을 조정하면, 다른 축에 대한 조정 결과에 영향을 줄 가능성이 있다. 또한 1개 축의 조정이, 다른 축의 조정 결과에 주는 영향의 크기는, 3개의 축에 있어서 공통된 것이 아니다. 즉, 조정에 의하여 다른 축의 조정 결과에 주는 영향이 상대적으로 큰 축이 존재한다. 제2조정부는, 제1조정부의 조정 결과가 반영되어 실행되므로, 제2조정부에 의한 조정에 의하여 제1조정부에 의한 조정 결과가 큰 영향을 받으면, 제1조정부에 의한 조정이 쓸모 없게 되어버린다. 제1조정부와 제2조정부에 반복하여 조정을 행하여도, 카메라 조정치를 수속할 수 없는 가능성도 생긴다. 따라서, 제1조정부에 의한 조정이 제2조정부의 조정 결과에 미치는 영향이, 제2조정부에 의한 조정이 제1조정부의 조정 결과에 미치는 영향보다 상대적으로 커지는 것 같이, 제1조정부와 제2조정부가 조정하는 축이 설정되면 바람직하다.

또한 본발명의 다른 1개의 바람직한 태양으로서, 차량 탑재 카메라의 교정 장치는,

상기 사영면에 있어서 2개의 상기 실좌표를 연결하는 직선을 실직선이라고 하고;

상기 사영면에 있어서 2개의 상기 변환 좌표를 연결하는 직선을 변환 직선이라고 하고;

상기 카메라 좌표계에 있어서, 당해 카메라 좌표계의 원점과 상기 사영면 상의 2개의 상기 실좌표의 중점을 연결하는 직선을 제2실직선이라고 하고;

상기 카메라 좌표계에 있어서, 당해 카메라 좌표계의 원점과 상기 사영면 상의 2개의 상기 변환 좌표의 중점을 연결하는 직선을 제2변환직선이라고 하고;

상기 사영면에 직교하는 상기 카메라 좌표계의 1개의 축을 중심으로 하는 롤회전에 있어서의 회전각을 롤 각이라고 하고;

상기 사영면에 평행한 상기 카메라 좌표계의 한 쪽의 축을 중심으로 하는 팬 회전에 있어서의 회전각을 팬 각이라고 하고;

상기 사영면에 평행한 상기 카메라 좌표계의 다른 쪽 축을 중심으로 하는 틸트 회전에 있어서의 회전각을 틸트각이라고 하고;

상기 카메라 조정치를 구성하는 조정치의 1개로서, 상기 롤 회전에 있어서의 상기 규정 자세로부터의 변위량을 롤 조정치라고 하고;

상기 카메라 조정치를 구성하는 조정치의 1개로서, 상기 팬 회전에 있어서의 상기 규정 자세로부터의 변위량을 팬 조정치라고 하고;

상기 카메라 조정치를 구성하는 조정치의 1개로서, 상기 틸트 회전에 있어서의 상기 규정 자세로부터의 변위량을 틸트 조정치라고 하고;

상기 제1조정부는, 상기 실직선과 상기 변환직선의 이루는 각도를 상기 롤 각의 차분치로서 연산함과 동시에, 상기 롤 각의 차분치에 기초하여 상기 롤 조정치를 연산하여 상기 카메라 조정치를 갱신하고;

상기 제2조정부는, 상기 제2실직선과 상기 제2변환 직선의 이루는 각도를, 상기 팬 각 및 상기 틸트 각의 적어도 한 쪽의 차분치로 연산함과 동시에, 상기 팬 각의 차분치에 기초하는 상기 팬 조정치 및 상기 틸트 각의 차분치에 기초하는 상기 틸트 조정치의 적어도 한 쪽을 연산하여 상기 카메라 조정치를 갱신하고;

상기 조정 완료 판정부는, 상기 제1조정부 및 상기 제2조정부에서 연산된 차분치가, 각각 소정의 완료 한계치 미만일 경우에, 상기 카메라 조정치의 조정이 완료되었다고 판정한다.

3차원 카메라 좌표계의 회전에 관한 어긋남은, 3개의 직교좌표축을 중심으로 하는 3개의 회전에 의하여 규정할 수 있다. 또한 사영면은 카메라 좌표계의 3개의 직교축 가운데 1개에 직교하고, 카메라 좌표계의 남은 2개의 직교 축에 평행하다. 따라서, 사영면에 직교하는 카메라 좌표계의 1개의 축의 오차는, 사영면에 상당하는 촬영 화상의 회전량을 파악함으로써 조정할 수 있다. 또한 사영면에 평행한 카메라 좌표계의 2개의 축의 오차는, 사영면에 상당하는 촬영 화상 상의 상하 좌우 이동량을 파악함으로써 조정할 수 있다. 본 특징구성에 의하면, 회전량에 기초하여 조정을 행하는 제1조정부와, 이동량에 기초하여 조정을 행하는 제2조정부가 구비되어 있으므로, 양호하게 차량 탑재 카메라를 교정할 수 있다. 또한 제1조정부 및 제2조정부는, 함께 2개의 직선이 이루는 각도에 의하여 조정을 행한다. 따라서, 비교적 간단한 선형계산에 의하여 조정할 수 있고, 연산 부하가 가볍기 때문에 간단하면서 저렴하게 교정 장치를 구성할 수 있다. 또한 연산 부하가 가볍기 때문에, 교정 장치는 단시간에 차량 탑재 카메라를 교정할 수 있다. 또한 제1조정부 및 제2조정부에서 연산된 차분치가 소정의 완료 한계치 미만이 되었을 때에, 카메라 조정치가 확정되므로, 정밀도 높게 차량 탑재 카메라를 교정할 수 있다. 더욱이, 롤 각의 조정이, 팬 각 및 틸트각의 변위량에 미치는 영향 쪽이, 팬 각 및 틸트각의 조정이 롤 각의 변위량에 주는 영향보다도 클 경우에, 이 구성은 매우 유효하다.

또한 1개의 바람직한 태양으로서, 차량 탑재 카메라의 교정 장치의 상기 제2조정부는, 상기 제2실직선과 상기 제2변환직선이 이루는 각도를 가지는 성분 중에, 상기 사영면에 설정되는 2차원 직교좌표계의 한 쪽 축방향의 각도성분을 상기 팬 각의 차분치로서 연산함과 동시에, 당해 팬 각의 차분치에 기초하여 상기 팬 조정치를 연산하는 팬 조정부와, 상기 제2실직선과 상기 제2변환직선이 이루는 각도를 가지는 성분 중에, 당해 2차원 직교좌표계의 다른 쪽 축방향 각도 성분을 상기 틸트각의 차분치로서 연산함과 동시에, 당해 틸트각의 차분치에 기초하여 상기 틸트 조정치를 연산하는 틸트 조정부를 구비하여 구성된다.

상술한 바와 같이, 사영면에 평행한 카메라 좌표계의 2개의 축의 오차는, 사영면에 상당하는 촬영 화상상의 상하좌우 이동량을 파악 함으로써 조정할 수 있다. 따라서, 제2조정부는, 각각의 축에 대응해서 조정이 가능하도록, 각각의 축에 대응하는 기능부를 가지고 구성되는 것이 바람직하다.

또한 하나의 바람직한 태양으로서, 차량 탑재 카메라의 교정 장치의 상기 팬 조정부 및 상기 틸트 조정부는, 상기 제1조정부에 의하여 상기 롤 조정치가 갱신된 후의, 같은 상기 카메라 조정치를 이용하여 상기 좌표변화부에 의하여 좌표변환된 상기 변환좌표에 기초하여 연산한다.

사영면 상에 있어서의 이동량, 즉 사영면 상의 위치 차이는, 2차원 직교좌표계에서는, 2개의 축방향으로의 각각의 이동량에 의하여 나타낼 수 있다. 2개의 축방향으로의 각각의 이동량을 벡터로 나타내면, 2개의 벡터의 합이 사영면에 있어서의 이동량이 된다. 벡터 합에는, 교환 법칙이 성립되므로, 어느 축으로의 이동량을 먼저 구해도 문제 없고, 얻을 수 있는 결과는 같다. 단, 3차원 카메라 좌표계의 교정을 2차원의 사영면 상의 좌표치를 이용하여 행하고 있는 것이 되므로, 엄밀하게는 교환 법칙이 성립하지 않는다. 하지만, 다소의 오차가 생긴다고 하여도, 대체로 교환 법칙이 성립한다고 생각해도 문제는 없다. 또한 다른 카메라 조정치를 이용한 좌표변화의 빈도를 늘리는 것보다도, 좌표계의 차이에 의하여 생기는 오차를 근거로 하여 전체 연산을 여러 번 실시하는 편이, 결과적으로 연산 부하를 가볍게 하고, 연산 시간도 짧아지는 것을 기대할 수 있다.

또한 상기 과제에 비추어 본 본 발명에 하나의 관점에 따른차량 탑재 카메라의 교정 방법은,

3차원 직교좌표계의 기준좌표계에 있어서 규정 위치에 규정 자세로 차량에 장착된 차량 탑재 카메라의 3차원 직교좌표계의 카메라 좌표계와 상기 기준좌표계의 관계를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 정의하고, 상기 차량 탑재 카메라를 교정하는 차량 탑재 카메라의 교정 방법으로서,

상기 차량 탑재 카메라에 의하여, 상기 기준좌표계의 다른 2곳의 소정의 위치에 배치된 교정 지표를 시계내에 포함하여 촬영된 촬영 화상을 취득하는 화상취득공정과;

상기 카메라 좌표계의 사영면인 상기 촬영 화상에 있어서 상기 교정지표 안의 각각의 교정점을 검출하고, 상기 사영면에 설정되는 2차원 직교좌표계에 있어서 각각의 상기 교정점의 좌표를 실좌표로서 특정하는 교정점 특정 공정과;

상기 카메라 좌표계와 상기 기준좌표계의 관계를 정의하는 카메라 파라미터에 기초하여 상기 차량 탑재 카메라가 상기 규정위치에 상기 규정 자세로 장착되었을 때에 상기 사영면에 있어서 각각의 상기 교정점이 특정되는 좌표인 초기좌표를 설정하는 카메라 자세 설정 공정과;

상기 카메라 파라미터를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 보정하는 카메라 조정치이며, 상기 규정 자세로부터의 변위량에 대응하고, 상기 카메라 좌표계의 3개의 좌표축의 각각을 중심으로 하는 회전각에 대응하는 3개의 조정치를 가지고 구성되는 당해 카메라 조정치를 초기화하는 초기화 공정과,

상기 초기좌표를, 확정 전의 상기 카메라 조정치를 이용하여 제1변환좌표로 변환하는 제1좌표변환공정과;

상기 제1변환좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 중의 1개 또는 2개의 조정치를 연산하고, 상기 카메라 조정치를 갱신하는 제1조정공정과;

상기 제1조정공정에 있어서 갱신된 확정 전의 상기 카메라 조정치를 이용하여 상기 초기 좌표를 제2변환좌표로 변환하는 제2좌표변화공정과;

상기 제2변환좌표 및 상기 실좌표에 기초하여, 상기 카메라 조정치를 구성하는 조정치 중, 상기 제1조정 공정에서 연산된 조정치를 제외한 다른 조정치를 연산하여, 상기 카메라 조정치를 갱신하는 제2조정공정과;

상기 제1조정공정 및 상기 제2조정공정에 있어서, 상기 제1변환좌표와 상기 실좌표의 변위량 및 상기 제2변환좌표와 상기 실좌표와의 변위량이 각각 소정의 기준변위량 미만이었던 것을 상기 카메라 조정치의 조정 완료 조건으로 판정을 행하고, 당해 완료 조건을 충족시키지 않는 경우에는, 상기 제1좌표변화공정, 상기 제1조정공정, 상기 제2좌표변화공정, 상기 제2조정공정을 반복하여 행하게 하고, 당해 완료 조건을 충족시키는 경우에는, 이들 공정의 반복을 완료시켜 다음 공정으로 이행시키는 조정 완료 판정 공정 및;

상기 조정 완료 판정 공정에 있어서 상기 완료 조건을 만족시켰을 경우 이행되어, 상기 제1조정공정 및 상기 제2조정공정에 있어서 연산된 조정치에 의하여 갱신된 상기 카메라 조정치를 확정시키는 카메라 조정치 설정 공정을 포함한다.

또한 상기 과제에 비추어 본 본 발명의 하나의 관점에 따른 차량 탑재 카메라의 교정 프로그램은,

3차원 직교좌표계의 기준좌표계에 있어서의 규정 위치에 규정 자세로 차량에 장착된 차량 탑재 카메라의 3차원 직교좌표계의 카메라 좌표계와 상기 기준좌표계의 관계를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 정의하고, 상기 차량 탑재 카메라를 교정하기 위한 기능을 컴퓨터에 실행시키는 차량 탑재 카메라의 교정 프로그램으로서,

상기 차량 탑재 카메라에 의하여, 상기 기준좌표계의 다른 2곳의 소정 위치에 배치된 교정 지표를 시계내에 포함하여 촬영된 촬영 화상을 취득하는 화상취득 기능과;

상기 카메라 좌표계의 사영면인 상기 촬영 화상에 있어서 상기 교정지표 안의 각각의 교정점을 검출하고, 상기 사영면에 설정되는 2차원 직교좌표계에 있어서 각각의 상기 교정점 좌표를 실좌표로 특정하는 교정점 특정 기능과;

상기 카메라 좌표계와 상기 기준좌표계의 관계를 정의하는 카메라 파라미터에 기초하여 상기 차량 탑재 카메라가 상기 규정위치에 상기 규정 자세로 장착되었을 때에 상기 사영면에 있어서 각각의 상기 교정점이 특정되는 좌표인 초기좌표를 설정하는 카메라 자세 설정 기능과;

상기 카메라 파라미터를 상기 차량 탑재 카메라의 실제 설치자세에 따라 보정하는 카메라 조정치이며, 상기 규정 자세로부터의 변위량에 대응하고, 상기 카메라 좌표계의 3개의 좌표축 각각을 중심으로 하는 회전각에 대응하는 3개의 조정치를 가지고 구성되는 당해 카메라 조정치를 초기 변하는 초기화 기능과;

상기 초기좌표를, 확정 전의 상기 카메라 조정치를 이용하여 제1변환좌표로 변환하는 제1좌표변환기능과;

상기 제1변환좌표 및 상기 실좌표에 기초하여, 상기 카메라 조정치를 구성하는 조정치 중의 1개 또는 2개의 조정치를 연산하고, 상기 카메라 조정치를 갱신하는 제1조정기능과;

상기 제1조정기능의 실행에 의하여 갱신된 확정 전의 상기 카메라 조정치를 이용하여 상기 초기좌표를 제2변환좌표로 변환하는 제2좌표변화기능과;

상기 제2변환좌표 및 상기 실좌표에 기초하여, 상기 카메라 조정치를 구성하는 조정치 중, 상기 제1조정기능의 실행에 의하여 연산된 조정치를 제외한 다른 조정치를 연산하고, 상기 카메라 조정치를 갱신하는 제2조정기능과;

상기 제1조정기능 및 상기 제2조정기능이 실행되었을 때에, 상기 제1변환좌표와 상기 실좌표의 변위량 및 상기 제2변환좌표와 상기 실좌표의 변위량이 각각 소정의 기준 변위량 미만이었던 것을 상기 카메라 조정치의 조정 완료 조건으로서 판정을 행하고, 당해 완료 조건을 충족시키지 않는 경우에는, 상기 제1좌표변화기능, 상기 제1조정기능, 상기 제2좌표변화기능, 상기 제2조정기능을 반복하여 실행시켜, 당해 완료조건을 충족시키는 경우에는, 이들 기능의 반복실행을 완료시켜 다음 기능을 실행시키는 조정 완료 판정 기능과;

상기 조정 완료 판정 기능의 실행에 의하여 상기 완료 조건을 충족시켰다고 판정되었을 경우에 실행되어, 상기 제1조정기능 및 상기 제2조정기능의 실행에 의하여 연산된 조정치에 의하여 갱신된 상기 카메라 조정치를 확정시키는 카메라 조정치 설정 기능을 포함한다.

또한 당해 교정 프로그램은, 바람직한 형태의 하나로서, 상기 실직선, 상기 제2실직선, 상기 롤 각, 상기 팬 각, 상기 틸트각, 상기 롤 조정치, 상기 팬 조정치, 상기 틸트 조정치를 상술한 의미로 이용하여,

상기 사영면에 있어서 2개의 상기 제1변환 좌표를 묶는 직선을 변환 직선이라고 하고;

상기 카메라 좌표계에 있어서, 당해 카메라 좌표계의 원점과 상기 사영면 상의 2개의 상기 제1변환좌표의 중점을 연결하는 직선을 제2변환직선이라고 하고,

상기 제1조정기능이,

상기 실직선과 상기 변환직선의 이루는 각도를, 상기 롤 각의 차분치로서 연산하는 제1차분치 연산기능과;

당해 롤 각의 차분치에 기초하여 상기 롤 조정치를 연산하여 상기 카메라 조정치를 갱신하는 제1조정치 연산기능을 포함하고,

상기 제2조정기능이,

상기 제2실직선과 상기 제2변환직선의 이루는 각도를, 상기 팬 각 및 상기 틸트 각의 적어도 한 쪽의 차분치로서 연산하는 제2차분치 연산기능과,

상기 팬 각의 차분치에 기초하는 상기 팬 조정치 및 상기 틸트각의 차분치에 근거하는 상기 틸트 조정치의 적어도 한 쪽을 연산하여 상기 카메라 조정치를 갱신하는 제2조정치 연산기능을 포함하고,

상기 조정 완료 판정 기능이,

상기 제1차분치 연산기능 및 상기 제2차분치 연산기능의 실행에 의하여 연산된 차분치가, 각각 소정의 완료 한계치 미만인 것을 상기 카메라 조정치의 조정 완료 조건으로서 판정을 행하고,

당해 완료 조건을 충족시키지 않는 경우에는, 상기 제1좌표 변화기능, 상기 제1차분치 연산기능, 상기 제1조정치 연산기능, 상기 제2좌표 변화기능, 상기 제2차분치 연산기능, 상기 제2조정치 연산기능을 반복하여 실행시켜,

당해 완료 조건을 충족시키는 경우에는, 이들 기능의 반복 실행을 완료시켜 다음 기능을 실행시키는 기능인 프로그램으로 할 수 있다.

이들, 차량 탑재 카메라의 교정 방법이나, 차량 탑재 카메라의 교정 프로그램도 또한 상술한 차량 탑재 카메라의 교정장치와 같은 작용 효과를 가진다. 또한 변환좌표와 실좌표의 차이가 소정의 완료 한계치 미만이 될 때까지, 반복하여 카메라 조정치가 조정되므로, 정밀도 높은 차량 탑재 카메라를 교정할 수 있다. 이 때, 제1조정 및 제2조정 중 한 쪽의 조정이 다른 쪽의 조정 결과에 미치는 영향에 비추어 보아, 제1조정과 제2조정의 순서가 설정되어 있다. 따라서, 연산의 반복에 의하여 카메라 조정치를 빠른 시기에 수렴(converge)시키는 것이 가능해 진다.

상술한 본 발명의 개요, 및 본 발명의 새로운 특징 및 특성은, 하기에 가리키는 첨부 도면을 참조하여 이하 서술하는 상세한 설명에 의하여 확실해질 것이다.
[도 1] 교정용 마커와 차량의 배치 관계의 일례를 가리키는 설명도
[도 2] 교정용 마커의 일례를 가리키는 설명도
[도 3] 본 발명의 차량 탑재 카메라의 교정 장치를 포함하는 차량내 시스템 구성의 일례를 모식적으로 가리키는 블럭도
[도 4] 월드 좌표계와 카메라 좌표계의 관계를 가리키는 설명도
[도 5] 카메라 좌표계와 화상좌표계의 관계를 가리키는 설명도
[도 6] 본 발명의 차량 탑재 카메라의 교정 장치의 구성의 일례를 모식적으로 가리키는 블럭도
[도 7] 모니터 장치의 일례를 가리키는 정면도
[도 8] 관심 영역을 가리키는 테두리를 모니터 장치에 표시하는 예를 가리키는 도면
[도 9] 관심 영역의 설정 원리를 가리키는 설명도
[도 10] 에지 검출 후 화상의 일례를 가리키는 설명도
[도 11] 직선검출의 일례를 가리키는 설명도
[도 12] 교정점 검출의 일례를 가리키는 설명도
[도 13] 카메라 조정치의 연산 순서를 모식적으로 가리키는 공정도
[도 14] 실직선과 변환 직선의 교정 전 관계를 가리키는 설명도
[도 15] 회전 조정의 원리를 가리키는 설명도
[도 16] 위치조정의 원리를 가리키는 설명도
[도 17] 수평위치조정의 원리를 가리키는 설명도
[도 18] 수직위치조정의 원리를 가리키는 설명도
[도 19] 카메라의 교정이 성공했을 때의 모니터 장치로의 표시 예를 가리키는 도면
[도 20] 카메라의 교정이 성공하지 않았을 때의 모니터 장치로의 표시 예를 가리키는 도면
[도 21] 확인 마커의 다른 예를 가리키는 도면
[도 22] 교정장치 기동시의 표시부로의 표시 예를 가리키는 도면

이하, 차량(90) 후방의 정경을 촬영하는 카메라(1)(차량 탑재 카메라)을 교정하는 경우를 예로, 본 발명의 교정 장치의 실시예를 도면에 기초하여 설명한다.

카메라(1)(차량 탑재 카메라)은, 차량(90) 후방의 넘버 플레이트의 상방에 차축에서 옆쪽으로 오프셋 한 위치에, 광축을 아래 방향 (예를 들면 수평으로부터 30°아래방향)을 향해서 설치된다. 카메라(1)은, 예를 들어 시야각 110~120°광각렌즈를 구비하여 구성되고, 후방 약8m정도까지의 영역을 촬영할 수 있다. 이 카메라(1)은, 차량의 생산 공장 등에서 차량(90)에 장착될 때에 장착해 오차를 흡수하기 위하여 교정된다. 또한 수리공장 등에 있어서, 주행에 의한 진동의 누적이나 충격 등에 의한 카메라(1)의 어긋남을 수정하기 위해 교정된다.

도 1에 나타나 있는 바와 같이 본 실시예에 있어서 마커(80)(교정 지표)는, 카메라(1)의 시야범위 내에 있어서 2곳에 배치된다. 또한 마커(80)는, 월드 좌표계(기준좌표계)에 있어서 그 좌표가 기지가 되도록 소정의 위치에 배치된다. 본 예에 있어서, 마커(80)는, 도 2에 나타나 있는 바와 같이 흑백의 체크 무늬 패턴을 가지고 있다. 패턴 중앙의 점(Q)이 교정점이며, 카메라(1)의 교정 기준이 된다. 즉, 마커(80)는, 월드 좌표계에 있어서 이 교정점(Q)의 좌표가 기지가 되도록 배치된다.

한편, 여기에서는 백색 사각형 2개, 흑색 사각형 2개의 합계 4개의 사각형에 의하여 교정 지표(8)가 구성되는 예를 나타냈지만, 합계 4개 이상의 사각형에 의하여 마커(80)가 구성되어도 좋으며, 그 수를 한정하는 것은 아니다. 또한 마커(80)는 복수의 장소이면, 3곳 이상에 배치되어도 좋고, 교정점(Q)도 3개 이상의 다른 좌표에 배치되어도 좋다. 또한 백과 흑에 한정되지 않고, 다른 색채를 이용하여 마커(80)가 착색되어 있어도 좋다. 또한, 마커(80)의 외형형상은 사각형 모양으로 한정되는 것 가 아니라, 원형 등의 다른 형상이어도 좋다. 즉 패턴 중앙의 점(Q)이 바람직하게 검출 가능하면, 여러 가지 형상을 채용하는 것이 가능하다.

도 1에 나타내는 예에서는, 2개의 마커(80)는 월드 좌표계에 있어서의 Y_WZ_W평면에 상당하는 바닥 위에, 월드 좌표계의 Z_W축에 상당하는 차량의 주축에 대하여 좌우 대칭으로 배치되어 있다 (D₁=D₂, W₁=W₂). 단, 항상 좌우 대칭일 필요는 없으며, 카메라(1)의 시야내이고, 좌표치가 기지이면 그 배치는 자유이다. 마커(80)는, 다른 공장 등이어도, 공통으로 배치되면 교정 장치를 공통화 할 수 있어 바람직하다. 단, 마커(80)의 배치의 차이는, 프로그램이나 파라미터의 변경에 의하여 용이하게 대응할 수 있는 것도 많다. 따라서, 공장에 있어서 확보할 수 있는 면적이나 다른 설비와의 관계에 의하여 마커(80)는 임의로 배치될 수 있다.

마커(80)의 치수는, 카메라(1)의 분해능력이나 교정 장치가 구비하고 있는 화상처리기능의 성능, 마커의 배치 위치 등에 따라, 정밀도 높은 교정점(Q)을 검출 할 수 있도록 적절하게 정해진다. 일례로서, D₁이나 D_{2 가} 1~2m, W₁이나 W_{2 가} 1.5m정도일 경우에는, 도 2에 나타나 있는 바와 같이 각 흑백이 사방 10~15cm, 전체가 사방 20~30cm의 마커(80)가 이용된다.

한편, 마커(80)는, 벽면이나 칸막이 등의 수직면위로 설치되어도 좋다. 이 경우에도, 교정점(Q)의 월드 좌표(X_W, Y_W, Z_W)를 정확하게 파악 하는 것이 가능하다. 즉, 마커(80)는, 카메라(1)의 시야 내라면, 바닥면 및 벽면을 포함하는 임의인 면에 배치 가능하다. 본 실시예에서는 카메라(1)을 하방을 향하여 차량에 탑재하고 있기 때문에, 천장면에 마커(80)를 배치 하는 것은 적절하지 않다. 그러나, 천장면이 카메라(1)의 시야에 들어오는 경우에는 물론 천장면에 배치되어도 좋다. 또한, 마커(80)는, 월드 좌표(X_W, Y_W, Z_W)의 축에 대하여, 수직으로 배치될 필요는 없다. 당연히 2개의 마커(80)의 한 쪽이 바닥면 위, 다른 쪽이 칸막이 위로 배치되는 등, 다른 면 위로 배치되어도 좋다. 중요한 것은 교정점(Q)이며, 마커(80)는 어떤 면에 배치되어도 상관 없다. 즉, 월드 좌표계에 있어서 교정점(Q)이 정확하게 배치되어, 카메라(1)의 촬영 화상으로부터 교정점(Q)이 알맞게 검출되면 마커(80)의 설치 방향은 임의이다.

본 실시예에 있어서, 차량(90)은 주차 지원 장치를 탑재하고 있어, 카메라(1)에 의하여 촬영된 차량(90)의 주변 정경은 이 주차 지원 장치에 이용된다. 이 주차 지원장치는, 차고에 들이는 주차나 종렬 주차에 있어서의 후진 시에, 운전자가 설정하거나, 주차 지원 장치에 의하여 자동 설정되어서 운전자에 의하여 확인되거나 한 주차 위치에 차량(90)을 유도한다. 이 유도는, 예를 들면 운전자에 의하여 조작되는 스티어링의 조향각을 검출하고, 차량(90)의 예상 진로를 촬영 화상에 중첩표시 시키는 것이다. 또한 다른 유도는, 예를 들면, 주차 위치에 대하여 차량(90)을 이동시키기 위해, 자동적으로 조향을 제어하는 것이다.

도 3은, 이러한 주차 지원 장치(40)를 탑재하는 차량(90)의 시스템 구성의 일례를 모식적으로 가리키는 블럭도다. 주차 지원 장치(40)에는, 후술하는 바와 같이 화상 인식 등 고도의 화상처리를 하고, 주차 지원 장치(40)의 중핵을 짊어지는 CPU(central processing unit)(5)가 갖추어져 있다. CPU(5)는, 프로그램 메모리(6)에 저장된 프로그램이나, 파라미터 메모리(7)에 저장된 파라미터를 이용해서 각종처리를 실행한다. 여기에서는, 프로그램 메모리(6)나 파라미터 메모리(7)는, CPU(5)와는 다른 불휘발성 메모리이지만, CPU(5)와 동일한 패키지 내에 집적되어 있어도 좋다. 주차 지원 장치(40)는, CPU(5)나 메모리, 그 밖의 주변회로와 함께, 주차 지원 ECU(electronic control unit)(9)로 구성된다. 본 예에서는, CPU(5)를 중핵이라고 하였지만, 주차 지원 장치(40)는, DSP(digital signal processor)등, 다른 논리연산 프로세서나 논리회로를 중핵으로 구성되어도 좋다.

도 3에 나타나 있는 바와 같이 카메라(1)에 의하여 촬영된 화상은, 슈퍼 임포즈(superimpose)부(2a), 그래픽 묘화부(2b), 플레임 메모리(2c) 등을 가지는 화상처리 모듈(2)을 통하여, 모니터 장치(4)에 표시된다. 카메라(1)은, CCD(charge coupled device)나 CIS(CMOS image sensor)등의 촬영소자를 이용하여, 매초 15~30플레임의 2차원 화상을 촬영하고, 디지털 변환해서 동영상 데이터를 출력하는 디지털 카메라이다. 각 플레임의 2차원 화상은, 플레임 메모리(2c)에 저장되어, 각 플레임에 화상처리나 그래픽의 중첩이 사용될 수 있다. 그래픽 묘화부(2b)로의 묘화 지시나, 중첩부인 슈퍼임포즈(superimpose)부(2a)로의 그래픽 중첩지시는, CPU(5)로부터 발생한다.

모니터 장치(4)는, 내비게이션 시스템(navigation system)의 모니터 장치가 겸용되어 있다. 도 3에 나타나 있는 바와 같이 모니터 장치(4)는, 표시부(4a)와, 표시부(4a)에 형성된 터치 패널(4b)과, 스피커(4c)를 가지고 있다. 표시부(4a)는, 화상처리 모듈(2)로부터 제공되는 카메라(1)의 촬영 화상이나, 그래픽 화상, 그것들이 합성된 합성 화상 등을 표시한다. 일례로서, 표시부(4a)는 액정 표시장치로 구성된다. 터치 패널(4b)은, 표시부(4a)와 함께 형성되어, 손가락 등에 의한 접촉 위치를 로케이션 데이터로서 출력할 수 있는 감압식이나 정전식의 지시 입력장치이다. 도 3에 있어서, 스피커(4c)는, 모니터 장치(4)에 구비되어 있는 경우를 예시하고 있지만, 스피커(4c)는 도어의 안 쪽 등, 다른 장소에 구비되어도 좋다. 스피커(4c)는, CPU(5)의 지시에 따라 음성처리 모듈(3)로부터 제공되는 음성을 출력한다. 한편, CPU(5)는, 단순하게 버저(8)를 통하여 통지음을 울리는 경우도 있다.

CPU(5)는, 도 3에 있어서 부호50으로 가리키는 차내 네트워크를 통하여 여러가지 시스템이나 센서와 통신 가능하도록 접속되어 있다. 본 실시예에 있어서는, 차내 네트워크로서 CAN(controller area network)(50)을 예시하고 있다. 도 3에 나타나 있는 바와 같이 주차 지원 장치(40)(CPU(5))는, 차내의 파워스티어링 시스템(조향시스템)(31)이나 브레이크 시스템(37)과 접속되는 외에, 외부접속용 단자 등을 통해서 외부 시스템(33)과 접속된다. 이들 각 시스템은, 주차 지원 장치(40)와 마찬가지로 CPU등의 전자회로를 중핵으로 하여 구성되고, 주차 지원ECU(9)과 마찬가지로 주변회로와 함께 ECU를 가지고 구성된다.

파워스티어링 시스템(31)은, 전동 파워스티어링(EPS: electric power steering)시스템이나 SBW(steer-by-wire)시스템이다. 이 시스템은, 운전자에 의하여 조작되는 스티어링 휠(steering wheel)에, 액츄에이터(41)에 의하여 어시스트 토크를 부가하는 외, 스티어링 휠이나 조향륜을 액츄에이터(41)에 의하여 구동 함으로써 자동 조향을 행한다.

브레이크 시스템(37)은, 브레이크의 록을 억제하는 ABS(anti lock braking system)이나, 코너링(cornering) 시 차량의 옆으로 미끄러짐을 억제하는 미끄러짐 방지 장치(전자식 안정성 제어장치, 차량 자세제어 장치 VDC (vehicle dynamic control), ESP (Electronic Stability Program)　전자식　주행안정성　장치)(ESC: electronic stability control), 브레이크 힘을 증강시키는 브레이크 어시스트 등을 소유한 전동 브레이크 시스템이나, BBW(brake-by-wire)시스템이다. 이 시스템은, 액츄에이터(47)을 통하여 차량(90)에 제동력을 부가할 수 있다. 외부 시스템(33)은, 차량(90)의 생산할 때나 점검 또는 정비할 때에 사용되는 검사 시스템이나 조정 시스템, 딜러나 사용자가 접속 커넥터 등을 통하여 장착하는 옵션 시스템이다.

도 3에 있어서, 각종 센서의 일례로서, 스티어링 센서(21)나 차륜 속도 센서(23), 시프트레버 스위치(25), 엑셀 센서(29)가 CAN(50)에 접속되어 있다. 스티어링 센서(21)는, 스티어링 휠의 조향량 (회전각도)을 검출하는 센서이며, 예를 들어 홀 소자 등을 이용하여 구성된다. 주차 지원 장치(40)는, 운전자에 의한 스티어링 휠의 조향량이나, 자동조향시의 조향량을 스티어링 센서(21)로부터 취득하여 각종제어를 실행한다.

차륜 속도 센서(23)는, 차량(90)의 바퀴의 회전량이나 단위시간당 회전수를 검출하는 센서이며, 예를 들어 홀 소자 등을 이용하여 구성된다. 주차 지원 장치(40)는, 차륜 속도 센서(23)로부터 취득한 정보에 기초하여 차량(90)의 이동량 등을 연산하고, 각종 제어를 실행한다. 차륜 속도 센서(23)는, 브레이크 시스템(37)에 구비되어 있는 경우도 있다. 브레이크 시스템(37)은, 좌우 바퀴의 회전차 등으로부터 브레이크의 록이나, 바퀴의 공전, 미끄러짐의 징후 등을 검출하고, 각종 제어를 실행한다. 차륜 속도 센서(23)가 브레이크 시스템(37)에 대비되어 있을 경우에는, 주차 지원 장치(40)는, 브레이크 시스템(37)을 통하여 정보를 취득한다. 브레이크 센서(27)는, 브레이크 페달의 조작량을 검출하는 센서이며, 주차 지원 장치(40)는, 브레이크 시스템(37)을 통하여 정보를 취득한다. 주차 지원 장치(40)는, 예를 들면 자동조향 중에 브레이크 페달이 밞힌 것과 같은 경우에, 자동조향에 좋지 못한 환경하에 있다고 하여 자동조향을 중단하거나 중지하는 제어를 행할 수 있다.

시프트레버 스위치(25)는, 시프트레버의 위치를 검출하는 센서 또는 스위치며, 변위 센서 등을 이용하여 구성된다. 예를 들면 시프트가 리버스로 세트 된 경우, 주차 지원 장치(40)는 지원 제어를 개시하거나, 리버스에서 전진으로 변경된 경우에 지원 제어를 종료시키거나 할 수 있다.

또한 스티어링 휠에의 조작 토크를 검출하는 토크 센서(22)는, 운전자가 스티어링 휠을 쥐고 있는가 아닌가에 관해서도 검출 하는 것이 가능하다. 주차 지원 장치(40)는, 자동조향 중에 운전자가 스티어링 휠을 조작하기 위하여 강하게 쥔 경우 등에, 자동조향에 바람직하지 않은 환경하에 있다고 하여 자동조향을 중단하거나 중지하는 제어를 행할 수 있다. 또한 자동조향 때에는, 일반적으로 엔진의 공전에 의한 차량(90)의 크리핑이 이용된다. 따라서, 운전자가 엑셀을 조작한 것이 엑셀 센서(29)에 의하여 검출된 경우, 주차 지원 장치(40)는, 자동조향에 바람직하지 않은 환경하에 있다고 하여 자동조향을 중단하거나 중지하는 제어를 행할 수 있다.

도 3에 나타난 각종 시스템이나 센서, 이들의 접속 형태에 대해서는 일례이며, 다른 구성이나 접속 형태가 채용되어도 좋다. 또한 상술한 바와 같이, 센서는 직접 CAN(50)에 접속되어도 좋으며, 여러 가지 시스템을 통하여 접속될 수 있다.

상술한 바와 같이, 주차 지원 장치(40)는, CPU(5)를 중핵으로 하여 구성되고, 프로그램 메모리(6)에 저장된 프로그램(소프트웨어)과 협동하여 주차 지원을 위한 여러 가지 연산을 실시한다. 상술한 바와 같은 주차 지원을 실시하는 때에는, 카메라(1)에 의한 촬영 화상의 좌표계와, 화상처리에 이용하는 화상 좌표계와의 상관 관계를 규정할 필요가 있다. 주차 지원 장치(40)는, 양 좌표계의 상관 관계를 규정하기 위한 카메라 파라미터가 저장된 파라미터 메모리(7)를 가지고 있다. 즉, 주차 지원 장치(40)는, CPU(5)의 하드웨어와, 프로그램 메모리(6)에 저장된 프로그램(소프트웨어)과, 파라미터 메모리(7)에 저장된 카메라 파라미터의 협동에 의하여 기능 한다.

카메라 파라미터는, 월드 좌표계와 카메라(1)의 카메라 좌표계의 관계를 정의하는 값이다. 카메라 파라미터는, 카메라(1) 자체의 광학계 정밀도나, 카메라(1)를 차량(90)에 장착할 때의 설치 정밀도 등에 의하여, 설계상의 이상적인 값이 되지 않는 경우가 많다. 예를 들면, 카메라(1)는, 3차원 직교좌표계의 월드 좌표계에 있어서의 규정 위치에 규정 자세로 차량에 장착할 수 있지만, 설치 오차가 존재한다. 후술하는 바와 같이 특히 자세에 관한 오차가 문제가 된다. 이 때문에, 카메라(1)의 실제 설치 자세에 따라 카메라 파라미터를 보정함으로써, 월드 좌표계와 실제 카메라(1)의 카메라 좌표계의 관계를 정의한다. 카메라 조정치는, 이 카메라 파라미터를 보정하는 파라미터이다. 카메라 조정치는, 카메라(1)의 차량(90)에의 장착 상태에 따라 변동하는 값이다. 따라서, 차량(90)의 생산 공정에 있어서 카메라 조정치를 조정하고, 확정 시킴으로써 카메라(1)의 교정을 행할 필요가 있다.

또한 차량(90)의 정비 공장에 있어서, 정기적으로 카메라(1)의 교정이 가능하거나, 차량(90)에 과도한 충격이 가해진 후의 점검이나 정비에 있어서, 카메라(1)의 교정이 가능하거나 하는 것이 바람직하다. 이 때문에, 차량(90)에는, 카메라(1)를 교정하는 교정 장치(10)가 탑재된다. 혹은, 차량(90)에 교정 장치(10)가 접속 가능하도록 구성된다. 한편, 상술한 카메라 조정치도, 파라미터 메모리(7)에 기억된다. 파라미터 메모리(7)는, 개서 가능한 기억매체에 의하여 구성되어, 교정에 의하여 결정된 카메라 조정치로 갱신된다. 파라미터 메모리(7)에는, 카메라 파라미터의 초기값(설계치)과 카메라 조정치가 저장되어 사용시에 조정될 수 있고, 이들에 더하여 카메라 조정치에 의하여 보정된 카메라 파라미터가 저장될 수 있다. 또한 보정된 카메라 파라미터 만이 갱신되어 저장되는 구성일 수 있다.

하나의 형태로서, 주차 지원 장치(40)를 구성하는 CPU(5) 및 프로그램 메모리(6)를 교정 장치(10)로서 이용하는 것이 가능하다. 혹은, 주차 지원 장치(40)를 구성하는 프로그램 메모리(6)와는 다른 프로그램 메모리와 CPU(5)에 의하여, 교정 장치(10)가 구성되어도 좋다. 또한 외부 시스템(33)으로서, 교정 장치(10)가 구성되어도 좋다. 본 실시예에 있어서는, 주차 지원 장치(40)를 구성하는 CPU(5), 프로그램 메모리(6), 파라미터 메모리(7)를 교정 장치(10)로서 이용하는 경우를 예로서 설명한다.

우선, 카메라 조정치나 좌표계에 관하여 설명한다. 카메라(1)에 의하여 촬영되는 화상은 2차원이지만, 실제 공간은 3차원이다. 따라서, 주차 지원 장치(40)에 있어서는, 2차원 공간과 3차원 공간과의 사이에 상호변환이 필요하며, 그 변환을 위해서는, 모든 카메라 파라미터가 정밀도 높게 설정되어 있는 것이 바람직하다.

카메라 파라미터에는, 크게 나누어서 내부 파라미터와 외부 파라미터가 있다. 카메라의 내부 파라미터란, 카메라 내부의 광학계에 관한 파라미터이다. 디지털 카메라의 경우에는, 촬상소자와 렌즈의 중심간의 거리(초점거리), 촬상소자의 크기나 화소수, 화소의 세로배열과 가로배열의 각도 등을 토대로 설정되는 파라미터다. 엄밀하게는, 내부 파라미터도 일정하지 않고 카메라마다 오차를 가지고 있지만, 차량(90)에의 카메라(1)의 설치 정밀도 차이에 비교하면 매우 작은 차이라고 생각해도 좋으며, 여기에서는 내부 파라미터가 정밀도 높게 설정되어 있는 것으로 한다.

외부 파라미터는, 기준좌표계(월드 좌표계)에 대한 카메라의 위치나 자세에 관한 파라미터이다. 본 실시예에서는 카메라(1)의 차량(90)에의 장착 정밀도에 의존하는 파라미터에 상당한다. 외부 파라미터에는, 카메라의 위치에 관한 병진 파라미터와, 카메라의 자세에 관한 회전 파라미터가 있다. 도 1 및 도 4에 나타나 있는 바와 같이 3차원 공간의 좌표계인 월드 좌표계(X_W, Y_W, Z_W)의 1점을 좌표중심O_C로서 카메라 좌표계(X_C, Y_C, Z_C)가 존재한다. 즉, 카메라(1)는, 기준좌표계인 월드 좌표계에 있어서의 규정 좌표를 좌표중심O_C으로 하는 카메라 좌표계를 형성하는 것 같은 규정 위치 및 규정 자세로 차량(90)에 설치된다.

카메라(1)가 설치되는 규정 위치란, 카메라 좌표계의 좌표중심O_C의 월드 좌표계에 있어서의 좌표에 의하여 정의된다. 카메라(1)가 설치되는 위치, 즉 카메라 좌표계의 위치는, 3차원 직교좌표계인 월드 좌표계의 각축에 대하여 각각 평행한 병진 성분T(T_X, T_Y, T_Z)에 의하여 정의된다. 일반적으로는, 병진 성분T는 3행 1열의 행렬에 의하여 정의된다. 정의되는 위치와 실제로 카메라(1)가 설치되는 위치와의 사이에 차이가 생기는 것은, 외부 파라미터에 있어서의 병진 성분T의 오차가 된다. 단, 병진 성분T의 오차가, 촬영 화상을 보는 운전자에게 주는 위화감은 비교적 적다. 또한 이 설치 위치의 오차는, 카메라(1)의 광축 방향에는 영향을 주지 않는다. 따라서, 카메라(1)와 피사체의 거리나 위치 관계에 구애되지 않고, 화상처리에 미치는 영향도 적다. 즉, 카메라(1)의 설치 위치에 관하여, 생산 공정에 있어서 적정한 공차가 설정되고, 적정하게 공차관리 되어 있으면, 병진 파라미터는 정밀도 높게 설정되어 있는 것이라고 생각해도 거의 문제는 없다.

카메라(1) 설치시의 자세, 즉 카메라 좌표계의 회전은, 도 4에 나타나 있는 바와 같이, 3차원 직교좌표계인 카메라 좌표계의 각 직교축을 중심으로 하는 회전 성분에 의하여 정의된다. 일반적으로, 회전 성분은, 3행 3열의 행렬에 의하여 정의된다. 정의되는 자세(회전)와 실제로 카메라(1)가 설치되는 자세 사이에 어긋남이 생기는 것은, 외부 파라미터에 있어서의 회전 성분의 오차가 된다. 회전 성분의 오차가 촬영 화상을 보는 운전자에게 주는 위화감은, 병진 성분T의 오차에 비하여 크다.

예를 들면 도 5에 나타나 있는 바와 같이 촬영 화상에 상당하는 사영면∏에 대하여 직교하는 Z_C축을 중심으로 하여 카메라(1)가 회전하는 롤(Roll)이 생긴 경우, 촬영 화상이 기울게 된다. 따라서, 롤이 생겼을 경우에는, 촬영 화상을 보는 운전자에 미치는 위화감이 커진다. 또한 사영면∏에 평행한 축의 한 쪽인 X_C축을 중심으로 하여 카메라(1)가 회전하는 팬(Pan)이나, 사영면∏에 평행한 축의 다른 쪽인 Y_C축을 중심으로 하여 카메라(1)가 회전하는 틸트(Tilt)가 생긴 경우에는, 카메라(1) 광축의 방향이 변동한다. 따라서, 카메라(1)와 피사체의 거리나 위치 관계 에 따라, 촬영 화상에 있어서의 피사체의 위치가 크게 변동하고, 화상처리에 미치는 영향도 커진다. 따라서, 카메라(1)가 차량(90)에 장착된 실제 자세에 따라 회전 파라미터를 정밀도 높게 조정하고, 카메라(1)를 교정하는 것이 중요하다.

상술한 바와 같이, 카메라 파라미터에는, 내부 파라미터와 병진 파라미터, 회전 파라미터가 있으나, 이 중, 외부 파라미터 중 하나인 회전 파라미터를 정밀도 높게 조정하는 것이 중요하다. 도 1이나 도 4로부터도 이해할 수 있는 바와 같이, 카메라(1)가 오차 없이 차량(90)에 설치되었다고 하여도, 카메라 좌표계는 월드 좌표계에 대하여 회전하고 있다. 따라서, 카메라(1)가 이상적인 위치에 이상적인 자세로 장착된 경우의 회전 파라미터(R)는, 설계치로서 일의적으로 설정된다. 본 발명의 교정 장치(10)는, 이 회전 파라미터를, 카메라(1)의 실제 설치 자세에 따라 조정하는 파라미터(카메라 조정치)를 요구하고, 회전 파라미터를 조정함으로써 카메라(1)를 교정한다.

상술한 바와 같이, 카메라(1)의 회전은, 촬영 화상에 대하여 다음과 같은 영향을 미친다. 롤은 촬영 화상의 경사(화상의 회전)로 나타난다. 팬 및 틸트는, 촬영 화상에 있어서의 피사체의 위치에 대하여 영향을 준다. 따라서, 이하의 설명에 있어서 「회전의 조정」이라고 칭했을 경우에는, 3축 모두의 회전이 아니라, 협의의 의미로서 롤 조정만을 가리키는 경우가 있다. 또한 이하의 설명에 있어서 「위치의 조정」이라고 칭한 경우에는, 병진성분의 조정이 아니라, 협의의 팬 및 틸트의 조정을 가리키는 경우가 있다.

여기에서, 3차원 카메라 좌표계(X_C, Y_C, Z_C)와, 2차원 화상좌표계(x, y)의 관계에 관하여 설명한다. 화상좌표계(x, y)는, 도 5에 나타나 있는 바와 같이 카메라(1)의 광축에 일치하는 카메라 좌표계의 Z_C축에 수직인 2차원 사영공간(사영면∏)에 존재하는 2차원 직교좌표계이다. 사영면Π은, 카메라 좌표계의 Z_C축 방향에 카메라 좌표의 원점O_C로부터 카메라(1)의 초점거리 f만이 떨어져서 존재한다. 도 5에 있어서, u축은 카메라(1) 촬상소자 화소의 종배열의 방향을 나타내고, v축은 카메라(1) 촬영소자 화소의 횡배열의 방향을 나타낸다. 이상적으로는, u축 및 v축은, 각각 화상좌표계의 x축 및 y축에 일치한다. 또한 u축과 v축이 이루는 각(Ø은, 이상적으로는 화상좌표계의 x축과 y축이 이루는 각과 마찬가지로 90도이다. 각(Ø은, 상술한 내부 파라미터의 하나이지만, 상술한 바와 같이, 여기에서는 이상적인 90도라고 한다.

카메라 좌표계와 월드 좌표계의 정합이 떨어져 있으면, 도 5에 나타나 있는 바와 같이 월드 좌표계에 있어서 좌표M에 존재하는 점은, 화상좌표계에 있어서 좌표m에 존재하는 것으로서, 카메라 좌표계로부터 화상좌표계로 좌표변환이 된다. 반대로, 촬영 화상, 즉 화상좌표계의 좌표m에서 검출된 점은, 바닥 위에 존재하는 등의 일정 조건하에서, 카메라 좌표계를 거쳐 월드 좌표계의 좌표M에 있는 점으로 좌표변환 되는 것이 가능하다.

한편, 카메라 좌표계와 월드 좌표계의 정합이 떨어져 있는 않은 경우에는, 도 5에 나타나 있는 바와 같이 실제 카메라(1)의 카메라 좌표계의 사영면∏'과, 이상대로 카메라 좌표계의 사영면∏과는 다른 평면이 된다. 이 때문에, 실제로 차량(90)에 장착된 카메라(1)의 카메라 좌표계와 월드 좌표계의 정합이 떨어지지 않게 된다. 예를 들면 월드 좌표계에 있어서 좌표M에 존재하는 점은, 실제 카메라(1)의 카메라 좌표계의 사영면∏'에 있어서, 좌표m'에 존재하는 것으로서 검출된다. 그리고, 이 좌표m'이 이상대로 카메라 좌표계의 사영면∏의 좌표로 취급되어, 카메라 좌표계를 거쳐 월드 좌표계로 좌표변환 된다. 즉, 월드 좌표계에 있어서 좌표M에 존재하는 점은, 도 5에 나타나 있는 바와 같이 월드 좌표계에 있어서 좌표M'에 존재하는 점으로 좌표변환 되는 것이 된다.

이러한 오차가 생기면, 주차 지원 장치(40)는 정밀도 높은 주차 지원을 행할 수 없게 된다. 교정 장치(10)는, 이러한 오차를 억제하기 위하여, 카메라 조정치를 요구하고, 실제로 차량(90)에 장착된 카메라(1)의 카메라 좌표계와, 이상적인 카메라 좌표계의 관계를 정의한다. 즉, 카메라 조정치에 의하여 카메라(1)의 회전 파라미터를 보정하고, 실제로 차량(90)에 장착된 카메라(1)의 카메라 좌표계와 이상적인 카메라 좌표계를 일치시키기 위해서, 실제 카메라(1)의 자세에 따라 카메라 조정치를 조정한다. 여기에서는, 상술한 바와 같은 월드 좌표계에 있어서 좌표M에 존재하는 점의 화상좌표계에 있어서의 어긋남을 이용하여 카메라(1)를 교정한다. 구체적으로는, 월드 좌표계에 있어서의 마커(80) 교정점(Q) (Q1, Q2)의 좌표를 좌표M으로 감정하여 카메라(1)를 교정한다.

상술한 바와 같이, 본 실시예에 있어서는, 주차 지원 장치(40)를 구성하는 CPU(5), 프로그램 메모리(6), 파라미터 메모리(7)를 교정 장치(10)로서 이용한다. 교정 장치(10)는, 주로 CPU(5)등의 하드웨어 및 프로그램 메모리(6) 등에 저장된 소프트웨어(프로그램)가 협동함으로써, 도 6에 나타나 있는 바와 같은 복수의 기능부를 가지고 구성된다. 도 6에 나타나 있는 바와 같이 교정 장치(10)는, 화상취득부(11), 교정점 특정부(12), 좌표변화부(13), 회전 조정부 (제1조정부)(14), 위치 조정부 (제2조정부)(15), 조정 완료 판정부(18), 카메라 조정치 설정부(19)와 HMI제어부(20)를 가지고 구성된다. 한편, 회전 조정부(14)는, 사영면∏의 경사(회전), 즉 도 4에 나타난 롤의 조정을 행하는 기능부이다. 또한, 위치 조정부(15)는, 병진 성분의 조정이 아니라, 도 4에 나타나는 팬 및 틸트의 조정을 행하는 기능부이다. 좌표변화부(13), 회전 조정부(14), 위치 조정부(15)와 조정 완료 판정부(18)는 조정부(30)를 구성한다.

화상취득부(11)는, 3차원 월드 좌표계의 다른 2곳의 소정위치에 배치된 마커(80)를 시계내에 포함하고, 차량(90)에 장착된 카메라(1)에 의하여 촬영된 촬영화상을 취득하는 기능부이다. 교정점 특정부(12)는, 이 촬영 화상에 있어서 마커(80) 안의 각각의 교정점(Q)을 검출하고, 카메라 좌표계의 사영면∏에 설정되는 2차원 직교좌표계(화상좌표계)에 있어서 각각의 교정점(Q) 좌표를 실좌표로 특정하는 기능부이다. 교정점 특정부(12)는, 후술하는 바와 같이, 교정점 분포범위 설정부(121)와 교정지표 분포범위 설정부(122), 교정점 검출부(123)를 가지고 구성된다. 이들 각 기능부의 상세에 대해서는 후술한다.

좌표변화부(13)는, 카메라(1)가 규정 위치에 규정 자세로 장착되었을 때에, 사영면∏에 있어서 각각의 교정점(Q)이 특정되는 좌표인 초기좌표를, 확정전의 카메라 조정치에 기초하여 변환 좌표로 변환하는 기능부이다. 한편, 후술하는 바와 같이, 조정부(30)는, 카메라 조정치를 수정하며 반복 연산을 실행 함으로써, 카메라 조정치를 구한다. 따라서, 좌표변화부(13)가 좌표변환에 이용하는 확정전의 카메라 조정치는, 조정 도중에 있어서 수시로 수정되어, 여러 가지 값을 얻을 수 있는 것이다.

회전 조정부(14)및 위치 조정부(15)은, 상술한 카메라의 외부 파라미터 내의 회전 파라미터를 조정하는 조정치(카메라 조정치)를 연산하는 기능부이다. 회전 조정부(14)는, 카메라 좌표계의 롤 회전에 있어서의 차분치를 구하고, 롤 회전에 있어서 규정 자세로부터의 변위량이며, 카메라 조정치를 구성하는 조정치의 하나인 롤 조정치를 연산하여 확정전의 카메라 조정치를 갱신하는 기능부이다. 따라서, 회전 조정부(14)는, 롤 조정부에 상당하다. 위치 조정부(15)는, 「팬 회전에 있어서의 차분치를 구하고, 팬 회전에 있어서 규정 자세로부터의 변위량이며, 카메라 조정치를 구성하는 조정치의 하나인 팬 조정치」 및 「틸트 회전에 있어서의 차분치를 구하고, 틸트 회전에 있어서의 규정 자세로부터의 변위량이며, 카메라 조정치를 구성하는 조정치의 하나인 틸트 조정치」의 적어도 한 쪽의 조정치를 연산하여 확정전의 카메라 조정치를 갱신하는 기능부이다.

위치의 어긋남은 2차원의 어긋남이며, 직교좌표계로 생각하면, 수평방향과 수직방향 2방향의 어긋남에 의하여 정의할 수 있다. 이 때문에, 위치 조정부(15)는, 수평위치 조정부(16)와 수직위치 조정부(17)로 구성된다. 수평위치 조정부(16)는, 팬 조정부에 상당하고, 수직위치 조정부(17)는, 틸트 조정부에 상당한다. 수평위치 조정부(16)는, 카메라 조정치를 구성하는 조정치의 하나인 팬 조정치를 연산하는 기능부이다. 또한 수직위치 조정부(17)는, 카메라 조정치를 구성하는 조정치의 하나인 틸트 조정치를 연산하는 기능부이다.

회전조정부 (롤 조정부)(14), 수평위치 조정부 (팬 조정부)(16), 수직위치 조정부 (틸트 조정부)(17)는, 각각 롤 회전, 팬 회전, 틸트 회전에 있어서의 차분치를 연산하는 차분치 연산부 (14a, 16a, 17a)와, 요구된 차분치에 기초하여 조정치를 연산하는 조정치 연산부 (14b, 16b, 17b)를 대비하여 구성된다. 자세한 사항은, 후술한다.

조정 완료 판정부(18)는, 회전 조정부(14) 및 위치 조정부(15)에 있어서 연산된 차분치가, 각각 소정의 완료 한계치 미만일 경우에, 카메라 조정치의 조정이 완료되었다고 판정하는 기능부이다. 좌표변환부(13), 회전 조정부(14), 위치 조정부(15), 조정 완료 판정부(18)로 구성되는 조정부(30)는, 카메라 조정치를 수정하며 반복 연산을 실행 함으로써 카메라 조정치를 조정한다. 조정 완료 판정부(18)는, 이러한 반복 연산 도중의 확정전 카메라 조정치를 이용하여 초기좌표가 보정된 보정 좌표와 실좌표와의 차이가 소정 거리 미만으로 가까워졌을 경우에 반복하여 연산을 완료시킨다. 조정 완료 판정부(18)의 상세에 관해서는 후술한다.

한편, 후술하는 회전 조정 한계치나 위치 조정 한계치는, 상기 완료 한계치에 상당한다. 또한 상기에서의 「카메라 조정치의 조정이 완료되었다라는 판정」은, 조정부(30)에 의한 반복 연산 완료의 판정에 상당한다. 후술하는 바와 같이, 조정 완료 판정부(18)는, 반복 연산을 소정의 회수 실행한 경우에도, 조정부(30)에 의한 반복 연산이 완료되었다고 판정한다. 반복 연산의 완료 시에는, 그 시점에 있어서 최신이며, 확정되기 전의 카메라 조정치가 임시 카메라 조정치(미확정 카메라 조정치)로 설정되어 있다고 생각할 수 있다.

카메라 조정치 설정부(19)는, 조정 완료 판정부(18)에 의한 카메라(1)의 조정 완료 판정 결과에 기초하여 회전 조정부(14) 및 위치 조정부(15)에서 연산된 조정치를 카메라 조정치로 확정시키는 기능부이다. 즉, 카메라 조정치 설정부(19)는, 확정전의 카메라 조정치인 임시 카메라 조정치를 카메라 조정치로 확정시킨다. 카메라 조정치 설정부(19)는, HMI제어부(20)를 통하여 주어지는 지시 입력에 따라 임시 카메라 조정치를 카메라 조정치로 설정하는 것도 가능하다. 자세한 사항에 관해서는 후술한다.

HMI제어부(20)는, 시각적 효과나 청각적 효과에 의하여, 유저(user)(교정 작업자)에 대한 통지를 행하거나, 유저로부터 주어지는 조작 지시를 받아 각 기능부에 전달하거나 하는 인터페이스 기능을 맡는 기능부이다. 예를 들면, HMI제어부(20)는, 화상처리 모듈 2에 대하여 촬영 화상에 중첩 시키는 그래픽 지정이나 중첩 지시를 행하거나, 음성처리 모듈 3에 대하여 스피커(4c)로부터 음성이나 음향을 출력시키거나 한다. 또한 터치 패널(4b)을 거쳐서 유저로부터 주어진 지시를 받고, 지시에 대응하는 기능부를 작동시킨다. 도 6에 나타나 있는 바와 같이, HMI제어부(20)는, 표시 제어부(201)와 지시 입력 접수부(202)로 구성된다. 표시 제어부(201) 및 지시 입력 접수부(202)의 구체적인 기능에 관해서는 후술한다.

본 실시예에 있어서는, 주차 지원 장치(40)를 구성하는 CPU(5)을 이용하여 교정 장치(10)가 구성된다. 또한 주차 지원 장치(40)의 모니터 장치(4)는, 내비게이션시스템(navigation system)의 모니터 장치가 겸용되어 있다. 따라서, 모니터 장치(4)는, 교정 장치(10)의 모니터 장치로도 겸용된다. 모니터 장치(4)의 전면 패널에는, 도 7에 나타나 있는 바와 같은 여러 가지 스위치가 설치되어 있다. 부호 4d는, 지도의 축척을 변경하는 버튼이다. 부호 4e는, 목적지 설정을 위한 화면을 표시시키는 버튼이다. 부호 4f는, 차량(90)의 현재위치를 표시시키는 버튼이다. 부호 4g는, 음량 조절 버튼이다. 부호 4h는, 시스템의 각종 설정을 행하기 위한 화면을 표시시키는 시스템 설정 버튼이다. 도 7에 있어서는, 차량(90)의 현재위치와 함께 지도가 표시되어 있는 경우를 예시하고 있다.

생산 공장이나 수리공장에 있어서, 작업자는, 시스템 설정 버튼(4h)을 조작하고, 표시부(4a)에 설정 화면을 표시시켜, 터치 패널(4b)의 소정의 터치 버튼을 조작한다. HMI 제어부(20)의 지시 입력 접수부(202)는, 터치 버튼의 지시를 접수하고, CPU(5)는, 프로그램 메모리(6)에 저장된 카메라 교정 프로그램에 정의된 각 기능을 실행 함으로써, 교정 장치(10)로서 기능한다. 한편, 생산 공정에 있어서는, 초기화면을 카메라 교정 모드로서 두고, 카메라(1)의 교정이 완료한 후에 소정의 조작을 행함으로써 초기화면이 내비게이션 시스템의 화면이 되도록 구성되어 있어도 좋다.

〔화상취득 공정〕

카메라 교정 프로그램이 기동되어, 교정 장치(10)에 의한 카메라 교정이 개시되면, CPU(5)에 의하여 화상취득 기능이 실행된다. 즉, 화상취득부(11)에 의하여, 카메라(1)로 촬영된 동영상이 캡쳐 된다. 캡쳐된 화상(촬영 화상)은, 화상처리 모듈 2를 통하여, 도 8에 나타나 있는 바와 같이 모니터 장치(4)에 표시된다.

〔교정점 특정 공정/관심영역 설정 공정/교정점 분포범위 설정 공정〕

촬영 화상이 취득되면, CPU(5)는 교정점 특정 기능을 실행한다. 즉, 교정점 특정부(12)는, 캡쳐된 화상으로부터, 교정점(Q)을 검출하고, 화상좌표계에 있어서 교정점(Q) 좌표를 실좌표로서 설정한다. 교정점(Q)의 검출에 앞서, 관심영역 설정 기능이 실행되어, 화상처리의 대상이 되는 영역이 관심 영역(ROI: region of interest)로서 사영면∏에 설정된다. 즉, 촬영 화상에 있어서 교정점(Q)을 검출하기 위한 화상처리가 실시되는 화상처리 대상영역이, 관심 영역(ROI)으로서 설정된다.

이 관심 영역(ROI)은, 공차의 평균치에 의한 화상상(사영면∏위) 위치를 기준으로, 카메라(1)의 설치 공차의 범위와 화상처리를 위한 마진(margin)을 고려해서, 정해진 위치와 크기에 기초하여 설정된다. 관심 영역(ROI)은, 예를 들면 경험상 일반적인 공차나 마진에 기초하여 대강 설정할 수 있다. 촬영 화상에 대하여 관심 영역(ROI)이 좁으므로, 화상처리의 연산 부하는 경감된다. 또한 아래와 같이 정밀도 높게 관심 영역(ROI)을 설정해도 좋다.

하나의 알맞은 예로서, CPU(5)에 의하여 교정점 분포범위 설정 기능이 실행된다. 즉, 교정점 분포범위 설정부(121)에 의하여, 카메라(1)가 규정 위치에 규정 자세로 장착되었을 때의 회전 파라미터에 기초하여 교정점(Q)이 존재하는 이론상의 좌표치(초기좌표)가 연산된다. 그리고, 카메라(1)가 카메라 좌표계의 각 축을 중심으로 각각 소정의 각도를 회전했을 때에 이론상 좌표치인 초기좌표가 분포되는 범위는 교정점 분포 범위로서 요구된다. 이 때, 카메라의 광학중심(카메라 좌표계의 원점)의 어긋남, 즉 병진 파라미터(T)의 어긋남도 가미하여 관심 영역(ROI)이 설정 될 수 있다.

〔교정점 특정 공정/관심영역 설정 공정/교정지표 분포범위설정 공정〕

다음에 교정지표 분포범위 설정 기능이 실행된다. 즉, 교정점 분포 범위에 기초하여 화상좌표계에 있어서 마커(80)가 분포하는 범위가 교정지표 분포 범위로서, 교정지표 분포범위 설정부(122)에 의하여 설정된다. 본 실시예에서는, 이 교정지표 분포 범위가, 관심 영역(ROI)에 상당한다. 구체적으로는, 도 9에 나타나 있는 바와 같이 카메라(1)의 광축이 설계값대로의 방향을 향하고 있는 경우에 대하여, 카메라의 3축 각각에 ±3도 ~ 5도의 어긋남이 발생하여도, 마커(80)가 반드시 포함되도록, 관심 영역(ROI)이 설정된다. 교정지표 분포 범위는, 실질적으로 교정점(Q)을 검출하기 위한 화상처리를 실시하는 화상처리 대상영역에 대응한다. 따라서, 교정지표 분포범위 설정부(122)는, 화상처리 대상영역 설정부로서도 기능한다.

여기에서, CPU(5)가 영역테두리표시 기능을 실행하면 바람직하다. 즉, 표시 제어부(201)가, 화상처리 모듈 2를 사이에 두고, 화상처리 대상영역이나 교정지표 분포범위를 그래픽 화상에 의한 ROI테두리(영역테두리)(F)로서 촬영 화상에 중첩 시켜 촬영 화상과 함께 표시부(4a)에 표시시키면 바람직하다 (영역테두리표시 공정). ROI테두리(F)는, 예를 들면 표시부(4a)에 있어서 녹색으로 촬영 화상에 중첩표시 된다. ROI테두리(F)는, 카메라(1)가 이상적으로 장착된 경우, 즉 규정 위치에 규정 자세로 장착 되었다고 가정했을 경우에, 소정의 위치에 배치된 마커(80)가 중앙에 오도록, 사영면∏에 설정된다. 도 2에 나타나 있는 바와 같이 교정점(Q)은, 마커(80)의 중앙에 설정되어 있으므로, 도 9에 나타나 있는 바와 같이 이상적인 교정점(Q)은 ROI테두리(F)의 중앙이 된다.

작업자는, 마커(80)가 ROI테두리(F)에서 벗어나 있는 등, 매우 큰 오차를 가지고 카메라(1)가 차량(90)에 장착되어 있는 것을 용이하게 확인할 수 있다. 작업자는, 도 8 에 나타나 있는 바와 같이 터치 패널(4b)에 표시된 캔슬(삭제) 버튼을 조작 함으로써, 교정을 중단하고 카메라(1)의 설치 상태를 확인하거나, 불량으로 생산라인에서 차량(90)을 배제하거나 할 수 있다. 이렇게, 촬영 화상상에 ROI테두리(F)가 표시 됨으로써, CPU(5)에 의하여 자동조정이 행해지고 있는 중이어도, 작업자가 카메라(1)의 조정 작업(교정 작업)에 참가할 수 있다. 자동조정과 작업자에 의한 눈으로의 확인을 병용한 반자동조정(반자동교정)이라는 것도 가능하다.

터치 패널(4b)을 조작 함으로써, CPU(5)에 의한 자동조정을 중단할 수 있으므로, 지시 입력 접수부(202)나, 이것을 포함하는 HMI제어부(20)는, 조정 중단부(조정 중단 수단)로서 기능한다고 할 수 있다. 또한 CPU(5)는, 접수한 지시 입력에 기초하여 조정 중단 기능을 실행한다고도 할 수 있다. 카메라(1)가 큰 오차를 가지고 차량(90)에 설치된 경우에, 조정 작업의 초기에 있어서, 조정을 중단하거나 중지할 수 있으므로, 생산성이 향상한다. CPU(5)는, 끊어지는 곳 없이 교정점 특정 공정으로부터 하기에 상술하는 조정 공정으로의 처리를 계속한다. 따라서, 작업자에 의한 확인을 위한 ROI테두리(F)는, 자동조정이 실시되는 동안, 즉 조정 공정하는 동안에도 계속해서 표시되면 바람직하다. 또한 마찬가지로 조정의 중지나 중단의 지시 입력을 위한 터치 버튼도, 자동조정이 실시되고 있는 동안, 계속해서 표시되는 것이 바람직하다.

더욱이, 화상처리의 대상이 되는 관심 영역ROI와 교정지표 분포범위는, 반드시 일치할 필요는 없다. 여유를 보아, 교정지표 분포범위보다도 넓은 영역의 관심 영역ROI가 설정되어도 좋다. 또한 상기에 있어서는, 촬영 화상 위에 표시되는 ROI테두리(F)가, 화상처리의 대상이 되는 관심 영역ROI에 일치할 경우를 예로서 설명하였다. 그러나, 교정지표 분포범위보다도 광역의 관심 영역ROI가 설정될 것 같은 경우에는, ROI테두리(F)가, 교정지표 분포범위에 일치하여 중첩표시 되어도 좋다. 또한 관심 영역ROI가 설정되지 않고, 촬영 화상의 전역에 걸쳐서 화상처리가 실시될 경우도 마찬가지이다. 이러한 경우, 작업자는 마커(80)가 ROI테두리(F)로부터 벗어나 있음으로 인해, 설계치에 대하여 매우 큰 오차를 가지고 카메라(1)가 차량(90)에 장착되어 있는 것을 용이하게 확인할 수 있다. 화상처리의 대상영역인 관심 영역ROI와 ROI테두리(F)는 일치하는 것이 바람직하지만, 이와 같이 일치하지 않는 경우라도, 동일한 효과를 얻을 수 있다. 따라서, 교정지표 분포범위가 그래픽 화상에 의한 ROI테두리(영역테두리)(F)로서 촬영 화상에 중첩 되어, 표시부(4a)에 표시되는 것도 매우 유용하다.

〔교정점 특정 공정/교정점 검출 공정/에지 검출공정〕

관심 영역ROI가 설정되면, 교정점 검출 기능이 실행된다. 즉, 교정점 검출부(123)는, 관심 영역ROI의 범위 내를 화상처리의 대상으로 하고, 교정점(Q)을 검출한다.교정점(Q)을 특정하기 위해서, 교정점 검출부(123)는, 마커(80)의 중심점인 교정점(Q)의 촬영 화상상에 있어서의 좌표를 검출한다. 즉, 화상좌표계에 있어서의 좌표를 검출한다. 이 좌표는, 실제로 차량(90)에 설치된 카메라(1)에 의하여 촬영된 화상에 기초하여 검출되므로, 본 발명에 있어서의 교정점(Q)의 「실좌표」에 상당한다. 본 실시예처럼, 마커(80)로서 체크 무늬가 사용될 경우, 공지의 코너 검출기를 이용하여 교정점(Q)을 검출 하는 것이 가능하다.

본 실시예에서는 가우스 필터(Gaussian filter)가 갖추어진 Canny 에지 검출이기를 이용한 에지 검출기능이 실행된다. Canny 에지 검출이기는, 에지 특징을 보존함과 동시에, 화상에 포함되는 노이즈를 제거하는 기능이 있어, 안정한 에지 검출이 가능하다. Canny 에지 검출이기에 관해서는, J.F.Canny "Finding edge and lines in images". Master's thesis, AITR-720. MIT, Cambridge, USA,1983 등에 자세하게 설명되어 있으므로, 여기에서는 상세한 설명을 생략한다. 더욱이, 당연하지만, Canny 에지 검출이기에 한하지 않고, Tomasi-Kanade 검출기나, Harris 검출기 등, 다른 방법 을 이용하여 에지 검출을 행할 수 있다.

〔교정점 특정 공정/교정점 검출 공정/왜곡 보정 공정〕

상술한 바와 같이, 카메라(1)는 광각렌즈 구성되어 있고, 촬영 화상은 왜곡을 가지고 있다. 교정점(Q)을 검출 하기 위해서는, 후술하는 바와 같이 직선인식이 필요하다. 거기에서, 왜곡 보정 기능이 실행되어, 에지 검출 후의 화상 데이터에 대하여 왜곡 보정처리가 시행된다. 한편, 당연히, 에지 검출을 행하기 전, 즉 관심 영역ROI의 범위 내의 원래의 화상에 대하여 왜곡 보정을 실시해도 좋고, 촬영 화상 전체에 대하여 왜곡 보정을 실시해도 좋다. 그러나, 촬영 화상이나 촬영 화상중 관심 영역ROI 범위 내의 화상은, 컬러 그레이 화상 데이터이므로, 데이터량이 많고 연산 부하도 커진다. 본 실시예에서는 에지 검출 후의 데이터는, 도 10에 나타나 있는 바와 같이 에지점 군(E)에 의하여 구성된 흑백사진 2값 데이터가 되어 있으므로, 데이터 량이 압도적으로 적고 연산 부하가 가벼워진다. 도 10(a)는, 왜곡 보정처리가 시행된 후의 마커(80a)의 에지점 군(E), 도 10(b)는, 왜곡 보정처리가 시행된 후의 마커(80b)의 에지점 군(E)을 나타내고 있다.

〔교정점 특정 공정/교정점 검출 공정/직선검출 공정〕

계속해서, 직선검출 기능이 실행되고, 이것들 에지점 군(E)에 대하여, 직선검출 처리(직선맞춤처리)가 실시된다. 직선검출 처리에는, 최소제곱법이나 반변환 등을 이용 하는 것도 가능하지만, 이것들은 연산 부하가 큰 처리이다. 본 실시예에서는 이들 방법보다도 훨씬 연산량이 적은 RANSAC(RANdom SAmple Consensus)방법을 이용하여 직선맞춤을 함으로써 직선검출을 행한다. RANSAC방법에는, 직선이나 곡선의 맞춤에 필요한 최소 개수의 점이 에지점 군(E)으로부터 선택되어, 피팅모델(fitting model)이 설정된다. 직선의 경우 최소점의 개수는 2개이며, 랜덤으로 선택된 2점을 잇는 직선이 직선 모델로 설정된다. 그리고, 에지점 군(E)의 다른 점이 이 직선 모델에 대하여 어느 정도 적합한지에 대하여 평가 된다. 순차적으로, 2점을 골라서 소정의 회수, 평가를 되풀이하고, 가장 적합도가 높은 직선 모델이 직선으로 결정된다. 도 11은, 도 10에 나타나는 에지점 군(E)에 대하여 직선(G)을 맞춘 예를 나타내고 있다.

〔교정점 특정 공정/교정점 검출 공정/교점연산 공정〕

직선(G)이 맞추어 지면, 다음으로 교점 연산 기능이 실행되고, 맞추어진 직선(G)의 교점 좌표가 산출된다. 직선(G)는 1차 함수이기 때문에 간단한 계산에 의하여, 도 12에 나타나 있는 바와 같이 화상좌표계에 있어서의 교점좌표(교정점(Q))을 특정할 수 있다. 더욱, 이 좌표는 차량(90)에 장착된 카메라(1)의 카메라 좌표계 사영면에 있어서의 좌표(실좌표)이기 때문에, 카메라(1)가 완전히 오차 없이 장착되어 있지 않는 한, 이상적인 카메라 좌표계 사영면에 있어서의 좌표와 다르다.

〔조정 공정〕

카메라(1)가 규정 위치에 규정 자세로 완전히 오차 없이 장착 되었다고 가정했을 경우, 즉 이상적인 카메라 좌표계 사영면에 있어서, 각각의 교정점(후술하는 P1_int, P2_int)이 특정되는 이론상의 좌표를 「초기좌표」라고 한다. 즉, 카메라 좌표계와 월드 좌표계가 이상적인 관계를 만족시킬 때에, 월드 좌표계에 대하여 카메라 좌표계를 규정하는 카메라 파라미터 (특히 회전 파라미터)의 초기값에 의하여 사영면에 있어서 교정점이 특정되는 좌표가 「초기좌표」이다. 더욱, 한번 교정된 카메라(1)의 재교정의 경우에는, 전회의 교정 결과에 의하여 확정된 카메라 파라미터가 초기값이 되는 경우가 있다. 따라서, 여기에서 말하는 「초기값」은, 현시점에서의 교정(조정)개시시의 파라미터이다.

상기 「초기좌표」와 상기 「실좌표」는 카메라(1)가 완전히 오차 없이 장착되어 있지 않는 한 다른 것이다. 이하에서, 반복 연산에 의하여 카메라 조정치를 수정하면서 조정하여 당해 카메라 조정치를 결정하고, 카메라(1)를 교정하는 순서를 도 13의 공정도도 참조하며 상술한다.

초기좌표는, 이상적인 카메라 좌표계와 월드 좌표계의 관계를 규정하는 회전 파라미터를 이용하여 특정된다. 좌표변화부 3은, 확정전의 카메라 조정치를 이용하여, 「초기좌표」를 「변환 좌표」로 변환한다. 정확하게는, 카메라 조정치를 이용하여 보정된 회전 파라미터에 의하여, 후술하는 교정점P (P1, P2)이 사영면∏상에 있어서 특정되는 좌표가 「변환 좌표」이다.

따라서, 카메라(1)가 바로 교정되고, 확정전의 카메라 조정치, 즉 조정전의 카메라 조정치(초기값)가 적정한 값이라면, 「변환 좌표」는 상기 「실좌표」와 일치하는 것이 된다. 카메라(1)가 오차를 가지고 차량(90)에 장착되어, 카메라(1)의 교정이 완료되지 않고, 카메라 조정치가 적정하지 않으면, 「변환 좌표」와 「실좌표」는 일치하지 않는다. 따라서, 이하에 상술하는 것 같이, 「변환 좌표」와 「실좌표」가 일치하는 것처럼 「카메라 조정치」를 연산 함으로써, 카메라(1)가 교정된다. 좌표변환기능은, 이하에 상술하는 조정 공정에 있어서 수시로 실행되고, 좌표변화공정이 설치되므로, 상세한 것은 그 때마다 설명한다.

〔조정 공정/초기화 공정〕

CPU(5)는, 이하에 설명하는 조정 기능을 실행함으로써, 카메라 조정치를 조정한다. 처음에, 초기화 기능이 실행된다. 카메라 조정치는, 도 4에 나타낸 3개의 회전 방향에 대응하고, Δroll, Δpan, Δtilt로서 설정된다. 카메라 조정치의 연산을 행하는 때에 있어서, CPU(5)는, 각종 연산 변수를 초기화한다. 도 6의 블럭도에는 도시되어 있지는 않지만, CPU(5)와 프로그램에 의하여, 초기화 연산부가 구성되어 있어도 좋다. 카메라 조정치는, 수정되면서 조정되어 가므로, 연산 변수의 하나이기도 하고, 연산을 시작하는 때에 있어서, 하기의 식 (1)에 나타나 있는 바와 같이 예를 들면 각 값이 제로의 초기값으로 초기화된다 (도 13#1).

한편, 생산 공장에 있어서 처음으로 카메라(1)가 교정되는 것 같은 경우에는, 식(1)에 나타나 있는 바와 같이 각 값이 모두 제로이면 바람직하다. 그러나, 수리공장이나 정비 공장에 있어서 재조정되는 것 같은 경우에는, 전회의 교정 결과에 입각하여 제로가 아닌 값이 초기값으로 설정되는 것도 당연히 있을 수 있다.

초기화 공정에 있어서는, 상술한 카메라 조정치 외에도, 조정 연산시의 연산 변수인 카메라 자세치(roll_in, pan_in, tilt_in), 조정 연산시의 차분치(roll_out, pan_out, tilt_out)등도, 하기의 식 (2)~(3)에 나타나 있는 것처럼 초기화된다 (도 13#1). 이들 각 변수가 나타내는 의미 등은 후술한다. 한편, 본 실시예에 있어서는, 카메라 조정치를 포함하여, 이것들의 변수는 롤 회전, 팬 회전, 틸트 회전에 있어서의 회전각도를 나타내는 것으로 설명한다.

〔조정 공정/회전 조정 공정(제1 조정 공정)/카메라 자세설정 공정〕

초기화 공정에 이어, 조정 공정이 실시된다. 교정 프로그램이 가지는 조정 기능에는, 회전 조정 기능과 위치조정기능이 있다. 즉, 도 13의 공정도에 나타나 있는 바와 같이 회전 조정 공정(제1조정 공정)(#10)과, 위치조정공정(제2조정 공정)(#20)이 있다. 본 실시예에서는, 우선 회전 조정 기능(제1조정 기능)이 실행된다. 회전 조정 기능의 처음에는, CPU(5)에 의하여 카메라 자세설정 기능이 실행되어, 카메라 자세가 설정된다 (도 13#2). 카메라 자세설정 기능은, 하기에 나타나는 제1좌표변화기능에 포함시켜도 좋다. 여기에서는, 회전 조정부(14)가 카메라 자세를 설정하고, 카메라 자세설정 공정(#2)이 회전 조정 공정(#10)에 포함되는 경우를 예시하고 있다. 그러나, CPU(5)와 프로그램에 의하여 카메라 자세를 설정하는 카메라 자세설정부가 구성되어도 좋다. 하기의 식(4)은, 카메라 자세의 설계치(roll, pan, tilt)를 나타낸다.

이것들은, 카메라(1)가 설계치대로 이상적으로 차량(90)에 설치되었을 경우의 회전 파라미터에서 요구되는 카메라 자세를 나타내는 값이다. 카메라 자세의 설계치(roll, pan, tilt)도, 각각, θr, θp, θt로서 각도에 의하여 정의된다. 이들은, 월드 좌표계에 기초하는 기준(ref_r, ref_p, ref_t)에 대하여 설정된다. 즉, 카메라(1)는, 월드 좌표계에 기초하는 기준(ref_r, ref_p, ref_t)에 대하여, 롤, 팬, 틸트의 각 성분에 있어서 θr, θp, θt의 각도편차를 가진 자세를 「규정 자세」로서∏ 장착되어 있다.

카메라(1)가 이상적으로 설치되어 있을 때, 이 카메라 설계치에 기초하면, 사영면∏에 있어서의 「초기좌표」에 존재하는 교정점(P1_int, P2_int)은, 검출된 교정점(Q)에 일치한다. 그러나, 실제로는 카메라(1)의 자세에는 오차가 포함되는 것이 많기 때문에, 하기의 식(5)~(7)에 나타나 있는 바와 같이 카메라 자세 설계값(roll, pan, tilt)에, 카메라 조정치(Δroll, Δpan, Δtilt)를 더하여, 카메라 자세치(roll_in, pan_in, tilt_in)이 설정된다 (도 13#2).

여기에서, 카메라 조정치(Δroll, Δpan, Δtilt)의 각 변수는, 초기값이기 때문에, 카메라 자세치는, 하기의 식(8)~(10)에 나타나 있는 바와 같이 각각, 카메라 자세의 설계치 θr, θp, θt에 설정된다.

(9)

(10)

〔조정 공정/회전 조정 공정/교정점 연산 공정(제1좌표 변환공정)〕

다음으로 CPU(5)는, 상기의 식(5)~(7) ((8)~(10))에 근거하여 공정(#2)에 있어서 설정된 카메라 자세치에 기초하여 교정점(P)을 연산한다 (도 13#3). 즉, CPU(5)는, 카메라(1)가 규정 위치에 규정 자세로 장착 되었을 때에, 사영면∏에 있어서 각각의 교정점(Q)이 특정되는 좌표인 초기좌표를 확정전 카메라 조정치 을 이용하여 변환 좌표(제1변환 좌표)로 변환하는 제1좌표 변환기능을 실행한다. 「초기좌표」에서 「변환 좌표」로의 변환은 좌표변화부(13)에 의하여 실행된다. 여기에서는, 카메라 조정치가 초기값(=Zero)이므로, 「변환 좌표=초기좌표」가 된다.

좌표 변환되는 교정점은, 교정점 특정부(12)에 의하여 특정된 교정점(Q) (Q1, Q2)과 구별하기 위하여, 교정점(P)(P1, P2)라고 칭한다. 도 14에는, 교정점 특정부 (12)에 의하여 특정된 교정점(Q) (Q1, Q2)과, 좌표변환부(13)에 의하여 변환된 교정 점(P)(P1, P2)이 사영면∏(화상좌표계)에 있어서의 점으로 나타나 있다. 교정점(Q1, Q2)의 좌표는, 각각 「실좌표」이며, 교정점(P1, P2)의 좌표는 「변환 좌표」이다. 도 14에 있어서는, 카메라 조정치가 초기값이므로, 교정점(P1, P2)은 「초기좌표」에 위치하는 이상 교정점(P1_int, P2_int)이기도 한다. 더욱, 도 14에 나타나 있는 바와 같이 카메라 자세의 설계치roll은, 월드 좌표계에 기초하는 롤 기준(ref_r)에 대하여 설정되어 있다.

〔조정 공정/회전 조정 공정/ 제1 차분치 연산 공정(회전 차분치 연산 공정)〕

도 14에 나타나 있는 바와 같이 사영면∏상에는, 실좌표인 교정점 Q1과 Q2를 연결하여 얻을 수 있는 직선인 실직선(제1실직선)L_tgt와, 변환 좌표인 교정점 P1과 P2를 이어서 얻을 수 있는 직선인 변환 직선(제1변환 직선)L_cnv를 얻을 수 있다. 도 14에 있어서는, 카메라 조정치가 초기값이므로, 변환 직선L_{cnv 이}, 초기직선L_{int 과} 일치한다. CPU(5)는, 회전 차분치 연산 기능 (제1 차분치 연산 기능, 롤 차분치 연산 기능)을 실행한다. 즉, 회전 조정부(14)의 차분치 연산부(14a)는, 실직선L_{tgt 과} 변환 직선L_cnv의 이루는 각도δroll를, 사영면∏에 직교하는 Z_C축을 중심으로 하는 롤 회전에 있어서 롤 각의 차분치roll_out으로서 연산하는 롤 차분치 연산 공정(제1 차분치 연산 공정)을 실시한다 (도 13#4).

구체적으로는, 차분치 연산부(14a)는, 변환 직선L_cnv(교정점 P1과 P2를 잇는 선분)의 중점P_{C 를} 중심으로 하고, 실직선L_{tgt 과} 변환 직선L_cnv의 이루는 각도δroll만 변환 직선L_cnv를 회전시킨다. 이에 의하여 도 15(a)에 나타나 있는 바와 같이 실직선L_{t gt}와 경사가 일치하는 보정 직선L_ans를 얻을 수 있다. 2점의 실좌표(Q1, Q2)의 사영면∏의 양쪽 축방향에 있어서의 차분은, 도 15(b)에 나타나 있는 바와 같이 보정 직선에 있어서 실좌표에 상당하는 2점의 차분(x1, y1)과 같다. 또한 도 15(b)에 나타나 있는 바와 같이 2점의 변환 좌표(P1, P2)의 사영면Π의 양쪽 축방향에 있어서의 차분은 (x2, y2)이다. 사영면Π상에 있어서, 차분(x1, y1)에 의하여 정의되는 보정 직선L_ans의 경사를 a_ans(=x1/y1), 차분(x2, y2)에 의하여 정의되는 변환 직선L_cnv의 경사를 a_cnv(=x2/y2)라고 하면, 롤 각의 차분치roll_out은 하기의 식(11)에 의하여 산출된다. 더욱이, 이 차분치roll_out은, 실직선L_tgt에 일치시키기 전의 변환 직선L_{cnv 과} 실직선L_tgt의 이루는 각도δroll과 거의 같다.

〔조정 공정/회전 조정 공정/ 제1조정치 연산 공정(회전 조정치 연산 공정)〕

롤 각의 차분치roll_out이 구해지면, 차분치roll_out에 기초하여 롤 회전에 있어서의 규정 자세(롤의 각도편차θr)로부터의 변위량이며, 카메라 조정치를 구성하는 조정치의 하나인 회전 조정치(롤 조정치)Δroll을 연산하여 카메라 조정치를 갱신하는 회전 조정치 연산 기능 (제1조정치 연산 기능, 롤 조정 연산 기능)이 실행된다. 즉, 회전 조정부(14)를 구성하는 조정치 연산부(14b)가, 롤 조정치Δroll을 연산하는 롤 조정치 연산 공정을 실시한다. 롤 조정치Δroll은, 하기의 식(12)에 나타나 있는 바와 같이 초기화 공정#1에서 설정되어, 회전 조정을 실시하기 전의 롤 조정치Δroll에 차분치roll_out를 가산하고, 롤 조정치Δroll을 갱신함으로써 요구된다 (도 13#5).

상술한 바와 같이, 롤 조정치Δroll은, 초기값(=Zero)으로 설정되어 있다. 따라서, 이 단계에서는, 롤 조정치Δroll로서, 차분치 연산에 의하여 요구된 차분치roll_out가 설정된다. 이에 따라 카메라 조정치(Δroll, Δpan, Δtilt)의 각 변수는, 하기의 식 (13)처럼 갱신 된다.

〔조정 공정/위치조정공정(제2 조정 공정)/카메라 자세설정 공정〕

CPU(5)는, 회전 조정 기능의 실행에 이어서, 위치조정기능(제2 조정 기능)을 실행한다. 사영면Π과 동일한 평면상에 있어서의 회전(롤 회전)을 조정하는 회전 조정 공정에 이어, 사영면Π과 동일한 평면상에서의 위치 어긋남을 조정하는 위치조정공정이 위치 조정부(15)에 의하여 행하여진다. 위치조정에 앞서, 회전 조정의 결과를 반영한 좌표변환(교정점 연산)을 행하기 위하여 카메라 자세치(roll_in, pan_in, tilt_in)가 다시 설정된다 (도 13#6). 즉, 회전 조정 기능의 실행 개시시 와 마찬가지로, 위치조정기능의 실행 개시시에는, CPU(5)에 의하여 카메라 자세설정 기능이 실행되어, 카메라 자세가 설정된다. 이 카메라 자세설정 기능은, 하기에 나타내는 제2좌표 변환기능에 포함시켜도 좋다. 상술한 식(8)~(10) 가운데, 위치 어긋남에 관한 카메라 조정치(pan_in, tilt_in)는, 변경이 없으므로 재설정되지 않고, 회전 조정치roll_out에 관한 식(8)만이, 식(14)처럼 재설정된다.

카메라 자세설정 공정은, 도 13의 #2의 공정과 마찬가지로, 도면에 나타나 있지 않은 카메라 자세설정부를 행하여도 좋고, 위치 조정부(15)를 행하여도 좋다. 여기에서는, 위치 조정부(15)에 의하여 행하여져, 카메라 자세설정 공정(도 13#6)이 위치조정공정(도 13#20)에 포함되는 경우를 예시하고 있다.

〔조정 공정/위치조정공정/교정점 연산 공정(제2 좌표변환공정)〕

다음으로 CPU(5)는, 상기의 식(14), (9), (10)에 기초하여 공정#6에 있어서 재설정된 카메라 자세치(roll_in, pan_in, tilt_in)에 기초하여 교정점 P1 및 P2를 재계산한다 (도 13#7). 즉, CPU(5)는, 회전 조정치 연산 기능의 실행에 의하여 갱신된 확정전의 카메라 조정치를 이용하여 초기좌표를 변환좌표(제2 변환좌표)로 변환하는 제2 좌표변환기능을 실행한다. 이 변환은, 좌표변환부(13)에 의하여 실행된다. 도 16에는, 교정점 특정부(12)에 의하여 특정된 교정점(Q) (Q1, Q2)과, 제2 좌표변환공정에 있어서 요구된 교정점 P (P1, P2)가 사영면Π(화상좌표계)에 있어서의 점으로서 나타나 있다. 또한 도 16에는, 교정점 P1, P2를 연결하여 얻을 수 있었던 변환 직선L_cnv 및 실직선L_tgt도 나타나 있다.

〔조정 공정/위치조정공정/수평위치조정공정과 수직위치조정공정〕

사영면Π과 동일한 평면상에 있어서의 위치 어긋남은, 도 5에 나타나 있는 바와 같이 사영면Π의 화상좌표계가 2차원이므로, 2개의 축을 이용하여 정의할 수 있다. 즉, 도 16에 나타나 있는 바와 같이 사영면Π에 있어서의 y방향과 x방향의 편차량에 의하여 정의할 수 있다. 도 16에 있어서, 점P_C는 변환 직선의 선분의 중점, 즉 변환 좌표(제2 변환 좌표)의 중점을 나타낸다. 또한 점Q_C는 실직선의 선분의 중점, 즉 실좌표의 중점을 나타낸다. 예를 들면 경사를 유지한 채로 변환 직선L_cnv를 X축의 편차량 분만 화살표 A방향으로 이동시키고, y축의 편차량 분만 화살표 B방향으로 이동시키면, 변환 직선L_cnv는 화살표 C방향으로 이동한 것이 되고, 실직선L_tgt와 변환 직선L_cnv는 일치한다.

위치조정공정(제2 조정공정)에 있어서, 한번에 화살표 C방향으로의 이동을 실시 하는 것도 가능하지만, 본 실시예에서는 화살표 A방향으로의 이동과, 화살표 B방향으로의 이동의 2단계로 나누어서 실시한다. 도 1, 도 4, 도 5에 분명하게 나타나 있는 바와 같이, 수평방향은 화상좌표계의 y축 방향이며, 수직방향은 화상좌표계의 X축 방향이다. 본 실시예에 있어서는, 도 13에 나타나 있는 바와 같이 위치조정공정(#20)을 수평위치조정공정(#8a, #9a)과 수직위치조정공정(#8b, #9b)으로 나누어서 실시한다. 본 실시예에 있어서는, CPU(5)는, 도 13에 파선화살표로 나타낸 바와 같이 수평위치조정기능을 실행한 후, 수직위치조정기능을 실행한다. 당연하지만, 수직위치조정기능을 실행한 후에, 수평위치조정기능을 실행하는 것도 가능하다. 더욱이, 수평(#8a) 및 수직(#8b)의 위치 차분치 연산 기능(위치 차분치 연산 공정(#8))을 실행한 후에, 수평(#9a) 및 수직(#9b)의 위치 조정치 연산 기능(위치 조정치 연산 공정(#9))을 실행하는 것도 가능하다.

교정 장치(10)의 위치 조정부(15)는, 수평위치 조정부(16)와 수직위치 조정부(17)로 구성되어 있다. 또한 수평위치 조정부(16)는, 회전 조정부(14)와 마찬가지로, 차분치 연산부(16a)와 조정치 연산부(16b)로 구성되어 있다. 마찬가지로, 수직위치 조정부(17)도, 차분치 연산부(17a)와 조정치 연산부(17b)로 구성되어 있다. 수평위치 조정부(16)에 의하여 수평위치조정공정이 실시되고, 수직위치 조정부(17)에 의하여 수직위치조정공정이 실시된다.

상술한 바와 같이, 회전 차분치 연산 공정(도 13#4)에 있어서, 중점P_C를 중심으로 하여 변환 직선L_cnv를 회전시켜 보정 직선L_ans를 연산하였다. 따라서, 중점P_C의 좌표는 변동하고 있지 않고, 변환 직선L_cnv의 중점P_C은, 초기직선L_int의 중점과 동일좌표라고도 생각할 수 있다. 다만, 위치조정공정(#20)의 첫머리에 있어서, 롤 조정치Δroll을 재설정하여 두 번째 변환 직선L_cnv를 요구하고 있다.

도 5에 나타나 있는 바와 같이 카메라 자세치의 롤 성분roll_in은, 화상좌표계의 원점(O_I)을 중심으로 하는 회전을 규정한다. 도 5에 있어서의 좌표(m)를 사영면∏상의 교정점(P)으로서 생각하면, 회전중심은, 중점(P_C)가 아니라, 원점(O_I)이기 때문에, 다시 변환된 변환 직선L_cnv의 중점은, 초기직선L_int의 중점과 반드시 동일한 좌표가 되지는 않는다. 이 때문에, 위치조정공정(#20)에 있어서, 점(P_C)과 점(Q_C)를 일치시킨 경우에, 롤 회전의 오차를 초래할 가능성이 있다. 이처럼, 회전 조정 공정(#10)과 위치조정공정(#20)은, 서로 영향을 미친다. 따라서, 교정 장치(10)는, 카메라 조정치를 수정하면서, 회전 조정 공정(#10)과 위치조정공정(#20)을 반복하여 실시하고, 카메라 조정치를 수속시킨다.

본 실시예에서는 회전 조정 공정(#10) 후에 위치조정공정(#20)을 실시한다고 하는 소정의 순서로 카메라 조정치의 조정을 행하고 있다. 이 순서는, 조정에 의하여, 다른 파라미터에 주는 영향이 큰 파라미터의 조정을 먼저 행한다고 하는 조건을 바탕으로 설정된다. 하나의 축의 조정이, 다른 축에 대한 변위량에 미치는 영향의 크기는, 3개의 축에 있어서 공통된 것이 아니다.

제2조정부(15)는, 제1조정부(14)의 조정 결과가 반영되어 실행된다. 따라서, 제2조정부(15)에 의한 조정에 기인하고, 제1조정부(14)의 조정 결과가 크게 변동하면, 제1조정부(14)에 의한 조정이 쓸모 없어진다. 그 결과, 제1조정부(14)와 제2조정부(15)에 반복하여 조정을 행하여도, 카메라 조정치를 수속할 수 없는 가능성도 생긴다. 이 때문에, 제1조정부(14)에 의한 조정이, 제2조정부(15)의 조정 결과에 미치는 영향이 상대적으로 커지는 것처럼, 제1조정부(14)와 제2조정부(15)가 조정하는 축이 설정되는것이 바람직하다. 즉 제1조정부(14)에 의한 조정 후의 제2조정부(15)에 의한 조정에 의하여 생기는 재조정 오차가, 제2조정부(15)에 의한 조정 후의 제1조정부(14)에 의한 조정에 의하여 생기는 재조정 오차보다도 작아지는 것과 같이, 제1조정부(14)에 있어서 조정되는 축이 설정되는 것이 바람직하다.

본 실시예와 같은 차량에 탑재되는 카메라(1)의 경우에는, 롤의 조정이, 팬, 틸트에 주는 영향이 크다. 상술한 바와 같이, 롤의 조정 시에는, 변환 직선L_cnv의 중점(P_C)을 중심으로 한 사영면∏의 회전량을 연산하지만, 실제로는, 롤의 변위량은 화상좌표계의 원점(O_I)을 중심으로 한 회전량인 것도 원인의 하나이다. 본 실시예에 있어서는, 이러한 배경으로 비추어 보아, 제1조정부(14)를 회전 조정부(14)로서, 롤 각의 조정을 행하고, 제2조정부(15)를 위치 조정부(15)로서, 팬 각 및 틸트 각의 조정을 행한다.

〔조정 공정/위치조정공정/수평위치(팬)조정 공정/차분치 연산 공정〕

상술한 바와 같이, 본 실시예에서 CPU(5)는, 먼저 수평위치조정기능(팬 조정 기능)을 실행한다. CPU(5)는, 위치 차분치 연산 기능(제2 차분치 연산 기능)의 하나인 수평위치 차분치 연산 기능(팬 차분치 연산 기능)을 실행한다. 즉 제2 차분치 연산 공정의 하나인 수평위치 차분치 연산 공정(팬 차분치 연산 공정)이 실시된다 (도 13#8a).

도 17의 상단에는, 도 16과 마찬가지로, 사영면∏을 카메라 좌표계의 Z_C축에 따른 방향에서 본 경우, 즉 사영면∏에 대향하여 본 경우의 모양이 나타나 있다. 카메라 좌표계의 Y_C-X_C평면에 있어서의 좌표를 나타내고 있다고도 할 수 있다. 도 17에 나타나 있는 바와 같이 수평위치 조정부(16)의 차분치 연산부(16a)는, 실직선L_tgt의 중점Q_C의 y좌표y_tgt에 변환 직선L_cnv의 중점P_C의 y좌표y_cnv를 일치시킨다. 이에 의하여 도 17에 나타나 있는 바와 같이 실직선L_tgt와 y좌표가 일치하는 보정 직선L_ans를 얻을 수 있다. 보정 직선L_ans의 중점R_C의 y좌표y_ans는, 실직선L_tgt의 중점Q_C의 y좌표y_tgt와 일치한다.

도 17의 하단에는, 사영면∏을 카메라 좌표계의 X_C축에 따른 방향에서 본 경우, 즉 사영면∏의 면방향에 따른 방향에서 본 경우의 모양이 나타나 있다. 카메라 좌표계의 Y_C-Z_C평면에 있어서의 좌표를 나타내고 있다고도 할 수 있다. 여기에서, 사영면∏은, 화상좌표계의 y축에 상당하는 직선으로 나타나고 있고, 교정점 P나 Q, 중점P_C, Q_C, R_C는, y좌표성분에 의하여, 사영면∏을 나타내는 직선상에 표시(plot)되어 있다. 또한 사영면∏을 나타내는 직선상에는, 화상좌표계에 있어서의 원점O_I도 표시되어 있다.

도 17에 나타나 있는 바와 같이 카메라 좌표계에 있어서, 카메라 좌표계의 원점O_C과 사영면∏상의 2개의 실좌표의 중점Q_C을 연결하는 직선을 제2실직선L_tgt2이라고 한다. 수평위치조정공정에 있어서는, 수평방향만 주목하고 있기 때문에, 카메라 좌표계의 Y_C-Z_C평면에 있어서는, 보정 직선L_ans의 중점R_C과 카메라 좌표계의 원점O_C을 잇는 직선L_ans2은, 제2실직선L_tgt2과 일치한다. 또한 카메라 좌표계에 있어서, 원점O_C과 사영면∏상의 2개의 변환 좌표(제2 변환 좌표)의 중점P_C를 연결는 직선을 제2변환 직선L_cnv2이라고 칭한다.

차분치 연산부(16a)는, 카메라 좌표계의 Y_C-Z_C평면에 있어서, 제2실직선L_tgt2과 제2 변환 직선L_cnv2이 이루는 각도를, 사영면∏에 평행한 카메라 좌표계의 한 쪽 축인 Xc축을 중심으로 하는 팬 회전에 있어서의 팬 각의 차분치pan_out로서 연산한다 (도 13#8a).

화상좌표계에 있어서의 원점O_I은, 도 5에 나타나 있는 바와 같이 카메라 좌표계의 Z_C축과 사영면∏이 직교하는 점이다. 또한 화상좌표계의 원점O_I과 카메라 좌표계의 원점O_C는, 초점거리(f)만이 떨어져 있다. 화상좌표계의 y축 방향, 즉 촬상소자의 v축방향에 있어서의 단위길이당 화소수를 kv라고 하면, 초점거리(f)를 촬상소자 v방향의 단위길이당 화소수에 의하여 환산한 y축 스케일 팩터S_y는, 하기의 식 (15)에 나타나 있는 바와 같이 단위길이당 화소수kv와 초점거리(f)의 곱이 된다.

수평위치 조정부(16)의 차분치 연산부(16a)는, 화상좌표계의 원점O_I의 y좌표y_C, 변환 직선L_cnv의 중점P_C의 y좌표y_cnv, 실직선L_tgt의 중점Q_C의 y좌표y_tgt(보정 직선L_ans의 중점R_C의 y좌표y_ans)와 스케일 팩터Sy에 기초하여 제2실직선L_tgt2과 제2변환직선L_cnv2이 이루는 각도를 팬 각의 차분치pan_out로서 연산한다 (도 13#8a). 구체적으로는, 하기의 식(16)에 나타내는 연산이 실행되어, 팬 각의 차분치pan_out가 산출된다.

〔조정 공정/위치조정공정/수평위치조정공정/조정치 연산 공정〕

차분치pan_out가 구해지면, CPU(5)는, 위치 조정치 연산 기능(제2 조정치 연산 기능)의 하나인 수평위치조정치 연산 기능(팬 조정치 연산 기능)을 실행한다. 즉, 위치 조정치 연산 공정(제2 조정치 연산 공정)의 하나인 수평위치조정치 연산 공정(팬 조정치 연산 공정)이 행하여진다(도 13#9a).

CPU(5)는, 차분치pan_out에 기초하여 팬 회전에 있어서의 규정 자세(팬의 각도편차θp)로부터의 변위량이며, 카메라 조정치를 구성하는 조정치의 하나인 위치조정치 중 수평위치조정치(팬 조정치)Δpan을 연산하여 카메라 조정치를 갱신하는 수평위치조정치 연산 기능을 실행한다. 위치 조정부(15)를 구성하는 수평위치 조정부(16)의 조정치 연산부(16b)는, 하기의 식(17)에 나타나 있는 바와 같이 수평위치조정을 실시하기 전의 팬 조정치Δpan에 차분치pan_out를 가산하여, 팬 조정치Δpan를 갱신한다 (도 13#9a).

상술한 바와 같이, 팬 조정치Δpan는, 초기값(=Zero)으로 설정되어 있으므로, 이 단계에서는, 팬 조정치Δpan로서, 교정점 연산시의 차분치pan_out가 설정된다. 이에 따라 카메라 조정치(Δroll, Δpan, Δtilt)의 각 변수는, 하기의 식(18)과 같이 갱신 된다.

〔조정 공정/위치조정공정/수직위치(틸트)조정 공정/차분치 연산 공정〕

수평위치조정에 이어서, CPU(5)는, 위치조정기능(제2조정 기능)의 하나인 수직위치조정기능(틸트 조정 기능)을 실행한다. CPU(5)는, 위치 차분치 연산 기능(제2차분치 연산 기능)의 하나인 수직위치 차분치 연산 기능(틸트 차분치 연산 기능)을 실행한다. 즉 제2차분치 연산 공정의 하나인 수직위치 차분치 연산 공정(틸트 차분치 연산 공정)이 실시된다 (도 13#8b).

본 실시예에서는 수직위치조정에 있어서도, 수평위치조정 전에 좌표변환에 의하여 설정된 변환 직선L_cnv이 이용되는 경우를 예로서 설명한다. 즉, 상기의 식(14), (9), (10)에 기초하여 공정#6에 있어서 재설정된 카메라 자세치(roll_in, pan_in, tilt_in)에 기초하여 좌표변화부(13)에 의해 연산된 교정점 P1 및 P2를 연결하여 얻을 수 있었던 변환 직선L_cnv이 이용된다. 도 18의 좌측에는 사영면∏을 카메라 좌표계의 Z_C축에 따른 방향에서 본 도면, 즉 사영면∏에대향하여 본 경우의 모양이 나타나 있다. 카메라 좌표계의 Y_C-X_C평면에 있어서의 좌표를 나타내고 있다고도 할 수 있다. 여기에서는, 변환 직선L_cnv이 파선으로, 실직선L_tgt이 실선으로 나타나 있다.

도 16을 이용하여 상술한 바와 같이, 사영면∏과 동일한 평면상에 있어서의 위치의 어긋남은 사영면∏에 있어서의 y방향과 x방향의 편차량에 의하여 정의할 수 있다. 본 실시예에서는 한번에 도 16에 나타내는 화살표 C방향으로의 이동을 실시하지 않고, 화살표 A방향으로의 이동과, 화살표 B방향으로의 이동 2단계로 나누어서 실시하고 있다. 화살표 A방향의 이동은, 화상좌표계의 y축 방향에 따른 수평방향의 이동이며, 이것은, 상술한 바와 같이 수평위치조정공정에 있어서 수평위치 조정부(16)에 의하여 실행되고 있다. 따라서, 이하에는 수직위치 조정부(17)에 의하여 실시되는 수직위치조정공정에 관하여 설명한다.

도 18의 좌측에 나타나 있는 바와 같이 수직위치 조정부(17)의 차분치 연산부 (17a)는, 실직선L_tgt의 중점Q_C의 X좌표x_tgt에 변환 직선L_cnv의 중점P_C의 X좌표x_cnv를 일치시킨다. 이에 의하여 도 18에 나타나 있는 바와 같이 실직선L_tgt와 X좌표가 일치하는 보정 직선L_ans을 얻을 수 있다. 보정 직선L_ans의 중점R_C의 X좌표x_ans는, 실직선L_tgt의 중점Q_C의 X좌표x_tgt와 일치한다.

한편, 수평위치조정공정(도 13#8a, #9a)에 있어서 중점의 X좌표x_cnv는 변경하고있지 않다. 따라서, 수평위치조정공정의 보정 직선L_ans을 수직위치조정공정의 변환 직선L_cnv으로서, 여기에서부터 수직위치조정공정의 보정 직선L_ans을 요구하는 것도 가능하다. 이렇게 하면, 수직위치조정공정에 있어서의 보정 직선L_ans의 중점R_C의 좌표(x_ans, y_ans)와 실직선L_tgt의 중점Q_C의 좌표(x_tgt, y_tgt)가 일치한다. 즉, 수직위치조정공정에 있어서 보정 직선L_{a ns}과 실직선L_tgt가 일치 하게 된다. 여기에서는, 이해를 돕기 위해서, 도 16에 나타난 변환 직선L_cnv을 이용하여 수직위치조정을 실행하는 예를 설명한다. 이에 따라 수평위치조정 및 수직위치조정의 어느 것을 먼저 실행하여도 문제가 없다는 것이 명확해진다.

게다가, 수평위치조정공정(#8a, #9a) 후, 수직위치조정공정(#8b, #9b) 전에 다시 좌표변환을 행하고, 변환 좌표를 구해놓을 수도 있다. 그러나, 수평, 수직의 위치조정을 어떤 순서로 실시하여도 같다는 것으로부터 분명한 것처럼, 여기에서 좌표변환을 실시하는 효과는 높지 않다. 따라서, 좌표변환의 빈도를 늘리지 않고, 연속해서 수평, 수직의 위치조정을 실시하는 편이 바람직하다.

도 18의 우측에는, 사영면∏을 카메라 좌표계의 Y_C축에 따른 방향에서 본 경우, 즉 사영면∏의 면방향에 따른 방향에서 본 경우의 모양이 나타나 있다. 카메라 좌표계의 X_C-Z_C평면에 있어서의 좌표를 나타낸다고도 할 수 있다. 여기에서, 사영면∏은, 화상좌표계의 X축에 상당하는 직선에 나타나 있고, 교정점 P나 Q, 중점P_C, Q_C, R_C은, X좌표성분에 의하여, 사영면∏을 나타내는 직선상에 표시되어 있다. 또한 사영면∏을 나타내는 직선상에는, 화상좌표계에 있어서의 원점O_I도 표시되어 있다.

도 17에 기초하여 상술한 바와 같이, 도 18에 있어서도, 카메라 좌표계에 있어서, 카메라 좌표계의 원점O_C과 사영면∏상의 2개의 실좌표의 중점Q_C을 연결하는 직선을 제2실직선L_tgt2이라고 칭한다. 수직위치조정공정에 있어서는, 수직방향만에 주목하고 있기 때문에, 카메라 좌표계의 X_C-Z_C평면에 있어서는, 보정 직선L_ans의 중점R_C과 카메라 좌표계의 원점O_C을 연결하는 직선L_ans2은, 제2실직선L_tgt2과 일치한다. 또한 카메라 좌표계에 있어서, 원점O_C와 사영면∏상의 2개의 변환 좌표(제2변환 좌표)의 중점P_C을 연결하는 직선을 제2변환 직선L_cnv2이라고 칭한다.

차분치 연산부(17a)는, 카메라 좌표계의 X_C-Z_C평면에 있어서, 제2실직선L_tgt2과 제2변환 직선L_cnv2이 이루는 각도를, 사영면∏에 평행한 카메라 좌표계의 한 쪽 축인 Yc축을 중심으로 하는 틸트 회전에 있어서의 틸트 각의 차분치 tilt_out로서 연산한다 (도 13#8b).

원점O_I은, 도 5에 나타나 있는 바와 같이 카메라 좌표계의 Z_C축과 사영면∏이 직교하는 점이며, 카메라 좌표계의 원점O_C과 초점거리(f)만 떨어져 있다. 화상좌표계의 X축방향, 즉, 촬상소자의 u축방향에 있어서의 단위길이당 화소수를 k_u 라고 하면, 초점거리(f)를 촬상소자의 u방향의 단위길이당 화소수에 의하여 환산한 X축의 스케일 팩터(Sx)는, 하기의 식(19)에 나타나 있는 바와 같이 단위길이당 화소수k_u와 초점거리(f)의 곱이 된다.

수직위치 조정부(17)의 차분치 연산부(17a)는, 화상좌표계의 원점O_I의 X좌표x_C, 변환 직선L_cnv의 중점P_C의 X좌표x_cnv, 실직선L_tgt의 중점Q_C의 X좌표x_tgt(보정 직선L_ans의 중점R_C의 X좌표x_ans)와 스케일 팩터(Sx)에 기초하여 제2실직선L_tgt2과 제2변환 직선L_cnv2이 이루는 각도를 틸트 각의 차분치tilt_out로서 연산한다 (도 13#8b). 구체적으로는, 하기의 식(20)에 나타나는 연산이 실행되어, 틸트 각의 차분치tilt_out가 산출된다.

〔조정 공정/위치조정공정/수직위치(틸트)조정 공정/조정치 연산 공정〕

차분치tilt_out가 구해지면, CPU(5)는, 위치조정치 연산 기능(제2조정치 연산 기능)의 하나인 수직위치조정치 연산 기능(틸트 조정치 연산 기능)을 실행한다. 즉, 도 13#9b에 나타나 있는 바와 같이 위치조정치 연산 공정(제2조정치 연산 공정)의 하나인 수직위치조정치 연산 공정(틸트 조정치 연산 공정)이 행하여진다.

CPU(5)는, 틸트 각의 차분치tilt_out에 기초하여 틸트 회전에 있어서의 규정 자세(틸트의 각도편차θt)로부터의 변위량이며, 카메라 조정치를 구성하는 조정치의 하나인 위치조정치 가운데 수직위치조정치(틸트 조정치)Δtilt를 연산하여 카메라 조정치를 갱신하는 수직위치조정치 연산 기능을 실행한다. 위치 조정부(15)를 구성하는 수직위치 조정부(17)의 조정치 연산부(17b)는 하기의 식(21)에 나타나 있는 바와 같이 수직위치조정을 실시하기 전의 틸트 조정치Δtilt에 차분치tilt_out를 가산하여, 틸트 조정치Δtilt를 갱신한다 (도 13#9b).

상술한 바와 같이, 틸트 조정치Δtilt는, 초기값(=Zero)으로 설정되어 있으므로, 이 단계에서는, 틸트 조정치Δtilt로서, 틸트 각의 차분치tilt_out가 설정된다. 이에 따라 카메라 조정치(Δroll, Δpan, Δtilt)의 각 변수는, 하기의 식(22)과 같이 갱신된다.

한편, 상기 설명에 있어서는, 수평위치 차분치 연산 기능, 수평위치조정치 연산 기능, 수직위치 차분치 연산 기능, 수직위치조정치 연산 기능의 순서로 실행되는 경우를 예시하였다. 그러나, 수평위치 차분치 연산 기능에 이어서 수직위치 차분치 연산 기능이 실행되도록 구성된 위치 차분치 연산 기능이 실행되고, 계속해서, 수평위치조정치 연산 기능에 이어 수직위치조정치 연산 기능이 실행되도록 구성된 위치조정치 연산 기능이 실행 되는것이 바람직하다. 또한 수평방향과 수직방향의 조정을 각각 실시 하지 않고, 제2실직선L_{tg t2}과 제2변환 직선L_cnv2이 이루는 3차원상의 각도(입체각)를 구하고, 입체각의 성분을 분해하고, 차분치pan_out 및 tilt_out을 연산하는 위치 차분치 연산 기능이 실행 되는것이 바람직하다.

〔조정 공정/조정 완료 판정 공정〕

이처럼, 카메라 조정치(Δroll, Δpan, Δtilt)의 각 변수가 한차례 연산되면, 조정 완료 판정부(18)는, 카메라(1)의 조정이 완료되었는지 여부를 판정한다. 상술한 바와 같이, 조정 공정은 카메라 조정치를 수정하면서 반복적으로 행하여지므로, 조정 완료 판정부(18)는, 반복 연산을 완료시킬 것인가 아닌가를 판정한다. 구체적으로는, 조정 완료 판정부(18)는, 회전 조정부(14) 및 위치 조정부(15)에 있어서 연산된 차분치(roll_out, pan_out, tilt_out)가, 각각 소정의 완료 한계치 미만일 경우에, 카메라 조정치의 조정이 완료되었다고 판정한다.

회전 조정부(14)에 있어서 연산되는 롤 회전의 차분치roll_out에 대한 완료 한계치는, 롤 조정 한계치(회전 조정 한계치)roll_th이다. 위치 조정부(15)에 있어서 연산되는 팬 회전의 차분치pan_out에 대한 완료 조정 한계치는, 위치조정 한계치의 하나인 팬 조정 한계치(수평위치조정 한계치)pan_th이다. 위치 조정부(15)에 있어서 연산되는 틸트 회전의 차분치tilt_out에 대한 완료 조정 한계치는, 위치조정 한계치의 하나인 틸트 조정 한계치(수직위치조정 한계치)tilt_th이다. 이들 3개의 한계치는, 개별값을 설정할 수 있지만, 당연히 동일한 값에 설정되는 것을 막는 것은 아니다. 조정 완료 판정부(18)는, 하기에 나타나는 논리식(23)이 참일 경우에, 카메라(1)의 조정이 완료되었다고 판정한다 (도 13#30).

한편, 이들 완료 한계치는, 본 발명의 기준변위량에 상당한다. 본 발명의 제1조정부에 상당하는 회전 조정부(14)에서는, 제1변환 좌표와 실좌표를 이용하고, 차분치roll_out를 연산한다. 차분치roll_out는, 제1변환 좌표와 실좌표의 변위량을 롤 각에 의하여 나타낸 것이다. 마찬가지로, 본 발명의 제2조정부에 해당하는 위치 조정부(15)에서는, 제2변환 좌표와 실좌표를 이용하고, 차분치pan_out, tilt_out를 연산한다. 차분치pan_out, tilt_out는, 제2변환 좌표와 실좌표의 변위량을 각각 팬 각 및 틸트 각으로 나타낸 것이다. 차분치roll_out, pan_out, tilt_out에 대한 완료 한계치인 롤 조정 한계치roll_th, 팬 조정 한계치pan_th, 틸트 조정 한계치tilt_th는, 각각 본 발명의 기준변위량에 상당한다. 따라서, 조정 완료 판정부(18)는, 제1조정부(14) 및 제2조정부(15)에 있어서의 조정시의 변환 좌표와 실좌표의 변위량이 각각 소정의 기준변위량 미만일 경우에, 카메라 조정치(Δroll, Δpan, Δtilt)의 조정이 완료되었다고 판정하는 기능부이다.

교정 장치(10)는, 공정#30에 있어서 「참」이 될 때까지, 도 13에 나타난 공정도의 공정#2~#30을 반복적으로 행하여 카메라(1)를 교정한다. 도 13의 #30의 공정에 있어서 「참」이라고 판정되면 반복을 완료하고, 루프를 뺀다. 예를 들면 도 14~도 18을 참조하여 상술한 공정은, 이 반복 연산의 최초의 흐름을 모의한 것이다. 조정 개시시이므로, 이 시점에 있어서의 차분치roll_out, pan_out, tilt_out는, 비교적 큰 값을 가진 것이 많다. 따라서, 많은 경우 공정#30에 있어서 「거짓」판정이 되고, 두 번째 루틴(routine)이 개시된다.

즉, CPU(5)는, 회전 차분치 연산 기능 및 위치 차분치 연산 기능의 실행에 의하여 연산된 차분치(roll_out, pan_out, tilt_out)가, 각각 소정의 완료 한계치(roll_th, pan_th, tilt_th)미만인 것을 카메라 조정치의 조정 완료 조건으로서 판정을 행하고, 완료 조건을 만족시키지 않는 경우, CPU(5)는, 제1좌표변환기능, 회전 차분치 연산 기능, 회전 조정치 연산 기능, 제2좌표변화기능, 위치 차분치 연산 기능, 위치조정치 연산 기능을 반복 실행하여, 완료 조건을 만족시키는 경우에는, 반복 실행을 완료시켜서 다음 기능을 실행시키는 조정 완료 판정 기능을 실행한다.

〔조정 공정의 반복〕

공정#30에 있어서 「거짓」판정이 되면, 다시 공정#2가 실행된다. 전회는, 카메라 조정치(Δroll, Δpan, Δtilt)가 식 (1)에 나타나 있는 바와 같이 모두 제로이므로, 교정점 연산시의 카메라 자세치(roll_in, pan_in, tilt_in)는, 식 (2)에 나타나 있는 바와 같이 카메라 자세의 설계값(roll, pan, tilt)과 등가였다. 그러나, 공정#2의 2회째 이후의 실행시에는, 하기의 식 (24)~(26)에 나타나 있는 바와 같이 전회까지의 일련의 공정(공정#10 및 공정#20)에 의하여 연산된 카메라 조정치(Δroll, Δpan, Δtilt)를 이용할 수 있다.

(25)

(26)

다음으로 공정#3에 있어서, 제1좌표변환기능이 실행된다. 상기의 식 (24)~(26)에 나타나 있는 바와 같이 1회째의 조정을 거친 후의 공정#2에 있어서 설정된 카메라 자세치(roll_in, pan_in, tilt_in)를 이용하여 변환된 변환 좌표(P)는, 1회째의 변환 좌표(P)보다도 실좌표(Q)에 근접해 있을 것이다. 상술한 바와 같이, 1회째의 일련의 조정에 있어서도 회전 조정은 되어 있지만, 롤 회전의 회전중심이 다른 것이나, 그 후에 위치조정이 실행 되는 것에 의해, 다시 롤 회전의 오차가 생기는 경우가 있다. 이 때문에, 변환 좌표(P)는, 1회째의 조정에 의하여 실좌표(Q)에 근접해 있기는 하지만 일치한다고는 할 수 없다.

공정#3에 이어서 공정#4가 실시되어, 롤 회전에 있어서의 차분치roll_out가 식(11)에 기초하여 산출된다. 차분치roll_out가 구해지면, 다음으로 공정#5에 있어서, 식(12)에 나타나 있는 바와 같이 현시점에서의 롤 조정치Δroll에 차분치roll_out를 가산하여 새로운 롤 조정치Δroll가 연산, 갱신된다.

다음으로 공정#6에 있어서 새로운 롤 조정치Δroll를 이용하여, 롤에 관한 카메라 자세치roll_in가 재설정된다. 새로운 롤 조정치를 Δroll_NEW라고 하면, 카메라 자세치(roll_in, pan_in, tilt_in)는, 하기의 식 (27) 및 상기 식 (25), 식(26)에 의하여 정의된다.

다음으로 공정#7에 있어서, 식(25)~식(27)에 기초하여 정의된 카메라 자세치(roll_in, pan_in, tilt_in)에 기초하여 교정점(P)이 산출된다. 게다가, 공정#8의 위치조정이 실시되어, 위치조정시의 차분치pan_out 및 tilt_out가 상기 식 (16) 및 식 (20)에 기초하여 산출된다. 또한 이들 차분치pan_out 및 tilt_out을 이용하여 공정#9가 실행되고, 상기 식 (17) 및 식 (21)에 기초하여 위치조정치Δpan, Δtilt가 산출, 갱신된다.

〔조정 공정/조정 완료 판정 공정〕

모든 카메라 조정치(Δroll, Δpan, Δtilt)가 한차례 재연산되면, 조정 완료 판정부(18)는, 카메라 조정치의 조정이 완료되었는지 아닌지를 판정한다. 여러 차례, 공정#2~#9이 되풀이됨으로써, 점차 실좌표(Q)와 변환 좌표(P)가 가까워 진다. 따라서, 회전 조정 공정(#10) 및 위치조정공정(#20)에 있어서 산출되는 차분치roll_out, pan_out, tilt_out도, 회수를 거듭하면서 점차 작아져, 수속해 간다. 여기에서는, 2회의 반복에 의하여, 실좌표(Q)와 변환 좌표(P)가, 거의 일치하는 정도까지 근접하였다고 가정한다. 그 결과, 상기 논리식 (23)은 「참」이 되고, 다음 공정으로 이행한다. 한편, 도 13의 공정도에는 도면에는 나타나 있지 않으나, 공정#30이 「거짓」이어도, 소정 회수에 걸쳐 반복 연산이 실행되었을 경우에는, 프로그램의 무한 루프를 억제하기 위하여, 조정 완료 판정부(18)는 조정 완료라고 판정하고, 다음 공정으로 이행시킨다.

〔확인 좌표 연산 공정〕

조정 완료 판정부(18)에 의하여, 반복 연산의 완료가 판정된 시점에 있어서의 카메라 조정치(Δroll, Δpan, Δtilt)는, 초기값으로부터 수정을 더해온 것이며, 수시로 회전 조정 공정이나 위치조정공정에서 사용되어 왔다. 그러나, 이들 카메라 조정치(Δroll, Δpan, Δtilt)는, 확정된 값이 아니고, 확정전의 임시 카메라 조정치(미확정 카메라 조정치)이다. 즉, CPU(5) 내의 소정의 레지스터(register)나 RAM(random access memory) 등의 작업 영역에 일시적으로 기억되어 있는 값이다.

여기에서, CPU(5)는, 임시 카메라 조정치를 이용하여 초기좌표를 확인 좌표로 보정하는 확인 좌표 연산 기능을 실행하면 알맞다. 즉, 좌표변화부(13)는, 임시 카메라 조정치를 이용하여 보정된 카메라 파라미터(회전 파라미터)에 의하여, 교정점(Q)의 월드 좌표계의 3차원 좌표치를 2차원 사영면∏상의 좌표치로 변환한다. 이에 따라 자동조정 완료시의 임시 카메라 파라미터(미확정 카메라 파라미터)를 이용하여 구해진 이론상 교정점(Q)의 좌표치가 확인 좌표로서 연산된다.

〔조정 완료 확인 공정〕

확인 좌표가 연산되면, CPU(5)는, 확인 좌표의 위치를 촬영 화상상에서 명시하는 확인 마커를 그래픽 화상으로서 촬영 화상에 중첩 시켜 표시부에 표시시키는 조정 완료 확인 기능을 실행한다. 즉, HMI제어부(20)의 표시 제어부(201)는, 도 19에 나타나 있는 바와 같이 화상처리 모듈 2를 통하여 모니터 장치(4)의 표시부(4a)에, 그래픽 화상으로서 마커 테두리(H) (확인 마커)나 터치 버튼을 촬영 화상에 중첩하여 표시시킨다. 마커 테두리(H)는, 조정이 바로 완료된 경우에, 그 테두리 내에 마커(80)가 표시되는 위치에 설정되어 있다. 확인 좌표는, 마커 테두리(H)의 중앙 좌표가 된다. 마커 테두리(H)의 각 변은, 마커(80)가 마커 테두리(H)의 중앙에 있는 경우에, 화상좌표계에 있어서 마커(80)의 각 변과 2~5화소의 여유를 가지도록 설정되면 바람직하다. 마커 테두리(H)는, 카메라 조정치(Δroll, Δpan, Δtilt)에 주어진 조정 허용차에 상당하는 만큼의 여유를 가진 크기로 설정될 수 있다. 마커 테두리(H)는, 예를 들면 녹색으로 표시되는 ROI테두리(F)와의 혼동을 피하기 위하여, ROI테두리(F)와는 다른 색, 예를 들어 노란색으로 표시되면 바람직하다.

한편, 여기에서는, 확인 마커로서 사각형의 마커 테두리(H)를 예시하고 있지만, 도 21에 나타나 있는 바와 같은 십자형 마커(J)를 사용하는 것도 가능하다. 확인 마커가 십자형 마커(J)인 경우에는, 도 21에 나타나 있는 바와 같이 교정점(P)이 확인 좌표에 있어서 교차하는 것 같은 십자가 묘화된다. 인간공학적으로, 십자 교차점에서 나타나있는 것과 같은 확인 마커와 교정점의 일치를 확인하는 것보다도, 테두리 등의 중앙에 목표물이 들어 있는 것을 확인하는 편이 용이하다고 말할 수 있다. 또한 인간공학적으로, 점에 대하여 점을 맞추는 것보다도, 둘러의 중앙에 목표물건을 넣는 편이 용이하다고 말할 수 있다. 따라서, 마커(80)의 중앙의 점과, 십자형 마커(J)의 십자 교차점의 일치를 확인하는 것보다도, 마커 테두리(H) 범위 내에 마커(80)가 들어 있는 것을 확인하는 편이 용이하다고 할 수 있다. 이 때문에, 본 실시예에서는 확인 마커로서 마커 테두리(H)를 사용하고 있다.

본 실시예처럼 마커(80)의 외형형상이 사각형인 경우에는, 도 19에 나타나 있는 바와 같이 촬영 화상상에서 평행사변형에 가까운 모양이 되는 마커(80)의 외형형상에 서로 닮은 형상의 확인 마커로 하면 알맞다. 또한 마커(80)의 외형형상이 원형인 경우에는, 촬영 화상상에서 타원에 가까운 모양이 되는 마커(80)의 외형형상에 서로 닮은 모양의 타원을 확인 마커로 하면 알맞다. 마커(80)의 외형형상은 이미 알려져 있기 때문에, 소정의 마진(margin)을 가지고 촬영 화상상의 마커(80)을 내포하는 적절한 확인 마커를 표시시키는 것이 가능하다.

작업자는, 화면을 눈으로 확인하고, 마커 테두리(H) 안에 마커(80)가 들어 있는 경우에는, 카메라(1)의 교정이 양호하게 완료되었다고 판단하고, 터치 패널(4b)의 완료 버튼을 조작한다. 터치 패널(4b)로의 조작은, HMI제어부(20)의 지시 입력 접수부(202)를 통하여 조정부(30)나 카메라 조정치 설정부(19)에 전달된다.

〔카메라 조정치 설정 공정〕

상기, 조정 완료 확인 공정에 있어서의 터치 패널(4b)의 조작은, 임시 카메라 조정치를 카메라 조정치로서 확정시키는 확정 지시 입력이다. 확정 지시 입력을 받아들인 CPU(5)는, 회전 조정치 연산 기능 및 위치 조정치 연산 기능의 실행에 의하여 연산된 임시 카메라 조정치(Δroll, Δpan, Δtilt)를 카메라 조정치로서 확정시키는 카메라 조정치 설정 기능을 실행한다. 즉, 지시 입력 접수부(202)를 통하여, 이 확정 지시 입력을 받은 카메라 조정치 설정부(19)는, 롤 조정치Δroll과 팬 조정치Δpan과 틸트 조정치Δtilt를 카메라 조정치로서 확정시킨다.

구체적으로는, 도 3에 나타나 있는 바와 같이 CPU(5)에 접속된 파라미터 메모리(7)에 기억되는 카메라 조정치가, CPU(5)에 의하여 바꿔 쓰여진다. 상술한 바와 같이, 파라미터 메모리(7)는, 개서 가능한 불휘발성 메모리나, 백업 전원을 가진 그 밖의 메모리로 구성되어 있다. 바람직한 것은 플래시 메모리(flash memory)나 E2PROM을 사용하면 좋다. 카메라 조정치 설정 공정에 있어서, CPU(5)의 작업 영역에 일시적으로 기억된 조정 완료된 임시 카메라 조정치가, 파라미터 메모리(7)에 쓰여져, 갱신 됨으로써 카메라(1)의 교정이 완료된다. 예를 들면 생산 공장에 있어서의 카메라(1)의 교정 작업이 완료된다. 교정 장치(10)의 모든 처리가 완료되면, 모니터 장치(4)의 표시부(4a)에는, 도 7과 같이, 예를 들어 내비게이션 시스템의 지도화면이 표시된다.

한편, 상기에 있어서는, 조정 완료 판정 공정에 있어서 완료 조건을 만족시켰다고 판정되고, 거기에 조정 완료 확인 공정을 거쳐 카메라 조정치 설정 공정이 실시되었지만, 조정 완료 판정 공정 후에, 카메라 조정치 설정 공정이 실시되어도 좋다. 조정 완료 판정부(18)가, 회전 조정부(14) 및 위치 조정부(15)에 있어서 연산된 차분치(roll_out, pan_out, tilt_out)가, 각각 소정의 완료 한계치(roll_th, pan_th, tilt_th)미만인 것을 카메라 조정치의 조정 완료 조건으로서 판정을 행하고, 완료 조건이 만족되어 있으면, 반드시 확인할 필요는 없다. 따라서, 조정 완료 판정 공정 후에, 즉시 카메라 조정치가, 파라미터 메모리(7)에 쓰여져도 좋다. 조정 완료 판정 공정 후, 즉시 카메라 조정치 설정 공정이 실시되어도, 조정 완료 판정 공정 후, 조정 완료 확인 공정 등의 다른 공정을 거치고, 카메라 조정치 설정 공정이 실시되어도, 조정 완료 판정의 결과에 기초하여 임시 카메라 조정치를 카메라 조정치로서 확정시키는 것임에는 변함이 없다. 또한 조정 완료 확인 공정 등의 다른 공정이, 조정 완료 판정 공정 또는 카메라 조정치 설정 공정에 포함된다고 생각할 수도 있다. 따라서, 조정 완료 판정의 결과에 기초하여 임시 카메라 조정치를 카메라 조정치로서 확정시키는 것에는 변함이 없다.

한편, 카메라 파라미터의 사용시에, 확정된 카메라 조정치에 의하여, 카메라 파라미터가 조정될 경우에는, 파라미터 메모리(7)에, 카메라 파라미터의 초기값(설계치)과 확정된 카메라 조정치가 저장되면 좋다. 이 경우, 카메라 조정치 설정 공정에 있어서, 파라미터 메모리(7)에는, 카메라 조정치가 써 넣어진다. 그러나, 파라미터 메모리(7)에는, 미리 카메라 조정치에 의하여 조정된 카메라 파라미터가 저장되어도 좋다. 따라서, 카메라 조정치 설정 공정은, 파라미터 메모리(7)에, 카메라 조정치에 의하여 조정된 카메라 파라미터가 써 넣어지는 것을 포함한다. 어찌 되었든, 카메라 조정치 설정 공정에 있어서, 조정을 완료한 임시 카메라 조정치가 확정되는 것에는 변함 없다.

〔재조정 공정(수동조정 공정)〕

조정 완료 확인 공정에 있어서, 도 20에 나타나 있는 바와 같이 마커 테두리(H) 안에 마커(80)가 들어 있지 않을 경우에는, 작업자는 카메라(1)의 교정이 완료되지 않았다고 판단한다. 상술한 바와 같이, 소정의 회수에 걸쳐서 조정을 되풀이하여도, 상기 논리식 (23)이 「참」이 안될 경우에도, 카메라 조정치 설정 공정(도 13#40)으로 이행하여 조정이 완료되는 경우가 있다. 이 경우, 도 20과 같이 , 마커 테두리(H) 안에 마커(80)가 들어가지 않는 가능성이 있다. 이 때, 표시 제어부(201)는, 마커 테두리(H)나 십자형 마커(J)를 상기와는 다른 표시 형태로 표시시킨다. 예를 들면 마커 테두리(H)나 십자형 마커(J)를 점멸시키거나, 상술한 노란 색과는 다른 표시색인 적색으로 표시시키거나 한다.

또한 표시 제어부(201)는, 교정점 검출부(12)에 의하여 교정점이 검출될 때와는 다른 표시 형태로 ROI테두리(F)를 표시시킨다. 상술한 바와 같이, CPU(5)는, 끊어지는 곳 없이 교정점 특정 공정으로부터 조정 공정(#10, #20)으로 계속 처리해가므로, 작업자에 의한 확인을 위한 ROI테두리(F)는, 조정 공정 도중에도 계속해서 표시되면 바람직하다. 따라서, ROI테두리(F)가 계속해서 표시되어 있던 경우에는, 표시 제어부(201)는, ROI테두리(F)의 표시 형태를 변화시킨다. 예를 들면ROI테두리(F)의 표시색을 녹색에서 적색으로 변화시키거나, 점멸시킴으로써, 작업자의 주의를 환기한다. 연속으로 표시되어 있던 ROI테두리(F)의 표시 형태를 변화시키므로 작업자에 대한 시인성이 향상한다. 이들 또한 CPU(5)에 의하여 실행되는 조정 완료 확인 기능 중 하나의 기능이다.

상기 논리식 (23)이 「참」이 되지 않고 교정이 완료된 것은 CPU(5)가 인식할 수 있다. 구체적으로는, CPU(5)는, 조정부(30)에 의한 자동조정의 완료시의 임시 카메라 조정치를 이용하여 구한 확인 좌표와 실좌표의 차이가 소정의 확정 한계치 이상일 때, 자동조정에 의한 조정 결과가 불충분하다고 판정하는 자동조정 결과판정 기능을 실행할 수 있다. 따라서, 이 판정 결과에 기초하여 표시 제어부(201)는, 확인 마커(마커 테두리(H)나 십자형 마커(J))나 영역테두리(ROI테두리(F))의 표시 형태를 양호하게 제어할 수 있다.

이러한 경우, 표시 제어부(201)는, 도 20에 나타나 있는 바와 같이 터치 패널(4b)에 화살표 버튼을 표시시킨다. 작업자는, 터치 패널(4b)의 화살표 버튼을 조작하고, 계속해서 수동으로 카메라(1)를 재조정한다. 즉, CPU(5)는, 수동조정 기능을 실행한다. 마커 테두리(H) 중앙의 확인 좌표는, 자동조정에 있어서의 최후의 보정 직선L_ans상의 교정점 위치에 상당한다. 따라서, 도 20에 가상선으로 나타낸 바와 같이 촬영 화상위에는 보정 직선L_ans가 존재하게 된다.

작업자는, 필요에 응하여 터치 패널(4b)의 화살표 버튼을 조작하고, 보정 직선L_ans의 회전각도나 상하 좌우의 위치를 조정함으로써, 마커 테두리(H)에 마커(80)가 들어가도록 수동으로 교정을 행한다. 여기에서는, 보정 직선L_ans을 표시부(4a)에는 표시되지 않는 가상 선으로 예시하였지만, 명시적으로 표시시키면 작업성의 향상을 기대할 수 있다. CPU(5)(수동조정부(60))는, 특허문헌 1이나 특허문헌 2와 마찬가지로, 터치 패널(4b)에 표시된 터치 버튼의 조작량에 따라, 상기에 있어서 산출된 카메라 조정치를 보정한다. 수동조정에 의하여 보정된 카메라 조정치는, CPU(5)의 작업 영역에 일시적으로 기억되는 임시 카메라 조정치(미확정 카메라 조정치)이다.

본 실시예에서는 확인 마커로서 마커 테두리(H)를 사용하고 있다. 상술한 바와 같이, 인간공학적으로는, 점과 점을 일치시키는 것보다, 둘러싸인 안에 대상물을 넣는 편이 용이하다고 말할 수 있다. 따라서, 이러한 수동조정을 실시할 경우에도, 마커 테두리(H)를 사용하는 편이 높은 작업성을 얻을 수 있다. 본 실시예에 있어서는, 마커 테두리(H) (확인 마커)는, 교정점의 이론상 좌표의 위치인 확인 좌표를 중심으로 하고, 촬영 화상상에 있어서의 마커(80)를 소정의 마진을 가지고 내포하는 크기의 테두리이다. 상술한 바와 같이, 마커(80)는, 사각형 모양으로 구성되고 있고, 마커 테두리(H)도 사각형모양이다. 따라서, 조정 완료 확인 공정이나 재조정 공정(수동조정 공정)에 있어서도, 마커(80)의 외형형상과 마커 테두리(H)로 표시되는 외곽선을 양호하게 비교할 수 있다.

〔카메라 조정치 설정 공정〕

마커 테두리(H)에 마커(80)가 들어가면, 작업자는, 터치 패널(4b)의 완료 버튼을 조작한다. 터치 패널(4b)로의 조작은, HMI제어부(20)의 지시 입력 접수부(202)를 통하여 조정부(30)나 수동조정부(60), 카메라 조정치 설정부(19)에 전달된다. 그리고, 수동조정 후의 임시 카메라 조정치(미확정 카메라 조정치)가 파라미터 메모리(7)에 써 넣어져, 카메라 조정치로서 확정된다. 교정 장치(10)의 모든 처리가 완료되고, 모니터 장치(4)의 표시부(4a)에는, 도 7과 같이, 예를 들면 내비게이션 시스템의 지도화면이 표시된다.

〔조정 완료 확인 공정 및 카메라 조정치 설정 공정의 특수예〕

한편, 표시 제어부(201)는, 상술한 조정 완료 확인 공정에 있어서, 확인 좌표와 실좌표의 차이가 소정의 확정 한계치 미만이어도, 확인 마커(마커 테두리(H)나 십자형 마커(J))나 영역테두리(ROI테두리(F))의 표시 형태를 변화시키는 것이 있다. 구체적으로는, 표시 제어부(201)는, 카메라(1)가 규정 위치에 규정 자세로 장착되었을 때의 회전 파라미터와, 조정부(30)에 의한 반복 연산의 완료시의 임시 카메라 조정치를 이용하여 조정된 회전 파라미터가 동일한 값일 때, 확정 한계치에 의한 판정 결과에 구애되지 않고, 확인 마커나 영역테두리를 다른 표시 형태에서 표시시킨다. 또는, 카메라 조정치(Δroll, Δpan, Δtilt)가 모두 초기값인 제로였던 경우에, 확인 마커나 영역테두리를 다른 표시 형태에서 표시시킨다.

이 때, 회전 파라미터가 가지는 롤, 팬, 틸트 중 어느 하나가 동일한 값일 경우에, 확정 한계치에 의한 판정 결과에 구애되지 않고, 확인 마커나 영역테두리를 다른 표시 형태로 표시시켜도 좋다. 당연하지만, 카메라 조정치(Δroll, Δpan, Δtilt) 중 적어도 하나가, 제로가 될 경우에 마커나 영역테두리를 다른 표시 형태로 표시하는것이 바람직하다.

회전 파라미터의 오차는, 일반적인 자연현상과 마찬가지로 정규분포한다. 그러나, 그 중앙값은 회전 파라미터가 이상적인 경우로는 되지 않는다. 즉, 카메라 조정치(Δroll, Δpan, Δtilt)가 제로가 되는 점이 정규분포의 중앙값으로 되지 않는다. 회전 파라미터의 오차에 연결되는 모든 부품이 이상적인 설계값이 될 확률은 매우 낮기 때문에, 정규분포의 중앙값이 이상적인 회전 파라미터가 되는 경우는 드물다. 또한 카메라(1)를 차량(90)에 설치할 때의 생산 상의 가장 빈번한 자세도, 이상적인 회전 파라미터(R)가 되는 자세가 아니라고 생각될 수 있다. 따라서, 카메라 조정치(Δroll, Δpan, Δtilt)가 모두 제로가 되고, 이상적인 회전 파라미터와, 임시 카메라 조정치를 이용하여 조정된 회전 파라미터가 동일한 값을 가지는 것은 드물다고 할 수 있다.

이러한 케이스에서는, CPU(5)에 의한 연산이 바르게 실행되지 않고 카메라 조정치(Δroll, Δpan, Δtilt) 초기값 그대로였던 것도 생각할 수 있다. 따라서, 화면상에서 작업자의 눈에 의한 확인을 재촉하고, 주의를 환기시키기 위해서, 재조정 공정과 마찬가지로, 표시 제어부(201)는, 확인 마커(마커 테두리(H)나 십자형 마커(J))나 영역테두리(ROI테두리(F))를 다른 표시 형태로 표시시키는 것이 바람직하다.

또한 카메라 조정치 설정부(19)는, 이러한 상태로 파라미터 메모리(7)에 카메라 조정치(Δroll, Δpan, Δtilt)를 써 넣은 것을 작업 로그에 기록해 두면 바람직하다. 예를 들면 CAN(50)을 통하여 생산관리용 컴퓨터 등에 기록을 전송한다. 또는, 주차 지원ECU(9)내부의 진단 메모리(diagnosis memory) 등에 기록해 둔다. 즉, 파라미터 메모리(7)가 미교정이고 초기 상태인 그대로인 것이 아니고, 교정되어서 초기값과 동일한 값이 다시 기입된 것을 기록으로 남겨 둔다. 이것에 의하여 나중에 카메라(1)가 원하는 자세에 대하여 어긋나서 설치되어 있는 것을 발견하였을 때에, 사용상 생긴 것일지, 생산 불량에 의하여 생긴 것인 것인지 등의 추적이나 해석이 용이하게 된다.

〔다른 실시예〕

(1) 상술한 본 실시예에서는 작업자가 모니터 장치(4)의 시스템 설정 버튼(4h)을 조작하고, 표시부(4a)에 설정 화면을 표시시켜, 터치 패널(4b) 소정의 터치 버튼을 조작함으로써 교정 장치(10)를 기동시켰다. 또한 교정 장치(10)는, 기본적으로 자동조정을 행하고, 확인 공정에 있어서 수동조정이 필요할 경우에 작업자가 수동으로 조정을 실시하였다. 그러나, 생산 공장이나 수리공장마다 설비가 다른 경우도 있어, 모든 생산 공장이나 수리공장에 있어서 자동조정이 가능하다고는 할 수 없다. 거기에서, 교정 장치(10)의 기동시에 있어서는, 도 22에 나타나 있는 바와 같이 자동조정과 수동조정이 선택 가능하도록 구성되어 있는 것이 바람직하다.

상술한 바와 같이, 생산 공장이나 수리공장에 있어서, 작업자는, 도 7에 나타나는 시스템 설정 버튼(4h)을 조작하고, 표시부(4a)에 설정 화면을 표시시킨다. 표시부(4a)에는, 도 22의 상단에 나타나 있는 바와 같이 차량(90)의 현재위치와 함께 지도가 표시되어 있으나, 도 22의 중단에 나타난 바와 같은 설정 화면(제1설정 화면)이 표시된다. 여기에서, 터치 패널(4b)의 「카메라 조정」버튼을 작업자가 선택하면, HMI제어부(20)의 지시 입력 접수부(202)는, 터치 버튼의 지시를 접수하고, CPU(5)는, 카메라 교정 프로그램을 기동한다. 여기까지는, 상기 실시예와 마찬가지이고, 상기 실시예에 있어서는 상술한 바와 같은 자동조정 연산이 실행된다.

본 실시예에 있어서는, 도 22의 하단에 나타나 있는 바와 같이 더욱 선택화면이 표시된다. 여기에서, 터치 패널(4b)의 「자동조정」버튼을 작업자가 선택하면, HMI제어부(20)의 지시 입력 접수부(202)는, 터치 버튼의 지시를 접수하고, CPU(5)는, 자동조정 프로그램을 기동한다. 이 자동조정 프로그램은, 상술한 실시예의 카메라 교정 프로그램으로 같다. 선택화면에 있어서, 터치 패널(4b)의 「수동조정」버튼을 작업자가 선택하면, HMI제어부(20)의 지시 입력 접수부(202)는, 터치 버튼의 지시를 접수하고, CPU(5)는, 수동조정 프로그램을 기동한다. 수동조정이 선택되었을 경우에는, 특허문헌 1이나 특허문헌 2와 같은 수동조정 연산을 실행하는 카메라 교정 프로그램이 기동된다.

(2) 상기 실시예에 있어서는, 차량(90)의 후방을 촬영하는 카메라(1)의 교정을 행할 경우를 예시했지만, 전방이나 옆쪽을 촬영하는 카메라의 교정에도 본 발명의 교정 장치를 적용 하는 것이 가능하다.

(3) 상기 실시예에 있어서는, 제1조정부가 회전 조정부(14)이며, 제2조정부가 위치 조정부(15)인 경우를 예로서 설명하였다. 그러나, 이것에 한정되지 않고, 교정 대상의 카메라 구조나, 그 설치 방법에 따라서는, 제1조정부가 위치 조정부(15)이며, 제2조정부가 회전 조정부(14)인 것이 바람직하다.

(4) 카메라(1)의 설치 정밀도의 공차관리에 있어서 상술한 팬 회전 또는 틸트 회전의 어느 한쪽이 고정밀도로 관리 가능한 경우, 위치 조정부(15)는, 수평위치 조정부(16) 또는 수직위치 조정부(17)의 어느 한 쪽 만에 의하여 구성되어도 좋다. 위치조정공정(#20)이나, 위치조정기능에 대해서도 같다.

(5) 관심 영역ROI의 설정이나, 이 ROI테두리(F)를 표시부(4a)에 중첩시키는 것은, 카메라 교정 방법에 따르지 않고도 가능하다. 수동조정의 경우를 포함하고, 상기 실시예와는 다른 연산 방법에 의하여 카메라의 교정을 행하는 경우, 예를 들면 특허문헌 3에 기재한 것 같은 알고리즘을 이용하는 경우에 있어서도 가능하다. 또한 확인 마커로서 사각형의 마커 테두리(H)를 쓰는 점에 관해서도, 카메라 교정 방법에 따르지 않고 가능하다. 즉, 수동조정의 경우를 포함하고, 상기 실시예와는 다른 연산 방법에 의하여 카메라의 교정을 행하는 경우, 예를 들면 특허문헌 3에 기재한 것 같은 알고리즘을 채용할 경우에 있어서도 가능하다.

이상에서 설명한 바와 같이, 본 발명에 의하여, 간단한 구성으로, 단시간에 정밀도 높은 차량 탑재 카메라를 교정할 수 있는 생산성 높은 차량 탑재 카메라의 교정 장치를 제공하는 것이 가능해 진다.

1:카메라(차량 탑재 카메라)
10:교정 장치
11:화상취득부
12:교정점 특정부
13:좌표변환부
14:회전 조정부, 롤 조정부 (제1조정부)
15:위치 조정부 (제2조정부)
16:수평위치 조정부 (팬 조정부)
17:수직위치 조정부 (틸트 조정부)
18:조정 완료 판정부
19:카메라 조정치 설정부
80:마커(교정 지표)
90:차량
pan_out:팬 회전의 차분치
pan_th:팬 조정 한계치(완료 한계치)
roll_out:롤 회전의 차분치
roll_th:롤 조정 한계치(완료 한계치)
tilt_out:틸트 회전의 차분치
tilt_th:틸트 조정 한계치(완료 한계치)
L_tgt:실직선, 제1실직선
L_cnv:변환 직선, 제1변환 직선
L_tgt2: 제2실직선
L_cnv2: 제2변환 직선
O_C:카메라 좌표의 원점
P_C:변환 직선의 중점
Q, Q1, Q2, P, P1, P2, P1_int, P2_int:교정점
Q_C:실직선의 중점
Π :사영면
Δ roll:롤 조정치, 회전 조정치, 카메라 조정치
Δ pan:팬 조정치, 수평위치조정치, 위치조정치, 카메라 조정치
Δ tilt:틸트 조정치, 수직위치조정치, 위치조정치, 카메라 조정치
(x_cnv, y_cnv):변환 직선 중점의 좌표
(x_tgt, y_tgt):실직선 중점의 좌표
(x_ans, y_ans):보정 직선 중점의 좌표

Claims (7)

1. 3차원 직교좌표계의 기준좌표계에 있어서,
   규정 위치에 규정 자세로 차량에 장착된 차량 탑재 카메라의 3차원 직교좌표계의 카메라 좌표계와 상기 기준좌표계의 관계를 상기 차량 탑재 카메라의 실제의 설치 자세에 따라 정의하고, 상기 차량 탑재 카메라를 교정하는 차량 탑재 카메라의 교정 장치와;
   상기 차량 탑재 카메라에 의하여, 상기 기준좌표계의 다른 2곳의 소정의 위치에 배치된 교정 지표를 시계내에 포함하여 촬영된 촬영 화상을 취득하는 화상취득부와;
   상기 카메라 좌표계의 사영면인 상기 촬영 화상에 있어서 상기 교정 지표 중 각각의 교정점을 검출하고, 상기 사영면에 설정되는 2차원 직교좌표계에 있어서 각각의 상기 교정점의 좌표를 실좌표로서 특정하는 교정점 특정부와;
   상기 카메라 좌표계와 상기 기준좌표계의 관계를 정의하는 카메라 파라미터에 기초하여 상기 차량 탑재 카메라가 상기 규정위치에 상기 규정 자세로 장착되었을 때에 상기 사영면에 있어서 각각의 상기 교정점이 특정되는 좌표인 초기좌표를 설정하는 카메라 자세설정부와;
   상기 카메라 파라미터를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 보정하는 카메라 조정치로서, 상기 규정 자세로부터의 변위량에 대응하고, 상기 카메라 좌표계의 3개의 좌표축의 각각을 중심으로 하는 회전각에 대응하는 3개의 조정치로 구성되는 당해 카메라 조정치를 초기화하는 초기화연산부와;
   상기 초기좌표를, 확정전의 상기 카메라 조정치를 이용하여 변환 좌표로 변환하는 좌표변환부와;
   상기 변환 좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 중의 하나 또는 2개의 조정치를 연산하고, 상기 카메라 조정치를 갱신하는 제1조정부와;
   상기 제1조정부에 의하여 갱신된 상기 카메라 조정치를 이용하여 상기 좌표변환부에 의하여 좌표변환된 상기 변환 좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 가운데, 상기 제1조정부에서 연산된 조정치를 제외하고 다른 조정치를 연산하여, 상기 카메라 조정치를 갱신하는 제2조정부와;
   상기 제1조정부 및 상기 제2조정부에 있어서의 조정시의 상기 변환 좌표와 상기 실좌표의 변위량이 각각 소정의 기준변위량 미만일 경우에, 상기 카메라 조정치의 조정을 완료하였다고 판정하는 조정 완료 판정부와;
   상기 조정 완료 판정부에 의한 조정 완료 판정 결과에 기초하여 상기 제1조정부 및 상기 제2조정부에 있어서 연산된 조정치에 의하여 갱신된 상기 카메라 조정치를 확정시키는 카메라 조정치 설정부를 구비하는
   차량 탑재 카메라의 교정 장치.
2. 제1항에 있어서,
   상기 제1조정부에서 연산된 조정치는, 상기 제1조정부에 의한 조정 후의 상기 제2조정부에 의한 조정에 의하여 재조정 오차를 발생시키고, 상기 제2조정부에서 연산된 조정치는, 상기 제2조정부에 의한 조정후의 상기 제1조정부에 의한 조정에 의하여 재조정 오차를 발생시키는 것으로,
   상기 제1조정부에서 연산된 조정치에 생기는 재조정 오차가, 상기 제2조정부에서 연산된 조정치에 생기는 재조정 오차보다도 작아지는 것처럼, 상기 제1조정부에 있어서 조정되는 하나 또는 2개의 조정치에 대응하는 상기 좌표축이 설정되는
   차량 탑재 카메라의 교정 장치.
3. 제1항 또는 제2항에 있어서,
   상기 사영면에 있어서 2개의 상기 실좌표를 묶는 직선을 실직선이라 하고;
   상기 사영면에 있어서 2개의 상기 변환 좌표를 묶는 직선을 변환 직선이라 하고;
   상기 카메라 좌표계에 있어서, 당해 카메라 좌표계의 원점과 상기 사영면상의 2개의 상기 실좌표의 중점을 연결하는 직선을 제2실직선이라 하고;
   상기 카메라 좌표계에 있어서, 당해 카메라 좌표계의 원점과 상기 사영면상의 2개의 상기 변환 좌표의 중점을 연결하는 직선을 제2변환 직선이라 하고;
   상기 사영면에 직교하는 상기 카메라 좌표계의 하나의 축을 중심으로 하는 롤 회전에 있어서의 회전각을 롤 각이라 하고;
   상기 사영면에 평행한 상기 카메라 좌표계의 한 쪽의 축을 중심으로 하는 팬 회전에 있어서의 회전각을 팬 각이라 하고;
   상기 사영면에 평행한 상기 카메라 좌표계의 다른 쪽의 축을 중심으로 하는 틸트 회전에 있어서의 회전각을 틸트 각이라 하고;
   상기 카메라 조정치를 구성하는 조정치의 하나이며, 상기 롤 회전에 있어서의 상기 규정 자세로부터의 변위량을 롤 조정치라 하고;
   상기 카메라 조정치를 구성하는 조정치의 하나이며, 상기 팬 회전에 있어서의 상기 규정 자세로부터의 변위량을 팬 조정치라 하고;
   상기 카메라 조정치를 구성하는 조정치의 하나이며, 상기 틸트 회전에 있어서의 상기 규정 자세로부터의 변위량을 틸트 조정치라 하고;
   상기 제1조정부는, 상기 실직선과 상기 변환 직선이 이루는 각도를 상기 롤 각의 차분치로서 연산함과 동시에, 상기 롤 각의 차분치에 기초하여 상기 롤 조정치를 연산하여 상기 카메라 조정치를 갱신하고;
   상기 제2조정부는, 상기 제2실직선과 상기 제2변환 직선이 이루는 각도를, 상기 팬 각 및 상기 틸트 각의 적어도 한 쪽의 차분치로서 연산함과 동시에, 상기 팬 각의 차분치에 기초하는 상기 팬 조정치 및 상기 틸트 각의 차분치에 기초하는 상기 틸트 조정치의 적어도 한 쪽을 연산하여 상기 카메라 조정치를 갱신하고;
   상기 조정 완료 판정부는, 상기 제1조정부 및 상기 제2조정부에 있어서 연산된 차분치가, 각각 소정의 완료 한계치 미만일 경우에, 상기 카메라 조정치의 조정이 완료되었다고 판정하는
   차량 탑재 카메라의 교정 장치.
4. 제3항에 있어서,
   상기 제2조정부는,
   상기 제2실직선과 상기 제2변환 직선이 이루는 각도가 소유하는 성분 중, 상기 사영면에 설정되는 2차원 직교좌표계의 한 쪽의 축방향 각도성분을 상기 팬 각의 차분치로서 연산함과 동시에, 당해 팬 각의 차분치에 기초하여 상기 팬 조정치를 연산하는 팬 조정부와;
   상기 제2실직선과 상기 제2변환 직선과의 이루는 각도가 가지는 성분 중, 당해 2차원 직교좌표계의 다른 쪽의 축방향의 각도성분을 상기 틸트 각의 차분치로서 연산함과 동시에, 당해 틸트 각의 차분치에 기초하여 상기 틸트 조정치를 연산하는 틸트 조정부를 구비하여 구성되는
   차량 탑재 카메라의 교정 장치.
5. 제4항에 있어서,
   상기 팬 조정부 및 상기 틸트 조정부는, 상기 제1조정부에 의하여 상기 롤 조정치가 갱신된 후의, 같은 상기 카메라 조정치를 이용하여 상기 좌표변환부에 의하여 좌표변환된 상기 변환 좌표에 기초하여 연산하는
   차량 탑재 카메라의 교정 장치.
6. 3차원 직교좌표계의 기준좌표계에 있어서의 규정 위치에 규정 자세로 차량에 장착된 차량 탑재 카메라의 3차원 직교좌표계의 카메라 좌표계와 상기 기준좌표계의 관계를 상기 차량 탑재 카메라의 실제 장착 자세에 따라 정의하고, 상기 차량 탑재 카메라를 교정하는 차량 탑재 카메라의 교정 방법이고,
   상기 차량 탑재 카메라에 의하여, 상기 기준좌표계의 다른 2곳의 소정 위치에 배치된 교정 지표를 시계내에 포함하여 촬영된 촬영 화상을 취득하는 화상취득 공정과,
   상기 카메라 좌표계의 사영면인 상기 촬영 화상에 있어서 상기 교정 지표 중, 각각의 교정점을 검출하고, 상기 사영면에 설정되는 2차원 직교좌표계에 있어서 각각의 상기 교정점의 좌표를 실좌표로서 특정하는 교정점 특정 공정과,
   상기 카메라 좌표계와 상기 기준좌표계의 관계를 정의하는 카메라 파라미터에 기초하여 상기 차량 탑재 카메라가 상기 규정위치에 상기 규정 자세로 장착되었을 때에 상기 사영면에 있어서 각각의 상기 교정점이 특정되는 좌표인 초기좌표를 설정하는 카메라 자세설정 공정과,
   상기 카메라 파라미터를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 보정하는 카메라 조정치이며, 상기 규정 자세로부터의 변위량에 대응하고, 상기 카메라 좌표계의 3개의 좌표축의 각각을 중심으로 하는 회전각에 대응하는 3개의 조정치로 구성되는 당해 카메라 조정치를 초기화하는 초기화 공정과,
   상기 초기좌표를, 확정전의 상기 카메라 조정치를 이용하여 제1변환 좌표로 변환하는 제1좌표변환공정과,
   상기 제1변환 좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 중의 하나 또는 2개의 조정치를 연산하고, 상기 카메라 조정치를 갱신하는 제1조정 공정과,
   상기 제1조정 공정에 있어서 갱신된 확정전의 상기 카메라 조정치를 이용하여 상기 초기좌표를 제2변환 좌표로 변환하는 제2좌표변환공정과,
   상기 제2변환 좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 중, 상기 제1조정 공정으로 연산된 조정치를 제외하고 그 외의 조정치를 연산하여, 상기 카메라 조정치를 갱신하는 제2조정 공정과,
   상기 제1조정 공정 및 상기 제2조정 공정에 있어서, 상기 제1변환 좌표와 상기 실좌표의 변위량 및 상기 제2변환 좌표와 상기 실좌표의 변위량이 각각 소정의 기준변위량 미만이었던 것을 상기 카메라 조정치의 조정 완료 조건으로 판정을 하고, 당해 완료 조건을 만족시키지 않는 경우에는, 상기 제1좌표변환공정, 상기 제1조정 공정, 상기 제2좌표변환공정, 상기 제2조정 공정을 반복하여 행하게 하고, 당해 완료 조건을 충족시키는 경우에는, 이들 공정의 반복을 완료시켜서 다음 공정에 이행시키는 조정 완료 판정 공정과,
   상기 조정 완료 판정 공정에 있어서 상기 완료 조건을 만족시켰을 경우에 이행되고, 상기 제1조정 공정 및 상기 제2조정 공정에 있어서 연산된 조정치에 의하여 갱신된 상기 카메라 조정치를 확정시키는 카메라 조정치 설정 공정을 구비하는
   차량 탑재 카메라의 교정 방법.
7. 3차원 직교좌표계의 기준좌표계에 있어서의 규정 위치에 규정 자세로 차량에 장착된 차량 탑재 카메라의 3차원 직교좌표계의 카메라 좌표계와 상기 기준좌표계의 관계를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 정의하고, 상기 차량 탑재 카메라를 교정하기 위한 기능을 컴퓨터에 실행시키는 차량 탑재 카메라의 교정 프로그램이며,
   상기 차량 탑재 카메라에 의하여, 상기 기준좌표계의 다른 2곳의 소정의 위치에 배치된 교정 지표를 시계내에 포함하여 촬영된 촬영 화상을 취득하는 화상취득 기능과,
   상기 카메라 좌표계의 사영면인 상기 촬영 화상에 있어서 상기 교정 지표 중 각각의 교정점을 검출하고, 상기 사영면에 설정되는 2차원 직교좌표계에 있어서 각각의 상기 교정점의 좌표를 실좌표로서 특정하는 교정점 특정 기능과,
   상기 카메라 좌표계와 상기 기준좌표계의 관계를 정의하는 카메라 파라미터에 기초하여 상기 차량 탑재 카메라가 상기 규정위치에 상기 규정 자세로 장착되었을 때에 상기 사영면에 있어서 각각의 상기 교정점이 특정되는 좌표인 초기좌표를 설정하는 카메라 자세설정 기능과,
   상기 카메라 파라미터를 상기 차량 탑재 카메라의 실제 설치 자세에 따라 보정하는 카메라 조정치이며, 상기 규정 자세로부터의 변위량에 대응하고, 상기 카메라 좌표계의 3개의 좌표축 각각을 중심으로 하는 회전각에 대응하는 3개의 조정치로 구성되는 당해 카메라 조정치를 초기화하는 초기화기능과,
   상기 초기좌표를, 확정전의 상기 카메라 조정치를 이용하여 제1변환 좌표로 변환하는 제1좌표변환기능과,
   상기 제1변환 좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 중의 하나 또는 2개의 조정치를 연산하고, 상기 카메라 조정치를 갱신하는 제1조정 기능과,
   상기 제1조정 기능의 실행에 의하여 갱신된 확정 전의 상기 카메라 조정치를 이용하여 상기 초기좌표를 제2변환 좌표로 변환하는 제2좌표변환기능과,
   상기 제2변환 좌표 및 상기 실좌표에 기초하여 상기 카메라 조정치를 구성하는 조정치 중, 상기 제1조정 기능의 실행에 의하여 연산된 조정치를 제외하고 그 외의 조정치를 연산하여, 상기 카메라 조정치를 갱신하는 제2조정 기능과,
   상기 제1조정 기능 및 상기 제2조정 기능이 실행되었을 때에, 상기 제1변환 좌표와 상기 실좌표의 변위량 및 상기 제2변환 좌표와 상기 실좌표의 변위량이 각각 소정의 기준변위량 미만이었던 것을 상기 카메라 조정치의 조정 완료 조건으로서 판정을 행하고, 당해 완료 조건을 충족시키지 않는 경우에는, 상기 제1좌표변환기능, 상기 제1조정 기능, 상기 제2좌표변환기능, 상기 제2조정 기능을 반복하여 실행시켜, 당해 완료 조건을 충족시키는 경우에는, 이들 기능의 반복 실행을 완료시키고 다음 기능을 실행시키는 조정 완료 판정 기능과,
   상기 조정 완료 판정 기능의 실행에 의하여 상기 완료 조건을 충족시켰다고 판정되었을 경우에 실행되어, 상기 제1조정 기능 및 상기 제2조정 기능의 실행에 의하여 연산된 조정치에 의하여 갱신된 상기 카메라 조정치를 확정시키는 카메라 조정치 설정 기능을 가지는
   차량 탑재 카메라의 교정 프로그램.

Images