KR20150042698A

KR20150042698A - 화상 처리 장치, 화상 처리 방법 및 기록 매체

Info

Publication number: KR20150042698A
Application number: KR20140110887A
Authority: KR
Inventors: 세이야 시미즈
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2013-10-11
Filing date: 2014-08-25
Publication date: 2015-04-21
Also published as: EP2860691A3; EP2860691A2; US20150103172A1; JP2015074436A; KR101617956B1; CN104581042A

Abstract

화상 처리 장치는, 차량에 탑재되며, 촬상 범위에 차체의 일부를 포함하도록 배치된 제1 카메라의 화상을, 상기 제1 카메라의 시야 내의 임의의 시야를 갖는 화상으로 변환하도록 구성된 제1 시야 변환 유닛; 상기 제1 카메라에 의하여 사각으로서 되는 주변 환경을 촬상하는 제2 카메라의 화상인 사각 화상을, 상기 제1 시야 변환 유닛에 의한 변환 후에 획득된 상기 화상의 시야와 동일한 시야를 갖는 상기 사각 화상으로 변환하도록 구성된 제2 시야 변환 유닛; 및 상기 제1 시야 변환 유닛에 의하여 획득된 상기 화상의 상기 차체의 영역에, 상기 제2 시야 변환 유닛에 의하여 획득된 상기 사각 화상에 대응하는 영역을 합성하도록 구성된 합성 유닛을 포함한다.

Description

화상 처리 장치, 화상 처리 방법 및 기록 매체{IMAGE PROCESSING APPARATUS, METHOD, AND RECORDING MEDIUM}

여기서 논의된 실시예들은, 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.

운전자가 차량을 운전하는 경우, 차체 등에 가려져, 운전자가 직접 시인(視認)할 수 없는 사각 부분이 운전자의 시계에 존재하고 있다. 이러한 사각 부분 안에서, 차량 후방의 시인성을 확보하기 위한 수단으로서, 룸 미러나 사이드 미러가 차량에 설치되어 있다.

또한, 최근에는, 사각 부분의 시인성을 보충하기 위한 장치로서, 예컨대, 후방 카메라와 전방 카메라 등과 같은 각종 장치가 각종 개발되어 있다(예컨대 특허 문헌 1 참조). ISO 16505에서 규격화가 진행되고 있는 CMS(Camera Monitor System)는, 차량 후측방의 상황을 촬상한 화상을 모니터에 표시하는 것으로, 사이드 미러의 대체 수단으로서 앞으로 보급이 기대되고 있다.

CMS에 있어서, 모니터에 표시하는 시야 범위의 설정은 사이드 미러의 시야 범위에 준하여 설정된다. 사이드 미러는, 자신 차량과 주변 물체와의 거리나 위치 관계를 운전자가 파악하기 위해서, 차체의 일부가 사이드 미러의 시야 범위에 포함되도록 조정되는 것이 일반적이다.

사이드 미러로는 차량 후방을 운전자가 시인할 수 없으므로, 운전자가 차량의 후방을 확인하기 위해서는, 룸 미러나 후방 카메라에 의해 촬상된 화상을 확인할 필요가 있다. 즉, 사각 부분을 확인하기 위해서는, 운전자가 물리적으로 서로 떨어진 복수의 모니터나 미러를 확인할 필요가 있어, 시선의 이동량이 매우 커져 버린다.

또한, 복수의 모니터나 미러에 의해 사각 부분을 확인하는 경우, 모니터나 미러에 표시되는 물체들간의 대응 관계를 파악하기가 어렵다. 그 때문에, 차량을 조작하면서 주변을 확인하는 것은 숙련이 필요하고, 쉽지 않다고 하는 문제가 있다.

관련 기술은, 예컨대 일본 특허 공개 공보 제2003-196645 A에 개시되어 있다.

본 발명의 목적은, 사각 지대의 원인이 되는 차체 부분에 차체에 의해 가려져 있는 시야 범위의 화상을 중첩하여 표시할 수 있게 하는 화상 처리 장치, 화상 처리 방법 및 프로그램을 제공하는 것을 과제로 한다.

따라서, 본 발명(실시형태)의 일 태양은, 차량에 탑재되며, 촬상 범위에 차체의 일부를 포함하도록 배치된 제1 카메라의 화상을, 상기 제1 카메라의 시야 내의 임의의 시야를 갖는 화상으로 변환하도록 구성된 제1 시야 변환 유닛; 상기 제1 카메라에 의한 사각(blind spot)으로서 되는 주변 환경을 촬상하는 제2 카메라의 화상인 사각 화상을, 상기 제1 시야 변환 유닛에 의한 변환 후에 획득된 상기 화상의 시야와 동일한 시야를 갖는 상기 사각 화상으로 변환하도록 구성된 제2 시야 변환 유닛; 및 상기 제1 시야 변환 유닛에 의하여 획득된 상기 화상의 상기 차체의 영역에, 상기 제2 시야 변환 유닛에 의하여 획득된 상기 사각 화상에 대응하는 영역을 합성하도록 구성된 합성 유닛을 포함하는 화상 처리 장치를 제공하는 것이다.

본 발명의 목적 및 이점은, 청구항에서 특히 나타낸 요소 및 조합에 의하여 실현되고 달성될 것이다.

도 1은 실시형태 1에 있어서의 차량 탑재 시스템의 구성예를 도시하는 도이다.
도 2a와 도 2b는 차량 좌표계를 설명하기 위한 도면이다.
도 3은 카메라 좌표계를 설명하기 위한 도면이다.
도 4는 카메라의 배치예를 도시하는 도면이다.
도 5a∼5e는 카메라의 배치 파라미터에 관해서 설명하기 위한 도면이다.
도 6은 우측 후측방 시야를 촬상하는 우측 가상 카메라에 관해서 설명하기 위한 도면이다.
도 7은 가상 카메라의 투영 방법이 투시법 투영인 경우에 있어서의, 우측 가상 카메라의 카메라 좌표계에서의 입사광 벡터의 산출 방법을 설명하기 위한 도면이다.
도 8은 우측 가상 카메라의 카메라 좌표계에서의 입사광 벡터의 예를 도시하는 도면이다.
도 9는 입사광 벡터로부터 화소 위치를 특정하는 방법을 설명하기 위한 도면이다.
도 10a는 우측 카메라의 카메라 화상의 예이고, 도 10b는 도 10a의 예에 대응하는, 우측 카메라의 기준 차체 마스크 화상의 예를 도시하는 도면이다.
도 11은 도 10b에 예시하는 기준 차체 마스크 화상을 시야 변환한 결과의 화상의 예를 도시하는 도면이다.
도 12는 후방 카메라에서 우측 가상 카메라로의 시야 변환에 관해서 설명하기 위한 도면이다.
도 13a는 도로 평면과 무한원(無限遠)으로 배치한 수직면에 의한 투영면의 구성예를 도시하는 도면, 도 13b는 도로 평면과, 거리 센서에 의해 산출된 거리의 위치에 배치한 수직면에 의한 투영면의 구성예를 도시하는 도면이다.
도 14는 실시형태 1에 있어서의 차량 탑재 장치의 구성예를 도시하는 기능 블록도이다.
도 15는 실시형태 1에 있어서의 화상 합성 처리의 흐름을 설명하기 위한 흐름도의 예이다.
도 16는 실시형태 1에 있어서의 변환 행렬의 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다.
도 17은 실시형태 1에 있어서의 기준 차체 마스크 화상의 변환 처리의 흐름을 설명하기 위한 흐름도의 예이다.
도 18은 실시형태 1에 있어서의 제1 시야 변환 화상의 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다.
도 19는 실시형태 1에 있어서의 제2 시야 변환 화상의 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다.
도 20은 실시형태 1에 있어서의 화상 합성 처리 결과의 예를 도시하는 도면이다.
도 21은 차량 전측방 시야에 처리를 적용한 경우에 있어서의 화상 합성 처리 결과의 예를 도시하는 도면이다.
도 22는 실시형태 2에 있어서의 차량 탑재 장치의 구성예를 도시하는 기능 블록도이다.
도 23은 실시형태 2에 있어서의 기준 차체 마스크 화상의 생성 방법을 설명하기 위한 도면이다.
도 24는 실시형태 2에 있어서의 기준 차체 마스크 화상 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다.
도 25는 실시형태 3에 있어서의 기준 차체 마스크 화상의 생성 방법을 설명하기 위한 도면이다.
도 26은 실시형태 3에 있어서의 기준 차체 마스크 화상 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다.
도 27은 실시형태에 있어서의 차량 탑재 시스템(1)의 하드웨어 구성의 예를 도시하는 도면이다.

이하에 본 발명의 실시형태에 관해서 도면을 참조하면서 상세히 설명한다.

(실시형태 1)

도 1은 본 실시형태 1에 있어서의 차량 탑재 시스템(1)의 구성예를 도시하는 도면이다. 차량 탑재 시스템(1)은, 도 1에 도시하는 것과 같이, 화상 처리 장치인 차량 탑재 장치(2)와, 복수의 카메라(3)와, 하나 또는 복수의 모니터(4)와, 거리 센서(5)를 구비하여 구성되어 있다. 차량 탑재 장치(2)에는, 도 1에 도시하는 것과 같이, 복수의 카메라(3)와, 하나 또는 복수의 모니터(4)와, 거리 센서(5)가 접속되어 있다.

다음 설명에서, 본 실시형태 1에서는, 차량 후측방 시야에 존재하는, 차체에 의한 사각을 예로 들어 설명하는 것으로 한다.

카메라(3)는, 예컨대 CCD(Charge Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor), MOS(Metal-Oxide Semiconductor)와 같은 촬상 소자로 구성된다. 카메라(3)는, 예컨대, 30 fps(frame per second)의 빈도로 차량 주변을 촬상하여, 촬상한 화상을 후술하는 화상 버퍼(11)에 순차 저장한다. 한편, 카메라(3) 배치의 예에 관해서는 후술하는 것으로 한다.

모니터(4)는, LCD(Liquid Crystal Display)나 유기 EL(Electro-Luminescence) 등의 표시 장치이며, 미리 결정된 화상 처리를 실시한 자신 차량 주변의 화상과, 각종 기능 버튼 등을 표시 화면 상에 표시한다. 모니터(4)는, 도 1에 도시하는 것과 같이, 예컨대, 좌측 모니터(4L)과 우측 모니터(4R)를 포함할 수도 있다. 본 실시형태 1에서는, 좌측 사이드 미러에 상당하는 좌측 모니터(4L)에는, 차량의 좌측 후측방 시야 V_LB의 화상이 표시되고, 우측 사이드 미러에 상당하는 우측 모니터(4R)에는, 차량의 우측 후측방 시야 V_RB의 화상이 표시된다.

한편, 좌측 후측방 시야 V_LB의 화상과 우측 후측방 시야 V_RB의 화상의 표시 양태는 임의이다. 예컨대, 1대의 모니터(4)를, 좌측 후측방 시야 V_LB의 화상을 표시하는 좌측부와, 우측 후측방 시야 V_RB의 화상을 표시하는 우측부로 구분하여도 좋다.

거리 센서(5)는, 예컨대, 초음파식이나 레이저식의 거리 센서 등이다. 거리 센서(5)는, 초음파식인 경우에는, 초음파를 간헐적으로 발신시켜, 주변 물체로부터의 반사파를 수신함으로써, 주변 물체의 유무를 검출하고, 초음파의 발신에서부터 반사파의 수신까지 걸린 시간과 음속의 관계에 기초하여, 거리 센서(5)로부터 그 주변 물체까지의 거리(D)를 산출한다. 거리 센서(5)는, 차량의 리어부에 배치되어, 예컨대, 10∼30 fps의 빈도로 차량 후방의 물체까지의 거리(D)를 측정하고, 그 때마다, 측정한 거리(D)를 차량 탑재 장치(2)에 송신한다. 그리고, 이 거리(D)에 기초하여, 투영면(S)을 구성하는 수직면의 위치가 결정된다.

차량 탑재 장치(2)의 상세한 설명을 설명하기 전에, 본 실시형태 1에 있어서의 알고리즘에 관해서 흐름에 따라 설명한다.

도 2 내지 도 5를 참조하여, 차량 좌표계와 카메라 좌표계에 관해서 설명한다.

도 2a와 도 2b는 차량 좌표계를 설명하기 위한 도면이다. 차량 좌표계는, 차량을 기준으로 하여 주변 물체의 위치를 좌표로 나타낸 차량 고유의 좌표계이다. 차량이 이동함으로써, 주변 물체의 위치 좌표는 변화된다. 차량 좌표계를 어떻게 설정할지는 임의이지만, 본 실시형태 1에서는, 도 2에 도시하는 것과 같이, 평면도에 있어서의 차량의 중심이며 노면 상의 점을 원점 O, 차량의 전후 방향을 Y축(앞쪽 방향을 플러스), 차량의 좌우 방향을 X축(오른쪽 방향을 플러스), 차량의 수직 방향을 Z축(위쪽 방향을 플러스)으로 한다.

도 3은 카메라 좌표계를 설명하기 위한 도면이다. 카메라 좌표계는, 카메라(3)를 기준으로 하여 피사체가 되는 주변 물체의 위치를 좌표로 나타낸, 카메라(3) 고유의 좌표계이다. 카메라 좌표계를 어떻게 설정할지는 임의이지만, 본 실시형태 1에서는, 도 3에 도시하는 것과 같이, 카메라(3)의 광학 원점을 원점 O, 광축에 대하여 수평 방향으로 직교하는 방향을 X축(광축 방향에 대하여 오른쪽 방향을 플러스), 광축에 대하여 수직 방향으로 직교하는 방향을 Y축(위쪽 방향을 플러스), 광축을 Z축(광축 방향과는 역방향을 플러스)으로 한다. 시체적(視體積)(31)은 카메라(3)의 촬상 범위를 나타내고 있다.

도 4는 차량 탑재 장치(2)에 접속되어 있는 카메라(3)의 배치예를 도시하는 도면이다. 도 4에 도시하는 배치예에서는, 차량 후방을 촬상 범위로 하는 후방 카메라(3B)가 차량의 리어부에 배치되고, 차량 우측을 촬상 범위로 하는 우측 카메라(3R)가 우측 도어 미러의 주변부에 배치되고, 차량 좌측을 촬상 범위로 하는 좌측 카메라(3L)가 좌측 도어 미러 주변부에 배치된다. 이들 3대의 카메라(3)에 의해 앞쪽 주위를 제외한 차량 주위를 촬상할 수 있게 되어 있다.

도 5a∼5e는 카메라(3)의 배치 파라미터에 관해서 설명하기 위한 도면이다. 카메라(3)의 배치 파라미터는, 적어도, 차량 좌표계에 있어서의 카메라(3)의 배치 위치를 나타내는 3차원 좌표 (Tx,Ty,Tz)와 배치 각도(Pan, Tilt, Rotate)를 포함한다. 이 배치 파라미터에 기초하여, 카메라(3)의 배치 위치를 일의적으로 정의할 수 있다.

배치 파라미터인 Rotate는, 도 5a에 도시하는 것과 같이, 차량 좌표계와 카메라 좌표계가 일치하는 상태를 카메라 배치의 초기 상태로 하여, 도 5b에 도시하는 것과 같이, 카메라(3)가 각도(Rotate)만큼 광축(Z축) 둘레에서 회전되고 있음을 나타내고 있다(RotZ(Rotate)). 또한, 배치 파라미터인 Tilt는, 도 5c에 도시하는 것과 같이, 카메라(3)가 각도(π/2-Tilt)만큼 X축 둘레에서 회전되고 있음을 나타내고 있다(RotX(π/2-Tilt)). 즉, 이 변환에 의해, 수평 방향에서 0, 내려다보는 방향에서 플러스가 되도록 정의되어 있는 부각(俯角)(Tilt)은, 바로 아래 방향으로부터의 앙각으로 변환된다.

또한, 배치 파라미터인 Pan은, 도 5d에 도시하는 것과 같이, 카메라(3)가 각도(Pan)만큼 Z축 둘레에서 좌측 또는 우측으로 흔들리고 있음을 나타내고 있다(RotZ(Pan)). 또한, 배치 파라미터의 3차원 좌표 (Tx,Ty,Tz)는, 도 5e에 도시하는 것과 같이, 배치 각도(Pan, Tilt, Rotate)에 따라서 카메라(3)의 배치 각도를 조정한 후에, 카메라(3)를 3차원 좌표 (Tx,Ty,Tz)로 평행 이동함으로써(Translate(Tx,Ty,Tz)), 카메라(3)가 배치 상태로 됨을 나타내고 있다.

배치 파라미터는, 카메라(3)의 배치 위치를 일의적으로 정의하고, 차량 좌표계와 카메라 좌표계 사이의 좌표 변환을 정의하는 것이기도 하다. 도 5a∼5e의 관계로부터, 차량 좌표계에서 카메라 좌표계로의 좌표 변환 행렬 M_CAR→CAM을 식(1)으로 나타낼 수 있다.

[수학식 1]

여기서, cp = cos(Pan), sp = sin(Pan), ct = cos(Tilt), st = sin(Tilt), cr = cos(Rotate) 및 sr = sin(Rotate)인 경우,

M11 = cr x cp - sr x st x sp

M12 = cr x sp + sr x st x cp

M13 = sr x ct

M21 = -sr x cp - cr x st x sp

M22 = -sr x sp + cr x st x cp

M23 = cr x ct

M31 = ct x sp

M32 = -ct x cp

M33 = st.

또한, 차량 좌표계에서 카메라 좌표계로의 벡터의 변환 행렬 P_CAR→CAM을 식(2)으로 나타낼 수 있다.

[수학식 2]

이어서, 차량의 후측방 시야를 촬상하는 가상 카메라에 관해서 설명한다. 한편, 차량의 후측방 시야는 좌측과 우측의 2개가 존재하지만, 처리 내용은 같으므로, 이하에서는, 도 6에 예시하는 것과 같은, 차량의 우측 후측방 시야 V_RB를 촬상하는 우측 가상 카메라(RB)를 예로 들어 설명하는 것으로 한다. 도 6은, 차량의 우측 후측방 시야 V_RB를 촬상하는 우측 가상 카메라(RB)에 관해서 설명하기 위한 도면이다. 한편, 도 6의 예에서는, 우측 카메라(3R)의 렌즈는, 넓은 범위를 촬상할 수 있는 광각 렌즈, 예컨대 어안 렌즈로 하고 있지만, 소위 표준 렌즈라도 좋다.

우측 가상 카메라(RB)는, 배치 파라미터를 갖고 있고, 배치 파라미터와 수평 화각 A_H과 투영 방법(예컨대, 투시법 투영, 원통 투영 등)을 지정함으로써, 특정 시야를 실현할 수 있다. 우측 가상 카메라(RB)의 배치 파라미터(배치 각도)와 수평 화각 A_H은 동적으로 변경 가능하고, 예컨대, 운전자의 차량 조작 내용에 따라서, 혹은 운전자에 의한 조작부(20)(후술)를 통한 설정 변경에 의해서 변경된다.

본 실시형태 1에 있어서의 우측 가상 카메라(RB)의 배치 위치는, 도 6에 도시하는 것과 같이, 우측 카메라(3R)의 배치 위치와 같고, 투영 방법은, 디스토션(렌즈 왜곡)을 고려하지 않는 투시법 투영으로 한다.

이어서, 이러한 가정 하에, 도 7 내지 도 9를 참조하여, 우측 카메라(3R)의 카메라 화상을 우측 후측방 시야 V_RB의 화상으로 변환하는 제1 시야 변환 처리에 관해서 설명한다.

이 경우, 도 7에 도시하는 것과 같이, 우측 가상 카메라(RB)가 촬상하는 우측 후측방 시야 V_RB의 화상 상의 임의의 점의 좌표 (x, y)^RB로부터, 식(3.1)과 식(3.2)에 의해, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB를 산출할 수 있다. 도 7은 가상 카메라의 투영 방법이 투시법 투영인 경우에 있어서의, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB의 산출 방법을 설명하기 위한 도면이다.

[수학식 3.1]

[수학식 3.2]

여기서, 식(3.2)에서의 "f"는, 우측 가상 카메라(RB)의 카메라 좌표계 원점 O과 우측 후측방 시야 V_RB의 화상 좌표계 원점 O 사이의 거리를, "width"는, 우측 후측방 시야 V_RB의 화상의 수평 화소수를, A_H는, 우측 가상 카메라(RB)의 수평 화각을 나타내고 있다. 이 경우, 1:tan(A_H/2)=f:(width/2)가 성립하므로, "f"는 식(3.2)으로 나타낼 수 있다.

또한, 도 8에 예시하는, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB는, 식(4)에 의해, 도 6에 예시하는 차량 좌표계에서의 입사광 벡터 v^RB _CAR로 변환된다. 한편, 식(4)에서의 P^-1 _CAR→CAM ^RB는, 우측 가상 카메라(RB)의 배치 파라미터에 기초하여, 식(2)에 의해 생성할 수 있는 변환 행렬 P_CAR→CAM ^RB의 역행열이다. 또한, 도 8은 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB의 예를 도시하는 도면이다.

[수학식 4]

또한, 차량 좌표계에서의 입사광 벡터 v^RB _CAR는, 식(5)에 의해, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R로 변환할 수 있다. 한편, 식(5)에서의, P_CAR→CAM ^R은, 우측 카메라(3R)의 배치 파라미터에 기초하여, 식(2)에 의해 생성할 수 있는 변환 행렬 P_CAR→CAM ^R이다.

[수학식 5]

또한, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R가, 우측 카메라(3R)에 의해 촬상된 화상 상의 화소 위치와, 도 9에 도시하는 것과 같이 대응시킬 수 있다. 식(6)은 그 대응 관계를 나타내는 식이다. 한편, 도 9는 입사광 벡터 v_CAM ^R로부터 화소 위치를 특정하는 방법을 설명하기 위한 도면이다.

[수학식 6]

여기서, 식(6)에서의 T_R은, 입사광 벡터 v_CAM ^R와 우측 카메라(3R)의 카메라 화상 상의 화소 위치를 1대1로 대응시키는 매핑 테이블이다. 매핑 테이블 T_R은, 디스토션(렌즈의 왜곡)을 나타내는 데이터와 카메라 파라미터(화소 피치)에 기초하여 미리 설정할 수 있다.

이상과 같이 하여, 우측 가상 카메라(RB)의 우측 후측방 시야 V_RB의 화상 상의 화소에 대응하는 우측 카메라(3R)의 카메라 화상 상의 화소를 특정하고, 특정한 화소의 화소치를 대응하는 우측 후측방 시야 V_RB의 화상 상의 화소의 화소치로 함으로써, 우측 카메라(3R)의 카메라 화상을 우측 후측방 시야 V_RB의 화상으로 변환하는 제1 시야 변환 처리를 한다.

이어서, 도 10과 도 11을 참조하여, 기준 차체 마스크 화상의 시야 변환 처리에 관해서 설명한다. 도 10a는 우측 카메라(3R)의 카메라 화상의 예이고, 도 10b는 도 10a의 예에 대응하는, 우측 카메라(3R)의 기준 차체 마스크 화상의 예를 도시하는 도면이다. 도 11은 도 10b에 예시하는 기준 차체 마스크 화상을 시야 변환한 결과의 화상의 예를 도시하는 도면이다.

우측 카메라(3R)의 기준 차체 마스크 화상은, 도 10b에 도시하는 것과 같이, 우측 카메라(3R)의 카메라 화상에 있어서의 차체 영역에 대응한다. 차체 영역의 화소치를 "0"으로 하고, 그 이외 영역의 화소치를 "1"로 한 화상이다.

우측 카메라(3R)의 카메라 화상 중의 차체 영역은, 우측 카메라(3R)의 배치 파라미터를 변경하지 않는 한 항상 동일한 위치에 촬영되므로, 우측 카메라(3R)의 기준 차체 마스크 화상은, 우측 카메라(3R)의 배치시에 한 번 작성하면 된다.

그리고, 우측 카메라(3R)의 기준 차체 마스크 화상에 대하여, 전술한 제1 시야 변환 처리를 함으로써, 도 11에 예시하는 시야 변환 후의 차체 마스크 화상이 생성된다.

이어서, 도 12와 도 13을 참조하여, 후방 카메라(3B)의 카메라 화상을 우측 후측방 시야 V_RB의 화상으로 변환하는 제2 시야 변환 처리에 관해서 설명한다. 도 12는 후방 카메라(3B)에서 우측 가상 카메라(RB)로의 시야 변환에 관해서 설명하기 위한 도면이다. 도 13a는, 도로 평면과 무한원으로 배치한 수직면에 의한 투영면(S)의 구성예를 도시하는 도면이다. 도 13b는, 도로 평면과 거리 센서에 의해 산출된 거리의 위치에 배치한 수직면에 의한 투영면(S)의 구성예를 도시하는 도면이다.

제1 시야 변환 처리에 있어서 설명한 것과 같이, 우측 가상 카메라(RB)에 의해 촬상되는 우측 후측방 시야 V_RB의 화상 상의 임의의 점의 좌표 (x,y)^RB로부터, 식(3.1)과 식(3.2)에 의해, 좌표 (x,y)^RB에 대응하는 점의 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB를 산출할 수 있다.

또한, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB는, 식(4)에 의해, 차량 좌표계에서의 입사광 벡터 v^RB _CAR로 변환할 수 있다. 그리고, 도 12에 도시하는 것과 같이, 우측 가상 카메라(RB)의 광학 원점으로부터 입사광 벡터 v^RB _CAR와는 역방향으로 연장하는 선분과, 차량 좌표계에서 정의되어 있는 임의의 투영면(S)의 교점을 C라고 하면, 차량 좌표계에서의 교점 C의 좌표와 후방 카메라(3B)의 배치 파라미터에 기초하여, 교점 C에서 후방 카메라(3B)의 광학 원점으로 향하는 차량 좌표계에서의 입사광 벡터 v^B _CAR를 산출할 수 있다.

투영면(S)을 구성하는 수직면은, 도 13a에 도시하는 것과 같이, 차량으로부터 충분히 먼 거리(또는 무한원)에 배치하여도 좋고, 또는 도 13b에 도시하는 것과 같이, 거리 센서(5)에 의해 측정된 후방 물체까지의 거리(D)의 위치에 배치하여도 좋다. 투영면(S)을 구성하는 수직면을 무한원으로 배치함으로써, 우측 가상 카메라(RB)와 후방 카메라(3B)의 시차를 경감할 수 있게 된다.

또한, 차량 좌표계에서의 입사광 벡터 v^B _CAR는, 식(7)에 의해, 후방 카메라(3B)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^B로 변환할 수 있다. 한편, 식(7)에서의 P_CAR→CAM ^B는, 후방 카메라(3B)의 배치 파라미터에 기초하여, 식(2)에 의해 생성할 수 있는 변환 행렬 P_CAR→CAM ^B이다.

[수학식 7]

또한, 후방 카메라(3B)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^B는, 후방 카메라(3B)에 의해 촬상된 화상 상의 화소 위치와, 전술한 것과 같이 대응시킬 수 있다. 식(8)은 그 대응 관계를 나타내는 식이다.

[수학식 8]

여기서, 식(8)에서의 T_B는, 입사광 벡터 v_CAM ^B와 후방 카메라(3B)의 카메라 화상 상의 화소 위치를 1대1로 대응시키는 매핑 테이블이다. 매핑 테이블 T_B은, 디스토션(렌즈의 왜곡)을 나타내는 데이터와 카메라 파라미터(화소 피치)에 기초하여 미리 설정할 수 있다.

이상과 같이 하여, 우측 가상 카메라(RB)의 우측 후측방 시야 V_RB의 화상 상의 화소에 대응하는 후방 카메라(3B)의 카메라 화상 상의 화소를 특정하고, 특정한 화소의 화소치를 대응하는 우측 후측방 시야 V_RB의 화상 상의 화소의 화소치로 함으로써, 후방 카메라(3B)의 카메라 화상을 우측 후측방 시야 V_RB의 화상으로 변환하는 제2 시야 변환 처리를 한다.

이어서, 시야 변환 후의 차체 마스크 화상에 기초한, 우측 카메라(3R)의 카메라 화상을 제1 시야 변환 처리하여 생성된 우측 후측방 시야 V_RB의 시야 변환 화상(이하, 시야 변환 화상 R이라고 함)과, 후방 카메라(3B)의 카메라 화상을 제2 시야 변환 처리하여 생성된 우측 후측방 시야 V_RB의 시야 변환 화상(이하, 시야 변환 화상 B^R이라고 함)과의 합성 처리에 관해서 설명한다.

본 합성 처리는, 기준 차체 마스크 화상을 제1 시야 변환 처리하여 생성된 시야 변환 후의 차체 마스크 화상의 값에 기초하여 행해진다. 여기서, 좌표 (x,y)^RB에 있어서의 시야 변환 후의 차체 마스크 화상의 값을 "α", 좌표 (x,y)^RB에 있어서의 시야 변환 화상 R의 값을 C_R, 좌표 (x,y)^RB에 있어서의 시야 변환 화상 B^R의 값을 C_B ^R라고 하면, 좌표 (x,y)^RB에 있어서의 합성 화상의 화소치 C_D는 식(9)에 의해 산출할 수 있다.

[수학식 9]

한편, 화소치 α의 값은, 차체 영역에 있어서 "0"으로 하고, 그 이외의 영역을 "1"로 하여 설명했지만, 이것에 한정되는 것이 아니다. 예컨대, 차체 영역의 윤곽 부분의 화소치를 "1" 미만의 큰 값으로 하고, 윤곽 부분에서 멀어짐에 따라서 차체 영역의 화소치가 "0"에 가까운 값이 되도록 구성하여도 좋다. 이와 같이 구성함으로써, 주변 물체와 접촉할 가능성이 높은 차체 영역의 윤곽 부분을 분명히 남긴 상태에서, 그 이외의 차체 영역에는 시야 변환 화상 B^R을 합성하여, 차체에 의한 사각을 감소시킬 수 있게 된다.

이어서, 도 14를 참조하여 본 실시형태 1에 있어서의 차량 탑재 장치(2)에 관해서 설명한다. 도 14는 본 실시형태 1에 있어서의 차량 탑재 장치(2)의 구성예를 도시하는 기능 블록도이다. 본 실시형태 1에 있어서의 차량 탑재 장치(2)는, 도 14에 도시하는 것과 같이, 기억부(10)와, 조작부(20)와, 수신부(30)와, 제어부(40)를 구비하여 구성되어 있다.

기억부(10)는 RAM(Random Access Memory), ROM(Read Only Memory), HDD(Hard Disk Drive) 등으로 구성되어 있다. 기억부(10)는, 제어부(40)를 구성하는, 예컨대 CPU(Central Processing Unit)의 작업 영역, 차량 탑재 장치(2) 전체를 제어하기 위한 동작 프로그램 등의 각종 프로그램을 저장하는 프로그램 영역, 카메라(3)의 배치 파라미터, 카메라(3)의 매핑 테이블(T_R, T_L, T_B), 우측 카메라(3R)와 좌측 카메라(3L)의 기준 차체 마스크 화상 등의 각종 데이터를 저장하는 데이터 영역으로서 기능한다.

또한, 기억부(10)는, 화상 버퍼(11)와, 시야 변환 화상 버퍼(12)와, 차체 마스크 화상 버퍼(13)로서 기능한다. 화상 버퍼(11)는, 카메라(3)에 의해 촬상된, 자신 차량 주변의 화상 데이터를 순차 저장한다. 시야 변환 화상 버퍼(12)는, 카메라 화상을 시야 변환 처리할 때에 이용되는 버퍼이며, 차체 마스크 화상 버퍼(13)는 기준 차체 마스크 화상을 시야 변환 처리할 때에 이용되는 버퍼이다.

조작부(20)는, 각종 버튼이나 모니터(4)의 표시 화면 상에 표시되는 터치 패널 등으로 구성된다. 사용자(운전자 등)는 조작부(20)를 조작하여 원하는 처리를 실행시킬 수 있다.

수신부(30)는 차량의 조작 내용을 나타내는 조작 정보를 차량으로부터 수신한다. 조작 정보란, 예컨대 시프트 조작, 액셀레이터 조작, 핸들 조작, 깜빡이 조작 등의 내용을 나타내는 정보이다.

제어부(40)는, 예컨대 CPU 등으로 구성되어, 기억부(10)의 프로그램 영역에 저장되어 있는 동작 프로그램을 실행한다. 도 14에 도시하는 것과 같이, 제어부(40)는, 판정부(41)와, 설정부(42)와, 변환 행렬 생성부(43)와, 차체 마스크 화상 변환부(44)와, 제1 시야 변환 화상 생성부(45)와, 위치 결정부(46)와, 제2 시야 변환 화상 생성부(47)와, 합성 처리부(48)로서의 기능을 실현하고, 차량 탑재 장치(2) 전체 동작을 제어하는 제어 처리나, 자세하게는 후술하는 화상 합성 처리 등의 처리를 실행한다.

판정부(41)는, 자세하게는 후술하는 화상 합성 처리의 종료가 지시되었는지 여부를 판정한다. 예컨대, 판정부(41)는, 조작부(20)를 통해, 사용자에 의해 미리 결정된 조작이 이루어진 경우에, 화상 합성 처리의 종료가 지시되었다고 판정한다. 또한, 예컨대, 판정부(41)는, 차량 탑재 장치(2)가 탑재되어 있는 차량의 시프트 레버가 파킹 상태로 된 경우 등, 미리 설정되어 있는 종료 조건을 충족했을 때에, 화상 합성 처리의 종료가 지시되었다고 판정한다.

또한, 판정부(41)는, 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 시야 범위의 설정이 변경되었는지 여부를 판정한다. 보다 구체적으로는, 판정부(41)는, 설정부(42)에 의해 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 수평 화각 A_H, 혹은 배치 파라미터(배치 각도)가 변경된 경우에, 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 시야 범위의 설정이 변경되었다고 판정한다. 또한, 판정부(41)는, 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 시야 범위의 설정이 변경되었다고 판정한 경우에, 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 배치 파라미터(배치 각도)가 변경되었는지 여부를 또한 판정한다.

설정부(42)는, 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 시야 범위를 설정한다. 보다 구체적으로는, 설정부(42)는, 수신부(30)에서 수신된 조작 정보에 의해 특정되는 운전자의 차량 조작 내용, 혹은 운전자 등에 의해 조작부(20)를 통해 설정된 내용에 기초하여, 배치 파라미터(배치 각도)와 수평 화각 A_H을 설정함으로써, 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 시야 범위를 설정한다.

변환 행렬 생성부(43)는, 기억부(10)의 데이터 영역에 저장되어 있는 각 카메라(3)의 배치 파라미터에 기초하여, 전술한 식(2)에 의해, 차량 좌표계로부터 각 카메라 좌표계로의 벡터의 변환 행렬 P_CAR→CAM ^R, P_CAR→CAM ^L, P_CAR→CAM ^B을 산출한다. 또한, 변환 행렬 생성부(43)는, 설정부(42)에 의해 설정된 우측 가상 카메라(RB)와 좌측 가상 카메라(LB)의 배치 파라미터에 기초하여, 전술한 식(2)에 의해, 차량 좌표계로부터 우측 가상 카메라(RB)의 카메라 좌표계로의 변환 행렬의 역행열 P^-1 _CAR→CAM ^RB과, 차량 좌표계로부터 좌측 가상 카메라(LB)의 카메라 좌표계로의 변환 행렬의 역행열 P^-1 _CAR→CAM ^LB을 산출한다.

또한, 변환 행렬 생성부(43)는, 판정부(41)에 의해 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 배치 파라미터(배치 각도)가 변경되었다고 판정된 경우에, 변경 후의 배치 파라미터에 기초하여, 배치 파라미터가 변경된 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 변환 행렬의 역행렬 P^-1 _CAR→CAM ^RB(또는 P^-1 _CAR→CAM ^LB)을 재산출한다.

차체 마스크 화상 변환부(44)는, 기억부(10)의 데이터 영역에 저장되어 있는 우측 카메라(3R)와 좌측 카메라(3L)의 기준 차체 마스크 화상을, 전술한 제1 시야 변환 처리에 의해 시야 변환한 차체 마스크 화상을 생성한다.

제1 시야 변환 화상 생성부(45)는, 전술한 제1 시야 변환 처리에 의해, 우측 카메라(3R)(또는 좌측 카메라(3L))의 카메라 화상을, 우측 가상 카메라(RB)의 우측 후측방 시야 V_RB의 화상(또는 좌측 가상 카메라(LB)의 좌측 후측방 시야 V_LB의 화상)으로 변환한 시야 변환 화상 R(또는 시야 변환 화상 L)을 생성한다.

위치 결정부(46)는, 거리 센서(5)에 의해 산출된 차량 후방의 주변 물체까지의 거리(D)에 기초하여, 투영면(S)을 구성하는 수직면의 위치를 결정한다. 예컨대, 위치 결정부(46)는, 거리 센서(5)의 측정 범위 내에 주변 물체가 존재하지 않아서 거리(D)가 산출되지 않은 경우, 혹은 산출된 거리(D)가 미리 설정되어 있는 거리 임계치보다 큰 경우에, 수직면의 위치를 무한원으로 한다. 위치 결정부(46)는, 산출된 거리(D)가 설정된 거리 임계치보다 작은 경우에, 수직면의 위치를 산출된 거리(D)로서 한다.

제2 시야 변환 화상 생성부(47)는, 전술한 제2 시야 변환 처리에 의해, 후방 카메라(3B)의 카메라 화상을, 우측 가상 카메라(RB)의 우측 후측방 시야 V_RB의 화상(또는 좌측 가상 카메라(LB)의 좌측 후측방 시야 V_LB의 화상)으로 변환한 시야 변환 화상 B^R(또는 시야 변환 화상 B^L)을 생성한다.

합성 처리부(48)는, 전술한 식(9)에 따라서, 제1 시야 변환 화상 생성부(45)에 의해 생성된 시야 변환 화상 R(또는 시야 변환 화상 L)과, 제2 시야 변환 화상 생성부(47)에 의해 생성된 시야 변환 화상 B^R(또는 시야 변환 화상 B^L)을 합성하는 처리를 한다. 그리고, 합성 처리부(48)는, 합성 처리 결과를 우측 모니터(4R)와 좌측 모니터(4L)의 표시 화면 상에 표시하게 한다.

이어서, 도 15를 참조하여 본 실시형태 1에 있어서의 화상 합성 처리의 흐름에 관해서 설명한다. 도 15는 본 실시형태 1에 있어서의 화상 합성 처리의 흐름을 설명하기 위한 흐름도의 예이다. 본 화상 합성 처리는, 카메라(3)에 의해 촬상된 화상의 화상 데이터가 화상 버퍼(11)에 저장된 것을 트리거로 하여 시작된다.

변환 행렬 생성부(43)는, 변환 행렬의 생성 처리를 실행하고(단계 S001), 차체 마스크 화상 변환부(44)는, 우측 카메라(3R)와 좌측 카메라(3L)의 기준 차체 마스크 화상을, 전술한 제1 시야 변환 처리에 의해 시야 변환한 차체 마스크 화상을 생성한다(단계 S002).

그리고, 제1 시야 변환 화상 생성부(45)는, 전술한 제1 시야 변환 처리에 의해, 우측 카메라(3R)(또는 좌측 카메라(3L))의 카메라 화상으로부터 시야 변환 화상 R(또는 시야 변환 화상 L)을 생성한다(단계 S003). 그리고, 제2 시야 변환 화상 생성부(47)는, 전술한 제2 시야 변환 처리에 의해, 후방 카메라(3B)의 카메라 화상으로부터 시야 변환 화상 B^R(또는 시야 변환 화상 B^L)을 생성한다(단계 S004).

그리고, 합성 처리부(48)는, 전술한 식(9)에 따라서, 단계 S003의 처리에서 생성된 시야 변환 화상 R(또는 시야 변환 화상 L)과, 단계 S004의 처리에서 생성된 시야 변환 화상 B^R(또는 시야 변환 화상 B^L)을 합성하는 처리를 한다(단계 S005).

그리고, 합성 처리부(48)는, 합성 처리 결과를, 각각 우측 모니터(4R)와 좌측 모니터(4L)의 표시 화면 상에 표시하게 하고(단계 S006), 판정부(41)는, 화상 합성 처리의 종료가 지시되었는지 여부를 판정한다(단계 S007).

화상 합성 처리의 종료는 아직 지시되지 않았다고 판정한 경우에는(단계 S007; NO), 판정부(41)는, 또한 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 시야 범위의 설정이 변경되었는지 여부를 판정한다(단계 S008).

판정부(41)에 의해, 시야 범위의 설정이 변경되지 않았다고 판정된 경우에는(단계 S008; NO), 처리는 전술한 단계 S003의 처리로 되돌아가, 단계 S003에 후속하는 전술한 처리를 반복한다. 그렇지 않으면(단계 S008; YES), 판정부(41)는, 또한 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 배치 파라미터(배치 각도)가 변경되었는지 여부를 판정한다(단계 S009).

판정부(41)에 의해, 배치 파라미터(배치 각도)가 변경되었다고 판정된 경우에는(단계 S009; YES), 변환 행렬 생성부(43)는, 변경 후의 배치 파라미터에 기초하여, 배치 파라미터가 변경된 우측 가상 카메라(RB)(또는 좌측 가상 카메라(LB))의 변환 행렬의 역행렬 P^-1 _CAR→CAM ^RB(또는 P^-1 _CAR→CAM ^LB)을 재산출한다(단계 S010). 그리고, 처리는 단계 S002의 처리로 되돌아가, 단계 S002 이후의 단계들을 반복한다.

한편, 판정부(41)에 의해, 배치 파라미터(배치 각도)는 변경되지 않았다고 판정된 경우에는(단계 S009; NO), 처리는 단계 S002의 처리로 되돌아가, 단계 S002 이후의 단계들을 반복한다.

한편, 단계 S007의 처리에 있어서, 판정부(41)에 의해, 화상 합성 처리의 종료가 지시되었다고 판정된 경우에는(단계 S007; YES), 처리를 종료한다.

이어서, 도 16을 참조하여 본 실시형태 1에 있어서의 변환 행렬 생성 처리의 흐름에 관해서 설명한다. 도 16은 본 실시형태 1에 있어서의 변환 행렬 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다. 본 변환 행렬 생성 처리는 전술한 화상 합성 처리의 단계 S001에 대응하는 처리이다. 좌측 카메라(3L)에 대응하는 처리와 유사한 우측 카메라(3R)에 대응하는 처리에 관해서 설명하는 것으로 한다.

변환 행렬 생성부(43)는, 설정부(42)에 의해 설정된 우측 가상 카메라(RB)의 배치 파라미터에 기초하여, 전술한 식(2)에 의해, 차량 좌표계로부터 우측 가상 카메라(RB)의 카메라 좌표계로의 변환 행렬의 역행렬 P^-1 _CAR→CAM ^RB을 산출한다(단계 S101).

또한, 변환 행렬 생성부(43)는, 기억부(10)의 데이터 영역에 저장되어 있는 우측 카메라(3R)의 배치 파라미터에 기초하여, 전술한 식(2)에 의해, 차량 좌표계로부터 우측 카메라(3R)의 카메라 좌표계로의 벡터의 변환 행렬 P_CAR→CAM ^R을 산출한다(단계 S102).

또한, 변환 행렬 생성부(43)는, 기억부(10)의 데이터 영역에 저장되어 있는 후방 카메라(3B)의 배치 파라미터에 기초하여, 전술한 식(2)에 의해, 차량 좌표계로부터 후방 카메라(3B)의 카메라 좌표계로의 벡터의 변환 행렬 P_CAR→CAM ^B을 산출하고(단계 S103), 본 처리는 종료한다. 그리고, 화상 합성 처리의 단계 S002의 처리로 이행한다.

이어서, 도 17을 참조하여 본 실시형태 1에 있어서의 기준 차체 마스크 화상 변환 처리의 흐름에 관해서 설명한다. 도 17은 본 실시형태 1에 있어서의 기준 차체 마스크 화상 변환 처리의 흐름을 설명하기 위한 흐름도의 예이다. 본 기준 차체 마스크 화상 변환 처리는 전술한 화상 합성 처리의 단계 S002에 대응하는 처리이다. 좌측 카메라(3L)에 대응하는 처리와 유사한 우측 카메라(3R)에 대응하는 처리에 관해서 설명하는 것으로 한다.

차체 마스크 화상 변환부(44)는, 차체 마스크 화상 버퍼(13)를 클리어하고(단계 S201), 우측 가상 카메라(RB)의 우측 후측방 시야 V_RB의 화상 상에 있어서의 아직 처리하지 않은 화소 좌표 (x,y)^RB를 추출한다(단계 S202).

그리고, 차체 마스크 화상 변환부(44)는, 추출한 화소 좌표 (x,y)^RB를, 식(3.1)과 식(3.2)에 의해, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB로 변환하고(단계 S203), 또한, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB를, 식(4)에 의해, 차량 좌표계에서의 입사광 벡터 v^RB _CAR로 변환한다(단계 S204).

그리고, 차체 마스크 화상 변환부(44)는, 차량 좌표계에서의 입사광 벡터 v^RB _CAR를, 식(5)에 의해, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R로 변환하고(단계 S205), 식(6)에 의해, 입사광 벡터 v_CAM ^R에 대응하는 우측 카메라(3R)의 카메라 화상 상의 화소 좌표 (x,y)^R를 특정한다(단계 S206).

그리고, 차체 마스크 화상 변환부(44)는, 처리 대상의 화소 좌표 (x,y)^RB에, 특정 화소 좌표 (x,y)^R에 있어서의 기준 차체 마스크 화상의 화소치를 기록하고(단계 S207), 우측 가상 카메라(RB)의 화상 상의 모든 화소 좌표에 대하여 처리를 했는지 여부를 판정한다(단계 S208).

아직 미처리의 화소 좌표가 있는 경우에는(단계 S208; NO), 처리는 단계 S202의 처리로 되돌아가, 단계 S202 이후의 단계들을 반복한다. 한편, 모든 화소 좌표에 대하여, 특정 우측 카메라(3R)의 카메라 화상 상의 화소 좌표 (x,y)^R에 있어서의 기준 차체 마스크 화상의 화소치를 기록한 경우에는(단계 S208; YES), 차체 마스크 화상 변환부(44)는, 생성된 시야 변환 후의 차체 마스크 화상을 기억부(10)의 데이터 영역에 저장한다(단계 S209). 이때, 시야 변환 후의 차체 마스크 화상이 이미 데이터 영역에 존재하는 경우에는 덮어쓰기한다. 그리고, 본 처리는 종료하고, 화상 합성 처리의 단계 S003의 처리로 이행한다.

이어서, 도 18을 참조하여 본 실시형태 1에 있어서의 제1 시야 변환 화상 생성 처리의 흐름에 관해서 설명한다. 도 18은 본 실시형태 1에 있어서의 제1 시야 변환 화상 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다. 본 제1 시야 변환 화상 생성 처리는 전술한 화상 합성 처리의 단계 S003에 대응하는 처리이다. 좌측 카메라(3L)에 대응하는 처리와 유사한 우측 카메라(3R)에 대응하는 처리에 관해서 설명하는 것으로 한다.

제1 시야 변환 화상 생성부(45)는, 대응하는 시야 변환 화상 버퍼(12)를 클리어하고(단계 S301), 우측 가상 카메라(RB)의 우측 후측방 시야 V_RB의 화상 상에 있어서의 아직 처리하지 않은 화소 좌표 (x,y)^RB를 추출한다(단계 S302).

그리고, 제1 시야 변환 화상 생성부(45)는, 추출한 화소 좌표 (x,y)^RB를, 식(3.1)과 식(3.2)에 의해, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB로 변환하고(단계 S303), 또한, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB를, 식(4)에 의해, 차량 좌표계에서의 입사광 벡터 v^RB _CAR로 변환한다(단계 S304).

그리고, 제1 시야 변환 화상 생성부(45)는, 차량 좌표계에서의 입사광 벡터 v^RB _CAR를, 식(5)에 의해, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R로 변환하고(단계 S305), 식(6)에 의해, 입사광 벡터 v_CAM ^R에 대응하는 우측 카메라(3R)의 카메라 화상 상의 화소 좌표 (x,y)^R를 특정한다(단계 S306).

그리고, 제1 시야 변환 화상 생성부(45)는, 처리 대상의 화소 좌표 (x,y)^RB에, 특정한 화소 좌표 (x,y)^R의 화소치를 기록하고(단계 S307), 우측 가상 카메라(RB)의 화상 상의 모든 화소 좌표에 대하여 처리를 했는지 여부를 판정한다(단계 S308).

아직 미처리의 화소 좌표가 있는 경우에는(단계 S308; NO), 처리는 단계 S302의 처리로 되돌아가, 단계 S302에 후속하는 단계들을 반복한다. 한편, 모든 화소 좌표에 대하여, 특정한 우측 카메라(3R)의 카메라 화상 상의 화소 좌표 (x,y)^R의 화소치를 기록한 경우에는(단계 S308; YES), 본 처리를 종료하고, 화상 합성 처리의 단계 S004의 처리로 이행한다.

이어서, 도 19를 참조하여 본 실시형태 1에 있어서의 제2 시야 변환 화상 생성 처리의 흐름에 관해서 설명한다. 도 19는 본 실시형태 1에 있어서의 제2 시야 변환 화상 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다. 본 제2 시야 변환 화상 생성 처리는 전술한 화상 합성 처리의 단계 S004에 대응하는 처리이다. 좌측 카메라(3L)에 대응하는 처리와 유사한 우측 카메라(3R)에 대응하는 처리에 관해서 설명하는 것으로 한다.

제2 시야 변환 화상 생성부(47)는, 대응하는 시야 변환 화상 버퍼(12)를 클리어한다(단계 S401). 그리고, 위치 결정부(46)는, 거리 센서(5)에 의해 산출된 거리(D)에 기초하여, 투영면(S)을 구성하는 수직면을 배치하는 위치를 결정한다(단계 S402).

그리고, 제2 시야 변환 화상 생성부(47)는, 우측 가상 카메라(RB)의 우측 후측방 시야 V_RB의 화상 상에 있어서의, 아직 처리하지 않은 화소 좌표 (x,y)^RB를 추출하고(단계 S403), 추출한 화소 좌표 (x,y)^RB를, 식(3.1)과 식(3.2)에 의해, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB로 변환한다(단계 S404).

그리고, 제2 시야 변환 화상 생성부(47)는, 우측 가상 카메라(RB)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RB를, 식(4)에 의해, 차량 좌표계에서의 입사광 벡터 v^RB _CAR로 변환하고(단계 S405), 우측 가상 카메라(RB)의 광학 원점으로부터 입사광 벡터 v^RB _CAR와는 역방향으로 늘린 선분과, 위치 결정부(46)에 의해 결정된 위치에 수직면이 배치된 투영면(S)과의 교점 C의 차량 좌표계에서의 좌표를 산출한다(단계 406).

그리고, 제2 시야 변환 화상 생성부(47)는, 교점 C로부터 후방 카메라(3B)로의 차량 좌표계에서의 입사광 벡터 v^B _CAR를 산출하고(단계 S407), 또한, 식(7)에 의해, 산출한 입사광 벡터 v^B _CAR를 후방 카메라(3B)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^B로 변환한다(단계 S408).

그리고, 제2 시야 변환 화상 생성부(47)는, 식(8)에 의해, 입사광 벡터 v_CAM ^B에 대응하는 후방 카메라(3B)의 카메라 화상 상의 화소 좌표 (x,y)^B를 특정하고(단계 S409), 처리 대상의 화소 좌표 (x,y)^RB에, 특정한 화소 좌표 (x,y)^B의 화소치를 기록한다(단계 S410).

그리고, 제2 시야 변환 화상 생성부(47)는, 우측 가상 카메라(RB)의 화상 상의 모든 화소 좌표에 대하여 처리를 했는지 여부를 판정한다(단계 S411). 아직 미처리의 화소 좌표가 있는 경우에는(단계 S411; NO), 처리는 단계 S403의 처리로 되돌아가, 단계 S403 이후의 단계들을 반복한다.

한편, 모든 화소 좌표에 대하여, 특정한 후방 카메라(3B)의 카메라 화상 상의 화소 좌표 (x,y)^B의 화소치를 기록한 경우에는(단계 S411; YES), 본 처리를 종료하고, 화상 합성 처리의 단계 S005의 처리로 이행한다.

이어서, 도 20을 참조하여, 구체예에 따라서, 본 화상 합성 처리의 흐름에 관해서 설명한다. 도 20은 본 실시형태 1에 있어서의 화상 합성 처리 결과의 예를 도시하는 도면이다. 본 구체예는 우측 카메라(3R)에 대응하는 처리의 예를 나타내는 것이다.

우측 카메라(3R)에 의해 촬상된 우측 카메라 화상과 우측 카메라(3R)의 기준 차체 마스크 화상을, 제1 시야 변환 처리하여, 시야 변환 화상 R과 시야 변환한 차체 마스크 화상을 생성한다. 또한, 후방 카메라(3B)에 의해 촬상된 후방 카메라 화상을, 제2 시야 변환 처리하여, 시야 변환 화상 B^R을 생성한다.

그리고, 시야 변환한 차체 마스크 화상의 화소치에 기초하여, 시야 변환 화상 R과 시야 변환 화상 B^R을 화상 합성한다. 즉, 시야 변환 화상 R의 차체 영역에 후방 카메라(3B)에 의해 촬상된 후방 카메라 화상을 합성함으로써, 사각을 감소시킬 수 있다.

한편, 본 실시형태 1에 있어서, 후측방 시야의 차체 영역에 후방 카메라(3B)에 의해 촬상된 화상을 합성하는 처리에 관해서 설명했지만, 이것에 한정되는 것이 아니다. 예컨대, 전측방 시야의 차체 영역에 전방 카메라(3F)에 의해 촬상된 화상을 합성하는 경우 있어서도 본 실시형태 1의 구성을 적용할 수 있다. 즉, 차체가 사각이 되는 시야 화상에 대하여 본 실시형태 1의 구성을 적용할 수 있다. 도 21은 차량 전측방 시야에 적용한 경우에 있어서의 화상 합성 처리 결과의 예를 도시하는 도면이다.

상기 실시형태 1에 따르면, 차체 영역에, 그 차체 영역에 의해 사각으로 되는 주변 환경을 촬상한 화상을 합성한다. 이와 같이 구성함으로써, 사각 부분을 확인하기 위해서 복수의 모니터 등을 확인할 필요가 없어지기 때문에, 차량 주변의 확인이 용이하게 되어, 안전 운전에 기여할 수 있다.

또한, 상기 실시형태 1에 따르면, 합성하는 영역을 특정하기 위해서, 기준 차체 마스크 화상을 이용한다. 이와 같이 구성함으로써, 모니터(4)에 표시하는 시야 범위가 변화된 경우라도, 기준 차체 마스크 화상을 시야 변환하는 것만으로, 변화 후의 시야 범위에 있어서의 차체 영역(합성하는 영역)을 특정할 수 있게 된다.

또한, 상기 실시형태 1에 따르면, 모니터(4)에 표시하는 시야 범위에 따라서, 기준 차체 마스크 화상을 시야 변환하고, 합성 처리시에, 시야 변환한 차체 마스크 화상을 이용한다. 이와 같이 구성함으로써, 상정되는 시야 범위에 대응하는 복수의 차체 마스크 화상을 미리 준비하여, 기억부(10)의 데이터 영역에 저장해 둘 필요가 없어져, 자원을 유효 활용할 수 있게 된다.

(실시형태 2)

본 실시형태 2에 있어서, 상기 실시형태 1에서 설명한 차량 탑재 시스템(1)을 양산 차량에 탑재하는 경우의, 기준 차체 마스크 화상의 생성 방법에 관해서 설명한다.

도 22는 본 실시형태 2에 있어서의 차량 탑재 장치(2)의 구성예를 도시하는 기능 블록도이다. 본 실시형태 2에 있어서의 차량 탑재 장치(2)의 구성은 기본적으로는 실시형태 1의 경우와 같지만, 제어부(40)가, 또한 기준 차체 마스크 화상 생성부(49)로서 기능한다는 점과, 기억부(10)의 데이터 영역에 우측 카메라(3R)와 좌측 카메라(3L)의 이상 배치 파라미터와 이상 차체 마스크 화상이 저장되어 있다는 점에서, 실시형태 1의 경우와 다르다. 또한, 제어부(40)의 공통되는 기능부의 일부(예컨대, 변환 행렬 생성부(43))가 하는 역할이 실시형태 1의 경우와 약간 다르다.

이상 배치 파라미터는, 카메라(3)의 이상적인 부착 조건을 나타낸 파라미터이며, CAD 데이터에 기초하여 작성하여도 좋고, 기준이 되는 차량에 카메라(3)를 부착하여 배치 파라미터를 계측한 것을 이용하여도 좋다. 이하에서, 이상 배치 파라미터에 기초하여 배치되어 있는 우측 카메라(3R)와 좌측 카메라(3L)를, 각각 우측 이상 카메라(RM), 좌측 이상 카메라(LM)라고 하는 것으로 한다. 또한, 우측 이상 카메라(RM)와 좌측 이상 카메라(LM)를 구별할 필요가 없는 경우에는, 단순히 이상 카메라(M)라고 부르는 것으로 한다.

이상 차체 마스크 화상은, 카메라(3)를 이상 배치 파라미터에 따라서 배치했을 때의 차체 마스크 화상, 즉, 이상 카메라(M)의 기준 차체 마스크 화상이며, CAD 데이터에 기초하여 작성하여도 좋고, 또는 기준이 되는 차량에 부착한 카메라(3)의 화상에 기초하여 작성하여도 좋다.

제어부(40)는, 예컨대 CPU 등으로 구성되며, 기억부(10)의 프로그램 영역에 저장되어 있는 동작 프로그램을 실행한다. 제어부(40)는, 도 22에 도시하는 것과 같이, 판정부(41)와, 설정부(42)와, 변환 행렬 생성부(43)와, 차체 마스크 화상 변환부(44)와, 제1 시야 변환 화상 생성부(45)와, 위치 결정부(46)와, 제2 시야 변환 화상 생성부(47)와, 합성 처리부(48)와, 기준 차체 마스크 화상 생성부(49)로서의 기능을 실현하고, 차량 탑재 장치(2) 전체 동작을 제어하는 제어 처리와, 자세하게는 후술하는 기준 차체 마스크 화상 생성 처리 등의 처리를 실행한다.

변환 행렬 생성부(43)는, 실시형태 1에서 설명한 처리 외에, 기억부(10)의 데이터 영역에 저장되어 있는 이상 배치 파라미터에 기초하여, 식(2)에 의해, 차량 좌표계로부터 우측 이상 카메라(RM)의 카메라 좌표계로의 변환 행렬 P_CAR→CAM ^RM과, 차량 좌표계로부터 좌측 이상 카메라(LM)의 카메라 좌표계로의 변환 행렬 P_CAR→CAM ^LM을 산출한다.

또한, 변환 행렬 생성부(43)는, 기억부(10)의 데이터 영역에 저장되어 있는 우측 카메라(3R)와 좌측 카메라(3L)의 배치 파라미터에 기초하여, 식(2)에 의해, 변환 행렬 P_CAR→CAM ^R의 역행렬 P^-1 _CAR→CAM ^R과, 변환 행렬 P_CAR→CAM ^L의 역행렬 P^-1 _CAR→CAM ^L을 생성한다.

기준 차체 마스크 화상 생성부(49)는, 기억부(10)의 데이터 영역에 저장되어 있는 이상 차체 마스크 화상에 기초하여, 기준 차체 마스크 화상을 생성한다.

여기서, 기준 차체 마스크 화상 생성부(49)에 의한, 보다 구체적인 처리에 관해서, 도 23을 참조하여 설명한다. 도 23은 본 실시형태 2에 있어서의 기준 차체 마스크 화상의 생성 방법을 설명하기 위한 도면이다. 한편, 좌측 카메라(3L)에 대응하는 처리와 유사한 우측 카메라(3R)에 대응하는 처리에 관해서 설명하는 것으로 한다. 또한, 본 실시형태 2에서는, 양산 차량에서의 카메라(3)의 부착 위치 어긋남은 무시할 수 있는 정도인 것으로 하여 설명한다.

우측 카메라(3R)의 기준 차체 마스크 화상 상의 임의의 화소 좌표 (x,y)^R에 대응하는 이상 차체 마스크 화상 상의 화소 좌표를 (x,y)^RM으로 한다. 화소 좌표 (x,y)^R는, 식(10)에 의해, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R로 변환할 수 있고, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R는, 식(11)에 의해, 차량 좌표계에서의 입사광 벡터 v^R _CAR로 변환할 수 있다.

[수학식 10]

[수학식 11]

차량 좌표계는 카메라(3)의 배치 각도에 의존하지 않으므로, 차량 좌표계에서의 우측 카메라(3R)의 입사광 벡터 v^R _CAR는, 차량 좌표계에서의 우측 이상 카메라(RM)의 입사광 벡터 v^RM _CAR와 같다고 간주할 수 있다.

따라서, 차량 좌표계에서의 입사광 벡터 v^R _CAR(=v^RM _CAR)를, 식(12)에 의해, 우측 이상 카메라(RM)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RM로 변환할 수 있다.

[수학식 12]

여기서, 우측 이상 카메라(RM)와 양산 차량의 각 우측 카메라(3R)의 디스토션(렌즈 왜곡)의 차이가 무시할 수 있는 정도라고 하면, 동일한 매핑 테이블 T_R을 이용한 식(13)에 의해, 우측 이상 카메라(RM)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RM를 화소 좌표 (x,y)^RM로 변환할 수 있다.

[수학식 13]

이와 같이 하여 특정한 이상 차체 마스크 화상 상의 화소 좌표 (x,y)^RM에 있어서의 화소치를, 기준 차체 마스크 화상 상의 화소 좌표 (x,y)^R에 기록함으로써, 기준 차체 마스크 화상을 생성한다.

이어서, 도 24를 참조하여 본 실시형태 2에 있어서의 기준 차체 마스크 화상 생성 처리의 흐름에 관해서 설명한다. 도 24는 본 실시형태 2에 있어서의 기준 차체 마스크 화상 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다. 본 기준 차체 마스크 화상 생성 처리는, 예컨대, 조작부(20)를 통해 미리 결정된 조작이 이루어진 것을 트리거로 하여 시작된다. 좌측 카메라(3L)에 대응하는 처리와 유사한 우측 카메라(3R)에 대응하는 처리에 관해서 설명하는 것으로 한다.

변환 행렬 생성부(43)는, 우측 카메라(3R)의 배치 파라미터에 기초하여, 식(2)에 의해, 변환 행렬 P_CAR→CAM ^R의 역행렬 P^-1 _CAR→CAM ^R을 산출하고(단계 S501), 이상 배치 파라미터에 기초하여, 식(2)에 의해, 차량 좌표계로부터 우측 이상 카메라(RM)의 카메라 좌표계로의 변환 행렬 P_CAR→CAM ^RM을 산출한다(단계 S502).

그리고, 기준 차체 마스크 화상 생성부(49)는, 차체 마스크 화상 버퍼(13)를 클리어하고(단계 S503), 우측 카메라(3R)의 기준 차체 마스크 화상 상에 있어서의, 아직 처리하지 않는 화소 좌표 (x,y)^R를 추출한다(단계 S504).

그리고, 기준 차체 마스크 화상 생성부(49)는, 추출한 화소 좌표 (x,y)^R를, 식(10)에 의해, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R로 변환하고(단계 S505), 또한, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R를, 식(11)에 의해, 차량 좌표계에서의 입사광 벡터 v^R _CAR로 변환한다(단계 S506).

그리고, 기준 차체 마스크 화상 생성부(49)는, 차량 좌표계에서의 입사광 벡터 v^R _CAR(=v^RM _CAR)를, 식(12)에 의해, 우측 이상 카메라(RM)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^RM로 변환하여(단계 S507), 식(13)에 의해, 입사광 벡터 v_CAM ^RM에 대응하는 우측 이상 카메라(RM)의 이상 차체 마스크 화상 상의 화소 좌표 (x,y)^RM을 특정한다(단계 S508).

그리고, 기준 차체 마스크 화상 생성부(49)는, 처리 대상의 화소 좌표 (x,y)^R에, 특정한 화소 좌표 (x,y)^RM에 있어서의 기준 차체 마스크 화상의 화소치를 기록하고(단계 S509), 우측 카메라(3R)의 기준 차체 마스크 화상 상의 모든 화소 좌표에 대하여 처리를 했는지 여부를 판정한다(단계 S510).

아직 미처리의 화소 좌표가 있는 경우에는(단계 S510; NO), 처리는 단계 S504의 처리로 되돌아가, 단계 S504 이후의 단계들을 반복한다. 한편, 모든 화소 좌표에 대하여, 특정한 화소 좌표 (x,y)^RM에 있어서의 이상 차체 마스크 화상의 화소치를 기록한 경우에는(단계 S510; YES), 기준 차체 마스크 화상 생성부(49)는, 생성된 기준 차체 마스크 화상을 기억부(10)의 데이터 영역에 저장하고(단계 S511), 본 처리는 종료한다.

상기 실시형태 2에 따르면, 이상 차체 마스크 화상을, 실제의 카메라(3)의 배치 파라미터에 기초하여 변환하여, 차량마다 기준 차체 마스크 화상을 생성한다. 이와 같이 구성함으로써, 카메라(3)의 배치 파라미터에 변동이 있는 양산 차량의 제조시에 있어서의 공정수를 줄여, 제조 효율을 향상시킬 수 있게 된다.

(실시형태 3)

본 실시형태 3에서는, 차체 형상 데이터에 기초하여, 양산 차량의 기준 차체 마스크 화상을 생성하는 방법에 관해서 설명한다.

본 실시형태 3에 있어서의 차량 탑재 장치(2)의 구성은 기본적으로는 실시형태 2의 경우와 같으나, 이상 차체 마스크 화상 대신에 차체 형상 데이터가 기억부(10)의 데이터 영역에 저장되어 있다는 점에서, 실시형태 2의 경우와 다르다. 또한, 제어부(40)의 공통되는 기능부의 일부(예컨대, 변환 행렬 생성부(43)와 기준 차체 마스크 화상 생성부(49))가 하는 역할이 실시형태 2의 경우와 약간 다르다.

차체 형상 데이터는, 도 25에 도시하는 것과 같이, 예컨대, 차량 형상을 모방한 3차원 폴리곤 데이터이며, 차량 좌표계에서 정의되어 있는 것으로 한다.

변환 행렬 생성부(43)는, 실시형태 1에서 설명한 처리 외에, 기억부(10)의 데이터 영역에 저장되어 있는 우측 카메라(3R)와 좌측 카메라(3L)의 배치 파라미터에 기초하여, 식(2)에 의해, 변환 행렬 P_CAR→CAM ^R의 역행렬 P^-1 _CAR→CAM ^R과, 변환 행렬 P_CAR→CAM ^L의 역행렬 P^-1 _CAR→CAM ^L을 생성한다.

기준 차체 마스크 화상 생성부(49)는, 기억부(10)의 데이터 영역에 저장되어 있는 차체 형상 데이터에 기초하여, 기준 차체 마스크 화상을 생성한다.

여기서, 기준 차체 마스크 화상 생성부(49)에 의한, 보다 구체적인 처리에 관해서, 도 25를 참조하여 설명한다. 도 25는 본 실시형태 3에 있어서의 기준 차체 마스크 화상의 생성 방법을 설명하기 위한 도면이다. 한편, 좌측 카메라(3L)에 대응하는 처리와 유사한 우측 카메라(3R)에 대응하는 처리에 관해서 설명하는 것으로 한다.

우측 카메라(3R)의 기준 차체 마스크 화상 상의 임의의 화소 좌표 (x,y)^R는, 전술한 식(10)에 의해, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R로 변환할 수 있고, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R는, 전술한 식(11)에 의해, 차량 좌표계에서의 입사광 벡터 v^R _CAR로 변환할 수 있다.

여기서, 우측 카메라(3R)의 차량 좌표계에서의 배치 좌표를 (Tx^R, Ty^R, Tz^R)로 한다. 이때, 배치 좌표 (Tx^R,Ty^R,Tz^R)로부터 벡터 v^R _CAR의 방향과는 역방향으로 연장되는 선분은, 차량 형상 데이터를 구성하는 폴리곤 내에서, 차체 영역을 구성하는 폴리곤과의 교점을 갖는 경우에는, 차체 영역이라고 하여, "0"의 값을 화소치로서 화소 좌표 (x,y)^R에 기록한다. 한편, 연장된 선분이 차체 영역을 구성하는 폴리곤과의 교점을 갖지 않는 경우에는, 차체 영역이 아니라고 하여, "1"의 값을 화소치로서 화소 좌표 (x,y)^R에 기록한다.

이어서, 도 26을 참조하여 본 실시형태 3에 있어서의 기준 차체 마스크 화상 생성 처리의 흐름에 관해서 설명한다. 도 26은 본 실시형태 3에 있어서의 기준 차체 마스크 화상 생성 처리의 흐름을 설명하기 위한 흐름도의 예이다. 본 기준 차체 마스크 화상 생성 처리는, 예컨대, 조작부(20)를 통해 미리 결정된 조작이 이루어진 것을 트리거로 하여 시작된다. 좌측 카메라(3L)에 대응하는 처리와 유사한 우측 카메라(3R)에 대응하는 처리에 관해서 설명하는 것으로 한다.

변환 행렬 생성부(43)는, 우측 카메라(3R)의 배치 파라미터에 기초하여, 식(2)에 의해, 변환 행렬 P_CAR→CAM ^R의 역행렬 P^-1 _CAR→CAM ^R을 산출한다(단계 S601).

그리고, 기준 차체 마스크 화상 생성부(49)는, 차체 마스크 화상 버퍼(13)를 클리어하고(단계 S602), 우측 카메라(3R)의 기준 차체 마스크 화상 상에 있어서의, 아직 처리하지 않은 화소 좌표 (x,y)^R를 추출한다(단계 S603).

그리고, 기준 차체 마스크 화상 생성부(49)는, 추출한 화소 좌표 (x,y)^R를, 식(10)에 의해, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R로 변환하고(단계 S604), 또한, 우측 카메라(3R)의 카메라 좌표계에서의 입사광 벡터 v_CAM ^R를, 식(11)에 의해, 차량 좌표계에서의 입사광 벡터 v^R _CAR로 변환한다(단계 S605).

그리고, 기준 차체 마스크 화상 생성부(49)는, 차량 좌표계에서의 입사광 벡터 v^R _CAR에 기초하여, 차량 형상 데이터를 구성하는 폴리곤 내에서, 차체 영역을 구성하는 폴리곤과의 교점 C^P을 산출하여(단계 S606), 교점 C^P이 있는지 여부를 판정한다(단계 S607). 즉, 교점 C^P을 산출할 수 있었는지 여부를 판정한다.

교점 C^P이 있는 경우에는(단계 S607; YES), 처리 대상의 화소 좌표 (x,y)^R에 화소치 "0"을 기록한다(단계 S608). 교점 C^P이 없는 경우에는(단계 S607; NO), 처리 대상의 화소 좌표 (x,y)^R에 화소치 "1"을 기록한다(단계 S609).

그리고, 기준 차체 마스크 화상 생성부(49)는, 우측 카메라(3R)의 기준 차체 마스크 화상 상의 모든 화소 좌표에 대하여 처리를 했는지 여부를 판정한다(단계 S610).

아직 미처리의 화소 좌표가 있는 경우에는(단계 S610; NO), 처리는 단계 S603의 처리로 되돌아가, 단계 S603 이후의 단계를 반복한다. 한편, 모든 화소 좌표에 대하여 화소치를 기록한 경우에는(단계 S610; YES), 기준 차체 마스크 화상 생성부(49)는, 생성된 기준 차체 마스크 화상을 기억부(10)의 데이터 영역에 저장하고(단계 S611), 본 처리는 종료한다.

상기 실시형태 3에 따르면, 차량 형상 데이터와 우측 카메라(3R)(또는 좌측 카메라(3L))의 배치 파라미터에 기초하여, 기준 차체 마스크 화상을 생성한다. 이와 같이 구성함으로써, 우측 카메라(3R)(또는 좌측 카메라(3L))의 배치 위치에 어긋남이 있더라도, 차체 마스크 화상을 생성할 수 있게 된다.

도 27은 각 실시형태에 있어서의 차량 탑재 시스템(1)의 하드웨어 구성의 예를 도시하는 도면이다. 도 14(또는 도 22)에 도시하는 차량 탑재 장치(2)는, 예컨대 도 27에 도시하는 각종 하드웨어에 의해 실현되어도 좋다. 도 27의 예에서는, 차량 탑재 장치(2)는, CPU(201), RAM(202), ROM(203), HDD(204), 카메라(3)가 접속되어 있는 카메라 인터페이스(205), 모니터(4)가 접속되어 있는 모니터 인터페이스(206), 거리 센서(5)가 접속되어 있는 센서 인터페이스(207), 무선 통신 모듈(208) 및 판독 장치(209)를 갖추고, 이들 모두는 버스(211)를 통해 접속되어 있다.

CPU(201)는, HDD(204)에 저장되어 있는 동작 프로그램을 RAM(202)에 로드하고, RAM(202)를 워킹 메모리로서 사용하면서 각종 처리를 실행한다. CPU(201)는 동작 프로그램을 실행함으로써, 도 14(또는 도 22)에 도시하는 제어부(40)의 각 기능부를 실현할 수 있다.

한편, 상기 동작을 실행하기 위한 동작 프로그램을, 플렉시블 디스크, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk), MO(Magnet Optical disk) 등의 컴퓨터로 판독 가능한 기록 매체(212)에 기억하여 배포하고, 이것을 차량 탑재 장치(2)의 판독 장치(209)로 판독하여 컴퓨터에 인스톨함으로써, 전술한 처리를 실행하도록 구성하여도 좋다. 또한, 인터넷 상의 서버의 디스크 장치 등에 동작 프로그램을 기억해 두고서, 무선 통신 모듈(208)을 통해, 차량 탑재 장치(2)의 컴퓨터에 동작 프로그램을 다운로드하거나 하는 것으로 하여도 좋다.

한편, 실시형태에 따라서, RAM(202), ROM(203), HDD(204) 이외의 다른 종류의 기억 장치가 이용되어도 좋다. 예컨대, 차량 탑재 장치(2)는, CAM(Content Addressable Memory), SRAM(Static Random Access Memory), SDRAM(Synchronous Dynamic Random Access Memory) 등의 기억 장치를 갖더라도 좋다.

무선 통신 모듈(208)은, 무선 접속에 있어서의 물리층을 처리하는 하드웨어이다. 무선 통신 모듈(208)은, 예컨대, ADC(Analog-to-Digital Converter), DAC(Digital-to-Analog Converter), 변조기, 복조기, 부호화기, 복호기 등을 포함한다.

한편, 실시형태에 따라서, 차량 탑재 시스템(1)의 하드웨어 구성은 도 27과는 다르더라도 좋으며, 도 27에 예시한 것과는 상이한 규격 및 종류의 하드웨어를 차량 탑재 시스템(1)에 적용할 수도 있다.

예컨대, 도 14(또는 도 22)에 도시하는 차량 탑재 장치(2)의 제어부(40)의 각 기능부는 하드웨어 회로에 의해 실현되어도 좋다. 구체적으로는, CPU(201) 대신에, FPGA(Field Programmable Gate Array) 등의 리콘피규러블(Reconfigurable) 회로나, ASIC(Application Specific Integrated Circuit) 등에 의해, 도 14(또는 도 22)에 도시하는 차량 탑재 장치(2)의 제어부(40)의 각 기능부가 실현되어도 좋다. 물론, CPU(201)와 하드웨어 회로 쌍방에 의해, 이들 기능부가 실현되어도 좋다.

이상에서 몇 개의 실시형태에 관해서 설명했다. 그러나, 전술한 실시형태의 각종 변형 형태 및 대체 형태를 포함하는 것으로서 이해되어야 한다. 예컨대, 각종 실시형태는, 그 취지 및 범위를 일탈하지 않는 범위에서 상기 실시형태는 한정적인 개념을 갖고자 함이 아니고, 변형되어 실행될 수도 있다. 나아가서는, 실시형태에 기재되는 전체 구성 요소에서 몇 개의 구성 요소를 삭제하거나 또는 다른 구성 요소로 치환하고, 혹은 실시형태에 기재되는 구성 요소에 몇 개의 구성 요소를 추가하여 상이한 실시형태가 실시될 수 있음을 당업자는 이해할 수 있을 것이다.

Claims

화상 처리 장치로서,
차량에 탑재되며, 촬상 범위에 차체의 일부를 포함하도록 배치된 제1 카메라의 화상을, 상기 제1 카메라의 시야 내의 임의의 시야를 갖는 화상으로 변환하도록 구성된 제1 시야 변환 유닛;
상기 제1 카메라에 의해 촬상된 화상의 상기 차체의 영역에 의해 사각(blind spot)으로서 되는 주변 환경을 촬상하는 제2 카메라의 화상인 사각 화상을, 상기 제1 시야 변환 유닛에 의한 시야 변환 후에 획득된 상기 화상의 시야와 동일한 시야를 갖는 상기 사각 화상으로 변환하도록 구성된 제2 시야 변환 유닛; 및
상기 제1 시야 변환 유닛에 의한 시야 변환 후에 획득된 상기 화상의 상기 차체의 영역에, 상기 제2 시야 변환 유닛에 의한 변환에 의하여 획득된 상기 사각 화상에 대응하는 영역을 합성하도록 구성된 합성 유닛
을 구비하는 화상 처리 장치.
제 1 항에 있어서, 상기 제1 카메라에 의해 촬상된 화상 중에서, 상기 차체의 영역을 나타내는 차체의 마스크 화상을 저장하도록 구성된 저장 유닛; 및
상기 저장 유닛에 저장된 상기 차체의 마스크 화상을, 상기 제1 시야 변환 유닛에 의한 시야 변환 후에 획득된 상기 화상의 시야와 동일한 시야를 갖도록 변환하도록 구성된 차체 마스크 화상 변환 유닛
을 더 구비하고,
상기 합성 유닛은, 상기 차체 마스크 화상 변환 유닛에 의한 시야 변환 후에 획득된 상기 차체의 마스크 화상에 기초하여, 합성 영역을 특정하는 것인 화상 처리 장치.
제 2 항에 있어서, 상기 차체의 마스크 화상을 생성하도록 구성된 생성 유닛을 더 구비하는 화상 처리 장치.
제 3 항에 있어서, 상기 생성 유닛은, 기준 배치 조건 하에서 작성된 차체의 마스크 화상을, 상기 제1 카메라의 배치 조건에 따라 변환함으로써 상기 차체의 마스크 화상을 생성하는 것인 화상 처리 장치.
제 3 항에 있어서, 상기 생성 유닛은, 상기 차량의 형상을 본뜬 차량 형상 데이터와, 상기 제1 카메라의 배치 조건을 나타내는 배치 파라미터에 기초하여, 상기 차체의 마스크 화상을 생성하는 것인 화상 처리 장치.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 임의의 시야를 가변시키도록 구성된 가변 유닛을 더 구비하는 화상 처리 장치.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 합성 유닛은, 상기 차체의 윤곽을 남기는 방식으로 상기 영역들을 합성하는 것인 화상 처리 장치.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 합성 유닛에 의한 합성 결과를 표시 화면 상에 표시하도록 구성된 표시 유닛을 더 구비하는 화상 처리 장치.
화상 처리 방법으로서,
차량에 탑재되며, 촬상 범위에 차체의 일부를 포함하도록 배치된 제1 카메라의 화상을, 상기 제1 카메라의 시야 내의 임의의 시야를 갖는 화상으로 변환하는 단계;
상기 제1 카메라에 의해 촬상된 화상의 상기 차체의 영역에 의해 사각으로 되는 주변 환경을 촬상하는 제2 카메라의 화상인 사각 화상을, 상기 제1 카메라의 화상의 변환 후에 획득된 상기 화상의 시야와 동일한 시야를 갖는 상기 사각 화상으로 변환하는 단계; 및
상기 제1 카메라의 화상의 변환 후에 획득된 상기 화상의 상기 차체의 영역에, 상기 사각 화상의 변환에 의하여 획득된 상기 사각 화상에 대응하는 영역을 합성하는 단계
를 포함하는 화상 처리 방법.
실행시, 화상 처리 장치의 컴퓨터로 하여금 화상 처리 방법을 수행하게 하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체로서, 상기 방법은,
차량에 탑재되며, 촬상 범위에 차체의 일부를 포함하도록 배치된 제1 카메라의 화상을, 상기 제1 카메라의 시야 내의 임의의 시야를 갖는 화상으로 변환하는 단계;
상기 제1 카메라에 의해 촬상된 화상의 상기 차체의 영역에 의해 사각으로 되는 주변 환경을 촬상하는 제2 카메라의 화상인 사각 화상을, 상기 제1 카메라의 화상의 변환 후에 획득된 상기 화상의 시야와 동일한 시야를 갖는 상기 사각 화상으로 변환하는 단계; 및
상기 제1 카메라의 화상의 변환 후에 획득된 상기 화상의 상기 차체의 영역에, 상기 사각 화상의 변환에 의하여 획득된 상기 사각 화상에 대응하는 영역을 합성하는 단계
를 포함하는 것인 화상 처리 방법을 수행하게 하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체.