KR20020038819A

KR20020038819A - 감시 시스템, 카메라 조정방법 및 차량감시 시스템

Info

Publication number: KR20020038819A
Application number: KR1020027004662A
Authority: KR
Inventors: 오카모토슈사쿠; 나카가와마사미치; 모리무라아츠시
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 1999-10-12
Filing date: 2000-10-12
Publication date: 2002-05-23
Also published as: EP1227683A1; ATE333192T1; KR100522218B1; CN1159914C; DE60029335D1; WO2001028250A1; CN1561093A; JP3300341B2; DE60029335T2; US6911997B1; CN1378746A; EP1227683A4; EP1227683B1

Abstract

차량의 주위 및 그 원방을 감시하기 위해서, 쌍을 이루는 카메라(23L, 23R)로 이루어지는 트윈 카메라(23)를 차량에 설치한다. 그리고, 각 카메라(23L, 23R)의 방향을 적절히 설정하기 위해서, 차량중심선(BCL)의 당해 카메라에 찍는 부분의 길이, 차량후단선(BEL)의 당해 카메라에 찍는 부분의 길이 및 촬영방향에서의 사각(S)의 면적을 지표로 하여, 각각의 앙각, 방위각 및 광축주위의 회전각을 조정한다.

Description

감시 시스템, 카메라 조정방법 및 차량감시 시스템{MONITOR CAMERA, METHOD OF ADJUSTING CAMERA, AND VEHICLE MONITOR SYSTEM}

종래, 차량의 주위를 카메라를 이용하여 실사감시하는 장치로서, 일본 특허공개공보 특개평 3-99952호에 기재된 장치가 알려져 있다. 이 장치(차량용 주위상황 모니터)는 도 29의 (a)에 나타내는 바와 같이, 복수대의 차량용 주위상황 모니터용의 카메라(a∼f)를 차량(100) 주위에 장착하고, 각 카메라에 의해 촬영된 부분화상을 평면에서 본 것으로 변환하여 평면에서 본 부분화상을 작성하여, 이들을 합성하고, 도 29의 (b)에 나타내는 바와 같은 평면에서 본 전체 화상을 작성하여, 디스플레이(TV 모니터)(200)에 표시하고 있다.

그러나, 상술한 장치에서는 노면감시용 카메라는 후방경치까지도 표시시키도록 구성되어 있지는 않으므로, 예를 들어 후퇴조작에 있어서 후방경치를 디스플레이에 표시시키는 경우에는, 도 29의 (c)에 나타내는 바와 같이, 상기 노면촬영용 카메라와는 별도로, 후방감시용 카메라(g)를 차량(100)에 별도로 설치해야만 한다.

본 발명은 차량운전시의 안전확인의 보조 등에 이용되는 카메라를 이용한 감시 시스템에 유효한 기술에 관한 것이다.

도 1의 (a), (b)는 각각 본 발명의 각 실시예에 관한 차량감시 시스템의 구성을 나타내는 도면.

도 2는 도 1의 시스템에서 이용되는 변환 테이블을 설명하기 위한 도면.

도 3은 종래의 후방감시 카메라의 설치상태를 나타내는 도면.

도 4는 본 발명의 제 1 실시예에 관한 트윈 카메라의 설치상태를 나타내는 도면.

도 5는 카메라의 방향을 나타내는 앙각, 방위각 및 회전각과, 공간을 정의하는 좌표계의 XYZ축과의 관계를 나타내는 도면.

도 6은 카메라의 방향을 나타내는 앙각, 방위각 및 회전각을 정하기 위한 회전조작을 나타내는 도면.

도 7은 도 4에 나타내는 트윈 카메라를 차량후부 트렁크 위에 설치한 경우의 촬영범위 및 촬영화상의 예를 나타내는 도면.

도 8은 카메라 설치에서의 세계좌표계를 나타내는 도면.

도 9는 본 발명의 제 1 실시예에 관한 평가값을 설명하기 위한 도면.

도 10은 평가값의 계산결과의 일례를 나타내는 도면.

도 11의 (a), (b)는 카메라의 광축주위의 회전에 의해서 시야범위가 변하는 것을 나타낸 개념도.

도 12는 도 11의 (a)에 나타내는 회전각 0도의 경우의 가상시점화상을 나타내는 도면.

도 13은 도 11의 (b)에 나타내는 회전각 33.2도의 경우의 가상시점화상을 나타내는 도면.

도 14는 트윈 카메라의 촬영화상을 이용하여 합성한, 위에서 내려다 본 가상시점화상을 나타내는 도면.

도 15는 본 발명의 제 2 및 제 3 실시예를 설명하기 위한 도면으로, (a)는 차량과 그 주위의 평면도, (b)는 측방에서 본 도면.

도 16의 (a), (b)는 도 15에 나타내는 각 카메라에 의한 촬영화상을 나타내는 도면.

도 17은 도 16의 촬영화상으로부터 생성된 가상시점화상을 나타내는 도면.

도 18의 (a), (b)는 본 발명의 제 3 실시예를 설명하기 위한 도면으로, 도15에 나타내는 각 카메라에 의한 촬영화상을 나타내는 도면.

도 19는 도 18의 촬영화상으로부터 생성된 가상시점화상을 나타내는 도면.

도 20은 본 발명의 제 3 실시예에 있어서, 3대의 카메라가 설치된 상태를 나타내는 도면.

도 21은 본 발명의 제 4 실시예를 설명하기 위한 도면으로, 차량과 그 주위를 나타내는 평면도.

도 22의 (a)∼(d)는 도 21에 나타내는 각 카메라에 의한 촬영화상을 나타내는 도면.

도 23은 도 22의 촬영화상으로부터 생성된 가상시점화상을 나타내는 도면.

도 24는 제 5 실시예를 설명하기 위한 도면으로, 차량과 그 주위를 나타내는 평면도.

도 25는 도 24에 나타내는 각 카메라에 의한 촬영화상을 나타내는 도면.

도 26은 도 25의 촬영화상으로부터 생성된 가상시점화상을 나타내는 도면.

도 27의 (a), (b)는 본 발명의 제 6 실시예에 관한 카메라의 설치형태의 일례로서, 신축 가능한 방식이 채용된 구성을 나타내는 도면.

도 28의 (a)∼(e)는 본 발명의 제 6 실시예에 관한 카메라의 설치형태의 일례로서, 개폐기구가 채용된 구성을 나타내는 도면.

도 29의 (a)∼(c)는 종래의 기술을 설명하기 위한 도면.

본 발명은 차량 등에 이용되는 감시 시스템으로서, 카메라의 설치형태, 설치위치 등을 개선함으로써, 감시성능을 종래보다도 향상시키는 것을 목적으로 한다.

구체적으로, 본 발명은 감시 시스템으로서, 쌍을 이루는 제 1 및 제 2 카메라로 이루어지는 트윈 카메라를 구비하고, 상기 제 1 및 제 2 카메라는 촬영범위가 적어도 일부 겹치고, 또한, 그 광축끼리가 양쪽의 광축에 평행한 카메라 설치평면에 투영되었을 때 소정의 확산각을 이루도록 설치되어 있고, 상기 제 1 및 제 2 카메라 중 적어도 한쪽은 당해 카메라의 시야범위의 uv 평면이 그 광축과 직교하는 기준평면 상에 투영되었을 때, u축이 당해 기준평면과 상기 카메라 설치평면과의 교선에 대해, 평행하지 않고 또한 직교하지 않도록 그 광축주위의 회전각이 설정되어 있는 것이다.

그리고, 상기 트윈 카메라는 차량에 당해 차량의 주위 및 그 원방을 촬영하도록 설치되어 있는 것이 바람직하다. 또한, 상기 트윈 카메라는 상기 확산각이 50도 이상 90도 이하이고, 상기 회전각이 상기 기준평면 상에서 u축이 상기 기준평면과 상기 카메라 설치평면과의 교선에 대해 평행이 될 때의 각도를 0도로 하였을 때, 10도 이상 35도 이하가 되도록 설치되어 있는 것이 바람직하다.

또한, 상기 제 1 및 제 2 카메라는 그 시야범위가 사각형인 것이 바람직하다.

또한, 본 발명은 차량에 설치되어, 당해 차량의 주위 및 그 원방을 촬영하는 쌍을 이루는 카메라로 이루어지는 트윈 카메라의 조정방법으로서, 상기 쌍을 이루는 카메라 각각의 앙각, 방위각 및 광축주위의 회전각을 촬영방향을 나타내는 직선에서의 당해 카메라에 촬영되는 부분의 길이, 차량단부를 따르는 직선에서의 당해 카메라에 촬영되는 부분의 길이 및 촬영방향에서의 사각의 면적을 지표로 하여, 조정하는 것이다.

또한, 본 발명은 차량감시 시스템으로서, 차량의 주위를 촬영하는 복수의 카메라와, 상기 복수의 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고, 상기 복수의 카메라는 쌍을 이루어, 근접 배치된 2개의 카메라로 이루어지는 트윈 카메라를 포함하는 것이다.

그리고, 상기 트윈 카메라는 일체형으로 실장되어 있는 것이 바람직하다.

또한, 본 발명은 차량감시 시스템으로서, 당해 차량의 주위를 촬영하는 하나 또는 복수의 카메라와, 상기 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고, 상기 카메라의 적어도 하나는 당해 차량의 측면, 도어미러의 비가동부, 윈도바이저(window visor) 또는 도어노브(door knob) 장착부에 설치되어 있는 것이다.

또한, 본 발명은 차량감시 시스템으로서, 차량의 주위를 촬영하는 하나 또는 복수의 카메라와, 상기 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고, 상기 카메라의 적어도 하나는 당해 카메라의 촬영범위를 향하여 광을 조사하는 조명수단에 대응하여 배치되어 있는 것이다.

또한, 본 발명은 차량감시 시스템으로서, 차량의 주위를 촬영하는 하나 또는 복수의 카메라와, 상기 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고, 상기 카메라의 적어도 하나는 당해 차량에 당해 카메라를 사용할 때에는 배출하는 한편, 사용하지 않을 때에는 수납되도록 신축 가능하게(retractable) 설치되어 있는 것이다.

그리고, 상기 신축 가능하게 설치된 카메라는 당해 차량의 기어설정 및 주행속도 중 적어도 어느 한쪽에 따라서 그 배출·수납이 제어되는 것이 바람직하다.

또한, 본 발명은 차량감시 시스템으로서, 차량의 주위를 촬영하는 하나 또는 복수의 카메라와, 상기 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고, 상기 카메라의 적어도 하나는 당해 차량에 그 카메라의 촬영방향 앞면에 설치된 개폐가 자유로운 부재와 함께 설치되어 있고, 상기 부재는 당해 카메라를 사용할 때는 열림상태가 되는 한편, 사용하지 않을 때는 닫힘상태가 되도록 제어되는 것이다.

이하, 본 발명의 실시예에 대해서 도면을 참조하여 설명한다.

도 1은 본 발명의 각 실시예에 관한 차량감시 시스템으로서의 차량외부 표시장치의 기능블록도이다. 도 1의 (a)에 있어서, 차량외부 표시장치(10)는 차량의 복수개소에 설치되는 복수의 촬영수단으로서의 컬러 CCD 카메라(C1∼Cn)와, 이들 카메라(C1∼Cn)로부터의 촬영화상(TP1∼TPn)을 입력하여, 당해 촬영화상(TP1∼TPn)을 가공하고, 가상시점화상 데이터(PP_D)로서 출력하는 화상처리장치(11)와, 데이터(PP_D)를 입력하여, 가상시점화상(PP)을 표시하는 액정 디스플레이(12)로 이루어진다. 화상처리장치(11)는 촬영화상(TP1∼TPn)의 가공을 변환 테이블(TBL1∼TBLm)의 어느 하나를 사용하여 행한다.

여기서, 촬영수단은 전형적으로는 CCD, CMOS 디바이스 등의 고체촬상소자를 갖는 컬러 또는 흑백의 디지털 카메라이다. 또한, 촬영수단은 예컨대, 렌즈와 프리즘 또는 미러의 조합에 의해서 구성되고, 렌즈, 프리즘 또는 미러로의 입사광이 소정광로를 지나 촬영수단에서 떨어진 위치에 있는 촬상소자에 전달되도록 구성되어 있어도 된다.

또한, 카메라는 2 이상의 설치자세를 갖는 것(방향을 변경할 수 있는 것), 또는 촬영범위를 줌(zoom) 등에 의해 변화시킬 수 있는 것이어도 된다. 카메라의 설치자세나 촬영범위가 변화되었을 때, 화상처리장치(11)는 적절한 다른 처리를 행하는 것은 말할 필요도 없다.

또한, 화상처리장치(11)는 차량에 탑재되어도 되고, 또는 차량 이외의 장소에 설치되어도 된다. 후자의 경우에는, 촬영수단으로부터의 화상 데이터는 차외의 화상처리장치에 무선으로 송신되고, 당해 화상처리장치는 수신한 당해 화상 데이터에 소정의 가공을 실시한 후, 생성한 가상시점화상을 차량에 탑재한 디스플레이에 송신한다.

또한, 디스플레이는 전형적으로는 액정 디스플레이지만, 플라즈마 디스플레이 등의 다른 표시 디바이스를 이용할 수도 있다. 또한, 여기서 이용하는 디스플레이는 차량탑재형의 GPS 단말 디스플레이(소위 카 네비게이션(car navigation) 시스템의 디스플레이)와 공용이어도 되고, 이것과는 별개로 설치한 것이어도 된다.

화상처리장치(11)가 어떤 변환 테이블을 사용하는가에 따라서, 차량외부 표시장치(10)의 표시모드가 결정된다. 이 표시모드는 수동으로 또는 자동적으로 전환할 수 있다. 여기서의 가공은 ①클리핑(clipping)처리, ②화상변형처리, ③클리핑된 부분화상의 합성처리(경계처리를 포함한다)이다.

「클리핑」이란 가상시점화상의 합성에 필요한 부분을 촬영화상으로부터 잘라내는 처리를 의미한다. 또한 「경계처리」란 부분화상끼리의 경계를 숨기는 또는 눈에 띄지 않게 하기 위한 처리를 말한다. 경계를 숨기거나 눈에 띄지 않게 하기 위해서는, 구체적으로는 예컨대, 부분화상끼리를 경계부분에서 일부 중복시켜, 중복부분의 휘도, 채도, 색상의 적어도 하나에 대하여 경계에서의 변화를 매끄럽게 하는 수법 등을 이용하면 된다. 물론, 부분화상끼리의 경계를 구분선에 의해서 명시하여도 된다.

이들 ①∼③의 처리는 각각 따로따로 이루어져도 되고, 전부 또는 일부가 하나의 공정에 의해 이루어져도 된다. 또한, 촬영된 화상의 변형처리를 행한 후에 클리핑 및 합성처리를 행할 수도 있고, 클리핑을 행한 후에 변형처리 및 합성처리를행할 수도 있다. 예를 들어, 촬상소자가 CCD인 경우에는, 촬영화상을 프레임버퍼에 인입한 후에 클리핑을 행할 수 있고, 촬상소자가 CMOS 디바이스인 경우에는, 촬영시에 클리핑해야 하는 부분을 지정하여, 클리핑한 화상을 프레임버퍼에 인입할 수 있다.

또한, 디스플레이(12)에는 컴퓨터 그래픽스에 의해 작성된 차량도형 M이 표시되어 있다. 이 차량도형 M은 가상시점에서 본 차량화상을 나타낸 것이다. 또, 디스플레이(12)에는 항상 가상시점에서 본 차량도형 M이 표시된다고는 할 수 없다.

도 2는 변환 테이블의 일례를 나타내는 도면이다. 도 2에서는 가상시점화상(PP)의 화소좌표(i, j)와 매핑 데이터와의 대응관계를 나타내고 있다.

변환 테이블은 구체적으로는, 부분화상의 화소좌표를 가상시점화상의 화소좌표로 변환하는 것이다. 부분화상의 화소좌표와 가상시점화상의 화소좌표는 가상시점의 위치나 카메라의 설치위치 등에 따라서, 1 대 1로 대응하는 경우도 있고, 복수 대 1로 대응하는 경우도 있다. 예를 들어, 부분화상의 경계부에서 경계처리가 행해지는 경우에는 부분화상의 화소좌표와 가상시점화상의 화소좌표가 반드시 1 대 1로 대응하는 것은 아니다.

도 2에 있어서, 좌표(i1, j1)는 카메라(Cp)(p는 1∼n 중 어느 하나)에 의한 부분화상이 대응하는 화소를 나타내고 있고, 이것에 대응하는 매핑 데이터로서, 카메라(Cp)에 의한 부분화상에서의 XY 좌표가 준비되어 있다. 또한, 좌표(i2, j2)는 카메라(Cp)에 의한 부분화상과 카메라(Cq)(q는 1∼n 중 어느 하나이며 p 이외)에 의한 부분화상이 겹쳐져 있는 경계부분에 상당하는 화소를 나타내고 있고,카메라(Cp, Cq)에 의한 각 부분화상의 XY 좌표 및 그 필요도가 매핑 데이터로서 준비되어 있다. 이 경우, 좌표(i2, j2)의 화소값은 예를 들어,

화소값 = {(카메라(Cp)의 좌표(56, 80)의 화소값) ×0.5

+ (카메라(Cq)의 좌표(10, 10)의 화소값) ×0.3}

/(0.5 + 0.3)

과 같이 나타낼 수 있다.

도 1의 (b)는 화상처리장치(11A) 내에 변환 테이블(TBL1∼TBLm)이 설치된 경우의 구성을 나타내고 있고, 화상처리장치(11A) 내의 도시되지 않은 프로세서가 이들 변환 테이블(TBL1∼TBLm)의 어느 하나를 참조한다.

도 1에 나타내는 변환 테이블(TBL1∼TBLm1)은 구체적으로는 ROM(EEPROM 등의 기입·소거 가능한 ROM을 포함한다) 또는 RAM에 기입되어 있다. 변환 테이블은 상술한 화상처리장치(11) 내의 프로세서가 변환 테이블·데이터를 계산하여 RAM 또는 ROM에 기입함으로써 생성하여도 되고, 예를 들어, 펌웨어로서 제공되는 변환 테이블·데이터를 통신회선이나 디스크 드라이브 등의 데이터 전송수단을 이용하여 상술한 RAM 또는 ROM에 기입함으로써 생성하는 것도 가능하다.

또, 카메라(C1∼Cn)에 의해 촬영한 화상에 대하여 어떤 범위를 클리핑하는가는 미리 설정해 둘 수 있어, 이 클리핑의 범위는 클리핑 기준점에 근거하여 미리 결정해 둘 수 있다.

또한, 화상처리장치의 기능은 그 전부 또는 일부를 전용의 하드웨어를 이용하여 실현하여도 되고, 소프트웨어에 의해서 실현하여도 된다. 또한, 화상처리장치의 기능의 전부 또는 일부를 컴퓨터로 실행시키기 위한 프로그램을 저장한 기록매체나 전송매체를 이용하는 것도 가능하다.

이하, 본 발명의 각 실시예에 대하여 설명한다. 또, 각 도면에서는 카메라나 사람 등은 원래 사진으로 나타내야 하지만, 편의상 삽화(illustration)로 나타내기로 한다.

(제 1 실시예)

도 3은 종래의 후방감시 카메라의 설치상태를 나타내는 도면이다. 차량후방을 보다 상세히 감시하기 위해서는, 차량후방의 근방에서 원방까지 될 수 있는 한 광범위한 영역을 촬영하는 것이 바람직하다. 따라서, 최근에는 후방감시용의 촬영수단으로서, 화각이 110도를 넘는 대단히 넓은 시야를 갖는 카메라가 이용되고 있다. 그러나, 도 3에 나타내는 바와 같이, 아무리 광각의 카메라라고 해도, 그 화각이 180도보다도 작은 한, 차량(21)의 바로 후방의 양측에 촬영범위외의 사각 D가 반드시 생긴다. 특히, 사각 D 중에서도, 차폭보다도 내측에 상당하는 부분 DS가 보이지 않으면, 그 부분 DS에 존재하는 물체를 촬영화상으로는 인식할 수 없어, 차량후퇴시에 안전면에서 문제가 생길 우려가 있다.

이러한 문제를 해결하기 위해서는, 180도 이상의 아주 넓은 시야를 갖는, 예컨대, 어안렌즈를 이용한 카메라를 촬영수단으로서 이용하는 방법이 일반적으로는 생각된다. 그러나 이 방법으로는 렌즈가공에 요구되는 정밀도가 매우 높기 때문에 비용이 들고, 촬영범위가 너무 넓기 때문에 미세한 해상도를 얻을 수 없는 등 실용화에 있어서 과제가 많다. 한편, 좌우 180도의 시계를 얻기 위해서 2대의 카메라를쌍으로 하여 이용하는 것은 비용면에서도 해상도 면에서도, 아주 넓은 시야를 갖는 카메라의 이용에 비해 유효한 방법이라고 생각된다.

도 4는 2대의 카메라(23L, 23R)를 쌍으로 하여 근접 배치한 상태를 나타내는 개념도이다. 도 4에서는 한쌍의 카메라(23)가 되는 2대의 카메라(23L, 23R)를 180도의 시야가 얻어지고, 또한, 카메라(23L, 23R)끼리 될 수 있는 한 가까워져, 그 광축이 교차하도록 배치한 예를 나타내고 있다. 또, 본원 명세서에 있어서 「트윈 카메라」라는 것은 쌍을 이루고 근접하여 배치된 2개의 카메라로 이루어지는 것을 말한다.

그런데, 이러한 상태로 구성된 카메라를 차량에 설치하는 경우에는, 쌍이 되는 각 카메라를 어떠한 방향으로 하면 되는가라는 것이 문제가 된다.

종래와 같이, 1대의 카메라만을 후방감시용 촬영수단으로서 설치하는 경우에는, 카메라를 우선 바로 뒤를 향하게 하고, 그 앙각을 용도에 따라서 조정한다는 단순한 방법에 의해서, 거의 최적의 방향을 얻을 수 있다. 즉, 카메라가 1대인 경우에는 앙각만을 정하면 되기 때문에, 그 조정은 단순하다.

그러나, 트윈 카메라의 경우, 각각의 카메라의 방향의 조정은 카메라 1대일 때와 비교하여 복잡하게 된다. 왜냐하면, 트윈 카메라를 구성하는 개개의 카메라의 방향을 독립적으로 조정하는 것이 아니라, 한쪽의 카메라의 촬영범위와 다른 쪽의 카메라의 촬영범위를 모두 확인하면서, 각각의 카메라의 최적의 방향을 조정해야만 하기 때문이다. 여기서, 2개의 카메라의 촬영범위를 확인한다는 것은 예를 들어, 2대의 카메라의 양쪽으로 촬영되어 있는 겹침영역이 너무 넓지 않은지, 촬영하지 못한 장소는 없는지 등을 확인하는 것이다.

그래서 본 실시예에서는 도 4에 나타내는 바와 같은 트윈 카메라를 이루는 카메라 각각의 방향의 설정방법에 대하여 개시한다.

우선, 준비로서 카메라의 방향을 정의한다. 카메라의 방향으로서는 예를 들어, 도 5에 나타내는 바와 같이, 공간을 정의하는 좌표계의 X축, Y축, Z축의 3축을 중심으로 한 회전을 조합하여 결정하는 방법이 일반적이다. 여기서는, X축 주위의 회전을 앙각(tilt), Y축 주위의 회전을 방위각(pan), Z축 주위의 회전을 회전각(twist)이라고 한다. 또한, 각 축을 우나사 방향으로 돌릴 때를 양의 각도로 나타내고, 역방향으로 돌릴 때를 음의 각도로 나타낸다. 그리고, 도 6의 (a), (b), (c)의 순으로 회전조작이 행해진 결과의 카메라의 방향을 (tilt, pan, twist)로 나타낸다.

이 3종류의 각도(tilt, pan, twist)에 의해서, 좌표계에서의 카메라의 방향을 일의적으로 정할 수 있다. 반대로 말하면, 트윈 카메라에 있어서 카메라의 방향을 최적으로 설정하기 위해서는, 1대의 카메라의 조정시와는 달리, 앙각(tilt)에 더불어, 2종류의 각도 즉, 방위각(pan) 및 회전각(twist)의 조정이 필요하게 된다.

도 7은 도 4에 나타내는 트윈 카메라(23)를 차량후단부의 트렁크 위에 설치한 경우의 촬영범위 및 촬영화상의 예를 나타내는 도면이다.

여기서, 차량후방의 감시를 위해, 차량후방의 주위에서 원방까지 될 수 있는 한 광범위한 영역을 촬영한다는 조건을 카메라(23L, 23R)의 화상을 이용하여 정성적으로 표현하면, 다음 3개의 조건을 들 수 있다.

1. 차량의 중앙선 BCL이 될 수 있는 한 뒤까지(될 수 있으면 수평선까지) 보이는 것

2. 차량의 후단선 BEL이 차량의 측방의 될 수 있는 한 멀리까지(될 수 있으면 수평선까지) 보이는 것

3. 차량후방의 사각 S가 될 수 있는 한 작은 것

1은 차량 바로 뒤의 시야를 확보하기 위한 조건으로, 특히 트윈 카메라로서 배치하는 경우에는, 중앙선 BCL이 각각의 카메라(23L, 23R)에서 중복하여 촬영되고 있지 않으면, 후방화상을 합성하였을 때에, 후방중앙부분에서 공백이 생겨, 안전상 큰 문제가 된다. 따라서, 중앙선 BCL은 어느 하나의 카메라(23R, 23L)로부터도 될 수 있는 한 멀리까지 보이는 것이 바람직하다. 또, 2는 차량 바로 옆의 시야를 확보하기 위한 조건, 3은 차량 바로 뒤 바로 아래의 시야를 확보하기 위한 조건이다.

따라서, 상기 3개의 조건이 어느 정도 만족되고 있는가를 계산에 의해서 구할 수 있다면, 카메라의 방향을 효율적으로 결정할 수 있다.

그래서 우선, 상기 3개의 항목을 수치적으로 평가하기 위해서, 도 8에 나타내는 바와 같은 세계좌표계를 도입한다. 이 좌표계는 각 축을 다음과 같이 설정하고 있다.

X축: 범퍼가 직선이라고 가정하여, 카메라로부터 보이는 노면과 차의 범퍼의 경계를 노면 상에 투영한 선

Y축: 노면 상에서의 차의 세로의 중심선

Z축: 노면에 수직이고, X축과 Y축의 교점을 지나는 선

이와 같이 설정한 좌표계에 있어서, 상기의 3개의 항목은 다음과 같은 지표에 의해서 정량적으로 평가할 수 있다.

1. 원점으로부터 뒤 방향으로 보이는 곳까지의 거리. 도 9에서는 차량중심선 BCL에서의 카메라에 촬영된 부분 P0-P1의 길이에 상당한다.

2. 원점으로부터 횡방향으로 보이는 곳까지의 거리. 도 9에서는 차량후단선 BEL에서의 카메라에 촬영된 부분 P0-P2의 거리에 상당한다.

3. 차량후방에서의 사각 S의 면적.

따라서, 처음에 나타낸 3개의 조건항목을 정량적으로 나타내면, 「1. P0-P1이 보다 길고, 또한, 2. P0-P2가 보다 길고, 또한, 3. S가 보다 작아지도록」 카메라의 방향을 정하면 되는 것이다. 이 3개의 항목을 아울러 평가하기 위해서, 예를 들어, 평가값으로서,

P0-P1의 길이 ×P0-P2의 길이 ×1/S

을 도입한다. 단, P1, P2가 수평선 상에 있을 때, P0-P1 및 P0-P2의 길이는 무한대가 되기 때문에, P0-P1, P0-P2의 길이의 상한으로서, 충분히 큰 값을 정해 둔다.

차량에 카메라를 설치하는 경우, 차량몸체 디자인과의 균형 등으로 보아, 설치위치에 자유도는 거의 없다고 가정할 수 있다. 따라서, 소정의 설치위치에 있어서, 도 5, 도 6에 나타낸 카메라의 방향(tilt, pan, twist)에 따라서만, 상기의 평가값을 평가하면 된다. 즉, 카메라의 방향을 정하는 3종류의 각도 즉, 앙각(tilt), 방위각(pan) 및 광축주위의 회전각(twist)을 서로 독립적으로 변화시켜, 그 때의 평가값을 각각 계산하여, 이와 같이 하여 얻어진 평가값으로부터 최적의 카메라의방향(tilt, pan, twist)을 구할 수 있다.

도 10은 평가값의 계산결과의 일례를 나타내는 도면이다. 도 10에서는 화각이 110도인 카메라가 도 7의 세계좌표계에 있어서, 좌표(3㎝, 20㎝, -1m) 즉, 원점 0에서 X축의 양방향으로 3㎝, Y축의 양방향으로 20㎝, 그리고 Z축의 음방향으로 1m(높이 1m)의 위치에 장착된 것으로 하고 있다. 도 10에서는 3종류의 앙각(tilt)에 대하여 방위각(pan)을 5도에서 45도까지 카메라의 광축주위의 회전각(twist)을 -30도에서 30도까지 바꾸어 평가값을 계산한 결과를 나타내고 있다.

도 10의 예를 포함시킨 실험결과로부터, 방위각(pan)은 약 25도에서 45도 사이의 범위이고, 또한 회전각(twist)은 -35도에서 -10도 사이의 범위이며, 높은 평가값을 보이는 것을 알 수 있다. 또, 앙각(tilt)은 본원 발명자의 실험결과, 40도 부근이 피크가 되는 것을 알 수 있다.

여기서, 2대의 카메라(23L, 23R)의 광축에 평행한 평면을, 「카메라 설치평면」이라고 정의한다. 그리고, 그 카메라 설치평면에 2대의 카메라(23L, 23R)가 투영되었을 때, 그 광축끼리 이루는 각도를 「확산각」이라고 정의한다. 이 경우, 확산각은 상술한 방위각의 2배의 각도에 상당하는 각도가 된다. 즉, 확산각은 50도 이상 90도 이하의 범위에 있는 것이 바람직하다고 할 수 있다.

또한, 카메라의 광축에 직교하는 평면을 「기준평면」이라고 정의하여, 카메라의 시야범위의 uv 평면을 기준평면 상에 투영하였을 때의 그 u축과, 당해 기준평면과 카메라 설치평면의 교선과의 관계를 생각한다. 회전각(twist)의 조정을 하지 않을 때, 즉 회전각(twist)이 0도일 때는, 투영한 u축과, 당해 기준평면과 카메라설치평면과의 교선은 평행하게 된다.

즉, 트윈 카메라에서는 카메라의 광축주위의 회전각을 기준평면에 투영한 u축과, 당해 기준평면과 카메라 설치평면과의 교선이 평행하지 않고, 어떤 각도에서 교차하도록 설정하는 것이 바람직하다고 할 수 있다. 또, 카메라의 시야범위의 uv 좌표를 취하는 방법에 따라서는 회전각이 0도일 때라도, 투영한 u축과, 당해 기준평면과 카메라 설치평면과의 교선이 직교하는 경우가 있다. 따라서, 엄밀히 말하면, 기준평면에 투영한 u축과, 당해 기준평면과 카메라 설치평면과의 교선이 평행하지 않고, 또한, 직교하지 않도록 카메라의 광축주위의 회전각을 설정하는 것이 바람직하다.

더불어 말하면, 상술한 결과로부터 높은 평가값을 나타내는 것은 회전각(twist)이 -35도에서 -10도 사이의 범위(또 다른 한쪽의 카메라로 말하면 10도에서 35도 사이의 범위)에 있는 경우이다. 이것은 투영한 u축과, 당해 기준평면과 카메라 설치평면과의 교선이 10도 이상 35도 이하의 각도로 교차하는 상태가 트윈 카메라의 설정으로서는 바람직하다는 것에 상당한다.

또, 본 실시예에서는 상기와 같은 평가값을 이용하여 방향을 결정하였지만, 이 평가값은 목적에 따라서 다른 기준을 설정하여도 상관없다. 예를 들어, 차량후방에 대해서는 바로 근방만 보이면 되는 경우에는, 조건 1의 중요도는 낮아진다. 이 경우에는, 평가값에서의 「P0-P1의 길이」에 대한 가중을 낮추면 된다.

또한 여기서는, 차량후방을 감시하는 카메라를 예로 들어, 그 방향을 정하는 방법을 나타내었지만, 차량의 측방이나 전방 등을 감시하는 카메라에 대해서도 동일한 방법에 의해서 그 방향을 정할 수 있다. 즉, 차량중앙선 BCL 대신에, 촬영방향을 나타내는 직선을 가정하여, 차량후단선 BEL 대신에, 차량단부를 따르는 직선을 가정하면, 본 실시예와 마찬가지로 평가함으로써, 적절한 방향을 정할 수 있다.

여기서, 트윈 카메라의 방향의 조정에 있어서, 카메라의 광축주위의 회전각의 설정이 중요한 점에 대하여 그 이유에 대한 본원 발명자의 고찰결과를 설명한다.

도 11은 카메라의 광축주위의 회전에 의해서 시야범위가 바뀌는 것을 나타낸 개념도로서, (a)는 회전각(twist) 0도 (즉, 광축주위의 회전 없음), (b)는 회전각(twist) 33.2도의 경우를 나타내고 있다. 카메라는 트윈 카메라의 한쪽의 카메라(23L)로 하고, 화각 111도, 위치좌표(3㎝, 10㎝, -1m), 앙각(tilt) 40도, 방위각(pan) 30도로 하고 있다.

도 11의 (a), (b)를 비교하면, 도 11의 (a)에서는 차량후단의 바로 횡방향(차량후단선 BEL)은 11m, 차량중심의 바로 뒤방향(차량중심선 BCL)은 4.4m 밖에 보이지 않는데 대해, 도 11의 (b)에서는 차량후단의 바로 횡방향 및 차량중심의 바로 뒤방향이 모두 수평선 HL에 도달하는 곳까지 보인다. 즉, 회전각 이외의 조건이 동일하여도, 회전각의 설정을 바꾸는 것만으로, 시야가 상당히 넓어지는 것을 알 수 있다. 이것은 카메라의 시야범위가 사각형인 것에 기인한다고 생각된다. 그리고, 이 시야의 넓이의 차이는 가상시점화상을 합성한 경우에 큰 차가 된다.

도 12는 도 11의 (a)에 나타내는 회전각 0도의 경우의 가상시점화상을 나타내는 도면, 도 13은 도 11의 (b)에 나타내는 회전각 33.2도의 경우의 가상시점화상을 나타내는 도면이다. 우선 도 12에 나타내는 바와 같이, 회전각 0도의 경우에는, 차량 바로 뒤는 차량으로부터 4.4m의 범위 밖에 카메라에 촬영되지 않는다. 이 때문에, 그것보다 후방에 서 있는 사람은 가상시점화상에는 전혀 비추어지지 않는다. 이것에 대해 도 13에 나타내는 바와 같이, 회전각 33.2도의 경우에는, 바로 뒤가 수평선 HL까지 카메라에 비추어지기 때문에, 차의 약 5m 후방에 서 있는 사람은 확실히 가상시점화상에 비추어지게 된다.

이와 같이, 카메라 광축주위의 회전각의 조정여부에 따라서, 시야범위가 크게 변하고, 이로 인해 가상시점화상으로서 표시되는 차량주변의 범위가 크게 변하게 된다. 즉, 트윈 카메라에서는 카메라의 광축주위의 회전각을 적확하게 설정하는 것이 감시 시스템의 성능을 정하는 대단히 중요한 포인트가 된다.

또한, 트윈 카메라에서는 쌍을 이루는 카메라를 근접하여 배치하지만, 이 경우 그 간격은 될 수 있는 한 가까운 편이 바람직하다.

도 14는 트윈 카메라의 촬영화상을 이용하여 합성한, 위에서 내려다 본 가상시점화상을 나타내는 도면이다. 도 14 중, (a)는 2대의 카메라(23L, 23R)를 가깝게 하여 설치한 경우, (b)는 2대의 카메라(23L, 23R)를 조금 떨어지게 설치한 경우이다. VAL은 카메라(23L)의 화상만을 이용하는 영역, VAR은 카메라(23R)의 화상만을 이용하는 영역, VAB는 카메라(23L, 23R)의 화상을 혼합하는 영역, P는 차량의 직후에 있는 폴(pole), PIL은 카메라(23L)의 화상으로부터 합성된 폴(P)의 화상, PIR은 카메라(23R)의 화상으로부터 합성된 폴(P)의 화상이다.

도 14의 (a), (b)에서는 폴(P)이 합성화상에서 영역 VAB에 포함되는지의 여부의 차이가 있다. 즉, 도 14의 (a)의 경우, 각각의 카메라(23L, 23R)에 비친 폴의 화상(PIL, PIR)은 모두 영역 VAB에 포함된다. 그러나, 도 14의 (b)의 경우, 카메라(23L, 23R)가 조금 떨어져 배치되어 있기 때문에, 합성화상에서 폴의 화상(PIL, PIR)이 영역 VAB를 돌출시킴으로써, 이 결과 합성화상에는 폴(P)의 근원의 부분만이 나타나, 경계부분의 화상이 부자연스럽게 된다.

발명자들의 연구에 의하면, 카메라의 렌즈의 결상점 사이의 간격이 20㎝ 이상이 되면, 부분화상을 합성한 경우에, 예를 들어 경계부분에서의 어긋남이 커져, 경계부분의 화상이 부자연스러워지기 쉽다는 것을 알 수 있었다. 즉, 트윈 카메라를 배치할 때는, 각 카메라의 결상점 사이가 20㎝ 이상 떨어지지 않도록 설치하는 것이 바람직하다. 추가로 말하면, 트윈 카메라를 이루는 2대의 카메라는 패키징화되어, 일체형으로 실장되어 있는 것이 바람직하다.

또, 본 실시예는 차량감시 시스템에만 적용되는 것이 아니라, 다른 용도의 감시 시스템에도 적용할 수 있다. 즉, 쌍을 이루는 카메라로 이루어지는 트윈 카메라를 구비한 시스템이면, 본 실시예의 기술적 사상은 용이하게 응용 가능하다.

(제 2 실시예)

제 2 실시예에서는 도 1에 나타내는 차량외부 표시장치(10)의 표시모드는 후방의 넓은 시계경치 표시모드로 설정되어 있는 것으로 한다.

도 15는 차량(1)과 그 주위의 모습을 나타내는 도면으로, (a)는 위에서 본 평면도, (b)는 측방에서 본 도면이다. 도 15에 있어서, Front_w는 차량(1)의 프론트윈도, Rear_Bp는 리어범퍼, Tr은 트렁크, 3A, 3B, 3C는 지면 상에 그어진 흰색선이다. 차량(1)의 후방에는 보행자(2)(유아)가 서 있다.

도 15에 나타내는 바와 같이, 차량(1)의 후부에는 쌍을 이루는 2대의 카메라(C1, C2)가 약간 비스듬한 하향, 또한 후방 외향으로 근접하여 배치되어 있다. RC1은 카메라(C1)에 의한 촬영범위, RC2는 카메라(C2)에 의한 촬영범위이다. 또한, L1은 카메라(C1, C2)의 촬영범위(RC1, RC2)의 중복부분을 2등분하는 직선, Lh는 카메라(C1, C2)의 설치위치로부터 수평으로 인출된 직선이다.

도 15의 (b)에서 알 수 있는 바와 같이, 본 실시예에서는 카메라(C1, C2)는 장해물이 존재하지 않는 평지에 차량이 있다고 가정하였을 때에 보이는 수평선의 일부 및 리어범퍼 Rear_Bp의 일부가 그 쌍방의 촬영범위에 포함되도록 설치되어 있다.

도 16에 있어서, (a)는 카메라 C1에 의한 촬영화상(TP1)을 나타내고, (b)는 카메라(C2)에 의한 촬영화상(TP2)을 나타내고 있다. RGN_01, RGN_02는 클리핑영역이다. 도 16에 나타내는 바와 같이, 클리핑영역 RGN_01, RGN_02는 각각 리어범퍼 Rear_Bp를 포함하도록 설정되어 있다.

도 17은 디스플레이(12)에 표시된 가상시점화상 PP_1을 나타내고 있다. 도 17의 화상에서는 가상시점은 차량(1)의 트렁크(Tr) 근방에 후방시야가 광범위하게 되도록 설정되어 있다.

본 실시예에서는, 화상처리장치(11)가 변환 테이블(TBL1)(후방경치 표시용 테이블)을 참조하여, 촬영화상(TP1, TP2)의 클리핑에 의한 부분화상의 작성, 부분화상의 가상시점화상 PP_1로의 변형처리, 각 부분화상의 합성처리(경계처리를 포함한다)를 동시에 행한다. 이로 인해, 도 17에 나타내는 바와 같은 가상시점화상 PP_1이 디스플레이(12)에 표시된다.

이와 같이, 본 실시예에서는 가상시점시화상 PP_1에는 1개의 화면에 넓은 시야로 후방경치가 표시되기 때문에, 차량(1)의 후방의 시인성이 향상된다. 또, 통상주행 또는 고속주행일 때는, 가상시점은 차량(1)의 프론트윈도 Front_w의 전방 약간 상방에 설정하여도 된다. 이 경우, 룸미러나 사이드미러와는 다른 시점으로부터 차량후방을 넓은 범위에서 표시할 수 있어, 후속차 등의 확인이 용이하게 된다.

(제 3 실시예)

제 3 실시예에서는, 도 1에 나타내는 차량외부 표시장치(10)의 표시모드는 후방 주위지면 표시모드로 설정되어 있는 것으로 한다. 본 실시예에서는 제 2 실시예에서 나타낸 카메라(C1, C2)가 그대로 이용된다. 차량외부 표시장치(10)의 표시모드는 후방의 넓은 시계경치 표시모드로부터 후방 주위지면 표시모드로, 또는 반대로 후방 주위지면 표시모드로부터 후방의 넓은 시계경치 표시모드로 전환할 수도 있다. 이 전환은 수동으로, 또는 자동적으로 실행 가능하다.

본 실시예에서는, 카메라(C1, C2)는 임의의 핸들 꺾임각에서 차량(1)이 소정거리만큼 후퇴하였을 때에 차지하는 영역이 그 쌍방의 촬영범위에 포함되도록 설치되어 있다. 일반적으로는, 이 소정거리는 적어도 차길이의 N1/N2(N1은 2 이상의 정수, N2는 3 이상의 정수이며, N1<N2)의 거리로 하는 것이 바람직하다. 본원 발명자에 의한 반복테스트 결과에 의하면, 소정거리를 적어도 3m 내지 차길이의 2/3의 거리로 하면, 운전자는 쾌적하게 병렬주차, 차고주차, 종렬주차 등의 후퇴조작을 행할 수 있다.

도 18의 (a), (b)는 도 16과 마찬가지로 카메라(C1, C2)에 의한 촬영화상(TP1, TP2)을 나타내고 있고, RGN_03, RGN_04는 본 실시예에 관한 클리핑영역이다.

도 19는 디스플레이(12)에 표시된 가상시점화상 PP_2를 나타내고 있다. 본 실시예에서는 화상처리장치(11)가 변환 테이블(TBL2)(후방주위 지면표시용 테이블)을 참조하여, 촬영화상(TP1, TP2)의 클리핑에 의한 부분화상의 작성, 부분화상의 가상시점화상 PP_2로의 변형처리, 각 부분화상의 합성처리(경계처리를 포함한다)를 동시에 행한다. 이로 인해, 도 19에 나타내는 바와 같은 가상시점화상 PP_2가 디스플레이(12)에 표시된다. 또, 도 19에서는 디스플레이(12)의 중앙에 차량도형 M이 표시되어 있다.

또, 2대의 카메라(C1, C2)의 촬영범위가 좁기 때문에, 차량(1) 후방 주위의 지면을 화면에 충분히 표시할 수 없는 경우에는, 도 20의 (a)에 나타내는 바와 같이, 또 다른 1대의 카메라(C3)를 추가하여, 합계 3대의 카메라(C1, C2, C3)를 차량후부에 설치하여도 된다. 도 20의 (a)에 있어서, RC1, RC2, RC3은 각각 카메라(C1, C2, C3)에 의한 촬영범위이다. 이와 같이 카메라를 추가함으로써, 표시되는 주위지면의 범위를 확장할 수 있다. 또한 이 경우라도, 도 20의 (b)에 나타내는 바와 같이, 각 카메라(C1, C2, C3)를 서로의 결상점 사이의 간격이 20㎝ 이상이 되지 않도록 설치하는 것이 바람직하다.

이와 같이, 본 실시예에서는 가상시점이 차량의 상방에 존재하기 때문에, 차량(1) 및 그 후측의 주위지면을 위에서 바라본 가상시점화상 PP_2가 디스플레이(12)에 표시되기 때문에, 운전자는 차량(1)과, 그 후방의 장해물 등과의 거리간격을 정확히 파악할 수 있다.

(제 4 실시예)

제 4 실시예에서는, 도 1에 나타내는 차량외부 표시장치(10)의 표시모드는 측방 주위지면 표시모드로 설정되어 있는 것으로 한다.

도 21은 차량(1)과 그 주위를 나타내는 평면도이다. 도 21에 나타내는 바와 같이, 차량(1)의 루프(roof)(14)에는 4대의 카메라(C4∼C7)가 설치되어 있다. 각 카메라(C4∼C7)는 루프(14)의 단가장자리로부터 20㎝ 이내의 개소에 왼쪽 뒤, 오른쪽 뒤, 오른쪽 앞, 왼쪽 앞 순으로, C4, C5가 비스듬히 뒤 방향에 설치되고, C6, C7이 비스듬이 앞 방향에 설치되어 있다. RC4∼RC7은 각각 카메라(C4∼C7)에 의한 촬영범위, 3A, 3B, 3C, 3D는 지면에 그어진 흰색선이다.

도 22의 (a)∼(d)는 각각 카메라(C4∼C7)에 의한 촬영화상(TP4∼TP7)을 나타내는 도면이다. RGN_05, RGN_06, RGN_07, RGN_08은 카메라(C4∼C7)에 의한 촬영화상(TP4∼TP7)에서의 클리핑영역이다. 도 22에 나타내는 바와 같이, 각 촬영화상(TP4∼TP7)은 각각 차량(1)의 네 모서리의 어느 하나를 포함하고 있다.

도 22의 (a)에 나타내는 촬영화상(TP4)에는 트렁크 Tr, 리어윈도 Rear_w 및 왼쪽 사이드윈도 L_w가 포함되어 있고, 도 22의 (b)에 나타내는 촬영화상(TP5)에는 트렁크 Tr, 리어윈도 Rear_w 및 오른쪽 사이드윈도 R_w가 포함되어 있으며, 도 22의 (c)에 나타내는 촬영화상(TP6)에는 보닛 Bn, 프론트윈도 Front_w 및 오른쪽 사이드윈도 R_w가 포함되어 있고, 도 22의 (d)에 나타내는 촬영화상(TP7)에는 보닛 Bn, 프론트윈도 Front_w 및 왼쪽 사이드윈도 L_w가 포함되어 있다.

본 실시예에서는 카메라(C4∼C7)를 차량(1)의 높은 위치 즉, 루프(14)에 설치함으로써, 디스플레이(12)에 표시되는 주변의 다른 차량, 보행자, 구조물 등의 입체의 왜곡이 적어진다. 또한, 루프(14)의 단가장자리 부근에 카메라(C4∼C7)를 설치함으로써, 차량(1)의 몸체에 의한 사각이 적어지고, 주위지면을 넓은 범위로 디스플레이(12)에 표시할 수 있다. 또, 카메라(C4∼C7)를 루프 필러(pillar)에 설치하여도 된다.

본 실시예에서도 도 1에 나타내는 화상처리장치(11)가 변환 테이블(TBL3)(측방 주위지면 표시용 테이블)을 참조하여, 촬영화상(TP4∼TP7)의 클리핑에 의한 부분화상의 작성, 부분화상의 가상시점화상으로의 변형처리, 각 부분화상의 합성처리(경계처리를 포함한다)를 동시에 행한다. 이로 인해, 도 23에 나타내는 바와 같은 가상시점화상 PP_3이 디스플레이(12)에 표시된다. 도 23에서는 디스플레이(12)의 중앙에 차량도형 M이 표시되어 있다.

또, 도 23에서는 차량(1)의 좌우양측방에 사각 D가 있다. 이 사각 D는 왼쪽 측방에 대해서는 앞방향 카메라(C7)와 뒤방향 카메라(C4)의 화각을 넓혀 각각의 시야가 겹치도록 하고, 오른쪽 측방에 대해서는 앞방향 카메라(C6)와 뒤방향 카메라(C5)의 화각을 넓혀 각각의 시야가 겹치도록 함으로써, 없앨 수 있다. 또한, 본 실시예를 다음에 서술하는 제 5 실시예와 조합시키는 것에 의해서도, 사각을 해소할 수 있다.

(제 5 실시예)

제 5 실시예에서는 촬영수단을 차량측부의 중앙부근에 설치하는 것으로, 예를 들어, 제 4 실시예에서 나타낸 사각영역을 촬영범위에 포함시키는 것이다. 제 5 실시예에서는 도 1에 나타내는 차량외부 표시장치(10)의 표시모드는 측방 주위지면 표시 보조모드로 설정된다.

도 24는 차량(1)과 그 주위를 나타내는 평면도이다. 도 24에 나타내는 바와 같이, 차량(1)의 왼쪽 도어미러(15A)의 비가동부에는 카메라(C8, C9)가 설치되고, 오른쪽 도어미러(15B)의 비가동부에는 카메라(C10, C11)가 설치되어 있다. RC8, RC9, RC10 및 RC11은 각각 카메라(C8, C9, C10 및 C11)에 의한 촬영범위, 3A, 3B, 3C 및 3D는 지면에 그어진 흰색선이다.

도 25의 (a)∼(d)는 각 카메라(C8∼C11)에 의한 촬영화상(TP8∼TP11)이다. 도 25에서 RGN_09, RGN_10, RGN_11 및 RGN_12는 클리핑영역이다.

도 25의 (a)에 나타내는 촬영화상(TP8)에는 왼쪽 사이드윈도 L_w 및 왼쪽 사이드도어노브 L_dnb가 포함되어 있고, 도 25의 (b)에 나타내는 촬영화상 TP9에는 왼쪽전방 윙커(winker) L_wn 및 왼쪽전방 타이어 L_t가 포함되어 있으며, 도 25의 (c)에 나타내는 촬영화상(TP10)에는 오른쪽 사이드윈도 R_w 및 오른쪽 사이드도어노브 R_dnb가 포함되어 있고, 도 25의 (d)에 나타내는 촬영화상(TP11)에는 오른쪽전방 윙커 R_wn 및 오른쪽전방 타이어 R_t가 포함되어 있다. 또한 도 25의 (a)∼(d)에는 각각 제 3 실시예에서 나타낸 각 카메라(C4, C7, C5, C6)에서의 사각(DC4, DC7, DC5, DC6)을 사선으로 나타내고 있다.

본 실시예에서는 카메라(C8∼C11)를 차량측부의 도어미러(15A, 15B) 부근에 설치함으로써, 사각을 대폭 적게 할 수 있다. 이 때문에, 본 실시예를 상술한 제 4 실시예와 조합시킴으로써, 안전확인를 위해 운전자가 보여야만 하는 부분(즉, 차량의 바로 근방 주위지면)이 거의 확실히 각 카메라(C4∼C11)의 촬영화상(TP4∼TP11)의 어느 하나에 포함된다. 따라서, 안전성이 높은 차량외부 표시장치를 제공할 수 있다. 예를 들어, 제 4 실시예에서 나타낸 카메라(C4∼C7)에 의한 촬영화상(TP4∼TP7)과, 본 실시예에서 나타낸 카메라(C8∼C11)에 의한 촬영화상(TP8∼TP11)에 대하여 각각 소정범위의 부분화상을 클리핑함으로써, 차량의 주위전체 범위에 걸친 가상시점화상을 작성할 수 있다.

본 실시예에서도, 도 1에 나타내는 화상처리장치(11)가 촬영화상(TP8∼TP11)의 클리핑에 의한 부분화상의 작성, 부분화상의 가상시점화상으로의 변형처리, 각 부분화상의 합성처리(경계처리를 포함한다)를 동시에 행한다. 이로 인해, 도 26에 나타내는 바와 같은 가상시점화상 PP_4가 디스플레이(12)에 표시된다. 도 26에서는 디스플레이(12)의 중앙에 차량도형 M이 표시되어 있다.

또, 본 실시예에서는 가상시점을 1개로 하고, 차량도형 M의 좌측에 나타내는 카메라(C8, C9)에서 얻은 화상과, 우측에 나타내는 카메라(C10, C11)에서 얻은 화상이 모두 동일한 가상시점에 근거하여 작성되어 있지만, 예를 들어, 가상시점을 복수개 설정하고, 차량도형 M의 좌측의 화상은 당해 카메라(C8, C9)의 바로 위에 설정된 가상시점에 근거하여 생성하는 한편, 우측의 화상은 당해 카메라(C10, C11)의 바로 위에 설정된 가상시점에 근거하여 생성하여도 된다.

또, 카메라(C8∼C11)는 도어미러의 비가동부에 설치하는 대신에, 예를 들어, 차량의 측면, 윈도바이저 또는 도어노브 장착부 등에 설치하여도 본 실시예와 동일한 효과를 얻을 수 있다.

(제 6 실시예)

도 27은 제 6 실시예에 관한 카메라의 설치형태의 일례를 나타내는 도면이다. 도 27에 있어서, 31은 카메라, 32는 조명수단으로서의 할로겐 램프, 33은 개폐부이다. 카메라(31)는 신축 가능하게 설치되어 있고, 개폐부(33)는 닫힘상태일 때는 차량몸체의 일부를 이룬다.

카메라(31)를 사용하지 않는 경우에는, 도 27의 (a)에 나타내는 바와 같이, 카메라(31)는 수납상태에 있다. 한편, 카메라(31)를 사용하는 경우에는, 도 27의 (b)에 나타내는 바와 같이, 개폐부(33)가 열림으로써 카메라(31)는 차량외부로 배출한다.

즉, 본 실시예에서는 신축 가능한 방식을 채용함으로써, 카메라의 배출·수납을 가능하게 한다. 이로 인해, 카메라 수납시에는, 차량의 공력특성이 저하되지 않고, 또한 차체 디자인을 손상시키는 일은 없다. 한편, 카메라를 먼지나 물방울로부터 보호할 수도 있다.

또한, 신축 가능한 방식을 채용하는 대신에, 카메라를 그 촬영방향 앞면에 설치된 예컨대, 셔터와 같은 개폐가 자유로운 부재와 함께 설치하여도 된다. 이 경우는, 카메라는 차량의 몸체에 항상 수납된 그대로이다. 그 부재의 개폐상태는 카메라를 사용할 때에는 열림상태가 되고, 사용하지 않을 때는 닫힘상태가 되도록 제어하면 된다.

도 28은 차의 리어윙(42)에 설치한 개폐식 카메라(41)를 나타내는 도면이다. 도 28의 (a)는 차를 포함시킨 전체의 외관을 나타내고, 도 28의 (b), (c)는 도어식의 개폐가 자유로운 부재에 의해서 카메라를 방어하는 구성을 나타내며, 도 28의 (d), (e)는 슬라이드식의 개폐가 자유로운 부재에 의해서 카메라를 방어하는 구성을 나타내고 있다. 도어식의 경우, 셔터(보호덮개)(43)는 덮개개폐 모터(44)에 의해서 도어가 개폐하는 것과 마찬가지로, 그 개폐상태가 제어된다((b)가 닫힘상태, (c)가 열림상태). 한편, 슬라이드식의 경우, 셔터(보호덮개)(45)는 덮개개폐 모터(46)가 이것을 슬라이드시킴으로써, 그 개폐상태가 제어된다((d)가 닫힘상태, (e)가 열림상태).

또, 설명의 간략화를 위해, 1대의 카메라를 설치한 상태를 도시하고 있지만, 물론 트윈 카메라의 경우라도, 동일한 개폐기구는 적용 가능하다. 또한, 여기서는 2종류의 셔터 개폐기구를 설명하였지만, 물론 다른 기구에 의해서 개폐동작을 실현하여도 된다.

이러한 개폐기구를 이용하면, 신축 가능한 방식의 채용에 의한 효과에 더불어, 또한 카메라의 물리적인 위치의 변화가 없기 때문에, 카메라의 어긋남을 억제할 수 있다는 효과가 얻어진다. 또한 이 경우, 카메라를 원하는 시야가 얻어지는 위치에 설치할 필요가 한다. 예를 들어, 차량후방 바로 아래의 감시용으로 카메라를 설치하는 경우에는, 도 28의 (a)에 나타내는 바와 같이, 리어윙(42)의 내부에 하향으로 장착하는 등의 방법이 바람직하다. 이 위치에서는 특히 눈에 띄지 않고,또한 리어윙(42)이 이미 후방으로 나와 있으므로, 시야를 확보하기 위해서 일부러 카메라를 배출시킬 필요도 없어, 원하는 시야의 확보를 용이하게 할 수 있다. 단, 이러한 개폐기구를 도입하는 경우에는, 열림상태에 있어서, 카메라의 시야가 열린 셔터의 전체 또는 일부에 의해서 방해되는 일이 없도록, 개폐기구나 셔터의 형상을 설계하는 것이 필요하게 된다.

게다가, 카메라는 차량의 몸체에 수납된 상태로 설치하여, 그 촬영방향 앞면에 설치된 예컨대, 유리와 같은 투명한 부재를 설치하여도 된다.

또한 도 27에서는 카메라(31)는 그 카메라의 촬영범위를 향하여 광을 조사하는 할로겐 램프(32)에 대응하여 설치되어 있다. 그리고, 카메라(31)와 할로겐 램프(32)는 일체로 구성되어 있고, 배출·수납이 아울러 실행 가능하게 되어 있다. 물론, 조명수단을 카메라와 별개로 설치하고, 그 카메라의 촬영범위에 광을 조사하도록 하여도 된다.

또한, 촬영수단으로서, 적외광 검지형의 촬상기능을 갖는 카메라를 이용하여도 된다. 이 경우, 조명수단은 적외광원으로 할 수 있다. 예를 들어, 테일램프(tail lamp) 부분에 적색발광 다이오드를 장착하거나, 또는 테일램프 자체를 적색발광 다이오드로 하여도 된다. 이러한 구성에 의해, 차량의 주위가 어두운 경우라도, 촬영범위에 존재하는 인간, 구조물 등에 대한 시인성을 향상시킬 수 있다.

카메라(31)의 배출/수납의 제어는 당해 차량의 기어설정이나, 주행속도에 따라서 자동적으로 행할 수 있다.

예를 들어, 본 실시예에 관한 카메라(31)를 제 3 실시예에서 나타낸 바와 같은 차량의 후단에 설치된 카메라로서 이용하는 경우에는, 예를 들어, 차량의 엔진이 걸려 있고, 또한 기어가 후진으로 설정되었을 때에 배출시키고, 기어가 후진 이외로 설정되었을 때에 수납되도록 하면 된다.

또한, 본 실시예에 관한 카메라(31)를 제 2 실시예에서 나타낸 바와 같은 카메라로서 이용하는 경우에는, 예를 들어, 통상 주행시에 소정속도(예컨대, 50㎞/h) 이상으로 일정시간 이상 연속주행하였을 때에 배출시키고, 소정속도(예컨대, 30㎞/h) 이하로 일정시간 이상 연속주행하였을 때에 수납되도록 하면 된다. 물론, 카메라(31)의 배출·수납은 수동으로 행하여도 상관없다.

또, 본 발명에 있어서 차량이란 보통자동차, 경자동차, 화물자동차, 버스 등을 포함한다. 또한, 본 발명의 기술사상이 적용될 수 있는 것이면, 크레인차, 셔블(shovel)차 등의 특수차량도 본 발명의 차량으로 할 수 있다.

또한, 본 발명에 관한 감시 시스템은 차량에 적용하는 것으로 하였지만, 차량 이외의 이동체 예컨대, 비행기나 선박 등에서도 마찬가지로 적용할 수 있다. 또한, 이동체 이외의 감시대상 예컨대, 점포, 주거, 쇼룸 등에 카메라를 설치하여도 된다.

또한, 복수의 카메라의 설치위치나 대수는 여기서 나타낸 것에 한정되는 것은 아니다.

본 발명의 감시 시스템, 카메라 조정방법 및 차량감시 시스템은 차량운전시의 안전확인 보조 등에 유효하게 이용된다.

Claims

쌍을 이루는 제 1 및 제 2 카메라로 이루어지는 트윈 카메라를 구비하고,

상기 제 1 및 제 2 카메라는,

촬영범위가 적어도 일부 겹치고, 또한, 그 광축끼리가 양쪽의 광축에 평행한 카메라 설치평면에 투영되었을 때 소정의 확산각을 이루도록 설치되어 있으며,

상기 제 1 및 제 2 카메라 중의 적어도 한쪽은,

당해 카메라의 시야범위의 uv 평면을 그 광축과 직교하는 기준평면 상에 투영하였을 때, u축이 당해 기준평면과 상기 카메라 설치평면과의 교선에 대해 평행하지 않고, 또한, 직교하지 않도록 그 광축주위의 회전각이 설정되어 있는 것을 특징으로 하는 감시 시스템.
제 1항에 있어서,

상기 트윈 카메라는,

차량에 당해 차량의 주위 및 그 원방을 촬영하도록 설치되어 있는 것을 특징으로 하는 감시 시스템.
제 2항에 있어서,

상기 트윈 카메라는,

상기 확산각이 50도 이상 90도 이하이고,

상기 회전각이 상기 기준평면 상에서 u축이 상기 기준평면과 상기 카메라 설치평면과의 교선에 대해 평행이 될 때의 각도를 0도로 하였을 때, 10도 이상 35도 이하가 되도록 설치되어 있는 것을 특징으로 하는 감시 시스템.
제 1항에 있어서,

상기 제 1 및 제 2 카메라는 그 시야범위가 사각형인 것을 특징으로 하는 감시 시스템.
차량에 설치되어, 당해 차량의 주위 및 그 원방을 촬영하는 쌍을 이루는 카메라로 이루어지는 트윈 카메라의 조정방법에 있어서,

상기 쌍을 이루는 카메라 각각의 앙각, 방위각 및 광축주위의 회전각을 촬영방향을 나타내는 직선에서의 당해 카메라에 촬영되는 부분의 길이, 차량단부를 따르는 직선에서의 당해 카메라에 촬영되는 부분의 길이 및 촬영방향에서의 사각의 면적을 지표로 하여 조정하는 것을 특징으로 하는 카메라 조정방법.
차량의 주위를 촬영하는 복수의 카메라와,

상기 복수의 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고,

상기 복수의 카메라는 쌍을 이루고, 근접 배치된 2개의 카메라로 이루어지는 트윈 카메라를 포함하는 것을 특징으로 하는 차량감시 시스템.
제 6항에 있어서,

상기 트윈 카메라는 일체형으로 실장되어 있는 것을 특징으로 하는 차량감시 시스템.
당해 차량의 주위를 촬영하는 1개 또는 복수의 카메라와,

상기 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고,

상기 카메라의 적어도 하나는 당해 차량의 측면, 도어미러의 비가동부, 윈도바이저 또는 도어노브 장착부에 설치되어 있는 것을 특징으로 하는 차량감시 시스템.
차량의 주위를 촬영하는 1개 또는 복수의 카메라와,

상기 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고,

상기 카메라의 적어도 하나는 당해 카메라의 촬영범위를 향하여 광을 조사하는 조명수단에 대응하여 배치되어 있는 것을 특징으로 하는 차량감시 시스템.
차량의 주위를 촬영하는 1개 또는 복수의 카메라와,

상기 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고,

상기 카메라의 적어도 하나는 당해 차량에, 당해 카메라를 사용할 때에는 배출시키는 한편, 사용하지 않을 때에는 수납되도록, 신축 가능하게 설치되어 있는 것을 특징으로 하는 차량감시 시스템.
제 10항에 있어서,

상기 신축 가능하게 설치된 카메라는,

당해 차량의 기어설정 및 주행속도 중 적어도 어느 한쪽에 따라서, 그 배출·수납이 제어되는 것을 특징으로 하는 차량감시 시스템.
차량의 주위를 촬영하는 1개 또는 복수의 카메라와,

상기 카메라의 촬상화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고,

상기 카메라의 적어도 하나는 당해 차량에, 그 카메라의 촬영방향 앞면에 설치된 개폐가 자유로운 부재와 함께 설치되어 있고,

상기 부재는 당해 카메라를 사용할 때에는 열림상태가 되는 한편, 사용하지 않을 때는 닫힘상태가 되도록 제어되는 것을 특징으로 하는 차량감시 시스템.