KR20010112433A - 화상처리장치 및 감시시스템 - Google Patents

Abstract

차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 이용하여, 차량의 위쪽의 가상시점에서 본 합성화상을 생성한다. 합성화상에 있어서 자신의 차량이 존재하는 차량영역에는 자신의 차량의 일러스트화상 또는 실제 화상을 표시한다. 또한, 어느 쪽의 카메라에서도 촬영할 수 없는 자신의 차량 주위의 영역은 사각영역으로서 표시한다.

Description

화상처리장치 및 감시시스템{IMAGE PROCESSING DEVICE AND MONITORING SYSTEM}

종래의 일반적인 감시시스템에서는 감시대상이 되는 부분을 1대 또는 복수대의 감시카메라로 촬영하여, 그 화상을 모니터에 표시하는 구성이 일반적이다. 이 경우, 통상은 설치된 카메라의 대수에 따라 모니터를 준비한다.

또한, 종래의 차량용 안전 감시시스템으로서는, 예를 들면 차량의 주위를 촬영하는 카메라를 설치하여, 카메라로 촬영한 화상을 운전석 가까이에 설치한 모니터에 표시시키는 것이 있다. 이 시스템에 의해 운전자는 차량후방과 같은 육안이나 미러로는 안전확인이 곤란한 장소를 모니터로 확인할 수 있다.

게다가, 일본 특허공보 제 2696516호에서는 기어나 차속에 따라서 모니터화면의 분할표시를 행하는 구성이 개시되어 있다. 구체적으로는, 차량이 정지·저속상태에 있다고 판정되었을 때는 모니터화면을 3분할하여, 차량의 좌우 및 아래쪽에 배치된 3개의 카메라의 촬상화상을 합성하여 재생하고, 차량이 전방주행상태에 있다고 판정되었을 때는 모니터화면을 2분할하여, 차량의 좌우에 배치된 2개의 카메라의 촬상화상을 합성하여 재생한다.

또한, 일본 특허공개공보 특개평 11-78692호에서는 차량용 영상제시장치로서, 조우한 장면마다 적확한 영상을 합성·표시하는 구성이 개시되어 있다. 구체적으로는, 후퇴차고 입고상태인가 전진차고 입고상태인가 종렬주차 상태인가 또는 투시도가 좋지 않은 교차점에 진입한 상태인가 등의 차량의 운전상태에 따라서 카메라화상의 변형·합성을 행한다.

그러나, 이러한 종래의 구성은 차량의 운전자 등과 같은 사용자에게 있어서 반드시 이용하기 쉬운 시스템이라고는 할 수 없다.

본 발명은 복수의 카메라에 의해서 촬상된 화상을 이용하여 합성화상을 생성하는 화상처리기술에 관한 것으로, 특히 차량운전시의 안전확인의 보조 등에 이용되는 감시시스템에 유효한 기술에 속한다.

도 1은 본 발명에 관한 감시시스템의 개념도

도 2는 카메라배치의 예를 나타내는 도면

도 3은 도 2의 각 카메라의 촬상화상의 예를 나타내는 도면

도 4는 가상시점과 실제 카메라와의 관계를 개념적으로 나타내는 도면

도 5는 생성된 합성화상의 예를 나타내는 도면

도 6은 매핑테이블을 이용한 화상합성동작을 나타내는 도면

도 7은 본 발명의 일실시예에 관한 감시시스템의 구성예를 나타내는 도면

도 8은 도 7의 화상합성부의 동작을 나타내는 플로우차트

도 9는 매핑테이블의 구성의 예를 나타내는 도면

도 10은 도 8의 화소합성 단계 S14를 상세히 나타내는 플로우차트

도 11은 카메라화상 이외의 화소데이터를 기술한 매핑데이터의 일례를 나타내는 도면

도 12는 8개의 카메라화상을 이용한 수직으로 내려다 본 화상의 예를 나타내는 도면

도 13은 4개의 카메라화상을 이용한 수직으로 내려다 본 화상의 예를 나타내는 도면

도 14는 2개의 카메라화상을 이용한 수직으로 내려다 본 화상의 예를 나타내는 도면

도 15는 비스듬히 내려다 본 화상의 예를 나타내는 도면

도 16은 전방 파노라마 모드의 파노라마 화상의 예를 나타내는 도면

도 17은 후방 파노라마 모드의 파노라마 화상의 예를 나타내는 도면

도 18은 비스듬히 내려다 본 화상과 파노라마 화상을 합친 화상의 예를 나타내는 도면

도 19는 차량의 주행상태에 따라서 가상시점의 높이를 변경한 경우의 합성화상의 예를 나타내는 도면

도 20은 차량의 주행상태에 따라서 가상시점의 시선의 방향을 변경한 경우의 합성화상의 예를 나타내는 도면

도 21은 차량의 조향각에 따라서 가상시점의 시선의 방향을 변경한 경우의 합성화상의 예를 나타내는 도면

도 22는 물체검출 센서의 출력신호에 따른 화상전환의 예를 나타내는 도면

도 23은 물체검출 센서의 출력신호에 따른 화상전환의 예를 나타내는 도면

도 24는 물체검출 센서의 출력신호에 따른 화상전환의 예를 나타내는 도면

도 25는 본 발명의 일실시예에 관한 감시시스템의 구성예를 나타내는 도면

도 26은 화상을 평행이동하는 경우의 매핑테이블의 절개를 나타내는 도면

도 27은 화상을 확대·축소하는 경우의 매핑테이블의 절개를 나타내는 도면

도 28은 매핑테이블을 직사각형 이외의 사변형으로 잘라내는 예를 나타내는도면

도 29는 카메라화상의 예를 나타내는 도면

도 30은 내려다 본 화상의 좌우에 비스듬히 후방을 찍는 카메라화상을 첩부한 합성화상의 예를 나타내는 도면

도 31은 좁은 범위를 나타내는 내려다 본 화상과 넓은 범위를 나타내는 내려다 본 화상을 나란히 표시한 예를 나타내는 도면

도 32는 내려다 본 화상의 주위에 비스듬하게 내려다 본 화상을 첩부한 예를 나타내는 도면

도 33은 내려다 본 화상의 주위에 유사원통 모델을 이용한 화상을 첩부한 예를 나타내는 도면

도 34는 내려다 본 화상의 주위에 파노라마 화상을 첩부한 예를 나타내는 도면

도 35는 내려다 본 화상의 주위에 비스듬하게 내려다 본 화상을 첩부하여, 4각에 공백부를 설치한 예를 나타내는 도면

도 36은 카메라화상과 함께 가상시점의 위치를 나타내는 화상을 표시한 예를 나타내는 도면

도 37은 카메라화상과 자신의 차량의 영사영역을 나타내는 마스크데이터의 예를 나타내는 도면

도 38은 자신의 차량의 화상을 슈퍼임포즈한 예를 나타내는 도면

도 39는 자신의 차량의 영사를 그대로 변환한 경우의 합성화상의 예를 나타내는 도면

도 40은 마스크데이터의 일부를 나타내는 도면

도 41은 차량영역과 사각영역이 나타난 합성화상의 예를 나타내는 도면

도 42는 사각영역을 찾아서, 차량의 화상을 첩부하는 경우의 매핑데이터의 생성순서를 나타내는 도면

도 43은 마스크데이터와 합성화상의 화소와의 관계를 나타내는 도면

도 44는 도 42의 순서의 결과 얻은 매핑데이터를 이용한 경우의 합성화상의 예를 나타내는 도면

도 45는 주의환기영역을 지정하는 경우의 매핑데이터의 생성순서를 나타내는 도면

도 46은 도 45의 순서의 결과 얻은 매핑데이터를 이용한 경우의 합성화상의예를 나타내는 도면

도 47은 기하변환을 설명하기 위한 도면

도 48은 기하변환을 설명하기 위한 도면

도 49는 기하변환을 설명하기 위한 도면

도 50은 기하변환을 설명하기 위한 도면

본 발명은 화상처리장치 또는 감시시스템으로서 차량의 운전자 등의 사용자의 편리성을 종래보다도 더욱 향상시키는 것을 목적으로 한다.

구체적으로는, 본 발명은 화상처리장치로서 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고, 상기 화상처리부는 상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 차량의 주행상태에 따라서 변경하는 것이다.

그리고, 상기 화상처리부는 상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 차량의 주행속도에 따라서 변경하는 것이 바람직하다.

또한, 상기 화상처리부는 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나의 변경과 함께, 변경 후의 가상시점의 시야범위외 화상의 도입을 제어하는 것이 바람직하다. 게다가, 변경 후의 가상시점의 시야범위외 화상의 도입의 제어를, 화상합성을 위한 모델을 변경함으로써 행하는 것이 바람직하다.

또한, 상기 화상처리부는 상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 차량의 조향각에 따라서 변경하는 것이 바람직하다.

또한, 상기 화상처리부는 상기 가상시점의 위치, 시선의 방향 및 초점거리 중 적어도 어느 하나를 상기 차량이 구비하고 있는 물체검출 센서에 의한 검출결과에 따라서 변경하는 것이 바람직하다.

또한, 상기 화상처리부는 소스 매핑테이블을 갖고, 이 소스 매핑테이블로부터 잘라낸 매핑테이블을 이용하여 합성화상의 생성을 행하는 것이며, 또한 상기 소스 매핑테이블로부터 잘라내는 매핑테이블을 변경함으로써, 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 변경하는 것이 바람직하다.

또한, 본 발명은 화상처리장치로서 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고, 상기 화상처리부는 상기 차량의 주행상태에 따라서 상기 가상시점의 시야범위외 화상의 도입을 제어하는 것이다.

또한, 본 발명은 감시시스템으로서 차량의 주위를 촬영하는 복수의 카메라와, 상기 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부와, 상기 합성화상을 표시하는 표시부를 구비하고, 상기 화상처리부는 상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 차량의 주행상태에 따라서 변경하는 것이다.

또한, 구체적으로는 본 발명은 화상처리장치로서 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고, 상기 화상처리부는 가상시점에서 본 제 1 화상과, 상기 제 1 화상의 가상시점과 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나가 다른 시점에서 본, 또는 상기 제 1 화상과 모델이 다른 제 2 화상을 포함하는 화상을 상기 합성화상으로서 생성하는 것이다.

그리고, 상기 제 2 화상은 상기 카메라화상의 적어도 하나인 것이 바람직하다.

또한, 상기 제 1 화상은 자신의 차량 및 그 주변을 나타내는 근방화상이고, 상기 제 2 화상은 상기 근방화상이 나타내는 자신의 차량의 주변영역보다도 먼 쪽의 영역을 나타내는 원방화상인 것이 바람직하다. 그리고, 상기 화상처리부는 상기 합성화상에 있어서 상기 근방화상의 주위에 상기 원방화상을 배치하는 것이 바람직하다. 나아가서는 상기 원방화상은 상기 근방화상과 연속성을 갖는 화상인 것이 바람직하다.

또한, 상기 제 1 화상은 자신의 차량의 적어도 일부와 자신의 차량의 주위의 적어도 일부를 나타내는 화상이고, 상기 제 2 화상은 상기 제 1 화상이 나타내는 영역의 적어도 일부를 확대한 화상인 것이 바람직하다.

또한, 본 발명은 감시시스템으로서 차량의 주위를 촬영하는 복수의 카메라와, 상기 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부와, 상기 합성화상을 표시하는 표시부를 구비하고, 상기 화상처리부는 가상시점에서 본 제 1 화상과, 상기 제 1 화상의 가상시점과 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나가 다른 시점에서 본, 또는 상기 제 1 화상과 모델이 다른 제 2 화상을 포함하는 화상을 상기 합성화상으로서 생성하는 것이다.

또한, 구체적으로는 본 발명은 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고, 상기 화상처리부는 상기 합성화상에 있어서 자신의 차량이 존재하는 차량영역의 적어도 일부와, 자신의 차량의 주위의 적어도 일부를 나타내어 주의를 환기하기 위한 주의환기영역을 표시하는 것이다.

그리고, 상기 합성화상은 상기 차량의 위쪽에 설정된 가상시점에서 본 화상인 것이 바람직하다.

또한, 상기 화상처리부는 상기 차량영역에 자신의 차량의 일러스트화상 또는 실제 화상을 표시하는 것이 바람직하다.

또한, 상기 주의환기영역은 어떠한 카메라에서도 촬영하지 못하는 차량주위의 사각영역의 적어도 일부를 포함하는 것이 바람직하다. 또는, 상기 주의환기영역은 어떠한 카메라에서도 촬영하지 못하는 차량주위의 사각영역에 상당하는 영역인 것이 바람직하다. 그리고, 상기 화상처리부는 각 카메라화상에서의 자신의 차량의 영사영역을 나타내는 영역데이터를 이용하여, 상기 사각영역 및 차량영역을 합친영역의 범위를 결정하는 것이 바람직하다.

또한, 본 발명은 감시시스템으로서 차량의 주위를 촬영하는 복수의 카메라와, 상기 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부와, 상기 합성화상을 표시하는 표시부를 구비하고, 상기 화상처리부는 상기 합성화상에 있어서 자신의 차량이 존재하는 차량영역의 적어도 일부와, 자신의 차량의 주위의 적어도 일부를 나타내어 주의를 환기하기 위한 주의환기영역을 표시하는 것이다.

또한, 구체적으로는 본 발명은 화상처리장치로서 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고, 상기 화상처리부는 합성화상의 화소와 카메라화상의 화소와의 대응관계를 기술하는 제 1 매핑데이터와, 합성화상의 화소와 카메라화상 이외의 화소데이터가 대응하는 것을 나타내는 식별자를 기술하는 제 2 매핑데이터를 갖는 매핑테이블을 이용하여, 상기 합성화상을 생성하는 것이다.

그리고, 상기 카메라화상 이외의 화소데이터는 상기 차량 또는 상기 차량의 주위의 적어도 일부에 있는 사각영역을 나타내는 것이 바람직하다.

또한, 상기 화상처리부는 카메라화상 이외의 소정의 화상을 기억하고 있고, 상기 제 2 매핑데이터는 합성화상의 화소에 대하여, 당해 화소에 대응하는 기억된 상기 소정의 화상에서의 좌표값을 기술하는 것이 바람직하다.

또한, 상기 제 2 매핑데이터는 합성화상의 화소에 대응하는 화소데이터를 기술하는 것이 바람직하다.

또한, 본 발명은 화상처리장치로서 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고, 상기 화상처리부는 합성화상의 화소와, 카메라화상의 화소데이터 및 카메라화상 이외의 화소데이터 중의 한쪽 또는 양쪽으로 이루어지는 복수의 화소데이터와의 대응관계를 기술하고, 또한, 각 화소데이터에 대하여 각각 필요도를 기술한 매핑테이터를 이용하여, 각 화소데이터에 대하여 필요도에 따른 가중을 행하고, 상기 합성화상의 화소의 화소데이터를 생성하는 것이다.

또한, 본 발명은 화상처리장치로서 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고, 상기 화상처리부는 소스 매핑테이블을 갖고, 이 소스 매핑테이블로부터 합성화상의 화소와 카메라화상의 화소와의 대응관계를 기술하는 매핑테이블을 잘라내고, 잘라낸 매핑테이블을 이용하여, 합성화상을 생성하는 것이다.

도 1은 본 발명에 관한 감시시스템의 개념도이다. 도 1에 나타내는 감시시스템에 있어서, 화상처리부(2)는 촬상부(1)로부터 출력된 복수의 카메라화상을 입력으로 하고, 이들을 합성하여, 가상시점에서 보았을 때의 합성화상을 생성한다. 이 합성화상은, 예를 들면 액정 디스플레이와 같은 표시부(3)에 의해서 표시된다. 화상처리부(2)에 의해서 본 발명에 관한 화상처리장치가 구성된다.

여기서의 설명에서는 본 감시시스템은 차량에 탑재되는 것으로 하고, 주차시의 어시스트 등의 용도로서 이용되는 것으로 한다.

도 2는 카메라 배치의 예, 도 3은 도 2와 같이 배치된 각 카메라의 촬상화상의 예이다. 도 2에 나타내는 바와 같이, 여기서는 5대의 카메라가 차량의 도어미러부근, 후방 필러부근 및 후부 트렁크 위에 각각 배치되어 있다. 화상처리부(2)는 도 3에 나타내는 5장의 카메라화상으로부터 가상시점에서 보았을 때의 합성화상을 생성한다.

가상시점은 컴퓨터 그래픽스의 영상생성에서의 카메라 배치의 경우와 마찬가지로, 3차원 공간의 임의의 위치에 임의의 방향을 향하여 설정할 수 있다. 가상시점을 결정하는 파라미터는 3차원 공간에서의 가상시점의 위치를 나타내는 좌표(X좌표, Y좌표, Z좌표)와, 그 방향을 나타내는 3개의 각도, 즉 방위각(수평회전), 앙각(경사) 및 트위스트(Twist)(광축주위의 회전)와, 시야범위를 정하는 초점거리로 이루어진다. 초점거리는 가상시점과 합성화상을 생성하는 투영면과의 거리로, 작을 때는 광각의 화상이 되고, 클 때는 망원의 화상이 된다. 실제의 카메라 등에서는 투영면의 필름의 크기(35㎜)로 환산하였을 때의 거리(㎜)로 나타내는 경우가 많지만, 본 명세서에서는 합성화상의 크기를 화소로 나타내고 있기 때문에, 초점거리도 화소로 생각한다.

이 가상시점의 위치, 방향 및 초점거리를 상황에 따라 선택함으로써, 적절한 합성화상을 생성하는 것이 가능하다.

도 4는 가상시점과 실제 카메라와의 관계를 개념적으로 나타내는 도면이다. 도 4에서는 가상시점은 차량의 위쪽에 설정되어 있다. 도 5는 생성된 합성화상의 예이고, 도 4에 나타내는 가상시점에서 본 차량 및 그 부근을 나타내는 화상이 생성되어 있다.

본 실시예에서는, 화상처리부(2)는 복수의 카메라화상으로부터 합성화상을 생성하기 위해서 매핑테이블(4)을 이용한다. 여기서, 「매핑테이블」이란 합성화상의 화소와 각 카메라화상의 화소데이터의 대응관계가 기술된 테이블을 말한다. 또, 후술하는 바와 같이, 매핑테이블에는 합성화상의 화소와 카메라화상 이외의 화소데이터의 대응관계도 기술가능하다.

<매핑테이블의 원리설명>

이하, 매핑테이블을 이용하여 복수의 카메라화상으로부터 합성화상을 생성하는 동작에 대해서 설명한다.

도 6은 이 동작의 개요를 설명하기 위한 도면이다. 도 6(a)∼(c)는 서로 다른 위치에 장착된 3대의 카메라(도 2에서의 카메라 3, 카메라 1 및 카메라 2에 각각 대응한다)의 촬상화상이다. 도 6(d)는 도 6(a)∼(c)의 각 카메라화상으로부터 합성화상을 생성하기 위해서 이용하는 매핑테이블이다. 화상처리부(2)는 도 6(a)∼(c)의 3장의 카메라화상으로부터, 도 6(d)의 매핑테이블의 정보를 기초로 하여, 도 6(e)에 나타내는 1장의 합성화상을 생성하는 것으로 한다.

도 6(d)에 나타내는 매핑테이블은 도 6(e)에 나타내는 합성화상의 각 화소에 대해서 각각 매핑데이터를 갖고 있다. 각 매핑데이터는 대응하는 합성화상의 화소가 어떤 카메라화상의 화소에 의해서 생성되는가라는 정보를 기술한다.

합성화상을 생성한다는 것은 합성화상의 모든 화소의 값을 결정한다는 것이다. 여기서는, 화상처리부(2)는 좌측 위로부터 순차 래스터순으로 합성화상의 화소의 값을 결정하는 것으로 하고, 그 도중에 화소 P1의 값을 결정하는 경우를 예로 들어 그 동작을 설명한다.

우선, 합성화상의 화소 P1에 대응하는 매핑데이터 MP1을 참조한다. 매핑데이터 MP1에는 대응하는 카메라번호와, 그 카메라화상이 대응하는 화소의 좌표가 기술되어 있다. 지금 매핑데이터 MP1에는 카메라번호로서 「1」, X좌표로서 「340」, Y좌표로서 「121」이 기술되어 있다.

화상처리부(2)는 매핑데이터 MP1의 기술내용에 따라서, 도 6(b)에 나타내는카메라 1의 촬상화상의 좌표(340, 121)의 화소데이터 C1을 참조하고, 화소데이터 C1의 값으로부터 합성화상의 화소 P1의 값을 결정한다. 여기서는, 가장 간단한 결정방법으로서 화소데이터 C1의 값을 그대로 화소 P1의 값으로 한다. 동일한 방법에 의해서 합성화상의 각 화소에 대해서 값을 결정함으로써, 도 6(e)에 나타내는 바와 같은 합성화상이 생성된다.

예를 들면, 합성화상의 화소 P2에 대응하는 매핑데이터 MP2는 도 6(c)에 나타내는 카메라 2의 촬상화상의 화소데이터 C2를 나타내고 있기 때문에, 화소 P2의 값으로서 화소데이터 C2의 값이 부여된다. 마찬가지로, 합성화상의 화소 P3에 대응하는 매핑데이터 MP3는 도 6(a)에 나타내는 카메라 3의 촬상화상의 화소데이터 C3을 나타내고 있기 때문에, 화소 P3의 값으로서 화소데이터 C3의 값이 부여된다. 도 6(d)의 매핑테이블에 있어서, 영역 R1은 카메라 1에 대응하고, 영역 R2는 카메라 2에 대응하며, 영역 R3은 카메라 3에 대응한다.

각 카메라에 대응하는 3개의 영역 R1∼R3 이외의 영역 R4는 각 카메라의 촬영영역 이외이거나, 자신의 차량에 의해서 숨어 있는 사각임으로써, 대응하는 카메라화상이 존재하지 않는 영역이다. 예를 들면, 합성화상의 화소 P4는 그러한 영역 R4의 화소이다. 이 경우, 화소 P4에 대응하는 매핑데이터 MP4의 카메라번호에는 대응하는 카메라화상이 존재하지 않는 것을 나타내는 특정의 카메라번호(여기서는 「-1」이라고 한다)를 기술해 둔다. 그리고, 카메라번호 「-1」일 때, 대응하는 화소 P4에는 촬영영역외나 사각인 것을 나타내는 소정의 화소데이터를 설정한다. 여기서는, 소정의 화소데이터로서 흑색을 설정한다.

도 6의 예에서는 매핑테이블은 차량 위쪽의 가상시점에서 차량의 주위를 내려다 보는 듯한 합성화상이 생성가능하도록 구성되어 있다. 이러한 매핑테이블은 후술하는 바와 같이, 이른바 노면평면 모델을 전제로 한 기하변환을 이용하여 작성하는 것이 가능하다. 또는, 합성화상을 보며 시행착오하면서 작성하여도 상관없다.

실제로는 매핑테이블을 이용함으로써, 합성화상과 카메라화상의 화소데이터의 대응관계를 용도에 따라서 자유롭게 설정할 수 있다. 예를 들면, 카메라화상의 임의의 영역을 확대 또는 축소하여 카메라화상의 일부에 합성하거나, 복수의 카메라화상을 나열하여 합성하는 등, 임의의 합성화상을 생성할 수 있다.

그리고, 어떠한 합성화상을 생성하는 매핑테이블이라도 화상처리부(2)는 합성화상 각 화소에 대해서 매핑데이터의 참조, 지정된 카메라화상의 화소데이터의 참조, 합성화상의 화소값의 설정을 행하는 단계를 실행하는 것만으로 끝나기 때문에, 그 처리량은 화상합성을 그 때마다 연산에 의해서 실행하는 경우에 비교하여 현격히 작아진다. 이 때문에, 본 방식은 합성화상의 종류에 관계없이 처리량이 일정해지고, 또한 고속처리가 가능하기 때문에, 실시간으로 일정시간에 처리를 끝낼 필요가 있는 감시나 운전보조 등의 용도에 대하여 특히 적합하다.

(합성화상 생성동작의 제 1 예)

도 7은 본 실시예에 관한 감시시스템의 구성예를 나타내는 도면이다. 도 7에 있어서 화상처리부(2)는 화상합성부(200), 표시패턴 기억부(210) 및 표시패턴 설정부(220)를 구비하고 있다. 표시패턴 기억부(210)는 상술한 바와 같은 매핑테이블을 복수개 기억하는 매핑테이블 기억부(211)를 갖고 있다. 표시패턴 설정부(220)는 매핑테이블 기억부(211)에 저장된 매핑테이블로부터, 생성하는 합성화상의 표시패턴에 따라서 1개의 매핑테이블 MPT를 선택하여, 화상합성부(200)의 매핑테이블 참조부(202)에 설정한다.

또한, 표시패턴 기억부(210)는 다양한 일러스트화상을 기억하는 일러스트 기억부(212)를 갖고 있다. 표시패턴 설정부(220)는 합성화상의 생성에 필요한 일러스트화상을 일러스트화상 기억부(212)로부터 판독하여, 화상합성부(200)의 일러스트 참조부(203)에 설정한다. 여기서는, 자신의 차량을 나타내는 일러스트화상이 설정되는 것으로 한다.

화상합성부(200)는 매핑테이블 참조부(202)에 설정된 매핑테이블 MPT에 따라서 촬상부(1)로부터 출력된 카메라화상을 이용하여, 합성화상을 생성한다. 타이밍 생성부(205)는 합성화상의 동화상계열을 생성하기 위한 타이밍신호를 생성한다.

각 카메라(101)에는 한쌍의 프레임 메모리(102a, 102b)가 설치되어 있다. 여기서는 각 카메라(101)는 CCD 타입으로 한다. 카메라가 CMOS 타입인 경우에는 카메라에 프레임 메모리의 기능을 갖게 하는 것도 가능하여, 이 경우는 프레임 메모리를 생략할 수 있다.

도 8은 합성화상의 1 프레임을 생성할 때의 화상합성부(200)의 동작을 나타내는 플로우차트이다.

우선, 타이밍 생성부(205)로부터 출력된 프레임개시의 타이밍신호에 따라서, 촬상부(1)는 각 카메라(101)가 촬영한 화상을 기입하는 프레임 메모리(102a)와, 화상합성부(200)로부터 참조되는 프레임 메모리(102b)를 전환한다(단계 S11). 여기서, 각 카메라(101)에 대하여 프레임 메모리를 2개 설치하여 전환하도록 한 것은 후술하는 바와 같이, 화상합성부(200)는 카메라화상의 화소데이터를 카메라(101)로부터의 기입 순서와는 관계없이, 매핑테이블 MPT에 따라서 드문드문 참조하기 때문에, 기입과 참조가 서로 간섭받지 않도록 하기 위해서이다.

다음으로, 타이밍 생성부(205)는 합성처리를 행하는 화소를 매핑테이블 참조부(202)에 지정하기 위한 타이밍신호를 생성한다(단계 S12). 매핑테이블 참조부(202)는 매핑테이블 MPT로부터 지정된 화소에 대응하는 매핑데이터를 판독하여, 화소합성부(201)에 출력한다(단계 S13).

화소합성부(201)는 입력된 매핑데이터의 내용에 따라서 프레임 메모리(102)에 저장된 각 카메라화상의 화소데이터나, 일러스트 참조부(203)에 저장된 일러스트화상의 화소데이터 등을 이용하여, 지정된 합성화상의 화소의 값을 생성하고, 영상신호 생성부(204)에 출력한다(단계 S14). 이 단계 S14의 처리는 후에 상술한다.

영상신호 생성부(204)는 타이밍 생성부(205)로부터 출력된 타이밍신호에 따라서 입력된 합성화상의 화소값을 영상신호로 변환하여, 표시부(3)에 출력한다(단계 S15).

화상합성부(200)는 프레임의 전체 화소에 대해서 단계 S12∼S15의 처리를 실행한다(단계 S16, S17). 타이밍 생성부(205)는 프레임의 최종화소의 처리가 끝나면 다음의 프레임의 처리를 개시한다.

또, 필드단위로도 동일한 처리를 실행할 수 있다.

도 9는 매핑테이블의 구성의 예를 나타내는 도면이다. 도 9에 나타내는 매핑테이블은 4종류의 매핑데이터 MP11∼MP14를 갖고 있다. 각 매핑데이터의 구성은 기본적으로는 도 6에 나타내는 매핑데이터와 동일하지만, 카메라번호 및 x, y좌표에 더하여, 그 화소값의 필요도가 기술되어 있다. 여기서는, 「필요도」는 0에서 1까지의 값에 의해 나타나 있고, 값이 클수록 그 화소값의 필요도는 높은 것으로 한다.

매핑데이터 MP11은 합성화상의 화소와 1개의 카메라화상의 화소데이터의 대응관계를 기술한 것이다. 이 경우, 필요도는 「1」이 된다. 또한, 매핑데이터 MP12는 합성화상의 화소와 복수의 카메라화상의 화소데이터의 대응관계를 기술한 것이다. 이 경우는, 합성화상의 화소값은 카메라화상의 화소데이터에 대하여, 그 필요도에 따른 가중을 행한 뒤에 생성한다.

매핑데이터 MP13은 합성화상의 화소에 일러스트화상의 화소데이터를 첩부하기 위해서 이용되는 것이다. 즉, 일러스트 참조부(203)에 저장된 일러스트화상을 인식할 있도록 일러스트 참조부(203)에 카메라번호로서, 어떠한 실제 카메라에도 대응하지 않는 번호(여기서는 「99」)를 할당한다.

매핑데이터 MP14는 합성화상의 화소가, 이른바 사각영역에 해당하는 것을 나타내는 것이다. 즉, 매핑테이블을 생성할 때에, 합성화상의 화소를 생성하기 위해서 참조하는 카메라화상의 화소의 좌표값을 계산한 결과, 그 좌표값의 화소가, 예를 들면 차량자체를 찍고 있는 경우에는 그 합성화상의 화소는 차량영역과 사각영역을 합친 영역에 해당한다. 이 영역으로부터 차량영역을 제외한 것이 사각영역이 된다. 이 때문에, 예를 들면 카메라번호나 x, y좌표에 실재하지 않는 값을 부여함으로써, 사각영역임을 나타낸다. 여기서는, 카메라번호로서 「-1」을 부여하는 것으로 한다.

도 10은 화소합성단계 S14의 상세한 처리의 흐름을 나타내는 플로우차트이다.

우선, 합성하는 화소의 값을 「0」으로 초기화한다(단계 S21).

다음에, 합성하는 화소에 대응하는 매핑데이터로부터 카메라번호, x, y좌표 및 필요도를 판독한다(단계 S22).

단계 S22에 있어서, 판독한 카메라번호가 일러스트화상을 나타내는 식별번호 「99」일 때(즉 매핑데이터 MP13의 경우), 단계 S24로 진행하고, 일러스트 참조부(203)에 저장된 일러스트화상의 지정된 x, y좌표의 화소데이터를 판독하고 유지한다. 그리고, 단계 S28로 진행한다. 한편, 카메라번호가 「99」가 아닐 때는 단계 S25로 진행한다.

단계 S25에 있어서, 판독한 카메라번호가 사각영역을 나타내는 식별번호 「-1」일 때(즉 매핑데이터 MP14의 경우), 단계 S26으로 진행하고, 미리 설정된 사각영역을 나타내는 화소데이터를 유지한다. 그리고, 단계 S28로 진행한다. 한편, 카메라번호가 「-1」이 아닐 때는 단계 S27로 진행한다.

단계 S27에 있어서, 카메라번호가 「99」「-1」이외의 경우, 즉 일러스트화상을 첩부하는 영역도 사각영역도 아니라고 판단되는 경우는, 이 카메라번호는 실제의 카메라를 나타내는 번호로서, 대응하는 카메라번호의 프레임 메모리(102)에 저장된 카메라화상으로부터 지정된 x, y좌표의 화소데이터를 판독하고 유지한다.

단계 S28에 있어서, 유지한 화소데이터에 그 필요도에 따라 가중을 행하고, 합성화상의 화소값에 가산한다. 매핑데이터에 기술된 모든 카메라번호에 대해서 단계 S22∼S28의 처리를 반복한다(단계 S29, S30). 모든 카메라번호에 대해서 처리가 종료되면 화소합성부(201)는 합성하는 화소의 값을 출력한다(단계 S31).

예를 들면, 도 9에 나타내는 매핑데이터 MP12의 경우에는 합성화상의 화소값은 다음 식에 의해서 구해진다.

합성화상의 화소값

=(카메라 2의 좌표 (10, 10)의 화소값 ×0.3

+카메라 3의 좌표 (56, 80)의 화소값 ×0.5) / (0.3+0.5)

여기서, 필요도의 합 (0.3+0.5)로 나누는 것은 화소값을 정규화하기 위해서이다.

이상과 같은 동작에 의해서 복수의 카메라화상을 혼합한 합성화상이나, 일러스트화상을 포함하는 합성화상을 용이하게 생성할 수 있다. 또한, 카메라화상과 일러스트화상을 필요도에 따라 가중함으로써, 실제 화상 위에 일러스트화상을 반투명하게 표시하는 합성화상도 생성할 수 있다. 또는, 카메라화상 이외의 화소데이터끼리 필요도에 따라 가중함으로써, 일러스트화상끼리 반투명하게 표시하는 합성화상도 생성할 수 있다.

또한, 일러스트화상으로서는 자신의 차량의 일러스트나 화상 이외에도, 예를 들면 화상의 스케일이나 지표 등과 같은 화면상에서 고정된 형상을 갖는 것을 부여하는 것이 가능하다.

또, 여기서의 설명에서는, 일러스트화상을 참조하기 위한 카메라번호(「99」)와, 사각영역임을 나타내는 카메라번호(「-1」)를 개별적으로 설정하는 것으로 하였지만, 사각영역을 나타내는 화상을 일러스트 참조부(203)에 저장해 놓으면 일러스트화상을 참조하는 경우와 사각영역을 나타내는 경우에, 같은 카메라번호(「99」)를 이용하는 것이 가능하게 된다. 이 경우에는, 예를 들면 차량을 나타내는 일러스트화상과 사각영역을 나타내는 화상을 합쳐 일러스트 참조부(203)에 저장해 놓는 것도 가능하게 된다.

또한, 표시패턴 설정부(220)는 표시모드의 지정에 따라서 표시패턴을 변경하는 경우에는, 새로운 표시패턴에 따른 매핑테이블을 매핑테이블 기억부(211)로부터 판독하여, 매핑테이블 참조부(202)에 설정하면 된다. 또는, 복수의 매핑테이블을 합성하여, 새로운 매핑테이블을 생성하여도 된다.

또한, 여기서는 도 9에 나타내는 매핑데이터 MP13과 같이, 일러스트화상을 표시하기 위해서 일러스트 참조부(203)의 X, Y좌표값을 기술하는 것으로 하였지만, 이 대신에, 일러스트화상의 화소데이터 자체를 매핑데이터에 기술하는 것도 가능하다.

도 11은 이러한 경우의 매핑데이터의 일례이다. 도 11의 매핑데이터 MP15는 카메라번호가 「99」일 때, 즉 일러스트화상을 표시시킬 때, X좌표, Y좌표를 기억하는 영역에 일러스트화상의 화소데이터 자체를 그대로 적색(R), 녹색(G), 청색(B)의 값으로 기억한다.

예를 들면, X좌표, Y좌표를 각각 16비트로 표현하는 것으로 하면, 그 영역은 32비트의 크기가 된다. 한편, 일러스트화상의 화상데이터를 R, G, B 각색 8비트로표현하는 것으로 한다면 전부 24비트가 되기 때문에, 그 상위 8비트에 "0"을 부가하고 32비트의 데이터로서 좌표영역에 기억한다. 이 경우, 도 10의 단계 S24에서는 일러스트 참조부(203)를 참조하는 대신에, 매핑데이터 MP15에 기술된 R, G, B값을 판독하고 유지한다.

이 경우에는, 매핑테이블과 일러스트화상은 일체가 되어, 일러스트 참조부(203)는 불필요하게 된다. 또한, 매핑데이터로부터 X, Y좌표값을 판독하여 대응하는 일러스트화상의 화소데이터를 판독하는 것이 아니라, 매핑데이터로부터 직접 R, G, B값을 판독하기 때문에, 처리의 순서가 1단계 생략된다.

또한, 자신의 차량의 일러스트화상을 표시하는 등의 경우에는 통상은 필요도를 1.0으로 하는 경우가 많지만, 도 11의 예와 같이 일러스트화상의 필요도를 1.0보다도 작은 값으로 하여 다른 카메라화상과 합성함으로써, 합성화상 위에 스케일이나 지표를 반투명하게 표시하는 것이 가능하게 된다.

<기본적인 합성화상의 예>

매핑테이블은 크게 단독 맵과 복합 맵의 2개로 나눌 수 있다. 「단독 맵」이라는 것은 소정의 공간모델(상세한 것은 후술한다)을 이용하여 카메라화상과 가상시점화상을 화소레벨에서 대응시킨 것이다. 「복합 맵」에 대해서는 후술한다.

화상합성부(200)에 어떤 매핑테이블이 설정되는가에 따라서, 화상처리부(2)의 표시모드가 결정된다. 이 표시모드는 수동에 의해서 또는 자동적으로 전환할 수 있다.

대표적인 단독 맵과 그것을 이용한 합성화상예를 아래에 나타낸다.

·수직으로 내려다 봄(도 12∼도 14)

공간모델로서는 노면평면모델을 이용한다. 가상시점의 위치는 자신의 차량의 위쪽이고, 시선의 방향은 바로 아래이다. 거리감을 한눈에 알 수 있는 것을 특징으로 하고, 주된 용도로서는 주차(직각, 종렬) 등이 생각된다. 도 12는 8개의 카메라화상을 이용한 것, 도 13은 4개의 카메라화상을 이용한 것, 도 14는 2개의 카메라화상을 이용한 것이다.

·비스듬히 내려다 봄(도 15)

공간모델로서는 노면평면모델을 이용한다. 가상시점의 위치는 자신의 차량의 위쪽이고, 시선의 방향은 비스듬히 후방이다. 시선의 각도를 조정함으로써, 시야를 자유롭게 변환할 수 있다. 이 모드에서는 자신의 차량 후방이 올바른 위치관계에서 바라보도록 일망할 수 있다. 주된 용도로서는 통상 주행시의 리어뷰 모니터로서, 또는 주차동작 개시시와 같은 저속후퇴시의 확인 등이 생각된다. 저속주행시에는 속도에 따라서 시야나 방향을 전환하도록 하여도 된다.

·파노라마(도 16, 도 17)

공간모델로서는 원통모델을 이용한다. 도 16은 전방 파노라마모드로, 가상시점의 위치는 자신의 차량의 선단부이고, 시선의 방향은 바로 정면이다. 이 모드에서는 주행방향 전방의 상태를 알 수 있기 때문에, 블라인드 코너뷰 모니터로서의 이용이 생각된다. 즉, 좁은 골목길에서 넓은 길로 나갈 때, 이 모드에 의해서 넓은 길의 상태를 한 눈에 인식할 수 있다.

도 17은 후방 파노라마모드로, 가상시점의 위치는 자신의 차량의 후단부이고, 시선의 방향은 바로 후방이다. 이 모드에서는 자차후방 부분이 파노라마 180도 화상으로서 바라보도록 일망할 수 있다. 주된 용도로서는 주행시(특히 고속주행시)의 리어뷰 모니터로서의 이용이 생각된다.

·비스듬히 내려다 봄 + 파노라마(도 18)

공간모델로서는 노면평면모델과 원통모델을 이용한다. 즉, 도 18에 나타내는 바와 같이 자신의 차량 후방의 근방은 노면평면모델을 이용한 비스듬히 내려다 본 모드로 표시하고, 자신의 차량 후방 원방은 원통모델을 이용한 파노라마 모드로 표시한다. 따라서, 이 모드는 비스듬히 내려다 본 모드와 파노라마 모드의 양쪽의 용도에 대응하고 있다.

<표시자동전환>

본 감시시스템은 지금까지 예시한 매핑테이블을 다양한 운전장면에 따라서 적당히 전환함으로써, 보다 안전하고 쾌적한 운전을 서포트하는 것이 가능하다. 또한, 하나의 운전조작에 있어서도 순차 변해가는 자신의 차량 주위 상황에 따라서 매핑테이블을 전환하는 것은 운전자에게 있어서 필요불가결한 기능이 된다.

즉, 합성화상의 가상시점의 위치, 시선의 방향 및 초점거리의 적어도 어느 하나를 차량의 주행상태에 따라 변경함으로써, 운전자의 편리성을 향상시킬 수 있다.

도 19는 차량의 주행상태에 따라서 합성화상의 가상시점의 높이를 변경한 경우의 예를 나타내는 도면이다. 도 19(a)∼(f)에 나타내는 각 화상은 아래로 내려감에 따라서 가상시점의 높이가 서서히 높아지고, 차량을 포함시킨 표시영역이 점차로 넓어지고 있다. 즉, 가상시점의 높이를 내림으로써 줌 업이 실현되고, 가상시점의 높이를 올림으로써 줌 다운이 실현된다. 또, 가상시점의 초점거리를 변경한 경우라도 도 19와 마찬가지로 합성화상을 변화시킬 수 있다.

가상시점의 높이를 전환하는 트리거로서는, 우선 차량의 주행속도가 생각된다. 예를 들면, 차량의 주행속도가 상승함에 따라서, 넓은 영역이 표시되도록 가상시점을 높게 하는 한편, 저하됨에 따라서, 좁은 영역이 표시되도록 가상시점을 낮게 하면 된다. 또는, 차량이 자신의 차량과 장해물과의 거리를 측정하는 물체검출 센서를 구비하고 있을 때는 그 물체검출 센서의 출력신호를 전환의 트리거로서 이용하여도 된다. 예를 들면, 검출된 장해물과의 거리가 가까워짐에 따라서, 좁은 영역이 표시되도록 가상시점을 낮게 하는 한편, 멀어짐에 따라서, 넓은 영역이 표시되도록 가상시점을 높게 하면 된다. 나아가서는 전환스위치를 설치해 두고, 운전수 또는 다른 승객이 그 스위치를 통해 확대·축소를 지정할 수 있도록 하여도 된다.

도 20은 차량의 주행상태에 따라서 합성화상의 가상시점의 시선의 방향을 변경한 경우의 예를 나타내는 도면이다. 도 20(a)∼(d)에 나타내는 각 화상은 아래로 내려감에 따라서, 가상시점의 시선의 방향이 비스듬히 후방에서 서서히 수직하방으로 변화하고 있다. 또한, 시선의 방향과 함께 합성화상을 생성하기 위한 모델도 변화하고 있다. 즉, 시선의 방향이 비스듬히 기울어질수록 유사원통모델의 합성화상의 영역이 커지고 있고, 보다 원방이 보기 쉬워진다.

도 20에서는 가상시점의 시선의 방향의 변경과 함께, 변경 후의 가상시점의 시야범위외 화상의 도입이 제어되고 있다고 할 수 있다. 즉, 유사원통모델을 이용함으로써, 가상시점의 시야범위외의 화상이 합성화상에 도입되고 있다. 그리고, 차량의 주행상태에 따라서 가상시점의 시야범위외 화상의 도입의 유무, 그 크기 및 그 촬상범위가 제어되고 있다.

가상시점의 시선의 방향을 전환하는 트리거로서는 가상시점의 높이를 전환하는 경우와 마찬가지로, 차량의 주행속도, 스위치입력 등이 상정된다. 예를 들면, 차량의 주행속도가 낮을 때는, 시선의 방향을 바로 아래에 두고, 주행속도가 상승함에 따라서, 시선의 방향을 기울여 보다 후방이 표시되도록 하면 된다.

도 21은 차량의 조향각에 따라서 합성화상의 가상시점의 시선의 방향을 변경한 예를 나타내는 도면이다. 도 21의 예에서는 조향각에 따라서 가상시점을 광축주위에 회전시키고 있다. (a)는 기어가 후진이고 핸들이 똑바로일 때의 합성화상이다. 이 경우는 차량이 후방으로 직진하기 때문에, 후방의 영역이 보기 쉬워지도록 합성화상 중의 자신의 차량이 똑바로 되고, 자신의 차량의 좌우의 영역이 균등하게 표시되도록 가상시점을 설정한다. 한편, (b)는 기어가 후진이고 핸들을 좌측으로 꺾었을 경우의 합성화상이다. 이 경우는 차량은 좌후방으로 진행하기 때문에, 그 때에 차가 이동하는 영역, 즉 자신의 차량의 우측, 우후방 및 후방이 보기 쉬워지도록 가상시점을 광축주위에 회전시킨다. 이것에 의해, 안전성이 높아진다.

도 22는 물체검출 센서의 출력신호에 따른 화상전환의 예를 나타내는 도면이다. 도 22 중 (a)는 물체검출 센서가 자신의 차량에 근접한 장해물을 검출하기 전의 화면이다. 물체검출 센서가 자신의 차량에 근접한 다른 차량을 검출하였을 때, 화면은 도 22(b)와 같이 전환한다. 즉, 검출한 장해물과의 거리를 보다 인식할 수있도록 화상을 확대하여 표시한다.

이와 같이, 물체검출 센서가 장해물을 검출하였을 때, 화상을 장해물과의 거리에 따라서 단계적 또는 연속적으로 확대/축소/회전 등을 하여 표시함으로써, 장해물에 대하여 승객의 주의를 환기할 수 있다. 또한, 장해물이 존재하는 위치에 따라서 가상시점의 위치를 변경하여도 된다.

게다가, 도 23에 나타내는 바와 같이 장해물이 존재하는 영역을 확대하여 표시함과 동시에, 그 영역을 테두리로 둘러싸서 표시하여도 상관없다. 또는, 테두리를 점멸시키거나, 테두리 내의 색을 반전시켜도 된다. 이와 같이 하면, 승객의 주의를 더욱 확실하게 환기시킬 수 있다. 물론, 화상을 확대하지 않고서 단순히 테두리로 둘러싸서 표시하는 것만으로도 승객의 주의를 환기시킬 수 있는 것은 말할 필요도 없다. 또한, 화면표시의 변경과 함께, 경고음에 따라서 장해물의 존재를 알리도록 하여도 된다.

도 24는 물체검출 센서의 검출결과에 따른 화상전환의 다른 예를 나타내는 도면이다. 도 24에서는 차량후방에 장해물을 검지하였을 때, 가상시점의 시선의 방향을 바로 아래에서 약간 후방으로 변경하고 있다. 이것에 의해, 차량후방의 장해물이 보다 보기 쉬워진다. 또한, 검출한 장해물이 합성화상의 중심에 오도록 가상시점을 평행이동시켜도 된다.

또, 도 19∼도 24에서는 가상시점이 차량의 위쪽에 있는 경우의 합성화상을 예로 들어 나타내었지만, 가상시점이 다른 위치에 있는 경우라도 차량의 주행상태에 따라서 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 하나를 변경함으로써, 운전자의 편리성을 향상시킬 수 있다. 가상시점의 위치의 다른 예로서는 리어트렁크의 위치나 운전자의 머리의 위치 등이 생각된다.

또한, 도 20에서는 가상시점의 시선의 방향의 변경과 함께, 그 시야범위외 화상의 도입을 제어하고 있지만, 가상시점의 위치나 초점거리의 변경과 함께, 그 시야범위외 화상의 도입을 제어하여도 된다. 또한, 모델을 이용하지 않고, 가상시점의 시야범위외 화상을 도입하여도 상관없다. 게다가, 가상시점을 바꾸지 않고, 가상시점의 시야범위외 화상의 도입의 제어만을 차량의 주행상태에 따라서 행해도 상관없다.

(합성화상 생성동작의 제 2 예)

표시화상의 전환은 이용하는 매핑테이블을 적당히 변경함으로써, 용이하게 실현할 수 있다. 그러나 이 경우, 표시화상의 전환을 연속적으로 행하기 위해서는 다수의 매핑테이블을 준비해 두는 것이 필요하다. 이를 위해, 장치에 방대한 기억용량을 갖는 기억부를 설치하는 것이 필요하기 때문에, 바람직하지 못하다.

여기서는, 합성화상보다도 큰 소스 매핑테이블을 설치해 두고, 이 소스 매핑테이블로부터 잘라낸 매핑테이블을 이용하여, 합성화상의 생성을 행하는 것으로 한다. 이 경우에는, 잘라내는 매핑테이블을 적절히 변경함으로써, 표시화상의 연속적인 전환을 용이하게 실현할 수 있다.

도 25는 본 예에 관한 감시시스템의 구성을 나타내는 도면이다. 도 7에 나타내는 구성과 다른 것은 맵영역 설정부(302)가 타이밍 생성부(205)로부터 출력된 합성화상의 화소의 좌표와, 표시패턴 설정부(220A)에 의해서 설정된 매핑테이블의 영역지정정보에 근거하여, 대응하는 매핑테이블의 요소를 생성하여, 매핑테이블 참조부(202)에 출력하는 점이다. 매핑테이블 참조부(202)에는 표시패턴 기억부(210A)가 갖는 소스 매핑테이블 기억부(301)에 기억된 소스 매핑테이블이 표시패턴 설정부(220A)에 의해서 설정되어 있다.

즉, 상술한 제 1 예에서는 도 8에 나타내는 단계 S13에 있어서 타이밍 생성부(205)에 의해서 설정된 현재 출력해야 하는 합성화상의 화소에 대하여, 이 화소와 동일 위치에 있는 매핑데이터를 판독하는 것으로 하였지만, 본 예에서는 소스 매핑테이블 상에서 이용하는 매핑테이블의 영역을 설정한 후에, 합성화상의 화소에 대응하는 매핑데이터의 판독을 행한다.

본 예에서의 매핑데이터의 판독방법에 대해서 설명한다. 도 26 및 도 27은 본 예에서의 합성화상과 소스 매핑테이블과의 관계를 모식적으로 나타낸 것이다. 도 26의 예에서는 소스 매핑테이블로부터 잘라내는 영역의 크기를 합성화상과 동일한 크기로 고정하여, 오프셋값을 바꿈으로써, 합성화상의 평행이동을 실현한다. 도 27의 예에서는 소스 매핑테이블로부터 잘라내는 영역의 크기 및 요소의 판독단계를 바꿈으로써 합성화상의 확대·축소를 실현한다.

우선, 합성화상의 평행이동을 행하는 경우에 대해서 도 26을 참조하여 설명한다.

도 26(a)에 나타내는 합성화상은 폭 W_DISP, 높이 H_DISP의 크기를 갖고, 도 26(b)에 나타내는 소스 매핑테이블은 폭 W_MAP, 높이 H_DISP의 크기를 갖는 것으로 한다. 여기서는, 소스 매핑테이블로서 차의 상공의 가상시점에서 차의 주위의 넓은범위를 내려다 본 화상을 만드는 것을 생각한다. 이것은, 상술한 제 1 예에 있어서 초점거리가 일정하다고 하면, 가상시점과 투영면의 거리가 일정한 채, 투영면의 크기가 (W_DISP, H_DISP)부터 (W_MAP, H_MAP)로 확대되었다고 생각하고, 소스 매핑테이블을 구성하면 된다. 투영면의 확대에 의해서 소스 매핑테이블에는 보다 광범위한 영역에 관한 정보가 포함된다. 도 26(d)는 이러한 매핑테이블의 각 요소를 대응하는 카메라화상 및 일러스트화상으로 바꿔 놓은 화상이다.

다음에, 표시패턴 설정부(220A)는 소스 매핑테이블 상에서 합성화상생성을 위한 매핑테이블로서 이용하는 영역을 원점 (0, 0)으로부터의 오프셋 (off_x, off_y)에 의해서 지정한다. 점 (off_x, off_y)을 개시점으로 한 크기 (W_DISP, H_DISP)의 영역 MPT가 화상합성을 위해서 이용되는 매핑테이블이 된다. 합성화상을 래스터주사하여 얻어진 화소의 X, Y좌표에 이 오프셋(off_x, off_y)을 가산한 위치의 매핑데이터가 매핑테이블 참조부(202)로부터 판독되고, 화소합성부(201)에 입력된다. 화소의 합성처리는 제 1 예와 마찬가지로, 도 10의 플로우차트에 따라서 행해진다. 도 26(c)는 도 26(b)에 나타내는 매핑테이블 MPT를 이용하여 얻어진 합성화상이다.

오프셋을 더한 좌표가 소스 매핑테이블의 범위를 넘은 경우는, 화소합성부(201)에 통지하여, 미리 설정한 색(예를 들면 흑색) 등을 화소의 값으로 하는 등 영역을 알 수 있는 표시를 행한다.

본 예에 의하면, 가상시점을 차량 위쪽에서 노면을 수직으로 내려다 보도록 배치하고, 노면평면모델을 이용한 경우에, 가상시점을 노면과 평행하게 이동시켰을때의 합성화상을, 매핑테이블을 늘리지 않고, 생성하는 것이 가능하다. 즉, 상술한 제 1 예에서는 평행이동한 가상시점의 각각에 대응하는 매핑테이블이 필요하였지만, 본 예에서는 하나의 소스 매핑테이블만으로 끝난다. 예를 들면, 원활한 시점이동을 행하기 위해서 1화소씩 가상시점을 이동하는 경우, 상술한 제 1 예에서는 이동단계의 전부에 대응하는 다수의 매핑테이블이 필요하지만, 본 예에서는 광범위한 하나의 소스 매핑테이블에 있어서 매핑테이블을 잘라내는 개시위치 (off_x, off_y)를 변화시키는 것만으로 실현가능하다. 또한 본 예에서는, 예를 들면 다이얼 등을 돌려 가상시점의 위치를 변경하거나, 장해물검출 센서의 출력의 크기에 비례하여 장해물의 방향으로 가상시점의 위치를 변경하거나 하는 경우에, 자세한 단계에서 가상시점의 위치를 변경할 수 있기 때문에, 상황에 따른 합성화상을 용이하게 생성할 수 있다.

본 예에서는 가상시점을 자세한 단계에서 평행이동하기 위해서 다수의 매핑테이블을 이용할 필요가 없기 때문에, 매핑테이블을 기억하기 위한 메모리는 하나의 소스 매핑테이블을 기억가능한 용량이 있으면 된다. 또한, 제 1 예에서는 매핑테이블의 전환이나 설정에 시간이 걸리는 것에 대해, 본 예에서는 오프셋의 설정만으로 끝나기 때문에, 처리의 고속화를 도모할 수 있다.

다음에, 같은 방법을 이용하여 합성화상의 확대·축소를 행하는 경우에 대해서 도 27을 참조하여 설명한다.

도 27에 있어서, 타이밍 생성부(205)는 (a)에 나타내는 합성화상의 화소 P1의 좌표 (x, y)를 지정하였다고 한다. 표시패턴 설정부(220A)는 영역의 개시위치(off_x, off_y)와 함께, 요소의 판독단계 (step_x, Step_y)를 지정한다. 이 때, 화소 P1에 대응하는 매핑데이터 MD의 좌표를 (u, v)로 하면, 좌표 (u, v)는 다음 식에 의해서 구해진다.

u = step_x * x + off_x

v = step_y * y + off_y

판독단계 (step_x, step_y)의 값을 바꿈으로써, 합성화상을 원활하게 확대·축소하는 것이 가능해진다. 소스 매핑테이블로부터 잘라내는 매핑테이블의 영역이 판독단계 (step_x, step_y)의 변화에 따라서 MPT1, MPT2, MPT3, MPT4로 변화하였을 때, 합성화상은 (d), (e), (f), (g)와 같이 변화한다.

좌표 (u, v)가 소스 매핑테이블의 범위를 넘었을 때는 상술한 평행이동의 경우와 마찬가지로, 지정된 색 등을 출력한다. 또한, 판독단계 (step_x, step_y)의 값은 정수 이외의 값을 이용할 수도 있어, 이 경우는 계산결과의 (u, v)의 값을 정수로 변환한다.

본 예에 관한 확대·축소에 의하면, 가상시점을 차량 위쪽에서 노면을 수직으로 내려다 보도록 배치하고, 노면평면모델을 이용한 경우, 가상시점의 높이 또는 초점거리의 변경에 의해서 시야범위를 확대·축소한 경우와 동일한 합성화상을 생성할 수 있다.

예를 들면, 운전자 등으로부터의 지시나 센서입력에 따라서 원화상의 일부를 확대표시하는 경우, 갑자기 확대화상을 출력하는 것은 아니라, 본 예에 관한 방법을 이용하여 원활하게 확대하여 표시함으로써, 확대화상이 원화상의 어떤 영역을확대한 것인가가 파악하기 쉬워진다.

게다가, 판독단계의 변경과 함께, 오프셋값을 바꿈으로써, 합성화상의 확대·축소와 함께, 평행이동도 실현할 수 있다.

또, 일반적으로는 매핑테이블의 영역을 직사각형으로 한정할 필요는 없다. 즉, 표시패턴 설정부(220A)가 매핑테이블의 영역을 사변형의 4정점의 좌표로 지정하도록 하여도 된다.

도 28에 있어서, 매핑테이블의 영역을 볼록형의 사변형으로 하고, 4점 n1, n2, n3, n4로 지정한다. 이 때, 합성화상의 좌표 (x, y)의 화소 P1에 대응하는 매핑데이터 MD의 좌표 (u, v)는 다음과 같이 구할 수 있다.

우선, 정점 n1, n2를 (y/H_DISP:1-y/H_DISP)로 내분하는 점 na의 좌표를 구한다. 마찬가지로, 정점 n3, n4를 (y/H_DISP:1-y/H_DISP)로 내분하는 점 nb를 구한다. 다음에, 점 na, nb를 (x/W_DISP:1-y/W_DISP)로 내분하는 점의 좌표를 구하면 이것이 대응하는 매핑데이터 MD의 좌표 (u, v)가 된다.

이러한 지정을 하면 평행이동, 확대, 축소, 회전을 포함하는 임의의 매핑테이블의 영역지정이 가능하게 된다.

또, 본 방식에 의하면, 노면평면모델을 이용하여 가상시점이 위쪽에서 노면을 수직으로 내려다 보는 경우에 대해서는 가상시점의 평행이동이나, 시야범위의 확대·축소 또는 노면에 평행한 회전과 같은 가상시점의 변화와 정확하게 일치하는 합성화상을 생성할 수 있다. 단, 모델이나 가상시점의 방향이 다른 경우에는, 가상시점의 변화와 정확하게 일치하는 합성화상을 반드시 생성할 수 있는 것은 아니다.그러나, 이러한 경우에도 가상시점의 변화와 유사한 합성화상을 생성하는 것은 가능하기 때문에, 본 방식은 대단히 유효하다.

<복수종류의 화상표시>

복수종류의 합성화상을, 아울러 1개의 화면에 표시하거나, 합성화상과 카메라화상을 동시에 하나의 화면에 표시함으로써, 운전수의 편리성을 높일 수 있다. 예를 들면 자신의 차량의 근방과 원방을 동시에 표시하거나, 서로 다른 방향의 화상을 동시에 표시하거나, 자신의 차량의 전체와 확대된 자신의 차량의 일부를 동시에 표시하거나 함으로써, 운전수는 화면표시를 전환하지 않아도 차량의 주위의 상황을 적확하게 이해할 수 있다.

이러한 복수종류의 화상표시는 복합 맵을 이용함으로써, 용이하게 실현할 수 있다. 「복합 맵」이란 단독 맵의 필요한 부분을 잘라내어 적당한 변형을 행하여, 접합하거나 단독 맵에 카메라화상을 접합한 매핑테이블을 말한다. 다음에 설명하는 바와 같은 화상표시는 복합 맵을 이용하여 용이하게 실현가능하지만, 이 이외의 화상표시에 대해서도 단독 맵끼리나, 단독 맵과 카메라화상을 조합함으로써, 다양한 운전장면에 따른 복합 맵을 만드는 것은 가능하다.

여기서는, 차량 위쪽에 설정된 가상시점에서 본 자신의 차량 및 그 주변을 나타내는 근방화상으로서의 노면평면모델을 이용한 내려다 본 화상과, 이 내려다 본 화상을 나타내는 자신의 차량의 주변영역보다도 원방의 영역을 나타내는 원방화상을 포함하는 화상을 표시하는 예에 대해서 설명한다. 도 29는 여기서의 설명의 전제가 되는 카메라화상을 나타내는 도면이다.

도 30은 제 1 화상으로서의 내려다 본 화상의 좌우에, 제 2 화상으로서의 비스듬히 후방을 찍는 카메라화상을 첩부한 예이다. 이 예에서는 제 2 화상의 시점은 제 1 화상의 가상시점과, 위치, 시선의 방향 및 초점거리가 다르다고 할 수 있다. 도 30의 화상에서는 내려다 본 화상의 우측에는 우측으로 비스듬히 후방의 풍경을 찍는 카메라 2의 화상이 좌우반전되어 배치되어 있고, 내려다 본 화상의 좌측에는 좌측으로 비스듬히 후방의 풍경을 찍는 카메라 6의 화상이 좌우반전되어 배치되어 있다. 즉, 좌우의 도어미러 부근에 설치된 카메라 2, 6의 화상이 실제로 도어미러를 통해 보이도록 좌우반전되어 배치되어 있다. 따라서, 운전수는 도어미러를 보는 것과 동일한 감각으로, 직감적으로 차량주위의 상황을 이해할 수 있다. 물론, 좌우반전하지 않고 표시하여도 상관없다.

도 31은 좁은 범위를 나타내는 제 1 화상으로서의 내려다 본 화상과, 넓은 범위를 나타내는 제 2 화상으로서의 내려다 본 화상을 나란히 표시한 예이다. 이 예에서는 제 2 화상의 가상시점은 제 1 화상의 가상시점과 높이 또는 초점거리가 다르다고 할 수 있다. 도 31의 화상을 보면 자신의 차량의 근방은 상세하게, 또한 넓은 범위는 간략하게 한번에 볼 수 있다.

도 32는 제 1 화상으로서의 내려다 본 화상의 주위에, 제 2 화상으로서의 전후좌우의 비스듬히 내려다 본 화상을 첩부한 예이다. 이 예에서는 제 2 화상의 가상시점은 제 1 화상의 가상시점과 시선의 방향이 다르다. 도 33은 제 1 화상으로서의 내려다 본 화상의 주위에, 제 2 화상으로서의 유사원통모델을 이용한 어안렌즈로 본 듯한 화상을 첩부한 예이다. 이 예에서는 제 2 화상은 제 1 화상과 모델이다르다. 도 34는 제 1 화상으로서의 내려다 본 화상의 주위에, 제 2 화상으로서의 전후좌우의 파노라마화상을 첩부한 예이다. 이 예에서는 제 2 화상은 제 1 화상과 가상시점의 위치 및 모델이 다르다. 도 32∼도 34의 화상을 보면 자신의 차량의 근방에서는 거리감을 유지할 수 있고, 또한 자신의 차량 주위 원방은 바라보도록 일망할 수 있다.

또, 내려다 본 화상의 전후좌우 모두에 반드시 원방화상을 첩부할 필요는 없고, 보이고 싶은 방향만, 예를 들면 우측에만, 후방에만 원방화상을 표시하도록 하여도 상관없다.

또, 도 35에 나타내는 바와 같이, 내려다 본 화상의 주위의 전후좌우에 비스듬히 내려다 본 화상을 첩부한 경우, 표시영역의 4각에 공백부를 설치하여, 비스듬히 내려다 본 화상은 서로 연속성이 없는 것을 강조하도록 하여도 된다.

게다가, 도 32∼도 35와 같은 화상표시를 행할 때는 주위의 원방화상을 필터처리를 실시함으로써, 희미하게 표시하여도 된다. 이것에 의해, 운전자의 주시영역을 자신의 차량 주변에 집중시킬 수 있다. 또한, 주위의 원방화상의 왜곡을 눈에 띄지 않도록 할 수 있다.

이러한 부분적인 선염처리는 단독 맵을 이용한 화상표시의 경우에도 유효하다. 예를 들면, 도 5에 나타내는 바와 같은 내려다 본 화상의 경우라도, 자신의 차량 및 그 근방에는 선염처리를 행하지 않고, 다른 주차차량이 영사되고 있는 주변영역에 선염처리를 행함으로써, 동일한 효과를 얻을 수 있다. 주차시 등의 경우에는, 선염처리를 행하지 않는 영역은 자신의 차량으로부터 10m 이내의 영역으로 설정하면 적절하다. 또한, 자신의 차량으로부터 거리가 떨어짐에 따라서 선염강도를 증가시켜도 된다.

또한, 도 31의 화상은 자신의 차량과 자신의 차량 주위를 나타내는 제 1 화상과, 이 제 1 화상이 나타내는 영역의 적어도 일부를 확대한 제 2 화상을 포함하는 합성화상이라고도 할 수 있다. 물론, 제 1 화상이 자신의 차량 전체가 아니라 자신의 차량 일부를 나타내고 있거나, 자신의 차량 주위의 일부를 나타내고 있어도 상관없다.

또한, 표시화면을 멀티윈도우로 하고, 서브윈도우에 상술한 바와 같은 합성화상이나, 카메라화상, 가상시점의 위치를 나타내는 화상, 문자정보 등을 표시하 도록 하여도 된다. 이것에 의해, 자신의 차량의 주위상황이 더욱 용이하게 파악되기 쉬워져 운전수의 편리성이 향상된다.

멀티화면의 표시방법으로서는 여러가지가 생각된다. 예를 들면 도 36에 나타내는 바와 같이 카메라화상이나 합성화상과 함께, 가상시점의 위치를 나타내는 화상을 서브윈도우에 표시하여도 된다. 이것에 의해, 가상시점의 위치를 용이하게 파악할 수 있다.

또한 예를 들면, 물체검출 센서가 장해물을 검출하였을 때에 각 서브윈도우의 카메라화상 또는 합성화상 상에 그 장해물의 위치를 나타내는 경고마크를 표시시키는 동시에, 다른 서브윈도우에 문자에 의해서 그 장해물의 위치를 표시시켜도 된다.

<사각영역 및 자신의 차량 영역의 표시>

(1) 도 37은 카메라화상 및 그 카메라화상에서의 자신의 차량의 영사영역을 나타내는 영역데이터로서의 마스크데이터의 예를 나타내는 도면이다. 도 37에 나타내는 바와 같이 각 카메라화상에 있어서 자신의 차량이 영사된 부분을 인식하고, 인식한 차량의 영사영역을 나타내는 마스크데이터를 미리 화상처리부(2)에 기억시켜 놓는다. 도 37에 나타내는 마스크데이터에서의 흑색의 부분이 차량의 영사영역이다. 차량의 영사영역은 카메라의 사양과 방향 및 자신의 차량의 형상이 정해지면 미리 일의적으로 결정할 수 있다.

도 38(a)는 도 37의 카메라화상을 이용하여 합성한 수직으로 내려다 본 화상이다. 도 38(a)에 나타내는 합성화상에서는 화상의 중앙부에 희게 자신의 차량이 영사되고 있어 다소 보기 어렵다.

그래서, 각 카메라화상의 마스크데이터를 가상시점에서 본 화상으로 변환하고, 합성화상에 있어서 차량의 영사영역을 전부 빈틈없이 칠하는 것으로 한다. 이 결과, 도 38(b)에 나타내는 바와 같은 화상이 얻어져 보다 보기 쉬워진다.

또한, 도 38(a)에서는 화상의 중앙부에 자신의 차량이 영사되고 있기 때문에 보기 어려워지는 동시에, 자신의 차량이 실제로 어디에 있는 것인지를 알 수 없기 때문에, 운전하기 어렵다. 그래서, 자신의 차량의 일러스트화상 또는 실제 화상을 자신의 차량이 실제로 존재하는 위치에 슈퍼임포즈한다. 예를 들면, 화상처리부(2)는 표준의 가상시점에서 본 것을 전제로 하는 자신의 차량의 일러스트화상 또는 실제 화상을 미리 기억해 놓고, 그 화상을 표시하는 합성화상의 가상시점에서 본 화상으로 변환하여, 슈퍼임포즈하면 된다. 이 결과, 도 38(c)에 나타내는 바와 같은화상이 얻어져 주위의 물체에 대한 자신의 차량의 크기나 상대적인 위치관계를 한 눈에 알 수 있게 되었다. 자신의 차량 화상의 변환은 상술한 매핑테이블을 이용함으로써, 용이하게 실현할 수 있다.

이 경우, 표준의 가상시점으로서는, 예를 들면 자신의 차량의 위쪽에 설치한 가상시점이나, 측면에 위치하는 가상시점이나, 자신의 차량의 전방 또는 후방 등에 설치한 가상시점을 이용할 수 있다. 또한, 표준의 가상시점을 복수개 설치하여, 복수의 표준의 가상시점에 대하여 각각 화상을 준비하여도 된다. 그리고, 합성화상을 생성하기 위한 가상시점의 위치가 정해지면 그 가상시점과 각 표준의 가상시점의 위치관계로부터 화상변환시에 화상의 왜곡이 가장 작아지는 표준의 가상시점을 선택하 도록 하여도 된다.

또, 자신의 차량의 일러스트 또는 실제 화상을 첩부하는 대신에, CAD/CAM이나 CG의 분야에서 공지된 서페이스모델이나 솔리드모델을 이용한 자신의 차량의 3차원 모델을, 합성화상에 첩부하게 하는 것도 가능하다. 이 경우도, 표준의 가상시점에서 본 3차원 모델을 나타내는 화상을 미리 준비해 두고, 이 화상을 표시하는 합성화상의 가상시점에서 본 화상으로 변환하여, 슈퍼임포즈하면 된다. 이 변환도 상술한 매핑테이블을 이용함으로써, 용이하게 실현할 수 있다.

게다가, 자신의 차량이 실제로 존재하는 영역을 나타내는 화상으로서 카메라화상으로부터 생성한 합성화상 그 자체를 이용하도록 하여도 된다. 또한, 자신의 차량의 일부, 예를 들면 범퍼부분만을 합성화상으로 표시하고, 이 이외의 부분은 일러스트 또는 실제 화상을 첩부하게 하여도 된다.

(2) 가상시점에서 본 합성화상에는 어떤 카메라의 촬상범위에도 속하지 않는 영역이 포함되는 경우가 있다. 또한, 자신의 차량이 방해가 되어, 각 카메라에서는 촬상할 수 없는 영역도 포함되는 경우가 있다.

이 문제를 해결하기 위해서 상술한 (1)에서는 차량의 영사영역에 소정의 화소데이터를 부여하여 빈틈없이 칠함으로써 합성화상을 보다 보기 쉽게 하였다.

여기서, 도 39에 나타내는 바와 같이 자신의 차량이 영사된 카메라화상을 그대로 가상시점화상으로 변환하면, 변환된 자신의 차량 화상이 합성화상에 포함되어, 보기 어려워진다(A1). 이 경우는, 자신의 차량이 영사되는 영역을 빈틈없이 칠함으로써, 보기 쉽게 개선된다.

그러나, 가상시점화상에 있어서 자신의 차량이 본래 존재하지 않는 부분에 자신의 차량의 일부가 영사되는 경우가 일어날 수 있다(A2). 이러한 경우는 가상시점화상에 있어서, 자신의 차량의 부분을 빈틈없이 칠하면, 본래 보여야 되는 부분까지 사라지기 때문에 바람직하지 않다. 이 문제는 원카메라화상을 가상시점화상으로 변환할 때에 이용하는 공간모델이 카메라에 영사되고 있는 실제 세계와 다른 (대부분은 단순화된다) 경우에 일어날 수 있는 것이다. 이 때문에, 이 문제를 원리적으로 해결하기 위해서는 실제 세계의 안길이 정보를 실시간으로 계산하는 것이 필요하여, 대단히 고속의 연산능력이 장치에 요구된다. 따라서, 실시는 곤란하다.

그래서, 다음과 같은 방법으로 이 문제를 해결한다.

즉, 합성화상의 화소가 차량의 영사영역에 포함되는지의 여부를 원카메라화상과 쌍이 되는 마스크데이터를 참조하여 판단하고, 화소의 생성을 차량의 영사영역에 포함되는 경우와 그렇지 않은 경우에 있어서 전환한다. 즉, 마스크데이터를 가상시점화상으로 변환하는 것이 아니라, 마스크데이터를 원카메라화상의 형태 그대로 이용한다.

도 40은 마스크데이터의 일례를 나타내는 도면이다. 도 40에 나타내는 바와 같이 각 카메라화상에 대하여, 자신의 차량의 영사부분 등 가상시점 화상합성에 이용하지 않는 영역을 나타내는 마스크데이터가 설치되어 있다.

이 경우에는, 예를 들면 합성화상의 생성을 위해 카메라화상의 화소데이터를 참조할 때, 이 카메라화상에 대응하는 마스크데이터도 참조하여, 그 화소가 차량의 영사영역에 포함될 때에는 화소의 생성을 행하지 않고, 사각영역인 것이 식별가능한 색으로 빈틈없이 칠하는 등의 처리를 행하면 된다.

또한, 상술한 매핑데이터 MP14와 같이 합성화상의 화소가 사각영역에 포함되는지의 여부의 정보를 매핑테이블 자체에 갖게 하여도 된다. 이 경우에는 가상시점 화상합성시에 프레임마다 마스크데이터를 참조할 필요가 없어, 처리의 고속화를 실현할 수 있다. 또한, 마스크데이터를 저장하는 기억부를 설치할 필요가 없다는 이점이 있다.

도 41은 화상합성의 결과의 일례를 나타내는 도면이다. 도 41에 나타내는 합성화상에서는 자신의 차량이 존재하는 차량영역과, 자신의 차량의 주위의 사각영역이 나타나 있다. 차량영역을 나타냄으로써, 자신의 차량과 주위의 상황과의 위치관계나 거리 등이 운전자로부터 파악되기 쉬워진다. 또한, 운전석에서는 직접 보기 어려운 영역도 합성화상에 의해서 확인할 수 있게 되지만, 게다가 사각영역을 나타냄으로써, 어떤 카메라에서도 촬영할 수 없는 영역을 운전자에게 인식시킬 수 있기 때문에, 안전성이 향상된다.

또, 자신의 차량이 존재하는 차량영역의 모두를 반드시 나타낼 필요는 없고, 자신의 차량 영역의 일부를 나타내는 경우도 있을 수 있다. 예를 들면, 카메라의 설치대수가 한정되어 있어, 차량 및 그 주위의 일부밖에 촬영하지 못하는 경우에는 촬영된 차량영역의 일부와 그 주위의 사각영역만이 나타난다. 또는, 차량주위의 특정한 일부를 확대표시시키는 경우에는 표시하는 차량영역의 일부와 그 주위의 사각영역이 나타난다.

또한, 사각영역 대신에, 차량의 승객 등의 주의를 환기하기 위한 주의환기영역을 나타내어도 된다. 이 주의환기영역은 어느 쪽의 카메라에서도 촬영할 수 없는 차량주위의 사각영역을 포함한 영역이어도 되고, 사각영역 그 자체에 상당하는 영역이어도 된다. 또한, 주의환기영역은 차량의 주위의 일부를 나타내는 것이어도 된다.

주의환기영역은 카메라의 촬영범위에 관계없이, 차량영역과의 위치관계에 의해서만 미리 설정가능하기 때문에 간단한 처리로 합성하는 것이 가능하다. 또한, 주의환기영역이 사각영역을 포함하고 있을 때, 사각영역이 아닌 카메라에서 촬영된 부분도 주의환기영역으로서 숨겨질 가능성이 있지만, 예를 들면 주의환기영역을 반투명표시하여, 사각영역과 더불어 표시하도록 하여도 된다.

도 42는 마스크데이터를 이용하여 사각영역을 구하고, 일러스트화상을 첩부하는 경우에서의 매핑데이터의 생성순서를 나타내는 도면이다. 도 42에서, <PT1>은1개의 카메라화상으로부터 생성되는 합성화상의 화소, <PT2>는 2개의 카메라화상을 참조하지만, 카메라화상의 하나가 차량의 영사 때문에 제거되고, 나머지 하나의 카메라화상으로부터 생성되는 합성화상의 화소, <PT3>는 하나의 카메라화상을 참조하지만, 그 카메라화상이 차량의 영사 때문에 제거되는 합성화상의 화소, <PT4>는 하나의 카메라화상을 참조하지만, 그 카메라화상이 차량의 영사 때문에 제거되고, 또한 차량의 일러스트화상이 첩부되는 합성화상의 화소이다.

우선, 단계 1에서 참조좌표 및 필요도를 계산한다. 합성화상의 화소에 대하여, 모든 카메라화상에 대해서 참조좌표를 계산한다. 이 참조좌표의 계산은 후술하는 기하연산에 의해서 행한다. 이 때, 구한 참조좌표가 카메라화상의 촬영범위외(즉 사각)에 있을 때는, 좌표값으로서 (-1, -1)을 기술한다. 또한 여기서는, 참조하는 카메라의 대수를 구하고, 그 역수를 필요도로서 부여하는 것으로 한다. 필요도의 부여방법은 다른 방법으로도 상관없고, 손으로 입력하여 부여하여도 된다. 이 단계 1에서 <PT1>이 참조하는 것은 카메라 6, <PT2>가 참조하는 것은 카메라 4, 5, <PT3>이 참조하는 것은 카메라 6, <PT4>가 참조하는 것은 카메라 2인 것을 얻는다.

다음에, 단계 2에서 차량의 영사영역을 나타내는 마스크데이터를 참조하여, 사각의 처리를 행한다. 좌표값이 (-1, -1) 이외의 카메라에 대응하는 마스크데이터에 있어서 그 좌표값이 나타내는 점이 차량의 영사영역에 속하는지의 여부를 판단한다. 차량의 영사영역에 속할 때는 그 좌표값을 (-1, -1)로 변환한다. 이 변환에 의해서, 참조하는 카메라의 대수가 줄었을 때는 필요도의 값을 다시 계산한다.

<PT1>에 대해서는 도 43(d)에 나타내는 바와 같이, 카메라 6의 마스크데이터에 있어서 점 (450, 200)은 차량의 영사영역에 속하지 않기 때문에, 좌표값의 변환은 행하지 않는다. <PT2>에 대해서는 도 43(b)에 나타내는 바와 같이, 카메라 4의 마스크데이터에 있어서 점 (150, 280)은 차량의 영사영역에 속하기 때문에, 카메라 4의 좌표값을 (-1, -1)로 변환한다. 한편, 도 43(c)에 나타내는 바와 같이 카메라 5의 마스크데이터에 있어서 점 (490, 280)은 차량의 영사영역에 속하지 않기 때문에, 카메라 5의 좌표값은 변환하지 않는다. 그리고, 그 필요도를 「1」로 변환한다. <PT3>에 대해서는 도 43(d)에 나타내는 바와 같이, 카메라 6의 마스크데이터에 있어서 점 (110, 250)은 차량의 영사영역에 속하기 때문에, 카메라 6의 좌표값을 (-1, -1)로 변환한다. <PT4>에 대해서는, 카메라 2의 마스크데이터에 있어서 점 (600, 290)은 차량의 영사영역에 속하기 때문에, 카메라 4의 좌표값을 (-1, -1)로 변환한다.

다음에, 단계 3에서 화상합성에 최소한 필요한 데이터로 하기 위해서 불필요한 데이터를 정리한다. 우선, 좌표값이 (-1, -1)인 카메라번호를 모두 「-1」로 변경한다. 그리고, 모든 카메라번호가 「-1」인 경우는, 이들 데이터를 하나로 통합한다(<PT3>, <PT4>). 또한, 「-1」 이외의 카메라번호가 있는 경우는 카메라번호가 「-1」인 데이터를 제거한다(<PT1>, <PT2>).

그리고, 단계 4에서 자신의 차량의 일러스트화상을 첩부한다. 자신의 차량의 일러스트화상을 첩부하는 합성화상의 화소에 대해서는 매핑데이터의 카메라번호를 「99」로 변환하고, 일러스트화상의 참조좌표를 설정한다. 여기서는, <PT4>가 일러스트화상을 첩부하는 화소이기 때문에, 카메라번호를 「99」로 변환하는 동시에,좌표값을 일러스트화상의 참조좌표값 (360, 44)로 변환한다.

도 44(a)는 단계 1 종료시에서의 매핑데이터를 이용한 경우의 합성화상의 예, 도 44(b)는 단계 3 종료시에서의 매핑데이터를 이용한 경우의 합성화상의 예, 도 44(c)는 단계 4 종료시에서의 매핑데이터를 이용한 경우의 합성화상의 예이다.

도 45는 마스크데이터를 이용하지 않고, 주의환기영역을 지정하는 경우에서의 매핑데이터의 생성순서를 나타내는 도면이다. 도 45에 있어서, <PT5>는 1개의 카메라화상으로부터 생성되는 합성화상의 화소, <PT6>은 주의환기영역에 지정되는 합성화상의 화소, <PT7>은 주의환기영역에 지정되지만, 차량의 일러스트화상이 첩부되는 합성화상의 화소이다.

우선, 단계 1'에서 초기 매핑테이블을 생성한다. 이것은, 도 42에 나타내는 단계 1 및 단계 3의 처리에 의해서 실행된다.

다음에, 단계 2'에서 주의환기영역을 지정한다. 단계 1'에서 생성한 초기 매핑테이블을 이용하여 합성화상을 작성하고, 이 합성화상에 있어서 주의환기영역을 지정한다.

다음에, 단계 3'에서 주의환기영역에 해당하는 매핑데이터를 재기입한다. 단계 2'에서 지정된 주의환기영역에 해당하는 매핑데이터를 카메라번호 「-1」, 좌표 (-1, -1)로 변환한다. 그리고, 참조하는 카메라의 대수가 줄었을 때는 필요도의 값을 다시 계산한다.

그리고, 단계 4'에서 자신의 차량의 일러스트화상을 첩부한다. 여기서는, <PT7>이 일러스트화상을 첩부하는 화소이기 때문에, 카메라번호를 「99」로 변환하는 동시에, 좌표값을 일러스트화상의 참조좌표값 (360, 44)로 변환한다.

도 46(a)는 단계 1' 종료시에서의 매핑데이터를 이용한 경우의 합성화상의 예, 도 46(b)는 단계 3' 종료시에서의 매핑데이터를 이용한 경우의 합성화상의 예, 도 46(c)는 단계 4' 종료시에서의 매핑데이터를 이용한 경우의 합성화상의 예이다.

이와 같이 하면, 자신의 차량 화상을 합성화상에 겹치거나, 사각영역이나 주의환기영역을 특정한 색으로 빈틈없이 칠하거나 하는 처리를 용이하게 할 수 있다. 그리고, 주의환기영역을 설정하는 경우는 카메라에 대한 마스크데이터를 참조하지 않고, 미리 정해진 주의환기영역을 합성함으로써, 보다 간단하게 합성화상을 생성할 수 있다. 한편, 사각영역을 설정하는 경우는 카메라에 대한 마스크데이터를 참조함으로써, 카메라에 영사되고 있는 차량주위의 상황을 남기지 않고 합성화상에 반영시키는 것이 가능해진다.

또, 이상의 설명에서는 본 발명에 관한 감시시스템이나 화상처리장치는 차량에 적용하는 것으로 하였지만, 차량 이외의 이동체, 예를 들면 비행기나 선박 등에도 동일하게 적용할 수 있다. 또한, 이동체 이외의 감시대상, 예를 들면 점포, 주거, 쇼룸 등에 카메라를 설치하여도 된다.

또한, 복수의 카메라의 설치위치나 대수는 여기서 나타낸 것에 한정되는 것이 아니다.

또한, 본 발명에 관한 화상처리장치의 기능은 그 전부 또는 일부를 전용의 하드웨어를 이용하여 실현하여도 되고, 소프트웨어에 의해서 실현하여도 된다. 또한, 본 발명에 관한 화상처리장치의 기능의 전부 또는 일부를 컴퓨터에 실행시키기위한 프로그램을 저장한 기록매체나 전송매체를 이용하는 것도 가능하다.

<기하변환>

합성화상을 위한 매핑테이블을 작성하기 위해서는 가상시점에서 본 합성화상의 각 화소에 대응하는 각 카메라화상의 화소의 좌표를 정할 필요가 있다.

이 때문에, 우선 가상시점으로부터의 합성화상의 각 화소에 대응하는 월드좌표계 (Xw, Yw, Zw)를 구하고, 그 월드좌표계의 3차원 좌표에 대응하는 카메라화상의 화소의 좌표를 구하는 2단계를 생각하면 알기 쉽다.

최종적으로 필요한 관계는 가상시점의 합성화상의 각 화소와 각 카메라화상의 화소의 관계뿐이고, 이 월드좌표계를 경유하는 매핑테이블에 한정되는 것은 아니다. 단, 이 월드좌표계를 경유하는 매핑테이블은 합성화상의 실제의 세계에서의 좌표계인 월드좌표계에서의 의미부여가 명확해지기 때문에, 주위의 상황을 실제의 거리, 위치관계와 대응 부여하기 쉬운 합성화상을 생성하는 점에서 중요하다.

가상시점의 위치와 방향을 나타내는 파라미터로서, 시점의 월드좌표계에서의 좌표를 위치 벡터 Tv = (Txv, Tyv, Tzv), 시선의 방향을 시평면좌표계를 월드좌표계의 방향으로 일치시키는 회전을 나타내는 3행 3열의 회전행렬 Rv로 나타낸다고 하면 합성화상의 시점좌표 (Vxe, Vye, Vze)가 대응하는 월드좌표 (Xw, Yw, Zw)는 수학식 1에서 구해진다.

도 47은 시점좌표계와 월드좌표계의 관계를 설명하는 모식도이다.

도 48에 나타내는 바와 같이 가상시점의 방향을, 시선이 월드좌표계 Y-Z평면에 대하여 수평회전의 각도(방위각)를 αv, X-Z평면에 대하여 이루는 경사의 각도(앙각)를 βv로 하고, 카메라의 광축주위의 회전(Twist)을v로 하면 회전행렬 Rv는,

가 된다.

한편, 가상시점의 시점좌표계 (Vxe, Vye, Vze)의 Vxe, Vye와, 투영면상의 2차원 좌표 Uv, Vv의 관계는 투시투영변환으로부터 초점거리 fv를 이용하여 아래의 수학식 3에서 나타난다.

초점거리의 단위로서는 투영면을 필름이나 CCD로 하여 그 크기에 대응하는 ㎜나 인치로 나타내는 경우나, 합성화상의 크기에 대응하여 화소로 나타내는 경우 등이 있지만, 이번은 투영면을 투영중심을 중심으로 하여 폭 2, 높이 2의 정규화한 것으로 하고, 그것에 대한 초점거리를 생각한다.

따라서, 투영면 상의 좌표와 합성화상의 화소의 관계는 화상의 우측 위로부터 (Sv, Tv)의 위치에 있는 화소에 대응하는 투영면 상의 좌표 (Uv, Vv)는 화상의 횡폭을 Wv화소, 종폭을 Hv화소로 하면,

로서 구해진다.

이상으로, 합성화상의 임의의 화소 (Sv, Tv)에 대응하는 월드좌표계의 3차원 좌표 (Xv, Yv, Zw)는 수학식 1∼4로부터 카메라의 위치 Txv, Tyv, Tzv, 카메라의 방향 αv, βv,v, 초점거리 fv로부터 다음 수학식 5에서 구할 수 있다.

단, 수학식 5에서는 합성화상의 좌표 (Sv, Tv)에 대응하는 안길이 Vze가 미정이다. 다시 말하면, 합성화상에 찍히는 대상물까지의 각 화소로부터의 안길이 값을 정할 필요가 있다.

가상시점에서 보이는 대상물의 3차원 형상을 알 수가 있다면, 각 화소의 안길이를 얻을 수 있지만, 일반적으로는 곤란하다. 그래서, 가상시점에서 보이는 대상물의 형상에 어떠한 모델을 가정함으로써, 상기 Vze를 구하고, 합성화상의 좌표와 월드좌표계의 3차원 좌표의 관계를 구한다.

-노면평면모델-

그 일례로서, 대상물을 차가 접하고 있는 노면평면으로 한정한 경우에 대해서 설명한다.

모든 대상물이 월드좌표계의 평면(노면)에 존재한다고 가정하면 월드좌표계의 3차원 좌표 (Xw, Yw, Zw)는 이하의 평면의 방정식을 만족시킨다.

따라서, 수학식 6을 수학식 5에 대입하여 Vze를 구하면,

이 된다.

따라서, 수학식 7을 수학식 5에 대입함으로써, 가상시점의 합성화상의 화소의 좌표 (Sv, Tv)로부터, 대응하는 월드좌표계의 평면의 3차원 좌표 (Xw, Yw, Zw)를 구할 수 있다.

이 월드좌표계에서의 3차원 좌표 (Xw, Yw, Zw)에 대응하는 각 카메라화상의 각 화상의 좌표는 수학식 1과 동일한 관계식에, 각 카메라의 위치, 방향에 대응하는 Tx, Ty, Tz, α, β,의 파라미터를 대입하여 계산함으로써 구할 수 있다.

예를 들면, 카메라 1의 위치를 Tx1, Ty1, Tz1, 방향을 α1, β1,1이라고 하면, 합성화상의 화소 (Sv, Tv)에 대응하는 카메라 1의 카메라좌표계 Xe1, Ye1, Ze1이 아래의 수학식 8로부터 계산될 수 있다.

이 카메라좌표계와 카메라화상의 좌표계 (U1, V1)의 관계는 카메라 1의 초점거리를 f1로 하여 수학식 3으로부터,

로 하여 계산할 수 있다. 대응하는 카메라화상의 화소는 카메라화상의 크기를 세로 H1화소, 가로 W1화소로 하여 애스펙트비 1:1, 카메라중심이 화상의 중심이라고 생각하면 다음 수학식 10에서 계산할 수 있다.

이상의 절차에 의해 가상시점화상의 화소 (Sv, Tv)에 대응하는 카메라 1의 화상의 화소 (S1, T1)를 구할 수 있었다. 마찬가지로 카메라 1 이외의 일반의 카메라 n에 대해서도, (Sv, Tv)에 대응하는 화소좌표 (Sn, Tn)를 계산할 수 있다. 실제로, 파라미터 테이블에는 그 중에서 (Sn, Tn)이 실제의 카메라화상의 범위 내에 찍혀 있는가, 화소의 확대, 축소율이 크지 않은가 등의 여러가지 조건에 의해 가장 알맞은 것을 1개 또는 복수개 선택하여 카메라번호 n과 그 좌표 (Sn, Tn)를 기입한다.

-원통모델-

상기의 노면평면모델에서는 카메라화상으로 수평선으로부터 위에 찍혀 있는 물체는 노면평면을 무한하게 멀게 연장하여도 노면평면 상에는 실리지 않기 때문에, 가상시점에서 볼 수는 없다.

이들의 물체를 가상시점으로부터의 합성화상에 반영하기 위해, 대상의 3차원 형상으로서 도 49에 나타내는 바와 같은 원통모델을 생각한다. 이 모델은 가상시점의 방향이 노면에 대하여 평행하게 가까워진 경우 등에 유효하다.

지금 간단하게 하기 위해 X축, Z축에 축을 갖는 원통모델을 생각하면 타원원통의 중심을 (Xc, Zc)로 하고, 타원의 파라미터 (a, c)를 이용하여, 그 모델을 다음의 수학식 11로서 나타낸다. 또, X축, Z축 이외에 축을 갖는 모델로도 XZ평면 상에서의 회전을 생각함으로써 용이하게 확장할 수 있다.

수학식 11을 이용하여 수학식 5로부터 Vze를 소거함으로써, 가상시점의 합성화상의 좌표 (Sv, Tv)에 대응하는 월드좌표계의 3차원 좌표 (Xw, Yw, Zw)를 구할수 있다. 이 좌표로부터 상기 노면평면모델과 마찬가지로, 각 카메라화상이 대응하는 화소를 계산함으로써, 가상시점화상의 화소 (Sv, Tv)와 카메라화상의 화소 (Sn, Tn)의 관계를 구하고, 매핑테이블을 작성한다.

또한, 노면평면모델과 원통모델의 조합도 가능하다. 먼저, 노면평면모델에 의한 월드좌표계의 3차원 좌표를 구하고, 그 3차원 좌표가 원통모델의 바깥쪽, 또는 평면과의 교점을 갖지 않아 해답이 나오지 않을 경우는, 다음에 원통모델에 의한 3차원 좌표를 구한다. 이것에 의해 노면평면모델과 원통모델의 복합에 의한 합성이 가능해진다.

-유사원통모델-

노면평면모델의 주변의 원방의 상황을 파악하기 쉽게 하기 위해서 주위를 용기형상의 유사원통모델을 도입한다. 모델의 형상을 도 50에 나타낸다. 가상시점화상의 주변이 될수록, 원방의 부분이 압축되고 합성되어, 보다 넓은 범위가 표시가능하다. 이 유사원통의 형상을 수학식 12로 나타낸다.

용기의 중심이 (Xc, Yc, Zc), X축, Y축, Z축 방향의 (a, b, c)의 길이를 갖는다. 상기 원통모델과 마찬가지로, 수학식 12 및 수학식 5로부터 가상시점으로부터의 합성화상의 좌표에 대응하는 월드좌표계의 3차원 좌표 (Xw, Yw, Zw)를 계산하여, 합성화상의 각 화소와 각 카메라화상의 화소의 대응관계를 구하는 것이 가능하다.

또, 원통모델과 마찬가지로, 노면평면모델과의 조합에 의한 복합모델에 의한 합성도 가능하다.

-렌즈왜곡보정의 처리-

다음에, 매핑테이블에 의해 렌즈수차를 보정하는 방법에 대해서 설명한다. 실제의 카메라화상에 렌즈수차에 의한 왜곡이 있는 경우, 이 왜곡을 상기 Uv, Vv로부터 실제의 화소 S1, T1를 구할 때에, 그 왜곡 부분을 보정한 화소좌표를 계산함으로써, 합성화상으로부터 렌즈수차의 영향을 제거하는 것이 가능하다. 이 왜곡보정은 매핑테이블의 합성화상 (Sv, Tv)과 카메라화상 (Sn, Tn)의 관계에 도입되기 때문에 최초로 왜곡보정을 행한 매핑테이블을 만들면, 실제의 합성시에는 보정을 위한 계산은 불필요해진다. 종래의 렌즈왜곡보정에 사용되는 렌즈중심으로부터의 거리의 함수 등과 같은 왜곡을 정식화할 수 없는 경우라도, 격자 등의 패턴을 촬영하여, 렌즈왜곡에 의한 각 화소가 어떻게 이동하는가의 정보만 있으면 왜곡보정이 가능하다는 특징을 갖고 있다.

Claims (29)

1. 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고,

   상기 화상처리부는,

   상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 차량의 주행상태에 따라서 변경하는 것을 특징으로 하는 화상처리장치.
2. 제 1항에 있어서,

   상기 화상처리부는,

   상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 차량의 주행속도에 따라서 변경하는 것을 특징으로 하는 화상처리장치.
3. 제 1항에 있어서,

   상기 화상처리부는,

   가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나의 변경과 함께, 변경 후의 가상시점의 시야범위외 화상의 도입을 제어하는 것을 특징으로 하는 화상처리장치.
4. 제 3항에 있어서,

   상기 화상처리부는,

   변경 후의 가상시점의 시야범위외 화상의 도입의 제어를, 화상합성을 위한 모델을 변경함으로써 행하는 것을 특징으로 하는 화상처리장치.
5. 제 1항에 있어서,

   상기 화상처리부는,

   상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 차량의 조향각에 따라서 변경하는 것을 특징으로 하는 화상처리장치.
6. 제 1항에 있어서,

   상기 차량은 장해물을 검출하는 물체검출 센서를 구비하고 있고,

   상기 화상처리부는,

   상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 물체검출 센서에 의한 검출결과에 따라서 변경하는 것을 특징으로 하는 화상처리장치.
7. 제 1항에 있어서,

   상기 화상처리부는,

   소스 매핑테이블을 갖고, 이 소스 매핑테이블로부터 잘라낸 매핑테이블을 이용하여, 합성화상을 생성하는 것이고, 또한,

   상기 소스 매핑테이블로부터 잘라내는 매핑테이블을 변경함으로써, 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 변경하는 것을 특징으로 하는 화상처리장치.
8. 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부를 구비하고,

   상기 화상처리부는,

   상기 차량의 주행상태에 따라서 상기 가상시점의 시야범위외 화상의 도입을 제어하는 것을 특징으로 하는 화상처리장치.
9. 차량의 주위를 촬영하는 복수의 카메라와,

   상기 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 가상시점에서 본 합성화상을 생성하는 화상처리부와,

   상기 합성화상을 표시하는 표시부를 구비하고,

   상기 화상처리부는,

   상기 가상시점의 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나를 상기 차량의 주행상태에 따라서 변경하는 것을 특징으로 하는 감시시스템.
10. 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고,

    상기 화상처리부는,

    가상시점에서 본 제 1 화상과, 상기 제 1 화상의 가상시점과 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나가 다른 시점에서 본, 또는 상기 제 1 화상과 모델이 다른 제 2 화상을 포함하는 화상을 상기 합성화상으로서 생성하는 것을 특징으로 하는 화상처리장치.
11. 제 10항에 있어서,

    상기 제 2 화상은 상기 카메라화상의 적어도 하나인 것을 특징으로 하는 화상처리장치.
12. 제 10항에 있어서,

    상기 제 1 화상은 자신의 차량 및 그 주변을 나타내는 근방화상이고,

    상기 제 2 화상은 상기 근방화상이 나타내는 자신의 차량의 주변영역보다도 원방의 영역을 나타내는 원방화상인 것을 특징으로 하는 화상처리장치.
13. 제 12항에 있어서,

    상기 화상처리부는,

    상기 합성화상에 있어서, 상기 근방화상의 주위에 상기 원방화상을 배치하는 것을 특징으로 하는 화상처리장치.
14. 제 13항에 있어서,

    상기 원방화상은 상기 근방화상과 연속성을 갖는 화상인 것을 특징으로 하는 화상처리장치.
15. 제 10항에 있어서,

    상기 제 1 화상은 자신의 차량의 적어도 일부와, 자신의 차량의 주위의 적어도 일부를 나타내는 화상이고,

    상기 제 2 화상은 상기 제 1 화상이 나타내는 영역의 적어도 일부를 확대한 화상인 것을 특징으로 하는 화상처리장치.
16. 차량의 주위를 촬영하는 복수의 카메라와,

    상기 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부와,

    상기 합성화상을 표시하는 표시부를 구비하고,

    상기 화상처리부는,

    가상시점에서 본 제 1 화상과, 상기 제 1 화상의 가상시점과 위치, 시선의 방향 및 초점거리 중의 적어도 어느 하나가 다른 시점에서 본, 또는 상기 제 1 화상과 모델이 다른 제 2 화상을 포함하는 화상을 상기 합성화상으로서 생성하는 것을 특징으로 하는 감시시스템.
17. 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고,

    상기 화상처리부는,

    상기 합성화상에 있어서 자신의 차량이 존재하는 차량영역의 적어도 일부와, 자신의 차량의 주위의 적어도 일부를 나타내고, 주의를 환기하기 위한 주의환기영역을 표시하는 것을 특징으로 하는 화상처리장치.
18. 제 17항에 있어서,

    상기 합성화상은 상기 차량의 위쪽에 설정된 가상시점에서 본 화상인 것을 특징으로 하는 화상처리장치.
19. 제 17항에 있어서,

    상기 화상처리부는,

    상기 차량영역에 자신의 차량의 일러스트화상 또는 실제 화상을 표시하는 것을 특징으로 하는 화상처리장치.
20. 제 17항에 있어서,

    상기 주의환기영역은 어느 쪽의 카메라에서도 촬영할 수 없는 차량주위의 사각영역의 적어도 일부를 포함하는 것을 특징으로 하는 화상처리장치.
21. 제 17항에 있어서,

    상기 주의환기영역은 어느 쪽의 카메라에서도 촬영할 수 없는 차량주위의 사각영역에 상당하는 영역인 것을 특징으로 하는 화상처리장치.
22. 제 20항 또는 제 21항에 있어서,

    상기 화상처리부는,

    각 카메라화상에서의 자신의 차량의 영사영역을 나타내는 영역데이터를 이용하여, 상기 사각영역 및 차량영역을 합친 영역의 범위를 결정하는 것을 특징으로 하는 화상처리장치.
23. 차량의 주위를 촬영하는 복수의 카메라와,

    상기 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부와,

    상기 합성화상을 표시하는 표시부를 구비하고,

    상기 화상처리부는,

    상기 합성화상에서 자신의 차량이 존재하는 차량영역의 적어도 일부와, 자신의 차량의 주위의 적어도 일부를 나타내고, 주의를 환기하기 위한 주의환기영역을 표시하는 것을 특징으로 하는 감시시스템.
24. 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고,

    상기 화상처리부는,

    합성화상의 화소와, 카메라화상의 화소와의 대응관계를 기술하는 제 1 매핑데이터와, 합성화상의 화소와, 카메라화상 이외의 화소데이터가 대응하는 것을 나타내는 식별자를 기술하는 제 2 매핑데이터를 갖는 매핑테이블을 이용하여, 상기 합성화상을 생성하는 것을 특징으로 하는 화상처리장치.
25. 제 24항에 있어서,

    상기 카메라화상 이외의 화소데이터는 상기 차량 또는 상기 차량의 주위의 적어도 일부에 있는 사각영역을 나타내는 것을 특징으로 하는 화상처리장치.
26. 제 24항에 있어서,

    상기 화상처리부는 카메라화상 이외의 소정의 화상을 기억하고 있고,

    상기 제 2 매핑데이터는,

    합성화상의 화소에 대하여, 당해 화소에 대응하는 기억된 상기 소정의 화상에서의 좌표값을 기술하는 것을 특징으로 하는 화상처리장치.
27. 제 24항에 있어서,

    상기 제 2 매핑데이터는,

    합성화상의 화소에 대응하는 화소데이터를 기술하는 것을 특징으로 하는 화상처리장치.
28. 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고,

    상기 화상처리부는,

    합성화상의 화소와, 카메라화상의 화소데이터 및 카메라화상 이외의 화소 데이터 중의 한쪽 또는 양쪽으로 이루어진 복수의 화소데이터와의 대응관계를 기술하고, 또한 각 화소데이터에 대하여 각각 필요도를 기술한 매핑데이터를 이용하며,

    각 화소데이터에 대하여 필요도에 따른 가중을 행하고, 상기 합성화상의 화소의 화소데이터를 생성하는 것을 특징으로 하는 화상처리장치.
29. 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하여, 이들의 카메라화상으로부터 합성화상을 생성하는 화상처리부를 구비하고,

    상기 화상처리부는,

    소스 매핑테이블을 갖고,

    이 소스 매핑테이블로부터 합성화상의 화소와 카메라화상의 화소의 대응관계를 기술하는 매핑테이블을 잘라내고, 잘라낸 매핑테이블을 이용하여, 합성화상을 생성하는 것을 특징으로 하는 화상처리장치.