KR20010107775A

KR20010107775A - 화상처리장치 및 감시시스템

Info

Publication number: KR20010107775A
Application number: KR1020010029228A
Authority: KR
Inventors: 오카모토슈사쿠; 나카가와마사미치; 이시이히로후미; 노보리구니오; 모리무라아츠시
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 2000-05-26
Filing date: 2001-05-26
Publication date: 2001-12-07
Also published as: EP1157890A1; US20020039136A1; US6912001B2; DE60100525D1; DE60100525T2; JP2001334870A; CN1325802A; CN1224539C; EP1157890B1; JP3599639B2

Abstract

차량에 설치된 복수의 카메라의 촬상화상을 합성하는 화상처리장치에 있어서 차량의 가동부분의 상태가 변화되어도 표시화상 상에서 위화감이 생기지 않도록 한다.

화소합성부(21)는 촬상부(1)로부터 출력된 카메라화상을 받아 매핑테이블(MPT)을 참조하여 합성화상을 생성한다. 표시전환부(23)는 도어나 본네트 등의 가동부분의 상태를 나타내는 신호(S1)를 받아 가동부분의 상태변화가 카메라화상에 영향을 줄 때 합성화상에 그 카메라화상이 이용되지 않도록 매핑데이터를 재기입한다.

Description

화상처리장치 및 감시시스템{IMAGE PROCESSOR AND MONITORING SYSTEM}

본 발명은 차량에 설치한 복수의 카메라의 촬상화상을 이용하여 합성화상을 생성하는 화상처리기술에 관한 것으로, 특히 차량운전시의 안전확인의 보조 등에 이용되는 감시시스템에 유효한 기술에 속하는 화상처리 및 감시시스템에 관한 것이다.

종래, 차량의 주위를 카메라를 이용하여 감시하는 장치로서 일본국 특개평 11-78692호 공보에 기재된 차량용 영상제공장치가 알려져 있다. 이 장치에서는 차량용 영상제공을 위한 복수의 카메라를 차량의 주위에 부착하고, 각 카메라에 의해 촬영된 화상을 변형하여 경계의 연속성을 유지하면서 합성하여 새로운 화상을 작성하여 모니터에 표시하고 있다.

상술한 바와 같은 차량주위 감시시스템에서는 일단 설치한 카메라는 통상 그 설치위치나 방향은 변화하지 않는다는 것을 전제로 하여 화상처리가 실행되고 있다고 생각된다. 그 이유는 합성화상을 생성하는 화상처리를 카메라의 설치위치나 방향을 그 때마다 고려하면서 리얼타임으로 행하는 것은 처리시간이나 장치규모면에서 보아 실용상 극히 곤란하기 때문이다.

한편 차량의 공력면이나 디자인면 등을 고려하면 이러한 감시시스템에 이용되는 카메라가 도어미러부착부 부근이나 트렁크, 본네트 등과 같은 가동부분에 설치될 가능성은 충분히 있을 수 있다.

이 때 다음과 같은 문제점이 생긴다.

즉 카메라가 부착된 가동부분의 상태변화가 카메라의 촬상화상에 영향을 주어 합성화상이 어긋나게 될 가능성 등이 있다. 예를 들어 카메라가 도어미러 부근에 부착된 경우, 도어를 열었을 때 카메라의 방향이 바뀌므로 합성화상 상에서 그 카메라화상을 이용한 부분만 어긋나게 된다. 이 결과 표시화면상 이용자에게 위화감을 주게 된다.

또 카메라가 고정부분에 부착된 경우에도 마찬가지 문제점이 생긴다. 예를 들어 도어가 열림으로써 특정한 카메라의 촬상화상에 그 도어가 비친 경우에는 합성화상 상에서 그 카메라화상을 이용한 부분만 어긋나게 된다. 합성화상이 어긋나는 것은 결과적으로 이용자에게 위화감을 주게 되어 바람직하지 못하다.

상기 문제점을 감안하여 본 발명은 차량에 설치된 복수의 카메라의 촬상화상을 이용하여 합성화상을 생성하는 화상처리장치로서, 차량의 가동부분의 상태변화에 의해 카메라의 촬상화상이 영향을 받은 경우에도 표시화상 상에서 이용자에게 위화감을 주지 않도록 하는 것을 과제로 한다.

도 1은 본 발명의 제 1 실시예에 관한 감시시스템의 구성을 도시하는 블록도

도 2는 본 발명의 제 1 실시예에서의 카메라배치의 예시도

도 3은 본 발명의 제 1 실시예에서의 카메라배치와 각각의 카메라의 촬상화상의 예를 나타내는 도면

도 4는 차량가동부분의 상태변화에 기인하여 비정상적으로 된 합성화상의 일례도

도 5는 표시전환부가 갖는 차량가동부분과 카메라의 대응관계를 나타내는 데이터

도 6은 본 발명에 관한 합성화상의 표시태양의 전환의 예를 나타내는 도면

도 7은 메시지화상의 예를 나타내는 도면

도 8은 매핑테이블 및 차량의 가동부분의 상태와 표시해야 할 메시지화상의 대응관계를 나타내는 도면

도 9는 매핑테이블의 일례를 도시하는 모식도

도 10은 화상합성동작의 전체의 흐름을 나타내는 플로우차트

도 11은 도 10에 나타내는 플로우에서의 스텝 S20의 상세를 나타내는 플로우차트

도 12는 도 10에 나타내는 플로우에서의 스텝 S30의 상세를 나타내는 플로우차트

도 13은 본 발명의 제 2 실시예에 관한 감시시스템의 구성을 나타내는 블록도

* 도면의 주요 부분에 대한 부호의 설명 *

2 : 화상처리부 3 : 표시장치

11 : 카메라

상기 과제를 해결하기 위해 청구항 1의 발명이 강구한 해결수단은 화상처리장치로서 차량에 설치되어 당해 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하고, 이들의 촬상화상으로부터 합성화상을 생성하여 표시장치에 출력하는 화상처리부를 구비하며, 상기 화상처리부는 상기 차량의 가동부분의 상태에 따라 상기 합성화상의 표시태양을 전환하는 것이다.

청구항 1의 발명에 의하면 차량의 가동부분의 상태에 따라 합성화상의 표시태양이 전환되므로 차량의 가동부분의 상태변화에 기인하여 합성화상에 이상이 생긴 경우에도 이용자에게 위화감을 주는 화상이 표시되는 것을 피할 수 있다. 또한 합성화상의 표시태양의 전환에 의해 가동부분의 상태가, 예를 들어 차량의 주행에 바람직하지 못한 상태인 것을 이용자에게 신속하고 정확하게 알리는 것도 가능하게 된다.

그리고, 청구항 2의 발명에서는 상기 청구항 1의 화상처리장치에 있어서 화상처리부는 상기 가동부분의 상태변화에 기인하여 상기 복수의 카메라 중 적어도 하나의 설치위치 또는 방향이 변화하여 상기 합성화상이 비정상적으로 될 때 상기 합성화상의 표시태양을 통상모드로부터 이상모드로 전환하는 것이다.

또, 청구항 3의 발명에서는 상기 청구항 2의 화상처리장치에 있어서 화상처리부는 이상모드에서, 설치위치 또는 방향이 변화한 카메라의 촬상화상을 이용하지않고 합성화상을 생성하는 것으로 한다.

또, 청구항 4의 발명에서는 상기 청구항 1의 화상처리장치에 있어서 화상처리부는 상기 가동부분의 상태변화에 기인하여 상기 복수의 카메라 중 적어도 하나의 촬상화상에서 상기 가동부분이 차지하는 영역이 변화하여 상기 합성화상이 비정상적으로 될 때 상기 합성화상의 표시태양을 통상모드로부터 이상모드로 전환하는 것으로 한다.

그리고, 청구항 5의 발명에서는 상기 청구항 4의 화상처리장치에 있어서 화상처리부는 이상모드에서, 촬상화상에 있어서 상기 가동부분이 차지하는 영역이 변화한 카메라의 촬상화상을 이용하지 않고 합성화상을 생성하는 것으로 한다.

또, 청구항 6의 발명에서는 상기 청구항 2 또는 4의 화상처리장치에 있어서 화상처리부는 이상모드에서, 합성화상을 출력하지 않는 것으로 한다.

또한, 청구항 7의 발명에서는 상기 청구항 2 또는 4의 화상처리장치에 있어서 화상처리부는 이상모드에서, 합성화상 대신에 또는 합성화상과 함께 메시지를 출력하는 것으로 한다.

청구항 7의 발명에 의하면 이용자는 합성화상의 이상을 메시지에 의해 알 수 있다. 또 가동부분의 구체적인 상태변화를 나타내는 메시지를 출력하는 경우에는 이용자는 차량의 상황도 빠르고 정확하게 알 수 있다.

또, 청구항 8의 발명에서는 상기 청구항 1의 화상처리장치에 있어서, 상기 가동부분은 적어도 도어, 본네트 또는 트렁크를 포함하는 것으로 하고, 상기 화상처리부는 상기 도어, 본네트 또는 트렁크의 개폐상태에 따라 상기 합성화상의 표시태양의 전환을 행하는 것으로 한다.

또, 청구항 9의 발명에서는 상기 청구항 1의 화상처리장치에 있어서, 상기 가동부분은 적어도 타이어를 포함하는 것으로 하고, 상기 화상처리부는 상기 타이어의 회전각에 따라 상기 합성화상의 표시태양을 전환하는 것으로 한다.

또, 청구항 10의 발명은 청구항 1의 화상처리장치를 구비한 감시시스템이며, 차량에 설치되어 당해 차량의 주위를 촬영하는 복수의 카메라와, 표시장치와, 상기복수의 카메라의 촬상화상을 입력으로 하고, 이들의 촬상화상으로부터 합성화상을 생성하여 상기 표시장치에 출력하는 화상처리부를 구비하며, 상기 화상처리부는 상기 차량의 가동부분의 상태에 따라 상기 합성화상의 표시태양을 전환하는 것이다.

(실시예)

이하 본 발명의 일실시예에 대하여 도면을 참조하여 설명한다.

(제 1 실시예)

도 1은 본 발명의 제 1 실시예에 관한 감시시스템의 구성을 도시하는 블록도이다. 도 1에 도시하는 감시시스템에 있어서, 화상처리부(2)는 촬상부(1)로부터 출력된 복수의 카메라화상을 입력으로 하고, 이들을 합성하여 새로운 화상을 생성한다. 이 합성화상은 표시장치(3)에 의해 표시된다. 화상처리부(2)에 의해 본 발명에 관한 화상처리장치가 구성된다.

도 2는 본 실시예에서의 카메라배치의 예를 도시하고, 도 3은 각 카메라의 촬상화상의 예를 도시하는 도면이다. 여기에서는 8대의 카메라가 도 2 및 도 3과 같이 배치되어 있는 것으로 한다. 또, 도 2 및 도 3의 카메라배치에 있어서는 주위의 사각을 되도록이면 없애기 위해 서로 이웃하는 카메라의 화상에 있어서 중첩하는 영역이 생기도록 각각의 카메라의 위치 ·방향을 결정하는 것이 바람직하다.

화상처리부(2)는 도 3에 도시하는 8매의 카메라화상을 변형 ·합성하여, 예를 들어 차량 상방으로부터 연직하방으로 내려다 본 합성화상을 생성한다. 합성화상을 생성하기 위해서는 화상변형처리나 변형된 부분화상의 합성처리(경계처리를 포함한다)가 필요하게 되는데, 도 1의 구성에서는 매핑테이블 참조부(22)를 구비하고, 촬상화상의 가공을 하나의 공정에서 행하기 위해 매핑테이블(MPT)을 이용한다. 매핑테이블에 대해서는 후술한다.

매핑테이블 선택부(41)는 합성화상의 표시내용을 선택하여 선택한 표시내용에 따른 매핑테이블(MPT)을 지시한다. 이 선택은 인위적으로 행해도 되고, 기어위치, 핸들회전각 또는 방향지시기 등의 차량의 상태에 따라 자동적으로 행하도록 해도 된다. 매핑테이블(MPT)을 선택하는 신호는 매핑테이블 참조부(22)와 함께 메시지 출력부(26)에 보내진다.

표시전환부(23)는 차량의 가동부분의 상태를 나타내는 상태신호(S1)를 받아 합성화상의 표시태양을 전환한다. 예를 들어 가동부분의 상태변화에 기인하여 복수의 카메라의 어느 하나의 설치위치 또는 방향이 변화하여 합성화상이 정상적으로 되지 않을 때는 합성화상의 표시태양을 통상모드로부터 이상모드로 전환한다. 이상모드에서는, 예를 들어 설치위치 또는 방향이 변화한 카메라의 촬상화상을 이용하지 않고 합성화상을 생성한다.

도 4는 차량의 가동부분의 상태변화에 기인하여 비정상적으로 된 합성화상의일례이다. 도 4의 합성화상을 보면 알 수 있듯이 차량의 우측 도어가 열림상태가 된 것에 기인하여 카메라(1) 및 카메라(2)의 촬상화상이 변화하였기 때문에 카메라(1) 및 카메라(2)의 촬상화상을 이용한 부분이 어긋나 있다.

따라서 본 실시예에서는 차량의 가동부분의 상태로서 카메라가 설치된 우측도어, 좌측도어, 트렁크 및 본네트의 개폐상태를 이용한다. 즉 표시전환부(23)에는 상태신호(S1)에 의해, 예를 들어 "우측도어가 열려 있다" "본네트가 닫혀 있다" 등의 정보가 입력된다. 표시전환부(23)는 도 5에 도시된 바와 같은 차량의 가동부분과 카메라번호의 대응관계를 나타내는 데이터를 미리 갖고 있고, 이 대응관계와 상태신호(S1)가 나타내는 정보를 이용하여 합성화상의 표시태양을 전환한다.

도 6은 본 발명에 관한 합성화상의 표시태양의 전환의 예를 도시하는 도면이다. 도 6 중 (a)는 통상모드에서의 합성화상이다. 차량의 가동부분이 모두 닫힘상태일 때는 합성화상은 정상적이 되므로 도 6의 (a)와 같이 표시한다. 도 6의 (b)는 이상모드에서의 합성화상의 예이고, 차량의 우측도어가 열림상태로 되었을 때를 상정하고 있다. 도 6의 (b)의 합성화상에서는 우측도어에 설치된 카메라(1) 및 카메라(2)의 촬상화상을 화상합성에 이용하지 않고, 대신에 소정의 색으로 칠하고 있다. 또 소정의 색으로 칠하는 대신에 다른 모양을 이용하거나 적당한 시간간격으로 색을 전환하여도 된다.

본 실시예에서는 이러한 합성화상의 표시태양의 전환을 매핑테이블(MPT)의 매핑데이터를 재기입함으로써 실현한다.

또, 이상모드에서는 합성화상의 출력 자체를 중지하거나 메시지 출력부(26)가 메시지를 출력해도 된다.

도 6의 (c)에서는 이상모드에 있어서 합성화상을 출력하지 않고 우측도어가 열림상태인 것을 나타내는 메시지만을 출력하고 있다. 또한 도 6의 (d)에서는 도 6의 (b)에 나타내는 합성화상을 표시하고, 더욱이 도 6의 (c)와 같은 메시지를 함께 출력하고 있다. 도 6의 (d)와 같이 가동부분의 상태변화의 영향을 받은 카메라화상을 합성화상의 생성에 이용하지 않을 뿐만아니라 그 원인이 되는 가동부분의 상태변화(예를 들어 도어가 열려 있는 등)를 이용자에게 알리는 메시지를 함께 출력함으로써 운전자가 자신의 차의 상태를 보다 신속하고 정확하게 아는 것이 가능하게 된다.

메시지 출력부(26)는 표시해야 할 메시지를, 예를 들어 화상의 형식으로 미리 축적해 두고 차량의 가동부분의 상태를 나타내는 상태신호(S1)와, 매핑테이블 선택부(41)로부터 출력된 매핑테이블(MPT)을 선택하는 신호를 받아 합성화상에 표시해야 할 메시지화상을 선택하여 영상신호 생성부(24)에 보낸다.

도 7은 메시지 출력부(26)가 축적하고 있는 메시지 화상의 예를 도시하는 도면이다. 도 7의 예에서는 메시지의 부분이 백색((RGB) 각각을 256계조로 표현하였을 때는(255, 255, 255))으로 나타나 있고, 그 이외의 부분이 흑색(0, 0, 0)으로 나타나 있다. 메시지 화상의 크기는 합성화상의 크기와 동일하게 해 둔다.

메시지화상에 있어서 메시지의 내용 및 표시위치는 합성화상의 생성에 이용되는 매핑테이블이나, 상태변화가 생긴 가동부분의 종류에 따라 다르다. 이 때문에 상정되는 각각의 조건에 대하여 각각의 메시지 화상을 준비해두고, 상황에 따라 메시지화상을 선택하여 이용할 수 있는 것이 바람직하다.

도 8은 합성화상에 이용되는 매핑테이블 및 차량의 가동부분의 상태와 표시해야 할 메시지화상의 대응관계를 도시한 도면이다. 예를 들어 도 8의 제 2행은 현재 선택되어 있는 매핑테이블이「내려다 봄」화상생성용의 것이며, 또 차량의 가동부분 중「우측도어」가 열려 있는 경우에는 메시지화상으로서 1번의 화상을 선택하는 것을 의미하고 있다. 도 7의 (a)는 1번의 메시지화상의 예이다. 매핑테이블이「내려다 봄」이고, 「우측도어」가 열림상태일때는 우측도어부에 설치된 카메라의 촬상화상은 화상합성에 이용되지 않으므로 합성화상 상에서 우측도어부에 설치된 카메라화상이 이용될 위치에 「우측도어가 열려 있다」는 취지의 메시지가 표시된다.

메시지 출력부(26)는 도 8에 나타내는 정보를 미리 기억해두고 차량의 가동부분의 상태를 나타내는 상태신호(S1)와, 매핑테이블(MPT)을 선택하는 신호를 받아 표시해야 할 메시지화상을 선택하여 출력한다. 영상신호 생성부(24)는 메시지 출력부(26)로부터 출력된 메시지화상을 받아들여 화소합성부(21)로부터 출력된 합성화상에 겹쳐 표시한다.

메시지화상의 중첩에는, 예를 들어 각 화소에 대하여 합성화상 및 메시지화상에서의 RGB값을 각각 인출하여 값이 큰 쪽을 출력하는 등의 방법을 이용하면 된다. 예를 들어 이 방법을 도 7의 (a)의 메시지화상에 적용하면 메시지화상의 흑화소의 부분에 대해서는 합성화상의 RGB값이 이용되는 한편, 메시지 화상의 백화소의 부분에 대해서는 반드시 메시지화상의 RGB값이 이용되게 되어, 그 결과 메시지의부분만큼 합성화상에 중첩된 화상을 얻을 수 있다. 이 경우, 백색의 메시지가 중첩된 결과 보기 어려워지지 않도록 합성화상 상에서 카메라화상을 이용하지 않은 부분은 어두운 색으로 전부 칠하는 것이 바람직하다.

또 이 중첩방법을 이용하여 어떤 가동부분도 닫혀있는 상태(즉 통상모드)의 합성화상을 표시하는 경우에는 메시지화상으로서 도 7의 (b)에 도시된 바와 같은 전체를 흑(0, 0, 0)으로 전부 칠한 화상을 준비하면 된다. 즉 도 8의 마지막 행에 도시된 7번째의 메시지화상으로서 도 7의 (b)에 도시된 바와 같은 화상을 준비하면된다. 물론 통상모드에서는 메시지 출력부(26)가 메시지화상을 출력하지 않도록 해도 된다.

또 복수개소의 가동부분이 열림상태인 경우에는 다음과 같이 대응할 수 있다. 예를 들어 매핑테이블로서「내려다 봄」이 선택되어 있고, 또 우측도어와 좌측도어의 양쪽이 열려 있는 경우에는 메시지 출력부(26)는 우선 각각의 조건에 대응한 메시지화상으로서 1번(예를 들어 도 7의 (a)) 및 2번(예를 들어 도 7의 (c))의 화상을 선택한다. 그리고 각 화소에 대하여 1번의 화상 및 2번의 화상에서의 RGB값을 각각 인출하여 값이 큰 쪽을 선택함으로써 새로운 메시지화상(예를 들어 도 7의 (d))을 생성하여 이것을 영상신호 생성부(24)에 보내면 된다.

또 여기에서는 메시지로서 문자를 이용하는 것으로 하였으나, 문자에 한정되지 않고, 예를 들어 간략도나 일러스트 등을 메시지로서 이용해도 된다. 또한 이상모드에서 메시지출력을 하지 않는 경우에는 메시지 출력부(26)를 생략해도 되는 것은 물론이다.

이하 매핑데이터의 재기입에 대하여 상세히 설명한다.

「매핑테이블」이란 합성화상의 화소와 각 카메라화상의 화소데이터의 대응관계가 기술된 테이블을 말하고, 합성화상의 생성처리를 고속으로 행하기 위해 이용된다.

카메라화상의 화소와 합성화상의 화소는 1 대 1로 대응하는 경우도 있고, 복수 대 1로 대응하는 경우도 있다. 1 대 1로 대응하는지 또는 복수 대 1로 대응하는지는 카메라의 설치위치나 생성하는 합성화상의 종류 등에 의존한다. 예를 들어 카메라화상의 경계부에 있어서 경계처리가 행해지는 경우에는 카메라화상의 화소와 합성화상의 화소는 복수 대 1로 대응하는 경우가 많다.

도 9는 매핑테이블의 일례를 나타내는 모식도이다. 도 9에 나타내는 매핑테이블에서는 합성화상의 각각의 화소좌표(i, j)에 대응하여 매핑데이터가 각각 설치되어 있다.

예를 들어 화소좌표(i1, j1)에 대응하여 매핑데이터(MP1)가 설치되어 있다. 이 매핑데이터(MP1)는 합성화상의 좌표(i1, jl)의 화소의 생성를 위해 카메라(1)의 촬상화상의 좌표(12, 45)의 화소데이터만 이용되는 것을 나타내고 있다. 또 필요도가 「1」이므로 이 경우는 합성화상의 좌표(i1, j1)의 화소값으로서 카메라(1)의 촬영화상의 좌표(12, 45)의 화소데이터가 그대로 이용된다.

또 화소좌표(i2, j2)에 대응하여 매핑데이터(MP2)가 설치되어 있다. 이 매핑데이터(MP2)는 합성화상의 좌표(i2, j2)의 화소의 생성을 위해 카메라(1)의 촬영화상의 좌표(10, 10)의 화소데이터와, 카메라(0)의 촬영화상의 좌표(56, 80)의 화소데이터가 이용되는 것을 나타내고 있다. 이 경우 합성화상의 좌표(i2, j2)의 화소값은 필요도에 따라, 예를 들어,

화소값 = {(카메라(1)의 좌표(56, 80)의 화소값) ×0.5

+ (카메라(0)의 좌표(10, 10)의 화소값) ×0.3}

/ (0.5 + 0.3)

와 같이 정할 수 있다.

이러한 매핑테이블을 미리 기하변환 등을 이용한 계산 또는 수작업 등으로 미리 작성해둠으로써 원하는 합성화상, 예를 들어 차량 주위의 전체나 후방 또는 측방을 나타내는 합성화상을 고속으로 생성할 수 있다. 그리고 합성화상생성에 이용하는 매핑테이블을 전환함으로써 합성화상의 표시태양을 용이하게 전환할 수 있다. 이 표시모드의 전환은 수동으로도 가능하고, 또 차량의 주행상태에 따라 자동적으로 행할 수도 있다.

매핑테이블은 구체적으로는, 예를 들어 ROM(EEPROM 등의 기입 ·소거 가능한 ROM을 포함한다) 또는 RAM에 저장되어 있다. 매핑테이블의 저장은, 예를 들어 화상처리부 내의 프로세서가 계산으로 구한 매핑데이터를 ROM 또는 RAM에 기입함으로써 실현해도 되고, 펌웨어로서 제공되는 매핑테이블 데이터를 통신회선이나 디스크 드라이브 등의 데이터 전송수단을 이용하여 RAM 또는 ROM에 기입하도록 해도 된다.

다음으로 매핑테이블(MPT) 및 표시전환부(23)를 이용하여 합성화상을 생성하는 동작에 대하여 설명한다.

도 10은 본 실시예에 관한 화상합성동작의 전체의 흐름을 나타내는 플로우차트이다. 우선 스텝 S11에서 촬상부(1)의 프레임 메모리(12a, 12b)를 전환한다. 타이밍 생성부(25)는 합성화상의 동화상 계열을 생성하기 위한 타이밍신호를 생성한다. 타이밍 생성부(25)로부터 출력된 프레임 개시의 타이밍신호에 의해 촬상부(1)는 각각의 카메라(11)의 촬상화상을 기입하는 프레임 메모리와, 화상처리부(2)로부터 참조되는 프레임 메모리를 전환한다. 이것은 후술하는 바와 같이 화상처리부(2)로부터 참조되는 카메라화상의 화소의 위치가 카메라(11)로부터의 기입순서와는 관계없이 띄엄 띄엄 되기 때문에 기입과 참조가 간섭하지 않도록 하기 위해서이다.

이어서 스텝 S12에 있어서 타이밍 생성부(25)는 합성출력의 타이밍에 맞추어 출력해야할 합성화상의 화소를 설정한다.

그리고 스텝 S13에 있어서 매핑테이블 참조부(22)는 타이밍 생성부(25)에 의해 설정된 화소에 대응하는 매핑데이터를 설정된 매핑테이블(MPT)로부터 판독하여 표시전환부(23)에 출력한다. 스텝 S20에서 표시전환부(23)는 상태신호(S1)를 받아 필요에 따라 매핑테이블 참조부(22)로부터 판독된 매핑데이터를 재기입한다. 그리고 화소합성부(21)에 출력한다. 스텝 S20의 상세한 내용은 후술한다.

스텝 S30에 있어서 화소합성부(21)는 입력된 매핑데이터에 따라 타이밍 생성부(25)에 의해 설정된 화소의 값을 합성하여 영상신호 생성부(24)에 출력한다. 그리고 스텝 S14에 있어서 영상신호 생성부(24)는 타이밍 생성부(25)로부터의 타이밍신호에 따라 입력된 합성화상의 화소의 값을 영상신호로 변환하여 표시장치(3)에 출력한다.

타이밍 생성부(25)는 스텝 S12 이하의 처리를 프레임의 전체 화소에 대하여실행하고(S15, S16), 프레임의 최종 화소의 처리가 끝나면 다음 프레임의 처리를 시작한다.

물론 필드단위의 처리를 실행해도 된다.

도 11은 도 10에 나타내는 플로우의 스텝 S20에 있어서 표시전환부(23)의 동작을 나타내는 플로우차트이다.

우선 스텝 S21에서 입력한 상태신호(S1)로부터 차량의 가동부분의 어느 하나, 즉 우측도어, 좌측도어, 트렁크 또는 본네트 중 어느 하나의 개폐상태를 판독한다. 그리고 가동부분이 열림상태일때(S22에서 YES)는 스텝 S23로 진행하고, 도 5에 나타내는 바와 같은 미리 갖고 있는 데이터로부터 그 가동부분에 설치되어 있는 카메라의 번호를 취득한다. 한편 닫힘상태일때(S22에서 NO)는 다른 가동부분의 개폐상태를 판독한다(S27, S21).

스텝 S25에서는 스텝 S23에서 얻은 카메라번호와 매핑데이터에 기입된 카메라번호가 일치하는지의 여부를 조사한다. 일치할 때(S25에서 YES)는 스텝 S26으로 진행하고, 매핑데이터에 있어서 그 카메라번호에 관한 데이터를 「카메라사용 불가」상태를 나타내는 내용에 재기입한다. 도 11의 예에서는 카메라번호, X좌표 및 Y좌표의 값을 모두「-1」로 재기입하고 있다. 한편 카메라번호가 일치하지 않을 때(S25에서 NO)는 다른 가동부분의 개폐상태를 판독한다(S27, S21).

모든 가동부분에 대하여 상술한 처리가 종료되었을 때(S27에서 YES)는 스텝 S28로 진행하고, 매핑데이터의 필요도를 재계산하고 처리를 종료한다.

스텝 S20에 있어서 표시전환부(23)의 동작을 도 9에 나타내는매핑데이터(MP2)가 표시전환부(23)에 입력된 경우를 예로 들어 구체적으로 설명한다. 또 여기에서는 설명를 위해 차량의 우측도어만 열림상태인 것으로 한다.

우선 차량의 우측도어가 열림상태인 것을 알고 있으므로(S21, S22), 도 5에 나타내는 대응관계를 참조하여 우측도어에 설치된 카메라의 카메라번호로서「1」 및「2」을 취득한다(S23).

이어서 카메라번호「1」 및 「2」가 매핑데이터(MP2)에 기술된 카메라번호와 일치하는지의 여부를 조사한다(S25). 카메라번호「1」은 매핑데이터(MP2)에 기술되어 있으므로 카메라(1)에 관한 데이터를 카메라사용 불가상태를 나타내는 내용으로 재기입한다(S26). 한편 카메라번호「2」에 대해서는 매핑데이터(MP2)에 기술되어 있지 않으므로 다시 기입하지 않는다.

다른 가동부분에 대해서는 모두 닫힘상태이므로 스텝 S28로 진행하고 필요도를 다시 계산한다. 여기에서는 사용불가가 된 카메라(1)에 대하여 그 필요도를「0」으로 하는 동시에 카메라(O)에 대한 필요도를「1」로 한다.

도 12는 도 10에 나타내는 플로우의 스텝 S30에서의 화소합성처리의 상세를 나타내는 플로우차트이다.

우선 스텝 S31에 있어서 합성하는 화소의 값을「0」으로 초기화한다.

그리고 스텝 S32에서 대응하는 매핑데이터로부터 카메라번호, 화소의 X, Y좌표 및 필요도를 판독한다. 판독한 카메라번호가 사용가능할 때는 해당하는 카메라화상이 저장된 프레임 메모리로부터 X, Y좌표에 대응하는 화소값을 판독하여 유지한다(S34). 한편 판독한 카메라번호가 사용불가일 때는 카메라사용 불가를 나타내는 소정의 화소값(예를 들어 흑)을 유지하고 출력한다(S35, S39).

스텝 S36에 있어서 유지한 화소값에 필요도로 하고 합성하는 화소의 값에 가산한다.

상술한 처리를 매핑데이터에 기술된 모든 카메라번호에 대하여 반복하여 실행하고(S37, S38), 처리가 종료되면(S37에서 YES) 합성하는 화소의 값을 출력한다(S39).

이상과 같이 합성화상의 표시태양을 전환함으로써 차량의 가동부분의 상태가 변화하여 합성화상이 정상적이 되지 않을 때에도 이용자에게 위화감을 주는 것을 피할 수 있다.

(제 2 실시예)

도 13은 본 발명의 제 2 실시예에 관한 감시시스템의 구성을 도시하는 블록도이다. 도 13에서는 도 1과 공통되는 구성요소에는 도 1과 동일한 부호를 부여하고 그 상세한 설명을 생략한다.

도 13의 구성은 표시전환부(23A)가 촬상부(1)로부터 화소합성부(21A)로의 카메라화상의 입력 유무를 상태신호(S1)에 따라 전환함으로써 합성화상의 표시태양의 전환를 실현하는 것을 특징으로 한다. 즉 화소합성부(21A)의 카메라화상 입력측에 스위치(31)가 설치되어 있고, 표시전환부(23A)는 상태신호(S1)에 따라 가동부분 중 어느 것이 열림상태인 것을 인식하면 도 5에 도시된 바와 같은 정보로부터 합성화상생성에 사용할 수 없는 카메라를 특정하여 그 카메라의 촬상화상이 화소합성부(21A)에 입력되지 않도록 스위치(31)를 전환제어한다.

이 때문에 본 실시예에서는 제 1 실시예와 마찬가지로 매핑테이블을 이용하여 화상합성을 행하는데, 도 10에 나타내는 플로우에 있어서 매핑데이터를 변경하는 처리 S20이 생략되는 점이 제 1 실시예와 다르다. 즉 카메라의 촬상화상의 입력이 물리적으로 중지되므로 가동부분의 상태에 따라 매핑데이터를 변경하는 처리 S20은 당연히 불필요하게 된다. 그리고 이에 따라 도 12의 플로우에서의 스텝 S33, S35도 생략된다.

또 이 제 2 실시예의 구성은 매핑테이블을 이용하지 않은 구성의 화상처리부에 대해서도 용이하게 적용할 수 있다.

또 상술한 각 실시예에서 표시장치(3)는 전형적으로는 액정 디스플레이지만 플라즈마 디스플레이 등의 다른 표시장치를 이용해도 된다. 또 차량탑재형의 GPS 단말 디스플레이, 소위 카아 네비게이션 시스템의 디스플레이와 공용해도 된다. 또 촬상부(1)에 이용하는 카메라(11)는 전형적으로는 CCD, CMOS 디바이스 등의 고체촬상소자를 갖는 컬러 또는 흑백사진의 디지털 카메라이지만, 다른 촬상장치를 이용해도 된다.

또 상술한 각 실시예에서는 도어나 본네트와 같은 가동부분의 상태변화에 기인하여 카메라의 설치위치나 방향이 변화하고, 이로 인하여 합성화상이 비정상적으로 될 경우를 상정하고 있다. 그런데 이외에도 가동부분의 상태변화에 기인하여 카메라의 촬상화상에 있어서 가동부분이 차지하는 영역이 변화하고, 이로 인하여 합성화상이 비정상적으로 될 경우도 있을 수 있다. 예를 들어 도어를 열었을 때 그 열린 도어가 어떤 카메라의 촬상화상 내에 비쳐지는 경우이다.

이러한 경우에도 도 5에 도시하는 바와 같은 데이터 대신에 가동부분과, 그 가동부분의 상태변화가 촬상화상에 영향을 주는 카메라와의 대응관계를 나타내는 데이터를 미리 표시전환부에 준비해두면 상술한 각 실시예와 같은 처리에 의해 같은 효과를 얻을 수 있다.

또 개폐상태라는 2치정보 대신에, 예를 들어 열림정도 등의 정보를 이용하는 것도 가능하다. 예를 들어 도어의 열림정도가 미소할 때는 통상모드를 유지하고, 열림정도가 소정의 임계값을 넘었을 때 통상모드로부터 이상모드로 전환하도록 해도 된다. 또 가동부분은 도어, 본네트 및 트렁크에 한정되는 것이 아니라 타이어, 안테나, 가동식 미러나 라이트 등을 생각할 수 있다. 예를 들어 타이어가 합성화상에 영향을 주는 경우에는 타이어의 회전각에 따라 표시태양을 전환하도록 해도 된다.

또 본 발명에 있어서 차량이란 보통 자동차, 경자동차, 화물자동차, 버스 등을 포함한다. 또 본 발명의 기술사상이 적용될 수 있는 것이면 크레인차, 삽차 등의 특수 차량도 본 발명의 차량으로 할 수 있다.

또 이상의 설명에서는 본 발명에 관한 감시시스템이나 화상처리장치는 차량에 적용하는 것으로 하였지만, 차량 이외의 이동체, 예를 들어 비행기나 선박 등이더라도 마찬가지로 적용할 수 있다. 또 이동체 이외의 감시대상, 예를 들어 점포, 주거, 쇼룸 등에 카메라를 설치해도 된다.

또 복수의 카메라의 설치위치나 대수는 여기에서 나타낸 것에 한정되는 것은 아니다.

또 본 발명에 관한 화상처리장치의 기능은 그 전부 또는 일부를 전용의 하드웨어를 이용하여 실현해도 되고, 소프트웨어로 실현해도 된다. 또 본 발명에 관한 화상처리장치의 기능의 전부 또는 일부를 컴퓨터에 실행시키기 위한 프로그램을 저장한 기록매체나 전송매체를 이용하는 것도 가능하다.

이상과 같이 본 발명에 의하면 차량의 가동부분의 상태변화에 기인하여 합성화상에 이상이 생긴 경우에도 이용자에게 위화감을 주는 화상이 표시되는 것을 피할 수 있다. 또 합성화상의 표시태양의 전환에 의해 가동부분을 예를 들어 차량의 주행에 바람직하지 않은 상태인 것을 이용자에게 신속하고 정확하게 알리는 것도 가능하게 된다.

Claims

차량에 설치되어 당해 차량의 주위를 촬영하는 복수의 카메라의 촬상화상을 입력으로 하고, 이들의 촬상화상으로부터 합성화상을 생성하여 표시장치에 출력하는 화상처리부를 구비하며,

상기 화상처리부는

상기 차량의 가동부분의 상태에 따라 상기 합성화상의 표시태양을 전환하는 것을 특징으로 하는 화상처리장치.
제 1항에 있어서,

상기 화상처리부는

상기 가동부분의 상태변화에 기인하여 상기 복수의 카메라 중 적어도 하나의 설치위치 또는 방향이 변화하여 상기 합성화상이 비정상적으로 될 때 상기 합성화상의 표시태양을 통상모드로부터 이상모드로 전환하는 것을 특징으로 하는 화상처리장치.
제 2항에 있어서,

상기 화상처리부는

이상모드에서 설치위치 또는 방향이 변화한 카메라의 촬상화상을 이용하지 않고 합성화상을 생성하는 것을 특징으로 하는 화상처리장치.
제 1항에 있어서,

상기 화상처리부는

상기 가동부분의 상태변화에 기인하여 상기 복수의 카메라 중 적어도 하나의 촬상화상에 있어서 상기 가동부분이 차지하는 영역이 변화하여 상기 합성화상이 비정상적으로 될 때 상기 합성화상의 표시태양을 통상모드로부터 이상모드로 전환하는 것을 특징으로 하는 화상처리장치.
제 4항에 있어서,

상기 화상처리부는

이상모드에 있어서 촬상화상에서 상기 가동부분이 차지하는 영역이 변화한 카메라의 촬상화상을 이용하지 않고 합성화상을 생성하는 것을 특징으로 하는 화상처리장치.
제 2항 또는 제 4항에 있어서,

상기 화상처리부는

이상모드에 있어서 합성화상을 출력하지 않는 것을 특징으로 하는 화상처리장치.
제 2항 또는 제 4항에 있어서,

상기 화상처리부는

이상모드에 있어서 합성화상 대신 또는 합성화상과 함께 메시지를 출력하는 것을 특징으로 하는 화상처리장치.
제 1항에 있어서,

상기 가동부분은 적어도 도어, 본네트 또는 트렁크를 포함하는 것이며,

상기 화상처리부는

상기 도어, 본네트 또는 트렁크의 개폐상태에 따라 상기 합성화상의 표시태양을 전환하는 것을 특징으로 하는 화상처리장치.
제 1항에 있어서,

상기 가동부분은 적어도 타이어를 포함하는 것이며,

상기 화상처리부는

상기 타이어의 회전각에 따라 상기 합성화상의 표시태양을 전환하는 것을 특징으로 하는 화상처리장치.
차량에 설치되어 당해 차량의 주위를 촬영하는 복수의 카메라와,

표시장치와,

상기 복수의 카메라의 촬상화상을 입력으로 하고, 이들의 촬상화상으로부터 합성화상을 생성하여 상기 표시장치에 출력하는 화상처리부를 구비하며,

상기 화상처리부는

상기 차량의 가동부분의 상태에 따라 상기 합성화상의 표시태양을 전환하는 것을 특징으로 하는 감시시스템.