KR100839287B1

KR100839287B1 - 감시 시스템

Info

Publication number: KR100839287B1
Application number: KR1020010039846A
Authority: KR
Inventors: 이시이히로후미; 오카모토슈사쿠; 나카가와마사미치; 노보리구니오; 모리무라아츠시
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 2000-07-04
Filing date: 2001-07-04
Publication date: 2008-06-17
Also published as: JP2002027446A; EP1170697A3; DE60133859D1; US7027616B2; EP1170697B1; US20020034316A1; KR20020004876A; EP1170697A2; JP3269056B2

Abstract

복수의 카메라와 합성화상을 생성하는 화상처리부 간의 전송 데이터량을 합성화상의 품질을 떨어뜨리는 일 없이 대폭 삭감한다.

해상도 지정부(260)는 매핑테이블(220)에 기술된 합성화상과 각 카메라화상의 대응관계에 따라서 화상합성에 필요하게 되는 해상도를 각 카메라화상의 각 영역에 대하여 지정한다. 카메라부(10)에 설치된 압축부(120)는 지정된 해상도에 따라 카메라 화상데이터를 압축한다. 이 때문에 전송경로(15)에는 합성화상과 각 카메라화상의 대응관계에 따라서 압축된 카메라화상의 화상데이터가 전송된다.

합성화상, 화상데이터

Description

감시 시스템{MONITORING SYSTEM}

도 1은 본 발명의 제 1 실시예에 관한 감시 시스템의 구성을 나타내는 블록도

도 2는 카메라설치위치의 일례를 나타내는 도면

도 3은 합성화상의 가상시점의 위치의 일례

도 4는 카메라화상과 합성화상과의 대응관계의 일례를 나타내는 도면

도 5는 합성화상과 카메라화상과의 대응관계를 개념적으로 나타내는 도면

도 6은 카메라화상영역의 해상도에 의한 분류의 일례를 나타내는 도면

도 7은 해상도 데이터의 산출방법의 일례를 설명하기 위한 도면

도 8은 본 발명의 제 1 실시예에 있어서의 압축부의 내부구성의 일례를 나타내는 도면

도 9는 카메라설치위치의 다른 예를 나타내는 도면

도 10은 비교예로서 LPF를 갖는 화상처리부를 구비한 구성을 나타내는 도면

도 11은 해상도 데이터의 산출방법의 다른 예를 설명하기 위한 도면

도 12는 본 발명의 제 2 실시예에 관한 감시 시스템의 구성을 나타내는 블록도

도 13은 본 발명의 제 2 실시예에 있어서의 카메라 및 압축부의 내부구성의 일례를 나타내는 도면

도 14는 각 카메라로부터의 화상신호의 판독순서의 일례를 나타내는 도면

도 15는 본 발명의 제 3 실시예에 관한 감시 시스템의 구성을 나타내는 블록도

도 16은 화상합성에 필요한 영역을 나타내는 도면

도 17은 화상합성에 필요한 영역을 지정하는 방법을 나타내는 도면

도 18은 본 발명의 제 3 실시예에서의 선택부의 내부구성의 일례를 나타내는 도면

도 19는 종래의 감시 시스템의 구성을 나타내는 도면

* 도면의 주요 부분에 대한 부호의 설명 *

10, 10A, 10B : 카메라부 15 : 전송경로

20, 20A, 20B : 화상처리부 110, 110A : 카메라

120,120A : 압축부(화상데이터 삭감수단)

140 : 선택부(화상데이터 삭감수단)

260 : 해상도 지정부(삭감형태 지정수단)

270 : 판독제어부 290 : 영역지정부(삭감형태 지정수단)

본 발명은 복수의 카메라로 촬영된 화상을 변형 ·통합 등의 처리에 의해 합 성하는 화상처리기술에 관하는 것으로, 특히 차량의 운전조작 등을 지원하는 감시 시스템에 유효한 기술에 속한다.

최근 차량용 디스플레이장치의 보급과 카메라 등의 영상기기의 저가격화에 따라 카메라로 차량 주변을 감시함으로써 안전운전을 지원하는 장치가 실용화되어 보급되고 있다.

이러한 차량주변 감시장치의 예로서, 차량에 설치된 복수의 카메라로부터의 화상을 이용하여 차량의 바로 위에 설치된 카메라로 마치 촬상된 것 같은 화상을 합성하여 운전자에게 표시하는 시스템이 제안되어 있다(예컨대 일본국 특원평 10-217261 참조).

도 19는 이 시스템의 구성예를 나타낸 도면이다. 카메라부(40) 내의 복수의 카메라(401)로부터 1필드 또는 1프레임의 화상신호가 출력되고, 출력된 화상신호는 전송선(45)을 통해 전송되고, 화상처리부(50)의 버퍼 메모리(501)에 기억된다. 화상합성부(503)는 가상시점에서 본 합성화상과 실제의 각 카메라(401) 화상과의 관계를 기술한 매핑테이블(502)의 데이터에 따라 버퍼 메모리(501)에 기억된 화상신호로부터 합성화상을 생성하여 표시장치(60)에 표시한다. 도 19에 나타내는 시스템을 이용함으로써 운전자는 실제의 카메라 설치위치를 고려하지 않고 합성화상에 의해 자신의 차와 주위의 위치관계를 정확하게 파악할 수 있어, 예컨대 주차조작 등을 안전하게 할 수 있다.

그러나 상술한 시스템에는 다음과 같은 문제가 있다.

도 19에서 알 수 있는 바와 같이 전송선(45)은 카메라마다 설치되어 있고, 각 카메라(401)와 화상처리부(50) 사이에 각각 배치된다. 각 카메라(401)는 통상 합성화상의 생성을 위해 차량 주위의 여러 개소에 설치되므로 전송선(45)도 차량의 각부분에 가설할 필요가 있다. 이 때문에 이 시스템을 차량에 설치하기 위해 번잡한 작업이 필요하게 되고, 또 고장 등에 대한 보수작업도 막대하게 된다.

시스템의 설치나 보수를 쉽게 하기 위해서는 전송선을 카메라끼리 공유화하여, 그 개수를 삭감하는 것이 바람직하다. 그런데 각 카메라의 화상데이터를 모두 전송하기 위해서는 큰 전송용량이 필요하게 되고, 이 때문에 전송선의 개수의 삭감이 곤란하게 된다. 즉 전송선의 개수를 줄이기 위해서는 전송되는 화상데이터량을 저감하는 것이 필수적이 된다.

또 화상처리부(50)에 있어서도, 각 카메라로부터의 1필드나 1프레임의 화상데이터를 기억할 필요가 있으므로 버퍼 메모리(501)로서 많은 메모리용량을 필요로 한다.

한편 카메라화상은 화상합성을 위해 모든 영역이 이용되는 것은 아니고, 화상합성에 불필요한 부분도 포함되어 있다. 또 화상합성에 필요한 영역 내에서도 합성화상의 생성에 필요하게 되는 해상도는 부분마다 다르다. 따라서 카메라화상의 화상데이터를 그대로 모두 화상처리부에 전송해야하는 것은 아니다.

상기 문제를 감안하여 본 발명은 복수의 카메라와 이들의 카메라의 촬상화상으로부터 합성화상을 생성하는 화상처리부를 구비한 감시 시스템으로서, 합성화상의 품질을 떨어뜨리지 않고 전송되는 카메라화상의 데이터량을 대폭 삭감하는 것을 과제로 한다.

삭제

상기의 과제를 해결하기 위한 해결수단은, 감시카메라로서 복수의 카메라를 갖는 카메라부와, 상기 카메라부로부터 출력된 카메라 화상의 화상데이터를 전송하는 전송경로와, 상기 전송경로를 통해 전송된 카메라 화상의 화상데이터를 입력으로 하고 이들의 화상데이터로부터 합성화상을 생성하는 화상처리부를 구비하며, 상기 카메라부는 상기 전송경로에 출력하는 화상데이터량을 삭감하기 위한 화상데이터 삭감수단을 구비하고, 상기 카메라부 또는 화상처리부는 상기 화상데이터 삭감수단에 대하여 상기 합성화상과 카메라 화상의 대응관계에 따라서 화상합성에 이용하는 카메라 화상의 데이터량 삭감형태를 지정하는 삭감형태 지정수단을 구비하며, 상기 삭감형태 지정수단은 화상합성에 이용하는 카메라 화상에 대하여 합성화상생성을 위해 필요하다고 상정되는 영역을 지정하는 영역지정부를 갖고, 상기 화상데이터 삭감수단은 화상합성에 이용하는 카메라화상의 화상데이터로부터 상기 영역지정부에 의해 지정된 영역 이외의 영역의 화상데이터를 삭제하는 것으로 한다.

이 구성에 의하면, 전송되는 카메라 화상의 데이터량이 화상합성에 필요하게 되는 영역 이외의 영역의 화상데이터의 삭제에 의해 대폭 삭감되므로 전송경로의 전송용량이 적어진다.

또, 본 발명은, 복수의 카메라를 갖는 카메라부와, 상기 카메라부로부터 출력된 카메라 화상의 화상데이터를 전송하는 전송경로와, 상기 전송경로를 통해 전송된 카메라 화상의 화상데이터를 입력으로 하고 이들의 화상데이터로부터 합성화상을 생성하는 화상처리부를 구비하며, 상기 카메라부는 상기 전송경로에 출력하는 화상데이터량을 삭감하기 위한 화상데이터 삭감수단을 구비하고, 상기 카메라부 또는 화상처리부는 상기 화상데이터 삭감수단에 대하여 상기 합성화상과 카메라 화상의 대응관계에 따라서 화상합성에 이용하는 카메라 화상의 데이터량 삭감형태를 지정하는 삭감형태 지정수단을 구비하며, 상기 각 카메라는 화상데이터의 판독순서가 외부로부터 제어 가능하게 구성되어 있고, 상기 카메라부 또는 화상처리부는 화상합성에 이용하는 카메라의 화상데이터의 판독순서를 상기 삭감형태 지정수단에 의해 지정된 데이터량 삭감형태에 따라 제어하는 판독제어부를 구비하고 있는 것으로 한다.

이 구성에 의하면, 화상합성에 이용하는 카메라의 화상데이터의 판독순서가 지정된 데이터량 삭감형태에 따라 제어되므로 전송경로를 전송되는 데이터량의 시간적 집중을 막을 수 있고, 반대로 데이터량의 시간적인 분산이 가능하게 된다.

또, 본 발명은, 복수의 카메라를 갖는 카메라부와, 상기 카메라부로부터 출력된 카메라 화상의 화상데이터를 전송하는 전송경로와, 상기 전송경로를 통해 전송된 카메라 화상의 화상데이터를 입력으로 하고 이들의 화상데이터로부터 합성화상을 생성하는 화상처리부를 구비하며, 상기 카메라부는 상기 전송경로에 출력하는 화상데이터량을 삭감하기 위한 화상데이터 삭감수단을 구비하고, 상기 카메라부 또는 화상처리부는 상기 화상데이터 삭감수단에 대하여 상기 합성화상과 카메라 화상의 대응관계에 따라서 화상합성에 이용하는 카메라 화상의 데이터량 삭감형태를 지정하는 삭감형태 지정수단을 구비하며, 복수의 카메라는 차량에 설치되고, 당해 차량의 주위를 촬영하는 것으로 한다.

(실시예)

이하 본 발명의 실시예에 대하여 도면을 참조하여 설명한다.

(제 1 실시예)

도 1은 본 발명의 제 1 실시예에 관한 감시 시스템의 구성을 나타내는 블록 도이다. 도 1에 나타내는 감시 시스템은 차량에 탑재되어 주차시 등의 운전조작의 보조를 용도로 하는 것으로서 상정되어 있다. 즉 이 시스템은 차량에 설치된 복수의 카메라로부터의 화상을 이용하여, 예컨대 차량 상방에 설치된 카메라로 촬상된 것 같은 합성화상을 생성하여 운전자에게 표시한다. 운전자는 표시된 합성화상을 봄으로써 자신의 차량과 주위의 상황의 관계를 정확하게 파악할 수 있으므로 주차조작 등을 안전하게 행할 수 있다.

도 1에 있어서, 카메라부(10)는 X대의 카메라(카메라 1∼카메라 X)(110)를 갖고 있고, 각 카메라(110)에는 카메라화상을 압축하기 위한 압축부(120) 및 전송 어댑터(130)가 일체화되어 있다. 카메라부(10)로부터 출력된 각 카메라화상의 화상데이터는 카메라부(10)와 화상처리부(20)를 잇는 전송경로로서의 전송선(15)을 통해 화상처리부(20)에 입력된다. 화상처리부(20)는 각 카메라화상의 화상데이터에 대하여 변형 ·통합 등의 처리를 행하고, 합성화상을 생성하여 표시장치(30)에 표시한다.

도 2는 본 실시예에 관한 카메라 설치위치의 일례이다. 도 2의 예에서는 6대의 카메라 1∼카메라 6이 차량의 주위에 배치되어 있다. 또 도 3은 합성화상의 가상시점의 위치의 일례이다. 화상처리부(20)는 예컨대 카메라 1∼카메라 6의 촬상화상으로부터 도 3에 나타내는 바와 같은 가상시점에서 본 합성화상을 생성한다.

화상처리부(20)는 합성화상과 각 카메라화상과의 대응관계를 기술한 매핑테이블(220)과, 매핑테이블(220)을 이용하여 합성화상의 생성을 행하는 화상합성부(210)와, 전송 어댑터(250)를 통해 입력되고, 압축된 화상데이터를 복원 하는 복원부(240)와, 복원한 화상데이터를 일시 기억하는 버퍼 메모리(230)를 구비하고 있다. 또 매핑테이블(220)에 기술된 합성화상과 각 카메라화상의 대응관계에 따라서 각 카메라화상의 각 영역에 대하여 합성화상생성을 위해 필요하다고 상정되는 해상도를 각각 지정하며, 삭감형태 지정수단으로서의 해상도 지정부(260)도 구비하고 있다.

도 4는 카메라화상과 합성화상의 대응관계의 일례를 나타내는 도면으로, 도 2와 같이 설치된 6대의 카메라 1∼카메라 6의 촬상화상으로부터 도 3에 나타내는 가상시점 1에서 본 합성화상을 생성하는 경우를 상정하고 있다. 도 4의 (a)에 있어서, CA1∼CA6은 각각 합성화상 상에 있어서 카메라 1∼카메라 6의 촬상화상이 차지하는 영역이다. 또 도 4의 (b)에 있어서, CA1'∼CA6'는 각각 합성화상 상의 영역 CA1∼CA6에 대응하는 각 카메라화상 상의 영역이다.

매핑테이블(220)에는 도 4의 (a)에 나타내는 바와 같은 합성화상과 각 카메라화상의 대응관계가 데이터화되어 있다. 즉 매핑테이블(220)에는 가상시점에서 본 합성화상의 모든 좌표에 대하여 대응하는 카메라화상의 데이터가 기술되어 있다. 화상합성부(210)는 매핑테이블(220)의 데이터에 따라서 가상시점에서 본 합성화상을 생성한다.

예를 들면 합성화상 상의 점 P1에 대해서는 카메라 1, 6의 촬영영역 CA1, CA6이 오버랩된 영역 OA에 있으므로 카메라 1의 화상 상의 영역 CAl' 내의 점 P1에 대응하는 화소 데이터와 카메라 6의 화상 상의 영역 CA6' 내의 점 P1에 대응하는 화소 데이터를 이용하여 화소 데이터를 얻는다. 또 합성화상 상의 점 P2에 대해서 는 카메라 1의 촬영영역 CA1에 있으므로 카메라 1의 화상상의 영역 CA1' 내의 점 P2에 대응하는 화소 데이터를 이용하여 화소 데이터를 얻는다.

또 해상도 지정부(260)는 매핑테이블(220)에 기술된 합성화상과 각 카메라화상의 대응관계에 따라서 각 카메라화상의 각 영역에 대하여 화상합성에 필요한 해상도를 구한다. 구한 해상도의 데이터는 전송 어댑터(250)로부터 전송선(15)을 통해 각 압축부(120)에 전송된다. 각 압축부(120)는 전송된 해상도의 데이터에 따라서 각 카메라화상의 화상데이터를 압축한다. 압축된 화상데이터는 전송 어댑터(130)로부터 전송선(15)을 통해 화상처리부(20)에 전송되고, 복원부(240)에 의해 복원되어 버퍼 메모리(230)에 기억된다.

또 매핑테이블(220)은 도 3에 나타내는 바와 같은 복수의 가상시점에 대응한 매핑테이블 데이터를 각각 기억하고 있고, 외부에서 주어지는 전환신호에 의해 화상합성에 이용하는 매핑테이블 데이터가 전환 가능하게 구성되어 있다. 이로 인하여 화상처리부(20)는 복수종류의 합성화상이 생성가능하고, 생성하는 합성화상의 종류를 바꿀 수 있다. 전환신호는 예컨대 차량의 기어의 상태나 주행속도 등에 따라 주어진다.

전환신호가 입력되면 매핑테이블(220)이 출력하는 매핑테이블 데이터가 전환되고, 이로 인하여 생성되는 합성화상의 종류가 바뀌어진다. 해상도 지정부(260)는 바뀌어진 새로운 매핑테이블 데이터에 따라 각 카메라화상의 각 영역에 대하여 화상합성에 필요한 해상도를 다시 구한다. 구한 해상도의 데이터는 전송선(15)을 통해 각 압축부(120)에 전송되고, 각 압축부(120)는 전송된 해상도 데이터에 따라 압 축처리의 내용을 바꾼다.

<압축처리>

여기서는 각 압축부(120)는 DCT 변환을 이용하여 카메라 화상데이터의 압축을 행하는 것으로 한다.

우선 카메라화상(480 ×720)을 (8 ×8)화소의 블록으로 분할한다. 이 분할에 의해 카메라화상의 좌표(i, j)의 데이터는 (i = 1∼480, j = 1∼720), S1(K, L, i', j')로 나타낼 수 있다. 여기서 K, L은 각 블록을 나타내는 수평 ·수직의 어드레스번호이고, K = 1∼60, L = 1∼90이다. 또 I' = 1∼8, j' = 1∼8이다.

그리고 각 화소 데이터 S1(K, L, i', j')은 다음식에 나타내는 DCT 변환에 의해 각 주파수성분의 신호 g1(K, L, m, n)로 변환된다.

상기 식에서 m 또는 n의 값이 큰 성분은 각각 블록 내에서의 수평방향 또는 수직방향의 고주파성분을 나타내고 있다. 고주파성분의 데이터를 삭제함으로써 저해상도의 데이터를 용이하게 생성할 수 있고, 카메라화상을 적은 데이터량으로 보낼 수 있다. 또 합성화상의 종류에 따라서는 수평방향과 수직방향으로 필요하게 되는 해상도가 다른 경우가 있지만, 이 경우에도 데이터를 삭제하는 m 또는 n의 값을 개별로 설정함으로써 수평방향과 수직방향으로 각각 독립적으로, 필요하게 되는 해상도를 제어할 수 있다.

도 5는 합성화상과 카메라 1의 화상의 대응관계를 개념적으로 나타내는 도면이다. 도 5의 (a)는 합성화상 상에서의 카메라 1의 맵을 나타내고, (b)는 카메라 1의 화상 상에서의 합성화상의 맵을 나타내고 있고, 점 A와 점 A', 점 B와 점 B'가 각각 대응하고 있다. 여기서 「맵」이란 합성화상과 카메라화상의 대응관계를 명확히 하기 위해 편의적으로 붙인 격자의 것이다. 이 격자는 카메라화상 ·합성화상 모두 일정화소간격으로 그은 선으로 구성된다. 또 이 격자는 카메라화상에서는 블록의 경계까지도 나타낸다. 도 5 의(a)에 있어서, 카메라 1의 맵의 격자가 조밀한 부분(예컨대 점 A)에서는 카메라 1의 화상데이터에 그다지 높은 해상도는 요구되지 않지만, 격자가 굵은 부분(예컨대 점 B)에서는 높은 해상도의 화상데이터가 필요하게 된다. 즉 도 5의 (b)에 있어서, 합성화상의 맵의 격자가 조밀한 부분(예컨대 점 B에 대응하는 점 B')에서는 높은 해상도의 화상데이터가 필요하게 되지만, 굵은 부분(예컨대 점 A에 대응하는 점 A')에서는 낮은 해상도의 화상데이터로 된다. 또 합성화상의 맵의 격자가 형성되어 있지 않은 부분의 화상데이터는 합성화상을 생성하기 위해서는 필요없다.

즉 카메라 1의 화상데이터는 예를 들면 도 6에 나타낸 바와 같이 3종류의 블록 BL1, BL2, BL3으로 나누어진다. BL1은 합성화상의 생성에 불필요한 부분의 블록, BL2는 높은 해상도의 화상데이터가 필요하게 되는 부분의 블록, 그리고 BL3은 낮은 해상도의 화상데이터로 되는 부분의 블록이다.

해상도 지정부(260)는 매핑테이블(220)의 데이터로부터 각 블록에 대하여 필요하게 되는 해상도의 데이터 Rxv(K, L), Rxh(K, L)를 산출한다. 여기서 x는 카메 라번호(1 ≤x ≤X), 첨자 h, v는 수평 또는 수직방향을 나타낸다. 해상도 데이터 Rxv(K, L), Rxh(K, L)의 산출방법에 대하여 그 일례를 도 7을 이용하여 구체적으로 설명한다.

우선 매핑테이블(220)의 데이터로부터 각 카메라화상의 각 블록에 대하여 합성화상의 좌표의 어느 것인가에 대응하는 점이 있는지의 여부를 판정한다. 합성화상의 좌표에 대응하는 점을 포함하지 않은 블록, 즉 블록 BL1은 합성화상의 생성에는 불필요하므로 해상도 데이터 Rxv(K, L), Rxh(K, L)는 각각 "0"으로 한다.

합성화상의 좌표(i, j)(도 7의 (a))에 대응하는 점(i', j')이 블록 내에 존재할 때, 또 합성화상 상의 3개의 점(i+1, j), (i+1, j+1), (i, j+1)에 대응하는 점을 각각 구한다. 그리고 이 3점과 점(i', j')으로 둘러싸인 영역 IM1(도 7의 (b))을 정한다. 그리고 도 7의 (c)에 나타내는 바와 같은 영역 IM1의 수직 ·수평방향의 크기 Lv, Lh(단, 정수로 한다)를 이용하여 다음식에 따라 해상도 데이터 Rxv(K, L), Rxh(K, L)를 각각 산출한다. 단, 나머지는 절상한다.

해상도 지정부(260)는 이렇게 하여 산출한 해상도 데이터 R1v(K, L), R1h (K, L)∼RXv(K, L), RXh(K, L)를 전송선(15)을 통해 각 카메라의 압축부(120)에 전송한다.

또 엄밀하게는 합성화상의 좌표(i, j)의 화소가 카메라화상 상에서 차지하는 영역은 영역 IM1이 아니라 합성화상의 좌표(i-0.5, j-0.5), (i-0.5, j+0.5), (i+0.5, j-0.5), (i+0.5, j+0.5)에 각각 대응하는 4개의 점으로 둘러싸인 영역에 상당한다. 단, 이 영역과 상술한 영역 IM1은 거의 동일형상이고, 또 합성화상 상의 점(i, j), (i+1, j), (i+1, j+1), (i, j+1)에 대응하는 점은 매핑테이블(220)로부터 용이하게 구할 수 있다. 이 때문에 여기서는 해상도 데이터 Rxv(K, L), Rxh(K, L)를 영역 IM1의 크기로부터 산출하고 있다.

각 압축부(120)는 전송된 해상도 데이터 Rxv(K, L), Rxh(K, L)에 따라서 각 카메라의 각 블록에 대하여 각 주파수의 신호 gx(K, L, m, n) 중 불필요한 성분을 삭제하고, 필요한 성분만을 화상처리부(20)에 전송한다. 구체적으로는 m의 값이 Rxv(K, L)보다 큰 성분과, n의 값이 Rxh(K, L)보다 큰 성분을 삭제한다. 이 때 블록 BL1에 대해서는 해상도 데이터 Rxv(K, L), Rxh(K, L)는 모두 "0"이므로 모든 성분이 삭제된다.

도 8은 압축부(120)의 내부구성의 일례를 나타내는 도면이다. 도 8에서는 카메라 1에 대하여 설치된 압축부(120)를 나타내고 있다. 압축부(120)에는 3개의 8라인 메모리(121a, 121b, 121c)가 설치되어 있고, 합계 24(= 8 ·3) 라인분의 화상신호가 기억 가능하게 되어 있다.

해상도 데이터 R1v(K, L), R1h(K, L)∼RXv(K, L), RXh(K, L)가 전송선(15)을 통해 전송되면 전송 어댑터(130)는 대응하는 카메라에 관한 해상도 데이터(이 예에는 카메라 1에 대응하는 해상도 데이터 Rlv(K, L), Rlh(K, L))를 수취하여 해상도 데이터 메모리(124)에 기억한다.

한편 카메라(110)로부터는 화상신호가 텔레비전신호와 같이 주사선에 따라서 시계열로 보내져온다. 따라서 화면중의 어떤 좌표(i, j)의 신호가 입력되는 시간 t는 다음식과 같이 정해진다. 단 Tpix는 1화소당 시간, Bh는 수평의 블랭킹 화소수이다.

카메라(110)로부터 보내진 화상신호는 각 8 라인 메모리(121a, 121b, 121c)에 차례로 기억된다. 이 때 제 i라인의 화상신호는 mod(i, 24)번째의 라인에 기억된다(mod(K, L)는 K를 L로 나누었을 때의 나머지를 나타낸다).

제 1의 8라인 메모리(121a)에 제 8라인까지 화상신호가 기억되면 제 9 라인 이후의 화상신호는 제 2의 8라인 메모리(121b)에 기억되기 시작한다. 한편, DSP(122)는 제 1의 8라인 메모리(121a)로부터 (8 ×720)화소의 화상신호를 90개의 8 ×8화소 블록신호 S1(1, L, i' j')(L = 1∼90, I' = 1∼8, j'= 1∼8)로서 판독하고, 각 블록에 대하여 상술한 바와 같이 DCT 변환을 행하여 g1(1, L, m, n)을 산출한다. DSP(122)는 또 해상도 데이터 메모리(124)에 기억된 데이터 R1v(1, L), R1h(1, L)를 이용하여 g1(1, L, m, n)로부터 m이 R1v(1, L)보다 큰 성분과, n이 R1h(1, L)보다 큰 성분을 삭제한다.

따라서 제 1의 8라인 메모리(121a)에 기억된 화상신호 S1(i, j)(i = 1∼8, j = 1∼720)는 이 시점에서 다음과 같은 블록마다 데이터수가 다른 데이터열이 된다.

즉, 제 1의 8라인 메모리(121a)에 기억된 화상신호는 각 블록에 대하여 (R1v (1, L) ·R1h(1, L))개의 데이터를 각각 갖는 데이터열로 변환된다. 이 데이터열은 DCT 데이터 버퍼 메모리(123)에 일단 기억되고, 전송 어댑터(130)는 DCT 데이터 버퍼 메모리(123)에 기억된 데이터열을 전송선(15)을 통해 화상처리부(20)에 전송한다.

복원부(240)는 전송된 데이터열을 역DCT 변환하여 화상신호 S1'(1, L, i', j')을 복원하여 버퍼 메모리(230)에 기억한다. 복원된 신호 S1'(1, L, i', j' )는 DCT 변환시에 고주파성분이 삭제되어 있으므로 원래의 신호 S1(1, L, i', j')에 LPF 처리가 이루어진 신호에 상당한다.

다음에, 제 2의 8라인 메모리(121b)에 제 16라인까지 화상신호가 기억되면 제 17라인 이후의 화상신호는 제 3의 8라인 메모리(121c)에 기억되기 시작한다. 한편 DSP(122)는 제 2의 8라인 메모리(121b)로부터 (8 ×720)화소의 화상신호를 90개의 8 ×8화소 블록신호 S1(2, L, i' j')(L = 1∼90, i'= 1∼8, j'= 1∼8)로서 판독하고, 각 블록에 대하여 상술한 바와 같이 DCT 변환을 행하여 g1(2, L, m, n)을 산 출한다. DSP(122)는 또 해상도 데이터 메모리(124)에 기억된 데이터 R1v(2, L), R1h(2, L)를 이용하여 g1(2, L, m, n)로부터 m이 R1v(2, L)보다 큰 성분과 n이 R1h(2, L)보다 큰 성분을 삭제한다.

따라서 제 2의 8라인 메모리(121b)에 기억된 화상신호는 이 시점에서 다음과 같은 블록마다 데이터수가 다른 데이터열이 된다.

즉 제 2의 8라인 메모리(121b)에 기억된 화상신호는 각 블록에 대하여 (R1v (2, L) ·R1h(2, L))개의 데이터를 각각 갖는 데이터열로 변환된다. 이 데이터열은 상술한 것과 마찬가지로 전송선(15)을 통해 화상처리부(20)에 전송되고, 복원부(240)에 의해 화상신호 S1'(2, L, i', j')에 복원된다.

같은 동작이 K=60까지 반복되고, 이로 인하여 1화면분의 화상신호 S1'(K, L, i', j')이 복원되어 버퍼 메모리(230)에 기억된다.

또, 다른 카메라(110)의 압축부(120)로부터도 마찬가지로, 압축된 화상데이 터가 복원부(240)에 전송되고, 화상신호 Sx'(K, L, i', j')(x=2∼X)가 복원되어, 버퍼 메모리(230)에 기억된다. 버퍼 메모리(230)에 기억된 각 카메라 화상데이터로부터 종래와 마찬가지로 합성화상이 생성된다.

이상과 같이 본 실시예에 의하면 매핑테이블(220)에 기술된 합성화상과 각 카메라화상의 대응관계에 따라서 각 카메라의 화상신호중 필요한 해상도의 데이터만을 압축하여 전송하므로 전송선(15)의 전송용량은 종래보다 적어진다. 이 때문에 보다 안정되게 전송할 수 있는 장치가 실현되고, 또 보다 염가의 전송선을 이용하는 것도 가능하게 된다.

즉 도 2에 나타낸 바와 같이 전송선(15)을 1개로 통합하는 것이 용이하게 되어 전송선(15)의 차량으로의 설치나 보수가 대폭 간소화된다. 또는 도 9에 나타낸 바와 같이 카메라설치위치에 따라서는 전송선(15)을 2개로 나누는 등 유연한 대응이 가능하게 되어 차량으로의 설치나 보수가 더욱 간소화된다.

또 전송선(15) 대신 전송경로를 무선으로 구성해도 상관없다. 이 경우에도 본 실시예에 의해 얻을 수 있는 전송용량이 적어지는 효과가 크고, 보다 염가의 부품에 의한 전송경로의 실현이 가능하게 된다. 또 유선에 비하여 차량으로의 설치나 보수작업이 더욱 대폭 삭감된다.

또 도 6의 (b)의 블록 BL1에 나타내는 바와 같은 합성화상의 생성에 불필요한 부분에 대해서는 필요하게 되는 해상도의 데이터 Rxv(K, L), Rxh(K, L)는 (0, 0)이므로 이 부분의 블록의 데이터수는 0이 된다. 따라서 전송선(15)을 통해 전송하는 데이터량을 대폭 삭감할 수 있다.

또 화상처리부(20)에서는 각 카메라화상중 필요한 해상도의 데이터만이 버퍼 메모리(230)에 저장되므로 종래보다 메모리용량을 대폭 삭감할 수 있다.

또 압축부(120)에 있어서, 각 8라인 메모리(121a, 121b, 121c)에 카메라화상신호가 기억된 직후부터 DCT 변환과 전송이 행해지므로 압축전송에 따르는 신호지연은 최소한도로 억제할 수 있다.

또 화상처리부(20)가 생성하는 합성화상의 종류에 따라 각 카메라화상의 압축동작을 바꾸는 것도 가능하다. 이 경우, 화상합성에 이용하는 매핑테이블이 바뀔때마다 해상도 지정부(260)가 해상도 데이터 Rxv(K, L), Rxh(K, L)를 산출하고, 이 데이터를 전송선(15)을 통해 각 카메라의 압축부(120)에 전송하도록 구성하면 된다.

또는 각 매핑테이블에 대응한 해상도 데이터를 해상도 지정부(260)에 미리 ROM 등에 의해 유지시켜 두어도 된다. 이 경우에는 전환신호를 해상도 지정부(260)에도 입력시키고, 매핑테이블의 전환과 함께 해상도 데이터의 전환을 해상도 지정부(260)에 실행시키면 된다. 이로 인하여 매핑테이블의 전환시마다 해상도 데이터를 산출하는 처리가 불필요하게 된다.

또 압축부(120)에 메모리를 설치하고, 이 메모리에 각 매핑테이블에 대응한 해상도 데이터를 미리 기억시켜 두어도 된다. 이 경우에는 화상처리부(20)는 매핑테이블을 바꿀때마다 그 매핑테이블을 나타내는 ID만을 각 압축부(120)에 전송하면 된다. 또는 매핑테이블을 나타내는 ID를 화상처리부(20)로부터 전송하는 대신 전환신호를 카메라부(10)의 각 압축부(120)에도 입력시켜 매핑테이블의 전환과 동시에 해상도 데이터의 전환을 각 압축부(120)에 실행시키면 된다.

또 본 실시예에서는 화상데이터의 압축을 위해 DCT 변환을 이용하는 것으로 하였지만, JPEG와 같이 DCT 변환후의 데이터에 다시 양자화를 행해도 된다. 또 DCT 변환 이외에도 웨이브릿변환이나 푸리에변환 등에 의해 같은 효과를 얻을 수 있다.

<루프백 왜곡 해소의 효과>

또 본 실시예에 의하면 루프백 왜곡에 기인하는 합성화상의 화질열화를 용이하게 피할 수 있다.

예컨대 도 7에 있어서, 합성화상의 좌표(i, j)에 대응하는 카메라화상 상의 영역 IM1은 카메라화상의 1화소보다 크기가 크고, 복수개의 화소를 포함하고 있다. 광학적으로 정확한 합성화상을 얻기 위해서는 영역 IM1에 포함되는 복수화소의 데이터의 가중평균치를 좌표(i, j)에 대응하는 화소 데이터로서 얻어야 한다. 즉 다음식과 같이 합성화상의 화소 데이터 S(i, j)를 구할 필요가 있다.

단 S1(i_p, j_p)은 카메라의 화소 데이터, p는 카메라화소의 번호,

_p는 영역 IM1에 포함되는 비율을 가미한 계수이다. 그런데 이 경우, 합성화상의 1화소의 신호를 얻기 위해 복수화소의 신호를 버퍼 메모리(230)로부터 판독하여 계산을 행할 필요가 있다. 이것은 화상합성부(210)에서 필요하게 되는 계산처리가 방대하게 되어 실용적이지 않다.

따라서 상기의 계산을 근사적으로 생략한 것으로서 종래부터 니어리스트법이 이용되고 있다. 니어리스트법이란 좌표(i, j)에 대응하는 영역 IM1의 중심에 가장 가까운 1개의 화소의 신호만을 이용하는 것이다.

그런데 니어리스트법을 이용한 경우에는 높은 샘플링 주파수의 신호를 고주파성분을 컷하지 않고 낮은 샘플링 주파수로 서브샘플링한 경우에 특유의 루프백 왜곡이 발생한다. 즉 고해상도의 화상신호를 그대로 이용하여 니어리스트법에 의한 간단한 화상합성을 행한 경우에는 해상도가 낮아서 좋은 부분에 주파수적으로 루프백 왜곡이 생겨 합성화상의 화질이 열화될 우려가 있다.

이러한 루프백 왜곡을 막기 위해 예컨대 도 10에 나타낸 바와 같이 각 카메라의 화상신호에 대하여 미리 로우패스필터(LPF)(51)에 의한 처리를 행하여 불필요한 고주파성분을 컷하는 방법을 생각할 수 있다.

단 이 경우, 카메라화상에 있어서 필요하게 되는 해상도는 부분마다 다르므로 LPF로서 그 주파수특성이 화상의 부분마다 적응적으로 설정 가능하게 구성된 것이 필요하게 된다. 이 때문에 회로구성이 상당히 복잡하게 된다는 문제점이 있다. 또 주파수특성이 균일한 LPF를 이용하는 경우에는 회로구성은 간단하게 되지만, 높은 해상도를 필요로 하는 부분에 대해서도 고주파성분이 컷되므로 합성화상에 있어서 충분히 필요한 해상도가 얻어지지 않는다.

이에 대하여 본 실시예에 의하면 압축부(120)에 의해 루프백 왜곡이 발생하기 쉬운 저해상도의 화상부분에 대해서는 영역 IM1의 크기에 대응한 특성으로 이미 고주파성분이 제거되어 있으므로 루프백 왜곡이 발생하기 어렵게 된다. 즉 복원부(240)에 의해 복원된 카메라화상신호는 원래의 신호에 대하여 필요한 해상도 에 따라 적응적으로 LPF 처리를 실시한 것에 상당한다. 따라서 복잡한 구성의 LPF를 설치하지 않더라도 루프백 왜곡의 발생을 억제할 수 있고, 그 결과 합성화상의 화질을 대폭 개선할 수 있다.

여기서는 니어리스트법을 이용한 실시예를 설명하였지만, 그 외의 방법이라도 적용할 수 있다. 예컨대 바이리니어법(좌표(i, j)에 대응하는 영역 IM1의 중심을 둘러싸는 4점의 화소의 신호를 이용하여 선형보간하는 방법)에도 분명히 적용할 수 있다.

<압축처리의 다른 예>

또한 상술한 설명에서는 해상도 지정부(260)는 해상도 데이터 Rxv(K, L), Rxh(K, L)를 도 7에 나타내는 영역 IM1의 수평·수직방향의 크기 Lh, Lv에서 산출하는 것으로 하였지만, 이들을 다른 방법으로 구해도 상관없다.

도 11의 (a)는 도 7의 (b)와 마찬가지로 합성화상의 1화소가 카메라화상 상에서 차지하는 영역 IM1을 나타내고 있다. 여기서는 도 11의 (b)에 나타낸 바와 같이 (8 ×8) 블록의 중심에 영역 IM1을 두고, 각 화소에 대하여 영역 IM1에 포함되는 비율을 가미한 계수

_p를 구한다. 이 계수

_p는 광학적으로 정확한 합성화상을 얻기 위해 카메라화상의 복수화소의 가중평균치를 이용하는 경우에 각 화소의 가중을 위해 이용되는 계수에 상당한다.

계수 r(i', j')을 영역 IM1의 중심을 (i', j')=(1, 1)로 하여 8 ×8블록의 계수로 전개한다. 그리고 화상신호와 마찬가지로 DCT 변환하여 변환계수 h(K, L, m, n)를 얻는다. 이 변환계수 h(K, L, m, n)는 계수

_p가 나타내는 LPF 특성을 DCT 변환계수로 나타낸 것으로 되어, 고영역성분이 작아진다.

여기에서 변환계수 h(k, L, m, n)가 소정의 임계값 이상의 값을 갖는 m, n의 상한을, 해상도 데이터 Rxv(K, L), Rxh(K, L)의 값으로서 정하는 것으로 한다. 해상도 지정부(260)는 해상도 데이터 Rxv(K, L), Rxh(K, L)를 전송하는 동시에 소정의 임계값 이상의 값을 갖는 변환계수 h(K, L, m, n)도 이것에 더불어 압축부(120)에 전송한다.

압축부(120)는 화상신호의 DCT 변환 데이터 gx(K, L, m, n)에 대하여 해상도 데이터 Rxv(K, L), Rxh(K, L)를 이용하여 고주파성분을 삭제한다. 그리고 남은 DCT 변환 데이터 gx(K, L, m, n)에 변환계수 hx(K, L, m, n)을 곱하여 복원부(240)에 보낸다.

이 방법의 경우, 복원부(240)가 반대 DCT 처리에 의해 복원한 신호는 근사적으로 원래의 신호에 대하여 계수

_p를 이용하여 LPF 처리를 실시한 것이 얻어진다. 따라서 상술한 실시예에 비하여 광학적으로 정확한 합성화상을 얻을 수 있다.

또 영역 IM1을 이용하지 않고, 해상도 데이터 Rxv(K, L), Rxh(K, L)를 정하는 것도 가능하다. 예컨대 화상합성에 이용하지 않는 부분의 블록에 대해서는 해상도 데이터 Rxv(K, L), Rxh(K, L)를 "0"로 하고, 화상합성에 이용하는 부분의 블록에 대해서는 해상도 데이터 Rxv(K, L), Rxh(K, L)를 "0" 이외의 균일한 값으로 설정해도 된다.

(제 2 실시예)

도 12는 본 발명의 제 2 실시예에 관한 감시 시스템의 구성을 나타내는 블록도이다. 도 12에 나타내는 감시 시스템은 기본적으로는 도 1에 나타내는 제 1 실시예에 관한 구성과 마찬가지이다. 도 1과 공통의 구성요소에는 도 1과 동일한 부호를 부여하고, 여기서는 그 상세한 설명을 생략한다.

도 12에 있어서, 도 1의 구성과 다른 것은 화상처리부(20A)가 각 카메라(110A)의 판독제어신호를 해상도 지정부(260)의 출력에 따라 생성하는 판독제어부(270)와, 각 카메라(110A)의 동기신호를 생성하는 동기신호 생성부(280)를 구비한 점이다. 판독제어부(270) 및 동기신호 생성부(280)로부터 출력된 판독제어신호와 동기신호는 전송 어댑터(250)로부터 전송선(15)을 통해 카메라부(10A)에 전송된다. 전송된 판독제어신호 및 동기신호는 전송 어댑터(130)를 통해 압축부(120A)와 카메라(110A)에 보내진다.

각 카메라(110A)는 전송된 동기신호에 따라서 동일한 타이밍으로 프레임화상을 촬영한다. 여기서는 각 카메라(110A)는 (720 ×480)화소의 화상데이터를 1/60초마다 촬영하는 것으로 한다.

도 13은 카메라(110A) 및 압축부(120A)의 내부구성의 일례를 나타내는 도면이다. 도 13에 나타낸 바와 같이 카메라(110A)는 주로 촬상소자(여기서는 CCD)(111), 광학계 렌즈(112), 판독 ·동기제어부(113) 및 촬상소자(111)의 출력을 AD 변환한 후에 색분리 등의 신호처리를 행하는 AD 변환처리부(114)로 구성된다.

촬상소자(111)는 1화면분의 촬상면과 1화면분의 축적계를 갖고 있다. 우선 광학계 렌즈(112)를 통해서 촬상면에 광강도신호가 얻어지고, 각 화소의 포토트랜지스터가 이 광강도신호를 전하신호로 변환한다. 변환된 전하신호는 1프레임기간(여기서는 1/60초) 축적된 후 화상신호로서 축적계에 전송된다.

통상의 CCD에서는 축적계에 축적된 화상신호는 화면의 좌상단으로부터 주사선에 따라서 판독된다. 그 동안 촬상면에서는 새로운 광강도신호가 전하신호로 변환되고, 다음 프레임의 화상신호로서 축적되어 있다. 단 본 실시예에서는 이것과는 달리 촬상소자(111)는 화상신호가 화면의 좌상단으로부터나 좌하단으로부터나 판독 가능하도록 구성되어 있는 것으로 한다. 그리고 어떤 순서로 화상신호를 판독할 것인지는 판독 ·동기제어부(113)에 의해 제어되는 것으로 한다.

본 실시예에서는 화상처리부(20A)가 합성화상과 각 카메라화상의 대응관계에 따라서 각 카메라(110A)의 화상데이터의 판독순서를 제어한다.

도 14는 각 카메라(110A)에서의 화상신호의 판독순서의 일례를 나타내는 도면이다. 도 14에서 각 카메라화상의 영역 CA1'∼CA6'는 도 4의 (b)에 나타낸 바와 같이 동일하고, 합성화상의 생성을 위해 필요한 영역이다. 도 14에서 알 수 있는 바와 같이 각 카메라화상 모두 화상합성에 필요한 영역은 화면의 하부를 차지하고 있고, 화면의 상부는 화상합성에 필요한 영역에서 벗어나 있다.

여기서는 판독제어부(270)는 도 14에서 화살표로 나타낸 바와 같이 카메라 1, 3, 5에 대해서는 화면좌상단으로부터 화상신호가 판독되고, 카메라 2, 4, 6에 대해서는 화면좌하단으로부터 화상신호가 판독되도록 판독제어신호를 생성하는 것으로 한다. 각 카메라(110A)의 판독 ·동기제어부(113)는 전송된 판독제어신호에 따라서 촬상소자(111)를 제어한다. 촬상소자(111)의 출력은 AD 변환처리부(114)에 의해 AD 변환된 후 색분리 등의 신호처리를 실시하고, 화상신호로서 압축부(120A)의 8라인 메모리(121)에 차례로 보내진다.

카메라 1, 3, 5에 대해서는 제 1 실시예와 마찬가지로 화면중의 어떤 좌표 (i, j)의 신호는 다음식의 시각 t에 보내진다.

한편 카메라 2, 4, 6에 대해서는 화면중 좌하로부터 주사되므로 제 1 실시예와는 달리 화면중의 어떤 좌표(i, j)의 신호는 다음식의 시각 t에 보내진다.

단 Tpix는 1화소당 시간, Bh는 수평의 블랭킹 화소수이다.

따라서 카메라 1에 대해서는 최초의 화상신호는 제 1 실시예와 마찬가지로 다음과 같은 블록마다 데이터수가 다른 데이터열로 변환되어 전송되는 데 대하여,

카메라 2에 대해서는 최초의 화상신호는 다음과 같은 블록마다 데이터수가 다른 데이터열로 변환되어 전송된다.

여기서 각 카메라(110A)로부터 압축된 화상신호가 전송될 때의 전송선(15)에서의 전송 데이터량에 대하여 생각한다.

화면의 최초의 8라인의 화상신호에 대해서는 카메라 1, 3, 5로부터는 mn∼mn"이 거의 O이 되고, 데이터량이 거의 없이 같은 데이터밖에 전송되지 않지만, 한편 카메라 2, 4, 6으로부터는 화상합성에 필요한 상당량의 데이터가 전송된다. 반대로 화면의 마지막 8라인의 화상신호에 대해서는 카메라 2, 4, 6으로부터는 mn∼mn"이 거의 0이 되고, 데이터량이 거의 없이 같은 데이터밖에 전송되지 않지만, 한편 카메라 1, 3, 5로부터는 화상합성에 필요한 상당량의 데이터가 전송된다.

이와 같이, 카메라 1, 3, 5와 카메라 2, 4, 6으로부터의 화상신호의 판독순 서를 반대로 함으로써 전송선(15)에서의 전송 데이터량을 시간적으로 분산할 수 있다. 이로 인하여 전송선(15)으로서 전송용량이 보다 적은 것을 이용하는 것이 가능하게 된다.

또 제 1 실시예의 경우라도 전송선(15)에 있어서의 전송 데이터량을 시간적으로 분산하는 것은 가능하다. 예컨대 압축부(120)의 DCT 데이터 버퍼 메모리(123)의 용량을 충분히 큰 것으로 해 두고, 데이터전송을 DCT 데이터 버퍼 메모리(123)의 출력측에서 제어하면 전송 데이터량을 시간적으로 분산시킬 수 있다.

그런데 이 경우, DCT 데이터 버퍼 메모리(123)에 일시적으로 대량의 데이터를 저장할 필요가 있기 때문에 카메라(110)로부터 화상처리부(20)로의 데이터전송에서의 지연시간이 길어진다. 운전자는 합성화상을 보면서 차량을 운전하므로 합성화상출력의 응답을 고려하면 이러한 지연시간은 짧은 쪽이 바람직하다. 이 점에서 본 실시예쪽이 보다 유효하다.

이상과 같이 본 실시예에 의하면 각 카메라의 화상신호의 판독순서를 합성화상과 각 카메라화상의 대응관계에 따라 제어함으로써 합성화상출력의 응답을 떨어뜨리는 일 없이 전송 데이터량을 시간적으로 분산할 수 있다.

또 도 14에 나타내는 화상신호의 판독순서의 제어는 어디까지나 일례이고, 예컨대, 카메라 1, 2, 3에 대해서는 화면의 좌측상단으로부터 카메라 4, 5, 6에 대해서는 화면의 좌측하단으로부터 화상신호를 판독하도록 제어해도 상관없다. 또 합성화상과 카메라화상의 대응관계가 변하면, 그것에 따라 화상신호의 판독순서도 변경하면 된다. 또 여기서는 촬상소자(111)는 두 가지의 판독순서를 실현 가능하게 구성되어 있는 것으로 하였지만, 3종류 이상의 판독순서를 실현 가능하게 구성되어 있다면, 합성화상과 각 카메라화상의 대응관계에 따라 적당한 판독순서를 선택하면 된다.

또 여기서는 촬상소자로서 CCD를 이용하는 것으로 하였지만, 그 대신 CMOS 소자를 이용해도 상관없다. CCD 소자를 이용한 카메라가 화면전체의 신호를 주사선에 따라서 출력하는 데 대하여, CM0S 소자를 이용한 카메라에서는 화면의 일부(예컨대 장방형영역)의 신호만을 출력할 수 있다. 이 때문에 각 카메라의 화상신호의 판독순서를 세밀하게 제어할 수 있으므로 보다 효율적으로 전송 데이터량을 시간적으로 분산시킬 수 있다.

(제 3 실시예)

도 15는 본 발명의 제 3 실시예에 관한 감시 시스템의 구성을 나타내는 블록도이다. 도 15에 나타내는 감시 시스템은 기본적으로는 도 1에 나타내는 제 1 실시예에 관한 구성과 같다.

본 실시예가 제 1 실시예와 다른 것은 각 카메라화상의 화상데이터를 삭감하기 위해서 화상데이터를 압축하는 대신에 합성화상생성을 위해 불필요하다고 상정되는 영역의 화상데이터를 삭제하는 점이다. 즉 화상처리부(20B)는 해상도 지정부(260) 대신에 각 카메라화상에 대하여 합성화상생성을 위해 필요하다고 상정되는 영역을 지정하는 영역지정부(290)를 삭감형태 지정수단으로서 구비하고 있고, 카메라부(10B)는 압축부(120) 대신에 영역지정부(290)에 의해 지정된 영역 이외의 영역의 화상데이터를 삭제하는 선택부(140)를 구비하고 있다. 또 화상압축을 행하 지 않으므로 화상처리부(20B)에서는 복원부(240)가 생략되어 있다.

영역지정부(290)는 매핑테이블(220)에 데이터화된 합성화상과 각 카메라화상의 대응관계에 따라서 각 카메라화상중 화상합성에 필요한 영역을 지정한다. 지정된 영역의 정보는 전송 어댑터(250)로부터 전송선(15)을 통해 카메라부(10B)의 각 선택부(140)에 전송된다.

선택부(140)는 전송된 영역정보에 따라 각 카메라화상중 필요한 영역의 데이터만을 출력한다. 출력된 화상데이터는 전송 어댑터(130)로부터 전송선(15)을 통해 화상처리부(20B)에 전송된다. 화상처리부(20B)에서는 전송된 화상데이터가 버퍼 메모리(230)에 저장되고, 화상합성부(210)는 매핑테이블(220)의 데이터에 따라서 버퍼 메모리(230)에 저장된 화상데이터로부터 합성화상을 생성한다.

도 16은 카메라 1의 화상과 화상합성에 필요한 영역 ANE의 관계를 개념적으로 나타내는 도면이다. 즉, 도 16의 (a)에 나타내는 카메라 1의 화상 상의 합성화상의 맵의 위치로부터 도 16의 (b)에 나타낸 바와 같이 합성화상의 생성에 필요한 영역 ANE를 얻을 수 있다. 영역지정부(290)는 예컨대 도 17의 (a)에 나타낸 바와 같이 이 영역 ANE를 포함하는 장방형의 영역 AN1을 구하고, 영역 AN1을 나타내는 정보로서, 장방형의 좌상단의 좌표(Is, Js) 및 우하단의 좌표(Ie, Je)를 출력한다. 영역지정부(290)는 다른 카메라에 대해서도 마찬가지로, 합성화상의 생성에 필요한 영역을 포함하는 장방형영역을 결정하고, 그 좌상단 및 우하단의 좌표를 출력한다.

도 18은 선택부(140)의 내부구성의 일례를 나타내는 도면이다. 도 18을 참조하여 선택부(140)의 동작을 설명한다.

카메라(110)로부터 출력된 화상신호는 3개의 라인 메모리(141)에 차례로 기입된다. 한편 전송 어댑터(130)는 전송선(15)을 통해 보내지는 영역 데이터중 자기의 카메라에 대응한 영역 데이터만을 판독하고, 영역 데이터 메모리(144)에 기억시킨다.

DSP(142)는 어떤 라인 메모리에 화상데이터가 기입되면 그 라인 메모리로부터 화상데이터를 판독하고, 그 중에서 영역 데이터 메모리(144)에 기억된 장방형영역에 포함되는 화상데이터만을 선택하고, 데이터 버퍼 메모리(143)에 기억시킨다. 데이터 버퍼 메모리(143)에 기억된 화상데이터는 다음과 같이 카메라번호, 라인번호 및 데이터수를 나타내는 헤더가 부가되고, 전송 어댑터(130)로부터 전송선(15)을 통해 화상처리부(20B)에 전송된다.

(카메라번호 1) (라인번호 1) (데이터수 M1) : d1,···, dM1

(카메라번호 1) (라인번호 2) (데이터수 M2) : d1,···, dM2

·

(카메라번호 1) (라인번호 480) (데이터수 M480) : d1,···, dM480

라인 i의 데이터수 Mi는 다음과 같이 된다.

Is ≤i ≤Ie일 때 Mi = Je-Js+1

그 이외일 때 Mi = 0

즉 전송선을 통해 전송되는 데이터량은 화상데이터를 모두 전송하는 종래예 에 비하여 대폭 삭감된다.

또 여기서는 영역지정부(290)는 합성화상생성에 필요한 영역 ANE를 포함하는 장방형영역 AN1을 결정하고, 이 장방형영역 AN1을 나타내는 좌표정보를 각 선택부(140)에 전송하는 것으로 하였지만, 본 발명은 이것에 한정되는 것은 아니다. 예컨대, 도 17의 (b)에 나타낸 바와 같이 화상합성에 필요한 영역 ANE를 "1", 불필요한 영역 AUN을 "0"으로 하여 2치화하고, 이것을 수평주사선에 따라 스캔한 런렝스(run length) 데이터를 전송해도 상관없다. 이 경우 각 선택부(140)는 전송된 런렝스 데이터에 따라 각 카메라화상중 영역 ANE의 화상데이터만을 화상처리부(20B)에 전송한다.

또 제 1 실시예와 마찬가지로 화상처리부(20B)가 생성하는 합성화상의 종류에 따라 각 카메라화상의 선택동작을 바꾸는 것도 가능하다. 이 경우, 화상합성에 이용하는 매핑테이블이 바뀔때마다 영역지정부(290)가 화상합성에 필요한 영역을 나타내는 영역 데이터를 산출하고, 이 데이터를 전송선(15)을 통해 각 카메라의 선택부(140)에 전송하도록 구성하면 된다.

또는 각 매핑테이블에 대응한 영역 데이터를 영역지정부(290)에 미리 ROM 등에 의해 유지시켜 두어도 된다. 이 경우에는 전환신호를 영역지정부(290)에도 입력시키고, 매핑테이블의 전환과 동시에 영역 데이터의 전환을 영역지정부(290)에 실행시키면 된다. 이로 인하여 매핑테이블의 전환시마다 영역 데이터를 구하는 처리가 불필요하게 된다.

또 선택부(140)에 메모리를 설치하고, 이 메모리에 각 매핑테이블에 대응한 영역 데이터를 미리 기억시켜 두어도 된다. 이 경우에는 화상처리부(20B)는 매핑테이블의 전환마다 그 매핑테이블을 나타내는 ID만을 각 선택부(140)에 전송하는 것 만으로 된다. 또는 매핑테이블을 나타내는 ID를 화상처리부(20B)로부터 전송하는 대신 전환신호를 카메라부(10B)의 각 선택부(140)에도 입력시켜 매핑테이블의 전환과 함께 영역 데이터의 전환을 각 선택부(140)에 실행시키면 된다.

또 제 2 실시예를 제 3 실시예와 더불어 실현해도 된다. 즉 도 15에 나타내는 화상처리부(20B)에 제 2 실시예에 관한 판독제어부(270) 및 동기신호생성부(280)를 설치하여 카메라화상의 판독순서를 마찬가지로 제어해도 된다.

또 제 1∼3 실시예에서는 해상도 지정부(260) 또는 영역지정부(290)를 화상처리부(20, 20A, 20B)에 설치하는 구성으로 하였지만, 그 대신 해상도 지정부(260)와 동등한 수단을 카메라부(10, 10A)에 설치하거나, 영역지정부(290)와 동등한 수단을 카메라부(10B)에 설치해도 된다.

이 경우 화상처리부(20, 20A, 20B)는 합성화상의 종류를 바꿀때마다 매핑테이블(220)의 데이터를 전송 어댑터(250)로부터 전송선(15)을 통해 카메라부(10, 10A, 10B)에 전송하면 된다. 또는 카메라부(10, 10A, 10B)에 메모리를 설치하고 이 메모리에 각 매핑테이블에 대응한 해상도 데이터 또는 영역 데이터를 미리 기억시켜 두면, 화상처리부(20, 20A, 20B)는 합성화상의 종류를 바꿀때마다 이용하는 매핑테이블을 나타내는 ID만을 카메라부(10, 10A, 10B)에 전송하는 것만으로 된다. 또한 이 때 매핑테이블을 나타내는 ID를 화상처리부(20, 20A, 20B)로부터 전송하는 대신 전환신호를 카메라부(10, 10A, 10B)에도 입력시켜 해상도 데이터 또는 영역 데이터의 전환을 실행시켜도 된다.

또 제 2 실시예에 관한 판독제어부(270) 및 동기신호생성부(280)도 해상도 지정부(260)나 영역지정부(290)와 마찬가지로 카메라부(10, 10A, 10B)에 설치해도 된다.

또 제 1∼제 3 실시예에서는 화상합성을 위해 모든 카메라의 카메라화상이 이용되는 것으로 하였지만, 일부의 카메라만이 화상합성에 이용되는 경우도 있을 수 있다. 이러한 경우에는 해상도 지정이나 영역지정과 같은 데이터량 삭감형태의 지정은 화상합성에 이용하는 그 일부의 카메라에 대해서만 행하면 된다.

또 제 1∼제 3 실시예에서는 화상데이터 삭감수단으로서의 압축부(120)나 선택부(140)는 모든 카메라에 대하여 설치되어 있는 것으로 하였지만 일부 카메라에만 설치한 구성으로 해도 상관없다. 즉 압축부(120)나 선택부(140)를 갖는 카메라와 압축부(120)나 선택부(140)를 갖지 않는 카메라를 함께 설치해도 된다. 이 경우에는 해상도 지정이나 영역지정과 같은 데이터량 삭감형태의 지정은 압축부(120)나 선택부(140)를 갖고 또 화상합성에 이용하는 카메라에 대해서만 행하면 된다.

또 이상의 설명에서는 본 발명에 관한 감시 시스템은 차량에 적용하는 것으로 하였지만, 차량 이외의 이동체, 예컨대 비행기나 선박 등이더라도 마찬가지로 적용할 수 있다. 또 이동체 이외의 감시대상, 예컨대 점포, 주거, 쇼룸 등에 카메라를 설치해도 된다. 또 복수의 카메라의 설치위치나 대수는 여기서 나타낸 것에 한정되는 것은 아니다.

또 본 발명에 관한 감시 시스템의 기능은 그 전부 또는 일부를 전용 하드웨어를 이용하여 실현해도 상관없고, 소프트웨어로 실현해도 상관없다. 또 본 발명에 관한 화상처리장치의 기능의 전부 또는 일부를 컴퓨터에 실행시키기 위한 프로그램을 저장한 기록매체나 전송매체를 이용하는 것도 가능하다.

이상과 같이 본 발명에 의하면 복수의 카메라와 화상처리부 사이의 전송경로에는 합성화상과 각 카메라화상의 대응관계에 따라서 지정된 형태에 따라 삭감된 카메라화상의 화상데이터가 전송된다. 따라서 합성화상의 품질을 떨어뜨리는 일이 없이 전송되는 카메라화상의 데이터량을 대폭 삭감할 수 있다. 이로 인하여 전송선이나 무선에 의한 전송경로를 염가로 개수가 적게 실현하는 것이 가능하게 되어, 차량으로의 설치나 보수작업이 대폭 간소화된다. 또 화상처리부에 필요하게 되는 버퍼 메모리의 기억용량도 대폭 삭감된다. 화상데이터의 삭감은 화상합성에 필요하게 되는 해상도에 따른 압축이나 화상합성에 필요하게 되는 영역 이외의 화상데이터의 삭제에 의해 실현된다.

Claims

삭제
삭제
삭제
삭제
복수의 카메라를 갖는 카메라부와,

상기 카메라부로부터 출력된 카메라 화상의 화상데이터를 전송하는 전송경로와,

상기 전송경로를 통해 전송된 카메라 화상의 화상데이터를 입력으로 하고 이들의 화상데이터로부터 합성화상을 생성하는 화상처리부를 구비하며,

상기 카메라부는 상기 전송경로에 출력하는 화상데이터량을 삭감하기 위한 화상데이터 삭감수단을 구비하고,

상기 카메라부 또는 화상처리부는 상기 화상데이터 삭감수단에 대하여 상기 합성화상과 카메라 화상의 대응관계에 따라서 화상합성에 이용하는 카메라 화상의 데이터량 삭감형태를 지정하는 삭감형태 지정수단을 구비하며,

상기 삭감형태 지정수단은 화상합성에 이용하는 카메라 화상에 대하여 합성화상생성을 위해 필요하다고 상정되는 영역을 지정하는 영역지정부를 갖고,

상기 화상데이터 삭감수단은 화상합성에 이용하는 카메라화상의 화상데이터로부터 상기 영역지정부에 의해 지정된 영역 이외의 영역의 화상데이터를 삭제하는 것을 특징으로 하는 감시 시스템.
복수의 카메라를 갖는 카메라부와,

상기 카메라부로부터 출력된 카메라 화상의 화상데이터를 전송하는 전송경로와,

상기 전송경로를 통해 전송된 카메라 화상의 화상데이터를 입력으로 하고 이들의 화상데이터로부터 합성화상을 생성하는 화상처리부를 구비하며,

상기 카메라부는 상기 전송경로에 출력하는 화상데이터량을 삭감하기 위한 화상데이터 삭감수단을 구비하고,

상기 카메라부 또는 화상처리부는 상기 화상데이터 삭감수단에 대하여 상기 합성화상과 카메라 화상의 대응관계에 따라서 화상합성에 이용하는 카메라 화상의 데이터량 삭감형태를 지정하는 삭감형태 지정수단을 구비하며,

상기 각 카메라는 화상데이터의 판독순서가 제어 가능하게 구성되어 있고,

상기 카메라부 또는 화상처리부는 화상합성에 이용하는 카메라의 화상데이터의 판독순서를 상기 삭감형태 지정수단에 의해 지정된 데이터량 삭감형태에 따라 제어하는 판독제어부를 구비하고 있는 것을 특징으로 하는 감시 시스템.
복수의 카메라를 갖는 카메라부와,

상기 카메라부로부터 출력된 카메라 화상의 화상데이터를 전송하는 전송경로와,

상기 전송경로를 통해 전송된 카메라 화상의 화상데이터를 입력으로 하고 이들의 화상데이터로부터 합성화상을 생성하는 화상처리부를 구비하며,

상기 카메라부는 상기 전송경로에 출력하는 화상데이터량을 삭감하기 위한 화상데이터 삭감수단을 구비하고,

상기 카메라부 또는 화상처리부는 상기 화상데이터 삭감수단에 대하여 상기 합성화상과 카메라 화상의 대응관계에 따라서 화상합성에 이용하는 카메라 화상의 데이터량 삭감형태를 지정하는 삭감형태 지정수단을 구비하며,

상기 복수의 카메라는 차량에 설치되어, 당해 차량의 주위를 촬영하는 것을 특징으로 하는 감시 시스템.