KR20180075402A

KR20180075402A - 화상 처리 장치 및 반도체 장치

Info

Publication number: KR20180075402A
Application number: KR1020170175903A
Authority: KR
Inventors: 도시유끼 가야; 세이지 모찌즈끼; 가쯔시게 마쯔바라; 료지 하시모또; 렌 이마오까
Original assignee: 르네사스 일렉트로닉스 가부시키가이샤
Priority date: 2016-12-26
Filing date: 2017-12-20
Publication date: 2018-07-04
Also published as: JP2018107588A; CN108243336A; TW201835850A; EP3340631A1; US20180184080A1

Abstract

카메라 또는 그의 영상이 전달되는 경로(카메라 입력)를 구비한 시스템에서는 카메라 입력의 고장을 검출할 수 있는 것을 과제로 한다.
화상 처리 장치는 입력 화면의 해시값을 계산하는 연산기와 상기 해시값을 기억하는 기억 회로를 갖는 해시 도출 회로를 구비한다. 화상 처리 장치는 복수 프레임 간에서 상기 해시를 비교함으로써, 화면이 변화하였는지, 정지하였는지를 판단하여, 정지한 경우에 고장으로서 검출한다.

Description

화상 처리 장치 및 반도체 장치 {IMAGE PROCESSOR AND SEMICONDUCTOR DEVICE}

본 개시는 화상 처리 장치에 관한 것이며, 예를 들어 카메라 화상을 입력하는 화상 처리 장치에 적용 가능하다.

차량의 선진 운전 지원 시스템(ADAS: Advanced Driver Assistance System)에서는, 카메라로부터 입력된 화상으로부터 차량 주행 중에 보행자나 장해물 등을 검지하고, 운전자의 운전을 지원하는 시스템이 연구ㆍ개발되어 있다. 또한, 이러한 기술은 자율 운전의 실현에도 필수이다.

일본 특허 공개 제2001-36927호 공보

예를 들어, 전술한 시스템 등, 카메라 또는 그의 영상이 전달되는 경로(이하, 카메라 입력이라고 함)를 구비한 장치나 시스템에 있어서 카메라 입력의 고장 검출을 행하는 것이 극히 중요한 기능이며, 과제이다.

그 밖의 과제와 신규의 특징은, 본 명세서의 기술 및 첨부 도면으로부터 밝혀질 것이다.

본 개시 중, 대표적인 것의 개요를 간단하게 설명하면, 하기와 같다.

즉, 화상 처리 장치는, 복수의 입력 화면의 해시값을 구하거나, 복수의 입력 화면의 히스토그램 데이터를 구하거나 하여, 고장 검출을 행한다.

상기 반도체 장치에 따르면, 카메라 입력의 고장을 검출할 수 있다.

도 1은, 실시 형태에 관한 ADAS 시스템 구성의 구성을 도시하는 블록도이다.
도 2는, 도 1의 화상 처리 장치의 구성을 도시하는 블록도이다.
도 3은, 고착 고장의 개략을 설명하기 위한 도면이다.
도 4는, 실시예에 관한 화상 처리 장치의 구성을 도시하는 블록도이다.
도 5는, 고장 검출 방법의 개략을 설명하기 위한 도면이다.
도 6은, 도 4의 CPU에서 동작하는 제어 프로그램에서 행하는 고장 판정의 흐름도이다.
도 7은, 화상 프레임과 매크로 블록의 관계를 설명하기 위한 도면이다.
도 8은, 비디오 부호화에 있어서의 화면 내 예측과 화면 간 예측의 개요를 도시하는 도면이다.
도 9는, I 픽처, P 픽처, B 픽처의 시간적인 부호화의 모습을 도시하는 도면이다.
도 10은, 도 4의 비디오 부호화 회로의 구성을 도시하는 블록도이다.
도 11은, 도 10의 해시 도출 회로의 구성을 도시하는 블록도이다.
도 12는, 도 10의 해시 연산기의 동작을 설명하기 위한 도면이다.
도 13은, 도 11의 해시 도출 회로의 1화면의 데이터 처리 순서를 설명하기 위한 도면이다.
도 14는, 1화소당 10비트 심도의 데이터 취급을 설명하기 위한 도면이다.
도 15는, 변형예 1에 관한 해시 도출 회로의 구성을 도시하는 블록도이다.
도 16은, 도 15의 해시 도출 회로의 1화면의 데이터 처리 순서를 설명하기 위한 도면이다.
도 17a는, 변형예 2에 관한 화소 데이터를 둥글게 하여(rounding) 애매함을 부여하는 방법을 설명하기 위한 도면이다.
도 17b는, 변형예 2에 관한 화소 데이터를 둥글게 하여 애매함을 부여하는 방법을 설명하기 위한 도면이다.
도 18은, 과거 3화면 이상의 화면으로부터 고장 판정을 행하는 경우의 흐름도이다.
도 19는, 과거 5화면 내에 동일한 화면이 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다.
도 20은, 3화면 연속으로 동일한 화면이 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다.
도 21은, 동일한 화면 조합이 반복하여 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다.
도 22는, 변형예 4에 관한 해시 도출 회로의 구성을 도시하는 블록도이다.
도 23은, 화면을 수직 방향으로 n개의 영역으로 분할하는 예를 설명하기 위한 도면이다.
도 24는, 변형예 5에 관한 해시 도출 회로의 구성을 도시하는 블록도이다.
도 25는, 변형예 6에 관한 해시 도출 회로의 구성을 도시하는 블록도이다.
도 26은, 화면의 어떠한 개소가 일정한 화소값으로 고정된 고장의 모습을 설명하기 위한 도면이다.
도 27은, 화소값 히스토그램에 의해 고장 판정하는 개념도이다.
도 28은, 실시예 2에 관한 히스토그램 도출 회로의 구성을 도시하는 블록도이다.
도 29는, 화소값 히스토그램에 의해 고장 판정하는 경우의 흐름도이다.
도 30은, 도 4의 비디오 부호화 회로의 다른 구성예를 도시하는 블록도이다.

이하, 실시 형태 및 실시예에 대하여, 도면을 사용하여 설명한다. 단, 이하의 설명에 있어서, 동일 구성 요소에는 동일 부호를 붙여 반복적인 설명을 생략하는 경우가 있다.

도 1은 실시 형태에 관한 ADAS 시스템의 구성을 도시하는 블록도이다. ADAS 시스템(1)은 카메라 장치(2)와 화상 처리 장치(3)와 제1 표시 장치(4)와 네트워크(5)와 영상ㆍ정보 처리 장치(6)와 제2 표시 장치(7)를 구비한다. 카메라 장치(2)로부터 입력한 영상을 화상 처리 장치(3)가 처리를 행하여, 제1 표시 장치(4)에 영상을 표시함과 함께 네트워크(5)에 영상 신호를 출력한다. 네트워크(5)의 후단의 영상ㆍ정보 처리 장치(6)에서는, 전송된 영상 신호를 그대로, 또는 다른 센서로부터의 정보와 통합하여, 제2 표시 장치(7)에 표시한다.

네트워크(5)의 후단의 영상ㆍ정보 처리 장치(6)에서는, 예를 들어 전송된 부호화 영상 신호를 복호하여 표시하거나, 또 다른 센서로부터의 정보와 통합하여 영상 가공하거나 하는 것을 행한다.

도 2는 도 1의 화상 처리 장치의 구성을 도시하는 블록도이다. 도 2에서는 기능 블록에 착안하여 예시하고, 제어용의 CPU나 그의 주기억 장치 등은 생략되어 있다. 화상 처리 장치(3)는 영상 신호 처리 회로(31)와 표시 처리 회로(32)와 비디오 부호화 회로(33)와 네트워크 전송 회로(34)를 구비한다. 영상 신호 처리 회로(31)는 카메라 신호 처리 회로(311)와 화상 인식 회로(312)와 그래픽 처리 회로(313)를 구비한다. 화상 처리 장치(3)의 기능으로서는 여러 가지가 있지만, 예를 들어 차 밖 영상으로부터 백선 검지나 장해물 검지를 행하여 정보를 영상에 중첩하여 표시하는 등의 일을 행한다. 카메라 장치(2)로부터 입력한 신호를 카메라 신호 처리 회로(311)에서 영상 신호화하고, 화상 인식 회로(312) 및 그래픽 처리 회로(313)에서 여러 가지의 검지 처리 및 영상 중첩 등을 행하고, 표시 처리 회로(32)에서 제1 표시 장치(4)에 출력한다. 또한, 네트워크 전송의 데이터양 삭감을 위해 영상을 부호화하여 출력하는 일도 행한다. 그래픽 처리 회로(313)의 출력 화상을 비디오 부호화 회로(33)에서 부호화ㆍ압축하여, 네트워크 전송 회로(34)가 네트워크(5)로 출력한다.

이러한 시스템에서는 카메라 입력의 고장을 검출할 수 있는 것이 극히 중요한 기능이다.

카메라 입력에서의 고장은 여러 가지의 타입이 고려되는데, 그 대표적인 하나로서 화면 고착이 있다. 즉, 물리적 또는 시스템적인 어떠한 요인에 의해, 동일한 화면이 복수 프레임 기간 계속해서, 화면이 정지하고 있는 것 같이 보이는 고장이다. 도 3은 화면 고착의 개략도이며, 위에 정상 상태를 도시하고, 아래에 이상 상태(화면 고착 상태)를 도시한다. 정상 상태에서는 화면 G0 내지 G6에 있어서 화면이 변화하고 있다. 그러나, 이상 상태에서는 화면 G0 내지 G2에 있어서 화면은 변화하지만, 화면 G3 내지 G6에 있어서 화면이 동일하게 되어, 화면 고착 상태로 되어 있다.

실시 형태에서는, 이 화면 고착 고장을 간편한 방법으로 검출하는 구성 및 방법을 제공한다. 즉, 실시 형태에서는, 복수의 입력 화면의 해시값을 구하거나, 복수의 입력 화면의 히스토그램 데이터를 구하거나 하여, 고장 검출을 행한다. 예를 들어, 복수 화면분의 해시값을 도출ㆍ보존하고, 복수 픽처 간에서 비교함으로써 화면이 정지하고 있는 것 같은 고장을 검출할 수 있다. 이에 의해, 카메라 고장이 흑색 화면 또는 일정 색의 균일한 화면 이외의 고장 패턴도 검출할 수 있다. 카메라 영상을 처리하여 표시 또는 부호화 전에 고장을 검출함으로써, 카메라 장치 및 영상 전달 경로 중 어느 것에서 일어나는 고장을 검출할 수 있다.

실시 형태의 일례에 대하여 실시예 및 변형예를 사용하여 설명한다. 또한, 실시예 등의 구성은 실시 형태를 설명하기 위한 일례이며 상이한 구성이어도 된다.

<실시예>

실시예에서는, 도 2에 도시한 화상 처리 장치 내의 비디오 부호화 회로 및 그의 제어 프로그램에 의해 고착 고장 검출을 행한다.

도 4는 비디오 부호화 회로에 착안한 화상 처리 장치의 구성을 도시하는 블록도이다. 화상 처리 장치(3)는, 영상 신호 처리 회로(31)와, 비디오 부호화 회로(33)와, 네트워크 전송 회로(34)와, CPU(35)와, 메모리(36)와, CPU 버스(37)와, 메모리 버스(38)를 구비한다. 도 2의 카메라 신호 처리 회로(311), 화상 인식 회로(312), 그래픽 처리 회로(313)를 종합하여 영상 신호 처리 회로(31)로 나타내고, 표시 처리 회로(32)는 생략되어 있다. 도 2에서 생략되어 있던 CPU(35)와 메모리(36)를 도시하고 있다. 카메라 장치(2)로부터 입력된 신호는 영상 신호 처리 회로(31)에서 처리된 후, 비디오 부호화 회로(33)에 입력되어 부호화ㆍ압축되고, 네트워크 전송 회로(34)에 입력되어 네트워크(5)로 출력된다. 각 회로의 사이의 데이터 전송은 메모리 버스(38) 및 메모리(36)를 통하여 행해진다. CPU(35)에서 동작하는 프로그램은 메모리(36)에 저장되고, CPU(35)가 CPU 버스(37)를 통하여 각 회로를 제어한다. 화상 처리 장치(3)는 하나 또는 복수의 반도체 칩을 포함하는 반도체 장치이다. 예를 들어, 영상 신호 처리 회로(31)와 표시 처리 회로(32)와 비디오 부호화 회로(33)와 네트워크 전송 회로(34)와 CPU(35)와 CPU 버스(37)와 메모리 버스(38)는 하나의 반도체 칩을 포함하고, 메모리(36)는 하나 또는 복수의 SDRAM 등의 반도체 메모리 칩을 포함한다. 화상 처리 장치(3)는 하나 또는 복수의 반도체 칩을 하나의 패키지에 밀봉하여 구성되어도 된다.

도 5는 고장 검출의 개요를 도시하는 도면이다. 고착 검출 처리는 비디오 부호화 회로(33)에 구비하는 회로와 CPU(35) 상에서 동작하는 비디오 부호화 회로(33)의 제어 프로그램에 의해 실현된다. 입력 화면의 화면 G0으로부터 화면 G4가 순차적으로 비디오 부호화 회로(33)에 입력되고, 그 중 화면 G3과 화면 G4가 고착되어 있는 상태를 예시하고 있다. 비디오 부호화 회로(33)에서는, 입력 화면의 프레임마다의 해시값을 도출한다. 여기서, H0 내지 H4는 각각 화면 G0 내지 G4의 해시값이다. CPU(35) 상의 프로그램은 도출된 해시값을 프레임마다 판독하고, 전후 2프레임분에서 해시값의 비교를 행한다. 전후 2프레임에서 해시값의 변화가 있는 경우에는 입력 화면에 변화가 있다고 간주하고, 정상으로 판정한다. 한편, 전후 2프레임에서 해시값이 동일한 경우에는 입력 화면이 변화하지 않았다고 간주하고, 고착 고장이라고 판정한다. 도 5에서는 H0 내지 H3이 변화하지만, H3과 H4가 동일하게 되고, 고착 고장이 검출된다.

여기서, 해시값은 입력 데이터에 의존하여 산출할 수 있는 비트열이며, 동일한 입력 데이터로부터는 동일한 값이 얻어지고, 상이한 입력으로부터는 상이한 값이 얻어짐을 특징으로 하고 있다. 일반적으로 여러 가지의 해시 함수가 존재한다. 예를 들어 IETF RFC 1321(참고 문헌 1)로서 공개되어 있는 MD5(Message Digest 5)나 IETF RFC 3174(참고 문헌 2), SHA-1 등이 알려져 있다. 본 실시예에서 사용하는 해시 알고리즘은 한정되지 않는다. 또한, 순회 용장 검사(CRC: Cyclic Redundancy Check) 등의 오류 검출 부호도 사용 가능하다.

[참고 문헌 1]

R. Rivest, "The MD5 Message-Digest Algorithm", April 1992, Network Working Group Request for Comments: 1321, [2016년 9월 5일 검색], 인터넷(URL: https://tools.ietf.org/html/rfc1321)

[참고 문헌 2]

D. Eastlake, 3rd et.al., "US Secure Hash Algorithm 1(SHA1)", September 2001, Network Working Group Request for Comments: 3174 Category: Informational, [2016년 9월 5일 검색], 인터넷(URL: https://tools.ietf.org/html /rfc3174)

도 6은 CPU 상의 프로그램에 의해 행하는 고장 판정의 흐름도이다. 고장 검출 회로인 CPU(35)는, 부호화 완료된 전화면의 해시값과 부호화 중의 현화면의 해시값을 비교하여, 동일한 경우에 고착 고장 검출로 판정하여, 고장 검출 시 처리를 행한다. 또한, 고장 검출 시 처리에 대해서는, 예를 들어 당해 화면을 송신하지 않고 다음 화면의 처리로 복귀하거나 알람으로 알리거나 하는 처리 등이 고려된다. 이하, 각 스텝에 대하여 설명한다.

스텝 S1: CPU(35)는 하기와 같이 변수의 초기화를 행한다.

화면 번호: n=0

전화면 해시 보존 변수: PrevHashVar=0

현화면 해시 보존 변수: CurrHashVar=0

스텝 S2: CPU(35)는 제어 회로(331)에 지시함으로써, 비디오 부호화 회로(33)에 비디오 부호화를 개시시킨다(StartVideoEncode(화면 Gn)).

스텝 S3: CPU(35)는 비디오 부호화 회로(33)로부터의 비디오 부호화 완료를 검지한다(DetectVideoEncodeEnd(화면 Gn)). 또한, 제어 회로(331)는 비디오 부호화 완료를 나타내는 신호를 출력하거나, 또는 플래그를 세트하거나, 인터럽트 요구를 출력한다.

스텝 S4: CPU(35)는 전화면 G(n-1)의 해시값을 CPU 내의 레지스터에 저장한다(PrevHashVar=CurrHashVar).

스텝 S5: CPU(35)는 부호화 완료 화면 Gn의 해시값을 비디오 부호화 회로(33)로부터 판독한다(CurrHashVar=Read(Hash Gn)). 여기서, 부호화 완료 화면 Gn의 해시값이란, 부호화가 완료된 화면 Gn의 입력 화면의 해시값이다.

스텝 S6: CPU(35)는 선두 화면인지 여부를 판단한다(n==0?). "아니오"인 경우에는 스텝 S7로 이행하고, "예"인 경우에는 스텝 S8로 이행한다.

스텝 S7: CPU(35)는 현화면의 해시값이 전화면의 해시값과 동일한지 여부를 판단한다(PrevHashVar=CurrHashVar?). "아니오"(변화)인 경우에는 스텝 S8로 이행하고, "예"(동일)인 경우에는 스텝 S9로 이행한다.

스텝 S8: CPU(35)는 화면 번호를 갱신하고(n++), 스텝 S2로 복귀된다.

스텝 S9: CPU(35)는 고착 고장을 검출한다.

스텝 SA: CPU(35)는 고장 검출 시의 처리를 행한다.

이어서, 비디오 부호화 회로에서 행하는 비디오 부호화에 대하여 설명한다. 도 7은 화면 프레임을 매크로 블록으로 분할한 모습을 도시하는 도면이다. 도 8은 비디오 부호화에 있어서의 화면 내 예측과 화면 간 예측의 개요를 도시하는 도면이다. 도 9는 I 픽처, P 픽처, B 픽처의 시간적인 부호화의 모습을 도시하는 도면이다.

비디오 부호화 회로에서 행하고 있는 비디오 부호화란, MPEG, H.264, H.265 등의 규격으로 알려진 비디오 압축 처리이다. 본 실시 형태는 어느 규격에도 적용할 수 있지만, 본 실시예에서는 편의상 H.264에 입각하여 설명을 행한다. 주로 화면을 바둑판눈상으로 분할한 직사각형 블록 단위로 순차 처리가 행해진다. 단위 블록에 대해서는 규격에 따라 여러 가지의 명칭으로 불리지만, 여기서는 「매크로 블록」이라고 칭한다. 도 7에 도시하는 바와 같이, 화면 좌측 상단으로부터 우측 하단으로 래스터순으로 매크로 블록을 처리해 간다. 화면이 YCbCr 4:2:0 포맷인 경우, 하나의 매크로 블록은 16×16화소의 휘도 Y와 8×8화소의 색차 Cb, 8×8화소의 색차 Cr의 3개의 컴포넌트의 조를 포함한다.

비디오 부호화에서는 화면 내 예측, 화면 간 예측과 같은 기술이 이용된다. 도 8에 도시하는 바와 같이, 비디오 부호화에는 3개 타입의 부호화 모드가 있다. I 픽처 부호화에서는, 동일 화면 내의 부호화 완료 위치의 매크로 블록으로부터 부호화 대상의 매크로 블록을 예측하는 화면 내 예측을 행한다. P 픽처 부호화에서는, 부호화 완료된 다른 화면으로부터 부호화 대상의 매크로 블록을 예측하는 화면 간 예측을 행한다. B 픽처 부호화에서는, 부호화 완료된 2개의 화면으로부터 화면 간 예측을 행한다. 여기서 「예측」은, 간단하게 말하면, 부호화 대상의 매크로 블록과 닮은 화면을 찾아 결정함으로써, 그 예측 화면과 차분을 취함으로써 압축률을 높일 수 있다. 화면 간 예측에서 예측에 사용되는 부호화 완료된 다른 화면을 「참조 화면」이라고 칭한다. 또한, P 픽처, B 픽처에서도 화면 내 예측도 사용된다.

도 9에 도시하는 바와 같이, 기간 4의 P 픽처인 P4에 대해서는, 참조 화면인 기간 2의 P 픽처의 P2로부터 화면 예측이 행해진다. 기간 5의 B 픽처인 B3에 대해서는 P2와 P4의 2개의 참조 화면으로부터 화면 예측이 행해진다. 마찬가지로, 기간 (2n)의 P 픽처인 P(2n)에 대해서는, 참조 화면인 기간 (2n-2)의 P 픽처의 P(2n-2)로부터 화면 예측이 행해진다. 기간 (2n+1)의 B 픽처인 B(2n-1)에 대해서는 P(2n-2)와 P(2n)의 2개의 참조 화면으로부터 화면 예측이 행해진다.

이어서, 비디오 부호화 회로의 구성에 대하여 도 10을 사용하여 설명한다. 도 10은 도 4의 비디오 부호화 회로의 구성을 도시하는 블록도이다. 비디오 부호화 회로(33)는, 제어 회로(331)와, 메모리 인터페이스 회로(332)와, 화면 예측 회로(333)와, 화면 부호화 회로(334)와, 엔트로피 부호화 회로(335)와, 국소 화면 복호 회로(336)와, 해시 도출 회로(33F)를 구비한다.

제어 회로(331)는, CPU 버스(37)와의 인터페이스에 의해 CPU(35)와의 통신을 행하는 것과, 비디오 부호화 회로(33)의 각 회로의 제어를 행한다. 메모리 인터페이스 회로(332)는, 메모리 버스(38)와의 인터페이스에 의해 비디오 부호화 회로(33)의 외부의 메모리(36)와의 데이터 입출력을 행한다. 화면 예측 회로(333)는 입력 화면과 참조 화면(시간적으로 과거의 국소 복호 화면, 국소 복호 화면에 대해서는 후술함)으로부터 화면 내 예측 또는 화면 간 예측을 행한다. 화면 부호화 회로(334)에서는 예측 화면과의 차분 계산, 주파수 공간으로의 변환, 양자화 등을 행하여 데이터양 압축한 계수열을 도출한다. 엔트로피 부호화 회로(335)에서는 화면 부호화 회로(334)로부터의 계수열을 가변 길이 부호나 산술 부호 등의 기술을 이용하여 부호화 비트열을 생성한다. 부호화 비트열이 비디오 부호화 회로(33)의 출력이며, 메모리(36)에 보존된다. 한편, 국소 화면 복호 회로(336)에서는, 화면 부호화 회로(334)의 역변환을 행하여, 화면의 복호를 행한다. 복호된 화면(국소 복호 화면)은 메모리(36)에 보존되고, 다음 화면 이후의 참조 화면으로서 이용된다. 비디오 부호화 회로(33)의 각 회로는 매크로 블록 단위로 처리를 행한다. 각 회로의 사이에는 각각 수 매크로 블록분의 데이터를 축적하는 데이터 버퍼(337, 338, 339, 33A, 33B, 33C, 33D, 33E)가 있는 구성을 취한다. 데이터 버퍼(337, 339)는 입력 화면 화소 데이터를 저장하고, 데이터 버퍼(338, 33A)는 참조 화면 화소 데이터를 저장하고, 데이터 버퍼(33B, 33D)는 부호화의 중간 데이터를 저장하고, 데이터 버퍼(33E)는 국소 복호 화면 화소 데이터를 저장하고, 데이터 버퍼(33C)는 부호화 비트열 데이터를 저장한다. 데이터 버퍼(337) 내의 입력 화상 데이터는 화면 예측 회로(333)를 통과하여 데이터 버퍼(339)에 저장된다.

비디오 부호화 회로(33)는 고착 검출용 회로인 해시 도출 회로(33F)를 구비하고, 해시 도출 회로(33F)는, 화면 부호화 회로(334)에 입력되는 입력 화면의 데이터를 입력하여, 입력 화면을 일의적으로 나타내는 해시값을 도출하는 회로이다. 도출된 해시값은 제어 회로(331)를 통하여 CPU(35)로부터 판독 가능하다.

이어서, 비디오 부호화 회로에서 행하는 해시 도출에 대하여 도 11 내지 도 13을 사용하여 설명한다. 도 11은 도 10의 해시 도출 회로의 구성을 도시하는 블록도이다. 도 12는 도 10의 해시 연산기의 동작을 설명하는 도면이다. 도 13은 1화면의 데이터 처리순을 도시하는 도면이다.

도 11은 해시 도출 회로를 도시하는 블록도이다. 해시 도출 회로(33F)는, 데이터 버퍼(339)로부터 화소 데이터를 취득하는 화소 데이터 취득 회로(33F1)와, 해시 연산을 행하는 해시 연산기(33F2)와, 도출한 해시값을 기억하는 해시 기억 회로(33F3)를 구비하고, 입력 화면용의 데이터 버퍼(339)로부터 입력 화면의 화소 데이터를 순차 입력하고, 해시 연산을 행한다. 해시 기억 회로(33F3)는 예를 들어 레지스터를 포함한다.

해시 도출 회로(33F)는, 비디오 부호화 회로(33)의 다른 회로 블록과 동기하여 매크로 블록 단위로 처리를 행한다. 해시 연산기(33F2)는 해시 함수로서 MD5를 사용한다. 도 12에 도시하는 바와 같이, MD5에서는 512비트의 입력 데이터를 바탕으로, 어떠한 알고리즘에 따라 64회의 순차 계산을 행한다. 즉 도면 중의 i=0에서부터 63까지의 루프로 된다. 도면 중의 A, B, C, D는 각 32비트의 변수이며, A[i+1], B[i+1], C[i+1], D[i+1]을 비트 결합한 것이 128비트의 해시로 된다. 입력은, 입력 화면용 데이터 버퍼에 저장된 매크로 블록 데이터로부터 순차적으로 512비트를 공급한다. 도면의 예에서는 1화소당 8비트의 휘도 매크로 블록을 가정하고 있고, 8×8화소의 합계 64화소 단위로 해시 연산을 행하는 것을 도시하고 있다. 좌측 상단의 휘도 Y0으로부터 휘도 Y1, 휘도 Y2, 휘도 Y3, 색차 Cb, 색차 Cr로 순차 처리를 행하여 색차 Cr의 처리가 끝난 시점에서 당해 매크로 블록의 처리는 완료로 된다. 이것을 화면 내의 전체 매크로 블록에 대하여, 앞의 매크로 블록의 결과를 다음의 매크로 블록의 해시 도출에 사용하고, 결과를 이어받으면서 처리를 행해 간다.

도 13의 상측에 도시하는 화면 프레임에 기재한 화살표에 나타내는 바와 같이, 1화면의 데이터 처리는, 제0 매크로 블록, 제1 매크로 블록, 제2 매크로 블록, …, 으로 매크로 블록 처리순에 따라 순차 실행되고, 화면 우측 하단의 매크로 블록이 완료되었을 때 최종의 해시값을 도출하는 연산을 행하여 완료로 된다. 최종의 해시값은 도 11의 해시 기억 회로(33F3)에 저장되고, CPU(35)로부터 판독된다. 또한, 여기서 나타낸 데이터의 입력 순서는 일례이다.

도 12에서 도시하는 바와 같이, 해시 연산은 종전의 해시값을 순차 갱신해 가는 처리로 된다. 따라서, 종전의 해시값을 보존하여 다음 회의 루프에 사용하는 구성으로 하는 것이 고려된다. 도 12에서는 A[i+1], B[i+1], C[i+1], D[i+1]이 그것에 해당된다. 도 11의 해시 기억 회로(33F3)와 해시 연산기(33F2) 내의 종전의 해시를 보존하는 기억을 공유하도록 해도 된다.

실시예에 따르면, 2화면분의 해시값을 도출ㆍ보존하고, 2개의 화면 간에서 비교함으로써 화면이 정지하고 있는 것 같은 고장을 검출할 수 있다. 데이터 출력 직전에 배치되는 비디오 부호화부에 해시값 도출 회로를 설치함으로써, 카메라 입력계 전체 중 어느 것에서 일어나는 고장을 검출할 수 있다.

<변형예>

이하, 대표적인 변형예에 대하여, 몇가지를 예시한다. 이하의 변형예의 설명에 있어서, 상술한 실시예에서 설명되고 있는 것과 마찬가지의 구성 및 기능을 갖는 부분에 대해서는, 상술한 실시예와 마찬가지의 부호가 사용될 수 있는 것으로 한다. 그리고, 이러한 부분의 설명에 대해서는, 기술적으로 모순되지 않는 범위 내에 있어서, 상술한 실시예에 있어서의 설명이 적절히 원용될 수 있는 것으로 한다. 변형예가 상술한 실시예의 일부의 구성의 변형인 경우에는, 상술한 실시예의 다른 구성과 변형예가 조합된다는 것은 말할 필요도 없다. 또한, 상술한 실시예의 일부, 및 복수의 변형예의 전부 또는 일부가, 기술적으로 모순되지 않는 범위 내에 있어서, 적절히 복합적으로 적용될 수 있다.

(변형예 1)

도 11, 도 12, 도 13의 실시예에서는, 1화면의 휘도 Y, 색차 Cb, 색차 Cr을 모두 시퀀셜하게 처리하는 예를 도시하였다. 해시 연산의 특징으로서 연산을 직렬로 행할 필요가 있고 병렬화는 불가능하기 때문에, 1화면의 전체 데이터를 직렬로 처리하기 위해서는 실행 시간이 걸리게 된다. 기존의 부호화 처리의 실행 시간을 은폐할 수 없는 경우, 문제가 될 가능성이 있다. 또한, 1화소당 8비트의 데이터로 설명하였지만, 예를 들어 1화소당 10비트나 12비트의 신호로 사용되는 것도 상정된다. 이 경우, 10비트를 16비트(2바이트)로 확장하여 처리하는 일이 많고, 보다 해시 연산에서 직렬 처리하는 데이터양이 많아져, 실행 시간의 문제가 보다 현저하게 나타나게 된다.

1화소당 10비트의 데이터를 분할하여 병렬 실행하는 예에 대하여 도 14 내지 도 16을 사용하여 설명한다. 도 14는 10비트 신호를 16비트로 확장하는 예를 도시하는 도면이다. 도 15는 변형예 1에 관한 해시 도출 회로를 도시하는 블록도이다. 도 16은 1화소당 10비트일 때의 데이터 처리 순서의 예를 도시하는 도면이다.

우선, 10비트 신호를 16비트로 확장하는 예를 설명한다. 10비트에 6비트의 "0'을 확장하는 방법도 고려되지만, 해시 연산의 결과의 값의 일의성이 손상될 확률이 높아지기 때문에, 도 14에 도시하는 바와 같이 원래의 10비트의 하위 6비트를 결합하는 방법을 취한다. 휘도에서는 확장 후 16비트의 상위 8비트를 YH, 하위 8비트를 YL로서 취급하게 한다. 색차에서는 16비트를 C로서 취급한다. 또한, 12비트 신호를 16비트로 확장하는 경우에는, 원래의 12비트의 하위 4비트를 결합한다. 즉, 화소 데이터가 1바이트보다 길고 2바이트보다 짧은 경우, 2바이트보다 짧은 부분의 데이터에 원래의 데이터의 하위측의 데이터를 할당 결합하여 화소 데이터를 2바이트로 확장한다. 이에 의해, 해시 연산의 결과의 값의 일의성이 손상되는 확률을 저감할 수 있다.

도 15에 도시하는 바와 같이, 해시 도출 회로(33FA)는, 제1 해시 연산기(33F2_1)와 제1 해시 기억 회로(33F3_1), 제2 해시 연산기(33F2_2)와 제2 해시 기억 회로(33F3_2), 제3 해시 연산기(33F2_3)와 제3 해시 기억 회로(33F3_3)의 조를 3개 구비한다. 제1 해시 기억 회로(33F3_1), 제2 해시 기억 회로(33F3_2) 및 제3 해시 기억 회로(33F3_3) 중 어느 하나가 셀렉터(33F4)에 의해 선택되고, 해시값이 CPU(35)에 의해 판독된다. 이에 의해, 3조의 해시 도출을 병렬화할 수 있다. 즉, 제1 해시 연산기(33F2_1)에서는 YH의 데이터, 제2 해시 연산기(33F2_2)에서는 YL의 데이터, 제3 해시 연산기(33F2_3)에서는 C의 데이터로 함으로써, 1화면 완료 시에 3개의 해시값을 얻을 수 있다. 각각의 해시 연산기가 취급하는 데이터양은 거의 3등분이 되기 때문에, 실행 시간의 단축이 가능하여 문제 해결로 된다.

도 16에 도시하는 바와 같이, 휘도 Y는 16비트를 상하 8비트로 분할하고 있기 때문에 YH 블록(휘도 YH0, 휘도 YH1, 휘도 YH2, 휘도 YH3)과 YL 블록(휘도 YL0, 휘도 YL1, 휘도 YL2, 휘도 YL3)으로 나타내고 있다. 한편, 색차 Cb 및 색차 Cr은 각각 16비트 데이터로 되어 있기 때문에, 도 13에 비하여 가로 폭 2배의 블록으로 나타내고 있다. 제1 해시 연산기(33F2_1), 제2 해시 연산기(33F2_2) 및 제3 해시 연산기(33F2_3)의 각 해시 연산기가 취급하는 데이터양은 3등분으로 된다. 제1 해시 연산기(33F2_1)는 각 매크로 블록의 휘도 YH0, 휘도 YH1, 휘도 YH2, 휘도 YH3의 순으로 처리하고, 제2 해시 연산기(33F2_2)는 각 매크로 블록의 휘도 YL0, 휘도 YL1, 휘도 YL2, 휘도 YL3의 순으로 처리하고, 제3 해시 연산기(33F2_3)는 각 매크로 블록의 색차 Cb, 색차 Cr의 순으로 처리한다.

1화면 처리 후에 얻어지는 3개의 해시값은 CPU(35) 상의 프로그램에 의해 각각 독립적으로 전화면과의 비교에 의한 고장 검출을 행한다. 이에 의해 분할한 영역 단위로 고장 검출이 가능하게 되고, 고장 개소의 특정이 가능하게 된다. 또한, 3개의 해시값은 가산이나 배타적 논리합 등으로 하나의 데이터로서 취급해도 된다.

이상은 화소 데이터의 비트의 상위와 하위로 나누는 예를 나타내었지만, 화소 데이터의 순서로 나누는 예도 고려된다. 예를 들어 연속되는 3화소를 동시에 입력할 수 있는 것으로 하여, 그 3화소를 화소 (3m), 화소 (3m+1), 화소 (3m+2)로 한 경우, 화소 (3m)을 제1 해시 연산기(33F2_1), 화소 (3m+1)을 제2 해시 연산기(33F2_2), 화소 (3m+2)를 제3 해시 연산기(33F2_3)로 할당하여 병렬 처리하는 것도 고려된다(여기서 m=0, 1, 2, …). 3개로 분리하는 예를 나타내었지만, 당연히 2조 이상의 임의의 조 수로 분리하는 구성도 취할 수 있다. 또한, 도 14의 10비트 신호를 16비트로 확장하는 것은 변형예 1에 한정되는 것은 아니며, 실시예 및 후술하는 변형예에 적용할 수 있다.

(변형예 2)

실시예 및 변형예 1에서는, 화상의 엄밀한 일치를 확인하여 1비트라도 상이한 경우에는 고장으로 판정하고 있다. 그러나, 경우에 따라서는 지나치게 엄격하여 고장을 놓칠 위험성이 있다. 즉, 화면은 고장에 의해 정지하였음에도 불구하고, 어떠한 노이즈에 의해 화소의 하위 수 비트가 변화하여 「고장이 아니다」고 판단되는 장면이 상정된다. 이에 대한 대책을 세우기 위해, 해시 연산 전에 화소 데이터의 하위 비트를 둥글게 하는 처리를 실시한다.

화소 데이터를 둥글게 하여 애매함을 부여하는 방법에 대하여 도 17a, 도 17b를 사용하여 설명한다. 도 17a, 도 17b는 화소 데이터를 둥글게 하여 애매함을 부여하는 방법의 일례를 도시하는 도면이며, 도 17a는 8비트/화소의 경우, 도 17b는 10비트/화소의 경우이다. 예를 들어, 도 17a에 도시하는 바와 같이, 8비트/화소 시에 하위 2비트를 0으로 마스크하면, 화소값의 0 내지 3, 4 내지 7, …, 252 내지 255의 각각의 조가 동일 값으로 간주되기 때문에, 동일한 해시로 되기 쉬워진다. 즉 검출에 애매함이 나와, 노이즈에 의한 고장 간과가 저감된다. 이 제어는 화소당 비트 심도에 따라 제어하는 것이 적합하다. 예를 들어, 도 17b에 도시하는 바와 같이, 8비트가 하위 2비트 마스크라면 10비트 시에는 하위 4비트 마스크와 같은 제어이다.

하위 비트 마스크의 예로 나타내었지만, 이것은 일례이며 화소값에 애매함을 부여하는 방법은 예를 들어 저역 통과 필터 등 다른 수단이어도 된다. 또한, 도 17a, 도 17b의 하위 비트의 마스크는 실시예 및 변형예 1에 한정되는 것은 아니며, 후술하는 변형예에 적용할 수 있다.

(변형예 3)

여기까지의 실시예, 변형예 1, 2에서는, 연속된 2화면의 전체 데이터 또는 부분 데이터가 일치하는 경우에 고장으로 하였다. 애플리케이션에 따라서는 2화면에 의해 즉시 고장으로 판정하는 것이 좋지 않은 경우도 상정된다. 이것에는 해시값을 3개 이상의 복수 화면을 보존하여, 3개 이상의 복수 화면에 의해 고장 판정을 행하는 것이 고려된다.

3개 이상의 복수 화면에 의해 고장 판정을 행하는 예에 대하여 도 18 내지 도 21을 사용하여 설명한다. 도 18은 K매의 복수 화면에 의한 고장 판정의 흐름도이다. 도 19는 과거 5화면 내에 동일한 화면이 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다. 도 20은 과거 3화면 연속으로 동일한 화면이 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다. 도 21은 동일한 화면 조합이 반복하여 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다.

도 18에 도시하는 바와 같이, 해시값을 보존하는 변수를 HashVar[i](i=0, 1, …, K-1)로 한다. 픽처 완료마다 비디오 부호화 회로(33)의 해시 기억 회로(33F3)로부터 해시값을 취출하여 HashVar[0]에 저장한다. 그 전에 HashVar[] 변수는 FIFO(First-In First-Out) 동작시켜, 과거 K매분의 해시값을 보존하도록 한다. 그 HashVar[] 변수가 미리 결정된 고장 조건에 적합한 경우에, 고장을 검출한 것으로 한다. 이하, 각 스텝에 대하여 설명한다.

스텝 S1C: CPU(35)는 하기와 같이 변수의 초기화를 행한다.

화면 번호: n=0

해시 보존 변수: for(i=0; i<K; i++) HashVar[i]=0

스텝 S3: CPU(35)는 비디오 부호화 회로(33)로부터의 비디오 부호화 완료를 검지한다(DetectVideoEncodeEnd(화면 Gn)).

스텝 S4C: CPU(35)는 과거 (K-1)화면분의 해시 보존 변수를 갱신한다. for(i=1; i<K; i++) HashVar[i]=HashVar[i-1]

스텝 S5C: CPU(35)는 부호화 완료 화면 Gn의 해시값을 비디오 부호화 회로(33)로부터 판독한다(HashVar[0]=Read(Hash Gn)).

스텝 S7C: CPU(35)는 HashVar[] 변수군이 고장 조건에 적합한지 여부를 판단한다. "아니오"(비적합)인 경우에는 스텝 S8로 이행하고, "예"(적합)인 경우에는 스텝 S9로 이행한다.

스텝 S9: CPU(35)는 고착 고장을 검출한다.

스텝 SA: CPU(35)는 고장 검출 시의 처리를 행한다.

고장 판정 조건은 여러 가지의 것이 고려된다. 도 19는 과거 5화면 내에 동일한 화면이 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다. 도 20은 3화면 연속으로 동일한 화면이 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다. 도 21은 동일한 화면 조합이 반복하여 나타난 경우에 고장으로 하는 예를 설명하기 위한 도면이다.

예를 들어 비디오 부호화 회로(33)의 전단에 복수의 화면 버퍼가 있고, 그 일부가 고장나 있고 정기적으로 동일한 화면이 입력되는 등의 고장이 상정된다. 이 경우, 도 19에 도시하는 바와 같이, 현 해시가 과거 4개의 해시 중 어느 것과 일치하는 경우에 고장으로 판정한다. 또한, 도 19는 고장 판정 조건의 모습을 시계열로 도시한 K=5의 예이다. HashVar[0]이 현 픽처의 해시, HashVar[1] 내지 HashVar[4]가 과거 4화면의 해시값을 보존하고 있다. 제1 시각(T1) 내지 제6 시각(T6)에서 순서대로 총 6화면분의 해시 기억 내의 데이터 천이를 나타내고 있다. 제1 시각(T1)에서 최초의 해시값의 H00이 HashVar[0]에 저장된다. 제2 시각(T2)에서는 HashVar[0]의 H00은 HashVar[1]로 이동하고, 다음의 해시값의 H01이 HashVar[0]으로 저장된다. 이와 같이 HashVar[0] 내지 HashVar[4]까지가 FIFO 동작으로 갱신되어 간다. 고장 판정은 HashVar[0] 내의 값이, 그 밖의 HashVar[1] 내지 HashVar[4]에 보존되어 있는 값과 일치하는지 여부로 행한다. 제5 시각(T5)까지는 모두 상이하기 때문에 고장 없음으로 판정된다. 제6 시각(T6)에 있어서는, HashVar[0]에 해시값의 H02가 저장되는데, 이것은 HashVar[3] 내의 것과 일치하고 있고, 고장으로 판정된다.

고장 판정 조건으로서는 그 밖에, 도 20에 도시하는 바와 같이, HashVar[0] 내지 HashVar[2]의 해시값이 H03이며, 연속된 3개의 해시값이 일치하는 경우에 고장으로 하는 예가 고려된다. 이 고장 판정 조건에서는, HashVar[]를 사용하지 않고 PrevHashVar와 CurrHashVar만을 사용하는 플로우도 취할 수 있다. 동일 값이 연속된 수를 세는 카운터를 갖고, 결정된 역치와 비교한다. ADAS나 드론 등의 리얼타임성ㆍ견뢰성이 강하게 요구되는 애플리케이션에서는 적은 매수의 판정이 적합하며, 통상 화면 변화가 적은 감시 카메라에서는 긴 기간에서의 판정이 적합하다.

또한, 도 21에 도시하는 바와 같이, HashVar[0] 내지 HashVar[3]의 해시값이 각각 H04, H03, H02, H01이고, HashVar[4] 내지 HashVar[7]의 해시값이 각각 H04, H03, H02, H01이며, 동일한 패턴이 루프되어 나타나는 것 등도 고려된다. 이러한 고장 패턴을 고장으로서 검출하도록(고장 판정 조건으로 하도록) 해도 된다.

(변형예 4)

실시예, 변형예 1 내지 3에서는 해시 도출 회로(33F)를 비디오 부호화 회로(33)에 설치하여, 제어 프로그램에 의해 고장 판정을 행하는 예를 나타내었다. 고장 판정을 해시 도출 회로 내의 회로에서 실현해도 된다.

해시 도출 회로 내에 고장 검출 회로를 구비하는 예에 대하여 도 22를 사용하여 설명한다. 도 22는 변형예 4에 관한 해시 도출 회로를 도시하는 블록도이다. 변형예 4에 관한 해시 도출 회로(33FD)는, 화소 데이터 취득 회로(33F1), 해시 연산기(33F2), 현화면 해시 기억 회로(33F3_C), 전화면 해시 기억 회로(33F3_P) 및 해시 비교기(33F5)를 구비한다. 제어 회로(331)로부터 화면 완료 신호를 입력하고, 그 타이밍에 해시 비교를 행한다. 결과로서는 고장 통지를 돌려준다. 또한, 현화면 해시 기억 회로(33F3_C)가 현화면의 해시값을 저장하고, 화면 완료 신호에 의해 현화면 해시 기억 회로(33F3_C)의 해시값은 전화면 해시 기억 회로(33F3_P)로 이동하여, 전화면 해시 기억 회로(33F3_P)는 전화면의 해시값을 저장한다. 고장 검출까지 하드웨어에 의해 행함으로써, 소프트웨어 개재없이 고장 검출 및 고장 시 처리를 행하는 자율 동작 가능한 장치를 구성할 수 있다.

실시예, 변형예 1 내지 4에서는, 화상 처리 장치 내의 비디오 부호화 회로에 입력 화면을 일의적으로 나타내는 해시값을 도출하는 회로를 설치함으로써, 제어 프로그램 상 또는 해시값을 도출하는 회로에 의해 복수 화면 간의 해시값을 비교할 수 있다. 이에 의해, 복수 화면 간에서 화면이 변화하였는지 여부를 간편하게 확인할 수 있고, 변화하지 않은 것을 갖고 고착 고장이라고 하는 것의 판정을 용이하게 행할 수 있다. 또한, 일정 색으로 되어 버리는 고장 이외의 고장을 간편하게 검출할 수 있다. 또한, 화면 내를 분할하여 각각에 해시값을 도출ㆍ비교함으로써, 고장 개소를 특정할 수 있다.

(변형예 5)

실시예, 변형예 1 내지 4에서는 1화면 단위로의 고장 검출을 행하지만, 1화면을 분할하여, 그 분할 영역마다 해시값을 계산함으로써 영역 단위로 고장 검출을 행해도 된다.

화면을 어떠한 영역으로 분할하여 영역마다 고장 검출을 행하는 예에 대하여 도 23, 도 24를 사용하여 설명한다. 도 23은 화면을 수직 방향으로 n 영역으로 분할하는 예를 도시하는 도면이다. 도 24는 변형예 5에 관한 해시 도출 회로를 도시하는 블록도이다.

도 23에 도시하는 바와 같이, 화면은 수직 방향으로, n개의 영역 R0, R1, R3, …, R(n-1)로 분할된다.

도 24에 도시하는 바와 같이, 해시 도출 회로(33FE)는, 화소 데이터 취득 회로(33F1)와, 영역 선택기(33F6)와, R0용 해시 연산기(33F2_R0 내지 R(n-1))용 해시 연산기(33F2_R(n-1))와, R0용 해시 기억 회로(33F3_R0 내지 R(n-1))용 해시 기억 회로(33F3_R(n-1))와, 셀렉터(33F4)를 구비한다.

R0용 해시 연산기(33F2_R0 내지 R(n-1))용 해시 연산기(33F2_R(n-1))는 영역 R0 내지 R(n-1)의 각각의 해시값을 연산하고, R0용 해시 기억 회로(33F3_R0 내지 R(n-1))용 해시 기억 회로(33F3_R(n-1))는 영역 R0 내지 R(n-1)의 각각의 해시값을 보존한다. 제어 회로(331)로부터 부여되는 영역 선택 신호에 따라 영역 선택기(33F6)는 R0용 해시 연산기(33F2_R0 내지 R(n-1))용 해시 연산기(33F2_R(n-1)) 중 어느 하나의 해시 연산기를 선택한다. 예를 들어, 영역 선택기(33F6)에 의해 선택된 R0용 해시 연산기(33F2_R0)에서는, 영역 R0에 속하는 화소로부터 해시값이 도출되고, R0용 해시 기억 회로(33F3_R0)에 기입된다. 동일한 처리가 전체 n 영역에 대하여 실시되고, 1화면 완료 후에 R0용 해시 기억 회로(33F3_R0 내지 R(n-1))용 해시 기억 회로(33F3_R(n-1))의 모든 해시 기억 회로는 유효하게 된다. 이러한 분할 방법으로, 예를 들어 하나의 영역을 1화소 폭의 칼럼으로 한 경우, 카메라 장치(2)의 촬상 소자의 일례인 CMOS 센서의 1 칼럼만이 고장나는 상황의 검출이 가능하게 된다. 분할 방법은 여러 가지가 고려되며, 카메라 등의 입력 장치의 고장 모드에 적합한 분할 방법으로 할 수 있다. 행 단위로의 분할, 직사각형 단위의 분할 등의 예가 고려된다.

또한, 화면의 데이터 처리순(주사순)과 분할 형상의 조합에 의해 입력 화면용의 데이터 버퍼(339)의 용량, 저장 포맷이 바뀌는 경우, 또한 추가의 버퍼가 필요하게 되는 경우가 있다.

변형예 5에 따르면, 분할된 영역 단위로 미세하게 고장 검출이 가능하게 되므로, 고장 원인ㆍ개소의 특정이 용이하게 된다. 또한, 고장 개소의 은폐를 행하는 경우에, 소범위에 그칠 수 있다. CMOS 센서의 칼럼 고장과 같이, 센서 특유의 고장 모드에 특화된 검출이 가능하게 된다.

(변형예 6)

전술한 바와 같이, 최종 결과를 보존하는 해시 기억 회로와 해시 기억 내의 갱신용의 기억 회로는 공유하도록 해도 된다. 이 경우, R0용 해시 연산기 내지 R(n-1)용 해시 연산기와 영역 전용에 있는 해시 연산기는 하나로 공유할 수 있다.

도 25는 변형예 6에 관한 해시 도출 회로를 도시하는 블록도이다.

변형예 6에 관한 해시 도출 회로(33FF)는, 화소 데이터 취득 회로(33F1)와, 해시 연산기(33F2)와, 영역 선택기(33F6)와, R0용 해시 기억 회로(33F3_R0 내지 R(n-1))용 해시 기억 회로(33F3_R(n-1))와, 영역 선택기(33F7)를 구비한다.

R0용 해시 기억 회로(33F3_R0 내지 R(n-1))용 해시 기억 회로(33F3_R(n-1))는 영역 R0 내지 R(n-1)의 각각의 해시값을 보존한다. 제어 회로(331)로부터 부여되는 영역 선택 신호에 따라 영역 선택기(33F6)는 R0용 해시 기억 회로(33F3_R0 내지 R(n-1))용 해시 기억 회로(33F3_R(n-1)) 중 어느 하나의 해시 기억 회로를 선택한다. 해시 연산기(33F2)에서는, 예를 들어 영역 R0에 속하는 화소로부터 해시값이 도출되고, 영역 선택기(33F6)에 의해 선택된 R0용 해시 기억 회로(33F3_R0)에 기입된다. 또한, 예를 들어 영역 R0에 속하는 화소의 해시값을 도출하고 있는 동안, 해시 연산기(33F2)는 갱신 전의 해시값을 R0용 해시 기억 회로(33F3_R0)로부터 판독하여 새로운 해시값을 연산하여 해시값을 갱신하고, 갱신 후의 해시값을 R0용 해시 기억 회로(33F3_R0)에 저장한다.

(변형예 7)

실시예 및 변형예 1 내지 6에서는 해시값을 사용하여 고장 판정을 행하지만, 해시값 이외로 고장 판정을 행해도 된다.

해시값 대신에 화소값 히스토그램으로 판정을 행하는 예에 대하여 도 26 내지 도 29를 사용하여 설명한다. 도 26은 화면의 어떠한 개소가 일정한 화소값으로 고정된 고장의 모습을 도시하는 도면이다. 도 27은 화소값 히스토그램에 의해 고장 판정하는 개념도이다. 도 28은 변형예 6에 관한 히스토그램 도출 회로를 도시하는 블록도이다. 도 29는 제어 프로그램의 동작 플로우를 도시하는 흐름도이다.

도 26에 도시하는 바와 같은, 화면 내의 어떠한 개소가 일정한 화소값으로 고정되어 있는 것 같은 고장이 있는 것을 고려한다. 고장 개소 이외는 화면 G0 내지 G5의 각 화면에서 변화가 있는 동화상을 구성하는 화면인 것을 상정하고 있다.

도 27에 도시하는 바와 같이, 화면의 화소값 히스토그램 즉 각 화소값이 몇 회 사용되고 있는지의 빈도를 취득하고, 복수 화면에서 누계해 가면, 고장 개소는 일정한 화소값만을 나타내기 때문에, 당해 화소값의 빈도만이 커질 것으로 추정된다. 예로서 화소값이 53으로 고정되었다고 하는 경우, 화면 누계함으로써 화소값이 53만이 돌출될 것으로 상정된다. 미리 정해 둔 고장 판정 역치와의 비교를 행하여, 고장으로 판정한다.

히스토그램을 누계하는 화면 매수, 고장 판정 역치의 결정 방법은 제한되지 않는다. 또한, 히스토그램은 단독의 화소값 단위가 아니라 화소값의 범위마다(예를 들어 50 내지 54 등)여도 된다.

본 변형예에서는, 도 2, 도 4, 도 10과 마찬가지의 구성으로 해시 도출 회로 대신에 히스토그램 도출 회로를 구비한다. 도 28에 도시하는 바와 같이, 히스토그램 도출 회로(33FG)는 화소 데이터 취득 회로(33F1)와 화소값 히스토그램 연산기(33F2G)와 히스토그램 데이터 기억 회로(33F3G)를 구비한다. 화소 데이터 취득 회로(33F1)에서 취득한 화소 데이터를 바탕으로, 화소값 히스토그램 연산기(33F2G)에 의해 도 27에 도시하는 바와 같은 화소값마다의 히스토그램을 도출하고, 히스토그램 데이터 기억 회로(33F3G)에 픽처의 결과를 유지한다. 또한, 히스토그램 연산은, 예를 들어 일본 특허 공개 제2008-300980호 공보(미국 특허 출원 공개 제2008/0298685호 명세서)에 개시되어 있다.

도 29에 제어 프로그램의 동작 플로우를 도시한다. 이하, 각 스텝에 대하여 설명한다.

스텝 S1F: CPU(35)는 하기와 같이 변수의 초기화를 행한다.

화면 번호: n=0

히스토그램 보존 변수: for(i=0; i<K; i++) HistVar[i]=0

스텝 S4F: CPU(35)는 과거 (K-1)화면분의 히스토그램 보존 변수를 갱신한다. for(i=1; i<K; i++) HistVar[i]=HistVar[i-1]

스텝 S5F: CPU(35)는 부호화 완료 화면 Gn의 히스토그램 데이터를 비디오 부호화 회로(33)로부터 판독한다(HistVar[0]=Read(Hist Gn)).

스텝 SB: CPU(35)는 과거 K화면분의 히스토그램 데이터를 누계한다. TotalHistVar=0 for(i=0; i<K; i++) TotalHistVar+=HistVar[i]

스텝 S6F: CPU(35)는 화면 번호가 K 이상인지 여부를 판단한다(n>=K?). "아니오"인 경우에는 스텝 S7F로 이행하고, "예"인 경우에는 스텝 S8로 이행한다.

스텝 S7F: CPU(35)는 TotalHistVar 변수군이 고장 조건에 적합한지 여부를 판단한다. "아니오"(비적합)인 경우에는 스텝 S8로 이행하고, "예"(적합)인 경우에는 스텝 S9로 이행한다.

스텝 S9: CPU(35)는 고착 고장을 검출한다.

스텝 SA: CPU(35)는 고장 검출 시의 처리를 행한다.

실시예의 화면 단위의 해시의 경우에는, 일부분의 고착의 검출은 불가능하다. 왜냐하면 일부라도 변화가 있으면 해시값은 상이한 것으로 되기 때문이다. 그에 비해, 본 실시예에서는 일부분의 고착에 의한 고장을 검출할 수 있다.

변형예 7은 변형예 5 또는 변형예 6에서 나타낸 바와 같은 화면 분할과 조합함으로써, 화면 내의 어느 개소에 고장이 존재하는지를 판별할 수 있다. 예를 들어 1픽셀마다 판정을 행하면, 도트 고장을 검지할 수 있다. 변형예 7은 변형예 1에서 나타낸 바와 같은 휘도, 색차마다의 데이터 분할과의 조합도 가능하다.

이상, 본 발명자에 의해 이루어진 발명을 실시 형태, 실시예 및 변형예에 기초하여 구체적으로 설명하였지만, 본 발명은, 상기 실시 형태, 실시예 및 변형예에 한정되는 것은 아니며, 여러 가지 변경 가능하다는 것은 말할 필요도 없다.

예를 들어, 실시예 및 그 변형예에서는 입력 화면의 해시를 사용하여 고장 검출을 행하지만, 해시가 아니라, 입력 화면의 화소 데이터 그 자체를 사용하여 고장 검출을 행하도록 해도 된다.

또한, 실시예 및 변형예에서는 해시 도출 회로 또는 히스토그램 도출 회로를 화상 처리 장치 내의 비디오 부호화 회로에 적용하는 예를 설명하였지만, 여기에 한정되는 것은 아니다. 예를 들어, 도 2의 카메라 신호 처리 회로, 화상 인식 회로, 그래픽 처리 회로, 표시 처리 회로 중 어느 하나, 복수 또는 모두에 해시 도출 회로 또는 히스토그램 도출 회로를 설치해도 된다. 이에 의해 각 회로에서의 고장 검출이 가능하게 되고, 어디에서 고장이 일어났는지의 특정이 가능하게 된다.

또한, 실시예에서는 ADAS 시스템을 예로 들어 설명하였지만, 카메라 영상을 입력으로 하는 장치나 시스템 및 카메라 영상 이외의 화상을 입력으로 하는 장치나 시스템에 적용할 수 있다. 예를 들어, 카메라 입력을 갖고 자율 동작이나 원격 조작하는 로봇이나 드론, 차량 탑재 카메라, 드라이브 레코더, 네트워크 카메라, 감시 카메라에 응용 가능하다.

또한, 실시예 및 변형예에서는 비디오 부호화 회로는 전용 하드웨어로 구성하는 예를 설명하였지만, 일부 또는 전부를 CPU가 실행하는 소프트 페어로 구성해도 된다. 예를 들어, 화면 예측 처리, 해시 도출 처리, 화면 부호화 처리, 국소 화면 복호 처리, 엔트로피 부호화 처리 등은, 프로그램을 메모리에 기억하고, 그것을 CPU에 의해 실행되도록 구성해도 된다. 그 경우, 프로그램은 예를 들어 메모리(36) 등의 기억 장치에 저장된다. 전부를 CPU에서 실행하는 경우에는, 화상 처리 장치(330)는, 예를 들어 도 30과 같이 CPU(연산 회로)(35)와 메모리(기억 회로)(36)를 구비하고, 프로그램은 메모리(36)에 저장된다. 처리를 소프트웨어에 의해 행함으로써 전용의 하드웨어가 불필요해지기 때문에, 칩 면적을 축소하는 것이 가능하게 된다.

<부기>

실시 형태의 일 형태를 하기한다.

(1) 화상 처리 장치는 입력 화면의 화소값의 히스토그램 데이터를 계산하는 연산기와 상기 히스토그램 데이터를 기억하는 기억 회로를 갖는 히스토그램 도출 회로와, 복수 화면 간에서 상기 히스토그램 데이터를 누적함으로써, 화면이 변화하였는지, 정지하였는지를 판단하여, 정지한 경우에 고장으로서 검출하는 고장 검출 회로를 구비한다.

(2) 상기 (1)의 화상 처리 장치에 있어서,

상기 고장 검출 회로는, 상기 기억 회로의 히스토그램 데이터를 판독하여 복수 화면 간에서 누적함으로써, 화면이 변화하였는지, 정지하였는지를 판단하여, 정지한 경우에 고장으로서 검출하는 CPU를 구비한다.

(3) 상기 (2)의 화상 처리 장치에 있어서, 또한

비디오 압축 처리를 행하는 비디오 부호화 회로를 구비하고,

상기 히스토그램 도출 회로는 상기 비디오 부호화 회로에 포함되고, 입력 화면의 히스토그램 데이터를 비디오 부호화의 처리 블록순으로 순차 계산한다.

(4) 상기 (3)의 화상 처리 장치에 있어서,

상기 히스토그램 도출 회로는 복수의 상기 연산기와 복수의 상기 기억 회로를 구비하고,

상기 히스토그램 도출 회로는 입력 화면의 화소를 비트열 혹은 휘도ㆍ색차로 분할하여, 분할한 각각의 요소마다 다른 히스토그램 데이터를 상기 복수의 연산기에서 병렬로 계산하고, 상기 히스토그램 데이터의 각각을 상기 복수의 기억 회로에 보존하고,

상기 CPU는 상기 복수의 기억 회로의 히스토그램 데이터를 판독하여 각각의 요소마다 복수 화면 간에서 누적하여, 고장을 검출한다.

(5) 상기 (3)의 화상 처리 장치에 있어서,

상기 히스토그램 도출 회로는, 또한 영역 선택기와, 복수의 연산기와, 복수의 상기 기억 회로를 구비하고,

영역 선택 신호에 기초하여 상기 영역 선택기는 복수의 영역으로 분할한 입력 화면을 상기 복수의 연산기 중 어느 것에 입력하고,

상기 복수의 연산기의 각각은, 분할한 각각의 영역마다 다른 히스토그램 데이터를 계산하고,

상기 복수의 기억 회로는 상기 히스토그램 데이터의 각각을 보존하고,

상기 CPU는 상기 복수의 기억 회로의 히스토그램 데이터를 판독하여 각각의 영역마다 복수 화면 간에서 누적하여, 고장을 검출한다.

(6) 상기 (3)의 화상 처리 장치에 있어서,

상기 히스토그램 도출 회로는 영역 선택기와 복수의 상기 기억 회로를 구비하고,

상기 히스토그램 도출 회로는 입력 화면을 복수의 영역으로 분할하여, 분할한 각각의 영역마다 다른 히스토그램 데이터를 계산하고, 영역 선택 신호에 기초하여 상기 영역 선택기는 상기 히스토그램 데이터의 각각을 상기 복수의 기억 회로에 보존하고,

(7) 상기 (3)의 화상 처리 장치에 있어서, 또한

카메라 장치로부터의 영상 신호를 처리하는 영상 신호 처리 회로를 구비하고,

상기 입력 화면은 상기 영상 신호 처리 회로에 의해 처리된 화상이다.

(8) 상기 (3)의 화상 처리 장치에 있어서,

상기 비디오 부호화 회로는 화면 예측 회로와 화면 부호화 회로와 국소 화면 복호 회로와 엔트로피 복호화 회로를 구비하고,

상기 입력 화면은 상기 화면 예측 회로로부터 출력되어 상기 화면 부호화 회로로 입력되는 화면이다.

1: ADAS 시스템
2: 카메라 장치
3: 화상 처리 장치
31: 영상 신호 승리 장치
311: 카메라 신호 처리 회로
312: 화상 인식 회로
313: 그래픽 처리 회로
32: 표시 처리 회로
33: 비디오 부호화 회로
331: 제어 회로
332: 메모리 인터페이스 회로
333: 화상 예측 회로
334: 화면 부호화 회로
335: 엔트로피 부호화 회로
336: 국소 화면 복호 회로
33F: 해시 도출 회로
33F1: 화소 데이터 취득 회로
33F2: 해시 연산기
33F3: 해시 기억 회로
34: 네트워크 전송 회로
35: CPU
36: 메모리
37: CPU 버스
38: 메모리 버스
4: 제1 표시 장치
5: 네트워크
6: 영상ㆍ정보 처리 장치
7: 제2 표시 장치

Claims

입력된 비디오의 화면의 해시값을 계산하는 연산기와 상기 해시값을 기억하는 기억 회로를 갖는 해시 도출 회로와,
상기 입력된 비디오의 복수 화면 간에서 상기 해시값을 비교함으로써, 화면이 변화하였는지, 변화하지 않았는지를 판단하여, 변화하지 않은 경우에 고장으로서 검출하는 고장 검출 회로를 구비하는, 화상 처리 장치.
제1항에 있어서, 상기 고장 검출 회로는, 상기 기억 회로의 해시값을 판독하여 복수 화면 간에서 비교함으로써, 화면이 변화하였는지, 변화하지 않았는지를 판단하여, 변화하지 않은 경우에 고장으로서 검출하는 CPU를 구비하는, 화상 처리 장치.
제2항에 있어서,
비디오 압축 처리를 행하는 비디오 부호화 회로를 더 구비하고,
상기 해시 도출 회로는 상기 비디오 부호화 회로에 포함되고, 입력 화면의 해시값을 비디오 부호화의 처리 블록순으로 순차 계산하는, 화상 처리 장치.
제3항에 있어서, 상기 해시 도출 회로는,
복수의 상기 연산기와,
복수의 상기 기억 회로를 더 구비하고,
상기 해시 도출 회로는 입력 화면의 화소를 비트열 혹은 휘도ㆍ색차로 분할하여, 분할한 각각의 요소마다 다른 해시값을 상기 복수의 연산기에서 병렬로 계산하고, 상기 해시값의 각각을 상기 복수의 기억 회로에 보존하고,
상기 CPU는 상기 복수의 기억 회로의 해시값을 판독하고, 상기 판독한 해시값을 사용하여 복수 화면 간에서 비교를 행하여, 고장을 검출하는, 화상 처리 장치.
제3항에 있어서, 상기 해시 도출 회로는,
영역 선택기와,
복수의 연산기와,
복수의 상기 기억 회로를 더 구비하고,
영역 선택 신호에 기초하여 상기 영역 선택기는 복수의 영역으로 분할한 입력 화면을 상기 복수의 연산기 중 어느 것에 입력하고,
상기 복수의 연산기의 각각은, 분할한 각각의 영역마다 다른 해시값을 계산하고,
상기 복수의 기억 회로는 상기 해시값의 각각을 보존하고,
상기 CPU는 상기 복수의 기억 회로의 해시값을 판독하고, 상기 판독한 해시값을 사용하여 복수 화면 간에서 비교를 행하여, 고장을 검출하는, 화상 처리 장치.
제3항에 있어서, 상기 해시 도출 회로는,
영역 선택기와,
복수의 상기 기억 회로를 더 구비하고,
상기 해시 도출 회로는 입력 화면을 복수의 영역으로 분할하여, 분할한 각각의 영역마다 다른 해시값을 상기 연산기에서 계산하고, 영역 선택 신호에 기초하여 상기 영역 선택기는 상기 해시값의 각각을 상기 복수의 기억 회로에 보존하고,
상기 CPU는 상기 복수의 기억 회로의 해시값을 판독하고, 상기 판독한 해시값을 사용하여 복수 화면 간에서 비교를 행하여, 고장을 검출하는, 화상 처리 장치.
제1항에 있어서, 상기 입력 화면의 화소 데이터가 1바이트보다 길고 2바이트보다 짧은 경우, 2바이트보다 짧은 부분의 데이터를 원래의 데이터의 하위측의 데이터를 결합하여 상기 화소 데이터를 2바이트로 확장하는, 화상 처리 장치.
제1항에 있어서, 상기 해시 도출 회로는 상기 연산기에서 해시값을 계산하기 전에 입력 화면의 화소 데이터의 하위 비트를 마스크하는, 화상 처리 장치.
제2항에 있어서, 상기 CPU는 연속되는 화면의 해시값이 복수 연속으로 일치하는 경우에 고장으로서 검출하는, 화상 처리 장치.
제2항에 있어서, 상기 CPU는 연속되는 화면의 해시값이 복수 연속으로 일치한 횟수가 소정수 이상 있는 경우에 고장으로서 검출하는, 화상 처리 장치.
제2항에 있어서, 상기 CPU는 과거의 소정수의 화면의 해시값을 보존하고, 현재의 화면의 해시값이 상기 과거의 소정수의 화면의 해시값 중 어느 것과 일치하는 경우에 고장으로서 검출하는, 화상 처리 장치.
제3항에 있어서,
카메라 장치로부터의 영상 신호를 처리하는 영상 신호 처리 회로를 더 구비하고,
상기 입력 화면은 상기 영상 신호 처리 회로에 의해 처리된 화상인, 화상 처리 장치.
제3항에 있어서,
상기 비디오 부호화 회로는,
화면 예측 회로와,
화면 부호화 회로와,
국소 화면 복호 회로와,
엔트로피 복호화 회로를 더 구비하고,
상기 입력 화면은 상기 화면 예측 회로로부터 출력되어 상기 화면 부호화 회로로 입력되는 화면인, 화상 처리 장치.
제1항에 있어서, 상기 기억 회로는,
현화면의 해시값을 기억하는 제1 기억 회로와,
전화면의 해시값을 기억하는 제2 기억 회로를 구비하고,
상기 해시 도출 회로는,
상기 제1 기억 회로에 기억되어 있는 해시값과 상기 제2 기억 회로에 기억되어 있는 해시값을 비교하는 비교기를 더 구비하고,
상기 고장 검출 회로는 상기 비교기이며, 상기 비교기가 일치를 검출하는 경우에 고장으로서 검출하는, 화상 처리 장치.
입력 화면과 예측 화면에 기초하여 데이터양 압축한 계수열을 도출하는 화면 부호화 회로와,
상기 입력 화면의 해시값을 계산하는 해시 도출 회로를 갖는 비디오 부호화 회로와,
상기 비디오 부호화 회로를 제어하는 CPU를 구비하고,
상기 해시 도출 회로는,
제1 화소의 해시값을 계산하는 제1 연산기와,
제2 화소의 해시값을 계산하는 제2 연산기와,
제3 화소의 해시값을 계산하는 제3 연산기와,
상기 제1 연산기에서 계산된 해시값을 저장하는 제1 기억 회로와,
상기 제2 연산기에서 계산된 해시값을 저장하는 제2 기억 회로와,
상기 제3 연산기에서 계산된 해시값을 저장하는 제3 기억 회로를 구비하고,
상기 해시 도출 회로는 입력 화면의 화소를 제1 휘도, 제2 휘도 및 색차로 분할하여, 분할한 각각의 요소마다 상기 제1 연산기, 제2 연산기 및 제3 연산기에서 병렬로 3개의 해시값을 계산하고, 상기 3개의 해시값의 각각을 상기 제1 기억 회로, 제2 기억 회로 및 제3 기억 회로에 보존하고,
상기 CPU는 상기 제1 기억 회로, 제2 기억 회로 및 제3 기억 회로의 3개의 해시값을 판독하고, 상기 판독한 해시값을 사용하여 복수 화면 간에서 비교를 행하여, 고장을 검출하는, 반도체 장치.
제15항에 있어서, 상기 비디오 부호화 회로는,
입력 화면과 참조 화면으로부터 화면 내 예측 또는 화면 간 예측을 행하는 화면 예측 회로와,
상기 화면 부호화 회로의 역변환을 행하여, 화면의 복호를 행하는 국소 화면 복호 회로와,
화면 부호화 회로로부터 출력되는 계수열로부터 부호화 비트열을 생성하는 엔트로피 복호화 회로를 더 구비하는, 반도체 장치.
제15항에 있어서, 상기 입력 화면이 복수의 매크로 블록으로 분할되고, 상기 비디오 부호화 회로는 매크로 블록마다 부호화 및 해시의 도출을 행하는, 반도체 장치.
제15항에 있어서, 상기 입력 화면의 화소 데이터는, 데이터가 10비트 길이인 경우 상기 데이터의 하위측 6비트의 데이터를 상위측에 결합하고, 데이터가 12비트 길이인 경우 상기 데이터의 하위측 4비트의 데이터를 상위측에 결합함으로써, 16비트 길이로 확장하여 구성되는, 반도체 장치.
제15항에 있어서,
카메라 장치로부터의 영상 신호를 처리하는 영상 신호 처리 회로와,
네트워크 전송 회로와,
상기 CPU가 상기 비디오 부호화 회로를 제어하는 프로그램을 저장하는 메모리를 더 구비하고,
상기 영상 신호 처리 회로로부터 출력되는 데이터는 상기 메모리를 통하여 상기 비디오 부호화 회로에 입력되고,
상기 비디오 부호화 회로로부터 출력되는 데이터는 상기 메모리를 통하여 상기 네트워크 전송 회로에 입력되는, 반도체 장치.
연산 회로와 기억 회로를 갖는 장치로서,
상기 연산 회로는 입력된 비디오의 화면의 해시값을 계산하고,
상기 해시값을 상기 기억 회로에 기억하고,
상기 입력된 비디오의 복수 화면 간에서 상기 해시값을 비교함으로써, 화면이 변화하였는지, 변화하지 않았는지를 판단하여, 변화하지 않은 경우에 고장으로서 검출하는, 화상 처리 장치.