KR102317752B1 - 신호 처리 장치, 촬영 장치 및 신호 처리 방법 - Google Patents

Abstract

본 기술은, 휘도 차가 매우 큰 장면에 있어서, 점멸하는 대상물을 확실히 인식함과 함께, 정확하게 장애물을 인식할 수 있도록 하는 신호 처리 장치, 촬영 장치 및 신호 처리 방법에 관한 것이다. 다른 노광 시간으로 촬영된 복수의 화상의 신호를, 다른 포화 신호량을 사용하여 가산하고, 그 가산의 결과 얻어지는 복수의 화상의 신호를 합성함으로써, 휘도 차가 매우 큰 장면에 있어서, 점멸하는 대상물을 확실히 인식함과 함께, 정확하게 장애물을 인식할 수 있다. 본 기술은, 예를 들어, 화상을 촬영하는 카메라 유닛 등에 적용할 수 있다.

Description

신호 처리 장치, 촬영 장치 및 신호 처리 방법

본 기술은, 신호 처리 장치, 촬영 장치 및 신호 처리 방법에 관한 것으로, 특히, 예를 들어, 휘도 차가 매우 큰 장면(scene)에 있어서, 점멸하는 대상물을 확실히 인식함과 함께, 정확히 장애물을 인식할 수 있도록 한 신호 처리 장치, 촬영 장치 및 신호 처리 방법에 관한 것이다.

최근, 자동 운전 등 고도의 운전 제어를 실현하는 것을 목적으로 하여 자동차에 차재(車載) 카메라가 탑재되는 케이스가 늘고 있다.

그러나, 차재 카메라에서는 안전성을 확보하기 위해, 터널의 출구 등 휘도 차가 매우 큰 조건에서도 시인성을 담보하는 것이 요구되고 있고, 화상이 새하얗게 나오는 것을 억제하여 광다이나믹레인지화하기 위한 기술이 필요한 상황이다. 이와 같은 새하얗게 나오는 것에 대한 대책으로서는, 예를 들어, 특허문헌 1에 개시되어 있는 기술이 알려져 있다.

또한, 최근, 신호기나 전자적인 도로 표식의 광원이, 백열전구 등으로부터 LED(Light Emitting Diode)로 바뀌고 있다.

LED는 백열전구와 비교하여 명멸(明滅)의 응답 속도가 고속이기 때문에, 예를 들어, 자동차 등에 탑재되는 차재 카메라 등으로 LED 신호기나 도로 표식을 촬영하면, 플리커가 발생하여, 신호기나 도로 표식이 소등된 상태로 촬영된다. 이러한 플리커 대책으로서는, 예를 들어, 특허문헌 2에 개시되어 있는 기술이 알려져 있다.

또한, 자동 운전을 실현하려면, 자동차의 진행 방향에 존재하는 선행 차량이나, 도로를 횡단중인 보행자 등의 장애물을 인식하기 위한 기술이 필수가 된다. 이러한 장애물을 인식하기 위한 기술로서는, 예를 들어, 특허문헌 3에 개시되어 있는 기술이 알려져 있다.

일본특허공개 특개평5－64075호 공보 일본특허공개 특개2007－161189호 공보 일본특허공개 특개2005－267030호 공보

그런데, 터널의 출구 등 휘도 차가 매우 큰 장면에 있어서, 명멸의 응답 속도가 고속인 LED 신호기나 도로 표식 등을 확실히 인식함과 함께, 정확히 선행 차량이나 보행자 등의 장애물을 인식하기 위한 기술은 확립되어 있지 않아, 그러한 기술이 요구되고 있었다.

본 기술은 이러한 상황을 감안하여 이루어진 것으로, 휘도 차가 매우 큰 장면에 있어서, 점멸하는 대상물을 확실히 인식함과 함께, 정확히 장애물을 인식할 수 있도록 하는 것이다.

본 기술의 일 측면의 신호 처리 장치는, 다른 노광 시간으로 촬영된 복수의 화상의 신호를, 다른 포화 신호량을 사용해 가산하는 가산부와, 가산의 결과 얻어지는 복수의 화상의 신호를 합성하는 합성부를 구비하는 신호 처리 장치이다.

본 기술의 일 측면의 촬영 장치는, 다른 노광 시간으로 촬영된 복수의 화상을 생성하는 화상 생성부와, 상기 복수의 화상의 신호를 다른 포화 신호량을 사용해 가산하는 가산부와, 가산의 결과 얻어지는 복수의 화상의 신호를 합성하는 합성부를 구비하는 촬영 장치이다.

본 기술의 일 측면의 신호 처리 방법은, 다른 노광 시간으로 촬영된 복수의 화상의 신호를, 다른 포화 신호량을 사용해 가산하고, 가산의 결과 얻어지는 복수의 화상의 신호를 합성하는 단계를 포함하는 신호 처리 방법이다.

본 기술의 일 측면의 신호 처리 장치, 촬영 장치, 및 신호 처리 방법에 있어서는, 다른 노광 시간으로 촬영된 복수의 화상의 신호가 다른 포화 신호량을 사용하여 가산되고, 가산의 결과 얻어지는 복수의 화상의 신호가 합성된다.

신호 처리 장치나 촬영 장치는, 독립된 장치여도 되고, 하나의 장치를 구성하는 내부 블록이어도 된다.

본 기술의 일 측면에 의하면, 휘도 차가 매우 큰 장면에 있어서, 점멸하는 대상물을 확실히 인식함과 함께, 정확히 장애물을 인식할 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재되어 있는 어느 하나의 효과여도 된다.

[도 1] 휘도 차가 매우 큰 촬영 대상의 촬영의 예를 설명하는 도면이다.
[도 2] 점멸하는 촬영 대상의 촬영의 예를 설명하는 도면이다.
[도 3] 차량 전방의 인식의 예를 설명하는 도면이다.
[도 4] 휘도 차가 매우 큰 촬영 대상에 대한 대처 방법을 설명하는 도면이다.
[도 5] 신호기의 점등 상태가 기록되어야 함에도 불구하고, 소등 상태가 기록되어 버리는 경우의 예를 나타내는 도면이다.
[도 6] 점멸 광원의 소등 기간을 상회하는 노광 시간으로 촬영을 행하는 경우의 예를 나타내는 도면이다.
[도 7] 현재 기술의 수법을 설명하기 위한 도면이다.
[도 8] 현재 기술의 수법을 설명하기 위한 도면이다.
[도 9] 히스토그램의 피크 위치를 이용한 장애물 검출의 수법을 설명하기 위한 도면이다.
[도 10] 히스토그램의 스파이크의 예를 나타내는 도면이다.
[도 11] 현재 기술의 합성 결과의 예를 나타내는 도면이다.
[도 12] 현재 기술을 이용한 합성에서, 히스토그램에 발생하는 의사적인 스파이크의 예를 나타내는 도면이다.
[도 13] 본 기술을 적용한 촬영 장치로서의 카메라 유닛의 일 실시형태의 구성예를 나타내는 블록도이다.
[도 14] 타이밍 제어부에 의한 셔터 제어의 예를 나타내는 도면이다.
[도 15] 타이밍 제어부에 의한 셔터 제어의 예를 나타내는 도면이다.
[도 16] 신호 처리부의 구성예를 나타내는 도면이다.
[도 17] 2매 합성을 행하는 경우의 신호 처리를 설명하는 플로우차트이다.
[도 18] 신호 처리의 처리 결과의 예를 나타내는 도면이다.
[도 19] 실제의 촬영 화상의 예를 나타내는 도면이다.
[도 20] 실제의 촬영 화상의 예를 나타내는 도면이다.
[도 21] 3매 합성을 행하는 경우의 신호 처리부의 구성예를 나타내는 도면이다.
[도 22] 3매 합성을 행하는 경우의 신호 처리를 설명하는 플로우차트이다.
[도 23] 3매 합성을 행하는 경우의 신호 처리를 설명하는 플로우차트이다.
[도 24] 제1 가산 처리와 제1 선형화 처리의 상세를 설명하는 도면이다.
[도 25] 제2 가산 처리와 제2 선형화 처리의 상세를 설명하는 도면이다.
[도 26] 본 기술에 의한 히스토그램의 스파이크의 억제의 상세를 설명하는 도면이다.
[도 27] 본 기술에서 이용되는 합성 계수의 상세를 설명하는 도면이다.
[도 28] N매 합성을 설명하는 도면이다.
[도 29] 적층형의 고체 촬상 장치의 구성예를 나타내는 도면이다.
[도 30] 화소 영역과 신호 처리 회로 영역의 상세한 구성예를 나타내는 도면이다.
[도 31] 적층형의 고체 촬상 장치의 다른 구성예를 나타내는 도면이다.
[도 32] 화소 영역과 신호 처리 회로 영역과 메모리 영역의 상세한 구성예를 나타내는 도면이다.
[도 33] 컴퓨터의 구성예를 나타내는 도면이다.
[도 34] 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블럭도이다.
[도 35] 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.

이하, 도면을 참조하면서 본 기술의 실시형태에 대해 설명한다. 또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 본 기술의 개요

2. 본 기술의 실시형태

3. 본 기술의 실시형태의 변형예

4. 본 기술의 신호 처리의 상세한 내용

5. N매 합성의 계산식

6. 고체 촬상 장치의 구성예

7. 컴퓨터의 구성예

8. 응용예

＜1. 본 기술의 개요＞

(휘도 차가 매우 큰 촬영 대상의 촬영의 예)

최근, 자동 운전 등 고도의 운전 제어를 실현하는 것을 목적으로 하여 자동차에 차재 카메라가 탑재되는 케이스가 늘어나고 있다. 그러나, 차재 카메라에서는 안전성을 확보하기 위해, 터널의 출구 등 휘도 차가 매우 큰 조건에서도 시인성을 담보하는 것이 요구되고 있고, 화상이 새하얗게 나오는 것을 억제하여 광다이나믹 레인지화하기 위한 기술이 필요한 상황이다.

도 1은, 휘도 차가 매우 큰 촬영 대상의 촬영의 예를 설명하는 도면이다. 도 1에 있어서는, 터널의 출구의 촬영의 예를 나타내고 있는데, 터널의 출구의 상황을 인식할 수 없으면, 안전을 확보하기 위한 운전 제어를 행할 수 없다.

(점멸하는 촬영 대상의 촬영의 예)

또한, 최근에 있어, 신호기나 표식의 광원이 전구로부터 LED로 바뀌고 있다. 그러나 LED는 명멸의 응답 속도가 종래 방식의 전구에 비해 고속이기 때문에, 촬영 장치로 LED 신호기나 표식을 촬영하면 플리커가 발생하여 소등한 것처럼 보이는 문제가 있어, 드라이브 레코더의 증거 능력의 담보나 자동차의 운전 자동화에 큰 과제가 되고 있다.

도 2는, 점멸하는 촬영 대상의 촬영의 예를 설명하는 도면이다. 도 2에 있어서, 제1 프레임(Frame1)과 제2 프레임(Frame2)의 화상에서는 청(좌단)이 점등하고 있는 신호기가 찍혀 있지만, 제3 프레임(Frame3)과 제4 프레임(Frame4)의 화상에서는 소등한 상태의 신호기가 찍혀 있다.

이와 같이, 신호기가 소등한 상태로 찍히는 것은, 예를 들어, 드라이브 레코더에 이용되고 있는 경우 영상(화상)의 증거 능력에 지장을 초래하는 원인이 된다. 또한, 신호기가 소등한 상태로 찍히는 것은, 그 화상이, 예를 들어, 자동차의 자동 운전에 이용되고 있는 경우, 자동차의 정지 등의 운전 제어에 지장을 일으키는 원인이 된다.

(차량 전방의 인식의 예)

또한, 자동 운전을 실현할 때에는, 자동차의 진행 방향에 존재하는 선행 차량이나, 도로를 횡단 중인 보행자 등의 장애물(대상물)을 인식하기 위한 기술이 필수가 된다. 예를 들어, 자동차의 전방의 장애물의 검출이 늦으면, 자동 브레이크의 동작이 늦게 되어 버릴 가능성이 있다.

도 3은, 차량 전방의 인식의 예를 설명하는 도면이다. 도 3에 있어서는, 자동차의 전방을 주행하는 2대의 차량이나 노면의 상태 등이 인식되어, 그 인식 결과에 따른 자동 운전의 제어가 행해진다.

(휘도 차가 매우 큰 장면에 있어서, 점멸하는 촬영 대상에 대한 대처 방법)

여기서, 상술한 특허문헌 1에는, 복수의 다른 노광량으로 촬영된 화상을 합성함으로써 새하얗게 나오는 것을 억제하고, 외관의 다이나믹 레인지를 확대하는 수법이 제안되어 있다. 이 수법에서는, 도 4에 도시한 바와 같이, 노광 시간이 긴 장시간 노광 화상(장축화상; long-accumulated image)의 휘도값을 참조하여, 밝기가 소정의 임계치를 하회하면 장시간 노광 화상(장축화상), 상회하면 단시간 노광 화상(단축화상; short-accumulated image)을 출력함으로써, 넓은 다이나믹 레인지를 갖는 화상을 생성하는 것이 가능하게 된다.

한편, 도 2에 나타낸 것처럼, LED 신호기 등 고휘도의 피사체가 점멸하고 있는 경우에, 장시간 노광 화상(장축화상)과 단시간 노광 화상(단축화상)의 합성을 행함으로써, 원래 신호기의 점등 상태가 기록되어야 함에도 불구하고, 소등 상태가 기록되어 버리는 경우가 있다. 도 5에는, 신호기의 점등 상태가 기록되어야 함에도 불구하고, 소등 상태가 기록되어 버리는 경우의 예를 나타내고 있다.

도 5의 예에서는, 장축화상에만 LED 점등 상태가 찍히고 있는 경우, 광원이 밝기 때문에 신호가 포화되어 임계치를 상회한다. 이 때문에, 장축화상으로부터 단축화상으로의 치환이 생기게 되지만, 단축화상에는 LED 점등 상태가 찍히고 있지 않기 때문에 소등 상태가 발생하여 버린다. 또한, 도 5의 예에서는, 단축화상에만 LED점등 상태가 찍히고 있는 경우, 장축화상의 밝기가 임계치를 하회하고 있기 때문에, 장축화상으로부터 단축화상으로의 치환은 발생하지 않는다. 그 결과, 장축화상에는 LED의 점등 상태가 찍히고 있지 않기 때문에 소등 상태가 발생하여 버린다.

또한, 도 2에 나타낸 LED의 플리커에 대해서는, 점멸 광원의 소등 기간을 상회하는 노광 시간으로 촬영을 행함으로써, 발광 기간의 촬영 놓침을 방지하는 수법이 있다. 예를 들어, 광원의 점멸 주파수가 100 ㎐, 발광 Duty비가 60%이면, 소등 기간 4 ㎳를 노광 시간의 하한치로 하여, 항상 그 이상의 노광 시간을 확보함으로써 광원의 점등 상태를 계속 촬영할 수 있다(상술한 특허문헌 2 참조). 도 6에는, 점멸 광원의 소등 기간을 상회하는 노광 시간으로 촬영을 행하는 경우의 예를 나타내고 있다. 도 6의 예에서는, 소등 기간 4 ㎳의 경우에 있어서, 4 ㎳ <노광 시간으로 되어 있다.

그러나, 차재 카메라 등 렌즈 F치를 고정으로 사용하여만 하는 시스템의 경우, 맑은 날의 옥외 등 조도가 높은 상황 하에서는, 노광 시간을 광원의 소등 기간보다 짧게 할 수 없기 때문에, 노광 과다가 되어, 피사체의 시인성이 저하되어 버린다. 그 때문에, 도 1에 나타낸 화상이 새하얗게 나오는 현상이 발생하는 것과 같은 휘도 차가 큰 장면에 있어서는, 화상의 다이나믹 레인지를 확대하는 효과는 얻어지지 않는다.

(현재 기술의 수법)

도 1에 나타낸 화상이 새하얗게 나오는 것과, 도 2에 나타낸 LED의 플리커를 동시에 해결하기 위한 수법으로서, 서로 다른 노광 시간으로 촬영한 복수의 촬영 화상의 가산 신호를 이용하여, 다이나믹 레인지가 확대된 신호를 생성하는 수법(이하, 현재 기술의 수법이라 함)이 있다.

도 7 및 도 8은, 현재 기술의 수법을 설명하기 위한 도면이다.

이 현재 기술의 수법에서는, 서로 다른 노광 시간(T1, T2)으로 촬영한 복수의 촬영 화상(장축화상, 단축화상)을 합성함으로써, 다이나믹 레인지를 확대함과 동시에, 복수의 촬영 화상(장축화상, 단축화상)의 가산치를 항상 이용하고 있다. 이 때문에, 다른 노광 타이밍에서 노광된 복수의 촬영 화상 중 어느 촬영 화상에만 LED의 점등 상태가 기록되어 있지 않은 상황에 있어서도, 그 LED의 점등 상태를 포함하는 촬영 화상의 화상 신호를 유효하게 활용하여, LED의 소등 상태의 발생을 억제할 수 있다.

구체적으로는, 현재 기술의 수법에서는, 다음과 같은 처리를 행한다. 즉, 현재 기술의 수법에서는, 우선, 장축(P1)과 단축(P2)을 가산하여 얻어지는 가산 신호 Plo(Plo = P1 + P2)의 기울기가 변화하는 포인트(니포인트(knee-point) Kp1)를 구한다. 니포인트 Kp1는, 장축(P1)이 포화하여, 가산 신호 Plo의 기울기가 바뀌는 신호량이라고 말할 수 있다.

여기서, 포화 신호량을 FULLSCALE이라 했을 때, 포화하는 포인트에서는, 하기의 식 (1) 및 식 (2)이 성립한다.

P1 = FULLSCALE 　　 ···(1)

P2 = FULLSCALE × 1/g1 ···(2)

단, 식 (2)에 있어서, g1는, 노광비(장축의 노광 시간(T1)/단축의 노광 시간(T2))을 나타낸다.

따라서, 니포인트 Kp1는, 하기의 식 (3)에 의해 구해진다.

Kp1 = 포화하는 포인트의 Plo = P1 + P2 = FULLSCALE × (1 + 1/g1) ···(3)

또한, 도 8에 있어서는, 니포인트 Kp1를 경계로 하여, 제1 영역과 제2 영역의 영역별로 선형으로 복원된 신호인 선형 신호(P)가 구해진다.

여기서, 제1 영역, 즉, Plo < Kp1의 영역은 비포화 영역이기 때문에, 가산 신호(Plo)를 그대로 선형 신호(P)로 할 수 있다. 따라서, Plo < Kp1의 영역에서는, P = Plo가 된다.

한편, 제2 영역, 즉, Kp1 ≤ Plo의 영역은 포화 영역이기 때문에, 포화하여 일정한 값으로 되고 있는 장축(P1)의 값을, 단축(P2)의 값으로부터 추측할 필요가 있다. Kp1 ≤ Plo의 영역에서는, Kp1로부터 Plo의 증가분을 ΔPlo이라 하는 경우, ΔPlo = ΔP2 = (Plo - Kp1)가 된다. 이 때의 ΔP1의 값은, ΔP1 = ΔP2 × g1(P2의 값의 노광비 배)가 된다.

따라서, Kp1 ≤ Plo의 영역의 P는, P = Kp1 + (Plo - Kp1) + (Plo - Kp1) × g1 가 된다. 또한, 이 P의 산출식에 있어서, 우변의 제1항은, 제2 영역의 개시 오프셋(offset)를 나타내고, 우변의 제2항은, 단축의 신호량을 나타내고, 우변의 제3항은, 단축으로부터 추측한 장축의 신호량이 된다.

이상을 정리하면, 하기의 식 (4) 및 식 (5)과 같이 나타낼 수 있다.

(i) Plo < Kp1의 영역(제1 영역)의 경우,

P = Plo 　　　 ···(4)

(ii) Kp1 ≤ Plo의 영역(제2 영역)의 경우,

P = Kp1 + (Plo - Kp1) × (1 + g1) ···(5)

여기서, 상술한 특허문헌 3에는, 촬영 장치로부터 얻어지는 자동차 전방의 화상의 수직 방향의 히스토그램을 취득하여, 그 피크 위치로부터 장애물(대상물)의 위치를 검출하는 수법이 제안되고 있다. 이 수법에 있어서는, 도 9에 도시한 바와 같이, 자동차의 전방의 촬영 화상에 대하여 진행 방향을 따르는 사각 울타리 형상의 영역 A1에서, 화소치의 히스토그램을 취득한다.

도 9의 A에 있어서는, 진행 방향에 장애물이 존재하지 않기 때문에, 노면의 히스토그램은 평탄하게 된다. 한편, 도 9의 B에 있어서는, 자동차의 전방에 다른 차가 주행하고 있어, 진행 방향으로 장애물이 존재하고 있기 때문에, 평탄한 노면의 히스토그램에 대하여 특정 위치에 피크가 출현하고 있다. 그리고, 이 피크의 휘도 레벨에 상당하는 좌표를 특정함으로써, 장애물의 위치를 검출하는 것이 가능해진다.

그러나, 상술한 현재 기술에서는, 가산 신호(Plo = P1 + P2)를, 다이나믹 레인지가 확장된 선형 신호(P)로 변환할 때에, 니포인트 Kp1를 경계로 하여 급격하게 연산식이 변화하기 때문에, 화상의 노이즈의 분포가 비대칭이 되는 특징이 있다. 그 때문에, 예를 들어, 자동차의 진행 방향에 태양이 존재하여, 휘도가 부드럽게 변화하는 것과 같은 노면의 상황에 있어서, 해당 노면의 히스토그램을 취득하면, 히스토그램에는 의사적인 스파이크(히스토그램의 스파이크)가 발생하게 된다.

도 10에는, 히스토그램의 스파이크의 예를 나타내고 있다. 도 10에 있어서는, 휘도 변화가 부드러운 신호에 대해, 상술한 현재 기술을 이용하여 합성한 결과 얻어지는 히스토그램의 예를 나타내고 있는데, 도면 중의 A2 내에 나타내듯이, 히스토그램의 스파이크가 발생하고 있다.

또한, 도 10에 나타낸 히스토그램의 스파이크의 발생 위치는, 도 11의 C의 현재 기술을 이용한 합성 결과의 위치에 대응하고 있다. 단, 도 11의 C의 합성 결과는, 도 11의 A의 장축(P1)의 값과, 도 11의 B의 단축(P2)의 값을 합성함으로써 얻어진다.

즉, 도 12에 도시된 바와 같이, 상술한 현재 기술을 이용한 합성을 행하면, 자동차의 전방에 장애물이 없는 경우에, 실제로는 장애물이 존재하지 않는데도 불구하고, 도면 중의 테두리 A3내에 도시된 바와 같이, 히스토그램에 의사적인 스파이크(의사 피크)가 발생해 버리는 일이 있다. 또한, 자동차의 전방에 장애물이 있는 경우에도, 도면 중의 테두리 A4내에 도시된 장애물의 존재를 나타내는 피크(본 피크) 외에, 도면 중의 테두리 A3내에 도시된 바와 같이, 히스토그램에 의사적인 스파이크(의사 피크)가 발생할 가능성이 있다.

그리고, 현재 기술을 이용한 합성으로, 히스토그램에 의사적인 스파이크가 발생해 버리면, 히스토그램의 피크 위치를 이용한 장애물 검출의 수법을 적용할 때, 의사 피크와, 장애물의 유무를 검출하기 위한 본 피크와의 구별이 되지 않고, 장애물의 오검출이 발생해 버릴 가능성이 있다.

이상과 같이, 도 1에 나타낸 화상이 새하얗게 되는 현상이 발생하는 것과 같은 휘도 차가 큰 장면에 있어서, 화상의 다이나믹 레인지를 확대하는 것과, 도 2에 도시한 LED의 플리커 대책과, 도 9에 도시한 히스토그램의 피크 위치를 이용한 장애물 검출에 지장을 초래하지 않는 화상을 생성하는 것을 양립 가능하게 하는 기술은, 아직 확립되어 있지 않다. 본 기술에서는, 이들을 양립시키기 위해, 특히, 이하의 3개의 기술적 특징을 가지는 점을 포인트로 하고 있다.

(1) 히스토그램의 스파이크를 억제하기 위해, 장축이나 단축 등의 다른 노광 시간으로 촬영된 복수의 화상의 신호에 대해, 다른 클립값을 설정하도록 한다.

(2) 또한, 예를 들어, 복수의 화상의 신호 중 장축화상의 신호만 클립값을 낮추어, 가산 신호의 기울기가 변화하는 포인트인 니포인트 Kp의 위치를 끌어내린 신호를 병렬로 준비하고, 히스토그램의 스파이크가 발생하는 니포인트 Kp의 주변을 피하여 신호의 갈아탐을 행함으로써, 니포인트 Kp에서의 급격한 특성 변화를 억제한다.

(3) 이 때, 움직임 보정 처리를 아울러 행함으로써, 니포인트 Kp의 위치를 끌어내림으로써 발생할 염려가 있는 고속 점멸 피사체의 감광을 억제한다.

본 기술에서는, 이러한 기술적 특징을 가짐으로써, 휘도 차가 매우 큰 장면에 있어서, 새하얗게 나오는 현상이나 검게 나오는 현상을 억제함과 동시에, LED 신호기 등의 고속 점멸 피사체의 점등 상태를 올바르게 출력하는 것이 가능하고, 또한 히스토그램의 스파이크를 억제함으로써, 오검출 없이, 정확하게 장애물을 검출할 수 있다.

이하, 이러한 본 기술의 기술적 특징을, 구체적인 실시형태를 참조하여 설명한다.

＜2. 본 기술의 실시형태＞

(카메라 유닛의 구성예)

도 13은, 본 기술을 적용한 촬영 장치로서의 카메라 유닛의 일 실시형태의 구성예를 나타내는 블록도이다.

도 13에 있어서, 카메라 유닛(10)은, 렌즈(101), 촬상 소자(102), 딜레이 라인(103), 신호 처리부(104), 출력부(105), 및 타이밍 제어부(106)로 구성된다.

렌즈(101)는, 피사체로부터의 빛을 집광하여, 촬상 소자(102)에 입사시켜 결상시킨다.

촬상 소자(102)는, 예를 들어, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이다. 촬상 소자(102)는, 렌즈(101)로부터의 입사광을 수광하여, 광전 변환을 행함으로써, 입사광에 대응하는 촬영 화상(의 화상 데이터)을 촬영한다.

즉, 촬상 소자(102)는, 타이밍 제어부(106)로부터 지정되는 촬영 타이밍으로 촬영을 행하는 촬영부로서 기능하여, 출력부(105)가 출력하는 출력 화상의 프레임 레이트의 기간에, N회의 촬영을 행하여, 그 N회의 촬영에 의해 얻어지는 N매의 촬영 화상을 순차 출력한다.

딜레이 라인(103)은, 촬상 소자(102)가 순차 출력하는 N매의 촬영 화상을 순차 기억하고, 그 N매의 촬영 화상을 동시에 신호 처리부(104)에 공급한다.

신호 처리부(104)는, 딜레이 라인(103)으로부터의 N매의 촬영 화상을 처리하여, 1 프레임(매)의 출력 화상을 생성한다. 이 때, 신호 처리부(104)는, N매의 촬영 화상의 동일 좌표의 화소치의 가산치를 산출한 후에 선형화를 행하는 처리를 N계통 구비하고, 이들 처리 결과를 블랜드하여 출력 화상을 생성한다.

또한, 신호 처리부(104)는, 출력 화상에 대해, 예를 들어, 노이즈의 제거나, WB(화이트 밸런스)의 조정 등의 처리를 행하여, 출력부(105)에 공급한다. 또한, 신호 처리부(104)는, 딜레이 라인(103)으로부터의 N매의 촬영 화상의 밝기로부터 노광 레벨을 검출(검파)하여, 타이밍 제어부(106)에 공급한다.

출력부(105)는, 신호 처리부(104)로부터의 출력 화상(영상 데이터)을 출력한다.

타이밍 제어부(106)는, 촬상 소자(102)의 촬영 타이밍을 제어한다. 즉, 타이밍 제어부(106)는, 신호 처리부(104)에서 검출된 노광 레벨에 기초하여, 촬상 소자(102)의 노광 시간의 조정을 행한다. 이 때, 타이밍 제어부(106)는, N매의 촬영 화상의 노광 타이밍을 가능한 한 근접시키도록 셔터 제어를 행한다.

카메라 유닛(10)은, 이상과 같이 구성된다.

(타이밍 제어부의 셔터 제어의 예)

다음으로, 도 14 및 도 15를 참조하여, 도 13의 타이밍 제어부(106)에 의한 셔터 제어에 대해 설명한다.

도 13의 카메라 유닛(10)에 있어서, 촬상 소자(102)는, 노광 시간이 다른 N매의 촬영 화상의 촬영 데이터를 취득한다. 이 때, 타이밍 제어부(106)는, 이들의 촬영 기간을 가능한 한 근접시킴으로써 실효적인 노광 시간을 늘려, LED 등의 고속 점멸 피사체의 점멸 주기를 쉽게 커버하기 위한 제어를 행한다.

여기에서는, 도 14를 참조하여, 그 구체적인 예로서 3매의 촬영 화상을 취득할 때의 노광 타이밍에 대해 설명한다. 도 14에 있어서, T1, T2, T3는, 1 프레임 이내에서 3회 촬영을 행할 때의 각각의 노광 타이밍을 나타내고 있다. 각각의 노광에 있어서의 노광 시간의 비율은, 신호의 다이나믹 레인지를 확보하기 위해, 예를 들어, T1：T2：T3 = 4：2：1의 비율로 할 수 있다.

이 때, 타이밍 제어부(106)은, T1의 노광이 완료되는 대로, 곧바로 T2의 노광을 개시하고, T2의 노광이 완료되는 대로, 곧바로 T3의 노광을 개시하도록 노광 타이밍의 제어를 행한다. 즉, T1의 노광 종료와 T2의 노광 개시와의 간격, 및 T2의 노광 종료와 T3의 노광 개시와의 간격이 극소화되어 있다. 이러한 노광 타이밍 제어를 행함으로써, 고속 점멸 피사체의 점등 기간이 T1, T2, T3의 어느 노광 기간과 쉽게 오버랩하게 되어, 점등 기간의 화상을 포착할 수 있는 확률을 높일 수 있다.

또한, N매의 촬영 화상의 촬영 기간을 근접시킴으로써, 다음과 같은 효과를 얻을 수 있다. 즉, 도 15의 A와 도 15의 B를 비교해 설명하면, 도 15의 A에 도시한 바와 같이, T1, T2, T3의 노광 타이밍을 떨어뜨려 설정하는 경우에는, 점등 기간이 짧은(발광 Duty비가 작은) 점멸 광원의 경우 노광 타이밍과 발광 타이밍이 오버랩하지 않을 가능성이 있다.

한편, 도 15의 B에 도시한 바와 같이, T1, T2, T3의 노광 타이밍을 근접시키는 경우에는, 실효적인 노광 시간이 늘어나기 때문에, 점등 기간이 짧은 점멸 광원에 대해 노광 타이밍과 발광 타이밍이 오버랩할 가능성을 향상시킬 수 있다. 또한, 예를 들어, LED 신호기의 소등 기간은, 전형적으로는 3 ㎳ 전후가 상정되므로, 타이밍 제어부(106)는, 이 소등 기간에 따라서, T1, T2, T3의 노광 타이밍을 근접시키는 제어를 행할 수 있다.

(신호 처리부의 구성예)

도 16은, 도 13의 신호 처리부(104)의 구성예를 나타내는 도면이다.

도 16의 신호 처리부(104)에 있어서는, 촬상 소자(102)에서 취득된 N매의 촬영 화상의 화상 데이터를 처리하여, 1 프레임(매)의 출력 화상으로 합성하고 있다. 이 때, 신호 처리부(104)는, 항상 N매의 촬영 화상의 화상 데이터 간에 합성을 행하여, 총 N-1회의 합성 처리를 행하도록 한다.

도 16에서는, 그 가장 단순한 예로서, 2매의 촬영 화상을 1매의 출력 화상으로 합성할 때의 신호 처리에 대해 설명한다.

또한, 도 16에서는, T1, T2는, 1 프레임 이내에서 2회 촬영을 행하였을 때의 각각의 노광 시간에 대응하는 촬영 화상을 나타내고 있다. 또한, 도 16에 있어서, 각각의 노광에 있어서의 노광 시간의 비율은, 신호의 다이나믹 레인지를 확보하기 위해, 예를 들어, T1：T2 = 16：1의 비율이라고 가정한다. T2의 밝기를 T1에 맞추기 위한 노광비 게인을 G1으로 정의하면, G1 = T1의 노광 시간/T2의 노광 시간 = 16[배]가 된다. 이하, 이 T1, T2에 대응하는 촬영 화상을 각각, 화상 신호(T1), 화상 신호(T2)라고도 기술한다.

도 16에 있어서, 신호 처리부(104)는, 제1 가산 처리부(121), 제1 선형화 처리부(122), 제2 가산 처리부(123), 제2 선형화 처리부(124), 합성 계수 산출부(125), 움직임 검출부(126), 합성 계수 변조부(127), 및 합성 처리부(128)로 구성된다.

제1 가산 처리부(121)는, 입력되는 화상 신호(T1)와 화상 신호(T2)를 가산하는 제1 가산 처리를 행하여, 가산 신호(SUM1)를 생성한다. 제1 가산 처리부(121)는, 제1 가산 처리로 얻어지는 가산 신호(SUM1)를, 제1 선형화 처리부(122)에 공급한다.

구체적으로는, 이 제1 가산 처리에서는, 화상 신호(T1)와 화상 신호(T2)의 값에 대해, 미리 정해진 값을 이용하여 상한 클립 처리를 행한 후에, 그 결과 얻어지는 신호의 가산을 행한다.

여기서, 상한 클립 처리에서는, 제1 가산 처리에 있어서의, 화상 신호(T1)와 화상 신호(T2)의 클립값이 설정된다. 여기서, 클립값(상한 클립값)은, 포화값(포화 신호량) 또는 제한값이라고도 말할 수 있다. 예를 들어, 화상 신호(T1)의 클립값을 CLIP_T1_1이라 하고, 화상 신호(T2)의 클립값을 CLIP_T2_1이라 한 경우, 제1 가산 처리에서는, 아래와 같은 식 (6)이 연산되어, 가산 신호(SUM1)이 얻어진다.

SUM1 = MIN (CLIP_T1_1, T1) + MIN (CLIP_T2_1, T2) ···(6)

단, 식 (6)에 있어서, MIN(a, b)인 함수는, b의 상한값(포화값, 제한값)이 a인 것을 의미한다. 또한, 이 함수의 의미는, 후술하는 식에서도 마찬가지이다.

제1 선형화 처리부(122)는, 제1 가산 처리부(121)로부터의 가산 신호(SUM1)를 참조하여, 제1 선형화 처리를 행하고, 밝기에 대해 선형인 선형 신호(LIN1)를 생성한다. 제1 선형화 처리부(122)는, 제1 선형화 처리에서 얻어지는 선형 신호(LIN1)를, 움직임 검출부(126) 및 합성 처리부(128)에 공급한다.

구체적으로는, 이 제1 선형화 처리에서는, 노광비 G1 = T1의 노광 시간/T2의 노광 시간으로 한 경우에, 니포인트 Kp의 위치가, 하기의 식 (7)에 의해 구해진다.

KP1_1 = CLIP_T1_1 × (1 + 1 / G1) ··· (7)

그리고, 제1 선형화 처리에서는, 가산 신호(SUM1)와 니포인트 Kp(KP1_1)의 영역에 따라서, 하기의 식 (8) 또는 식 (9)에 의해, 선형 신호(LIN1)가 구해진다.

(i) SUM1 < KP1_1의 영역의 경우,

LIN1 = SUM1 　　　···(8)

(ii) KP1_1 ≤ SUM1의 영역의 경우,

LIN1 = KP1_1 + (SUM1 - KP1_1) × (1 + G1) ···(9)

제2 가산 처리부(123)는, 입력되는 화상 신호(T1)와 화상 신호(T2)를 가산하는 제2 가산 처리를 행하여, 가산 신호(SUM2)를 생성한다. 제2 가산 처리부(123)는, 제2 가산 처리에서 얻어지는 가산 신호(SUM2)를, 제2 선형화 처리부(124)에 공급한다.

구체적으로는, 이 제2 가산 처리에서는, 화상 신호(T1)와 화상 신호(T2)의 값에 대해, 전술한 제1 가산 처리와는 다른 값을 이용하여 상한 클립 처리를 행한 후에, 그 결과 얻어지는 신호의 가산을 행한다.

여기서, 상한 클립 처리에서는, 제2 가산 처리에 있어서의, 화상 신호(T1)와 화상 신호 (T2)의 클립값이 설정된다. 예를 들어, 화상 신호(T1)의 클립값을 CLIP_T1_2라 하고, 화상 신호(T2)의 클립값을 CLIP_T2_2라 한 경우, 제2 가산 처리에서는, 하기의 식 (10)이 연산되어, 가산 신호(SUM2)가 얻어진다.

SUM2 = MIN (CLIP_T1_2, T1) + MIN (CLIP_T2_2, T2) ··· (10)

제2 선형화 처리부(124)는, 제2 가산 처리부(123)으로부터의 가산 신호(SUM2)를 참조하여, 제2 선형화 처리를 행하고, 밝기에 대해 선형인 선형 신호(LIN2)를 생성한다. 제2 선형화 처리부(124)는, 제2 선형화 처리에서 얻어지는 선형 신호(LIN2)를, 움직임 검출부(126) 및 합성 처리부(128)에 공급한다.

구체적으로는, 이 제2 선형화 처리에서는, 노광비 G1 = T1의 노광 시간/T2의 노광 시간으로 한 경우에, 니포인트 Kp의 위치가, 하기의 식 (11)에 의해 구해진다.

KP1_2 = CLIP_T1_2 × (1 + 1 / G1) ···(11)

그리고, 제2 선형화 처리에서는, 가산 신호(SUM2)와 니포인트 Kp(KP1_2)의 영역에 따라, 하기의 식 (12) 또는 식 (13)에 의해, 선형 신호(LIN2)가 구해진다.

(i) SUM2 < KP1_2의 영역의 경우

LIN2 = SUM2 　　　···(12)

(ii) KP1_2 ≤ SUM2의 영역의 경우

LIN2 = KP1_2 + (SUM2 - KP1_2) × (1 + G1) ···(13)

합성 계수 산출부(125)는, 화상 신호(T1)를 참조하여, 선형 신호(LIN1)와 선형 신호(LIN2)를 합성하기 위한 합성 계수를 산출한다. 합성 계수 산출부(125)는, 산출한 합성 계수를, 합성 계수 변조부(127)에 공급한다.

구체적으로는, 선형 신호(LIN1)에 대해서, 선형 신호(LIN2)의 합성(블랜드)을 개시하는 임계치를 BLD_TH_LOW라 하고, 합성 비율(블랜드율)이 1.0이 되어, 선형 신호(LIN2)가 100%가 되는 임계치를 BLD_TH_HIGH라 하면, 합성 계수는, 하기의 식 (14)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

합성 계수 = (T1 - BLD_TH_LOW)÷(BLD_TH_HIGH - BLD_TH_LOW)···(14)

움직임 검출부(126)는, 제1 선형화 처리부(122)로부터의 선형 신호(LIN1)와, 제2 선형화 처리부(124)로부터의 선형 신호(LIN2)의 차분을 움직임량으로 정의하여, 움직임 판정을 행한다. 그 때, 움직임 검출부(126)는, 신호의 노이즈와 LED 등의 고속 점멸체의 점멸을 구별하기 위해, 움직임량을 센서 특성으로부터 상정되는 노이즈량과 비교하여 움직임 계수를 산출한다. 움직임 검출부(126)는, 산출한 움직임 계수를, 합성 계수 변조부(127)에 공급한다.

구체적으로는, 차분에 대해 100% 움직임은 아니라고 판정되는 레벨의 상한치를 MDET_TH_LOW라 하고, 100% 움직임이라고 판정되는 레벨을 MDET_TH_HIGH라 하면, 움직임 계수는, 하기의 식 (15)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

움직임 계수 = (ABS(LIN1 - LIN2) - MDET_TH_LOW)÷(MDET_TH_HIGH - MDET_TH_LOW) ···(15)

여기서, 식 (15)에 있어서, ABS()는, 절대값을 반환하는 함수를 의미한다. 또한, 이 함수의 의미는, 후술하는 식에서도 마찬가지이다.

합성 계수 변조부(127)는, 합성 계수 산출부(125)로부터의 합성 계수에 대해, 움직임 검출부(126)로부터의 움직임 계수를 가미한 변조를 행하여, 움직임 보상 후 합성 계수를 산출한다. 합성 계수 변조부(127)는, 산출한 움직임 보상 후 합성 계수를, 합성 처리부(128)에 공급한다.

구체적으로는, 움직임 보상 후 합성 계수는, 하기의 식 (16)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

움직임 보상 후 합성 계수 = 합성 계수 - 움직임 계수 ···(16)

합성 처리부(128)는, 제1 선형화 처리부(122)로부터의 선형 신호(LIN1)와, 제2 선형화 처리부(124)로부터의 선형 신호(LIN2)를, 합성 계수 변조부(127)으로부터의 움직임 보상 후 합성 계수로 합성(알파 블랜드)하여, 그 결과 얻어지는 HDR(High Dynamic Range) 합성 후 신호로서의 합성 후 화상 신호를 출력한다.

구체적으로는, 합성 후 화상 신호는, 하기의 식 (17)에 의해 구해진다.

합성 후 화상 신호 = (LIN2 - LIN1) × 움직임 보상 후 합성 계수 + LIN1 　　　··· (17)

신호 처리부(104)는, 이상과 같이 구성된다.

(2매 합성을 행하는 경우의 신호 처리)

다음으로, 도 17의 플로우차트를 참조하여, 도 16의 신호 처리부(104)에 의해 실행되는, 2매 합성을 행하는 경우의 신호 처리의 흐름을 설명한다.

스텝(S11)에 있어서, 제1 가산 처리부(121)는, 화상 신호(T1)와 화상 신호(T2)의 값에 대해, 미리 정해진 클립값(CLIP_T1_1, CLIP_T2_1)를 이용하여, 상한 클립 처리를 행한다.

스텝(S12)에 있어서, 제1 가산 처리부(121)는, 상기 식 (6)을 연산함으로써, 스텝(S11)의 상한 클립 처리 후의 화상 신호(T1)와 화상 신호(T2)를 가산하여, 가산 신호(SUM1)를 생성한다.

스텝(S13)에 있어서, 제2 가산 처리부(123)는, 화상 신호(T1)와 화상 신호(T2)의 값에 대해, 제1 가산 처리(S11, S12)와는 다른 클립값(CLIP_T1_2, CLIP_T2_2)를 이용하여, 상한 클립처리를 행한다.

스텝(S14)에 있어서, 제2 가산 처리부(123)는, 상기 식 (10)을 연산함으로써, 스텝(S13)의 처리에서 얻어지는 상한 클립 처리 후의 화상 신호(T1)와 화상 신호(T2)를 가산해, 가산 신호(SUM2)를 생성한다.

여기서, T1과 T2의 노광 시간의 비율은, 예를 들어, T1：T2 = 16：1의 비율로 할 수 있다. 따라서, 화상 신호(T1)는 장시간 노광 화상(장축화상)인 반면, 화상 신호(T2)는 단시간 노광 화상(단축화상)이라고도 말할 수 있다. 또한, 예를 들어, 장축화상인 화상 신호(T1)에 대해 설정되는 클립값으로서는, 제2의 가산 처리(S13, S14)에서 이용되는 클립값(CLIP_T1_2)을 제1의 가산 처리(S11, S12)에서 이용되는 클립값(CLIP_T1_1)보다 낮게 할 수 있다.

스텝(S15)에 있어서, 제1 선형화 처리부(122)는, 상기 식 (7) 내지 식 (9)을 연산함으로써, 스텝(S12)의 처리에서 얻어지는 가산 신호(SUM1)를 선형화해, 선형 신호(LIN1)를 생성한다.

스텝(S16)에 있어서, 제2 선형화 처리부(124)는, 상기 식 (11) 내지 식 (13)을 연산함으로써, 스텝(S14)의 처리에서 얻어지는 가산 신호(SUM2)를 선형화해, 선형 신호(LIN2)를 생성한다.

스텝(S17)에 있어서, 합성 계수 산출부(125)는, 화상 신호(T1)를 참조해, 상기 식 (14)을 연산함으로써, 합성 계수를 산출한다.

스텝(S18)에 있어서, 움직임 검출부(126)은, 스텝(S15)의 처리에서 얻어지는 선형 신호(LIN1)와, 스텝(S16)의 처리에서 얻어지는 선형 신호(LIN2)로 움직임을 검출하고, 상기 식 (15)을 연산함으로써, 움직임 계수를 산출한다.

스텝(S19)에 있어서, 합성 계수 변조부(127)은, 상기 식 (16)을 연산함으로써, 스텝(S17)의 처리에서 얻어지는 합성 계수에서부터, 스텝(S18)의 처리에서 얻어지는 움직임 계수를 감산하여, 움직임 보상 후 합성 계수를 산출한다.

스텝(S20)에 있어서, 합성 처리부(128)는, 스텝(S19)의 처리에서 얻어지는 움직임 보상 후 합성 계수를 참조해, 상기 식 (17)을 연산함으로써, 스텝(S15)의 처리에서 얻어지는 선형 신호(LIN1)와 스텝(S16)의 처리에서 얻어지는 선형 신호(LIN2)를 합성하여, 합성 후 화상 신호를 생성한다.

또한, 선형 신호(LIN1)와 선형 신호(LIN2)의 합성 처리의 자세한 내용은, 도 24 내지 도 27을 참조하여 후술하지만, 여기에서는, 움직임 보상 후 합성 계수에 따른 합성을 행함으로써, 히스토그램의 스파이크가 발생하는 니포인트 Kp의 주변을 피하여, 선형 신호(LIN1)와 선형 신호(LIN2)가 합성되게 된다. 즉, 히스토그램의 스파이크의 발생 위치를 비켜나, 장축이 포화하기까지(히스토그램의 스파이크가 발생하기 전에), 선형 신호(LIN1)측으로부터, 다른 니포인트 Kp를 갖는 선형 신호(LIN2)측으로, 부드럽게 갈아타도록 함으로써, 히스토그램의 스파이크를 억제할 수 있다.

스텝(S21)에 있어서, 합성 처리부(128)는, 스텝(S20)의 처리에서 얻어지는 합성 후 화상 신호를 출력한다.

이상, 2매 합성을 행하는 경우의 신호 처리의 흐름을 설명하였다.

(신호 처리부의 처리 결과의 예)

다음으로, 도 18 내지 도 20을 참조해, 도 16의 신호 처리부(104)에 의한 신호 처리(도 17)의 처리 결과에 대해 설명한다.

도 18에는, 신호 처리의 처리 결과의 예를 나타내고 있다. 또한, 여기에서는, 도 18의 A에 전술한 현재 기술의 수법을 이용한 경우의 처리 결과를 도시하여, 도 18의 B의 본 기술의 수법을 이용한 경우의 처리 결과와 비교하고 있다.

도 18의 A의 현재 기술의 수법의 경우, 도면 중의 테두리 A5내에 도시한 바와 같이, 장축이 포화하는 경계 부근의 밝기에서, 처리가 급격히 변화하기 때문에, 히스토그램의 의사적인 스파이크(의사 피크)가 발생하고 있다. 그 결과로, 실제로는 장애물이 없는데도 불구하고, 앞서 설명한 바와 같이 장애물이 있다고 오검출되는 것으로 이어지게 된다.

한편, 도 18의 B의 본 기술의 수법의 경우, 다른 클립값을 설정하여, 선형 신호(LIN)별로, 히스토그램의 스파이크의 발생 위치를 비켜 나, 장축이 포화하기까지(히스토그램의 스파이크가 발생하기 전에), 선형 신호(LIN1)측으로부터, 다른 니포인트 Kp를 갖는 선형 신호(LIN2)측으로, 부드럽게 갈아타도록 하고 있다. 이 때문에, 도 18의 B에서는, 의사적인 스파이크(의사 피크)가 발생하고 있지 않고, 실제로는 장애물이 없는데도 불구하고, 장애물이 있다고 오검출되는 것을 억제할 수 있다.

또한, 도 19 및 도 20에는, 실제의 촬영 화상의 예를 나타내고 있다. 즉, 도 19와 도 20은, 현재 기술의 수법을 이용한 경우의 신호 처리의 결과를 나타내고 있다. 이들 촬영 화상에 대한 신호 처리에서는, 정면에 태양이 있는 역광 장면에서 도로를 따르는 방향의 히스토그램을 취득하고 있지만, 도 20에서는, 스파이크가 촬영 화상의 어디에서 발생하고 있는지를 알 수 있도록, 히스토그램 중의 스파이크의 휘도 레벨에 상당하는 화소의 위치를 강조하여 표시하고 있다(예를 들어, 도면 중의 테두리 A6내 등). 도 20에 있어서는, 진행 방향 정면에 태양 등의 밝은 광원이 있는 경우에, 원환 형상으로 스파이크가 발생하는 영역이 존재하고 있다.

＜3. 본 기술의 실시형태의 변형예＞

(3매 합성을 행하는 경우의 신호 처리부의 구성예)

도 21은, 3매 합성을 행하는 경우의 신호 처리부(104)의 구성예를 나타내는 도면이다.

즉, 상술한 설명에서는, 가장 단순한 예로서, 2매의 촬영 화상을 1매의 출력 화상으로 합성할 때의 신호 처리에 대해 설명했지만, 도 21에 있어서는, 3매의 촬영 화상을 1매의 출력 화상으로 합성할 때의 신호 처리에 대해 설명한다.

또한, 도 21에 있어서는, T1, T2, T3는, 1 프레임 이내에서 3회 촬영을 행했을 때의 각각의 노광 시간에 대응하는 촬영 화상을 나타내고 있다. 또한, 도 21에 있어서, 각각의 노광에 있어서의 노광 시간의 비율은, 신호의 다이나믹 레인지를 확보하기 위해, 예를 들어, T1：T2：T3 = 4：2：1의 비율이라고 가정한다. T2의 밝기를 T1에 맞추기 위한 노광비 게인을 G1, T3의 밝기를 T2에 맞추기 위한 노광비 게인을 G2라고 정의한다. 상기의 예에서는, G1 = 2, G2 = 2가 된다. 이하, 이 T1, T2, T3에 대응하는 촬영 화상을 각각, 화상 신호(T1), 화상 신호(T2), 화상 신호(T3)라고도 기술한다.

도 21에 있어서, 신호 처리부(104)는, 제1 가산 처리부(141), 제1 선형화 처리부(142), 제2 가산 처리부(143), 제2 선형화 처리부(144), 제3 가산 처리부(145), 제3 선형화 처리부(146), 제1 합성 계수 산출부(147), 제1 움직임 검출부(148), 제1 합성 계수 변조부(149), 제1 합성 처리부(150), 제2 합성 계수 산출부(151), 제2 움직임 검출부(152), 제2 합성 계수 변조부(153), 및 제2 합성 처리부(154)로 구성된다.

제1 가산 처리부(141)는, 입력되는 화상 신호(T1)와 화상 신호(T2)와 화상 신호(T3)를 가산하는 제1 가산 처리를 행하여, 가산 신호(SUM1)를 생성한다. 제1 가산 처리부(141)는, 제1 가산 처리에서 얻어지는 가산 신호(SUM1)를, 제1 선형화 처리부(142)에 공급한다.

구체적으로는, 이 제1 가산 처리에서는, 화상 신호(T1, T2, T3)의 값에 대해, 미리 정해진 값을 이용하여 상한 클립 처리를 행한 다음에, 그 결과 얻어지는 신호의 가산을 행한다.

여기서, 상한 클립 처리에서는, 제1 가산 처리에 있어서의, 화상 신호(T1, T2, T3)의 클립값이 설정된다. 예를 들어, 화상 신호(T1)의 클립값을 CLIP_T1_1라 하고, 화상 신호(T2)의 클립값을 CLIP_T2_1라 하고, 화상 신호(T3)의 클립값을 CLIP_T3_1라 한 경우, 제1 가산 처리에서는, 하기의 식 (18)이 연산되어, 가산 신호(SUM1)가 얻어진다.

SUM1 = MIN (CLIP_T1_1, T1) + MIN (CLIP_T2_1, T2) + MIN (CLIP_T3_1, T3) ···(18)

제1 선형화 처리부(142)는, 제1 가산 처리부(141)으로부터의 가산 신호(SUM1)를 참조해, 제1 선형화 처리를 행하고, 밝기에 대해 선형인 선형 신호(LIN1)를 생성한다. 제1 선형화 처리부(142)는, 제1 선형화 처리에서 얻어지는 선형 신호(LIN1)를, 제1 움직임 검출부(148) 및 제1 합성 처리부(150)에 공급한다.

구체적으로는, 이 제1 선형화 처리에서는, 노광비 G1 = T1의 노광 시간/T2의 노광 시간, 그리고, 노광비 G2 = T2의 노광 시간/T3의 노광 시간으로 한 경우에, 니포인트 Kp(KP1_1, KP2_1)의 위치가, 하기의 식 (19) 또는 식 (20)에 의해 구해진다.

KP1_1 = CLIP_T1_1 × (1 + 1 / G1 + 1 / (G1 × G2)) ··· (19)

KP2_1 = CLIP_T1_1 + CLIP_T2_1 × (1 + 1 / G2) ··· (20)

그리고, 제1 선형화 처리에서는, 가산 신호(SUM1)와 니포인트 Kp(KP1_1, KP2_1)의 영역에 따라, 하기의 식 (21) 내지 식 (23)에 의해, 선형 신호(LIN1)가 구해진다.

(i) SUM1 < KP1_1의 영역의 경우,

LIN1 = SUM1 　　　··· (21)

(ii) KP1_1 ≤ SUM1 < KP2_1의 영역의 경우,

LIN1 = KP1_1 + (SUM1 - KP1_1) × (1 + G1 × G2 / (1 + G2)) ··· (22)

(iii) KP2_1 ≤ SUM1의 영역의 경우,

LIN1 = KP2_1 + (KP2_1 - KP1_1) × (1 + G1 × G2 / (1 + G2)) + (SUM1 - KP2_1) × (1 + G2 + G1 × G2) ··· (23)

제2 가산 처리부(143)는, 입력되는 화상 신호(T1)와 화상 신호(T2)와 화상 신호(T3)를 가산하는 제2 가산 처리를 행하여, 가산 신호(SUM2)를 생성한다. 제2 가산 처리부(143)는, 제2 가산 처리에서 얻어지는 가산 신호(SUM2)를, 제2 선형화 처리부(144)에 공급한다.

구체적으로는, 이 제2 가산 처리에서는, 화상 신호(T1, T2, T3)의 값에 대해, 미리 정해진 값을 이용하여 상한 클립 처리를 행한 다음에, 그 결과 얻어지는 신호의 가산을 행한다.

여기서, 상한 클립 처리에서는, 제2 가산 처리에 있어서의, 화상 신호(T1, T2, T3)의 클립값이 설정된다. 예를 들어, 화상 신호(T1)의 클립값을 CLIP_T1_2라 하고, 화상 신호(T2)의 클립값을 CLIP_T2_2라 하고, 화상 신호(T3)의 클립값을 CLIP_T3_2라 한 경우, 제2 가산 처리에서는, 하기의 식 (24)이 연산되어, 가산 신호(SUM2)가 얻어진다.

SUM2 = MIN (CLIP_T1_2, T1) + MIN (CLIP_T2_2, T2) + MIN (CLIP_T3_2, T3) ··· (24)

제2 선형화 처리부(144)는, 제2 가산 처리부(143)으로부터의 가산 신호(SUM2)를 참조해, 제2 선형화 처리를 행하고, 밝기에 대해 선형인 선형 신호(LIN2)를 생성한다. 제2 선형화 처리부(144)는, 제2 선형화 처리에서 얻어지는 선형 신호(LIN2)를, 제1 움직임 검출부(148), 제1 합성 처리부(150), 및 제2 움직임 검출부(152)에 공급한다.

구체적으로는, 이 제2 선형화 처리에서는, 노광비 G1 = T1의 노광 시간/T2의 노광 시간, 그리고, 노광비 G2 = T2의 노광 시간/T3의 노광 시간으로 한 경우에, 니포인트 Kp(KP1_2, KP2_2)의 위치가, 하기의 식 (25) 또는 식 (26)에 의해 구해진다.

KP1_2 = CLIP_T1_2 × (1 + 1 / G1 + 1 / (G1 × G2)) ··· (25)

KP2_2 = CLIP_T1_2 + CLIP_T2_2 × (1 + 1 / G2) ··· (26)

그리고, 제2 선형화 처리에서는, 가산 신호(SUM2)와 니포인트 Kp(KP1_2, KP2_2)의 영역에 따라, 하기의 식 (27) 내지 식 (29)에 의해, 선형 신호(LIN2)가 구해진다.

(i) SUM2 < KP1_2의 경우,

LIN2 = SUM2 　　　···(27)

(ii) KP1_2 ≤ SUM2 < KP2_2의 영역의 경우,

LIN2 = KP1_2 + (SUM2 - KP1_2) × (1 + G1 × G2 / (1 + G2)) ··· (28)

(iii) KP2_2 ≤ SUM2의 영역의 경우,

LIN2 = KP2_2 + (KP2_2 - KP1_2) × (1 + G1 × G2 / (1 + G2)) + (SUM2 - KP2_2) × (1 + G2 + G1 × G2) ··· (29)

제3 가산 처리부(145)는, 입력되는 화상 신호(T1)와 화상 신호(T2)와 화상 신호(T3)를 가산하는 제3 가산 처리를 행하여, 가산 신호(SUM3)를 생성한다. 제3 가산 처리부(145)는, 제3 가산 처리에서 얻어지는 가산 신호(SUM3)를, 제3 선형화 처리부(146)에 공급한다.

구체적으로는, 이 제3 가산 처리에서는, 화상 신호(T1, T2, T3)의 값에 대해, 미리 정해진 값을 이용하여 상한 클립 처리를 행한 다음에, 그 결과 얻어지는 신호의 가산을 행한다.

여기서, 상한 클립 처리에서는, 제3 가산 처리에 있어서의, 화상 신호(T1, T2, T3)의 클립값이 설정된다. 예를 들어, 화상 신호(T1)의 클립값을 CLIP_T1_3으로 하고, 화상 신호(T2)의 클립값을 CLIP_T2_3으로 하고, 화상 신호(T3)의 클립값을 CLIP_T3_3으로 한 경우, 제3 가산 처리에서는, 하기의 식 (30)이 연산되어, 가산 신호(SUM3)가 얻어진다.

SUM3 = MIN (CLIP_T1_3, T1) + MIN (CLIP_T2_3, T2) + MIN (CLIP_T3_3, T3) ··· (30)

제3 선형화 처리부(146)는, 제3 가산 처리부(145)로부터의 가산 신호(SUM3)를 참조해, 제3 선형화 처리를 행하여, 밝기에 대해 선형인 선형 신호(LIN3)를 생성한다. 제3 선형화 처리부(146)는, 제3 선형화 처리에서 얻어지는 선형 신호(LIN3)를, 제2 움직임 검출부(152), 및 제2 합성 처리부(154)에 공급한다.

구체적으로는, 이 제3 선형화 처리에서는, 노광비 G1 = T1의 노광 시간/T2의 노광 시간, 그리고, 노광비 G2 = T2의 노광 시간/T3의 노광 시간으로 한 경우에, 니포인트 Kp(KP1_3, KP2_3)의 위치가, 하기의 식 (31) 또는 식 (32)에 의해 구해진다.

KP1_3 = CLIP_T1_3 × (1 + 1 / G1 + 1 / (G1 × G2)) ··· (31)

KP2_3 = CLIP_T1_3 + CLIP_T2_3 × (1 + 1 / G2) ··· (32)

그리고, 제3 선형화 처리에서는, 가산 신호(SUM3)와 니포인트 Kp(KP1_3, KP2_3)의 영역에 따라, 하기의 식 (33) 내지 식 (35)에 의해, 선형 신호(LIN3)가 구해진다.

(i) SUM3 < KP1_3의 영역의 경우,

LIN3 = SUM3 　　　···(33)

(ii) KP1_3 ≤ SUM3 < KP2_3의 영역의 경우,

LIN3 = KP1_3 + (SUM3 - KP1_3) × (1 + G1 × G2 / (1 + G2)) ··· (34)

(iii) KP2_3 ≤ SUM3의 영역의 경우,

LIN3 = KP2_3 + (KP2_3 - KP1_3) × (1 + G1 × G2 / (1 + G2)) + (SUM3 - KP2_3) × (1 + G2 + G1 × G2) ··· (35)

제1 합성 계수 산출부(147)는, 화상 신호(T1)를 참조해, 선형 신호(LIN1)와 선형 신호(LIN2)를 합성하기 위한 제1 합성 계수를 산출한다. 제1 합성 계수 산출부(147)는, 산출한 제1 합성 계수를, 제1 합성 계수 변조부(149)에 공급한다.

구체적으로는, 선형 신호(LIN1)에 대해, 선형 신호(LIN2)의 합성(블랜드)을 개시하는 임계치를 BLD_TH_L_LOW라 하고, 합성 비율(블랜드율)이 1.0이 되어, 선형 신호(LIN2)가 100%가 되는 임계치를 BLD_TH_L_HIGH라 하면, 제1 합성 계수는, 하기의 식 (36)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

제1 합성 계수 = (T1 - BLD_TH_L_LOW) ÷ (BLD_TH_L_HIGH - BLD_TH_L_LOW) ··· (36)

제1 움직임 검출부(148)는, 제1 선형화 처리부(142)로부터의 선형 신호(LIN1)와 제2 선형화 처리부(144)로부터의 선형 신호(LIN2)와의 차분을 움직임량으로 정의하고, 움직임 판정을 행한다. 그 때, 제1 움직임 검출부(148)은, 신호의 노이즈와 LED 등의 고속 점멸체의 점멸을 구별하기 위해, 움직임량을 센서 특성으로부터 상정되는 노이즈량과 비교하여 제1 움직임 계수를 산출한다. 제1 움직임 검출부(148)는, 산출한 제1 움직임 계수를, 제1 합성 계수 변조부(149)에 공급한다.

구체적으로는, 차분에 대해 100% 움직임이 아니라고 판정되는 레벨의 상한치를 MDET_TH_LOW라 하고, 100% 움직임이라고 판정되는 레벨을 MDET_TH_HIGH라 하면, 제1 움직임 계수는, 하기의 식 (37)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

제1 움직임 계수 = (ABS(LIN1 - LIN2) - MDET_TH_LOW) ÷ (MDET_TH_HIGH - MDET_TH_LOW) ··· (37)

제1 합성 계수 변조부(149)는, 제1 합성 계수 산출부(147)으로부터의 제1 합성 계수에 대해, 제1 움직임 검출부(148)으로부터의 제1 움직임 계수를 가미한 변조를 행하여, 제1 움직임 보상 후 합성 계수를 산출한다. 제1 합성 계수 변조부(149)는, 산출한 제1 움직임 보상 후 합성 계수를, 제1 합성 처리부(150)에 공급한다.

구체적으로는, 제1 움직임 보상 후 합성 계수는, 하기의 식 (38)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

제1 움직임 보상 후 합성 계수 = 제1 합성 계수 - 제1 움직임 계수 ··· (38)

제1 합성 처리부(150)는, 제1 선형화 처리부(142)로부터의 선형 신호(LIN1)와 제2 선형화 처리부(144)로부터의 선형 신호(LIN2)를, 제1 합성 계수 변조부(149)로부터의 제1 움직임 보상 후 합성 계수로 합성(알파 블랜드)한다. 제1 합성 처리부(150)는, 합성의 결과 얻어지는 합성 신호(BLD1)를, 제2 합성 처리부(154)에 공급한다.

구체적으로는, 합성 신호(BLD1)는, 하기의 식 (39)에 의해 구해진다.

합성 신호(BLD1) = (LIN2 - LIN1) × 제1 움직임 보상 후 합성 계수 + LIN1 　　　 ··· (39)

제2 합성 계수 산출부(151)는, 화상 신호(T2)를 참조해, 합성 신호(BLD1)와 선형 신호(LIN3)를 합성하기 위한 제2 합성 계수를 산출한다. 제2 합성 계수 산출부(151)는, 산출한 제2 합성 계수를, 제2 합성 계수 변조부(153)에 공급한다.

구체적으로는, 합성 신호(BLD1)에 대해, 선형 신호(LIN3)의 합성(블랜드)을 개시하는 임계치를 BLD_TH_H_LOW라 하고, 합성 비율(블랜드율)이 1.0이 되어, 선형 신호(LIN3)가 100%가 되는 임계치를 BLD_TH_H_HIGH라 하면, 제2 합성 계수는, 하기의 식 (40)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

제2 합성 계수 = (T2 - BLD_TH_H_LOW) ÷ (BLD_TH_H_HIGH - BLD_TH_H_LOW)··· (40)

제2 움직임 검출부(152)는, 제2 선형화 처리부(144)로부터의 선형 신호(LIN2)와, 제3 선형화 처리부(146)으로부터의 선형 신호(LIN3)와의 차분을 움직임량으로 정의하고, 움직임 판정을 행한다. 이 때, 제2 움직임 검출부(152)는, 신호의 노이즈와 LED 등의 고속 점멸체의 점멸을 구별하기 위해, 움직임량을 센서 특성으로부터 상정되는 노이즈량과 비교하여 제2 움직임 계수를 산출한다. 제2 움직임 검출부(152)는, 산출한 제2 움직임 계수를, 제2 합성 계수 변조부(153)에 공급한다.

구체적으로는, 차분에 대해 100% 움직임이 아니라고 판정되는 레벨의 상한치를 MDET_TH_LOW라 하고, 100% 움직임이라고 판정되는 레벨을 MDET_TH_HIGH라 하면, 제2 움직임 계수는, 하기의 식 (41)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

제2 움직임 계수 = {ABS(LIN2 - LIN3) ÷ 정규화 게인 - MDET_TH_LOW} ÷ (MDET_TH_HIGH - MDET_TH_LOW) ··· (41)

다만, 식 (41)의 정규화 게인은, 하기의 식 (42)에 의해 구해진다.

정규화 게인 = 1 + {G1 × G2 ÷ (1 + G2)} 　　　···(42)

제2 합성 계수 변조부(153)는, 제2 합성 계수 산출부(151)로부터의 제2 합성 계수에 대해, 제2 움직임 검출부(152)로부터의 제2 움직임 계수를 가미한 변조를 행하여, 제2 움직임 보상 후 합성 계수를 산출한다. 제2 합성 계수 변조부(153)는, 산출한 제2 움직임 보상 후 합성 계수를, 제2 합성 처리부(154)에 공급한다.

구체적으로는, 제2 움직임 보상 후 합성 계수는, 하기의 식 (43)에 의해 구해진다. 다만, 여기에서는, 0 ~ 1.0의 범위에서, 신호를 클립하게 된다.

제2 움직임 보상 후 합성 계수 = 제2 합성 계수 - 제2 움직임 계수 ··· (43)

제2 합성 처리부(154)는, 제1 합성 처리부(150)으로부터의 합성 신호(BLD1)와 제3 선형화 처리부(146)으로부터의 선형 신호(LIN3)를, 제2 합성 계수 변조부(153)로부터의 제2 움직임 보상 후 합성 계수로 합성(알파 블랜드)하고, 그 결과 얻어지는 HDR 합성 후 신호로서의 합성 후 화상 신호를 출력한다.

구체적으로는, 합성 후 화상 신호는, 하기의 식 (44)에 의해 구해진다.

합성 후 화상 신호 = (LIN3 - BLD1) × 제2 움직임 보상 후 합성 계수 + BLD1　··· (44)

도 21의 신호 처리부(104)는, 이상과 같이 구성된다.

(3매 합성을 행하는 경우의 신호 처리)

다음으로, 도 22 및 도 23의 플로우차트를 참조하여, 도 21의 신호 처리부(104)에 의해 실행되는, 3매 합성을 행하는 경우의 신호 처리의 흐름을 설명한다.

스텝(S51)에 있어서, 제1 가산 처리부(141)는, 화상 신호(T1)와 화상 신호(T2)와 화상 신호(T3)의 값에 대해, 미리 정해진 클립값(CLIP_T1_1, CLIP_T2_1, CLIP_T3_1)를 이용하여 상한 클립 처리를 행한다.

스텝(S52)에 있어서, 제1 가산 처리부(141)는, 상기 식 (18)을 연산함으로써, 스텝(S51)의 처리에서 얻어지는 상한 클립 처리 후의 화상 신호(T1)와 화상 신호(T2)와 화상 신호(T3)를 가산하여, 가산 신호(SUM1)를 생성한다.

스텝(S53)에 있어서, 제2 가산 처리부(143)는, 적어도 화상 신호(T1)의 값에 대해, 제1 가산 처리(S51, S52)와는 다른 클립값(CLIP_T1_2, CLIP_T2_2, CLIP_T3_2)를 이용하여, 상한 클립 처리를 행한다.

스텝(S54)에 있어서, 제2 가산 처리부(143)은, 상기 식 (24)을 연산함으로써, 스텝(S53)의 처리에서 얻어지는 상한 클립 처리 후의 화상 신호(T1)와 화상 신호(T2)와 화상 신호(T3)를 가산하여, 가산 신호(SUM2)를 생성한다.

스텝(S55)에 있어서, 제3 가산 처리부(145)는, 적어도 화상 신호(T2)의 값에 대해, 제2 가산 처리(S53, S54)와는 다른 클립값(CLIP_T1_3, CLIP_T2_3, CLIP_T3_3)를 이용하여, 상한 클립 처리를 행한다.

스텝(S56)에 있어서, 제3 가산 처리부(145)는, 상기 식 (30)을 연산함으로써, 스텝(S55)의 처리에서 얻어지는 상한 클립 처리 후의 화상 신호(T1)와 화상 신호(T2)와 화상 신호(T3)를 가산하여, 가산 신호(SUM3)를 생성한다.

여기서, T1와 T2와 T3의 노광 시간의 비율은, 예를 들어, T1：T2：T3 = 4：2：1의 비율로 할 수 있다. 따라서, 화상 신호(T1)는 장시간 노광 화상(장축화상)이며, 화상 신호(T2)는 중간 시간 노광 화상(중축화상)이며, 화상 신호(T3)는 단시간 노광 화상(단축화상)이라고도 말할 수 있다.

또한, 예를 들어, 장축화상인 화상 신호(T1)에 대해 설정되는 클립값으로서는, 제2 가산 처리(S53, S54)에서 이용되는 클립값(CLIP_T1_2)을 제1 가산 처리(S51, S52)에서 이용되는 클립값(CLIP_T1_1)보다 낮게 할 수 있다. 또한, 예를 들어, 중축화상인 화상 신호(T2)에 대해 설정되는 클립값으로서는, 제3 가산 처리(S55, S56)에서 이용되는 클립값(CLIP_T2_3)을 제2 가산 처리(S53, S54)에서 이용되는 클립값(CLIP_T2_2)보다 낮게 할 수 있다.

스텝(S57)에 있어서, 제1 선형화 처리부(142)는, 상기 식 (19) 내지 식 (23)을 연산함으로써, 스텝(S52)의 처리에서 얻어지는 가산 신호(SUM1)를 선형화하여, 선형 신호(LIN1)를 생성한다.

스텝(S58)에 있어서, 제2 선형화 처리부(144)는, 상기 식 (25) 내지 식 (29)을 연산함으로써, 스텝(S54)의 처리에서 얻어지는 가산 신호(SUM2)를 선형화하여, 선형 신호(LIN2)를 생성한다.

스텝(S59)에 있어서, 제3 선형화 처리부(146)는, 상기 식 (31) 내지 식 (35)을 연산함으로써, 스텝(S56)의 처리에서 얻어지는 가산 신호(SUM3)를 선형화하여, 선형 신호(LIN3)를 생성한다.

스텝(S60)에 있어서, 제1 합성 계수 산출부(147)는, 화상 신호(T1)를 참조해, 상기 식 (36)을 연산함으로써, 제1 합성 계수를 산출한다.

스텝(S61)에 있어서, 제1 움직임 검출부(148)는, 스텝(S57)의 처리에서 얻어지는 선형 신호(LIN1)와 스텝(S58)의 처리에서 얻어지는 선형 신호(LIN2)로 움직임을 검출하고, 상기 식 (37)을 연산함으로써, 제1 움직임 계수를 산출한다.

스텝(S62)에 있어서, 제1 합성 계수 변조부(149)는, 상기 식 (38)을 연산함으로써, 스텝(S60)의 처리에서 얻어지는 제1 합성 계수로부터, 스텝(S61)의 처리에서 얻어지는 제1 움직임 계수를 감산하여, 제1 움직임 보상 후 합성 계수를 산출한다.

스텝(S63)에 있어서, 제1 합성 처리부(150)은, 스텝(S62)의 처리에서 얻어지는 제1 움직임 보상 후 합성 계수를 참조해, 상기 식 (39)을 연산함으로써, 스텝(S57)의 처리에서 얻어지는 선형 신호(LIN1)와 스텝(S58)의 처리에서 얻어지는 선형 신호(LIN2)를 합성하여, 합성 신호(BLD1)를 생성한다.

또한, 선형 신호(LIN1)와 선형 신호(LIN2)의 합성 처리의 자세한 내용은, 도 24 내지 도 27을 참조해 후술하지만, 여기에서는, 제1 움직임 보상 후 합성 계수에 따른 합성을 행함으로써, 히스토그램의 스파이크가 발생하는 니포인트 Kp의 주변을 피하여, 선형 신호(LIN1)와 선형 신호(LIN2)가 합성되게 된다.

스텝(S64)에 있어서, 제2 합성 계수 산출부(151)는, 화상 신호(T2)를 참조해, 상기 식 (40)을 연산함으로써, 제2 합성 계수를 산출한다.

스텝(S65)에 있어서, 제2 움직임 검출부(152)는, 스텝(S58)의 처리에서 얻어지는 선형 신호(LIN2)와 스텝(S59)의 처리에서 얻어지는 선형 신호(LIN3)로 움직임을 검출하고, 상기 식 (41) 및 식 (42)을 연산함으로써, 제2 움직임 계수를 산출한다.

스텝(S66)에 있어서, 제2 합성 계수 변조부(153)는, 상기 식 (43)을 연산함으로써, 스텝(S64)의 처리에서 얻어지는 제2 합성 계수로부터, 스텝(S65)의 처리에서 얻어지는 제2 움직임 계수를 감산하여, 제2 움직임 보상 후 합성 계수를 산출한다.

스텝(S67)에 있어서, 제2 합성 처리부(154)는, 스텝(S66)의 처리에서 얻어지는 제2 움직임 보상 후 합성 계수를 참조해, 상기 식 (44)을 연산함으로써, 스텝(S63)의 처리에서 얻어지는 합성 신호(BLD1)와, 스텝(S59)의 처리에서 얻어지는 선형 신호(LIN3)를 합성하여, 합성 후 화상 신호를 생성한다.

또한, 선형 신호(LIN1)와 선형 신호(LIN2)의 합성 처리의 자세한 내용은, 도 24 내지 도 27을 참조하여 후술하지만, 여기에서는, 제2 움직임 보상 후 합성 계수에 따른 합성을 행함으로써, 히스토그램의 스파이크가 발생하는 니포인트 Kp의 주변을 피하여 합성 신호(BLD1)와 선형 신호(LIN3)가 합성되게 된다.

스텝(S68)에 있어서, 제2 합성 처리부(154)는, 스텝(S67)의 처리에서 얻어지는 합성 후 화상 신호를 출력한다.

이상, 3매 합성을 행하는 경우의 신호 처리의 흐름을 설명하였다.

＜4. 본 기술의 신호 처리의 상세한 내용＞

다음으로, 도 24 내지 도 27을 참조해, 신호 처리부(104)에 의해 행해지는 신호 처리의 상세한 내용에 대해 설명한다. 또한, 여기에서는, 도 21의 신호 처리부(104)에 의해 실행되는, 3매 합성을 행하는 경우의 신호 처리를 일례로 설명한다.

(제1 가산 처리와 제1 선형화 처리)

도 24는, 제1 가산 처리부(141)에 의한 제1 가산 처리와, 제1 선형화 처리부(142)에 의한 제1 선형화 처리의 상세를 설명하는 도면이다.

제1 가산 처리에서는, 미리 정해진 클립값을 이용한 클립 처리가 행해지고, 화상 신호(T1, T2, T3)에 대해, 클립값(CLIP_T1_1, CLIP_T2_1, CLIP_T3_1)가 각각 설정된다. 도 24에 있어서는, 화상 신호(T1)의 클립값이 CLIP_T1_1이 된다. 또한, 화상 신호(T2)의 클립값이 CLIP_T2_1이 되고, 화상 신호(T3)의 클립값이 CLIP_T3_1이 된다.

그리고, 제1 가산 처리에서는, 상기 식 (18)에 의해, 장축, 중축, 및 단축의 각각의 화상 신호(T1, T2, T3)를, 독립된 클립값(CLIP_T1_1, CLIP_T2_1, CLIP_T3_1)으로 클립한 후에 가산함으로써, 가산 신호(SUM1)가 얻어진다.

다음에, 제1 선형화 처리에서는, 가산 신호(SUM1)의 기울기가 변화하는 점으로서, 니포인트 Kp(도 24의 KP1_1, KP2_1)의 위치가, 상기 식 (19) 및 식 (20)에 의해 구해진다. 그리고, 제1 선형화 처리에서는, 제1 영역 내지 제 3 영역의 영역별로, 가산 신호(SUM1)의 값을 참조하여, 밝기에 대해 선형인 신호(선형으로 복원된 신호)인 선형 신호(LIN1)를 생성한다.

구체적으로는, 도 24에 도시한 바와 같이, 화상 신호(T1)(장축)이 포화하는 레벨 이하가 되는 제1 영역(SUM1 < KP1_1)은, 화상 신호(T1)(장축), 화상 신호(T2)(중축), 및 화상 신호(T3)(단축) 모두 신호량이 광량에 대해 선형으로 변화하는 영역이다.

이 때문에, 제1 선형화 처리에서는, 선형 신호(LIN1)로서, 가산 신호(SUM1)를 사용한다. 즉, 이 제1 영역에서는, 상기 식 (21)에 의해, 선형 신호(LIN1)가 구해진다.

또한, 도 24에 도시한 바와 같이, 화상 신호(T2)(중축)가 포화하는 레벨 이하가 되는 제2 영역(KP1_1 ≤ SUM1 < KP2_1)은, 화상 신호(T1)(장축)가 클립되어, 광량이 변화하더라도 신호량은 변화하지 않지만, 화상 신호(T2)(중축)와 화상 신호(T3)(단축)는, 신호량이 광량에 대해 선형으로 변화하는 영역이다.

이 때문에, 제1 선형화 처리에서는, 화상 신호(T2)(중축)와 화상 신호(T3)(단축)의 값으로부터 추측한 화상 신호(T1)(장축)의 값을 가산한 값을, 선형 신호(LIN1)로서 사용한다. 즉, 이 제2 영역에서는, 상기 식 (22)에 의해, 선형 신호(LIN1)가 구해진다.

또한, 도 24에 도시한 바와 같이, 화상 신호(T2)(중축)가 포화하는 레벨을 넘는 제3 영역(KP2_1 ≤ SUM1)은, 화상 신호(T1)(장축), 화상 신호(T2)(중축) 모두 클립되어, 광량이 변화하더라도 신호량이 변화하지 않지만, 화상 신호(T3)(단축)는, 신호량이 광량에 대해 선형으로 변화하는 영역이다.

그 때문에, 제1 선형화 처리에서는, 화상 신호(T3)(단축)의 값으로부터 추측한 화상 신호(T1)(장축)와 화상 신호(T2)(중축)의 값을 가산한 값을, 선형 신호(LIN1)로서 사용한다. 즉, 이 제3 영역에서는, 상기 식 (23)에 의해, 선형 신호(LIN1)가 구해진다.

이상과 같이 하여, 제1 선형화 처리에서는, 제1 가산 처리에서 얻어지는 가산 신호(SUM1)를 참조하여, 밝기에 대해 선형인 신호인 선형 신호(LIN1)가 생성된다.

(제2 가산 처리와 제2 선형화 처리)

도 25는, 제2 가산 처리부(143)에 의한 제2 가산 처리와, 제2 선형화 처리부(144)에 의한 제2 선형화 처리의 상세를 설명하는 도면이다.

제2 가산 처리에서는, 미리 정해진 클립값을 이용한 클립 처리가 행해지고, 화상 신호(T1, T2, T3)에 대해, 클립값(CLIP_T1_2, CLIP_T2_2, CLIP_T3_2)가 각각 설정된다. 도 25에 있어서는, 화상 신호(T1)의 클립값이 CLIP_T1_2가 된다. 또한, 화상 신호(T2)의 클립값이 CLIP_T2_2가 되고, 화상 신호(T3)의 클립값이 CLIP_T3_2가 된다.

또한, 도 25에 있어서, 각 화상 신호에 설정되는 클립값은, 상술한 도 24의 클립값과 비교하여, 화상 신호(T2, T3)에 대한 클립값(CLIP_T2_2, CLIP_T3_2)과 클립값(CLIP_T2_1, CLIP_T3_1)은, 동일한 값이 되지만, 클립값(CLIP_T1_2)와 클립값(CLIP_T1_1)의 값은 다르게 되어 있다.

즉, 제2 가산 처리(도 25)를, 제1 가산 처리(도 24)와 비교하면, 화상 신호(T1)(장축)에 대한 클립값으로서, 클립값(CLIP_T1_1)보다 낮은 값이 되는 클립값(CLIP_T1_2)를 설정하고 있다. 한편, 제1 가산 처리와 제2 가산 처리에 있어서, 화상 신호(T2)(중축)와 화상 신호(T3)(단축)의 클립값에는, 동일 값을 설정하고 있다.

그리고, 제2 가산 처리에서는, 상기 식 (24)에 의해, 장축, 중축, 및 단축의 각각의 화상 신호(T1, T2, T3)를, 독립된 클립값(CLIP_T1_2, CLIP_T2_2, CLIP_T3_2)으로 클립한 후에 가산함으로써, 가산 신호(SUM2)가 얻어진다.

다음에, 제2 선형화 처리에서는, 가산 신호(SUM2)의 기울기가 변화하는 점으로서, 니포인트 Kp(도 25의 KP1_2, KP2_2)의 위치가, 상기 식 (25) 및 식 (26)에 의해 구해진다. 그리고, 제2 선형화 처리에서는, 제1 영역 내지 제 3 영역의 영역별로, 가산 신호(SUM2)의 값을 참조하여, 밝기에 대해 선형인 신호(선형으로 복원된 신호)인 선형 신호(LIN2)를 생성한다.

구체적으로는, 도 25에 도시한 바와 같이, 화상 신호(T1)(장축)가 포화하는 레벨 이하가 되는 제1 영역(SUM2 < KP1_2)은, 화상 신호(T1)(장축), 화상 신호(T2)(중축), 및 화상 신호(T3)(단축) 모두 신호량이 광량에 대해 선형으로 변화하는 영역이다.

이 때문에, 제2 선형화 처리에서는, 선형 신호(LIN2)로서, 가산 신호(SUM2)를 사용한다. 즉, 이 제1 영역에서는, 상기 식 (27)에 의해, 선형 신호(LIN2)가 구해진다.

또한, 도 25에 도시한 바와 같이, 화상 신호(T2)(중축)가 포화하는 레벨 이하가 되는 제2 영역(KP1_2 ≤ SUM2 < KP2_2)은, 화상 신호(T1)(장축)가 클립되어, 광량이 변화하여도 신호량은 변화하지 않지만, 화상 신호(T2)(중축)와 화상 신호(T3)(단축)는, 신호량이 광량에 대해 선형으로 변화하는 영역이다.

이 때문에, 제2 선형화 처리에서는, 화상 신호(T2)(중축)와 화상 신호(T3)(단축)의 값으로부터 추측한 화상 신호(T1)(장축)의 값을 가산한 값을, 선형 신호(LIN2)로서 사용한다. 즉, 이 제2 영역에서는, 상기 식 (28)에 의해, 선형 신호(LIN2)가 구해진다.

또한, 도 25에 도시한 바와 같이, 화상 신호(T2)(중축)가 포화하는 레벨을 넘는 제3 영역(KP2_2 ≤ SUM2)은, 화상 신호(T1)(장축), 화상 신호(T2)(중축) 모두 클립되어, 광량이 변화하여도 신호량이 변화하지 않지만, 화상 신호(T3)(단축)는 신호량이 광량에 대해 선형으로 변화하는 영역이다.

이 때문에, 제2 선형화 처리에서는, 화상 신호(T3)(단축)의 값으로부터 추측한 화상 신호(T1)(장축)와 화상 신호(T2)(중축)의 값을 가산한 값을, 선형 신호(LIN2)로서 사용한다. 즉, 이 제3 영역에서는, 상기 식 (29)에 의해, 선형 신호(LIN2)가 구해진다.

이상과 같이 하여, 제2 선형화 처리에서는, 제2 가산 처리에서 얻어지는 가산 신호(SUM2)를 참조하여, 밝기에 대해 선형인 신호인 선형 신호(LIN2)가 생성된다.

또한, 도시는 하고 있지 않지만, 제3 가산 처리부(145)에 의한 제3 가산 처리에 있어서도, 제1 가산 처리 및 제2 가산 처리와 마찬가지로, 상기 식 (30)이 연산됨으로써, 가산 신호(SUM3)가 얻어진다. 또한, 제3 선형화 처리부(146)에 의한 제3 선형화 처리에 있어서도, 제1 선형화 처리 및 제2 선형화 처리와 마찬가지로, 상기 식 (31) 및 식 (32)에 의해, 니포인트 Kp(KP1_3, KP2_3)가 구해지고, 상기 식 (33) 내지 식 (35)에 의해, 제1 영역 내지 제 3 영역의 영역별로, 선형 신호(LIN3)가 생성된다.

(히스토그램 스파이크의 억제)

도 26은, 본 기술에 의한 히스토그램의 스파이크의 억제의 상세를 설명하는 도면이다.

도 26에 있어서는, 도면 중의 횡축을 밝기로 하여, 선형 신호(LIN1)와, 선형 신호(LIN2)와, 이들 선형 신호(LIN1, LIN2)의 합성 신호(BLD1)의 변화의 모습을 나타내고 있다.

도 26에 있어서, 히스토그램의 스파이크가 발생하는 신호의 위치는, 가산 신호(SUM)를 생성하기 전의 신호의 클립 위치(와 그로부터 구해지는 니포인트 Kp)에 의존하고 있다. 이에, 본 기술에서는, 제2 가산 처리에 있어서, 제1 가산 처리에서 이용되는 클립값과는 다른 클립값을 설정함으로써, 히스토그램의 스파이크의 발생 위치를 비켜 난 선형 신호(LIN1)와 선형 신호(LIN2)가 생성되도록 하고 있다.

도 26의 예에서는, 도 24에 나타낸 선형 신호(LIN1)와, 도 25에 나타낸 선형 신호(LIN2)에서, 화상 신호(T1)(장축)에 대해 설정된 클립값(CLIP_T1_1으로 CLIP_T1_2)이 다르게 되어 있기 때문에, 히스토그램의 스파이크의 발생 위치(LIN1의 “SP1”와, LIN2의 “SP2”)가 어긋나 있다.

그리고, 본 기술에서는, 도 26의 점선 A1 내지 A3의 흐름으로 도시한 바와 같이, 선형 신호(LIN1)에 있어서, 히스토그램의 스파이크(LIN1의 “SP1”)가 발생하기 전에, 클립값을 낮추어, 빨리 니포인트 Kp를 통과한 선형 신호(LIN2)측으로 갈아탐으로써(도면 중의 점선 A2), 히스토그램의 스파이크의 발생을 억제한 합성 신호(BLD1)(블랜드 신호)가 생성되도록 하고 있다.

즉, 도 26에 있어서는, 화상 신호(T1)(장축)만 클립값을 낮춤으로써, 니포인트 Kp의 위치를 끌어내린 신호(선형 신호 LIN2)를 병렬로 준비하고, 클립값에 따라 변화하는 니포인트 Kp(LIN1의 “SP1”과, LIN2의 “SP2”)의 주변을 피하도록(주변과 다른 영역에서), 선형 신호(LIN1) 측(도면 중의 점선 A1)으로부터 선형 신호(LIN2) 측(도면 중의 점선 A3)으로의 갈아탐을 행하도록 하고 있다.

이에 의해, 상술한 도 18의 B에 나타낸 것처럼, 니포인트 Kp에 있어서의 급격한 특성 변화가 억제되게 된다. 그 결과로서, 선형 신호(LIN1)와 선형 신호(LIN2)를 합성하여 얻어지는 합성 신호(BLD1)에서는, 히스토그램의 스파이크의 발생을 억제하는 것이 가능해진다.

또한, 도 26에는 도시하고 있지 않지만, 합성 신호(BLD1)와 선형 신호(LIN3)의 합성 시에는, 선형 신호(LIN1)와 선형 신호(LIN2)의 합성 시의 관계와 마찬가지로, 니포인트 Kp의 주변을 피하도록, 합성 신호(BLD1) 측으로부터 선형 신호(LIN3) 측으로 갈아탐으로써, 전 신호 영역에 걸쳐, 히스토그램의 스파이크를 억제하는 것이 가능해진다.

또한, 도 26에 있어서, 합성 신호(BLD1)는, 점선 B1 내지 B2의 범위에서, 선형 신호(LIN1)와 선형 신호(LIN2)를 합성하여 얻어지는 합성 신호(BLD1)에 있어서의, 선형 신호(LIN2)의 합성 비율이 0%에서부터 100%(선형 신호(LIN1)의 합성 비율이 100%에서부터 0%)가 되지만, 그 합성 비율은, 제1 합성 계수(제1 움직임 보상 후 합성 계수)에 의해 정해진다. 도 27에는, 이러한 합성 계수의 상세를 나타내고 있다.

(합성 계수의 상세)

도 27은, 본 기술에서 이용되는 합성 계수의 상세를 설명하는 도면이다.

도 27에 있어서는, 도면 중의 횡축을 밝기로 하여, 선형 신호(LIN1)의 화상 신호(T1)(장축)의 화소값과, 선형 신호(LIN1)에 대한 선형 신호(LIN2)의 합성 비율(제1 합성 계수)과, 선형 신호(LIN2)의 화상 신호(T1)(장축)의 화소값의 변화의 모습을 나타내고 있다.

여기서, 선형 신호(LIN1)에 있어서는, 화상 신호(T1)(장축)가, 클립값(CLIP_T1_1)으로 클립되기 때까지는, 히스토그램의 스파이크는 발생하지 않기 때문에, 화상 신호(T1)(장축)의 레벨을 보아, 선형 신호(LIN1)와 선형 신호(LIN2)의 합성 비율(제1 합성 계수)을 설정한다.

또한, 화상 신호(T1)(장축)가, 클립값(CLIP_T1_1)으로 될 때에는, 이미, 선형 신호(LIN1) 측으로부터 선형 신호(LIN2) 측으로 완전히 전환되어 있도록(선형 신호(LIN2)의 합성 비율이 100%가 되도록), 제1 합성 계수(BLD_TH_L_LOW, BLD_TH_L_HIGH)를 설정한다. 다만, 이 합성 영역의 폭을, 어떠한 값으로 설정할 지는 임의이다.

한편, 선형 신호(LIN2) 측은, 선형 신호(LIN1)와 선형 신호(LIN2)와의 합성(블랜드)이 개시되는 BLD_TH_L_LOW의 영역에서는, 이미, 히스토그램의 스파이크가 발생하지 않는다는 조건을 만족하고 있을 필요가 있다. 이 때문에, 본 기술에서는, BLD_TH_L_LOW로부터, 그 부근의 화상 신호(T2)(중축)와 화상 신호(T3)(단축)의 노이즈량 만큼을 끌어내린 값이, 클립값(CLIP_T1_2)으로 설정되도록 하고 있다.

(움직임 보상 후 합성 계수의 상세)

다음으로, 본 기술에서 이용되는 움직임 보상 후 합성 계수의 상세에 대하여 설명한다.

상술한 도 24 내지 도 27의 예에 있어서는, 제2 가산 처리에서 이용되는 화상 신호(T1)의 클립값(CLIP_T1_2)으로서, 제1 가산 처리에서 이용되는 클립값(CLIP_T1_1) 보다 낮은 값을 설정하고 있기 때문에, 선형 신호(LIN2)에서는, 선형 신호(LIN1)보다, 화상 신호(T1)(장축)의 신호량이 빨리 클립된다.

이 때, 선형 신호(LIN2)에서는, 줄어든 만큼의 신호량을, 화상 신호(T2)(중축)와 화상 신호(T3)(단축)를 이용하여 추측하게 되지만, 화상 신호(T1)(장축)에만 밝게 찍힌 동체 등은, 보다 높은 클립값이 설정되어 있는 선형 신호(LIN1)보다 어둡게 되어 버릴 가능성이 있다.

이에, 본 기술에서는, 선형 신호(LIN1)와 선형 신호(LIN2)의 사이에서 움직임 판정을 행하여, 움직임이 있는 경우에는, 보다 안전한(보다 신뢰성이 높은) 선형 신호(LIN1) 측의 합성 비율을 높이도록, 제1 합성 계수의 제어(변조)를 행한다. 그리고, 이와 같이 하여 얻어지는 제1 움직임 보상 후 합성 계수를 사용하여, 선형 신호(LIN1)와 선형 신호(LIN2)의 합성을 행하도록 함으로써, 예를 들어, 동체 등이 어둡게 되는 것을 억제하는 것이 가능해진다.

또한, 예를 들어, 제1 가산 처리에서 화상 신호(T1)(장축)를 사용하는 한편, 제2 가산 처리에서는 화상 신호(T1)(장축)의 화상 신호(T1)를 사용하지 않는 모드도 상정되지만, 이러한 모드의 경우, 보다 신뢰성이 높은 정보는, 선형 신호(LIN2)가 아니라, 선형 신호(LIN1) 쪽이 된다. 이 경우에 있어서도, 선형 신호(LIN1) 측의 합성 비율이 높아지도록, 제1 합성 계수의 제어가 행해진다.

여기에서는, 예를 들어, 선형 신호(LIN1)와 선형 신호(LIN2)를 비교해, 그 차분이 크면, 선형 신호(LIN1)의 쪽을 사용하면 된다. 즉, 선형 신호(LIN1)와 선형 신호(LIN2)의 합성 시에는, 정보의 신뢰성이 높은 쪽의 신호의 합성 비율이 증가되도록, 제1 합성 계수를 변조하게 된다.

또한, 여기에서는, 선형 신호(LIN1)와 선형 신호(LIN2)를 합성하기 위한 제1 합성 계수와 그 제1 움직임 보상 후 합성 계수에 대해 설명하였으나, 합성 신호(BLD1)와 선형 신호(LIN3)를 합성하기 위한 제2 합성 계수와 그 제2 움직임 보상 후 합성 계수에 대해서도, 마찬가지로 제어할 수 있다.

＜5. N매 합성의 계산식＞

상술한 설명에서는, 2매 합성을 행하는 경우와 3매 합성을 행하는 경우의 신호 처리를 설명했지만, 이들 합성의 매수는 일례이며, 4매 이상의 합성을 행할 수도 있다. 즉, 신호 처리부(104)로 입력되는 N매(N：1이상의 정수)의 촬영 화상에 대해, 본 기술을 적용한 신호 처리를 행할 수 있다.

여기서, 신호 처리부(104)에, N매의 촬영 화상이 입력되는 경우, 감도가 높은 화상 신호부터 순서로, T1, T2, T3, ···, TN로 한다. 예를 들어, 3매 합성을 행하는 경우에는, 화상 신호(T1)가 장축화상에 상당한다. 또한, 화상 신호(T2)가 중축화상에 상당하고, 화상 신호(T3)가 단축화상에 상당하게 된다.

또한, 노광 시간으로서, 화상 신호(T1)의 노광 시간을 S1로 하고, 화상 신호(T2)의 노광 시간을 S2로 하고, 화상 신호(T3)의 노광 시간을 S3로 한다. 화상 신호(T4) 이후에 대해서도 마찬가지로 노광 시간을 지정하면, 화상 신호(TN)의 노광 시간은, SN가 된다.

또한, 가산 처리 전의 클립값의 값으로서, 화상 신호(T1)의 클립값을 CLIP_T1로 하고, 화상 신호(T2)의 클립값을 CLIP_T2로 하고, 화상 신호 T3의 클립값을 CLIP_T3로 한다. 화상 신호(T4) 이후에 대해서도 마찬가지로 클립값을 지정하면, 화상 신호(TN)의 클립값은 CLIP_TN가 된다.

또한, 니포인트 Kp로서, 화상 신호(T1)가 포화하여 최초로 가산 신호(SUM)의 기울기가 변하는 점을 KP_1으로 하고, 다음으로, 화상 신호(T2)가 포화하여 가산 신호(SUM)의 기울기가 변하는 점을 KP_2로 한다. 화상 신호(T3) 이후에 대해서도 마찬가지로 화상 신호(T3, ···, TN)가 포화하여 가산 신호(SUM)의 기울기가 변하는 점을, 순차로, KP_3, ···, KP_N로 한다.

또한, 선형화 후의 선형 신호(LIN)로서, SUM < KP_1의 영역의 선형 신호를 LIN_1으로 하고, KP_1 ≤ SUM < KP_2의 영역의 선형 신호를 LIN_2로 하고, KP_2 ≤ SUM < KP_3의 영역의 선형 신호를 LIN_3으로 한다. 그 이후에 대해서도 마찬가지의 관계를 가진다고 하면, KP_N-1 < SUM의 영역의 선형 신호는, LIN_N가 된다.

이러한 관계를 도시하면, 예를 들어, 도 28과 같이 나타낼 수 있다.

도 28에 있어서는, 가산 처리가 행해지는 화상 신호(T1, T2, T3)에 대해, 클립값(CLIP_T1, CLIP_T2, CLIP_T3)이 각각 설정되어 있다. 여기서, 화상 신호(T1, T2, T3)의 가산 신호(SUM)는, 화상 신호(T1)의 클립값(CLIP_T1)에 따른 니포인트 KP_1에서 그 기울기가 변화(도면 중의 C1 내의 최초의 변화)하고, 화상 신호(T2)의 클립값(CLIP_T2)에 따른 니포인트 KP_2에서 그 기울기가 더 변화(도면 중의 C2 내의 2번째의 변화)하고 있다.

이 경우에 있어서, 도면 중의 L로 도시한 바와 같이, 화상 신호(T1, T2, T3)의 가산 신호(SUM)를 선형화(Linearization)하게 되는데, SUM < KP_1의 제1 영역에서는, 선형 신호(LIN_1)가 복원되고, KP_1 ≤ SUM < KP_2의 제2 영역에서는, 선형 신호(LIN_2)가 복원되고, KP_2 ≤ SUM의 제3 영역에서는, 선형 신호(LIN_3)가 복원된다.

또한, 도 28에 있어서는, 설명의 간략화를 위해, 가산 처리가 행해지는 화상 신호로서, 3개의 화상 신호(T1, T2, T3), 즉, 3매 합성의 경우를 나타내고 있지만, 화상 신호(T4) 이후의 화상 신호에 대해서도 마찬가지로 처리되어, 니포인트 Kp에 따라, 가산 신호(SUM)로부터 선형 신호가 복원된다.

이러한 관계를 갖는 경우에 있어서, 가산 신호(SUM)를, 선형 신호(LIN)로 변환하는 계산식은, 하기의 식 (45) 및 식 (46)과 같이 나타낼 수 있다. 여기서, 하기 식 (45)은, 가산 신호(SUM)를 구하는 계산식이다.

[수학식 1]

　　　

···(45)

예를 들어, N = 2, 즉, 2매 합성의 경우, 상기 식 (6)이나 식 (10)에 나타낸 것처럼, 화상 신호(T1)를 클립값(CLIP_T1)에 의해 클립한 신호와, 화상 신호(T2)를 클립값(CLIP_T2)에 의해 클립한 신호와의 가산치가, 가산 신호(SUM)로 된다.

그리고, 전술한 바와 같이, 선형 신호(LIN)로서, KP_m-1 ≤ SUM < KP_m의 영역의 선형 신호(LIN)를 LIN_m라고 정의하면, LIN_m는, 1 ≤ m <N에 대해, 하기의 식 (46)와 같이 나타낼 수 있다.

[수학식 2]

　··· (46)

단, 식 (46)에 있어서, SUM는 상기 식 (45)에 상당하고 있다. 또한, 식 (46)에 있어서는, 클립값(CLIP_T0) = 0이다.

또한, 니포인트 Kp의 일반해로서, KP_m의 위치는, 1 ≤ m < N에 대해, 하기의 식 (47)과 같이 나타낼 수 있다.

[수학식 3]

　··· (47)

단, 식 (47)에 있어서는, 니포인트 KP_0 = 0이고, 클립값(CLIP_T0) = 0이다.

이상과 같이, 본 기술에 의하면, 터널의 출구 등 휘도 차가 매우 큰 장면에 있어서, 명멸의 응답 속도가 고속인 LED 신호기나 도로 표식 등을 확실히 인식함과 함께, 정확하게 선행 차량이나 보행자 등의 장애물을 인식할 수 있다.

또한, 본 기술에서는, 상술한 히스토그램의 스파이크의 억제를 행할 때에, 장축의 신호량이 줄어든 만큼을, 중축과 단축으로부터 추측하기 때문에, 장축에만 밝게 찍히는 동체 등은, 단순 가산한 경우와 비교하여, 어둡게 되어 버릴 가능성이 있다. 이에, 본 기술에서는, 움직임 보정 처리가 아울러 행해지도록 하고 있다.

또한, 본 기술은, 차재 카메라나 감시 카메라 등의 촬영 장치 전반에 적용할 수 있다. 또한, 촬영 대상으로서는, LED 신호기나 LED 속도 규제 표식에 한하지 않고, 휘도 차가 매우 큰 것이나, 점멸하는 것(예를 들어 고속으로 점멸하는 발광체) 등을 촬영 대상으로 할 수 있다. 또한, 본 기술은, 특히, 히스토그램을 사용해 장애물의 검출을 행하는 촬영 장치에 있어서 유용한 기술이다.

＜6. 고체 촬상 장치의 구성예＞

도 13에 나타낸 카메라 유닛(10)은, 예를 들어, 이면 조사형 CMOS 이미지 센서 등의 적층형의 고체 촬상 장치로서 구성할 수 있다.

구체적으로는, 도 29에 도시한 바와 같이, 화소 영역(201)이 형성된 반도체 기판(200A)과, 신호 처리 회로 영역(202)가 형성된 반도체 기판(200B)이 적층된 구성으로 할 수 있다. 또한, 도 29에 있어서, 반도체 기판(200A)과 반도체 기판(200B)은, 예를 들어 관통 비어나 금속 결합 등에 의해 전기적으로 접속된다.

도 30에는, 도 29의 화소 영역(201)과 신호 처리 회로 영역(202)의 상세한 구성을 나타내고 있다. 도 30에 있어서, 신호 처리 회로 영역(202)은, 카메라 신호 처리부(211)나, 각종의 신호 처리를 행하는 신호 처리부(212 내지 214) 등으로 구성된다.

여기서, 카메라 신호 처리부(211)는, 상술한 신호 처리부(104)(도 13)를 포함하여 구성할 수 있다. 즉, 카메라 신호 처리부(211)는, 도 17이나 도 22 내지 도 23의 플로우차트에 나타낸 신호 처리를 행할 수 있다. 또한, 카메라 신호 처리부(211)에는, 딜레이 라인(103)이나 타이밍 제어부(106) 등을 포함하도록 해도 된다. 또한, 화소 영역(201)에는, 촬상 소자(102)의 화소 어레이부 등이 포함된다.

또한, 도 31에 도시한 바와 같이, 화소 영역(201)이 형성된 반도체 기판(200A)과, 신호 처리 회로 영역(202)이 형성된 반도체 기판(200B)과의 사이에, 메모리 영역(203)이 형성된 반도체 기판(200C)이 적층되도록 해도 된다.

도 32에는, 도 31의 화소 영역(201)과, 신호 처리 회로 영역(202)과, 메모리 영역(203)의 상세한 구성을 나타내고 있다. 도 32에 있어서, 신호 처리 회로 영역(202)은, 카메라 신호 처리부(311)나, 각종의 신호 처리를 행하는 신호 처리부(312 내지 314) 등으로 구성된다. 또한, 메모리 영역(203)은, 메모리부(321 내지 322) 등으로 구성된다.

여기서, 카메라 신호 처리부(311)는, 도 30의 카메라 신호 처리부(211)와 마찬가지로, 신호 처리부(104)(도 13) 등을 포함하여 구성된다. 또한, 메모리 영역(203)에, 딜레이 라인(103)을 포함하도록 하여, 해당 딜레이 라인(103)이 화소 영역(201)(촬상 소자(102))으로부터의 화상 데이터를 순차 기억하고, 적절히 카메라 신호 처리부(311)(신호 처리부(104))에 공급하도록 해도 된다.

＜7. 컴퓨터의 구성예＞

상술한 일련의 처리(예를 들어, 도 17이나 도 22 내지 도 23에 나타낸 신호 처리)는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어로 조립되어지는 컴퓨터나, 각종의 프로그램을 인스톨함으로써 각종의 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 33은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.

컴퓨터(1000)에 있어서, CPU(Central Processing Unit)(1001), ROM(Read Only Memory)(1002), RAM(Random Access Memory)(1003)은, 버스(1004)에 의해 서로 접속되고 있다. 버스(1004)에는, 또한, 입출력 인터페이스(1005)가 접속되고 있다. 입출력 인터페이스(1005)에는, 입력부(1006), 출력부(1007), 기록부(1008), 통신부(1009), 및 드라이브(1010)가 접속되고 있다.

입력부(1006)는, 키보드, 마우스, 마이크로폰 등으로 이루어진다. 출력부(1007)는, 디스플레이, 스피커 등으로 이루어진다. 기록부(1008)는, 하드 디스크나 불휘발성의 메모리 등으로 이루어진다. 통신부(1009)는, 네트워크 인터페이스 등으로 이루어진다. 드라이브(1010)는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록매체(1011)를 구동한다.

이상과 같이 구성되는 컴퓨터(1000)에서는, CPU(1001)가, 예를 들어, 기록부(1008)에 기억되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 거쳐, RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(1000)(CPU(1001))가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 기록매체(1011)에 기록하여 제공할 수 있다. 또한, 프로그램은, 근거리 통신망, 인터넷, 디지털 위성방송 등의 유선 또는 무선의 전송 매체를 거쳐 제공할 수 있다.

컴퓨터(1000)에서, 프로그램은, 리무버블 기록매체(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 거쳐, 기록부(1008)에 인스톨 할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 거쳐, 통신부(1009)로 수신하여, 기록부(1008)에 인스톨 할 수 있다. 그 밖에, 프로그램은, ROM(1002)이나 기록부(1008)에, 미리 인스톨 해 둘 수 있다.

또한, 컴퓨터(1000)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리를 행하는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에서 처리가 행해지는 프로그램이어도 된다.

여기서, 본 명세서에 있어서, 컴퓨터(1000)에 각종의 처리를 행하게 하기 위한 프로그램을 기술하는 처리 스텝은, 반드시 플로우차트로서 기재된 순서에 따라 시계열로 처리할 필요는 없고, 병렬적 혹은 개별적으로 실행되는 처리(예를 들어, 병렬처리 또는 오브젝트에 의한 처리)도 포함하는 것이다.

또한, 프로그램은, 하나의 컴퓨터에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 원격의 컴퓨터에 전송되어 실행되는 것이어도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성요소가 동일 케이스 내에 있는지 아닌지는 묻지 않는다. 따라서, 별개의 케이스에 수납되어, 네트워크를 거쳐 접속되고 있는 복수의 장치, 및, 하나의 케이스 중에 복수의 모듈이 수납되고 있는 하나의 장치는, 모두, 시스템이다.

또한, 본 기술의 실시형태는, 상술한 실시형태로 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다. 예를 들어, 본 기술은, 하나의 기능을, 네트워크를 거쳐 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

＜8. 응용예＞

본 개시와 관련되는 기술은, 다양한 제품에 응용할 수 있다. 예를 들어, 본 개시와 관련되는 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설기계, 농업기계(트랙터) 등의 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.

도 34는, 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(7000)의 개략적인 구성예를 나타내는 블록도이다. 차량 제어 시스템(7000)은, 통신 네트워크(7010)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 34에 나타낸 예에서는, 차량 제어 시스템(7000)은, 구동계 제어 유닛(7100), 보디계 제어 유닛(7200), 배터리 제어 유닛(7300), 차외 정보 검출 유닛(7400), 차내 정보 검출 유닛(7500), 및 통합 제어 유닛(7600)을 구비한다. 이들 복수의 제어 유닛을 접속하는 통신 네트워크(7010)는, 예를 들어, CAN(Controller　Area　Network), LIN(Local　Interconnect　Network), LAN(Local　Area　Network) 또는 FlexRay(등록상표) 등의 임의의 규격에 준거한 차재 통신 네트워크여도 된다.

각 제어 유닛은, 각종 프로그램에 따라 연산 처리를 행하는 마이크로 컴퓨터와, 마이크로 컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 이용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(7010)를 거쳐 다른 제어 유닛과의 사이에서 통신을 행하기 위한 네트워크 I/F를 구비함과 함께, 차내외의 장치 또는 센서 등과의 사이에서, 유선 통신 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 34에서는, 통합 제어 유닛(7600)의 기능 구성으로서, 마이크로 컴퓨터(7610), 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비컨 수신부(7650), 차내 기기 I/F(7660), 음성 화상 출력부(7670), 차재 네트워크 I/F(7680) 및 기억부(7690)가 도시되고 있다. 다른 제어 유닛도 마찬가지로 마이크로 컴퓨터, 통신 I/F 및 기억부 등을 구비한다.

구동계 제어 유닛(7100)은, 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(7100)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어장치로서 기능한다. 구동계 제어 유닛(7100)은, ABS(Antilock　Brake　System) 또는 ESC(Electronic　Stability　Control) 등의 제어장치로서의 기능을 가져도 된다.

구동계 제어 유닛(7100)에는, 차량 상태 검출부(7110)가 접속된다. 차량 상태 검출부(7110)에는, 예를 들어, 차체의 축회전 운동의 각속도를 검출하는 자이로 센서, 차량의 가속도를 검출하는 가속도 센서, 또는, 액셀 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수 또는 차륜의 회전 속도 등을 검출하기 위한 센서 가운데 적어도 하나가 포함된다. 구동계 제어 유닛(7100)은, 차량 상태 검출부(7110)로부터 입력되는 신호를 이용하여 연산 처리를 행하여, 내연기관, 구동용 모터, 전동 파워 스티어링 장치 또는 브레이크 장치 등을 제어한다.

보디계 제어 유닛(7200)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 보디계 제어 유닛(7200)은, 키레스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(7200)에는, 열쇠를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(7200)은, 이러한 전파 또는 신호의 입력을 받아들여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.

배터리 제어 유닛(7300)은, 각종 프로그램에 따라 구동용 모터의 전력 공급원인 2차 전지(7310)를 제어한다. 예를 들어, 배터리 제어 유닛(7300)에는, 2차 전지(7310)를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(7300)은, 이러한 신호를 이용하여 연산 처리를 행하고, 2차 전지(7310)의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.

차외 정보 검출 유닛(7400)은, 차량 제어 시스템(7000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(7400)에는, 촬상부(7410) 및 차외 정보 검출부(7420) 가운데 적어도 일방이 접속된다. 촬상부(7410)에는, ToF(Time　Of　Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 외의 카메라 가운데 적어도 하나가 포함된다. 차외 정보 검출부(7420)에는, 예를 들어, 현재의 날씨 또는 기상을 검출하기 위한 환경 센서, 또는, 차량 제어 시스템(7000)을 탑재한 차량의 주위의 다른 차량, 장애물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 가운데 적어도 하나가 포함된다.

환경 센서는, 예를 들어, 우천을 검출하는 우적 센서, 안개를 검출하는 안개 센서, 일조 정도를 검출하는 일조 센서, 및 강설을 검출하는 눈 센서 가운데 적어도 하나여도 된다. 주위 정보 검출 센서는, 초음파 센서, 레이더 장치 및 LIDAR(Light　Detection　and　Ranging, Laser　Imaging　Detection　and　Ranging) 장치 가운데 적어도 하나여도 된다. 이들 촬상부(7410) 및 차외 정보 검출부(7420)는, 각각 독립된 센서 내지 장치로서 구비되어도 되고, 복수의 센서 내지 장치가 통합된 장치로서 구비되어도 된다.

여기서, 도 35는, 촬상부(7410) 및 차외 정보 검출부(7420)의 설치 위치의 예를 나타낸다. 촬상부(7910, 7912, 7914, 7916, 7918)는, 예를 들어, 차량(7900)의 프런트노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실 내의 프런트 글라스의 상부 중 적어도 하나의 위치에 설치된다. 프런트노즈에 구비되는 촬상부(7910) 및 차실 내의 프런트 글라스의 상부에 구비되는 촬상부(7918)는, 주로 차량(7900)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(7916)는, 주로 차량(7900)의 후방의 화상을 취득한다. 차실 내의 프런트 글라스의 상부에 구비되는 촬상부(7918)는, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표식 또는 차선 등의 검출에 이용된다.

또한, 도 35에는, 각각의 촬상부(7910, 7912, 7914, 7916)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(a)는, 프런트노즈에 설치된 촬상부(7910)의 촬상 범위를 나타내고, 촬상 범위(b, c)는, 각각 사이드 미러에 설치된 촬상부(7912, 7914)의 촬상 범위를 나타내며, 촬상 범위(d)는, 리어범퍼 또는 백 도어에 설치된 촬상부(7916)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(7910, 7912, 7914, 7916)로 촬상된 화상 데이터가 중첩됨으로써, 차량(7900)을 상방으로부터 본 하이앵글 화상이 얻어진다.

차량(7900)의 프런트, 리어, 사이드, 코너 및 차실 내의 프런트 글라스의 상부에 설치되는 차외 정보 검출부(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들어 초음파 센서 또는 레이더 장치여도 된다. 차량(7900)의 프런트노즈, 리어범퍼, 백 도어 및 차실 내의 프런트 글라스의 상부에 설치되는 차외 정보 검출부(7920, 7926, 7930)는, 예를 들어 LIDAR 장치여도 된다. 이러한 차외 정보 검출부(7920~7930)는, 주로 선행 차량, 보행자 또는 장애물 등의 검출에 이용된다.

도 34로 돌아와 설명을 계속한다. 차외 정보 검출 유닛(7400)은, 촬상부(7410)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상 데이터를 수신한다. 또한, 차외 정보 검출 유닛(7400)은, 접속되어 있는 차외 정보 검출부(7420)로부터 검출 정보를 수신한다. 차외 정보 검출부(7420)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차외 정보 검출 유닛(7400)은, 초음파 또는 전자파 등을 발신시킴과 함께, 수신된 반사파의 정보를 수신한다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초해, 사람, 차, 장애물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 강우, 안개 또는 노면 상황 등을 인식하는 환경 인식 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 차외의 물체까지의 거리를 산출해도 된다.

또한, 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 기초하여, 사람, 차, 장애물, 표지 또는 노면상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 대해 왜곡 보정 또는 위치 맞춤 등의 처리를 행함과 함께, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 합성하여, 하이앵글 화상 또는 파노라마 화상을 생성해도 된다. 차외 정보 검출 유닛(7400)은, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 이용하여, 시점 변환 처리를 행해도 된다.

차내 정보 검출 유닛(7500)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(7500)에는, 예를 들어, 운전자 상태를 검출하는 운전자 상태 검출부(7510)가 접속된다. 운전자 상태 검출부(7510)는, 운전자를 촬상하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차실내의 음성을 집음하는 마이크 등을 포함해도 된다. 생체 센서는, 예를 들어, 좌석면 또는 스티어링 휠 등에 설치되어 좌석에 앉은 탑승자 또는 스티어링 휠을 잡는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(7500)은, 운전자 상태 검출부(7510)로부터 입력되는 검출 정보에 기초해, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다. 차내 정보 검출 유닛(7500)은, 집음된 음성 신호에 대해 노이즈 캔슬링 처리 등의 처리를 행해도 된다.

통합 제어 유닛(7600)은, 각종 프로그램에 따라 차량 제어 시스템(7000) 내의 동작 전반을 제어한다. 통합 제어 유닛(7600)에는, 입력부(7800)가 접속되어 있다. 입력부(7800)는, 예를 들어, 터치 패널, 버튼, 마이크로폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(7600)에는, 마이크로폰에 의해 입력되는 음성을 음성인식함으로써 얻은 데이터가 입력되어도 된다. 입력부(7800)는, 예를 들어, 적외선 또는 그 외의 전파를 이용한 리모트 컨트롤 장치여도 되고, 차량 제어 시스템(7000)의 조작에 대응한 휴대전화 또는 PDA(Personal　Digital　Assistant) 등의 외부 접속 기기여도 된다. 입력부(7800)는, 예를 들어 카메라여도 되고, 그 경우 탑승자는 제스처에 의해 정보를 입력할 수 있다. 또는, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻어진 데이터가 입력되어도 된다. 또한, 입력부(7800)는, 예를 들어, 상기 입력부(7800)를 이용하여 탑승자 등에 의해 입력된 정보에 기초하여 입력 신호를 생성하고, 통합 제어 유닛(7600)으로 출력하는 입력 제어 회로 등을 포함해도 된다. 탑승자 등은, 이 입력부(7800)를 조작함으로써, 차량 제어 시스템(7000)에 대해 각종의 데이터를 입력하거나 처리 동작을 지시하거나 한다.

기억부(7690)는, 마이크로 컴퓨터에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read　Only　Memory), 및 각종 파라미터, 연산 결과 또는 센서값 등을 기억하는 RAM(Random　Access　Memory)를 포함하고 있어도 된다. 또한, 기억부(7690)은, HDD(Hard　Disc　Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현되어도 된다.

범용 통신 I/F(7620)는, 외부 환경(7750)에 존재하는 다양한 기기와의 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(7620)는, GSM(Global　System　of　Mobile　communications), WiMAX, LTE(Long　Term　Evolution) 혹은 LTE－A(LTE－Advanced) 등의 셀룰러 통신 프로토콜, 또는 무선 LAN(Wi－Fi(등록상표)라고도 함), Bluetooth(등록상표) 등의 그 외의 무선통신 프로토콜을 실장해도 된다. 범용 통신 I/F(7620)는, 예를 들어, 기지국 또는 액세스 포인트를 거쳐, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 어플리케이션 서버 또는 제어 서버)에 접속해도 된다. 또한, 범용 통신 I/F(7620)는, 예를 들어 P2P(Peer　To　Peer) 기술을 이용하여, 차량의 근방에 존재하는 단말(예를 들어, 운전자, 보행자 혹은 점포의 단말, 또는 MTC(Machine　Type　Communication) 단말)과 접속해도 된다.

전용 통신 I/F(7630)는, 차량에서의 사용을 목적으로 하여 책정된 통신 프로토콜을 서포트하는 통신 I/F이다. 전용 통신 I/F(7630)는, 예를 들어, 하위 레이어의 IEEE802.11p와 상위 레이어의 IEEE1609의 조합인 WAVE(Wireless　Access　in　Vehicle　Environment), DSRC(Dedicated　Short　Range　Communications), 또는 셀룰러 통신 프로토콜 등의 표준 프로토콜을 실장해도 된다. 전용 통신 I/F(7630)는, 전형적으로는, 차량 대 차량(Vehicle　to　Vehicle) 통신, 차량 대 인프라(Vehicle　to　Infrastructure) 통신, 차량과 집과의 사이(Vehicle　to　Home)의 통신 및 차량 대 보행자(Vehicle　to　Pedestrian) 통신 중 하나 이상을 포함하는 개념인 V2X 통신을 수행한다.

측위부(7640)는, 예를 들어, GNSS(Global　Navigation　Satellite　System) 위성으로부터의 GNSS 신호(예를 들어, GPS(Global　Positioning　System) 위성으로부터의 GPS 신호)를 수신해 측위를 실행하고, 차량의 위도, 경도 및 고도를 포함한 위치 정보를 생성한다. 또한, 측위부(7640)은, 무선 액세스 포인트와의 신호의 교환에 의해 현재 위치를 특정해도 되고, 또는 측위 기능을 가지는 휴대전화, PHS 또는 스마트폰 등의 단말로부터 위치 정보를 취득해도 된다.

비컨 수신부(7650)는, 예를 들어, 도로상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신해, 현재 위치, 정체, 통행금지 또는 소요 시간 등의 정보를 취득한다. 또한, 비컨 수신부(7650)의 기능은, 상술한 전용 통신 I/F(7630)에 포함되어도 된다.

차내 기기 I/F(7660)는, 마이크로 컴퓨터(7610)와 차내에 존재하는 다양한 차내 기기(7760)와의 사이의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(7660)는, 무선 LAN, Bluetooth(등록상표), NFC(Near　Field　Communication) 또는 WUSB(Wireless　USB) 등의 무선통신 프로토콜을 이용하여 무선 접속을 확립해도 된다. 또한, 차내 기기 I/F(7660)는, 도시하지 않는 접속 단자(및 필요한 경우 케이블)를 거쳐, USB(Universal　Serial　Bus), HDMI(High-Definition　Multimedia　Interface), 또는 MHL(Mobile　High-definition　Link) 등의 유선 접속을 확립해도 된다. 차내 기기(7760)는, 예를 들어, 탑승자가 가지는 모바일 기기 또는 웨어러블 기기, 또는 차량에 반입되거나 장착되는 정보 기기 중 적어도 하나를 포함하고 있어도 된다. 또한, 차내 기기(7760)는, 임의의 목적지까지의 경로 탐색을 행하는 네비게이션 장치를 포함하고 있어도 된다. 차내 기기 I/F(7660)는, 이들 차내 기기(7760)와의 사이에서, 제어 신호 또는 데이터 신호를 교환한다.

차재 네트워크 I/F(7680)는, 마이크로 컴퓨터(7610)와 통신 네트워크(7010)의 사이의 통신을 중개하는 인터페이스이다. 차재 네트워크 I/F(7680)는, 통신 네트워크(7010)에 의해 서포트되는 소정의 프로토콜에 준거하여, 신호 등을 송수신한다.

통합 제어 유닛(7600)의 마이크로 컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비컨 수신부(7650), 차내 기기 I/F(7660) 및 차재 네트워크 I/F(7680) 중 적어도 하나를 거쳐 취득되는 정보에 기초해, 각종 프로그램에 따라, 차량 제어 시스템(7000)을 제어한다. 예를 들어, 마이크로 컴퓨터(7610)은, 취득되는 차내외의 정보에 기초해, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하고, 구동계 제어 유닛(7100)에 대해 제어 지령을 출력해도 된다. 예를 들어, 마이크로 컴퓨터(7610)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 이탈 경고 등을 포함하는 ADAS(Advanced　Driver　Assistance　System)의 기능 실현을 목적으로 한 협조 제어를 행해도 된다. 또한, 마이크로 컴퓨터(7610)은, 취득되는 차량의 주위의 정보에 기초해 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행해도 된다.

마이크로 컴퓨터(7610)은, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비컨 수신부(7650), 차내 기기 I/F(7660) 및 차재 네트워크 I/F(7680) 중 적어도 하나를 거쳐 취득되는 정보에 기초하여, 차량과 주변의 구조물이나 인물 등의 물체와의 사이의 3 차원 거리 정보를 생성하고, 차량의 현재 위치의 주변 정보를 포함하는 로컬 지도 정보를 작성해도 된다. 또한, 마이크로 컴퓨터(7610)는, 취득되는 정보에 기초하여, 차량의 충돌, 보행자 등의 근접 또는 통행금지의 도로로의 진입 등의 위험을 예측하고, 경고용 신호를 생성해도 된다. 경고용 신호는, 예를 들어, 경고음을 발생시키거나 경고 램프를 점등시키기 위한 신호여도 된다.

음성 화상 출력부(7670)은, 차량의 탑승자 또는 차외에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 34의 예에서는, 출력장치로서, 오디오 스피커(7710), 표시부(7720) 및 인스트루먼트 패널(7730)이 예시되고 있다. 표시부(7720)는, 예를 들어, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 된다. 표시부(7720)는, AR(Augmented　Reality) 표시 기능을 가지고 있어도 된다. 출력장치는, 이러한 장치 이외의, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등의 다른 장치여도 된다. 출력장치가 표시장치인 경우, 표시장치는, 마이크로 컴퓨터(7610)가 행한 각종 처리에 의해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를, 텍스트, 이미지, 표, 그래프 등, 다양한 형식으로 시각적으로 표시한다. 또한, 출력장치가 음성 출력장치인 경우, 음성 출력장치는, 재생된 음성 데이터 또는 음향 데이터 등으로 이루어지는 오디오 신호를 아날로그 신호로 변환해 청각적으로 출력한다.

또한, 도 34에 나타낸 예에 있어서, 통신 네트워크(7010)를 거쳐서 접속된 적어도 2개의 제어 유닛이 하나의 제어 유닛으로서 일체화되어도 된다. 또는, 개개의 제어 유닛이, 복수의 제어 유닛에 의해 구성되어도 된다. 또한, 차량 제어 시스템(7000)이, 도시되어 있지 않은 다른 제어 유닛을 구비하여도 된다. 또한, 상기의 설명에 있어서, 어느 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 갖게 하여도 된다. 즉, 통신 네트워크(7010)를 거쳐 정보의 송수신이 되도록 되어 있으면, 소정의 연산 처리가 어느 제어 유닛에서 행해져도 된다. 마찬가지로, 어느 제어 유닛에 접속되어 있는 센서 또는 장치가 다른 제어 유닛에 접속됨과 함께, 복수의 제어 유닛이 통신 네트워크(7010)를 거쳐 서로 검출 정보를 송수신하여도 된다.

또한, 도 13을 이용하여 설명한 본 실시형태와 관련되는 카메라 유닛(10)의 각 기능을 실현하기 위한 컴퓨터 프로그램을, 어느 하나의 제어 유닛 등에 실장할 수 있다. 또한, 이러한 컴퓨터 프로그램이 격납된, 컴퓨터로 판독 가능한 기록 매체를 제공할 수도 있다. 기록 매체는, 예를 들어, 자기 디스크, 광디스크, 광자기 디스크, 플래쉬 메모리 등이다. 또한, 상기의 컴퓨터 프로그램은, 기록 매체를 이용하지 않고, 예를 들어 네트워크를 거쳐 전달되어도 된다.

이상 설명한 차량 제어 시스템(7000)에 있어서, 도 13을 이용하여 설명한 본 실시형태와 관련되는 카메라 유닛(10)은, 도 34에 나타낸 응용예의 통합 제어 유닛(7600)에 적용할 수 있다. 예를 들어, 카메라 유닛(10)의 신호 처리부(104) 및 타이밍 제어부(106)는, 통합 제어 유닛(7600)의 마이크로 컴퓨터(7610)에 상당한다. 예를 들어, 통합 제어 유닛(7600)이, 히스토그램의 스파이크를 억제하기 위해, 장축과 단축에서, 다른 클립값을 설정하도록 함으로써, 터널의 출구 등 휘도 차가 매우 큰 장면에 있어서, 명멸의 응답 속도가 고속인 LED 신호기나 도로표식 등을 확실히 인식함과 함께, 정확하게 선행 차량이나 보행자 등의 장애물을 인식할 수 있다.

또한, 도 13을 이용하여 설명한 카메라 유닛(10)의 적어도 일부의 구성요소는, 도 34에 나타낸 통합 제어 유닛(7600)을 위한 모듈(예를 들어, 하나의 다이로 구성되는 집적회로 모듈)에 실현되어도 된다. 혹은, 도 13을 이용하여 설명한 카메라 유닛(10)이, 도 34에 나타낸 차량 제어 시스템(7000)의 복수의 제어 유닛에 의해 실현되어도 된다.

또한, 본 기술은 이하와 같은 구성을 취할 수 있다.

(1)

신호 처리 장치로서,

다른 노광 시간으로 촬영된 복수의 화상의 신호를, 다른 포화 신호량을 이용하여 가산하는 가산부와,

가산의 결과 얻어지는 복수의 화상의 신호를 합성하는 합성부

를 구비하는, 신호 처리 장치.

(2)

상기 (1)에 있어서,

가산의 결과 얻어지는 화상의 신호를 선형화하는 선형화부를 더 구비하고,

상기 합성부는, 가산의 결과 얻어지는 화상의 신호의 신호량으로서, 그 신호량의 광량에 대한 기울기가 변화할 때의 신호량의 주변과 다른 영역에서, 선형화의 결과 얻어지는 복수의 화상의 신호를 합성하는, 신호 처리 장치.

(3)

상기 (2)에 있어서,

상기 기울기가 변화할 때의 신호량은, 상기 포화 신호량에 따라 변화하는, 신호 처리 장치.

(4)

상기 (1) 내지 (3) 중 어느 하나에 있어서,

가산의 대상이 되는 복수의 화상의 신호별로, 적어도 하나의 화상의 신호에 대한 포화 신호량이 다르도록 설정되는, 신호 처리 장치.

(5)

상기 (4)에 있어서,

상기 복수의 화상의 신호 중, 보다 긴 노광 시간을 갖는 화상의 신호는, 상기 포화 신호량이 다르도록 설정되는, 신호 처리 장치.

(6)

상기 (2) 내지 (5) 중 어느 하나에 있어서,

상기 복수의 화상의 신호 중, 기준의 화상의 신호에 기초하여, 선형화의 결과 얻어지는 복수의 화상의 신호의 합성 비율을 나타내는 합성 계수를 산출하는 합성 계수 산출부를 더 구비하고,

상기 합성부는, 상기 합성 계수에 기초하여, 상기 복수의 화상의 신호를 합성하는, 신호 처리 장치.

(7)

상기 (6)에 있어서,

상기 합성 계수 산출부는, 제1 포화 신호량을 사용한 가산과 선형화의 결과 얻어지는 제1 화상의 신호와, 상기 제1 포화 신호량보다 낮은 제2 포화 신호량을 사용한 가산과 선형화의 결과 얻어지는 제2 화상의 신호를 합성할 때에, 상기 제1 포화 신호량이 설정된 설정 화상의 신호의 레벨에 따라, 상기 제1 화상의 신호와 상기 제2 화상의 신호를 합성하기 위한 상기 합성 계수를 산출하는, 신호 처리 장치.

(8)

상기 (7)에 있어서,

상기 합성 계수 산출부는, 상기 설정 화상의 신호의 레벨이, 상기 제1 포화 신호량이 될 때까지, 상기 제1 화상의 신호와 상기 제2 화상의 신호를 합성하여 얻어지는 합성 화상의 신호에 있어서의, 상기 제2 화상의 신호의 합성 비율이 100%가 되도록, 상기 합성 계수를 산출하는, 신호 처리 장치.

(9)

상기 (8)에 있어서,

상기 설정 화상의 신호의 레벨이 상기 제1 포화 신호량이 될 때, 가산의 결과 얻어지는 화상의 신호에 있어서의 상기 기울기가 변화하는, 신호 처리 장치.

(10)

상기 (6)에 있어서,

상기 복수의 화상의 신호 간의 움직임 검출 결과에 기초하여, 상기 합성 계수를 변조하는 합성 계수 변조부를 더 구비하고,

상기 합성부는, 변조의 결과 얻어지는 움직임 보상 후의 합성 계수에 기초하여, 상기 복수의 화상의 신호를 합성하는, 신호 처리 장치.

(11)

상기 (10)에 있어서,

상기 합성 계수 변조부는, 상기 복수의 화상의 신호 사이에서 움직임이 검출된 경우, 상기 복수의 화상의 신호 중 정보의 신뢰성이 높은 화상의 신호의 합성 비율이 증가되도록 상기 합성 계수를 변조하는, 신호 처리 장치.

(12)

상기 (11)에 있어서,

상기 합성 계수 변조부는, 제1 포화 신호량을 사용한 가산과 선형화의 결과 얻어지는 제1 화상의 신호와, 상기 제1 포화 신호량보다 낮은 제2 포화 신호량을 사용한 가산과 선형화의 결과 얻어지는 제2 화상의 신호와의 사이에서 움직임이 검출된 경우, 상기 제1 화상의 신호와 상기 제2 화상의 신호를 합성하여 얻어지는 합성 화상의 신호에 있어서의, 상기 제1 화상의 신호의 합성 비율이 증가되도록, 상기 제1 화상의 신호와 상기 제2 화상의 신호를 합성하기 위한 상기 합성 계수를 변조하는, 신호 처리 장치.

(13)

상기 (1) 내지 (12) 중 어느 하나에 있어서,

상기 복수의 화상의 노광 시간을 제어하는 제어부를 더 구비하고,

상기 복수의 화상은, 제1 노광 시간을 갖는 제1 노광 화상과, 상기 제1 노광 시간과는 다른 제2 노광 시간을 갖는 제2 노광 화상을 포함하고,

상기 제어부는, 상기 제1 노광 화상에 이어 상기 제2 노광 화상을 촬영하도록 제어함과 함께, 상기 제1 노광 화상의 노광 종료와 상기 제2 노광 화상의 노광 개시와의 간격을 극소화하는, 신호 처리 장치.

(14)

다른 노광 시간으로 촬영된 복수의 화상을 생성하는 화상 생성부와,

상기 복수의 화상의 신호를, 다른 포화 신호량을 사용하여 가산하는 가산부와,

가산의 결과 얻어지는 복수의 화상의 신호를 합성하는 합성부를 구비하는, 촬영 장치.

(15)

다른 노광 시간으로 촬영된 복수의 화상의 신호를, 다른 포화 신호량을 사용하여 가산하는 단계와,

가산의 결과 얻어지는 복수의 화상의 신호를 합성하는 단계를 포함하는, 신호 처리 방법.

10: 카메라 유닛
101: 렌즈
102: 촬상 소자
103: 딜레이 라인,
104: 신호 처리부
105: 출력부
106: 타이밍 제어부
121: 제1 가산 처리부
122: 제1 선형화 처리부
123: 제2 가산 처리부
124: 제2 선형화 처리부
125: 합성 계수 산출부
126: 움직임 검출부
127: 합성 계수 변조부
128: 합성 처리부
141: 제1 가산 처리부
142: 제1 선형화 처리부
143: 제2 가산 처리부
144: 제2 선형화 처리부
145: 제3 가산 처리부
146: 제3 선형화 처리부
147: 제1 합성 계수 산출부
148: 제1 움직임 검출부
149: 제1 합성 계수 변조부
150: 제1 합성 처리부
151: 제2 합성 계수 산출부
152: 제2 움직임 검출부
153: 제2 합성 계수 변조부
154: 제2 합성 처리부
201: 화소 영역
202: 신호 처리 회로 영역
203: 메모리 영역
211: 카메라 신호 처리부
311: 카메라 신호 처리부
1000: 컴퓨터
1001: CPU
7000: 차량 제어 시스템
7600: 통합 제어 유닛
7610: 마이크로 컴퓨터

Claims (15)

1. 신호 처리 장치로서,
   다른 노광 시간으로 촬영된 복수의 화상의 신호를, 각각 다른 포화 신호량을 이용하여 가산하는 복수의 가산부와,
   상기 복수의 가산부의 각 가산부에 의해 상기 가산의 결과 얻어지는 화상의 신호를 각각 선형화하는 복수의 선형화부와,
   상기 선형화의 결과 얻어지는 복수의 화상의 신호를 합성하는 합성부를 구비하고,
   상기 합성부는, 상기 가산의 결과 얻어지는 화상의 신호의 신호량으로서, 그 신호량의 광량에 대한 기울기가 변화할 때의 신호량의 주변과 다른 영역에서, 상기 선형화의 결과 얻어지는 복수의 화상의 신호를 합성하는, 신호 처리 장치.
2. 삭제
3. 제1항에 있어서,
   상기 기울기가 변화할 때의 신호량은, 상기 포화 신호량에 따라 변화하는, 신호 처리 장치.
4. 제1항에 있어서,
   가산의 대상이 되는 복수의 화상의 신호별로, 적어도 하나의 화상의 신호에 대한 포화 신호량이 다르도록 설정되는, 신호 처리 장치.
5. 제4항에 있어서,
   상기 복수의 화상의 신호 중, 보다 긴 노광 시간을 갖는 화상의 신호는, 상기 포화 신호량이 다르도록 설정되는, 신호 처리 장치.
6. 제1항에 있어서,
   상기 복수의 화상의 신호 중, 기준의 화상의 신호에 기초하여, 선형화의 결과 얻어지는 복수의 화상의 신호의 합성 비율을 나타내는 합성 계수를 산출하는 합성 계수 산출부를 더 구비하고,
   상기 합성부는, 상기 합성 계수에 기초하여, 상기 복수의 화상의 신호를 합성하는, 신호 처리 장치.
7. 제6항에 있어서,
   상기 합성 계수 산출부는, 제1 포화 신호량을 사용한 가산과 선형화의 결과 얻어지는 제1 화상의 신호와, 상기 제1 포화 신호량보다 낮은 제2 포화 신호량을 사용한 가산과 선형화의 결과 얻어지는 제2 화상의 신호를 합성할 때에, 상기 제1 포화 신호량이 설정된 설정 화상의 신호의 레벨에 따라, 상기 제1 화상의 신호와 상기 제2 화상의 신호를 합성하기 위한 상기 합성 계수를 산출하는, 신호 처리 장치.
8. 제7항에 있어서,
   상기 합성 계수 산출부는, 상기 설정 화상의 신호의 레벨이, 상기 제1 포화 신호량이 될 때까지, 상기 제1 화상의 신호와 상기 제2 화상의 신호를 합성하여 얻어지는 합성 화상의 신호에 있어서의, 상기 제2 화상의 신호의 합성 비율이 100%가 되도록, 상기 합성 계수를 산출하는, 신호 처리 장치.
9. 제8항에 있어서,
   상기 설정 화상의 신호의 레벨이 상기 제1 포화 신호량이 될 때, 가산의 결과 얻어지는 화상의 신호에 있어서의 상기 기울기가 변화하는, 신호 처리 장치.
10. 제6항에 있어서,
    상기 복수의 화상의 신호 간의 움직임 검출 결과에 기초하여, 상기 합성 계수를 변조하는 합성 계수 변조부를 더 구비하고,
    상기 합성부는, 변조의 결과 얻어지는 움직임 보상 후의 합성 계수에 기초하여, 상기 복수의 화상의 신호를 합성하는, 신호 처리 장치.
11. 제10항에 있어서,
    상기 합성 계수 변조부는, 상기 복수의 화상의 신호 사이에서 움직임이 검출된 경우, 상기 복수의 화상의 신호 중 정보의 신뢰성이 높은 화상의 신호의 합성 비율이 증가되도록 상기 합성 계수를 변조하는, 신호 처리 장치.
12. 제11항에 있어서,
    상기 합성 계수 변조부는, 제1 포화 신호량을 사용한 가산과 선형화의 결과 얻어지는 제1 화상의 신호와, 상기 제1 포화 신호량보다 낮은 제2 포화 신호량을 사용한 가산과 선형화의 결과 얻어지는 제2 화상의 신호와의 사이에서 움직임이 검출된 경우, 상기 제1 화상의 신호와 상기 제2 화상의 신호를 합성하여 얻어지는 합성 화상의 신호에 있어서의, 상기 제1 화상의 신호의 합성 비율이 증가되도록, 상기 제1 화상의 신호와 상기 제2 화상의 신호를 합성하기 위한 상기 합성 계수를 변조하는, 신호 처리 장치.
13. 제1항에 있어서,
    상기 복수의 화상의 노광 시간을 제어하는 제어부를 더 구비하고,
    상기 복수의 화상은, 제1 노광 시간을 갖는 제1 노광 화상과, 상기 제1 노광 시간과는 다른 제2 노광 시간을 갖는 제2 노광 화상을 포함하고,
    상기 제어부는, 상기 제1 노광 화상에 이어 상기 제2 노광 화상을 촬영하도록 제어함과 함께, 상기 제1 노광 화상의 노광 종료와 상기 제2 노광 화상의 노광 개시와의 간격을 극소화하는, 신호 처리 장치.
14. 촬영 장치로서,
    다른 노광 시간으로 촬영된 복수의 화상을 생성하는 화상 생성부와,
    상기 복수의 화상의 신호를, 각각 다른 포화 신호량을 사용하여 가산하는 복수의 가산부와,
    상기 복수의 가산부의 각 가산부에 의해 상기 가산의 결과 얻어지는 화상의 신호를 각각 선형화하는 복수의 선형화부와,
    상기 선형화의 결과 얻어지는 복수의 화상의 신호를 합성하는 합성부를 구비하고,
    상기 합성부는, 상기 가산의 결과 얻어지는 화상의 신호의 신호량으로서, 그 신호량의 광량에 대한 기울기가 변화할 때의 신호량의 주변과 다른 영역에서, 상기 선형화의 결과 얻어지는 복수의 화상의 신호를 합성하는, 촬영 장치.
15. 신호 처리 방법으로서,
    다른 노광 시간으로 촬영된 복수의 화상의 신호를, 다른 포화 신호량을 사용하여 가산하는 단계와,
    가산의 결과 얻어지는 복수의 화상의 신호를 선형화하는 단계와,
    선형화의 결과 얻어지는 복수의 화상의 신호를 합성하는 단계를 포함하고,
    상기 합성하는 단계에서는, 상기 가산의 결과 얻어지는 화상의 신호의 신호량으로서, 그 신호량의 광량에 대한 기울기가 변화할 때의 신호량의 주변과 다른 영역에서, 상기 선형화의 결과 얻어지는 복수의 화상의 신호를 합성하는, 신호 처리 방법.

Images