KR101407849B1

KR101407849B1 - 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치

Info

Publication number: KR101407849B1
Application number: KR1020130023295A
Authority: KR
Inventors: 유키야스 다츠자와; 가즈히로 히와다; 다츠지 아시타니
Original assignee: 가부시끼가이샤 도시바
Priority date: 2012-09-03
Filing date: 2013-03-05
Publication date: 2014-06-16
Also published as: JP2014050042A; KR20140031086A; CN103686101A; US20140063294A1

Abstract

실시 형태에 따르면, 하이 다이내믹 레인지 합성부는, 제1 화상 신호와 제2 화상 신호를 합성한다. 주제어용 노출값 산출부는, 제1 화상 신호 및 제2 화상 신호 중 주제어용 신호로서 지정된 한 쪽을 기초로, 주제어용 노출값을 산출한다. 부제어용 노출값 산출부는, 주제어용 노출값에 하이 다이내믹 레인지 배율을 승산하여, 부제어용 신호에 관한 부제어용 노출값으로 한다. 부제어용 신호는, 주제어용 신호에 밝기 조정을 추종시킨다.

Description

화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND SOLID-STATE IMAGE PICKUP DEVICE}

본 출원은, 2012년 9월 3일에 출원된 일본 특허 출원 번호 제2012-193412호의 우선권의 이익을 향수하여, 그 일본 특허 출원의 전체 내용은 본 출원에 있어서 원용된다.

본 실시 형태는, 일반적으로 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치에 관한 것이다.

하이 다이내믹 레인지(high dynamic range; HDR) 합성은, 통상의 촬영에 비하여 폭넓은 다이내믹 레인지를 표현하기 위한 촬영 기법으로서 알려져 있다. HDR 합성의 방법으로서는, 예를 들어 서로 전하 축적 시간을 상이하게 한 장시간 노광 화상 신호와 단시간 노광 화상 신호를 취득하여, 합성 화상을 생성하는 것이 있다. 고체 촬상 장치는, HDR 합성 화상의 촬영과 함께 자동 노출(auto exposure; AE) 동작을 제어하는 경우에, 장시간 노광 화상 신호 및 단시간 노광 화상 신호에 대한 복잡한 연산 처리를 필요로 함으로써, 회로 규모의 증대나 처리 시간의 증대가 문제가 된다.

본 발명이 해결하고자 하는 과제는, 하이 다이내믹 레인지 합성에 의한 합성 화상에 대해, 간이한 구성에 의해 노출 동작을 제어 가능하게 하는 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치를 제공하는 것이다.

실시 형태의 화상 처리 장치는, 제1 전하 축적 기간에 있어서의 제1 화소에 대한 입사광량에 따른 제1 화상 신호와, 상기 제1 전하 축적 기간보다 짧은 제2 전하 축적 기간에 있어서의 제2 화소에 대한 입사광량에 따른 제2 화상 신호의 합성에 의해, 합성 화상을 생성하는 하이 다이내믹 레인지 합성부와, 촬영 시의 조도에 따라 상기 합성 화상의 밝기를 조정하기 위한 밝기 조정량이 반영된 노출값을 산출하는 노출값 산출부와, 상기 노출값을, 전자 셔터 시간, 아날로그 게인 및 디지털 게인에 관한 각 제어량으로 변환하는 제어량 변환부를 갖고,

상기 노출값 산출부는,

상기 제1 화상 신호 및 상기 제2 화상 신호 중 주제어용 신호로서 지정된 한 쪽을 기초로, 상기 주제어용 신호에 관한 상기 노출값인 주제어용 노출값을 산출하는 주제어용 노출값 산출부와, 상기 제1 화상 신호 및 상기 제2 화상 신호 중 상기 주제어용 신호 이외의 한 쪽이며 상기 주제어용 신호에 밝기 조정을 추종시키는 부제어용 신호에 관한 상기 노출값인 부제어용 노출값을 산출하는 부제어용 노출값 산출부를 포함하고,

상기 부제어용 노출값 산출부는, 상기 주제어용 노출값 산출부에 의해 산출된 상기 주제어용 노출값에, 상기 제1 전하 축적 기간 및 상기 제2 전하 축적 기간의 비로서 미리 설정된 하이 다이내믹 레인지 배율을 승산하여, 상기 부제어용 노출값으로 한다.

다른 실시 형태의 화상 처리 방법은, 제1 전하 축적 기간에 있어서의 제1 화소에 대한 입사광량에 따른 제1 화상 신호와, 상기 제1 전하 축적 기간보다 짧은 제2 전하 축적 기간에 있어서의 제2 화소에 대한 입사광량에 따른 제2 화상 신호의 합성에 의해, 합성 화상을 생성하여, 촬영 시의 조도에 따라 상기 합성 화상의 밝기를 조정하기 위한 밝기 조정량이 반영된 노출값을 산출하고, 상기 노출값을, 전자 셔터 시간, 아날로그 게인 및 디지털 게인에 관한 각 제어량으로 변환하는 것을 포함하고,

상기 제1 화상 신호 및 상기 제2 화상 신호 중 한 쪽을, 주제어용 신호로서 지정하고,

상기 제1 화상 신호 및 상기 제2 화상 신호 중 상기 주제어용 신호 이외의 한 쪽을, 상기 주제어용 신호에 밝기 조정을 추종시키는 부제어용 신호로서,

상기 노출값의 산출은,

상기 주제어용 신호에 관한 상기 노출값인 주제어용 노출값의 산출과, 상기 부제어용 신호에 관한 상기 노출값인 부제어용 노출값의 산출을 포함하고,

상기 제1 전하 축적 기간 및 상기 제2 전하 축적 기간의 비로서 미리 설정된 하이 다이내믹 레인지 배율을 상기 주제어용 노출값에 승산한 결과를, 상기 부제어용 노출값으로 한다.

또한, 다른 실시 형태의 고체 촬상 장치는, 제1 전하 축적 기간에 있어서의 입사광량을 검출하는 제1 화소와, 상기 제1 전하 축적 기간보다 짧은 제2 전하 축적 기간에 있어서의 입사광량을 검출하는 제2 화소를 포함하는 화소 어레이와, 상기 제1 화소가 상기 입사광량에 따라 출력하는 제1 화상 신호와, 상기 제2 화소가 상기 입사광량에 따라 출력하는 제2 화상 신호의 합성에 의해, 합성 화상을 생성하는 하이 다이내믹 레인지 합성부와, 촬영 시의 조도에 따라 상기 합성 화상의 밝기를 조정하기 위한 밝기 조정량이 반영된 노출값을 산출하는 노출값 산출부와, 상기 노출값을, 전자 셔터 시간, 아날로그 게인 및 디지털 게인에 관한 각 제어량으로 변환하는 제어량 변환부를 갖고,

상기 노출값 산출부는,

상기 구성의 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치에 의하면, 하이 다이내믹 레인지 합성에 의한 합성 화상에 대하여, 간이한 구성에 의해 노출 동작을 제어 가능하게 할 수 있다.

도 1은 제1 실시 형태에 관한 고체 촬상 장치의 개략 구성을 도시하는 블록도.
도 2는 도 1에 도시하는 고체 촬상 장치를 구비하는 디지털 카메라의 개략 구성을 도시하는 블록도.
도 3은 화소 어레이에 있어서의 화소의 배열에 대하여 설명하는 도면.
도 4는 장시간 노광 화소 및 단시간 노광 화소의 출력 특성과, HDR 합성 회로에 의한 화상 신호의 합성에 대하여 설명하는 도면.
도 5는 AE 제어 회로에 의한 AE 동작의 제어에 대하여 설명하는 도면.
도 6은 AE 제어 회로에 의한 ES, AG 및 DG의 각 제어량의 산출에 대하여 설명하는 도면.
도 7은 AE 제어 회로의 구성을 도시하는 블록도.
도 8은 플리커의 발생에 대하여 설명하는 도면.
도 9는 도 7에 도시한 AE 제어 회로 중, 통상 촬영 모드에서의 AE 동작의 제어에 사용되는 요소를 도시한 블록도.
도 10은 제2 실시 형태에 관한 화상 처리 장치에 포함되는 AE 제어 회로의 구성을 도시하는 블록도.
도 11은 제3 실시 형태에 관한 화상 처리 장치에 포함되는 AE 제어 회로의 구성을 도시하는 블록도.
도 12는 AE 제어 회로에 의한 ES, AG 및 DG의 각 제어량의 산출에 대하여 설명하는 도면.

이하에 첨부 도면을 참조하여, 실시 형태에 관한 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치를 상세하게 설명한다. 또한, 이들 실시 형태에 의해 본 발명이 한정되는 것은 아니다.

도 1은 제1 실시 형태에 관한 고체 촬상 장치의 개략 구성을 도시하는 블록도이다. 도 2는, 도 1에 도시하는 고체 촬상 장치를 구비하는 디지털 카메라의 개략 구성을 도시하는 블록도이다.

디지털 카메라(1)는, 카메라 모듈(2) 및 후단 처리부(3)를 갖는다. 카메라 모듈(2)은, 촬상 광학계(4) 및 고체 촬상 장치(5)를 갖는다. 후단 처리부(3)는, 이미지 시그널 프로세서(image signal processor; ISP)(6), 기억부(7) 및 표시부(8)를 갖는다. 카메라 모듈(2)은, 디지털 카메라(1) 이외에, 예를 들어 카메라 핸드폰 단말기 등의 전자 기기에 적용된다.

촬상 광학계(4)는, 피사체로부터의 광을 받아들여, 피사체상을 결상시킨다. 고체 촬상 장치(5)는, 피사체상을 촬상한다. ISP(6)는, 고체 촬상 장치(5)에서의 촬상에 의해 얻어진 화상 신호의 신호 처리를 실시한다. 기억부(7)는, ISP(6)에서의 신호 처리를 거친 화상을 저장한다. 기억부(7)는, 유저의 조작 등에 따라 표시부(8)에 화상 신호를 출력한다. 표시부(8)는, ISP(6) 혹은 기억부(7)로부터 입력되는 화상 신호에 따라 화상을 표시한다. 표시부(8)는, 예를 들어 액정 디스플레이다.

고체 촬상 장치(5)는, 예를 들어 CMOS(complementary metal oxide semiconductor) 이미지 센서이다. 고체 촬상 장치(5)는, CMOS 이미지 센서 외에, CCD(charge coupled device)이어도 좋다. 고체 촬상 장치(5)는, 화소 어레이(10), 전 처리부(11), 촬상 처리 회로(12), 인터페이스(I/F)(14), 타이밍 생성기(15) 및 자동 노출(auto exposure; AE) 제어 회로(16)를 갖는다.

화소 어레이(10)는, 촬상 광학계(4)에 의해 받아들인 광을 포토다이오드에 있어서 신호 전하로 변환하여, 피사체상을 촬상한다. 화소 어레이(10)는, R(적색), G(녹색) 및 B(청색)의 각 신호값을 예를 들어 베이어 배열에 대응하는 순서로 받아들임으로써, 아날로그 화상 신호를 생성한다.

전 처리부(11)는, 화소 어레이(10)로부터의 화상 신호에 대하여, 상관 이중 샘플링, 아날로그 게인(AG) 및 디지털 게인(DG)에 의한 증폭, 아날로그/디지털 변환(AD 변환)을 실시한다.

촬상 처리 회로(12)는, 전 처리부(11)로부터 입력된 디지털 화상 신호에 대하여, 다양한 신호 처리를 실시한다. 촬상 처리 회로(12)는, 하이 다이내믹 레인지(HDR) 합성부(13)를 갖는다. HDR 합성부(13)는, 촬상 처리 회로(12)에 입력된 디지털 화상 신호의 HDR 합성을 실시하여, 합성 화상을 생성한다. 촬상 처리 회로(12)는, HDR 합성부(13)에 의한 HDR 합성 외에, 예를 들어 흠집 보정, 노이즈 리덕션, 쉐이딩 보정, 화이트 밸런스 조정 등의 신호 처리를 실시한다.

I/F(14)는, 촬상 처리 회로(12)에서의 신호 처리를 거친 화상 신호를 출력한다. I/F(14)는, 화상 신호에 대하여, 외부 기기로의 전송을 위한 처리, 예를 들어 시리얼 데이터로부터 패러렐 출력 혹은 패러렐 입력으로부터 시리얼 데이터로의 변환 등의 처리를 적절히 행한다.

AE 제어 회로(16)는, 촬영 시의 밝기에 따라 디지털 카메라(1)의 AE 동작을 제어한다. AE 제어 회로(16)는, 전 처리부(11)에 대하여 AG 및 DG의 데이터를 전송한다. AE 제어 회로(16)는, 타이밍 생성기(15)에 대하여 전자 셔터 시간(ES)의 데이터를 전송한다. 촬상 처리 회로(12) 및 AE 제어 회로(16)는, 화상 처리 장치로서 기능한다. 타이밍 생성기(15)는, 화소 어레이(10)의 구동을 위한 펄스를 출력한다.

도 3은 화소 어레이에 있어서의 화소의 배열에 대하여 설명하는 도면이다. 화소 어레이(10)는, Gr, R, Gb 및 B의 4화소가 베이어 배열로서 배치되어 있다. R 화소는, 적색광을 검출한다. B 화소는, 청색광을 검출한다. Gr 화소 및 Gb 화소는, 녹색광을 검출한다. Gr 화소는, 수평 라인에서 R 화소와 병렬하고 있다. Gb 화소는, 수평 라인에서 B 화소와 병렬하고 있다.

화소 어레이(10)는, Gr/R 라인과 B/Gb 라인의 2개의 수평 라인을 포함하여 이루어지는 라인 에리어마다 전하 축적 기간을 교대로 상이하게 하고 있다. 장시간 노광 라인 에리어(제1 라인 에리어)(17)의 전하 축적 기간인 제1 전하 축적 기간은, 단시간 노광 라인 에리어(제2 라인 에리어)(18)의 전하 축적 기간인 제2 전하 축적 기간보다 길다.

장시간 노광 라인 에리어(17)는, 제1 화소인 장시간 노광 화소를 포함하여 이루어지는 2개의 수평 라인에 의해 구성되어 있다. 단시간 노광 라인 에리어(18)는, 제2 화소인 단시간 노광 화소를 포함하여 이루어지는 2개의 수평 라인에 의해 구성되어 있다. 장시간 노광 라인 에리어(17) 및 단시간 노광 라인 에리어(18)는, 수직 방향에 있어서 교대로 배치되어 있다.

장시간 노광 화소는, 제1 전하 축적 기간에 있어서의 입사광량을 검출한다. 단시간 노광 화소는, 제2 전하 축적 기간에 있어서의 입사광량을 검출한다. 화소 어레이(10)는, 제1 전하 축적 기간에 있어서의 장시간 노광 화소에 대한 입사광량에 따른 장시간 노광 화상 신호(제1 화상 신호)와, 제2 전하 축적 기간에 있어서의 단시간 노광 화소에 대한 입사광량에 따른 단시간 노광 화상 신호(제2 화상 신호)를 출력한다. HDR 합성부(13)는, 촬상 처리 회로(12)에 입력된 장시간 노광 화상 신호 및 단시간 노광 화상 신호를 합성한다.

도 4는 장시간 노광 화소 및 단시간 노광 화소의 출력 특성과, HDR 합성 회로에 의한 화상 신호의 합성에 대하여 설명하는 도면이다. 장시간 노광 화소는, 입사광량이 소정의 포화 광량 I0보다 커지면, 광전 변환에 의해 발생하는 신호 전하가 포토다이오드의 축적 용량에 달한다.

입사광량이 포화 광량 I0 이하인 경우, 장시간 노광 화상 신호 S1의 신호 레벨은, 입사광량의 증가에 비례하여 높아진다. 입사광량이 포화 광량 I0보다 클 때, 장시간 노광 화상 신호 S1의 신호 레벨은 일정해진다. 단시간 노광 화상 신호 S2의 신호 레벨은, 입사광량이 포화 광량 I0보다 큰 경우도, 입사광량의 증가에 비례하여 높아진다.

HDR 합성부(13)는, 장시간 노광 화소와 단시간 노광 화소에서 출력 레벨을 일치시키기 위해, 단시간 노광 화상 신호 S2에 소정의 HDR 배율을 승산한다. HDR 배율은, 장시간 노광 화소의 제1 전하 축적 기간과 단시간 노광 화소의 제2 전하 축적 기간의 비인 노광비에 대응한다. HDR 합성부(13)는, 장시간 노광 화상 신호 S1과, HDR 배율의 승산을 거친 단시간 노광 화상 신호 S2를 사용하는 보간 처리를 거쳐, 합성 화상 신호 S를 생성한다.

도 5는 AE 제어 회로에 의한 AE 동작의 제어에 대하여 설명하는 도면이다. 도시하는 그래프의 종축은 입사광에 대한 신호 레벨의 조정량을 나타내는 것으로 한다. AE 제어 회로(16)는, ES에 따라 축적되는 전하량과, AG 및 DG에 따른 신호 레벨의 증폭률의 조절에 의해, 신호 레벨의 조정량을 가변으로 한다.

도시하는 그래프의 횡축은 조도를 나타내는 것으로 한다. 조도는, 횡축 방향을 좌측으로부터 우측을 향함에 따라 낮아지는 것으로 한다. AE 제어 회로(16)는, 촬영 시에 있어서의 조도가 낮을수록 신호 레벨을 올리기 위해, 신호 레벨의 조정량을 크게 한다. 도면 중, 톤으로 표시한 부분은 ES에 따른 신호 레벨의 조정량, 사선으로 표시한 부분은 DG에 의한 신호 레벨의 조정량, 그물 모양으로 표시한 부분은 AG에 의한 신호 레벨의 조정량을 나타내는 것으로 한다.

카메라 모듈(2)은, 실내에서의 촬영에 있어서, 조명광을 공급하는 형광등의 전원 주파수에 기인하여 화상의 명암이 변화하는, 소위 플리커를 발생시키는 경우가 있다. 카메라 모듈(2)은, 플리커 주기의 배의 주기를 단위로 하여 ES를 조절함으로써, 플리커를 억제 가능하게 한다. 예를 들어, 형광등의 전원 주파수가 60Hz인 경우, 카메라 모듈(2)은, 1/120초 간격으로 ES를 조절함으로써 플리커를 억제 가능하게 한다.

예를 들어, 합성 화상의 프레임 레이트를 60fps(frame per second)로 하는 경우, 카메라 모듈(2)은, 60Hz의 플리커를 억제시키기 위해서는, ES를 2/120초와 1/120초 중 어느 하나로 한다. 카메라 모듈(2)은, 조도가 높은 경우에, 플리커의 억제보다도 입사광량에 대한 출력 전하의 포화의 억제를 우선시키기 위해, 1/120초 이하의 범위에서 ES를 조정한다.

이 예에 있어서, AE 제어 회로(16)는, 카메라 모듈(2)에 의한 촬영 감도를 갖게 하는 조도 범위를 3단계로 나누어, ES, AG 및 DG에 따른 AE 동작의 제어(밝기 조정)를 전환한다. AE 제어 회로(16)는, 낮은 조도 범위 b3에서는 ES를 2/120초로 일정하게 하여, AG만의 조정을 실시한다. AE 제어 회로(16)는, 조도 범위 b3에 대하여 고 조도측의 조도 범위 b2에서는 ES를 1/120초로 일정하게 하여, DG만의 조정을 실시한다.

AE 제어 회로(16)는, 조도 범위 b2에 대하여 고 조도측의 조도 범위 b1에서는, 조도가 높아짐에 따라 ES를 단계적으로 짧게 하는 조정을 행한다. AE 제어 회로(16)는, ES의 양자화 단위 미만에 상당하는 조도의 변화량을 DG에 의해 조정한다. 또한, ES의 양자화 단위가 조도의 분해능 이하인 경우, AE 제어 회로(16)는, DG에 의한 조정을 행하지 않는 것으로 해도 된다.

또한, AE 제어 회로(16)에 의한 AE 동작의 제어의 형태는, 적절히 변경 가능한 것으로 한다. 예를 들어, AE 제어 회로(16)는, 조도에 따라 ES를 결정하고 나서, AG 및 DG의 어느 한 쪽을 조정 대상으로 해도 좋고, AG 및 DG 양쪽을 조정 대상으로 해도 좋다.

AE 제어 회로(16)는, 합성 화상의 프레임 레이트나 플리커 주기에 따라 ES의 설정을 적절히 변경해도 좋다. 플리커의 주파수 60Hz에 대하여 합성 화상의 프레임 레이트를 30fps로 하는 경우, AE 제어 회로(16)는, ES를 최대 4/120초로 하는 조정을 할 수 있다. 플리커의 주파수가 50Hz인 경우, AE 제어 회로(16)는, 1/100초 간격으로 ES를 조절한다.

도 6은 AE 제어 회로에 의한 ES, AG 및 DG의 각 제어량의 산출에 대하여 설명하는 도면이다. AE 제어 회로(16)는, 장시간 노광 화상 신호 및 단시간 노광 화상 신호 중 주제어용 신호로서 지정된 한 쪽을 대상으로 하여 AE 동작의 제어를 실시한다. AE 제어 회로(16)는, 부제어 신호에 관한 AE 동작을, 주제어용 신호에 관한 AE 동작에 추종시킨다. 부제어 신호는, 장시간 노광 화상 신호 및 단시간 노광 화상 신호 중 주제어용 신호 이외의 한 쪽으로 한다.

예를 들어, 장시간 노광 화상 신호가 주제어용 신호로 지정되었다고 하자. AE 제어 회로(16)는, 장시간 노광 화상 신호를 기초로, 장시간 노광 화소에 관한 적정 노출 L1을 구하고, 적정 노출 L1에 따른 제어량을 구한다. 예를 들어, 적성 노출 L1이 조도 범위 b3 내일 때, AE 제어 회로(16)는, ES에 대하여 제어량 ES1(예를 들어 2/120초) 및 AG에 대하여 제어량 AG1(예를 들어 6배)을 구한다.

AE 제어 회로(16)는, 적정 노출 L1에 HDR 배율 M을 승산함으로써, 단시간 노광 화소에 관한 적정 노출 L2를 구한다. 예를 들어, HDR 배율 M이 4배로 설정되어 있는 경우, AE 제어 회로(16)는, 적정 노출 L1에 4를 승산하여, 적정 노출 L2로 한다.

AE 제어 회로(16)는, 적정 노출 L2에 따른 제어량을 구한다. 예를 들어, 적성 노출 L2가 조도 범위 b3 내일 때, AE 제어 회로(16)는, ES에 대하여 제어량 ES2(예를 들어 2/120초) 및 AG에 대하여 제어량 AG2(예를 들어 1.5배)를 구한다.

도 6에 있어서, 횡축 방향에 있어서의 L1 및 L2의 간격은, HDR 배율 M에 따른 조도의 차에 상당한다. 주제어용 신호의 AE 동작에 부제어용 신호의 AE 동작을 추종시키는 AE 제어란, 도 6에서는, 횡축 방향에 있어서의 L1 및 L2의 간격을 일정하게 한 채, 횡축 방향에 있어서 L1 및 L2를 이동시켜, 종축의 조정량을 참조하는 동작이라고 표현할 수 있다.

도 7은 AE 제어 회로의 구성을 도시하는 블록도이다. AE 제어 회로(16)는, 주제어용 신호 전환부(20), 휘도 신호 생성부(21), 휘도 평균값 산출부(22), 휘도 목표값 비교부(23), EV 산출부(24), 제어량 변환부(25), 플리커 검출용 적산부(26) 및 플리커 주기 추정부(27)를 갖는다.

AE 제어 회로(16)에는, 촬상 처리 회로(12)(도 1 참조)로부터의 장시간 노광 화상 신호 S1 및 단시간 노광 화상 신호 S2가 입력된다. 주제어용 신호 전환부(20)는, AE 제어 회로(16)에 입력된 장시간 노광 화상 신호 S1 및 단시간 노광 화상 신호 S2 중 한 쪽을 주제어용 신호로서 출력한다. 주제어용 신호 전환부(20)는, 주제어용 신호의 전환을 지시하는 전환 지시 신호(33)에 따라, 주제어용 신호로서의 출력을 장시간 노광 화상 신호 S1과 단시간 노광 화상 신호 S2로 전환한다.

전환 지시 신호(33)는, 예를 들어 유저에 의한 설정 조작에 따른 신호로 한다. 카메라 모듈(2)은, 예를 들어 화상의 암부에 관한 화질을 중시하는 경우는, 장시간 노광 화소로부터의 장시간 노광 화상 신호 S1을 주제어용 신호로서 선택하는 것으로 해도 좋다.

휘도 신호 생성부(21)는, 주제어용 신호 전환부(20)로부터의 주제어용 신호로부터 휘도 신호(35)를 생성한다. 휘도 신호(35)는, 예를 들어 YUV 색 공간의 휘도 성분에 상당하는 정보에 관한 신호로 한다. 휘도 신호 생성부(21)는, 예를 들어 주제어용 신호인 RAW 화상 데이터로부터 G 성분에 관한 휘도 정보를 추출하여, 휘도 신호(35)로 한다. 휘도 신호 생성부(21)는, Gr 화소 및 Gb 화소에서 검출된 G 성분에 관한 휘도값을 휘도 신호(35)로 한다.

휘도 신호 생성부(21)는, R, G 및 B의 각 성분 중 휘도에 관한 정보를 가장 많이 얻어지는 G 성분의 휘도값을, 휘도 신호(35)로서 채용한다. 또한, 휘도 신호 생성부(21)는, G 성분의 휘도값으로부터만 휘도 신호(35)를 생성하는 경우에 한정되지 않는다. 예를 들어, 휘도 신호 생성부(21)는, R, G 및 B의 각 성분의 휘도값을 사용하여 휘도 신호(35)를 생성해도 좋다. 휘도 신호(35)는, 예를 들어 R, G 및 B의 각 성분의 휘도값을 소정의 비율로 가산한 신호로 해도 좋다.

휘도 평균값 산출부(22)는, 화면 전체에 대하여 휘도 신호(35)를 적분하고 평균화하여, 휘도 평균값(36)을 산출한다. 휘도 평균값 산출부(22)는, 화면 내에 설정된 에리어마다의 가중치 부여를 휘도 신호(35)에 실시한 후 휘도 평균값(36)을 산출하는 것으로 해도 된다.

휘도 목표값 비교부(23)는, 휘도 평균값 산출부(22)로부터의 휘도 평균값(36)과, 미리 설정된 휘도 목표값을 비교하여, 차분을 구한다. 휘도 목표값 비교부(23)는, 휘도 평균값(36) 및 휘도 목표값의 차분을, 촬영 시의 조도에 따라 합성 화상의 밝기를 조정하기 위한 밝기 조정량(37)으로서 출력한다. 밝기 조정량(37)은, 예를 들어 노출 보정을 위한 노출값(EV)의 보정량으로 한다.

EV 산출부(24)는, 주제어용 EV 산출부(31) 및 부제어용 EV 산출부(32)를 포함한다. 주제어용 EV 산출부(31)는, 주제어용 EV(41)를 산출한다. 주제어용 EV(41)는, 주제어용 신호에 관한 EV이다. 주제어용 EV 산출부(31)는, 주제어용 신호에 의한 화상의 밝기에 휘도 목표값 비교부(23)로부터의 밝기 조정량(37)을 반영시키는 연산에 의해, 주제어용 EV(41)를 산출한다. 주제어용 EV(41)는, 주제어용 신호에 관한 적정 노출 L1에 대응한다.

부제어용 EV 산출부(32)는, 부제어용 EV(42)를 산출한다. 부제어용 EV(42)는, 부제어용 신호에 관한 EV이다. 부제어용 EV 산출부(32)는, 주제어용 EV 산출부(31)에 의해 산출된 주제어용 EV(41)에 HDR 배율 M을 승산하여, 부제어용 EV(42)로 한다. 부제어용 EV(42)는, 부제어용 신호에 관한 적정 노출 L2에 대응한다.

부제어용 EV 산출부(32)는, 장시간 노광 화상 신호 S1 및 단시간 노광 화상 신호 S2 중 어느 것이 부제어용 신호인지를, 전환 지시 신호(33)로부터 식별한다. 예를 들어, HDR 배율 M이 4배로 설정되고, 또한 장시간 노광 화상 신호 S1이 주제어용 신호로 지정되어 있는 경우, 부제어용 EV 산출부(32)는, 주제어용 EV(41)에 1/4를 승산하여, 부제어용 EV(42)로 한다. 한편, HDR 배율 M이 4배로 설정되고, 또한 단시간 노광 화상 신호 S2가 주제어용 신호로 지정되어 있는 경우, 부제어용 EV 산출부(32)는, 주제어용 EV(41)에 4를 승산하여, 부제어용 EV(42)로 한다. 또한, HDR 배수 M은, 예를 들어 미리 설정된 고정값으로 한다.

플리커 검출용 적산부(26)는, 주제어용 신호 전환부(20)로부터의 주제어용 신호에 대하여, 플리커 검출을 위한 적분을 실시하여, 적분 결과(34)를 출력한다. 플리커 주기 추정부(27)는, 플리커 검출용 적산부(26)로부터의 적분 결과(34)를 기초로 플리커 주기를 추정하여, 추정 결과(38)를 출력한다.

도 8은 플리커의 발생에 대하여 설명하는 도면이다. 형광등의 조명은, 전원 주파수의 2배의 주파수에서 명멸하고 있다. 라인마다의 신호 전하의 판독을 순차 행함으로써, 전자 셔터에 의한 노광 개시 시각은, 판독 라인의 위치에 따라 상이하다. 이러한 점에서, 프레임 내에는, 형광등의 명멸에 의한 휘도 불균일이, 명암의 줄무늬가 되어 나타나게 된다.

전원 주파수 50Hz 또는 60Hz에 대하여, 플리커 주기는 1/100s 또는 1/120s로 된다. 예를 들어, 전원 주파수 50Hz에 대하여 프레임 주기가 1/30s인 경우, 광량이 최대로 되는 수평 동기 기간 T1에 해당하는 라인을 명부, 광량이 최소로 되는 수평 동기 기간 T2에 해당하는 라인을 암부로 하는 1/100s 주기의 줄무늬가 발생하게 된다. 수평 동기 기간 T1 및 T2는, 예를 들어 2ms로 한다.

플리커 검출용 적산부(26)는, 라인을 단위로 하는 주제어 신호의 적분을, 화면 내의 수 개소에 대하여 실시한다. 플리커 주기 추정부(27)는, 화면 내의 개소마다의 적분 결과(34)의 차분으로부터 플리커 주기를 추정한다. 예를 들어, 플리커 주기 추정부(27)는, 1/100s 간격의 적분 결과(34)끼리의 차분과, 1/120s 간격의 적분 결과(34)끼리의 차분을 비교함으로써, 플리커 주기가 1/100s 및 1/120s 중 무엇인지를 추정한다.

또한, 전원 주파수 50Hz에 대하여 프레임 주기가 1/100s인 정수배일 때 및 전원 주파수 60Hz에 대하여 프레임 주기가 1/120s인 정수배일 때는, 노광 타이밍에 관계없이 노광량이 일정해짐으로써, 플리커는 발생하지 않게 된다. 플리커 주기 추정부(27)는, 프레임 주기가 형광등의 명멸의 주기의 정수배가 아닐 때에 있어서 발생하는 플리커 주기를 추정한다.

제어량 변환부(25)는, 주제어용 EV 산출부(31)로부터의 주제어용 EV(41)를, ES에 관한 제어량 ES1, AG에 관한 제어량 AG1 및 DG에 관한 제어량 DG1로 변환한다. 제어량 변환부(25)는, 적정 노출 L1인 주제어용 EV(41)가 어느 조도 범위(예를 들어 도 6에 도시하는 b1 내지 b3) 내인지에 따라, 제어량 ES1을 결정한다.

도 6에 도시하는 예에서는, 주제어용 EV(41)가 조도 범위 b2 및 b3 중 어느 하나에 포함되는 경우, 제어량 변환부(25)는, 추정 결과(38)로서 출력된 플리커 주기에 따라, 제어량 ES1을 결정한다. 제어량 변환부(25)는, 추정된 플리커 주기의 정수배인 값을 제어량 ES1로 한다.

주제어용 EV(41)가 조도 범위 b3에 포함되는 경우, 제어량 변환부(25)는, 주제어용 EV(41) 및 제어량 AG1이 선형 관계에 있는 것으로서, 주제어용 EV(41)에 따른 제어량 AG1을 결정한다. 주제어용 EV(41)가 조도 범위 b2에 포함되는 경우, 제어량 변환부(25)는, 주제어용 EV(41) 및 제어량 DG1이 선형 관계에 있는 것으로서, 주제어용 EV(41)에 따른 제어량 DG1을 결정한다.

주제어용 EV(41)가 조도 범위 b1에 포함되는 경우, 제어량 변환부(25)는, 조도에 따라 단계적으로 설정된 ES로부터, 주제어용 EV(41)에 대응하는 제어량 ES1을 결정한다. 이 경우, 제어량 변환부(25)는, 추정 결과(38)인 플리커 주기에 관계없이, 제어량 ES1을 결정한다. 제어량 변환부(25)는, ES의 양자화 단위 내에서 주제어용 EV(41) 및 제어량 DG1이 선형 관계에 있는 것으로서, 주제어용 EV(41)에 따른 제어량 DG1을 결정한다.

제어량 변환부(25)는, 부제어용 EV 산출부(32)로부터의 부제어용 EV(42)를, ES에 관한 제어량 ES2, AG에 관한 제어량 AG2 및 DG에 관한 제어량 DG2로 변환한다. 제어량 변환부(25)는, 적정 노출 L2인 부제어용 EV(42)가 어느 조도 범위(예를 들어 도 6에 도시하는 b1 내지 b3) 내인지에 따라, 제어량 ES2를 결정한다. 제어량 변환부(25)는, 주제어용 EV(41)로부터 각 제어량 ES1, AG1 및 DG1로의 변환과 마찬가지로, 부제어용 EV(42)를 각 제어량 ES2, AG2 및 DG2로 변환한다.

제어량 변환부(25)는, 주제어용 EV 산출부(31)에 의해 산출된 주제어용 EV(41)로부터 각 제어량으로의 변환과, 부제어용 EV 산출부(32)에 의해 산출된 부제어용 EV(42)로부터 각 제어량으로의 변환을, 시분할적으로 실시한다. AE 제어 회로(16)는, 주제어용 신호 및 부제어용 신호에 대하여, 각 제어량의 생성에 공통된 제어량 변환부(25)를 사용함으로써, 회로 규모의 억제를 가능하게 한다.

예를 들어 장시간 노광 화상 신호 S1이 주제어용 신호로 지정되어 있는 경우에 있어서, 도 1에 도시하는 타이밍 생성기(15)는, 화소 어레이(10) 중 장시간 노광 화소에 대하여, 제어량 ES1에 따른 펄스를 출력한다. 타이밍 생성기(15)는, 화소 어레이(10) 중 단시간 노광 화소에 대하여, 제어량 ES2에 따른 펄스를 출력한다.

또한, 장시간 노광 화상 신호 S1이 주제어용 신호로 지정되어 있는 경우에 있어서, 도 1에 도시하는 전 처리부(11)는, 제어량 AG1 및 DG1을 사용하여 장시간 노광 화상 신호 S1을 증폭시킨다. 전 처리부(11)는, 제어량 AG2 및 DG2를 사용하여 단시간 노광 화상 신호 S2를 증폭시킨다.

EV 산출부(24)는, 카메라 모듈(2)이 촬영 감도를 갖는 조도 범위에 포함되는 주제어용 EV(41) 및 부제어용 EV(42)를 산출한다. 주제어용 EV 산출부(31)는, 이러한 조도 범위에, 주제어용 EV(41)뿐만 아니라 부제어용 EV 산출부(32)에 의해 산출되는 부제어용 EV(42)도 포함시키기 위해, 주제어용 EV(41)에 제한을 설정한다.

예를 들어 장시간 노광 화상 신호 S1을 주제어용 신호로 하는 경우, 단시간 노광 화상 신호 S2에 관한 부제어용 EV(42)는, 주제어용 EV(41)에 대하여 HDR 배율 M만큼 높은 값으로 된다. 주제어용 EV 산출부(31)는, 카메라 모듈(2)이 촬영 감도를 갖는 최대 조도 이하의 범위에 부제어용 EV(42)가 포함되도록, 주제어용 EV(41)의 최대값을 제한한다. 도 6의 그래프를 참조하면, L1은, L1에 대하여 M에 상당하는 만큼 좌측에 있는 L2가, 그래프의 좌측 단부에 도달할 때를 한도로 하여, 그래프의 좌측(고 조도측)으로 이동되는 조정이 제한된다.

또한, 예를 들어 단시간 노광 화상 신호 S2를 주제어용 신호로 하는 경우, 장시간 노광 화상 신호 S1에 관한 부제어용 EV(42)는, 주제어용 EV(41)에 대하여 HDR 배율 M만큼 낮은 값으로 된다. 주제어용 EV 산출부(31)는, 카메라 모듈(2)이 촬영 감도를 갖는 최소 조도 이상의 범위에 부제어용 EV(42)가 포함되도록, 주제어용 EV(41)의 최소값을 제한한다. 도 6의 그래프를 참조하면, L2는, L2에 대하여 HDR 배율 M만큼 우측에 있는 L1이 그래프의 우측 단부에 도달할 때를 한도로 하여, 그래프의 우측(저 조도측)으로 이동되는 조정이 제한된다.

EV 산출부(24)는, 주제어용 EV(41)에 이러한 제한을 설정함으로써, 카메라 모듈(2)의 촬영 감도에 따른 주제어용 EV(41) 및 부제어용 EV(42)를 취득 가능하게 한다. AE 제어 회로(16)는, 장시간 노광 화상 신호 S1 및 단시간 노광 화상 신호 S2의 양쪽에 대하여, 카메라 모듈(2)의 촬영 감도에 따른 AE 동작의 제어를 실시할 수 있다.

카메라 모듈(2)은, 예를 들어 HDR 합성을 실시하는 HDR 촬영 모드와, HDR 합성을 실시하지 않는 통상 촬영 모드의 전환이 가능한 것으로 한다. AE 제어 회로(16)는, HDR 촬영 모드일 때에, 장시간 노광 화상 신호 S1 및 단시간 노광 화상 신호 S2에 관한 각 제어량을 각각 구한다.

도 9는, 도 7에 도시된 AE 제어 회로 중, 통상 촬영 모드에서의 AE 동작의 제어에 사용되는 요소를 도시한 블록도이다. 통상 촬영 모드에서, 고체 촬상 장치(5)는, HDR 촬영 모드에서 장시간 노광 화소와 단시간 노광 화소로 분류되어 있던 각 화소에 대하여 동일한 전하 축적 기간을 적용한다.

AE 제어 회로(16)에는, 촬상 처리 회로(12)로부터의 화상 신호 S0이 입력된다. 휘도 신호 생성부(21)는, 화상 신호 S0로부터 휘도 신호(35)를 생성한다. 휘도 평균값 산출부(22)는, 휘도 신호(35)를 적분하고 평균화하여, 휘도 평균값(36)을 산출한다. 휘도 목표값 비교부(23)는, 휘도 평균값(36) 및 휘도 목표값의 차분을, 촬영 시의 조도에 따라 화상의 밝기를 조정하기 위한 밝기 조정량(37)으로서 출력한다. EV 산출부(24)는, 화상 신호 S0에 의한 화상의 밝기에 휘도 목표값 비교부(23)로부터의 밝기 조정량(37)을 반영시키는 연산에 의해, EV(43)를 산출한다.

플리커 검출용 적산부(26)는, 화상 신호 S0에 대하여, 플리커 검출을 위한 적분을 실시하여, 적분 결과(34)를 출력한다. 플리커 주기 추정부(27)는, 플리커 검출용 적산부(26)로부터의 적분 결과(34)를 기초로 플리커 주기를 추정하여, 추정 결과(38)를 출력한다. 제어량 변환부(25)는, EV 산출부(24)로부터의 EV(43)를, ES에 관한 제어량 ES0, AG에 관한 제어량 AG0 및 DG에 관한 제어량 DG0로 변환한다. 제어량 변환부(25)는, 통상 촬영 모드에서, 각 화소에 대하여 동일한 전하 축적 시간을 적용하여 얻어진 화상 신호 S0에 관한 각 제어량을 구한다.

도 1에 도시하는 타이밍 생성기(15)는, 화소 어레이(10)에 대하여, 제어량 ES0에 따른 펄스를 출력한다. 전 처리부(11)는, 제어량 AG0 및 DG0에 의해 화상 신호 S0을 증폭시킨다.

제1 실시 형태에 관한 고체 촬상 장치(5)는, HDR 배율 M을 고정으로 하여, 부제어용 신호에 관한 제어량을 구함으로써, 항상 조절이 이루어진 HDR 배율 M을 적용하는 경우에 비하여, 간이한 연산 처리에 의해 AE 제어를 실시할 수 있다. 고체 촬상 장치(5)는, 장시간 노광 화상 신호와 단시간 노광 화상 신호에 관하여 간이한 연산 처리에 의해, 촬영 시의 밝기에 따른 AE 동작의 제어를 가능하게 한다.

AE 제어 회로(16)는, 연산 처리의 간이화에 의해, 회로 규모의 축소, 처리 시간의 단축을 할 수 있다. 고체 촬상 장치(5)는, HDR 합성을 실시하지 않은 경우의 회로 구성에 대하여, 부제어용 EV 산출부(32) 등의 비교적 소규모의 회로를 추가함으로써, HDR 촬영 모드에서의 AE 동작의 제어를 실현 가능하게 한다. 고체 촬상 장치(5)는, 소규모이면서 또한 간이한 회로 구성으로 할 수 있다.

또한, 본 실시 형태에서 설명하는 각 회로 구성은, 본 실시 형태에서 설명하는 기능을 실현 가능한 구성이면 되고, 적절히 변경 가능한 것으로 한다.

도 10은 제2 실시 형태에 관한 화상 처리 장치에 포함되는 AE 제어 회로의 구성을 도시하는 블록도이다. 본 실시 형태의 AE 제어 회로(50)는, 제1 실시 형태에 있어서의 고체 촬상 장치(5)(도 1 참조)에 적용 가능하다. 제1 실시 형태와 동일한 부분에는 동일한 부호를 부여하고, 중복되는 설명을 적절히 생략한다.

AE 제어 회로(50)는, 도 7에 도시하는 제어량 변환부(25) 대신에, 제어량 변환부인 제1 제어량 변환부(주제어용 제어량 변환부)(51) 및 제2 제어량 변환부(부제어용 제어량 변환부)(52)가 설치되어 있다.

제1 제어량 변환부(51)는, 주제어용 EV 산출부(31)에 의해 산출된 주제어용 EV(41)를, 각 제어량 ES1, AG1 및 DG1로 변환한다. 제2 제어량 변환부(52)는, 부제어용 EV 산출부(32)에 의해 산출된 부제어용 EV(42)를, 각 제어량 ES2, AG2 및 DG2로 변환한다.

제2 실시 형태에 관한 고체 촬상 장치(5)는, 제1 실시 형태와 마찬가지로, 소규모이면서 또한 간이한 회로 구성으로 할 수 있다. 또한, AE 제어 회로(50)는, 제1 제어량 변환부(51)에 의한 주제어용 EV(41)로부터 각 제어량으로의 변환과, 제2 제어량 변환부(52)에 의한 부제어용 EV(42)로부터 각 제어량으로의 변환을, 병행하여 실시 가능하게 한다. AE 제어 회로(50)는, 주제어용 신호 및 부제어용 신호에 관한 각 제어량을 병행하여 취득 가능하게 함으로써, AE 동작의 고속화를 도모할 수 있다.

도 11은 제3 실시 형태에 관한 화상 처리 장치에 포함되는 AE 제어 회로의 구성을 도시하는 블록도이다. 본 실시 형태의 AE 제어 회로(60)는, 제1 실시 형태에 있어서의 고체 촬상 장치(5)(도 1 참조)에 적용 가능하다. 제1 및 제2 실시 형태와 동일한 부분에는 동일한 부호를 부여하고, 중복하는 설명을 적절히 생략한다.

제1 제어량 변환부(51)는, 주제어용 EV(41)로부터 구한 제어량 ES1을, 제2 제어량 변환부(52)에 출력한다. 제어량 변환부인 제1 제어량 변환부(51) 및 제2 제어량 변환부(52)는, 주제어용 신호와 부제어용 신호에 대하여, ES에 대하여 동일한 제어량 ES1을 적용한다. 제2 제어량 변환부(52)는, 제1 제어량 변환부(51)로부터의 제어량 ES1과, 부제어용 EV 산출부(32)로부터의 부제어용 EV(42)에 따라, 각 제어량 AG2 및 DG2를 결정한다. 제1 제어량 변환부(51) 및 제2 제어량 변환부(52)는, 주제어용 신호와 부제어용 신호에 대하여, AG 및 DG 중 적어도 한 쪽에 대해서는 상이한 제어량을 설정한다.

도 1에 도시하는 타이밍 생성기(15)는, 화소 어레이(10)의 장시간 노광 화소 및 단시간 노광 화소 양쪽에 대하여, 제어량 ES1에 따른 펄스를 출력한다. AE 제어 회로(60)는, 제1 제어량 변환부(51)에 의한 주제어용 EV(41)로부터 각 제어량으로의 변환과, 제2 제어량 변환부(52)에 의한 부제어용 EV(42)로부터 각 제어량으로의 변환을, 병행하여 실시 가능하게 한다. AE 제어 회로(60)는, 주제어용 신호 및 부제어용 신호에 관한 각 제어량을 병행하여 취득 가능하게 함으로써, AE 동작의 고속화를 도모할 수 있다.

또한, AE 제어 회로(60)는, 제1 제어량 변환부(51) 및 제2 제어량 변환부(52) 대신에, 제1 실시 형태의 제어량 변환부(25)(도 7 참조)를 적용해도 좋다. 이 경우, 제어량 변환부(25)는, 주제어용 EV 산출부(31)에 의해 산출된 주제어용 EV(41)로부터 각 제어량으로의 변환과, 부제어용 EV 산출부(32)에 의해 산출된 부제어용 EV(42)로부터 각 제어량으로의 변환을, 시분할적으로 실시한다. AE 제어 회로(60)는, 주제어용 신호 및 부제어용 신호에 대하여, 각 제어량의 생성에 공통된 제어량 변환부(25)를 사용함으로써, 회로 규모의 억제가 가능하게 된다.

도 12는 AE 제어 회로에 의한 ES, AG 및 DG의 각 제어량의 산출에 대하여 설명하는 도면이다. AE 제어 회로(60)는, 장시간 노광 화상 신호 S1 및 단시간 노광 화상 신호 S2 중 주제어용 신호로서 지정된 한 쪽을 대상으로 하여 AE 동작의 제어를 실시한다. AE 제어 회로(60)는, 장시간 노광 화상 신호 S1 및 단시간 노광 화상 신호 S2 중 주제어용 신호 이외의 한 쪽인 부제어용 신호에 관한 AE 동작을, 주제어용 신호에 관한 AE 동작에 추종시킨다.

예를 들어, 장시간 노광 화상 신호 S1이 주제어용 신호로 지정되었다고 하자. 제1 제어량 변환부(51)는, 장시간 노광 화상 신호 S1을 기초로, 장시간 노광 화소에 관한 적정 노출 L1을 구한다. 제1 제어량 변환부(51)는, 적정 노출 L1에 따른 제어량, 예를 들어 ES1 및 AG1을 구한다.

AE 제어 회로(60)는, 적정 노출 L1에 HDR 배율 M을 승산함으로써, 단시간 노광 화소에 관한 적정 노출 L2를 구한다. 제2 제어량 변환부(52)는, 적정 노출 L2에 따른 제어량을 구한다. 제2 제어량 변환부(52)는, ES에 관한 제어량으로서, 장시간 노광 화상 신호 S1에 관한 제어량 ES1을 그대로 채용한다. 또한, 제2 제어량 변환부(52)는, ES 이외에 대하여, 적정 노출 L2에 따른 제어량, 예를 들어 AG2를 구한다.

도 12에 있어서, 직선 AGL은, 장시간 노광 화상 신호 S1에 관한 AG의 제어량과 조도의 관계를 표현한다. 직선 AGS는, 단시간 노광 화상 신호 S2에 관한 AG의 제어량과 조도의 관계를 표현한다. 종축 방향에 있어서의 직선 AGL 및 AGS의 간격은, HDR 배율 M에 따른 AG의 차에 상당한다.

예를 들어, 적정 노출 L2가 조도 범위 b1, 적정 노출 L1이 조도 범위 b2 또는 b3(조도 범위 b1, b2 및 b3에 대해서는, 도 6 참조)에 각각 포함되고, 적정 노출 L1 및 L2의 조도폭이 복수의 조도 범위에 걸쳐지는 경우, 장시간 노광 화소와 단시간 노광 화소에서 AE 동작이 상이하게 된다. 장시간 노광 화소와 단시간 노광 화소에 의해, ES에 대하여 상이한 제어량을 적용한 경우에, 적정 노출 L2가 고 조도측으로 되는 단시간 노광 화소에만 플리커가 발생할 수 있다. 단시간 노광 화소의 플리커는, 적정 노출 L1 및 L2의 조도폭이 클수록, 즉 HDR 배율 M이 클수록, 발생하기 쉬워진다.

제3 실시 형태의 AE 제어 회로(60)는, 장시간 노광 화소와 단시간 노광 화소에서, ES에 대하여 동일한 제어량을 적용함으로써, 단시간 노광 화소의 플리커의 발생을 억제시킨다. 본 실시 형태의 AE 제어 회로(60)는, 플리커의 억제가 요망되는 경우에 적합하다.

예를 들어, 드라이브 레코더에 탑재된 카메라 모듈(2)이, LED를 표시에 사용하는 신호기를 촬영한 경우에, LED가 점등하는 주기와 프레임 레이트의 어긋남으로부터, LED가 점등하지 않은 것으로서 화상이 기록되는 경우가 있을 수 있다. 이러한 경우에, 카메라 모듈(2)은, 본 실시 형태의 AE 제어 회로(60)의 적용에 의해 플리커를 억제함으로써, LED에 의한 신호 표시를 적확하게 기록하는 것이 가능하게 된다.

제3 실시 형태에 관한 고체 촬상 장치(5)는, 제1 실시 형태와 마찬가지로, 소규모이면서 또한 간이한 회로 구성으로 할 수 있다. 또한, AE 제어 회로(60)는, 주제어용 신호에 대하여 결정한 제어량 ES1을 그대로 부제어용 신호에 대해서도 적용함으로써, 부제어용 신호에 대하여 ES의 제어량을 별도로 산출하기 위한 연산 처리를 생략할 수 있다. 이에 의해, 고체 촬상 장치(5)는, AE 동작의 고속화를 도모할 수 있다.

본 발명의 몇개의 실시 형태를 설명했지만, 이들 실시 형태는, 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않는다. 이들 신규의 실시 형태는, 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims

제1 전하 축적 기간에 있어서의 제1 화소에 대한 입사광량에 따른 제1 화상 신호와, 상기 제1 전하 축적 기간보다 짧은 제2 전하 축적 기간에 있어서의 제2 화소에 대한 입사광량에 따른 제2 화상 신호의 합성에 의해, 합성 화상을 생성하는 하이 다이내믹 레인지 합성부와,
촬영 시의 조도에 따라 상기 합성 화상의 밝기를 조정하기 위한 밝기 조정량이 반영된 노출값을 산출하는 노출값 산출부와,
상기 노출값을, 전자 셔터 시간, 아날로그 게인 및 디지털 게인에 관한 각 제어량으로 변환하는 제어량 변환부를 갖고,
상기 노출값 산출부는,
상기 제1 화상 신호 및 상기 제2 화상 신호 중 주제어용 신호로서 지정된 한 쪽을 기초로, 상기 주제어용 신호에 관한 상기 노출값인 주제어용 노출값을 산출하는 주제어용 노출값 산출부와,
상기 제1 화상 신호 및 상기 제2 화상 신호 중 상기 주제어용 신호 이외의 한 쪽이며 상기 주제어용 신호에 밝기 조정을 추종시키는 부제어용 신호에 관한 상기 노출값인 부제어용 노출값을 산출하는 부제어용 노출값 산출부를 포함하고,
상기 부제어용 노출값 산출부는, 상기 주제어용 노출값 산출부에 의해 산출된 상기 주제어용 노출값에, 상기 제1 전하 축적 기간 및 상기 제2 전하 축적 기간의 비로서 미리 설정된 하이 다이내믹 레인지 배율을 승산하여, 상기 부제어용 노출값으로 하는, 화상 처리 장치.
제1항에 있어서, 상기 제어량 변환부는, 상기 주제어용 노출값 산출부에 의해 산출된 상기 주제어용 노출값으로부터 상기 각 제어량으로의 변환과, 상기 부제어용 노출값 산출부에 의해 산출된 상기 부제어용 노출값으로부터 상기 각 제어량으로의 변환을, 시분할적으로 실시하는, 화상 처리 장치.
제1항에 있어서, 상기 제어량 변환부는, 주제어용 제어량 변환부와, 부제어용 제어량 변환부를 갖고,
상기 주제어용 제어량 변환부는, 상기 주제어용 노출값 산출부에 의해 산출된 상기 주제어용 노출값으로부터 상기 각 제어량으로의 변환을 실시하고,
상기 부제어용 제어량 변환부는, 상기 부제어용 노출값 산출부에 의해 산출된 상기 부제어용 노출값으로부터 상기 각 제어량으로의 변환을 실시하는, 화상 처리 장치.
제1항에 있어서, 상기 제어량 변환부는, 상기 주제어용 신호 및 상기 부제어용 신호에 대하여, 상기 전자 셔터 시간에 대하여 동일한 제어량을 설정하고, 적어도 상기 아날로그 게인에 대해서는 서로 상이한 제어량을 설정하는, 화상 처리 장치.
제1항에 있어서, 상기 하이 다이내믹 레인지 배율을 고정으로 하는, 화상 처리 장치.
제1항에 있어서, 상기 주제어용 노출값 산출부는, 촬영 감도에 따른 조도 범위에, 상기 부제어용 노출값 산출부에 의해 산출되는 상기 부제어용 노출값을 포함시키기 위해, 상기 주제어용 노출값에 제한을 설정하는, 화상 처리 장치.
제1항에 있어서, 상기 주제어용 신호의 적분 결과로부터 플리커 주기를 추정하는 플리커 주기 추정부를 더 갖고,
상기 제어량 변환부는, 상기 플리커 주기 추정부에 있어서의 추정 결과에 따라, 상기 전자 셔터 시간에 관한 제어량을 결정하는, 화상 처리 장치.
제1항에 있어서, 하이 다이내믹 레인지 합성을 실시하는 하이 다이내믹 레인지 촬영 모드에서, 상기 제어량 변환부는, 상기 제1 화상 신호 및 상기 제2 화상 신호에 관한 상기 각 제어량을 구하고,
상기 하이 다이내믹 레인지 합성을 실시하지 않는 통상 촬영 모드에서, 상기 제어량 변환부는, 각 화소에 대하여 동일한 전하 축적 시간을 적용하여 얻어진 화상 신호에 관한 상기 각 제어량을 구하는, 화상 처리 장치.
제1 전하 축적 기간에 있어서의 제1 화소에 대한 입사광량에 따른 제1 화상 신호와, 상기 제1 전하 축적 기간보다 짧은 제2 전하 축적 기간에 있어서의 제2 화소에 대한 입사광량에 따른 제2 화상 신호의 합성에 의해, 합성 화상을 생성하고,
촬영 시의 조도에 따라 상기 합성 화상의 밝기를 조정하기 위한 밝기 조정량이 반영된 노출값을 산출하고,
상기 노출값을, 전자 셔터 시간, 아날로그 게인 및 디지털 게인에 관한 각 제어량으로 변환하는 것을 포함하고,
상기 제1 화상 신호 및 상기 제2 화상 신호 중 한 쪽을, 주제어용 신호로서 지정하고,
상기 제1 화상 신호 및 상기 제2 화상 신호 중 상기 주제어용 신호 이외의 한 쪽을, 상기 주제어용 신호에 밝기 조정을 추종시키는 부제어용 신호로서,
상기 노출값의 산출은,
상기 주제어용 신호에 관한 상기 노출값인 주제어용 노출값의 산출과, 상기 부제어용 신호에 관한 상기 노출값인 부제어용 노출값의 산출을 포함하고,
상기 제1 전하 축적 기간 및 상기 제2 전하 축적 기간의 비로서 미리 설정된 하이 다이내믹 레인지 배율을 상기 주제어용 노출값에 승산한 결과를, 상기 부제어용 노출값으로 하는, 화상 처리 방법.
제9항에 있어서, 상기 주제어용 노출값으로부터 상기 각 제어량으로의 변환과, 상기 부제어용 노출값으로부터 상기 각 제어량으로의 변환을, 시분할적으로 실시하는, 화상 처리 방법.
제9항에 있어서, 상기 주제어용 노출값으로부터 상기 각 제어량으로의 변환과, 상기 부제어용 노출값으로부터 상기 각 제어량으로의 변환을, 병행하여 실시하는, 화상 처리 방법.
제9항에 있어서, 상기 주제어용 신호 및 상기 부제어용 신호에 대하여, 상기 전자 셔터 시간에 대하여 동일한 제어량을 설정하고, 적어도 상기 아날로그 게인에 대해서는 서로 상이한 제어량을 설정하는, 화상 처리 방법.
제9항에 있어서, 상기 하이 다이내믹 레인지 배율을 고정으로 하는, 화상 처리 방법.
제9항에 있어서, 촬영 감도에 따른 조도 범위에 상기 부제어용 노출값을 포함시키기 위해, 상기 주제어용 노출값에 제한을 설정하는, 화상 처리 방법.
제9항에 있어서, 상기 주제어용 신호의 적분 결과로부터 플리커 주기를 추정하는 것을 더 포함하고,
상기 플리커 주기의 추정 결과에 따라, 상기 전자 셔터 시간에 관한 제어량을 결정하는, 화상 처리 방법.
제9항에 있어서, 하이 다이내믹 레인지 합성을 실시하는 하이 다이내믹 레인지 촬영 모드에서, 상기 제1 화상 신호 및 상기 제2 화상 신호에 관한 상기 각 제어량을 구하고,
상기 하이 다이내믹 레인지 합성을 실시하지 않는 통상 촬영 모드에서, 각 화소에 대하여 동일한 전하 축적 시간을 적용하여 얻어진 화상 신호에 관한 상기 각 제어량을 구하는, 화상 처리 방법.
제1 전하 축적 기간에 있어서의 입사광량을 검출하는 제1 화소와, 상기 제1 전하 축적 기간보다 짧은 제2 전하 축적 기간에 있어서의 입사광량을 검출하는 제2 화소를 포함하는 화소 어레이와,
상기 제1 화소가 상기 입사광량에 따라 출력하는 제1 화상 신호와, 상기 제2 화소가 상기 입사광량에 따라 출력하는 제2 화상 신호의 합성에 의해, 합성 화상을 생성하는 하이 다이내믹 레인지 합성부와,
촬영 시의 조도에 따라 상기 합성 화상의 밝기를 조정하기 위한 밝기 조정량이 반영된 노출값을 산출하는 노출값 산출부와,
상기 노출값을, 전자 셔터 시간, 아날로그 게인 및 디지털 게인에 관한 각 제어량으로 변환하는 제어량 변환부를 갖고,
상기 노출값 산출부는,
상기 제1 화상 신호 및 상기 제2 화상 신호 중 주제어용 신호로서 지정된 한 쪽을 기초로, 상기 주제어용 신호에 관한 상기 노출값인 주제어용 노출값을 산출하는 주제어용 노출값 산출부와,
상기 제1 화상 신호 및 상기 제2 화상 신호 중 상기 주제어용 신호 이외의 한 쪽이며 상기 주제어용 신호에 밝기 조정을 추종시키는 부제어용 신호에 관한 상기 노출값인 부제어용 노출값을 산출하는 부제어용 노출값 산출부를 포함하고,
상기 부제어용 노출값 산출부는, 상기 주제어용 노출값 산출부에 의해 산출된 상기 주제어용 노출값에, 상기 제1 전하 축적 기간 및 상기 제2 전하 축적 기간의 비로서 미리 설정된 하이 다이내믹 레인지 배율을 승산하여, 상기 부제어용 노출값으로 하는, 고체 촬상 장치.
제17항에 있어서, 상기 고체 촬상 장치는, 하이 다이내믹 레인지 합성을 실시하는 하이 다이내믹 레인지 촬영 모드와, 상기 하이 다이내믹 레인지 합성을 실시하지 않는 통상 촬영 모드로 전환 가능하게 되고,
상기 제어량 변환부는,
상기 하이 다이내믹 레인지 촬영 모드에서, 상기 제1 화상 신호 및 상기 제2 화상 신호에 관한 상기 각 제어량을 구하고,
상기 통상 촬영 모드에서, 각 화소에 대하여 동일한 전하 축적 시간을 적용하여 얻어진 화상 신호에 관한 상기 각 제어량을 구하는, 고체 촬상 장치.
제17항에 있어서, 상기 제어량 변환부는, 상기 주제어용 노출값 산출부에 의해 산출된 상기 주제어용 노출값으로부터 상기 각 제어량으로의 변환과, 상기 부제어용 노출값 산출부에 의해 산출된 상기 부제어용 노출값으로부터 상기 각 제어량으로의 변환을, 시분할적으로 실시하는, 고체 촬상 장치.
제17항에 있어서, 상기 제어량 변환부는, 상기 주제어용 신호 및 상기 부제어용 신호에 대하여, 상기 전자 셔터 시간에 대하여 동일한 제어량을 설정하고, 적어도 상기 아날로그 게인에 대해서는 서로 상이한 제어량을 설정하는, 고체 촬상 장치.