KR20210148054A

KR20210148054A - 촬상 소자 및 촬상 장치

Info

Publication number: KR20210148054A
Application number: KR1020210165053A
Authority: KR
Inventors: 신지 히사모토
Original assignee: 캐논 가부시끼가이샤
Priority date: 2017-02-10
Filing date: 2021-11-26
Publication date: 2021-12-07
Also published as: CN108419000A; CN108419000B9; KR102333346B1; JP6580111B2; JP2018129789A; KR20200067253A; CN108419000B; JP2019213216A; KR102413830B1

Abstract

복수의 화소부를 갖는 촬상부에 의해 취득된 화상 신호를 출력하는 촬상 소자는, 상기 촬상부의 출력 신호에 대한 게인을 설정하는 게인부와, 상기 화소부의 축적 시간을 제어하는 제어부와, 목표 휘도값 및 노출의 제어 정보를 수신하고, 상기 화소부로부터 판독되는 화상 신호에 의해 휘도값을 검출해서 게인 및 축적 시간을 산출하고, 상기 게인부 또는 상기 제어부에 의해 상기 촬상부의 노출 제어를 행하는 연산부를 구비한다.

Description

촬상 소자 및 촬상 장치{IMAGING ELEMENT AND IMAGING APPARATUS}

본 발명은, 노출 연산 기능을 갖는 촬상 소자 및 이것을 사용한 촬상 장치에 관한 것이다.

렌즈 교환식의 카메라 등의 촬상 장치에는, 촬상 화상을 순차적으로 표시시키는, 소위 라이브 뷰(live view) 기능을 갖는 촬상 장치가 있다. 촬상 장치의 본체부에 동화상 촬영용의 교환 렌즈를 장착해서 사용할 경우, 동화상의 촬영 시에 많은 단계 수로 매끄럽게 조리개를 구동 가능하다. 또한, 촬상 장치의 본체부에 정지 화상 촬영용의 교환 렌즈를 장착해서 사용할 경우, 더 적은 단계 수로 조리개의 구동제어가 행해진다. 이 경우, 조리개의 구동 제어의 단계 수가 적기 때문에, 구동제어에 시간이 걸리면, 노출 변화에 대하여 조속히 대응할 수 없을 가능성이 있다. 촬상 소자의 전자 셔터와 게인의 설정이 행해지는 타이밍과 다른 타이밍에서 조리개의 제어가 행해진다. 이것은 프레임 간의 노출 차에 의한 화상의 플릭커링(flickering)이 발생하는 원인이 된다. 일본국 특개 2016-184874호 공보에는, 촬상 소자가 생성하는 화소 신호를 증폭하고, 조리개의 개구와 증폭률을 변화시켜서 화상 데이터의 노출량을 조정하는 촬상 장치가 개시되어 있다.

또한, 1000fps(frames per second)의 하이 프레임 레이트(high frame rate)를 갖는 동화상 촬영 기능을 갖는 디지털 카메라가 존재한다. 디지털 카메라의 고기능화에 의해 촬상 장치의 연산 처리부(CPU)의 부하율이나 메모리 대역의 증가에 따라, CPU에 의한 노출 연산 처리가 프레임 간의 시간 내에서 완료되지 않게 되는 것이 염려된다. 노출 연산 처리에 시간이 걸리면, 노출 변화에의 추종이 더 늦어지기 때문에, 화상의 플릭커링의 원인이 되는 노출 상태의 프레임 수가 증가할 가능성이 있다. 일본국 특개 2009-296353호 공보에서는, 촬상 소자에 있어서 컬러 필터의 색마다 화상 정보를 적산하고, 적산값을 CPU에 전송하는 처리가 개시되어 있다. 화상 데이터의 전송 처리에 걸리는 시간을 단축함으로써, CPU의 노출 제어 처리를 고속화할 수 있다.

일본국 특개 2016-184874호 공보에서는, 촬상 소자로부터 판독한 화상정보로부터 피사체 휘도를 산출하고, 산출 결과에 근거하여 조리개의 변화에 따라 게인을 제어한다. 그러나, 정지 화상 촬영 렌즈에 대하여 조리개가 급격하게 변화하는 경우에는, 화상 정보의 판독 시간과 조리개가 변화되는 타이밍이 맞지 않아, 게인 제어를 따라갈 수 없어 플릭커링이 발생할 가능성이 있다.

일본국 특개 2009-296353호에서는, 촬상 소자에 의해 촬영된 화상 정보를 적산해서 외부에 출력하고, 촬상 소자와 CPU 사이의 전송 데이터량을 줄임으로써 노출 제어를 고속화하고 있다. 그러나, CPU가 적산값을 수신한 후에는, 프로그램 선도에 따라 전자셔터와 게인의 연산이 필요하고, 하이 프레임 레이트를 갖는 동화상과 같은 고속구동이 필요한 때에는 노출 연산 처리의 지연이 염려된다. 또한, 조리개의 변화에 대응하고 있지 않기 때문에, 화상의 플릭커링이 발생할 수도 있다.

본 발명은, 노출 제어를 행하는 촬상 소자, 및 해당 촬상 소자에 의해 연산 처리부의 노출 제어 처리를 경감 가능한 촬상 장치를 제공한다.

본 발명의 일 국면에 의하면, 복수의 화소부를 갖는 촬상부에 의해 취득된 화상 신호를 출력하는 화상처리장치가 제공되고, 상기 화상처리장치는, 상기 촬상부의 출력 신호에 대한 게인을 설정하는 게인부와, 상기 화소부의 축적 시간을 제어하는 제어부와, 목표 휘도값 및 노출의 제어 정보를 수신하고, 상기 화소부로부터 판독되는 화상 신호를 이용해서 휘도값을 검출해서 게인 및 축적 시간을 산출하며, 상기 게인부 또는 상기 제어부에 의해 상기 촬상부의 노출 제어를 행하는 연산부를 구비한다.

본 발명에 따르면, 노출 제어를 행하는 촬상 소자에 의해 연산 처리부의 노출 제어 처리량을 경감할 수 있다.

본 발명의 다른 특징은 (첨부된 도면을 참조하여) 이하의 예시적인 실시 예의 설명으로부터 명백해질 것이다.

도 1은, 본 발명의 실시 예에 따른 촬상 소자의 개략 구조도다.
도 2a 및 2b는, 본 발명의 실시 예에 따른 촬상 소자의 구성을 모식적으로 도시한 도면이다.
도 3은, 본 발명의 실시 예에 따른 촬상 소자의 단면도다.
도 4는, 본 발명의 실시 예에 따른 촬상 시스템의 개요를 나타내는 블록도다.
도 5는, 본 발명의 제1 실시 예의 처리를 설명하는 타이밍 차트다.
도 6은, 본 발명의 제1 실시 예에 따른 흐름도다.
도 7은, 본 발명의 제2 실시 예에 따른 흐름도다.
도 8은, 비교예의 처리를 설명하는 타이밍 도다.
도 9는, 본 발명의 제4 실시 예에 따른 흐름도다.
도 10은, 본 발명의 제4 실시 예의 처리를 설명하는 타이밍 차트다.
도 11은, 촬상 시스템의 처리를 설명하는 흐름도다.

이하에서 본 발명의 실시 예로서, 고기능화에 따른 촬상 장치의 연산 처리부의 처리 부하량과 메모리 대역의 증가에 대응 가능한 촬상 소자 및 촬상 장치를 상세하게 설명한다. 촬상 소자에 있어서의 화소 수의 증가 등에 의한 처리 부하량과 메모리 대역의 증가에 의해, 노출 연산 처리에 시간이 걸리면 노출 변화에의 추종이 더 늦어지기 때문에, 화상의 플릭커링의 원인이 된다. 각 실시 예에서는 연산 처리부의 노출 제어 처리량을 경감하고, 플릭커링의 원인이 될 수 있는 조리개의 제어에 의한 노출의 변화를 억제하는 것이 가능하다.

[제1 실시 예]

도 1은, 본 실시 예에 따른 촬상 소자의 구성 예를 나타낸 개략 블럭도다. 촬상 소자는 다수의 화소부(101)를 2차원 어레이 형상으로 배치한 구성을 갖는다. 예를 들면, 적층형의 촬상 소자(506)는, 제1 칩(촬상층)(10)과 제2 칩(회로층)(11)을 갖는다. 촬상 신호 처리 회로(507)는 촬상 소자(506)의 출력 신호를 처리한다. 전체 제어 연산부(509)는, 촬상 소자(506) 및 촬상 장치 내의 다른 구성부를 제어하는 코어(core)부다. 본 실시 예에 있어서, 촬상 신호 처리 회로(507)와 전체 제어 연산부(509)는, 별도의 구성으로서 설치되지만 본 발명은 이것에 한정되는 것은 아니며, 유닛들은 CPU를 포함하는 같은 회로에 포함되어도 된다.

각 화소부(101)에 대하여, 수직 출력선(102), 전송 신호선(103), 리셋 신호선(104), 행 선택 신호선(105)이 각각 접속되어 있다. 게인 앰프(110)는 화소부(101)에 접속되어, 후술하는 소자내 연산부(118)로부터의 이득 제어신호(Sg로 기재한다)에 따라 게인 설정이 가능하다. 컬럼 ADC 블록(111)은, 화소부(101)에 접속된 수직 출력선(102)으로부터 게인 앰프(110)를 통해서 출력되는 신호에 대하여, A(아날로그)/D(디지털) 변환을 행해서 얻은 신호를 출력한다. 행 주사 회로(112)는 전송 신호선(103), 리셋 신호선(104), 행 선택 신호선(105)에 의해 화소부(101)에 접속된다. 복수의 열 주사 회로(113)는, 수평 신호선 115-a, 115-b에 의해, 복수의 컬럼 ADC 블록(111)에 접속된다. 타이밍 제어회로(114)는, 컬럼 ADC 블록(111) 및 열 주사 회로(113)에 각각 타이밍 제어신호를 출력해서 제어를 행한다. 이때, 본 실시 예에 있어서 게인 앰프(110)는 각 화소부(101)로부터의 화상 신호를 증폭하는 게인부에 해당하지만, 화상 신호의 증폭 유닛으로서는 이것에 한정되는 것은 아니다. 예를 들면, 디지털 변환에 대해 컬럼 ADC 블록(111)에 의해 사용되는 변환 게인을 이용해서 신호 증폭을 행해도 되고, 디지털 변환 후에 미도시의 디지털 게인 회로를 이용해서 신호 증폭을 행해도 된다.

전환부(116)는, 수평 신호선 115-a와 115-b으로부터의 각 신호를 전환하여, 프레임 메모리(117)와 소자내 연산부(118)에 출력한다. 패러랠·시리얼 변환부(이하, P/S 변환부로 표기한다)(119)는 소자내 연산부(118)의 출력을 취득하고, 패러랠·시리얼 변환을 행한다. P/S 변환부(119)는 변환한 신호를 촬상 신호 처리 회로(507)에 출력한다.

촬상 소자(506)는, 제2 칩(11) 위에 제1 칩(10)이 적층된 구조다. 제1 칩(10)은, 매트릭스 형상으로 배열된 복수의 화소부(101)를 가지며, 빛의 입사측에 배치된다. 즉, 제1 칩(10)은 피사체로부터의 빛을 수광하는 입사측에 위치되어 있다. 각 화소부(101)는 수평방향(행방향)에 있어서 전송 신호선(103), 리셋 신호선(104), 및 행 선택 신호선(105)에 접속되고, 수직방향(열방향)에 있어서 수직 출력선(102)에 접속된다. 이때, 수직 출력선(102)은 각각, 판독 행 단위에 따라 접속처가 다르다.

제2 칩(11)에는, 게인 앰프(110), 컬럼 ADC 블록(111), 행 주사 회로(112), 열 주사 회로(113), 타이밍 제어회로(114) 등의 화소 구동회로와, 프레임 메모리(117), 소자내 연산부(118), 및 P/S변환부(119)이 형성되어 있다.

상술한 바와 같이, 촬상 소자(506)는, 제1 칩(10)에 있어서 화소부(101)가 형성되고, 제2 칩(11)에 있어서 화소 구동회로와 메모리 회로와 연산 회로 등이 형성되어 있다. 촬상 소자(506)의 촬상층과 회로층에 대하여 제조 프로세스를 나눌 수 있으므로, 회로층에 있어서의 배선의 세선화, 고밀도화에 의한 고속화, 소형화, 및 고기능화를 도모할 수 있다. 이때, 제2 칩(11)의 일부의 회로를 제1 칩에 설치해도 된다는 점에 유념한다.

전환부(116)는, 수평 신호선 115-a와 115-b로부터 출력되는 채널을 갖는 화상 신호를, 순차적으로 프레임 메모리(117)에 선택적으로 출력한다. 프레임 메모리(117)는, 출력된 화상 신호를 일시적으로 기억한다. 소자내 연산부(118)는, 촬상 소자(506) 내에서의 노출 제어의 연산 등을 행하지만, 그것의 상세한 것은 후술한다. P/S 변환부(119)는, 소자내 연산부(118)에 의해 처리된 화상 정보에 대하여, 타이밍 제어회로(114)에 의한 타이밍 제어신호에 따라 변환을 행하고, 촬상 소자(506)의 외부에 위치된 촬상 신호 처리 회로(507)에 변환된 정보를 출력한다. 노광 제어부(120)는, 소자내 연산부(118)의 제어 명령에 따라 화소부(101)의 노광 제어를 행한다.

도 2는, 본 실시 예에 따른 촬상 소자(506)의 외형 구성을 모식적으로 도시한 도면이다. 도 2a는 촬상 소자(506)를 빛의 입사측 위에서 비스듬히 보았을 경우의 사시도다. 도 2b는 촬상 소자(506)의 개략적인 단면도다. 제1 칩(10)과 제2 칩(11)은 각각 복수의 마이크로패드(micropads)(302)를 가지고 있고, 복수의 마이크로범프(microbumps)(301)를 통해서 전기적으로 접속함으로써 일체화된다.

도 3은, 촬상 소자(506)의 단면구조의 상세를 도시한 도면이다. 도 3에서는, 하측에 제1 칩(10)을 나타내고, 상측에 제2 칩(11)을 나타낸다. 즉, 촬상층(401)이 제1 칩(10)에 해당하고, 회로층(402)이 제2 칩(11)에 해당한다.

촬상층(401)은, Si(실리콘) 기판(403)에 배선층(404)이 형성된 구성을 갖는다. Si 기판(403)에는, 포토다이오드(이하, PD라고 표기한다)(202)로서의 n 확산영역(407)이 형성되어, 이면 조사형의 구조를 취하고 있다. PD(202)의 표면부, 즉 PD와 배선층(404)과의 경계부에는 p+ 확산영역(408)이 형성되어 있다. Si 기판(403)의 표면부에는, 플로팅 디퓨전(floating diffusion)(FD)의 n+ 확산 영역(409)과, 스위치용 트랜지스터의 n+ 확산영역(410)이 복수 형성되어 있다.

배선층(404)에는, SiO₂(이산화규소) 등으로 구성된 절연층 내부에, 각 트랜지스터의 게이트 배선(411)과, 신호 전파용 배선(412)이 형성되어 있다. 배선층(404)의 표면부에는, Cu 등으로 이루어진 마이크로패드(413)가 형성되어 있다. n+ 확산영역 409, n+ 확산영역 410과 트랜지스터의 게이트 배선(411)으로 전송 트랜지스터, 리셋 트랜지스터, 증폭 트랜지스터, 선택 트랜지스터가 구성된다. 배선층(404)에는, n+ 확산영역 410을 마이크로패드(413)와 접속하기 위한 비아(VIA)(414)가 형성되어 있다.

회로층(402)은, Si 기판(405)에 배선층(406)이 형성된 구성을 갖는다. Si 기판(405)의 표면부에는 트랜지스터의 확산영역(416)이 복수 형성되어 있다. 배선층(406)에는, SiO₂등으로 형성된 절연층 내부에, 각 트랜지스터의 게이트 배선(417), 신호 전파용 배선(418)이 형성되어 있다. 배선층(406)의 표면부에는 Cu 등으로 형성된 마이크로패드(419)가 형성되어 있다. 마이크로패드 419는 마이크로범프(415)를 통해서 마이크로패드 413과 접속된다. 배선층(406)에는, 확산영역(416) 등을 마이크로패드(419)와 접속하기 위한 비아(420)가 형성되어 있다. 트랜지스터 확산영역(416)과 트랜지스터 게이트 배선(417), 신호 전파용 배선(418) 등으로 각종의 회로가 구성된다. 그 구성소자들의 상세에 관해서는 본 발명과 직접 관련된 본질적인 사항이 아니기 때문에, 설명을 생략한다. 도 3에서는, 촬상층(401)과 회로층(402)의 접속을, 적층 접속 단자로서 기능하는 마이크로범프(415)를 사용해서 행하는 구성 예를 나타내었지만, 마이크로범프를 이용하지 않고 촬상층(401)과 회로층(402)을 직접적으로 접속하는 실시 예도 가능하다.

다음에, 도 4을 참조하여, 본 실시 예의 촬상 시스템을 설명한다. 본 실시 예의 촬상 시스템은, 일례로서 동화상 또는 정지 화상을 취득하는 디지털 카메라이지만, 본 발명은 이것에 한정되는 것이 아니다. 예를 들면, 본 발명은 감시 카메라나 스마트 폰 등의 휴대 기기나 차량 탑재 카메라 등의 이동체에도 적용 가능하다. 도 4는, 촬상 소자(506)를 사용한 촬상 장치의 개요를 나타내는 블럭도다. 렌즈부(501)는, 촬상 광학계를 구성하는 복수의 렌즈를 구비한다. 렌즈부(501)는 카메라 본체부에 장착 가능한 교환 렌즈, 또한 카메라 본체부와 일체화된 렌즈 유닛이다. 렌즈 구동부(502)는, 촬상 광학계에 포함된 가동 렌즈(줌 렌즈, 포커스 렌즈 등)를 구동한다. 메카니컬 셔터(mechanical shutter)(도면에는 메커 셔터로 표기한다)(503)는 노광 시간의 제어에 사용되고, 조리개(504)는 노광량의 제어에 사용된다. 메카니컬 셔터/조리개 구동부(도면에는 셔터/조리개 구동부라고 표기한다)(505)는, 메카니컬 셔터(503) 및 조리개(504)를 구동한다. 이때, 노광량을 제어하기 위한 유닛으로서 ND 필터 등의 광학 필터를 설치해도 된다는 점에 유념한다.

촬상 소자(506)는, 촬상 광학계를 통해 결상되는 피사체로부터의 빛을 수광해서 광전 변환을 행하여, 전기신호를 출력한다. 촬상 신호 처리 회로(507)는 촬상 소자(506)의 출력 신호를 처리하고, 처리 후의 화상 신호를 출력한다. 제1 메모리부(도면에는 메모리부 I로 표기한다)(508)는, 촬상 신호 처리 회로(507)가 처리한 화상 신호 등을 기억한다.

전체 제어 연산부(509)는 촬상 시스템 전체의 제어를 주관하는 코어부이며, CPU(central processing unit)를 구비한다. CPU는 제2 메모리부(도면에는 메모리부 II로 표기한다)(514)로부터 판독한 프로그램을 실행함으로써, 각 부의 동작을 제어한다. 제2 메모리부(514)는 CPU의 연산 결과와 유저 조작에 의해 촬상 장치에 설정된 카메라 정보 등을 기억한다. 기록 매체 제어 인터페이스(I/F)부(510)는, 전체 제어 연산부(509)의 제어 명령에 따라, 화상 신호 등을 기록 매체(512)에 기록하고, 또한 기록 매체(512)로부터 정보를 판독하는 처리를 행한다. 기록 매체(512)는 촬상 장치의 본체부에 착탈 가능하다. 표시부(511)는 액정 표시 패널 등의 표시 디바이스를 구비하고, 전체 제어 연산부(509)의 제어 명령에 따라 화상 데이터 등을 화면에 표시한다. 외부 인터페이스(I/F)부(513)는, 컴퓨터 등의 외부장치와의 사이에서 정보를 서로 주고받는 통신 처리부다. 조작부(515)는 스위치나 터치 패널 등의 입력 디바이스를 구비하고, 유저의 조작 지시를 접수해서, 조작 지시 신호를 전체 제어 연산부(509)에 출력한다. 또한, 전체 제어 연산부(509)는 촬상 소자(506)에 대하여, 도 1에서 나타낸 촬상 소자(506)의 각 구성요소를 제어하기 위한 제어신호를 출력해서 제어를 행한다. 제어신호에는, 촬상 동기신호, 구동 모드 설정, 노출 설정 정보 등이 포함된다.

렌즈부(501)를 통과한 피사체로부터의 빛은 조리개(504)에서 적절한 광량으로 조정되고, 촬상 소자(506)의 촬상면 위에 결상된다. 촬상 소자(506)의 화소부(101)를 구성하는 광전 변환부는 피사체의 광학상에 대하여 광전 변환을 행하여, 전기신호를 출력한다. 전기신호는 게인 제어가 더 행해지고, A/D 변환에 의해 아날로그 신호로부터 디지털 신호로 변환된 후에 R, Gr, Gb, B의 신호로서 받아들여져, 촬상 신호 처리 회로(507)에 보내진다. 촬상 신호 처리 회로(507)는, 노이즈를 저감하는 로우패스 필터링 처리, 셰이딩 보정처리, 또는 화이트 밸런스 처리 등의 각종의 신호 처리를 행하고, 각종의 보정 및 화상 신호의 압축 등을 더 행한다.

렌즈 구동부(502)는 줌 구동 및 포커스 구동 등 촬상 중의 렌즈부(501)를 제어한다. 메카니컬 셔터(503)와 조리개(504)는 각각, 전체 제어 연산부(509)의 제어 명령에 따라 메카니컬 셔터/조리개 구동부(505)에 의해 구동된다. 제1 메모리부(508)는 촬상 후의 화상 신호를 일시적으로 기억한다. 기록매체 제어 I/F부(510)는, 기록 매체(512)에 화상 신호를 기록하는 처리를 행한다. 표시부(511)는 촬상된 화상을 화면에 표시한다.

여기에서, 도 8의 비교 예를 참조하여, 조리개 구동과 노출 제어에 의한, 플릭커링의 발생에 대해 설명한다. 도 8은 비교 예의 노출 제어의 메카니즘을 나타낸 타이밍 차트다. 촬상 동기신호(901)는, 촬상 소자(506)에 있어서의 축적이나 판독 등의 설정의 타이밍과, 촬상 소자(506)로부터 전송되는 화상정보의 촬상 신호 처리 회로(507)에의 입력 타이밍을 제어하기 위해서 사용된다. 촬상 소자(506)의 축적과 판독의 타이밍 902, 903, 904을 예시하고, 그 동작들을 설정하기 위한 타이밍 905, 906, 907을 센서 설정으로 각각 나타낸다.

게인은, 촬상 소자(506)에서 각 프레임에 대해서 설정되는 게인을 표시한다. 소자내 연산부(118)의 이득 제어신호는 게인 앰프(110)에 대하여 게인 설정을 행한다. 게인 908은 "x1", 게인 909은 "x2", 게인 910은 "x4"이다. x2는 x1에 대하여 1단계 게인이 높은 것을 나타낸다. 축적 시간(911)은 촬상 소자(506)에 의해 각 프레임에 대해서 설정되고, 여기에서는 축적 시간을 "고정"으로 한다. 그 아래에 프레임 번호를 나타낸다. 소자내 처리에서는, 촬상 소자(506) 내에서 행해진 처리에 있어서, 전체 제어 연산부(509)로부터 정보를 수신하는 타이밍 912, 913, 914를 나타낸다. 엔진내 처리에는, 전체 제어 연산부(509) 내부에서 행해진 처리에 대해서, 노출 연산 처리의 타이밍 915, 916, 917을 나타낸다. 여기에서는, 2프레임에 1회의 비율로 전체 제어 연산부(509)가 노출 연산 처리를 행하는 것으로 하고, 연산 결과를 촬상 소자(506)가 다음의 프레임에서 수신하는 것을 나타낸다. 조리개 제어에서는, 촬상 장치에 장착되어 있는 렌즈 장치의 조리개 제어의 변화(918)를 그래프 선으로 표시하고 있다. 그래프는 1프레임마다 1단계, 2프레임에 걸쳐 조리개를 2단계 좁히는 구동이 행해지는 것을 나타낸다. 노출에 관해서는, "적정"을 적정 노출 상태로 하고, "-1"을 1단계의 노출 언더 상태로 하며 "-2"을 2단계의 노출 언더 상태로 하여, 노출 상태의 변화를 예시한다. 기간(919)은, "적정"으로부터 "-1"로, 더 나아가서 "-2"로 노출 상태가 변화된 후, "-1"로 돌아가는 경우의 기간을 나타낸다.

다음에, 제어의 흐름에 대해 설명한다. 전체 제어 연산부(509)는, 노출 설정, 프로그램 모드, 측광 모드, 피사체의 상태 등에 근거해서 목표 휘도값을 결정하고, 제2 메모리부(514)에 그 값을 유지한다. 또한, 직전에 촬상 소자(506)로부터 판독된 화상 정보에 근거하여 피사체의 휘도값이 산출된다. 전체 제어 연산부(509)는 노출 연산을 타이밍 915에서 행하고, 설정할 축적 시간(911)과 게인 908을 결정해서 설정용 데이터를 촬상 소자(506)에 전송한다. 촬상 소자(506)는 1프레임분의 시간만큼 늦은 타이밍 912에서 수신한 정보를, 센서 설정의 타이밍 905에서 설정한다. 이것에 의해, 설정이 다음의 프레임의 축적 시간과 판독 902에 반영된다. 판독된 화상 정보는 프레임 번호 3의 화상 정보로서 촬상 신호 처리 회로(507)에 전송된다. 상술한 바와 같이, 노출 연산으로부터 화상 정보의 판독까지의 기간 중에는 적어도 수 프레임에 해당하는 지연시간이 발생한다. 조리개 제어에서는, 해당 제어에 의해 노출이 변화된 후의 화상 정보를 사용하여 전체 제어 연산부(509)가 노출 연산을 행하게 된다. 조리개 제어의 변화를 추종하도록 촬상 소자(506)의 설정이 행해지기 때문에, 추종을 끝내고 노출 상태가 안정될 때까지 시간이 걸린다. 정지 화상용 촬영 렌즈와 같이 조리개(504)가 단시간에 크게 움직일 경우, 예를 들면, 도 8의 기간(919)에 있어서 노출 상태가 급변하면, 화상에 플릭커링이 발생할 가능성이 있다. 특히 판독되는 화소수가 증가하는 중에 전체 제어 연산부(509)가 행하는 연산 처리 부하가 증가하고 있어, 노출 연산 결과를 촬상 소자의 제어에 반영시키기 전에 타임 래그(time lag)가 발생해 버린다. 또한, 프레임 레이트도 증가했을 경우에 연산 처리를 동일 시간 내에서 처리했더라도, 프레임 단위로 처리를 수행했을 경우에 지연 프레임 수가 증가하게 된다. 따라서, 고프레임 레이트에서 취득한 동화상을 천천히 재생할 경우 등에 있어서, 노출의 추종이 충분히 수행되지 않는 기간이 현저하게 증가해 버리게 된다.

도 5 및 도 6을 참조하여, 본 실시 예에 따른 조리개 제어를 이용한 노출 변화를 억제하는 제어에 대해 설명한다. 도 5는 본 실시 예에 따른 노출 제어의 메카니즘을 나타낸 타이밍 차트다. 도 6은 본 실시 예의 촬상 시스템의 처리를 설명하는 흐름도다.

도 5는, 촬상 소자(506)에 대한 촬상 동기신호(201), 축적과 판독의 타이밍 202 내지 204, 설정 타이밍 205 내지 207, 및 게인 제어의 타이밍 208 내지 210을 나타낸다. 또한, 축적 시간의 설정(211), 프레임 번호, 및 조리개 제어 변화(217)를 나타내지만, 도 8과 같기 때문에, 상세한 설명은 생략한다. 도 8과의 차이점은, 촬상 소자 내에서 실행되는 센서내 처리다. 소자내 처리에서는, 노출 연산의 타이밍 212, 213, 214, 및 정보의 수신 타이밍 215, 216을 나타낸다. 소자내 처리에서는, 프레임마다 노출 연산이 행해진다. 즉 소자내 처리는, 전체 제어 연산부(509)와 마찬가지로, 다른 처리를 실행하는 것에 의한 CPU의 부하율과 메모리 대역 등의 영향을 받지 않는다. 촬상 소자(506)는 타이밍 215에서, 촬상 시스템의 카메라 설정 정보와 목표 휘도값을 전체 제어 연산부(509)로부터 수신한다. 그리고 촬상 소자(506)는 타이밍 216에서, 메카니컬 셔터/조리개 구동부(505)가 사용할 조리개 제어 정보를 전체 제어 연산부(509)로부터 수신한다.

도 6에 있어서 촬상 시스템이 기동하면, S601에서 전체 제어 연산부(509)는, 촬상 시스템의 카메라 설정 정보와 목표 휘도값을 촬상 소자(506)에 송신한다. 카메라 설정 정보는, 예를 들면, 노출 설정 정보와, 구동 모드, 프로그램 모드, 또는 측광 모드 등의 모드 정보와, 피사체 정보 등을 포함한다. 촬상 소자(506)의 수신 타이밍을, 도 5의 타이밍 215로 나타낸다. 카메라 설정 정보와 목표 휘도값은, 촬상 시스템에 대하여 유저 조작에 의한 설정의 변경이 있는 경우에 그때마다 촬상 소자(506)에 송신되는 것으로 하지만, 일정 기간마다 정보를 송신하도록 해도 된다.

S602에서 전체 제어 연산부(509)는 프레임 번호(N으로 표기한다)를 초기화한다. 도 5의 예에서는 프레임 번호 N의 값이 제로로 초기화된다. 프레임 번호 N은, 전체 제어 연산부(509)와 촬상 소자(506) 사이에서 동기를 취하기 위해서 사용하는 정보다. 초기화 타이밍은 촬상 시스템이 기동될 때 한 번뿐만 아니라 카메라 설정 정보 또는 목표 휘도 값에 변화가 있을 때마다 여러 번 설정될 수 있다.

S603에서는, 조리개 제어 정보의 전송 처리가 행해진다. 조리개 제어 정보는, 어느 프레임의 구간에서 어느 만큼의 단계 수로 조리개를 제어해야 하는지를 나타내는 정보다. 조리개(504)를 제어하는 경우에, 전체 제어 연산부(509)는, 렌즈 구동부(502)가 사용할 조리개 제어 정보를 촬상 소자(506)에 전송한다. 촬상 소자(506)의 수신 타이밍을, 도 5의 타이밍 216으로 나타낸다. 조리개 제어 정보로서는, 도 5의 예에서는, 프레임 번호 N=4과 N=5의 각각에서 현재의 조리개 값으로부터 1단계씩 조리개를 조이는 제어 정보(217)가 촬상 소자(506)에 전송된다. 이때, 조리개 제어 정보에서 프레임 번호를 지정하는 대신에, 소정의 기준 타이밍으로부터의 상대 시간을 지정하는 조리개 제어 정보를 사용하는 방법을 사용해도 된다. 이 경우, 상대 시간정보를 프레임 번호로 변환하는 처리가 촬상 소자 내에서 행해진다. 또한, 조리개 제어 정보에는 타이밍에 관한 정보가 포함되어 있지 않아도 된다. 이 경우에는, 제어는 제한 시간 및 소정의 지연(프레임 이후 등)으로 시작될 수도 있다.

S604은 프레임이 최종 프레임인지 아닌지를 판정하는 판정 처리이며, 전체 제어 연산부(509)는 촬상처리를 종료하는지 아닌지를 판정한다. 유저에 의해 조작부(515)를 사용해서 명시적으로 촬상 시스템의 전원이 오프되는 경우와, 촬영이 정지되는 경우와, 메뉴 조작에 의한 일시적인 중단 처리가 행해지는 경우에 촬상 처리가 종료된다. 프레임이 최종 프레임이라고 판정되었을 경우, 처리를 종료하고, 프레임이 최종 프레임이 아니라고 판정되었을 경우에는, 처리가 S605의 처리로 진행된다. 이 이후의 스텝 S605 내지 S610의 처리는, 촬상 소자(506)의 제어 하에 행해진다. 카메라 설정 정보의 변화와 목표 휘도값의 변화가 있는 경우 이외의 경우에는, 전체 제어 연산부(509)로부터 프레임마다 촬상 소자(506)에 카메라 설정 정보가 전송되지 않는다. 이에 따라, 전체 제어 연산부(509)와 촬상 소자(506) 사이에서 행해지는 통신의 양을 줄일 수 있다.

S605에서 촬상 소자(506)는, 전체 제어 연산부(509)로부터 수신한 조리개 제어 정보에 근거하여, 현재의 프레임에 대해서 조리개 동작을 행하는 타이밍인지 아닌지를 판정한다. 조리개 동작의 타이밍이라고 판정되었을 경우, 처리가 S606의 처리로 진행하고, 해당 타이밍이 아니라고 판정되었을 경우에는 처리가 S607로 이행한다.

S606에서 촬상 소자(506)의 소자내 연산부(118)는, 조리개 제어 정보에 근거하여 조리개 동작에 의한 휘도 변화량을 취득한다. S607에서 소자내 연산부(118)는, 휘도 변화량에 따라 노출 연산을 행하여, 축적 시간과 게인을 결정한다(도 5의 타이밍 212). 휘도 변화량이 제로일 경우에는, 이전 프레임의 설정이 인계된다. S608에서는, S607에서 취득된 축적 시간과 게인이 프레임 번호 1의 구간에서 설정된다(도 5의 타이밍 205 참조). 소자내 연산부(118)는 노광 제어부(120)에 의해 화소부(101)의 축적 시간을 설정함으로써 노광 제어를 행하고, 이득 제어신호 Sg를 이용해서 게인 앰프(110)의 게인 값을 설정한다. 게인부를 구성하는 게인 앰프(110)는, 게인 값의 설정이 가능한 가변 게인 앰프다. S609에서 촬상 소자(506)의 촬상 동작이 행해진다. 예를 들면, 프레임 번호 2로부터 3의 구간에 라인마다 축적 처리와 판독 처리가 순차적으로 실행되고, 프레임 번호 3에서 화상정보가 프레임 메모리(117)에 전송된다(도 5의 타이밍 202).

S610에서 촬상 소자(506)의 소자내 연산부(118)는, 프레임 메모리(117)의 화상정보를 이용해서 피사체의 휘도값을 산출하고, 산출 결과를 제2 메모리부(514)에 기억시키고, 화상정보를 촬상 소자 외부의 화상처리부에 전송한다. S611에서, 전체 제어 연산부(509)는, 프레임 번호 N의 인클리먼트(increment) 처리를 실행한다. 프레임 번호 N의 값에 1이 가산되고, S604로 되돌아가 처리를 속행하고, 촬상동작의 종료까지 상기 처리가 반복된다. 이때, 도 5의 타이밍 213, 206, 203의 관계 및 타이밍 214, 207, 204의 관계는, 타이밍 212, 205,202의 관계와 같다. 도 5의 조리개 제어의 변화(217)로 나타낸 것과 같이, 2단계의 조리개 동작이 행해지지만, 그것의 노출 상태는 도 8의 노출 상태와는 달리, 항상 적정 노출 상태가 유지된다.

CPU의 부하 또는 메모리 대역의 증가 이외에, 하이 프레임 레이트(HFR)의 동화상 등을 엄격한 시간 적용으로 처리하는 구동 모드에서는, 프레임 사이에서 설정된 시간 내에 노광 연산 처리가 행해지지 않을 우려가 있다. 이러한 경우에, 본 실시 예에 따르면, 전체 제어 연산부(509)는 프레임마다 노출 제어를 수행할 수 있다. 또한, 조리개 제어 정보를 전체 제어 연산부(509)로부터 촬상 소자(506)에 전송함으로써, 미리 조리개 제어의 타이밍을 촬상 소자(506)가 파악할 수 있게 된다. 따라서, 촬상 소자(506)가 조리개 동작에 따른 노출 제어를 행함으로써, 조리개 동작에 따른 화상의 플릭커링을 억제할 수 있다. 또한, 렌즈 교환식의 촬상 시스템의 경우, 카메라 본체부에 장착된 렌즈 장치의 조리개의 특성에 따라 노출 제어가 가능해 진다.

본 실시 예에서는, 촬상 소자(506)가 전체 제어 연산부(509)로부터 조리개 제어 정보를 수신해서 다음의 프레임에 대한 설정에 정보를 반영하는 처리 예를 설명했다. 본 발명은 이것에 한정하지 않고, 촬상 소자(506)에 송신할 조리개 제어 정보는 노출 추종 속도를 포함해도 된다. 노출 추종 속도는, 조리개 제어 정보의 수신시부터 어느 정도의 속도로 노출 연산을 추정하게 할 것인지를 결정하기 위한 정보다. 이 경우, 촬상 소자(506)가 수신한 노출 추종 속도에 따라, 도 5의 타이밍 212가 아니고, 예를 들면, 타이밍 213이나 214에서의 노출 연산에서 조리개 제어 정보를 반영시킴으로써 노출 추종 속도를 조정 가능하다. 또한, 본 실시 예에서는, 조리개 제어중이라도 새로운 목표 휘도값의 설정이 가능하고, 소자내 연산부(118)는 수신한 새로운 목표 휘도값에 근거하여 노출 연산을 행한다. 본 발명은 이것에 한정되지 않고, 조리개 제어 중에는 촬상 소자(506)가 어떠한 새로운 목표 휘도값도 접수하지 않아도 된다. 즉, 소자내 연산부(118)는 촬상부가 노출 연산 및 제어를 행하고 있을 경우에 새로운 목표 휘도값을 접수하지 않는다. 본 실시 예에 따르면, 촬상 장치의 연산 처리부의 노출 제어에 걸리는 처리 부하를 경감하여, 화상의 플릭커링의 원인이 될 수 있는 조리개 제어에 의한 노출의 변화를 최소화할 수 있다. 이때, 도 5 및 도 8에서 나타낸 동작을, 전체 제어 연산부(509)에 의한 구동 모드의 제어에 따라 적절히 전환할 수 있다. 이때, 카메라 설정 정보와 목표 휘도값 이외에 소정의 정보를 촬상 소자(506)에 대해 설정해도 된다는 점에 유념한다. 예를 들면, 추종 가능 범위(최대 게인이나 최소 셔터 스피드 등) 등을 설정함으로써 적절히 노출 제어를 행하는 것이 가능해진다.

[제2 실시 예]

다음에, 본 발명의 제2 실시 예를 설명한다. 제1 실시 예에서는, 촬상 소자(506)가 노출 연산 기능을 갖는 구성에 대해 설명했지만, 본 실시 예에서는 촬상 시스템의 연산 처리부에 의한 노출 연산 기능과, 촬상 소자(506)의 노출 연산 기능을 전환하는 처리를 설명한다. 제1실시 예와 같은 사항에 대해서는 설명을 생략하고, 주로 차이점을 설명한다는 점에 유념한다. 이러한 설명의 생략의 방법은 후술하는 실시 예에서도 동일하다.

도 7의 흐름도를 참조하여, 본 실시 예에 따른 촬상 시스템의 처리를 설명한다. 촬상 시스템이 기동하면, S701에서 전체 제어 연산부(509)는 촬상 시스템이 갖는 카메라 설정 정보를 취득한다. 카메라 설정 정보는, 정지 화상/동화상이라고 하는 구동 모드(4K/Full HD/HD/HFR), 노출 설정, 프로그램 모드, 측광 모드, 피사체 정보 등을 포함한다. 또한, 각종 설정의 조합에 따른 CPU의 부하 정보가 제2 메모리부(514)에 유지되어 있고, 해당 부하 정보가 취득된다.

S702에서 전체 제어 연산부(509)는, 보다 정밀도가 높은 노출 연산이 필요한지 아닌지를 판정한다. 예를 들면, 측광 모드의 설정 정보나, 피사체의 얼굴 또는 특정한 기관(눈 등)의 정보에 따라 촬상 소자(506) 내의 일부의 측광 연산이 필요할 경우를 상정한다. 이 경우, 촬상 소자(506)만으로는 노출 연산 처리를 행하기 어렵거나, 또는, 필요한 정밀도로 노출 연산 처리를 실행할 수 없을 가능성이 있다. 전체 제어 연산부(509)는, 보다 정밀도가 높은 노출 연산이 필요하라고 판정했을 경우에는, S705의 처리를 실행하고, 보다 정밀도가 높은 노출 연산이 필요하지 않다고 판정했을 경우에는, 처리가 S703의 처리로 진행한다.

S703에서 전체 제어 연산부(509)는, 노출 연산 시간에 여유가 있는지 아닌지를 판단한다. 시간적인 여유도의 판단 처리는, 단위 시간당의 처리 부하량에 근거해서 행해지고, 구체적으로는, 프레임 내에 포함된 화소 수와 각 신호에 대하여 행하는 화상 처리의 수가 판단된다. 전체 제어 연산부(509)는, 예를 들면, 다음의 프레임의 처리 부하량을, 설정 파라미터(구동 모드 또는 데이터 처리의 내용)에 근거해서 판단한다. 데이터 처리의 내용은, 데이터를 표시용으로 출력할 것인지, 또는 표시 및 기록용으로도 출력할 것인지 등의 처리의 목적도 포함한다. 취득한 구동 모드, CPU의 부하 정보 등에 의거해서, 상태가 노출 연산 처리를 프레임마다 실행할 수 있는 상태인지 아닌지가 판정된다. 연산 처리에 여유가 없을 경우의 일례로서, 예를 들면, 전체 제어 연산부(509)가 피사체를 검출하고, 처리가 그 검출 결과를 사용해서 단위시간 내에는 완료하지 않을 것 같은 부하량의 연산 처리가 필요한 경우를 예로 들 수 있다. S703에서, 노출 연산 처리를 프레임마다 실행할 수 있다고 판단되었을 경우, 처리가 S705로 이행한다. 한편, 처리 상황이 엄격하여, 노출 연산 처리를 프레임마다 실행할 수 없다고 판단되었을 경우에는, 처리가 S704의 처리로 진행한다.

S704에서 전체 제어 연산부(509)는, 촬상 소자(506)에서의 노출 제어 모드를 설정하고, 촬상 소자(506)에 카메라 설정 정보를 통지한다. 한편, S705에서 전체 제어 연산부(509)는, 전체 제어 연산부(509)에서의 노출 제어 모드를 설정한다. 해당 모드에서는, 노광 시간과 게인 설정 정보가 전체 제어 연산부(509)로부터 촬상 소자(506)에 송신된다. S704 또는 S705의 처리 후, 처리가 S706의 처리로 진행한다. S706에서 전체 제어 연산부(509)는, S704 또는 S705에서 설정한 노출 제어 모드에서의 촬영 동작을 개시하여, 프레임마다 처리를 반복한다.

S707에서 전체 제어 연산부(509)는, 촬상 시스템(렌즈부 및 카메라 본체부)의 상태가 변화하였는지 아닌지를 판정한다. 촬상 시스템의 상태 변화가 있었다고 판정되었을 경우, 처리가 S701로 되돌아가, 카메라 설정 정보의 재취득이 행해지고, 상기 처리를 계속한다. 또한, S707에서 촬상 시스템의 상태 변화가 없다고 판정되었을 경우, 처리가 S708로 진행한다. S708에서 전체 제어 연산부(509)는 촬상처리를 종료할 것인지 아닌지를 판정한다. 촬상 처리를 종료해야 하는 것으로 판정되었을 경우, 일련의 처리를 종료한다. 촬상 처리를 계속할 경우에는, 처리가 S706의 처리로 되돌아가 촬영 처리를 반복한다.

본 실시 예에서는, 카메라 설정 정보가 취득되고 구동 모드와 CPU의 부하 상태에 따라, 2종류의 노출 제어가 적절히 전환된다. 예를 들면, 전체 제어 연산부(509)의 처리 부하량이 임계값 이상일 경우에, 모드가 촬상 소자가 행하는 제1 노출 제어로 전환되고, 처리 부하량이 임계값 미만일 경우에, 모드가 전체 제어 연산부(509)가 행하는 제2 노출 제어로 전환된다. 필요에 따라 제2 노출 제어로 전환하여, 보다 정밀도가 높은 노출 제어를 행하는 것이 가능해 진다. 또한, 처리 부하량이 클 경우에는 제1 노출 제어로의 전환에 의해 전체 제어 연산부(509)의 처리 부담을 경감할 수 있다. 이때, 2개의 노출 제어 모드는 단지 예시이며, 본 발명은 제1 및 제2 노출 제어를 전환하는 구성에 한정되지 않는다는 점에 유념한다. 보다 복잡한 기능의 처리를 실현하기 위해서 2개의 노출 제어 모드를 병용하는 구성도 가능하다. 예를 들면, 도 7의 S705에서 촬상 소자에 의해 행해지는 연산에 근거한 제1 노출 제어 및 전체 제어 연산부(509)가 행하는 제2 노출 제어를 병용한 처리가 실행된다. 또는, 추가의 판정 조건에 근거한 판정 결과를 이용해서, 제3 노출 제어 모드로서, 제1 및 제2 노출 제어 모드를 병용한 제어가 실행된다. 이때, 전체 제어 연산부(509)는 촬상 소자(506)로부터 소정의 정보를 취득 가능한 구성으로 해도 된다는 점에 유념한다. 예를 들면, 소자내 연산부(118)에 의해 취득된 연산 결과 또는 게인 또는 전자 셔터 스피드의 설정 값을 취득해도 된다. 또한, 촬상 소자(506)가 추종 가능한 노출 한계에 도달한 상태를 나타내는 정보도 취득해도 된다.

[제3 실시 예]

다음에, 본 발명의 제3 실시 예를 설명한다. 제1 실시 예에서는, 촬상 소자(506)가 노출 연산 기능을 갖는 구성에 있어서, 게인 승산 처리를 화면 내에서 일률적으로 행하는 예를 설명했다. 본 실시 예에서는, 촬영 화면 내의 영역에 있어서 상이한 게인 값으로 승산 처리를 행한다. 구체적으로는, 소자내 연산부(118)가 게인 앰프(110)를 제어하고, 화면의 상하 방향으로 상이한 게인값을 가하는 예에 대해 설명한다.

도 5를 참조하여, 본 실시 예에 따른 노출 제어를 설명한다. 동화상 촬영에서는 슬릿 롤링 판독(slit rolling reading)이 행해지기 때문에, 촬영 화면의 상하에서 축적 타이밍이 다르다. 도 5에 있어서, 조리개의 변화가 개시되는 프레임 번호 4의 게인 설정은, 프레임 번호 2의 센서 설정에 대응하는 타이밍 209에서 행해진다. 게인 값이 화면에서 "x2"로 일률적으로 설정되는 예를 나타낸다. 본 실시 예에서는, 화면 상하에서의 게인 값을 변경하기 위해서, 촬상 소자(506)는 수평 라인마다 게인 설정을 변경한다. 도 5의 예에서는 게인 값이 "x1"와 "x2"의 사이에서 변화되기 때문에, 화면의 최상위 라인에 대하여 "x1"이 설정되고, 화면의 최하위 라인에 대하여 "x2"가 설정된다. 최상위 라인과 최하위 라인 사이에 위치하는 라인에 대해서는, "x1"과 "x2 사이의 게인 값, 예를 들면, 디폴트값보다 1배 이상 크고 디폴트값보다 2배 작은 게인 값이 균등하게 배분되도록 설정이 행해진다. 마찬가지로, 다음의 프레임의 게인 설정에서는, 최상위 라인으로부터 최하위 라인에 걸쳐서 "x2"와 "x3" 사이의 게인 값, 예를 들면, 디폴트값보다 2배 이상이고 디폴트값보다 3배 이하인 게인 값이 균등하게 배분되도록 설정이 행해진다. 또, 그 다음의 프레임의 게인 설정에서는, 최상위 라인으로부터 최하위 라인에 걸쳐서 "x3"와 "x4" 사이의 게인 값이 균등하게 배분되도록 설정이 행해진다.

본 실시 예에서는, 조리개 동작 중에 축적되는 프레임 화상에 대하여, 화면의 상하 방향의 노출 상태가 불균일하게 되는 것을 피하는 것이 가능하다. 이상, 본 발명의 예시적인 실시 예에 대해 설명했지만, 본 발명은 이들 실시 예에 한정되지 않고, 본 발명의 요지의 범위 내에서 다양한 변형 및 변경이 가능하다.

[제4실시 예]

다음에, 본 발명의 제4 실시 예를 설명한다. 제2 실시 예에서 촬상 시스템의 연산 처리부의 노출 연산 기능과, 촬상 소자(506)의 노출 연산 기능을 전환하는 처리에 대해 설명했다. 한편, 본 실시 예에서는, 촬상 시스템의 연산 처리부의 노출 연산 기능과, 촬상 소자(506)의 노출 연산 기능을 병용하는 처리를 설명한다.

도 9의 흐름도를 참조하여, 본 실시 예에 따른 촬상 시스템의 처리를 설명한다. 촬상 시스템이 기동하면, S1101에서 전체 제어 연산부(509)는, 촬상 시스템이 갖는 카메라 설정 정보를 취득한다. 이때, 카메라 설정 정보는, 정지 화상/동화상이라고 하는 구동 모드(4K/Full HD/HD/HFR), 노출 설정, 프로그램 모드, 측광 모드, 피사체 정보 등을 포함한다.

S1102에서 전체 제어 연산부(509)는, 보다 정밀도가 높은 노출 연산이 필요한지 아닌지를 판정한다. 예를 들면, 측광 모드의 설정 정보, 또는 피사체의 얼굴 또는 특정한 기관(눈 등)의 정보에 따라 촬상 소자(506) 내의 일부의 측광 연산이 필요한 경우를 상정한다. 이 경우, 촬상 소자(506)만으로는 노출 연산 처리를 실행하기 어렵거나, 필요한 정밀도로 노출 연산 처리를 실행할 수 없을 가능성이 있다. 전체 제어 연산부(509)는, 보다 정밀도가 높은 노출 연산이 필요하다고 판정했을 경우에는, S1104의 처리를 실행함으로써, 처리가 전체 제어 연산부(509)와 촬상 소자(506)를 병용한 노출 제어 모드로 이행한다. 또한, 보다 정밀도가 높은 노출 연산이 필요하지 않다고 판정했을 경우에는, 처리가 S1103의 처리로 진행하여, 처리가 촬상 소자(506)의 노출 제어 모드로 이행한다. S1103 및 S1104에서 전체 제어 연산부(509)는, 촬상 소자(506)에 카메라 설정 정보를 통지한다. 보다 높은 정밀도가 필요한 노출 연산 처리의 일례로서, 예를 들면, 전체 제어 연산부(509)가 피사체를 검출하고, 그 검출 결과를 사용해서 연산 처리를 수행하는 경우가 있다.

S1105에서 전체 제어 연산부(509)는, S1103 또는 S1104에서 설정한 노출 제어 모드에서의 촬영 동작을 개시하고, 프레임마다 처리를 반복한다. S1106에서 전체 제어 연산부(509)는, 촬상 시스템(렌즈부 및 카메라 본체부)의 상태가 변화하였는지 아닌지를 판정한다. 촬상 시스템의 상태 변화가 있었다고 판정되었을 경우, 처리가 S1101로 되돌아가, 카메라 설정 정보의 재취득을 행하고, 상기 처리를 계속한다. 또한, S1106에서 촬상 시스템의 상태 변화가 없다고 판정되었을 경우, 처리가 S1107로 진행한다. S1107에서 전체 제어 연산부(509)는, 촬상 처리를 종료해야 하는지 아닌지를 판정한다. 촬상처리를 종료해야 하는 것으로 판정되었을 경우, 일련의 처리를 종료한다. 촬상 처리를 계속할 경우에는, 처리가 S1105로 되돌아가 촬영 처리를 반복한다.

도 10 및 도 11을 참조하여, 본 실시 예에 있어서의, 촬상 시스템의 연산 처리부의 노출 연산 기능과, 촬상 소자(506)의 노출 연산 기능을 병용하는 촬영 처리에 대해 설명한다. 도 10은 본 실시 예에 따른 노출 제어의 메카니즘을 나타낸 타이밍 차트다. 도 11은 본 실시 예에 따른 촬상 시스템의 처리를 설명하는 흐름도다.

도 10은, 촬상 소자(506)에 대한 촬상 동기신호(1001), 축적과 판독 타이밍 1002 내지 1004, 설정 타이밍 1005 내지 1007, 게인 제어 타이밍 1008 내지 1010을 나타낸다. 또한, 축적 시간 설정(1011), 프레임 번호, 및 조리개 제어의 변화(1026)를 나타낸다. 소자내 처리에는, 노출 연산 타이밍 1012, 1013, 1014, 및 정보 수신 타이밍 1015, 1016을 나타내지만, 도 5와 같기 때문에, 상세한 설명은 생략한다. 도 5와의 차이점은, 전체 제어 연산부(509)에 의해 실행되는 엔진내 처리이다. 엔진내 처리에서는, 노출 연산 타이밍 1017, 설정 타이밍 1018 및 1019, 및 게인 제어 타이밍 1020 내지 1022를 나타낸다. 또한, 센서 게인과 엔진 게인의 승산에 의해 결정되는 토털 게인 1023 내지 1025를 나타낸다. 엔진의 노출 연산 타이밍 1017을 이용해서 프레임 번호 0부터 시작되는 촬영의 엔진 게인의 설정 값을 결정한다. 또한, 동시에 촬상 소자(506)에 카메라 설정 정보, 목표 휘도값, 및 조리개 제어 정보를 전송한다. 소자내 처리에서 프레임마다 연산 처리가 행해지는 한편, 엔진내 처리에서는 첫째 타이밍 또는 간헐적인 타이밍에서 연산 처리가 행해지기 때문에, CPU의 부하율, 메모리 대역 등의 영향을 저감할 수 있다.

도 11에 있어서, 촬상 시스템이 기동하면, S1201에서 전체 제어 연산부(509)는, 도 9의 S1101에서 취득한 촬상 시스템의 카메라 설정 정보를 인식하고, 엔진 내의 노출 연산을 행한다. 예를 들면, 카메라 설정 정보의 한 개에 프로그램 선도가 있다. 전체 제어 연산부(509)는, 제어 범위를 촬상 소자(509)의 제어 범위와 엔진 내부의 제어 범위로 나눈다. 촬상 소자(509)의 제어 범위는 1008 내지 1010과 같이 정수배의 게인값을 취급함으로써, 연산량을 간소화하고, 촬상 소자(509) 내의 회로 규모를 줄일 수 있다. 한편, 엔진은 보다 복잡한 연산을 행할 수 있는 회로를 포함하고 있기 때문에, 엔진 내부의 제어 범위는 촬상 소자(509)가 연산을 행하기 어려운 소수점의 게인값을 취급한다. 일례로서, 촬상 소자(509)와 엔진으로 이러한 역할 분담을 행하는 것이 가능하다.

S1202에서 전체 제어 연산부(509)는, 촬상 시스템에 관한 카메라 설정 정보와 목표 휘도값을 촬상 소자(506)에 송신한다. 본 실시 예에서는, 카메라 설정 정보에 프로그램 선도를 포함하는 것으로 한다. 카메라 설정 정보는, 노출 설정 정보와, 구동 모드, 프로그램 모드, 및 측광 모드 등의 모드 정보와, 피사체 정보 등을 포함하는 구성을 가지고 있어도 된다. 촬상 소자(506)의 수신 타이밍을, 도 10의 타이밍 1015로 나타낸다. 카메라 설정 정보와 목표 휘도값은, 촬상 시스템에 대하여 유저 조작에 의한 설정의 변경이 있었을 경우에 그때마다 촬상 소자(506)에 송신되는 것으로 하지만, 일정 기간마다 정보를 송신해도 된다.

S1203에서 전체 제어 연산부(509)는, 프레임 번호(본 실시 예에서는, N으로 표기한다)를 초기화한다. 본 실시 예에서는 프레임 번호 N의 값이 제로로 초기화된다. 이때, 프레임 번호 N은, 전체 제어 연산부(509)와 촬상 소자(506)를 동기화하기 위해서 사용하는 정보다. 초기화 타이밍은, 촬상 시스템이 기동할 때 한 번 설정될 수 있을 뿐만 아니라, 카메라 설정 정보 또는 목표 휘도값이 변경될 때마다 여러 번 설정될 수도 있다.

S1204에서는, 조리개 제어 정보의 전송 처리가 행해진다. 조리개 제어 정보는, 어느 프레임의 구간에서 어느 만큼의 단계 수로 조리개를 제어해야 하는지를 나타내는 정보다. 조리개(504)를 제어할 경우에, 전체 제어 연산부(509)는, 렌즈 구동부(502)가 사용하는 조리개 제어 정보를 촬상 소자(506)에 전송한다. 촬상 소자(506)의 수신 타이밍을, 도 10의 타이밍 1016으로 나타낸다. 조리개 제어 정보로서, 본 실시 예에서는, 프레임 번호 N=4과 N=5의 각각에서 현재의 조리개 값으로부터 1단계씩 조리개를 조이는 제어 정보(변화 1026)가 촬상 소자(506)에 전송된다. 이때, 조리개 제어 정보에서 프레임 번호를 지정하는 대신에, 소정의 기준 타이밍으로부터의 상대 시간을 지정하는 조리개 제어 정보를 사용하는 방법을 이용해도 된다. 이 경우, 상대 시간 정보를 촬상 소자 내에서 프레임 번호로 변환하는 처리가 행해진다. 또한, 조리개 제어 정보에는 타이밍에 관한 정보가 포함되어 있지 않아도 된다. 이 경우에는, 시간 제한 및 소정의 지연(프레임 이후 등)으로 제어가 개시되어도 된다.

S1205은 프레임이 최종 프레임인지 아닌지의 판정 처리이며, 전체 제어 연산부(509)는, 촬상 처리를 종료할 것인지 아닌지를 판정한다. 촬상 처리의 종료가 행해지는 것은, 유저에 의해 조작부(515)를 이용해서 명시적으로 촬상 시스템의 전원이 오프될 경우와, 촬영 정지의 경우, 메뉴 조작에 의한 일시적인 중단 처리의 경우 등이 있다. 프레임이 최종 프레임이라고 판정되었을 경우, 처리를 종료하고, 프레임이 최종 프레임이 아니라고 판정되었을 경우에는, 처리가 S1206의 처리로 진행한다. 이 이후의 스텝 S1206 내지 S1209, S1211, 및 S1212의 처리는, 촬상 소자(506)의 제어 하에서 행해진다. 카메라 설정 정보의 변화 또는 목표 휘도값의 변화가 있었을 경우 이외의 경우에는, 전체 제어 연산부(509)로부터 프레임마다 촬상 소자(506)에 카메라 설정 정보가 전송되지 않는다. 이에 따라, 전체 제어 연산부(509)와 촬상 소자(506) 사이에서 행해지는 통신의 양을 줄일 수 있다.

S1206에서 촬상 소자(506)는, 전체 제어 연산부(509)로부터 수신한 조리개 제어 정보에 근거하여, 현재의 프레임에서 조리개 동작을 행하는 타이밍인지 아닌지를 판정한다. 렌즈부(501)가 카메라 본체부에 부착된 촬상 시스템에 있어서는, 초점 거리의 변경에 의해 조리개 값이 변동한다. 그 때문에, 사전에 조리개 제어 정보를 전체 제어 연산부(509)로부터 수신하고, 마찬가지로 각 프레임에 있어서 조리개 동작을 행하는 타이밍인지 아닌지를 판정한다. 조리개 동작의 타이밍이라고 판정되었을 경우, 처리가 S1207의 처리로 진행하고, 조리개 동작의 타이밍이 아니라고 판정되었을 경우에는, 처리가 S1208로 이행한다.

S1207에서 촬상 소자(506)의 소자내 연산부(118)는, 조리개 제어 정보에 근거하여 조리개 동작에 따른 휘도 변화량을 취득한다. S1208에서 소자내 연산부(118)는, 휘도 변화량에 따른 노출 연산을 행하여, 축적 시간과 게인을 결정한다(도 10의 타이밍 1012). 휘도 변화량이 제로일 경우에는, 이전 프레임의 설정이 계속된다. S1209에서는, S1207에서 취득한 축적 시간과 게인이 프레임 번호 1의 구간에서 설정된다(도 10의 타이밍 1005 참조). 소자내 연산부(118)는, 노광 제어부(120)에 의해 화소부(101)의 축적 시간을 설정함으로써 노광 제어를 행하고, 이득 제어신호 Sg를 이용해서 게인 앰프(110)의 게인 값을 설정한다. 게인부를 구성하는 게인 앰프(110)는, 게인 값의 설정이 가능한 가변 게인 앰프이다.

S1210에서는, 촬상 소자(506)가 축적 시간과 게인을 설정하는 한편, 전체 제어 연산부(509)가 엔진의 게인을 설정한다. 엔진 내에서 소수점의 게인을 설정함으로써 미세한 노출의 제어가 가능해 진다. 본 실시 예에서는, 도 10에 나타낸 것과 같이 엔진 게인 1021로서 "x3/4"의 게인을 설정하고, 엔진 게인 1022으로서 "x3/4"의 게인을 설정한다. 촬상 시스템에서 사용되는 토털 게인은 촬상 소자(506)와 엔진의 곱셈으로 결정되고, 토털 게인 1023으로서는 "x1"의 게인을 설정하고, 토털 게인 1024로서는 "x3/2"의 게인을 설정하며, 토털 게인 1025로서는 "x3"의 게인을 설정한다.

S1211에서 촬상 소자(506)의 촬상 동작이 행해진다. 예를 들면, 프레임 번호 2 및 3의 구간에서 라인마다 축적 처리와 판독 처리가 순차적으로 실행되고, 프레임 번호 3에서 화상 정보가 프레임 메모리(117)에 전송된다(도 10의 타이밍 1002). S1212에서 촬상 소자(506)의 소자내 연산부(118)는, 프레임 메모리(117)의 화상정보로부터 피사체의 휘도값을 산출하고, 산출한 결과를 제2 메모리부(514)에 기억시키고, 화상정보를 촬상 소자 외부의 화상처리부에 전송한다. S1213에서, 전체 제어 연산부(509)는, 프레임 번호 N의 인클리먼트(increment) 처리를 실행한다. 프레임 번호 N의 값에 1이 가산되어, S1205로 되돌아가 처리를 계속하고, 촬상 동작의 종료까지 상기 처리가 반복된다. 이때, 도 10의 타이밍 1013, 1006, 1003의 관계 및 타이밍 1014, 1007, 1004의 관계는, 타이밍 1012, 1005,1002의 관계와 같다. 도 10의 조리개 제어의 변화(1026)로 나타낸 것과 같이 1/3 단계의 조리개 동작이 행해지지만, 항상 적정 노출 상태가 유지된다.

피사체의 검출 결과에 따라 노출을 제어하고 싶은 경우, 플릭커링(flickering)에 의한 노출 불균일성을 제어하고 싶은 경우, 또는 측광 모드에 따라 노출을 제어하고 싶은 경우 등, 촬상 시스템의 게인 제어를 더욱 상세하게 행하고 싶은 경우가 존재한다. 이 경우, 본 실시 예에 따르면, 카메라 설정 정보를 촬상 소자(506)에 송신하고, 전체 제어 연산부(509)의 노출 연산과 촬상 소자(506)의 노출 연산을 병용해서 노출 제어를 행함으로써, CPU의 처리 부하율과 메모리 대역의 증가를 억제하면서 고정밀도하게 노출 제어를 행하는 것이 가능해 진다.

본 발명은 예시적인 실시 예를 참조하여 설명되었지만, 본 발명은 개시된 예시적인 실시 예에 한정되지 않는다는 것을 이해해야 한다. 이하의 특허 청구 범위는 모든 변형 및 균등 구조 및 기능을 포함하도록 가장 넓게 해석되어야 한다.

본 출원은 2017년 2월 10일에 출원된 일본 특허 출원 제2017-022782호 및 제2017-227175호의 이익을 주장하며, 이들 모두는 본원에 참고 문헌으로 인용된다.

Claims

복수의 반도체 기판이 서로 적층된 촬상 소자로서,
복수의 화소부를 갖는 촬상부와,
상기 촬상부의 출력 신호에 대한 게인을 설정하는 게인부와,
상기 화소부의 축적 시간을 제어하는 제어부와,
목표 휘도값 및 노출의 제어 정보에 의거하여, 상기 게인 및 상기 축적 시간을 산출하는 연산부를 구비하고,
상기 촬상부는 제1 반도체 기판 위에 배치되고, 상기 연산부는 상기 제1 반도체 기판과는 다른 제2 반도체 기판 위에 배치되며,
상기 연산부는 처리 부하량이 임계값 이상일 경우 상기 촬상 소자 내에서 노출 연산을 행하는 제1 제어와, 상기 처리 부하량이 임계값 미만일 경우 상기 연산부가 행하는 연산 결과를 이용해서 상기 촬상 소자의 노출 제어를 행하는 제2 제어 사이에 전환하는 전환 처리를 행하는, 촬상 소자.