KR20180016373A - 촬상 제어 장치, 촬상 장치 및 촬상 제어 방법 - Google Patents

촬상 제어 장치, 촬상 장치 및 촬상 제어 방법 Download PDF

Info

Publication number
KR20180016373A
KR20180016373A KR1020177034912A KR20177034912A KR20180016373A KR 20180016373 A KR20180016373 A KR 20180016373A KR 1020177034912 A KR1020177034912 A KR 1020177034912A KR 20177034912 A KR20177034912 A KR 20177034912A KR 20180016373 A KR20180016373 A KR 20180016373A
Authority
KR
South Korea
Prior art keywords
pixel
focus
pixel signal
image
focus detection
Prior art date
Application number
KR1020177034912A
Other languages
English (en)
Other versions
KR102652933B1 (ko
Inventor
신이치 후지이
다이스케 미야코시
켄자부로 세키
미츠아키 키타
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180016373A publication Critical patent/KR20180016373A/ko
Application granted granted Critical
Publication of KR102652933B1 publication Critical patent/KR102652933B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H04N5/3456—
    • H04N5/3696—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)

Abstract

초점 조정에 이용되는 초점 검출 화소로부터의 초점 화소 신호의 판독과, 화상 생성에 이용되는 화소로부터의 메인 화소 신호의 판독이 독립하여 행해지도록 화소를 제어하는 제어부; 및 상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 출력하는 출력부를 포함하는 이미지 센서 제공된다.

Description

촬상 제어 장치, 촬상 장치 및 촬상 제어 방법
관련 출원에 대한 상호 참조
본원은 2015년 6월 9일 출원된 일본 우선권 특허출원 JP2015-116389의 이익을 주장하며, 상기 일본 우선권 특허출원의 모든 내용은 참조에 의해 본원에 포함된다.
본 개시는 촬상 제어 장치, 촬상 장치 및 촬상 제어 방법에 관한 것이다.
최근에는, CCD(Charge Coupled Device)나 CMOS(Complementary Metal-Oxide-Semiconductor) 센서 등의 촬상 소자를 구비한 디지털 카메라나 디지털 비디오 카메라가 보급되어 있다. 디지털 카메라는 정지화상을 촬상하는 것이고, 디지털 비디오 카메라는 동화상을 촬상하는 것이지만, 동화상을 촬상 가능한 디지털 카메라나 정지화상을 촬상 가능한 디지털 비디오 카메라도 존재한다. 또한, 이후에서는, 디지털 카메라와 디지털 비디오 카메라를 특히 구별하지 않는 경우에는, 간단히 「디지털 카메라」라고 기재하는 경우가 있다. 또한, 이후에는, 정지화상과 동화상을 특히 구별하지 않는 경우에는, 간단히 「화상」이라고 기재하는 경우가 있다.
상기와 같은 디지털 카메라는, 예를 들면, 특허문헌 1에 개시된 바와 같이, 자동적으로 초점 조정을 행하는 오토 포커스 처리의 기능을 가지는 경우가 적지 않다. 오토 포커스 처리에서는, 예를 들면, 디지털 카메라와 피사체 사이의 거리를 측정하고, 측정된 거리에 기초하여 렌즈를 구동시킴으로써 초점이 적절히 조정된다. 그 결과, 핀트가 맞은(합초(合焦)된) 화상을 취득하는 것이 가능하게 된다.
일본특허공개 제2013-223054호 공보
상기 오토 포커스 처리에서는, 거리의 측정으로부터 결과 반영(예를 들어, 렌즈 구동의 완료)까지 걸리는 시간(지연 시간)을 작게 하는 것이 바람직하다.
따라서, 본 개시에서는, 오토 포커스에 걸리는 지연 시간을 작게 할 수 있는, 신규이며 개량된 촬상 제어 장치, 촬상 장치 및 촬상 제어 방법을 제안한다.
본 개시의 일 실시형태에 의하면, 초점 조정에 이용되는 초점 검출 화소로부터의 초점 화소 신호의 판독과, 화상 생성에 이용되는 화소로부터의 메인 화소 신호의 판독이, 독립하여 행해지도록 화소를 제어하는 제어부와; 상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 출력하는 출력부를 포함하는 촬상 제어 장치가 제공된다.
또한, 본 개시의 일 실시형태에 의하면, 초점 조정에 이용되는 초점 검출 화소로부터의 초점 화소 신호의 판독과, 화상 생성에 이용되는 화소로부터의 메인 화소 신호의 판독이, 독립하여 행해지도록 화소를 제어하는 제어부와; 상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 출력하는 출력부와; 출력된 상기 초점 화소 신호와 상기 메인 화소 신호가 서로 독립하여 입력으로서 입력되는 입력부와; 상기 메인 화소 신호의 입력 중에 렌즈 구동을 행하도록, 상기 초점 화소 신호에 기초하는 렌즈 구동 지시를 발하는 렌즈 구동 지시부를 포함하는 촬상 장치가 제공된다.
또한, 본 개시의 일 실시형태에 의하면, 초점 조정에 이용되는 초점 검출 화소로부터의 초점 화소 신호의 판독과, 화상 생성에 이용되는 화소로부터의 메인 화소 신호의 판독이, 독립하여 행해지도록 화소를 제어하는 단계와, 상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 출력하는 단계를 포함하는 촬상 제어 방법이 제공된다.
이상 설명한 바와 같이 본 개시의 실시형태에 의하면, 오토 포커스에 걸리는 지연 시간을 작게 할 수 있다.
또한, 상기 효과는 반드시 한정적인 것은 아니고, 상기의 효과와 함께 또는 상기 효과에 대신하여, 본 명세서에 기재한 어떤 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 좋다.
[도 1] 본 개시의 일 실시형태에 관한 촬상 장치의 이용 시나리오를 나타내는 설명도이다.
[도 2] 동 실시형태의 비교예에 관한 촬상 장치의 개략적인 구성의 일례에 대해 설명하기 위한 설명도이다.
[도 3] 동 실시형태의 비교예에 관한 촬상 장치를 이용한 연속 촬영에 있어서의 오토 포커스 처리의 흐름에 대해 설명하기 위한 설명도이다.
[도 4] 동 실시형태에 관한 촬상 장치의 개요에 대해 설명하기 위한 설명도이다.
[도 5] 동 실시형태에 관한 촬상 장치의 구성의 일례를 나타내는 설명도이다.
[도 6] 동 실시형태에 관한 이미지 센서가 구비하는 화소 어레이부의 화소 배치의 일례를 설명하기 위한 설명도이다.
[도 7] 동 실시형태에 관한 위상차 화소의 예를 나타내는 설명도이다.
[도 8] 동 실시형태에 관한 이미지 센서의 일부의 구성예를 나타내는 블럭도이다.
[도 9] 동 실시형태에 관한 이미지 센서의 칩 구성의 일례에 대해 설명하기 위한 설명도이다.
[도 10] 동 실시형태와 관련되는 동작예 1을 설명하기 위한 개략적인 타임 차트이다.
[도 11] 동 실시형태와 관련되는 동작예 2를 설명하기 위한 개략적인 타임 차트이다.
이하, 첨부 도면을 참조하면서, 본 개시의 바람직한 실시형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 및 구성을 가지는 구성 요소에 대해서는, 동일한 참조 부호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
<<1. 서론>>
<1-1. 배경>
<1-2. 개요>
<<2. 구성>>
<2-1. 촬상 장치의 구성>
<2-2. 이미지 센서의 구성>
<3. 동작예>
<3-1. 동작예 1>
<3-2. 동작예 2>
<<4. 변형예>>
<4-1. 변형예 1>
<4-2. 변형예 2>
<<5. 결론>>
<<1. 서론>>
<1-1. 배경>
본 개시의 일 실시형태에 관한 촬상 장치에 대해 설명하기 위해, 도면을 참조하면서 본 개시의 일 실시형태에 관한 촬상 장치의 창작에 이른 배경을 설명한다.
도 1은, 본 개시의 일 실시형태에 관한 촬상 장치(1)의 이용 시나리오를 나타내는 설명도이다. 도 1에 나타내는 촬상 장치(1)는, 예를 들어 디지털 카메라이다. 도 1에 나타낸 바와 같이, 촬상 장치(1)는, 초점 조정용의 포커스 렌즈(11)를 구비한다. 포커스 렌즈(11)는 피사체와 촬상 장치(1) 사이의 거리에 따라 구동 제어되어 자동적으로 초점 조정(오토 포커스 또는 AF라고도 함)이 행해진다.
여기서, 도 2, 3을 참조하여, 종래의 촬상 장치의 일례에 있어서의 오토 포커스 처리를 비교예로서 설명한다. 도 2는, 비교예에 관한 촬상 장치의 개략적인 구성의 일례에 대해 설명하기 위한 설명도이다.
도 2에 나타내는 이미지 센서(800)는, 비교예에 관한 촬상 장치에 설치되며, 피사체를 촬상하여 촬상 화상의 디지털 데이타를 얻는 촬상 소자이다. 이미지 센서(800)는, 예를 들어 CMOS(Complementary Metal-Oxide-Semiconductor) 이미지 센서나 CCD(Charge Coupled Device) 이미지 센서 등의 촬상 소자여도 좋다. 이미지 센서(800)는, 복수의 화소가 어레이 형상으로 배치된 화소 어레이부(811)를 갖는다. 또한, 일반적으로 이미지 센서(800)는, 화소 어레이부(811) 이외의 회로도 포함하지만, 도 2에 나타내는 예에서는, 설명을 알기 쉽게 하기 위해, 해당 화소 어레이부(811) 이외의 회로의 도시를 생략하고 있다.
또한, 화상 처리 IC(900)는, 화소 어레이부(811)의 각 화소로부터의 화소 신호에 기초하여 공급되는 화소 신호(화상 신호)에 대해서, 소위 화상 처리를 수행하는 IC(Integrated Circuit)이다. 화상 처리로서는, 예를 들어, 흑 레벨 보정이나, 혼색 보정, 결함 보정, 디모자이크(demosaicing) 처리, 매트릭스 처리, 감마 보정 및 YC 변환 등을 들 수 있다. 화상 처리부(910)는, 화상 처리 IC(900)에 의해 실현되는 화상 처리 기능을 모식적으로 나타내고 있다. 또한, 화상 처리 IC(900)는, 화상 처리 외의 다른 기능을 실행하기 위한 구성을 포함하여도 좋지만, 도 2에 나타내는 예에서는, 설명을 알기 쉽게 하기 위해서, 화상 처리부(910) 외의 구성의 도시를 생략하고 있다.
또한, 참조 부호 n0는, 이미지 센서(800)와 화상 처리 IC(900)와의 사이의 신호의 흐름(스트림)을 모식적으로 나타내고 있다.
즉, 도 2에 나타낸 비교예에 관한 촬상 장치에서는, 이미지 센서(800)는 (도시하지 않은) 광학 소자를 거쳐 입사한 광을 광전 변환하고, 각 화소의 화소치를 A/D 변환함으로써, 피사체의 촬상 화상을 나타내는 화소 신호를 생성한다. 그리고, 이미지 센서(800)는, 생성한 화소 신호를 스트림 n0로서 화상 처리 IC(900)의 화상 처리부(910)로 출력한다.
화상 처리 IC(900)는, 스트림 n0로서 이미지 센서(800)로부터 출력된 화소 신호를 취득하고, 취득된 화소 신호에 대해 화상 처리를 행하여 피사체와 촬상 장치 사이의 거리(피사체 거리)를 측정한다. 비교예에 관한 촬상 장치는, 측정된 피사체 거리에 기초하여 해당 촬상 장치가 구비한 포커스 렌즈를 구동 제어함으로써 초점 조정(오토 포커스)을 행한다. 예를 들면, 비교예에 관한 촬상 장치는, 상면 위상차 방식에 의해 오토 포커스를 실행해도 좋다. 즉, 비교예에 관한 화소 어레이부(811)는, 위상차 방식에 의해 초점 조정을 행하기 위한 위상차 화소를 포함하고, 화상 처리부(910)는 해당 위상차 화소로부터의 화소 신호(초점 화소 신호)에 기초하여 피사체 거리를 측정하고, 해당 피사체 거리에 기초하여 포커스 렌즈가 구동 제어된다.
다음으로, 도 3을 참조하여, 도 2에 나타낸 촬상 장치에 있어서, 이미지 센서(800)에 의해 피사체의 화상이 노광(촬상)되고, 노광된 화상을 나타내는 화소 신호가 화상 처리 IC(900)에 읽혀지고, 렌즈 구동 제어가 완료할 때까지의 처리의 흐름의 일례에 대해 설명한다. 도 3은, 비교예에 관한 촬상 장치를 이용한 연속 촬영에 있어서의 오토 포커스 처리의 흐름에 대해 설명하기 위한 설명도로서, 비교예에 관한 촬상 장치가 전자적으로 각 화소의 노광 기간을 제어하는 경우의 개략적인 타임 차트의 일례를 나타내고 있다.
도 3에 있어서, 횡축은 시간 방향을 나타내고 있고, 화소·출력 제어에 있어서의 종축은 화소 어레이부(811)의 행 방향을 나타내고 있다. 또한, 참조 부호 d910, d911, d912 및 d913은, 화소 어레이부(811)의 각 화소의 노광 기간을 모식적으로 나타내고 있다. 또한, 노광 기간 d910은, 노광 기간 d911 이전에 촬상된 화상의 노광 기간을 나타내고 있는 것으로 한다.
여기서, 비교예에 관한 촬상 장치에 있어 오토 포커스가 실행될 때의 일련의 처리의 흐름에 대해, 노광 기간 d911에 주목하여 설명한다. 우선, 참조 부호 d901에 의해 나타낸 바와 같이, 각 화소에 축적된 화소 신호의 리셋이 행 단위로 순서대로 실행되어, 각 화소의 리셋이 완료되면, 신속하게 광이 해당 화소에 입사하고, 해당 화소의 노광이 개시된다. 그 후, 참조 부호 d921에 의해 나타낸 바와 같이, 각 화소의 노광이 종료되면, 신속하게 해당 화소로부터의 화소 신호의 판독과, 화상 처리부(910)에의 출력이 개시된다. 즉, 각 화소에 대해, 참조 부호 d901과 d921과의 사이의 기간 T92가, 해당 화소에 있어서의 노광 시간에 상당하고, 참조 부호 d921의 개시부터 종료까지의 기간 T93이 전 화소의 판독과 출력에 걸리는 시간에 상당한다. 상기와 같이, 도 3에 나타내는 예에서는, 행 단위로, 각 화소의 노광 개시 및 종료의 타이밍, 및 각 화소의 판독 및 출력의 타이밍이 다르다.
모든 화소로부터 화소 신호가 화상 처리부(910)로 출력되면, 화상 처리부(910)는, 도 3의 참조 부호 d951이 가리키는 기간에 있어서, 위상차 화소에 대응하는 초점 화소 신호에 기초하여 위상차 검출을 행함으로써, 피사체 거리를 측정(측거)한다. 계속하여, 도 3의 참조 부호 d961이 가리키는 기간에 있어서, 측정된 피사체 거리와 노광 기간 d911에 있어서의 렌즈 위치에 기초하여 렌즈 구동량을 산출하는 AF 연산을 행한다. 또한, 도 3의 참조 부호 d971이 가리키는 기간에 있어서, 비교예에 관한 촬상 장치가 구비하는 포커스 렌즈의 구동 제어를 행한다. 그 결과, 도 3에 나타내는 노광 기간 d911에 있어서의 촬상에 기초하여 실행되는 오토 포커스가 반영되는 것은, 도 3에 나타내는 노광 기간 d913에 있어서의 촬상이다. 즉, 도 3의 예에 있어서, 측거를 위한 노광 개시부터, 오토 포커스가 반영될 때까지 필요한 시간(지연 시간)은, 촬영 간격 T91의 2배의 시간이다.
도 1에 나타낸 바와 같이, 촬상 장치를 이용하여, 스포츠 신 등에 있어서의 움직임이 있는 피사체를 촬영하는 경우, 오토 포커스에 걸리는 지연 시간이 중요해진다. 예를 들어, 측거를 위한 노광으로부터 포커스 렌즈의 구동 제어가 완료하기까지, 피사체가 움직이거나, 피사체와 촬상 장치 사이의 거리가 변화해 버리면, 초점이 맞지 않는 화상이 취득되어 버릴 경우가 있다. 따라서, 오토 포커스에 걸리는 지연 시간은 작은 것이 바람직하다.
따라서, 상기 사정을 일 착안점으로 하여 본 실시형태를 창작하기에 이르렀다. 본 실시형태에 의하면, 오토 포커스에 걸리는 지연 시간을 작게 할 수 있다. 이하, 이러한 효과를 갖는 본 실시형태에 관한 촬상 장치의 개요에 대해 설명한다.
<1-2. 개요>
도 4는, 본 개시의 일 실시형태에 관한 촬상 장치의 개요에 대해 설명하기 위한 설명도이다. 또한, 도 4는, 본 실시형태에 관한 촬상 장치(1)(촬상 제어 장치)의 개략적인 구성에 대해, 이미지 센서(100)와 화상 처리 IC(200)에 주목하여 나타내고 있고, 그 외의 구성에 대해서는 도시를 생략하고 있다.
도 4에 나타낸 바와 같이, 본 실시형태에 관한 이미지 센서(100)는, 프레임 메모리(190)를 포함하는 점에서, 도 2에 나타낸 비교예에 관한 이미지 센서(800)와 다르다. 참조 부호 n1 및 n2는, 이미지 센서(100)와 화상 처리 IC(200)와의 사이의 신호의 흐름(스트림)을 모식적으로 나타내고 있다.
또한, 본 실시형태에 관한 촬상 장치(1)는, 도 2, 도 3을 참조하여 설명한 비교예와 마찬가지로, 상면 위상차 방식에 의해 오토 포커스를 실행하고, 전자적으로 각 화소의 노광 기간을 제어한다. 즉, 도 4에 나타내는 본 실시형태에 관한 이미지 센서(100)가 가지는 화소 어레이부(111)는, 위상차 방식에 의해 초점 조정을 행하기 위한 위상차 화소(초점 검출 화소)와, 화상 생성에 이용되는 통상 화소를 포함하고, 각 화소의 노광 기간은 전자적으로 제어된다.
도 4에 나타내는 본 실시형태에 관한 촬상 장치에 있어서, 이미지 센서(100)는, (도시하지 않은) 광학 소자를 거쳐 입사한 광을 광전 변환하고, 각 화소의 화소치를 A/D 변환함으로써, 피사체의 촬상 화상을 나타내는 화상 신호를 생성한다(판독을 실시한다). 이 때, 이미지 센서(100)는, 화소 어레이부(111)를 구성하는 복수의 화소 중, 적어도 위상차 화소로부터의 초점 화상 신호를 판독하여, 스트림 n1로서 화상 처리 IC(200)에 출력한다.
또한, 이미지 센서(100)는, 화소 어레이부(111)를 구성하는 복수의 화소 중, 적어도 통상 화소로부터의 메인 화소 신호를 판독하여, 프레임 메모리(190)에 일시적으로 기록한다. 그리고, 이미지 센서(100)는, 프레임 메모리(190)에 기록된 메인 화소 신호를 스트림 n2로서 화상 처리 IC(200)에 출력한다.
이러한 구성으로부터, 이미지 센서(100)는, 예를 들어, 위상차 화소로부터의 초점 화상 신호를 스트림 n1로 하고, 통상 화소로부터의 메인 화소 신호(화상)를 스트림 n2로 하여 각 화소 신호를 서로 독립하여 화상 처리 IC(200)로 출력하는 것이 가능하게 된다. 또한, 상기에서는 위상차 화소로부터의 초점 화상 신호를 스트림 n1로서 출력하는 예를 설명하였지만, 본 기술은 이러한 예로 한정되지 않는다. 예를 들어, 화상 생성에 이용되는 통상 화소 중 일부로부터 읽어지는 화소 신호를 스트림 n1로서 출력하는 것도 가능하고, 그러한 예에 대해서는 변형예로서 후술한다.
또한, 이미지 센서(100)는, 예를 들어, 전 화소로부터의 화소 신호를 프레임 메모리(190)에 일시적으로 유지시키는 것이 가능하기 때문에, 스트림 n1과 스트림 n2를, 반드시 같은 타이밍에 병렬로 화상 처리 IC(200)로 출력할 필요는 없다. 즉, 이미지 센서(100)는, 스트림 n1의 출력 후에 스트림 n2를 출력하는 것도 가능하다. 물론, 이미지 센서(100)는, 스트림 n1과 스트림 n2를 병렬로 화상 처리 IC(200)에 출력해도 좋음은 말할 필요도 없다.
그 때문에, 예를 들어, 화상 처리 IC(200)는, 이미지 센서(100)로부터 메인 화소 신호(스트림 n2)보다 선행하여 출력되는 초점 화소 신호(스트림 n1)에 기초하여 위상차 검출 처리를 행하는 것이 가능하다. 이러한 구성에 의해, 본 실시형태에 관한 촬상 장치(1)는, 오토 포커스에 걸리는 지연 시간을 작게 할 수 있다.
또한, 다른 일례로서, 화상 처리 IC(200)는, 이미지 센서(100)로부터 스트림 n1로서 선행하여 출력되는 초점 화소 신호에 기초한 위상차 검출 처리와 병행하여, 스트림 n2로서 출력되는 메인 화소 신호의 취득을 실행하는 것이 가능하다.
또한, 이미지 센서(100)와 화상 처리 IC(200)는, 반드시 동일 케이스 내에 설치되어 있을 필요는 없다. 그 경우에는, 이미지 센서(100)가 설치된 장치가, 「촬상 제어 장치」의 일례에 상당한다.
이상, 본 실시형태에 관한 촬상 장치(1)의 개요에 대해 설명하였다. 계속하여, 이후에서는, 본 실시형태에 관한 촬상 장치(1)의 구성과 동작에 대해, 보다 자세하게 차례차례 설명한다.
<<2. 구성>>
이하에서는, 우선, 본 실시형태에 관한 촬상 장치(1)의 구성예에 대해 도 5를 참조하여 설명한 후, 촬상 장치(1)가 구비하는 이미지 센서(100)의 구성예에 대해 도 6~9를 참조하여 설명한다.
<2-1. 촬상 장치의 구성>
도 5는, 본 실시형태에 관한 촬상 장치(1)의 구성의 일례를 나타내는 설명도이며, 전술한 이미지 센서(100)와 화상 처리 IC(200)를 동일 케이스 내에 설치했을 경우의 일례를 나타내고 있다. 도 5에 나타내는 촬상 장치(1)는, 피사체를 촬상하고, 그 피사체의 화상을 전기 신호로서 출력하는 장치이다.
도 5에 나타내는 바와 같이, 촬상 장치(1)는, 포커스 렌즈(11)(이하, 간단히 렌즈라고 부르는 경우도 있다), 이미지 센서(100), 구동 제어부(12), 조작부(13), 화상 처리부(210), 코덱 처리부(14), 기록부(15) 및 표시부(16)를 갖는다.
포커스 렌즈(11)는, 구동 제어부(12)에 의해 제어되어, 피사체까지의 초점을 조정하고, 초점이 맞은 위치로부터의 광을 집광하여, 이미지 센서(100)에 공급한다.
이미지 센서(100)는, 피사체를 촬상하는 이미지 센서이며, 구동 제어부(12)에 의해 제어되어, 입사광을 광전 변환하고, 각 화소의 화소치를 A/D 변환함으로써, 화소 신호를 읽어내어 출력한다. 여기서, 상술한 바와 같이, 이미지 센서(100)는, 초점 조정에 이용되는 위상차 화소(초점 검출 화소)로부터의 초점 화소 신호의 판독과, 화상 생성에 이용되는 통상 화소로부터의 메인 화소 신호의 판독을 독립하여 행한다. 또한, 이미지 센서(100)는, 초점 화소 신호와 메인 화소 신호를 서로 독립하여 화상 처리부(210)로 출력한다.
구동 제어부(12)는, 조작부(13)에 의해 입력된 유저의 조작 입력에 대응하는 신호에 기초하여, 포커스 렌즈(11), 이미지 센서(100), 화상 처리부(210), 코덱 처리부(14), 기록부(15) 및 표시부(16)의 구동을 제어하고, 각 부에 촬상에 관한 처리를 행하게 한다. 특히, 구동 제어부(12)는, 이미지 센서(100)로부터 화상 처리부(210)로의 메인 화소 신호의 입력 중에 렌즈 구동을 행하도록, 해당 메인 화소 신호에 선행하여 입력된 초점 화소 신호에 기초하는 렌즈 구동 지시를 발하는 렌즈 구동 지시부로서의 기능을 갖는다. 예를 들어, 구동 제어부(12)는, 화상 처리부(210)가 초점 화소 신호에 기초하여 행하는 위상차 검출의 결과를 받아서, AF 연산에 의해 렌즈 구동량을 산출하고, 렌즈 구동 지시를 발한다. 또한, 화상 처리부(210)가 렌즈 구동 지시부로서 렌즈 구동 지시를 발해도 좋다.
조작부(13)는, 예를 들어, 조그 다이얼(상표), 키, 버튼 또는 터치 패널 등으로 구성되고 유저에 의한 조작 입력을 받아서 그 조작 입력에 대응하는 신호를 구동 제어부(12)에 공급한다.
화상 처리부(210)는, 이미지 센서(100)로부터 화소 신호를 받아서, 화상 처리를 행한다. 예를 들어, 화상 처리부(210)는, 이미지 센서(100)로부터 출력되는 초점 화소 신호와 메인 화소 신호가, 서로 독립하여 입력되는 입력부로서의 기능을 갖는다. 또한, 화상 처리부(210)는, 초점 화소 신호에 기초하여 위상차 검출을 행하고, 위상차 검출의 결과를 구동 제어부(12)에 제공한다. 또한, 화상 처리부(210)는, 예를 들어, 흑 레벨 보정이나, 혼색 보정, 결함 보정, 디모자이크 처리, 매트릭스 처리, 감마 보정 및 YC 변환 등의 각종 화상 처리를 행한다. 이 화상 처리의 내용은 임의이며, 상술한 이외의 처리를 행해도 좋다. 또한, 화상 처리부(210)는, 화상 처리를 행한 화상 신호를 코덱 처리부(14) 및 표시부(16)에 공급한다.
코덱 처리부(14)는, 화상 처리부(210)로부터의 화상 신호에 대해, 소정의 방식의 부호화 처리를 실시하고, 부호화 처리의 결과 얻어진 화상 데이터를 기록부(15)에 공급한다.
기록부(15)는, 코덱 처리부(14)로부터 공급되는 화상 데이터를 기록한다. 기록부(15)에 기록된 화상 데이터는, 필요에 따라 화상 처리부(210)에 의해 판독됨으로써, 표시부(16)에 공급되어 대응하는 화상이 표시된다.
표시부(16)는, 예를 들어, 액정 디스플레이 등으로 구성되며, 화상 처리부(210)로부터의 화상 신호에 기초하여, 피사체의 화상을 표시한다.
<2-2. 이미지 센서의 구성>
이상, 본 실시형태에 관한 촬상 장치(1)의 구성예에 대해 도 5를 참조하여 설명하였다. 계속하여, 촬상 장치(1)가 구비하는 이미지 센서(100)의 구성예에 대해 도 6~9를 참조하여 설명한다.
(화소 배치)
우선, 도 6을 참조하여, 도 4를 참조하여 설명한 본 실시형태에 관한 이미지 센서(100)가 구비하는 화소 어레이부(111)의 화소 배치의 일례에 대해, 특히 화소 어레이부(111)가 가지는 위상차 화소의 배치에 주목하여 설명한다. 도 6은, 본 실시형태에 관한 이미지 센서(100)가 구비하는 화소 어레이부(111)의 화소 배치의 일례를 설명하기 위한 설명도이다. 화소 어레이부(111)에는, 적, 청, 록의 통상 화소 이외에, 도 6에 A, B로서 가리키는 위치에 초점 조정에 이용되는 위상차 화소(121a, 121b)가 주기적으로 배치된다.
도 7은, 본 실시형태에 관한 위상차 화소의 예를 나타내는 설명도이다. 화소 어레이부(111)에 배치되는 위상차 화소(121a, 121b)는, 예를 들어, 도 7의 상단에 나타내는 바와 같이 좌 개구 화소(121a) 및 우 개구 화소(121b)여도 좋다. 도 7에 나타낸 바와 같이, 좌 개구 화소(121a) 및 우 개구 화소(121b)는, 온-칩(on-chip) 렌즈(1211a, 1211b)가 사광(斜光; oblique) 메탈(1212a, 1212b)에 의해 덮여 있다. 또한, 좌 개구 화소(121a)가 가지는 사광 메탈(1212a)의 좌측에는 좌 개구부(1213a)가 설치되고, 좌 개구 화소(121a)는 좌 개구부(1213a)의 영역에 입사한 광만 수광 가능하다. 마찬가지로, 우 개구 화소(121b)가 가지는 사광 메탈(1212b)의 우측에는 우 개구부(1213b)가 설치되고, 우 개구 화소(121b)는 우 개구부(1213b)의 영역에 입사한 광만 수광 가능하다. 따라서, 좌 개구 화소(121a)와 우 개구 화소(121b)는, 각각, 촬영 렌즈의 다른 광로를 통과한 광속이 수광된다.
상기 좌 개구 화소(121a)와 우 개구 화소(121b)를 1조의 페어 화소로 하여, 화상 처리부(210)가 해당 페어 화소에 대응하는 초점 화소 신호에 있어서의 2개의 상이 어긋나는 상태를 평가함으로써, 위상차 검출 처리를 행한다.
또한, 상기에서는, 화소 어레이부(111)에 배치되는 위상차 화소가 좌 개구 화소와 우 개구 화소에 의한 페어 화소인 예를 설명하였지만, 본 기술은 이러한 예로 한정되지 않는다. 예를 들어, 도 7의 중단에 나타낸 바와 같이, 화소 어레이부(111)에 배치되는 위상차 화소는, 상 개구 화소(121c)와 하 개구 화소(121d)에 의한 페어 화소여도 좋다. 상 개구 화소(121c) 및 하 개구 화소(121d)는, 상기 좌 개구 화소(121a) 및 우 개구 화소(121b)와 마찬가지로, 온-칩 렌즈(1211c, 1211d)와, 사광 메탈(1212c, 1212d)과, 상 개구부(1213c)와, 하 개구부(1213d)를 구비한다.
또한, 화소 어레이부(111)에 배치되는 위상차 화소는, 포토다이오드 분할 화소여도 좋다. 이 경우, 예를 들어, 도 7의 하단 왼쪽에 나타내는 좌우 포토다이오드 분할 화소(121e), 또는 도 7의 하단 오른쪽에 나타내는 상하 포토다이오드 분할 화소(121f) 중 어느 한 종류가 위상차 화소로서 배치되면 좋다. 좌우 포토다이오드 분할 화소(121e)는, 하나의 온-칩 렌즈(1211e)에 대해서, 독립으로 수광 가능한 2개의 포토다이오드(왼쪽 포토다이오드(1214a), 오른쪽 포토다이오드(1214b))를 구비한다. 또한, 마찬가지로 상하 포토다이오드 분할 화소(121f)는, 하나의 온-칩 렌즈(1211f)에 대해서, 독립으로 수광 가능한 2개의 포토다이오드(상 포토다이오드(1214c), 하 포토다이오드(1214d))를 구비한다. 화상 처리부(210)는, 상기 포토다이오드 분할 화소 중 어느 하나에 대응하는 초점 화소 신호에 있어서의 2개의 상이 어긋나는 상태를 평가함으로써, 위상차 검출 처리를 행하는 것이 가능하다.
(판독·출력과 관련되는 구성)
이상, 본 실시형태에 관한 이미지 센서(100)가 구비하는 화소 어레이부(111)의 화소 배치의 일례에 대해 설명하였다. 계속하여, 도 8을 참조하여, 이미지 센서(100)에 있어서의 판독·출력에 관한 구성의 일례에 대해, 특히, (도시하지 않은) 광학 소자를 거쳐 입사한 광을 광전 변환하고, 각 화소의 화소치를 A/D 변환함으로써 화소 신호를 판독하여 출력하는 구성에 주목하여 설명한다.
도 8은, 본 실시형태에 관한 이미지 센서(100)의 일부의 구성예를 나타내는 블럭도이다. 도 8에 나타내는 이미지 센서(100)는, 예를 들어, CMOS 이미지 센서나 CCD 이미지 센서 등의, 피사체를 촬상하고, 촬상 화상의 디지털 데이터를 얻는 촬상 소자이다.
도 8에 나타내는 바와 같이, 이미지 센서(100)는, 제어부(또는 제어 회로)(101), 화소 어레이부(111), 선택부(112), A/D 변환부(ADC)(Analog Digital Converter)(113), 및 정전류 회로부(114)를 갖는다.
제어부(101)는, 이미지 센서(100)의 각 부를 제어하고, 화상 데이터(화소 신호)의 판독 등에 관한 처리를 실행시킨다. 특히, 본 실시형태에 관한 제어부(101)는, 초점 조정에 이용되는 위상차 화소(초점 검출 화소)로부터의 초점 화소 신호의 판독과 화상 생성에 이용되는 통상 화소로부터의 메인 화소 신호의 판독이, 독립하여 행해지도록 화소를 제어한다.
또한, 초점 화소 신호의 판독과 메인 화소 신호의 판독이, 독립하여 행해진다라는 것은, 초점 화소 신호의 판독과 메인 화소 신호의 판독이, 서로 제한을 받는 일 없이 행해지는 것을 의미한다. 예를 들면, 초점 화소 신호의 판독과 메인 화소 신호의 판독이 다른 기간에 행해지는 경우나, 각 화소 신호의 판독의 개시 타이밍이 다르지만 판독 기간이 중복하는 경우, 각 화소 신호가 병렬로 판독되는 경우 등도 상기에 포함된다.
또한, 본 실시형태에 관한 제어부(101)는, 초점 검출 화소의 노광과 화상 생성에 이용되는 화소의 노광을 각각 제어하는 노광 제어부로서의 기능을 갖는다. 예를 들어, 제어부(101)는, 노광 제어부로서의 기능을 발휘하여, 위상차 화소(초점 검출 화소)의 노광 시간과 통상 화소의 노광 시간이 다르도록, 위상차 화소의 노광과 통상 화소의 노광을 제어해도 좋다. 예를 들어, 제어부(101)는, 위상차 화소의 노광 시간이 통상 화소의 노광 시간보다 길어지도록, 위상차 화소의 노광과 통상 화소의 노광을 제어해도 좋다. 이러한 구성에 의하면, 통상 화소보다 수광 영역이 좁은 위상차 화소더라도, 보다 많은 광을 수광하는 것이 가능해져, 예를 들어, 어두운 영역에서의 AF 정밀도가 향상된다고 하는 효과가 있다. 또한, 제어부(101)는, 위상차 화소의 노광 시간이 통상 화소의 노광 시간보다 짧아지도록, 위상차 화소의 노광과 통상 화소의 노광을 제어해도 좋다. 이러한 구성에 의하면, 고휘도인 피사체에 대해 AF를 행하는 경우에, 화소치의 오버플로우에 의한 AF 정밀도에의 영향이 저감된다고 하는 효과가 있다.
화소 어레이부(111)는, 도 6, 7을 참조하여 설명한 바와 같이, 포토다이오드 등의 광전 변환 소자를 가지는 화소 구성이 어레이 형상으로 배치되는 화소 영역이다. 화소 어레이부(111)는, 제어부(101)에 의해 제어되어, 각 화소로 피사체의 광을 수광하고, 그 입사광을 광전 변환하여 전하를 축적하고, 소정의 타이밍에서, 각 화소에 축적된 전하를 아날로그 화소 신호로서 출력한다.
화소(121) 및 화소(122)는, 그 화소 어레이부(111)에 배치되는 화소군 내의, 상하로 인접하는 2화소를 나타내고 있다. 화소(121) 및 화소(122)는, 서로 같은 컬럼에서 연속하는 행의 화소이다. 예를 들어, 화소(121)는 도 6, 7을 참조하여 설명한 초점 조정에 이용되는 위상차 화소이며, 화소(122)는 화상 생성에 이용되는 통상 화소여도 좋다. 도 8의 예의 경우, 화소(121) 및 화소(122)에 나타내는 바와 같이, 각 화소의 회로에는, 광전 변환 소자 및 4개의 트랜지스터가 이용되고 있다. 또한, 각 화소의 회로의 구성은, 임의이며, 도 8에 나타나는 예 이외이더라도 좋다.
일반적인 화소 어레이에는, 컬럼마다, 아날로그 화소 신호의 출력선이 설치된다. 화소 어레이부(111)의 경우, 1컬럼마다, 2개(2계통)의 출력선이 설치된다. 1컬럼의 화소의 회로는, 1행 간격으로, 이 2개의 출력선에 교대로 접속된다. 예를 들어, 위로부터 홀수번째 행의 화소의 회로가 한편의 출력선에 접속되고, 짝수번째 행의 화소의 회로가 다른 한쪽의 출력선에 접속된다. 도 8의 예의 경우, 화소(121)의 회로는 제1 출력선(VSL1)에 접속되고, 화소(122)의 회로는 제2 출력선(VSL2)에 접속된다.
또한, 도 8에서는, 설명의 편의상, 1컬럼분의 출력선만 나타내고 있지만, 실제로는, 각 컬럼에 대해서, 마찬가지로 2개씩 출력선이 설치된다. 각 출력선에는, 그 컬럼의 화소의 회로가 1행 간격으로 교대로 접속된다.
선택부(112)는, 화소 어레이부(111)의 각 출력선을 ADC(113)의 입력에 접속하는 스위치를 갖고, 제어부(101)에 의해 제어되어, 화소 어레이부(111)와 ADC(113)와의 사이의 접속을 제어한다. 즉, 화소 어레이부(111)로부터 판독된 아날로그 화소 신호는, 이 선택부(112)를 거쳐 ADC(113)에 공급된다.
선택부(112)는, 스위치(131), 스위치(132) 및 스위치(133)를 갖는다. 스위치(131)(선택 SW)는, 서로 같은 컬럼에 대응하는 2개의 출력선의 접속을 제어한다. 예를 들어, 스위치(131)가 온(ON) 상태가 되면, 제1 출력선(VSL1)과 제2 출력선(VSL2)이 접속되고, 오프(OFF) 상태가 되면 절단된다.
상세 내용에 대하여는 후술하지만, 이미지 센서(100)에서는, 각 출력선에 대해서 ADC가 1개씩 설치되고 있다(컬럼 ADC). 따라서, 스위치(132) 및 스위치(133)가 함께 온 상태라고 하면, 스위치(131)가 온 상태가 되면, 동 컬럼의 2개의 출력선이 접속되므로, 1화소의 회로가 2개의 ADC에 접속되게 된다. 반대로, 스위치(131)가 오프 상태가 되면, 동 컬럼의 2개의 출력선이 절단되어, 1화소의 회로가 1개의 ADC에 접속되게 된다. 즉, 스위치(131)는, 1개의 화소의 신호의 출력처로 하는 ADC(컬럼 ADC)의 수를 선택한다.
상세 내용에 대하여는 후술하지만, 이와 같이 스위치(131)가 아날로그 화소 신호의 출력처로 하는 ADC의 수를 제어함으로써, 이미지 센서(100)는, 그 ADC의 수에 따라 보다 다양한 화소 신호를 화상 처리 IC(200)로 출력할 수 있다. 즉, 이미지 센서(100)는, 보다 다양한 데이터 출력을 실현할 수 있다.
스위치(132)는, 화소(121)에 대응하는 제1 출력선(VSL1)과 그 출력선에 대응하는 ADC와의 접속을 제어한다. 스위치(132)가 온(ON) 상태가 되면, 제1 출력선이, 대응하는 ADC의 비교기 중 하나의 입력에 접속된다. 또한, 오프(OFF) 상태가 되면 그들 접속이 절단된다.
스위치(133)는, 화소(122)에 대응하는 제2 출력선(VSL2)과 그 출력선에 대응하는 ADC와의 접속을 제어한다. 스위치(133)가 온(ON) 상태가 되면, 제2 출력선이, 대응하는 ADC의 비교기 중 하나의 입력에 접속된다. 또한, 오프(OFF) 상태가 되면 그들 접속이 절단된다.
선택부(112)는, 제어부(101)의 제어에 따라, 이들 스위치(131)~스위치(133)의 상태를 바꿈으로써, 1개의 화소의 신호의 출력처로 하는 ADC(컬럼 ADC)의 수를 제어할 수 있다.
또한, 스위치(132)나 스위치(133)(어느 한편 또는 양쪽 모두)를 생략하고, 각 출력선과 그 출력선에 대응하는 ADC를 상시 접속하도록 해도 좋다. 다만, 이러한 스위치에 의해, 이러한 접속·절단을 제어할 수 있도록 함으로써, 1개의 화소의 신호의 출력처로 하는 ADC(컬럼 ADC)의 수의 선택의 폭이 넓어진다. 즉, 이들 스위치를 설치함으로써, 이미지 센서(100)는, 보다 다양한 화소 신호를 출력할 수 있다.
또한, 도 8에서는, 1컬럼분의 출력선에 대한 구성만 나타내고 있지만, 실제로는, 선택부(112)는, 컬럼마다, 도 8에 나타내는 것과 같은 구성(스위치(131)~스위치(133))을 갖고 있다. 즉, 선택부(112)는, 각 컬럼에 대해서, 제어부(101)의 제어에 따라, 상술한 바와 같은 접속 제어를 행한다.
ADC(113)는, 화소 어레이부(111)로부터 각 출력선을 거쳐 공급되는 아날로그 화소 신호를, 각각 A/D 변환하고, 화소 신호(디지털 데이타)로서 출력한다. ADC(113)는, 화소 어레이부(111)로부터의 출력선마다의 ADC(컬럼 ADC)를 갖는다. 즉, ADC(113)는, 복수의 컬럼 ADC를 갖는다. 1 출력선에 대응하는 컬럼 ADC는, 비교기, D/A 변환기(DAC)(Digital Analog Converter), 및 카운터를 가지는 싱글 슬로프형의 ADC이다.
비교기는, DAC 출력과 아날로그 화소 신호의 신호치를 비교한다. 카운터는, 아날로그 화소 신호와 DAC 출력이 동일해질 때까지, 카운트치(디지털치)를 인크리먼트(increment)한다. 비교기는, DAC 출력이 신호치에 이르면, 카운터를 정지한다. 그 후 카운터 1, 2에 의해 디지털화된 신호를 DATA1 및 DATA2로부터 이미지 센서(100)의 외부로 출력한다.
카운터는, 다음의 A/D 변환을 위해, 데이터 출력 후, 카운트치를 초기치(예를 들어, 0)로 되돌린다.
ADC(113)는, 각 컬럼에 대해서 2계통의 컬럼 ADC를 가진다. 예를 들면, 제1 출력선(VSL1)에 대해서, 비교기(141)(COMP1), DAC(142)(DAC1) 및 카운터(143)(카운터(1))가 설치되고, 제2 출력선(VSL2)에 대해서, 비교기(151)(COMP2), DAC(152)(DAC2) 및 카운터(153)(카운터(2))가 설치되고 있다. 도시는 생략하고 있지만, ADC(113)는, 다른 컬럼의 출력선에 대해서도 같은 구성을 갖는다.
다만, 이러한 구성 중, DAC는 공통화할 수 있다. DAC의 공통화는, 계통마다 행해진다. 즉, 각 컬럼의 서로 같은 계통의 DAC가 공통화된다. 도 8의 예의 경우, 각 컬럼의 제1 출력선(VSL1)에 대응하는 DAC가 DAC(142)로서 공통화되고, 각 컬럼의 제2 출력선(VSL2)에 대응하는 DAC가 DAC(152)로서 공통화되어 있다. 또한, 비교기와 카운터는, 각 출력선의 계통마다 설치된다.
정전류 회로부(114)는, 각 출력선에 접속되는 정전류 회로이며, 제어부(101)에 의해 제어되어 구동된다. 정전류 회로부(114)의 회로는, 예를 들어, MOS(Metal Oxide Semiconductor) 트랜지스터 등으로 구성된다. 이 회로 구성은 임의이지만, 도 8에서는, 설명의 편의상, 제1 출력선(VSL1)에 대해서, MOS 트랜지스터(161)(LOAD1)가 설치되고, 제2 출력선(VSL2)에 대해서, MOS 트랜지스터(162)(LOAD2)가 설치되고 있다.
제어부(101)는, 예를 들어 유저 등의 외부로부터 요구를 받아들여 판독 모드를 선택하고, 선택부(112)를 제어하여, 출력선에 대한 접속을 제어한다. 또한, 제어부(101)는, 선택한 판독 모드에 따라, 컬럼 ADC의 구동을 제어하거나 한다. 또한, 제어부(101)는, 컬럼 ADC 이외에도, 필요에 따라, 정전류 회로부(114)의 구동을 제어하거나, 예를 들어, 판독의 레이트나 타이밍 등, 화소 어레이부(111)의 구동을 제어하거나 한다.
즉, 제어부(101)는, 선택부(112)의 제어뿐 아니라, 선택부(112) 이외의 각 부도, 보다 다양한 모드로 동작시킬 수 있다. 따라서, 이미지 센서(100)는, 보다 다양한 화소 신호를 출력할 수 있다.
또한, 도 8에 나타내는 각 부의 수는, 부족하지 않는 한 임의이다. 예를 들어, 각 컬럼에 대해서, 출력선이 3계통 이상 설치되도록 해도 좋다. 또한, ADC(113)로부터 출력되는 화소 신호의 병렬수나, ADC(113) 자체의 수를 늘림으로써, 외부에 병렬하여 출력되는 화소 신호의 수를 늘려도 좋다.
다음으로, 본 실시형태에 관한 이미지 센서(100)의 칩의 구성에 대해, 도 9를 참조하여 설명한다. 도 9는, 본 실시형태에 관한 이미지 센서(100)의 칩의 구성의 일례에 대해 설명하기 위한 설명도이다. 도 8을 참조하면서 설명한 바와 같이, 각 컬럼에 대해 복수의 ADC를 설치하면, 칩 사이즈가 증대되고, 비용이 증대하는 경우가 있다. 그 때문에, 본 실시형태에 관한 이미지 센서(100)에서는, 도 9에 나타낸 바와 같이, 칩을 적층화해도 좋다.
도 9에 나타내는 예에서, 이미지 센서(100)는, 화소 어레이부(111)가 주로 형성되는 화소 칩(100-1)과, 출력 회로(180), 주변 회로 및 ADC(113) 등이 형성되는 주변 회로 칩(100-2), 및 패드(PAD)의 복수의 칩에 의해 구성된다. 화소 칩(100-1)의 화소 어레이부(111)의 출력선과 드라이브선은, 관통 비어(VIA)를 거쳐 주변 회로 칩(100-2)의 회로와 접속되어 있다. 또한, 도 4에 나타낸 프레임 메모리(190)는, 예를 들어, 출력 회로(180)나 주변 회로 내에 설치하면 좋다. 출력 회로(180)는, 상기한 바와 같이 판독된 초점 화소 신호와 메인 화소 신호를, 서로 독립하여 출력하는 출력부로서 기능한다.
상기와 같은 구성으로 함으로써, 칩 사이즈를 작게 할 수 있고, 비용을 삭감시킬 수 있다. 또한, 배선층의 스페이스에 여유가 생기게 되므로, 배선의 레이아웃도 용이하게 된다. 또한, 복수 칩화함으로써, 각 칩을 각각 최적화할 수 있다. 예를 들어, 화소 칩에 있어서는, 배선층에 의한 광학적인 반사에 의한 양자 효율의 저하를 막기 위해 보다 적은 배선층을 사용하여 저배화를 실현하고, 주변 회로 칩에 있어서는, 배선간 커플링 대책 등 최적화를 가능하게 하기 위해 배선층의 다층화를 실현할 수 있다. 예를 들어, 주변 회로 칩의 배선층을, 화소 칩의 배선층보다 다층화할 수도 있다.
또한, 이면 조사형의 이미지 센서의 경우, 배선층에 의한 광학적인 반사는 일어나지 않지만, 불필요한 배선층수의 증대를 억제함으로써, 배선 공정수의 증대 등을 억제하고, 비용의 삭감을 실현할 수 있다.
또한, 주변 회로 칩 에리어가, 화소 칩 에리어와 동등한 칩 면적을 가지기 때문에, 총 적층 칩의 면적을 증가시키는 일 없이 주변 회로 영역에 복수의 ADC의 탑재가 가능하게 된다.
또한, 본 기술을 적용한 촬상 제어 장치(촬상 장치)는, 상술한 구성에 한정되지 않고, 다른 구성이어도 좋음은 말할 필요도 없다.
이상과 같이 하여, 본 실시형태에 관한 이미지 센서(100)는, (도시하지 않은) 광학 소자를 거쳐 입사한 광을 광전 변환하고, 각 화소의 화소치를 A/D 변환함으로써 화소 신호를 생성하고, 생성한 각 화소 신호를, 도 8에 나타내는 DATA1 및 DATA2로부터 판독한다. 그리고, 출력 회로(180)는, 예를 들어, DATA1 및 DATA2 중 어느 한쪽(여기서는, DATA1로 한다)으로부터 출력되는 초점 화소 신호를 도 4에 나타내는 스트림 n1으로서 화상 처리 IC(200)에 출력한다.
또한, 이미지 센서(100)는, DATA2로부터 읽어진 메인 화소 신호를 프레임 메모리(190)에 일시적으로 기록한다. 그리고, 이미지 센서(100)는, 프레임 메모리(190)에 기록된 메인 화소 신호를 순서대로 판독하고, 출력 회로(180)는, 프레임 메모리(190)로부터 판독된 메인 화소 신호를 스트림 n2로서 화상 처리 IC(200)에 출력한다. 또한, 프레임 메모리(190)에의 화소 신호의 입출력, 및 출력 회로(180)로부터의 화소 신호의 출력과 관련되는 제어의 주체는 특히 한정되지 않는다. 예를 들어, 전술한 제어부(101)가 해당 제어를 행해도 좋고, 해당 제어부(101)와는 별도로 제어부가 설치되어도 좋다. 또한, 이미지 센서(100)의 외부(예를 들어, 화상 처리 IC(200) 등)에 구비될 수 있는 제어부로부터의 제어에 따라, 해당 제어를 행해도 좋다.
또한, 화소 어레이부(111)를 구성하는 각 화소에 의해 취득된 화소 신호를 일시적으로 유지 가능하면, 프레임 메모리(190)를 설치하는 위치나, 해당 프레임 메모리(190)의 수는 특히 한정되지 않는다. 예를 들어, 프레임 메모리(190)의 수를 복수 설치함으로써, 해당 복수의 프레임 메모리(190) 각각에 대한 화소 신호의 입출력을 병렬로 실행하는 것이 가능하게 된다. 그 때문에, 프레임 메모리(190)에의 화소 신호의 입출력과 관련되는 속도에 의존한 처리 속도의 저하를 완화시키는 것이 가능하게 된다.
또한, 다른 일례로서, 화소 어레이부(111)를 구성하는 각 화소의 화소 회로 상에, 해당 화소에서 취득된 화소 신호를 일시적으로 유지하기 위한 캐쉬를 설치해도 좋다. 이러한 구성에 의해, 각 화소와 프레임 메모리(190)와의 사이의 화소 신호의 입출력과 관련되는 처리나, 프레임 메모리(190)로부터의 각 화소 신호의 판독과 관련되는 처리의 실행 타이밍을, 보다 유연하게 제어하는 것이 가능하게 된다. 또한, 각 화소 회로로부터 화소 신호를 프레임 메모리(190)에 기입하기 위한 핀수가 증가하기 때문에, 해당 화소 회로와 해당 프레임 메모리(190)와의 사이의 버스의 대역을 보다 넓게 하는 것도 가능하게 된다.
<<3. 동작예>>
이상, 도 5~9를 참조하면서 본 실시형태에 관한 촬상 장치(1), 및 촬상 장치(1)가 구비하는 이미지 센서(100)의 구성예에 대해 설명하였다. 계속하여, 이하에서는 본 실시형태에 관한 촬상 장치(1)의 동작예로서, 1회의 초점 조정을 위해 초점 화소 신호의 판독과 출력이 1회씩 행해지는 예와, 1회의 초점 조정을 위해 초점 화소 신호의 판독과 출력이 복수 회 행해지는 예에 대해, 도 10, 11을 참조하여 차례차례 설명한다.
<3-1. 동작예 1>
도 10은, 본 실시형태에 관한 촬상 장치(1)에 있어서, 1회의 초점 조정을 위해 초점 화소 신호의 판독과 출력이 1회씩 행해지는 동작예 1을 설명하기 위한 개략적인 타임 차트이다.
도 10은, 각 화소에서의 노광·판독 처리와 관련되는 화소 제어와, 출력 회로(180)로부터 화상 처리 IC(200)로의 화소 신호의 전송 처리와 관련되는 출력 제어와, 화소 신호에 기초하는 초점 조정 처리와 관련되는 위상차 검출, AF 연산 및 렌즈 구동 제어와의 관계를 나타내고 있다. 또한, 화소 제어 1과 출력 제어 1은 화상 생성에 이용되는 통상 화소와 관련되는 화소 제어와 출력 제어이며, 화소 제어 2와 출력 제어 2는, 초점 조정에 이용되는 초점 화소와 관련되는 화소 제어와 출력 제어이다. 또한, 도 10에서 횡축은 시간 방향을 나타내고 있다. 또한, 화소 제어 1, 화소 제어 2, 출력 제어 1, 출력 제어 2에 있어서의 종축은, 대상이 되는 화소 신호의 출력원인 화소의 행 방향의 위치를 나타내고 있다.
도 10에 나타내는 기간 T11는, 본 실시형태에 관한 이미지 센서(100)에서의 촬영 간격을 나타내고 있다. 기간 T12는, 본 실시형태에 관한 통상 화소의 노광 시간을, 기간 T13은 본 실시형태에 관한 위상차 화소의 노광 시간을 나타내고 있다. 본 실시형태에 있어서, 통상 화소의 노광 시간인 기간 T12와 위상차 화소의 노광 시간인 기간 T13는 달라도 좋다. 예를 들면, 제어부(101)는, 노광 제어부로서의 기능을 발휘하고, 위상차 화소(초점 검출 화소)의 노광 시간인 기간 T13이, 통상 화소의 노광 시간인 기간 T12보다 길어지도록, 위상차 화소의 노광과 통상 화소의 노광을 제어해도 좋다. 이러한 구성에 의하면, 전술한 바와 같이, 어두운 영역에서의 AF 정밀도가 향상된다고 하는 효과가 있다.
또한, 참조 부호 d210~d212는, 노광 기간 d110~d112 각각에 있어서, 이미지 센서(100)가 통상 화소로부터 읽어 내어 프레임 메모리(190)에 기록한 메인 화소 신호를, 출력 회로(180)가 출력하는 출력 처리를 나타내고 있다. 또한, 참조 부호 d221, d222는, 노광 기간 d121, d122 각각에 있어서, 이미지 센서(100)가 위상차 화소로부터 판독한 초점 화소 신호를, 출력 회로(180)가 출력하는 출력 처리를 나타내고 있다. 또한, 출력 처리 d210~d212에서는, 출력 회로(180)는 메인 화소 신호를 도 4에 나타내는 스트림 n2로서 출력하고, 출력 처리 d221, d222에서는, 출력 회로(180)는 초점 화소 신호를 도 4에 나타내는 스트림 n1로서 출력한다.
또한, 참조 부호 d311, d312는, 출력 처리 d221, d222에 있어서 초점 화소 신호가 입력된(출력 회로(180)의 출력을 받은) 화상 처리부(210)가 피사체 거리를 측정(측거)하는 위상차 검출 처리를 나타내고 있다. 또한, 참조 부호 d321, d322는, 위상차 검파 처리 d221, d222에서 측정된 피사체 거리와, 노광 기간 d121, d122에서의 렌즈 위치에 기초하여 구동 제어부(12)가 렌즈 구동량을 산출하는 AF 연산 처리를 나타내고 있다. 또한, 참조 부호 d331, d332는, AF 연산 처리 d321, d322에서 산출된 렌즈 구동량에 기초하여, 구동 제어부(12)가 렌즈 구동 지시를 발하고 나서 렌즈 구동이 완료할 때까지의 렌즈 구동 처리를 나타내고 있다. 또한, 이하에서는, 위상차 검출 처리, AF 연산 처리 및 렌즈 구동 처리를 합쳐서 AF와 관련되는 일련의 처리라고 부르는 경우가 있다.
도 10에 나타낸 바와 같이, 노광 기간 d110~d112에 있어서의 통상 화소의 노광과 메인 화소 신호의 판독(프레임 메모리(190)에의 기록) 종료 후에, 프레임 메모리(190)로부터 판독된 메인 화소 신호의 출력 처리 d210~d212를 행한다. 한편, 노광 기간 d121, d122에 있어서의 위상차 화소의 노광과 초점 화소 신호의 판독 종료 후에, 판독된 초점 화소 신호의 출력 처리 d221, d222를 행한다.
여기서, 본 실시형태에서는, 통상 화소의 수에 비해, 초점 조정에 이용되는 위상차 화소의 수는 적고, 또한, 초점 화소 신호는 프레임 메모리(190)를 경유하지 않고 출력되기 때문에, 출력 처리 d221, d222가 출력 처리 d210~d212에 비해 처리 시간이 작다. 따라서, 예를 들어, 위상차 화소의 A/D 변환(판독)과 출력 처리 d221의 직후에, 통상 화소의 A/D 변환과 프레임 메모리(190)에의 기록을 행함으로써, 렌즈 구동 처리 d331가 통상 화소의 입출력 중(출력 처리 d211)에 완료된다. 즉, AF에 관한 일련의 처리 d311, d321, d331를 통상 화소의 노광 기간 d112의 개시까지 완료하는 것이 가능하다. 따라서, 도 10에 나타내는 본 동작예에 있어서, 측거를 위한 노광 개시부터, 오토 포커스가 반영될 때까지 필요한 시간(지연 시간)은, 촬영 간격 T11과 위상차 화소의 노광 기간 d121의 합계 이하이다. 위상차 화소의 노광 기간 d121은, 촬영 간격에 비해 작기 때문에, 도 3을 참조하여 설명한 비교예에 비해 본 동작예는 오토 포커스에 걸리는 지연 시간을 작게 할 수 있다.
또한, 도 10의 예에서는, 렌즈 구동 처리 d331가 위상차 화소의 노광 기간 d122의 개시까지 완료하는 예를 나타내고 있지만, 본 동작예는 이러한 예로 한정되지 않는다. 예를 들어, 렌즈 구동 처리 d331가 위상차 화소의 노광 기간 d122의 개시까지 완료되고 있지 않았던 경우, 노광 기간 d122에 있어서의 렌즈의 평균 위치나 중앙 위치 등이 대표적인 렌즈 위치로서 이용되어, AF 연산 처리 d322를 행해도 좋다.
<3-2. 동작예 2>
이상, 본 실시형태에 관한 촬상 장치(1)의 동작예로서, 1회의 초점 조정을 위해 초점 화소 신호의 판독과 출력이 1회씩 행해지는 동작예 1에 대해서 도 10을 참조하여 설명하였다. 계속하여, 1회의 초점 조정을 위해 초점 화소 신호의 판독과 출력이 복수 회 행해지는 동작예 2를 도 11을 참조하여 설명한다. 도 11은, 본 실시형태에 관한 촬상 장치(1)에 있어서, 1회의 초점 조정을 위해 초점 화소 신호의 판독과 출력이 복수 회 행해지는 동작예 2를 설명하기 위한 개략적인 타임 차트이다.
도 11은, 각 화소에서의 노광·읽기 처리와 관련되는 화소 제어와, 출력 회로(180)로부터 화상 처리 IC(200)로의 화소 신호의 전송 처리와 관련되는 출력 제어와, 화소 신호에 기초하는 초점 조정 처리와 관련되는 위상차 검출과, AF 연산과, 렌즈 구동 제어와의 관계를 나타내고 있다. 또한, 도 10과 마찬가지로, 도 11에 있어서의 화소 제어 1과 출력 제어 1은, 화상 생성에 이용되는 통상 화소와 관련되는 화소 제어와 출력 제어이며, 화소 제어 2와 출력 제어 2는, 초점 조정에 이용되는 초점 화소와 관련되는 화소 제어와 출력 제어이다. 또한, 도 10과 마찬가지로, 도 11에 있어서 횡축은 시간 방향을 나타내고 있다. 또한, 도 10과 마찬가지로, 도 11에 있어서, 화소 제어 1, 화소 제어 2, 출력 제어 1, 출력 제어 2에 있어서의 종축은, 대상이 되는 화소 신호의 출력원인 화소의 행 방향의 위치를 나타내고 있다.
도 11에 나타내는 참조 부호 T21 및 T22는, 본 실시형태에 관한 이미지 센서(100)에 있어서의 수직 동기 신호의 일례를 나타내고 있다. 또한, 참조 부호 t1, t2는, 촬영 처리가 개시될 때의 시각으로서, 기간 T21은 시각 t1으로부터 t2까지의 촬영 간격(통상 화소의 노광을 행하는 간격)이다. 예를 들어, 촬영 간격인 기간 T21은 약 1/20［s］이며, 대응하는 프레임 레이트는 약 20［fps］이다. 또한, 기간 T22는 약 1/120［s］이며, 대응하는 프레임 레이트는 약 120［fps］이다.
또한, 도 11에 나타내는 참조 부호 d151, d152는, 도 10을 참조하여 설명한 노광 기간 d111, d112와 같다. 또한, 참조 부호 d250~d252는, 도 10을 참조하여 설명한 출력 처리 d210~d212와 같다. 또한, 출력 처리 d210는, 노광 기간 d111보다 이전에 행해진 통상 화소의 노광·판독에 대응하는 출력 처리를 나타내고 있다.
또한, 도 11에 나타내는 참조 부호 d161~d165는, 도 10을 참조하여 설명한 노광 기간 d121, d122와 같지만, 도 11에 나타내는 예에서는, 1회의 초점 조정을 위해 복수 회의 노광과 판독(노광 기간)이 행해진다. 또한, 참조 부호 d261~d265는, 도 10을 참조하여 설명한 출력 처리 d221, d222와 같지만, 도 11에 나타내는 예에서는, 1회의 초점 조정을 위해 복수 회의 출력 처리를 행한다.
또한, 도 11에 나타내는 참조 부호 d351~d355는, 도 10을 참조하여 설명한 위상차 검출 처리 d311, d312와 같지만, 도 11에 나타내는 예에서는, 노광 기간 d161~d165에 대응하여, 1회의 초점 조정을 위해 복수 회의 위상차 검출 처리를 행한다. 마찬가지로, 참조 부호 d361~d365는, 도 10을 참조하여 설명한 AF 연산 처리 d321, d322와 같지만, 도 11에 나타내는 예에서는, 1회의 초점 조정을 위해 복수 회의 AF 연산 처리를 행한다.
또한, 도 11에 나타내는 참조 부호 d371, d372는, 도 10을 참조하여 설명한 렌즈 구동 처리 d331와 같다. 다만, 도 11에 나타내는 예에서는, 1회의 렌즈 구동 처리(예를 들어, 렌즈 구동 처리 d371)에 대해서, AF 연산 처리 d361~d364에 의한 4회분의 AF 연산의 결과가 입력된다. 본 동작예에서는, 구동 제어부(12)는, 렌즈 구동 중이더라도, AF 연산 처리를 실시할 때에, 최신의 AF 연산 결과를 이용하여 렌즈 구동 지시를 발함으로써, 보다 고정밀도로 렌즈 구동 제어를 행하는 것이 가능하게 된다. 그 결과, 오토 포커스의 정밀도가 향상된다.
또한, 도 11에 나타내는 렌즈 구동 처리 d371에 관한 초점 조정에 주목하면, AF 연산 처리 d364로부터, 렌즈 구동 처리 d371가 완료할 때까지의 시간은, 도 10에 나타내는 AF 연산 처리 d321로부터 렌즈 구동 처리 d331가 완료할 때까지의 시간보다 작다. 이것은, 도 11의 예에서, AF 연산 처리 d364의 결과를 이용하여 렌즈 구동하는 경우, (직전의 AF 연산 처리인) AF 연산 처리 d363의 결과가 이미 렌즈 구동 처리에 입력·반영되어 있기 때문에, 필요한 렌즈 구동량이 작아지기 때문이다. 여기서, 측거를 위한 노광 기간 d164의 개시부터, 오토 포커스가 반영된 노광 기간 d152의 개시 시간까지를, 오토 포커스에 걸리는 지연 시간으로 파악하는 것이 가능하다. 따라서, 본 동작예는, 보다 오토 포커스에 걸리는 지연 시간을 작게 하는 것이 가능하다.
상기와 같이, 도 11에 나타내는 본 동작예에서는, 메인 화소 신호가 1회 출력되는 기간 중에, 초점 화소 신호가 복수 회 출력된다. 본 실시형태에 관한 이미지 센서(100)가 프레임 메모리(190)를 구비하고, 프레임 메모리(190)가 메인 화소 신호를 기록 가능하기 때문에, 상기와 같이, 프레임 메모리(190)로부터 읽어진 메인 화소 신호의 입출력 중에 위상차 화소의 노광 처리나 출력 처리가 가능하게 된다. 따라서, 1회의 초점 조정을 위해, 복수 회의 초점 화소 신호의 출력 처리, 위상차 검출 처리, AF 연산 처리가 가능하게 되어, 오토 포커스에 관한 지연 시간을 작게 하는 것이 가능함과 함께, 오토 포커스의 정밀도가 향상된다.
또한, 도 11에 나타내는 바와 같이, 노광 기간 d162, d163, d164와 렌즈 구동 처리 d371의 기간이 중복하기 때문에, 전술한 바와 같이, 각 노광 기간에 있어서의 대표적인 렌즈 위치가 이용되어, AF 연산 처리 d362, d363, d364를 행해도 좋다.
<<4. 변형예>>
이상, 본 개시의 일 실시형태를 설명하였다. 이하에서는, 본 실시형태의 몇몇 변형예를 설명한다. 또한, 이하에 설명하는 각 변형예는, 단독으로 본 실시형태에 적용되어도 좋고, 조합되어 본 실시형태에 적용되어도 좋다. 또한, 각 변형예는, 본 실시형태에서 설명한 구성에 대신하여 적용되어도 좋고, 본 실시형태에서 설명한 구성에 대해 추가적으로 적용되어도 좋다.
<4-1. 변형예 1>
상기 실시형태에서는, 초점 조정에 이용되는 초점 검출 화소가, 위상차 방식에 의해 초점 조정을 행하기 위한 위상차 화소인 예를 설명하였지만, 본 기술은 상기 예로 한정되지 않는다. 예를 들어, 초점 검출 화소는, 화상의 콘트라스트가 높아지는 렌즈 위치를 합초 위치로 하는 콘트라스트 방식에 의해 초점 조정을 행하기 위한 화소여도 좋다. 초점 조정을 위해 콘트라스트 방식이 이용되는 경우, 초점 검출 화소는, 화상 생성에도 이용 가능한 통상 화소이어도 좋다. 이 경우, 후술하는 변형예 2와 마찬가지로, 통상 화소의 일부의 화소, 또는 일부의 라인이, 상기 이외의 화소와는 독립하여 제어되어도 좋다. 또한, 초점 조정 방식으로서 상기 위상차 방식과 콘트라스트 방식의 2개의 방식을 조합한 하이브리드 방식이 이용되는 경우에도, 본 기술은 적용 가능하다.
<4-2. 변형예 2>
상기 실시형태에서는, 제어부가, 화소 어레이부에 미리 배치된 초점 검출 화소로부터의 초점 화소 신호의 판독과 화상 생성용의 통상 화소로부터의 메인 화소 신호의 판독이, 독립하여 행해지도록 화소를 제어하는 예를 설명하였지만 본 기술은 상기한 바로 한정되지 않는다. 본 기술에서는, 임의의 화소가 독립하여(선행하여) 판독되어도 좋다.
예를 들어, 선행하여 판독되어지는 화소는 초점 검출 화소로 한정되지 않고, 통상 화소 중, 일부의 화소 또는 일부의 라인으로부터의 판독과 출력이 선행하여 행해지고, 상기 이외의 화소가 프레임 메모리에 기록된 후에 판독되어 출력되도록 제어하는 것도 가능하다. 상기한 제어를 실시함으로써, 예를 들어, 일부의 화소로부터 선행하여 출력되는 화소 신호에 기초하여, 화상 처리 IC가 화상의 해석을 실시하거나 표시부가 저해상도의 프리뷰 화상(소위 쓰루(through) 화상)을 표시하거나 해도 좋다. 이러한 구성에 의하면, 모든 화소를 판독하고 나서 화상의 해석이나 프리뷰 화상의 표시를 행하는 경우에 비해, 촬영으로부터 해석이나 표시의 처리를 행할 때까지의 시간을 단축하는 것이 가능하다.
또한, 임의의 화소를 독립하여 판독이 가능하기 때문에, 선행하여 읽어내지는 화소가, 초점 조정에 이용되는 초점 검출 화소인 경우에 있어서, 초점 검출 화소의 배치는, 미리 정해져 있을 필요는 없다. 예를 들어, 초점 검출 화소는, 화상 처리에 기초하여 특정되어도 좋다. 이 경우, 제어부는 화상 처리에 기초하여 특정되는 초점 검출 화소로부터의 초점 화소 신호의 판독과 메인 화소 신호의 판독이, 독립하여 행해지도록 화소를 제어한다. 또한, 화상 처리는, 예를 들어, 화상 처리 IC가 구비하는 화상 처리부에 의해 행해지고, 화상 처리 결과를 받은 이미지 센서가 초점 검출 화소를 특정해도 좋다. 이러한 구성에 의하면, 화상 처리에 기초하여 특정되는, 필요한 초점 검출 화소만 선행하여 판독·출력을 행하면 되기 때문에, 초점 화소 신호의 판독 및 출력과 관련되는 처리 시간을 보다 단축할 수 있는 경우가 있다. 또한, 이러한 구성에 의하면, 유저의 목적에 따른 화상 처리의 결과에 기초하여 초점 검출 화소를 특정함으로써, 촬상 장치에 의한 촬영 범위 중, 유저가 바라는 영역에 합초한 상태에서 촬영을 행하는 것이 가능하다.
예를 들어, 상기 화상 처리는, 피사체 추적 처리를 포함하고, 상기 화상 처리에 기초하여 특정되는 초점 검출 화소는, 피사체 추적 처리에 의해 특정되는 피사체 영역(초점 조정용의 검출 윈도우)에 대응하는 화소여도 좋다. 이러한 구성에 의하면, 촬상 장치에 의한 촬영 범위 중, 특정의 피사체에 합초한 상태에서 촬영을 행하는 것이 가능하다.
예를 들어, 상기 화상 처리는, 물체 검출 처리를 포함하고, 상기 화상 처리에 기초하여 특정되는 초점 검출 화소는, 물체 검출 처리에 의해 특정되는 물체 영역(초점 조정용의 검출 윈도우)에 대응하는 화소여도 좋다. 검출되는 물체로서는, 예를 들어 인물, 얼굴, 자동차 등이어도 좋다. 이러한 구성에 의하면, 촬상 장치에 의한 촬영 범위 중, 특정의 물체에 합초한 상태에서 촬영을 행하는 것이 가능하다.
<<5. 결론>>>
이상 설명한 바와 같이, 본 개시의 일 실시형태에 의하면, 초점 조정에 이용되는 초점 검출 화소로부터의 초점 화소 신호를, 통상 화소로부터의 메인 화소 신호에 대해 선행하여 판독하여 출력함으로써, 오토 포커스에 걸리는 지연 시간을 작게 할 수 있다. 또한, 본 실시형태에 관한 이미지 센서는, 프레임 메모리를 구비함으로써, 메인 화소 신호를 1회 출력하는 기간에, 초점 화소 신호를 복수 회 출력하는 것이 가능하여, 오토 포커스와 관련되는 정밀도를 높임과 함께, 지연 시간을 보다 더 작게 할 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시형태에 대해 상세하게 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서의 통상의 지식을 가지는 사람이면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에 있어, 각종의 변경예 또는 수정예에 상도 할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
예를 들어, 상기 실시형태에서는, 촬상 장치가 전자적으로 각 화소의 노광 기간을 제어하는 예를 설명하였지만, 본 기술은 이러한 예로 한정되지 않는다. 예를 들어, 기계식의 선막(先幕) 및 후막(後幕)을 이용한 소위 포컬 플레인 셔터(focal plane shutter)를 구비하여 선막과 후막의 이동에 의해 각 화소의 노광 기간을 제어하는 촬상 장치에 본 기술이 적용되어도 좋다.
또한, 상기 실시형태에서는, 통상 화소의 화소 제어(노광과 판독을 행하는 노광 기간)의 직전에 위상차 화소의 화소 제어를 행하는 예를 설명하였지만, 본 기술은 이러한 예로 한정되지 않는다. 예를 들어, 도 10의 예에서, 통상 화소의 화소 제어(노광 기간 d111)의 직전에 위상차 화소의 화소 제어(노광 기간 d121)를 행하고 있지만, 통상 화소의 화소 제어의 후에 위상차 화소의 화소 제어를 행해도 좋다. 특히, 통상 화소의 화소 제어의 후에 행해지는 위상차 화소의 화소 제어에 기초하는 렌즈 구동 처리를, 해당 통상 화소의 화소 제어의 다음에 행해지는 통상 화소의 화소 제어 이전에 완료하는 것이 가능한 경우, 오토 포커스에 걸리는 지연 시간이 보다 작아질 수 있다.
또한, 상기 실시형태의 동작예에 있어서의 각 처리는, 반드시 타임 차트도로서 기재된 순서에 따라 시계열로 처리할 필요는 없다. 예를 들면, 상기 실시형태의 동작예에 있어서의 각 처리는, 타임 차트도로서 기재한 순서와 다른 순서로 처리되어도 좋고, 병렬적으로 처리되어도 좋다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이고 한정적이 것은 아니다. 즉, 본 개시와 관련되는 기술은, 상기 효과와 함께, 또는 상기 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
촬상 제어 장치로서,
초점 조정에 이용되는 초점 검출 화소로부터의 초점 화소 신호의 판독과 화상 생성에 이용되는 화소로부터의 메인 화소 신호의 판독이, 독립하여 행해지도록 화소를 제어하도록 구성된 제어부와,
상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 출력하도록 구성된 출력부
를 포함하는 촬상 제어 장치.
(2)
상기 초점 화소 신호는, 상기 메인 화소 신호가 1회 출력되는 기간 중에, 복수 회 출력되는, 상기 (1)에 기재된 촬상 제어 장치.
(3)
상기 메인 화소 신호를 기록하도록 구성된 프레임 메모리를 더 포함하고,
상기 출력부는, 상기 프레임 메모리에 기록된 상기 메인 화소 신호를 출력하는, 상기 (1) 또는 (2)에 기재된 촬상 제어 장치.
(4)
상기 초점 검출 화소의 노광과 상기 화상 생성에 이용되는 화소의 노광을 각각 제어하도록 구성된 노광 제어부를 더 포함하는, 상기 (1)~(3) 중 어느 하나에 기재된 촬상 제어 장치.
(5)
상기 노광 제어부는, 상기 초점 검출 화소의 노광 시간과 상기 화상 생성에 이용되는 화소의 노광 시간이 다르도록, 상기 초점 검출 화소의 노광과 상기 화상 생성에 이용되는 화소의 노광을 제어하는, 상기 (4)에 기재된 촬상 제어 장치.
(6)
상기 제어부는, 화상 처리에 기초하여 특정되는 상기 초점 검출 화소로부터의 상기 초점 화소 신호의 판독과 상기 메인 화소 신호의 판독이 독립하여 행해지도록 상기 화소를 제어하는, 상기 (1)~(5) 중 어느 하나에 기재된 촬상 제어 장치.
(7)
상기 화상 처리는, 피사체 추적 처리를 포함하고, 상기 화상 처리에 기초하여 특정되는 상기 초점 검출 화소는 상기 피사체 추적 처리에 의해 특정되는 피사체 영역에 대응하는 화소인, 상기 (6)에 기재된 촬상 제어 장치.
(8)
상기 화상 처리는, 물체 검출 처리를 포함하고, 상기 화상 처리에 기초하여 특정되는 상기 초점 검출 화소는 상기 물체 검출 처리에 의해 특정되는 물체 영역에 대응하는 화소인, 상기 (6) 또는 (7)에 기재된 촬상 제어 장치.
(9)
상기 초점 검출 화소는, 위상차 방식에 의해 초점 조정을 행하기 위한 화소인, 상기 (1)~(8) 중 어느 하나에 기재된 촬상 제어 장치.
(10)
촬상 장치로서,
초점 조정에 이용되는 초점 검출 화소로부터의 초점 화소 신호의 판독과 화상 생성에 이용되는 화소로부터의 메인 화소 신호의 판독이 독립하여 행해지도록 화소를 제어하도록 구성된 제어부와,
상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 출력하도록 구성된 출력부와,
출력된 상기 초점 화소 신호와 출력된 상기 메인 화소 신호를 서로 독립하여 입력으로서 받아들이도록 구성된 입력부와,
상기 메인 화소 신호의 입력 중에 렌즈 구동을 행하도록, 상기 초점 화소 신호에 기초하는 렌즈 구동 지시를 발하도록 구성된 렌즈 구동 지시부
를 포함하는 촬상 장치.
(11)
촬상 제어 방법으로서,
초점 조정에 이용되는 초점 검출 화소로부터의 초점 화소 신호의 판독과 화상 생성에 이용되는 화소로부터의 메인 화소 신호의 판독이 독립하여 행해지도록 화소를 제어하는 단계와,
상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 출력하는 단계
를 포함하는, 촬상 제어 방법.
(12)
이미지 센서로서,
오토 포커스 연산에 이용되는 초점 화소 신호로부터의 초점 검출 화소의 판독과, 화상 생성에 이용되는 메인 화소 신호로부터의 화소의 판독을 독립하여 제공하고,
상기 초점 화소 신호와 상기 메인 화소 신호를, 상기 이미지 센서로부터 별개의 신호로서 독립하여 출력하도록 구성된 회로를 포함하는, 이미지 센서.
(13)
상기 회로는, 상기 메인 화소 신호가 1회 출력되는 기간 중에, 상기 초점 화소 신호를 복수 회 출력하도록 구성된, 상기 (12)에 기재된 이미지 센서.
(14)
상기 메인 화소 신호를 기록하도록 구성된 프레임 메모리를 더 포함하고,
상기 회로는, 상기 프레임 메모리에 기록된 상기 메인 화소 신호를 출력하도록 구성된, 상기 (12)에 기재된 이미지 센서.
(15)
상기 회로는, 상기 초점 검출 화소의 노광과 상기 화소의 노광을 각각 제어하도록 구성된, 상기 (12)에 기재된 이미지 센서.
(16)
상기 초점 검출 화소의 노광 시간과 상기 화소의 노광 시간은 상이한, 상기 (15)에 기재된 이미지 센서.
(17)
상기 회로는, 화상 처리 요구에 기초하는 상기 초점 검출 화소의 판독과, 상기 메인 화소 신호의 판독을 독립하여 제어하도록 구성된, 상기 (12)에 기재된 이미지 센서.
(18)
상기 화상 처리 요구는, 피사체 추적 처리로부터의 요구를 포함하고, 상기 화상 처리 요구에 기초하여 특정되는 상기 초점 검출 화소는 상기 피사체 추적 처리에 의해 특정되는 피사체 영역에 대응하는 화소인, 상기 (17)에 기재된 이미지 센서.
(19)
상기 화상 처리 요구는, 물체 검출 처리로부터의 요구를 포함하고, 상기 화상 처리에 기초하여 특정되는 상기 초점 검출 화소는 상기 물체 검출 처리에 의해 특정되는 물체 영역에 대응하는 화소인, 상기 (17)에 기재된 이미지 센서.
(20)
상기 초점 검출 화소는, 위상차 검출 방식을 사용한 오토 포커스 연산에 이용되는 위상 검출 화소이고,
상기 화소를 포함하는 상기 메인 화소 신호의 일부를 판독하는데 사용되는 기간 중에, 상기 회로는, 상기 초점 화소 신호로부터 상기 초점 검출 화소 및 적어도 또 다른 초점 검출 화소를 판독하도록 구성된, 상기 (12)에 기재된 이미지 센서.
(21)
상기 기간 중에, 상기 초점 검출 화소 및 상기 적어도 또 다른 초점 검출 화소를 이용하여 복수의 오토 포커스 연산이 수행되는, 상기 (20)에 기재된 이미지 센서.
(22)
촬상 장치로서,
오토 포커스 연산에 이용되는 초점 화소 신호로부터의 초점 검출 화소의 판독과, 화상 생성에 이용되는 메인 화소 신호로부터의 화소의 판독을 독립하여 제공하고,
상기 초점 화소 신호와 상기 메인 화소 신호를, 상기 이미지 센서로부터 별개의 신호로서 독립하여 출력하도록 구성된 회로와,
상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 입력으로서 받아들이도록 구성된 입력 인터페이스와,
상기 메인 화소 신호의 입력 중에 렌즈 구동이 행해지도록, 상기 초점 화소 신호에 기초하는 렌즈 구동 지시를 발하도록 구성된 렌즈 구동 제어기
를 포함하는, 촬상 장치.
(23)
상기 회로는, 상기 메인 화소 신호가 1회 출력되는 기간 중에, 상기 초점 화소 신호를 복수 회 출력하도록 구성된, 상기 (22)에 기재된 촬상 장치.
(24)
상기 메인 화소 신호를 기록하도록 구성된 프레임 메모리를 더 포함하고,
상기 회로는, 상기 프레임 메모리에 기록된 상기 메인 화소 신호를 출력하도록 구성된, 상기 (22)에 기재된 촬상 장치.
(25)
상기 회로는, 상기 초점 검출 화소의 노광과 상기 화소의 노광을 각각 제어하도록 구성된, 상기 (22)에 기재된 촬상 장치.
(26)
상기 초점 검출 화소의 노광 시간은 상기 화상의 노광 시간과 상이한, 상기 (25)에 기재된 촬상 장치.
(27)
상기 회로는, 화상 처리 요구에 기초하여 상기 초점 검출 화소의 판독과 상기 메인 화소 신호의 판독을 독립하여 제어하도록 구성된, 상기 (22)에 기재된 촬상 장치.
(28)
상기 화상 처리 요구는, 피사체 추적 처리로부터의 요구를 포함하고, 상기 화상 처리 요구에 기초하여 특정되는 상기 초점 검출 화소는 상기 피사체 추적 처리에 의해 특정되는 피사체 영역에 대응하는 화소인, 상기 (27)에 기재된 촬상 장치.
(29)
상기 화상 처리 요구는, 물체 검출 처리로부터의 요구를 포함하고, 상기 화상 처리에 기초하여 특정되는 상기 초점 검출 화소는 상기 물체 검출 처리에 의해 특정되는 물체 영역에 대응하는 화소인, 상기 (27)에 기재된 촬상 장치.
(30)
상기 초점 검출 화소는, 위상차 검출 방식을 사용한 오토 포커스 연산에 이용되는 위상 검출 화소이고,
상기 화소를 포함하는 상기 메인 화소 신호의 일부를 판독하는데 사용되는 기간 중에, 상기 회로는, 상기 초점 화소 신호로부터 상기 초점 검출 화소 및 적어도 또 다른 초점 검출 화소를 판독하도록 구성되고,
상기 초점 검출 화소 및 상기 적어도 또 다른 초점 검출 화소를 이용하여 복수의 오토 포커스 연산이 수행되는, 상기 (22)에 기재된 촬상 장치.
(31)
촬상 제어 방법으로서,
회로를 통해, 오토 포커스 연산에 이용되는 초점 화소 신호로부터의 초점 검출 화소의 판독과, 화상 생성에 이용되는 메인 화소 신호로부터의 화소의 판독을 독립하여 제공하는 단계와,
상기 회로를 통해, 상기 초점 화소 신호와 상기 메인 화소 신호를, 상기 이미지 센서로부터 별개의 신호로서 독립하여 출력하는 단계
를 포함하는, 촬상 제어 방법.
1: 촬상 장치
11: 포커스 렌즈
12: 구동 제어부
13: 조작부
14: 코덱 처리부
15: 기록부
16: 표시부
100: 이미지 센서
100-1: 화소 칩
100-2: 주변 회로 칩
101: 제어부
111: 화소 어레이부
180: 출력 회로
190: 프레임 메모리
210: 화상 처리부

Claims (20)

  1. 이미지 센서로서,
    오토 포커스 연산에 이용되는 초점 화소 신호로부터의 초점 검출 화소의 판독과, 화상 생성에 이용되는 메인 화소 신호로부터의 화소의 판독을 독립하여 제공하고,
    상기 초점 화소 신호와 상기 메인 화소 신호를, 상기 이미지 센서로부터 별개의 신호로서 독립하여 출력하도록 구성된 회로를 포함하는, 이미지 센서.
  2. 제1항에 있어서,
    상기 회로는, 상기 메인 화소 신호가 1회 출력되는 기간 중에, 상기 초점 화소 신호를 복수 회 출력하도록 구성된, 이미지 센서.
  3. 제1항에 있어서,
    상기 메인 화소 신호를 기록하도록 구성된 프레임 메모리를 더 포함하고,
    상기 회로는, 상기 프레임 메모리에 기록된 상기 메인 화소 신호를 출력하도록 구성된, 이미지 센서.
  4. 제1항에 있어서,
    상기 회로는, 상기 초점 검출 화소의 노광과 상기 화소의 노광을 각각 제어하도록 구성된, 이미지 센서.
  5. 제4항에 있어서,
    상기 초점 검출 화소의 노광 시간과 상기 화소의 노광 시간은 상이한, 이미지 센서.
  6. 제1항에 있어서,
    상기 회로는, 화상 처리 요구에 기초하는 상기 초점 검출 화소의 판독과, 상기 메인 화소 신호의 판독을 독립하여 제어하도록 구성된, 이미지 센서.
  7. 제6항에 있어서,
    상기 화상 처리 요구는, 피사체 추적 처리로부터의 요구를 포함하고, 상기 화상 처리 요구에 기초하여 특정되는 상기 초점 검출 화소는 상기 피사체 추적 처리에 의해 특정되는 피사체 영역에 대응하는 화소인, 이미지 센서.
  8. 제6항에 있어서,
    상기 화상 처리 요구는, 물체 검출 처리로부터의 요구를 포함하고, 상기 화상 처리에 기초하여 특정되는 상기 초점 검출 화소는 상기 물체 검출 처리에 의해 특정되는 물체 영역에 대응하는 화소인, 이미지 센서.
  9. 제1항에 있어서,
    상기 초점 검출 화소는, 위상차 검출 방식을 사용한 오토 포커스 연산에 이용되는 위상 검출 화소이고,
    상기 화소를 포함하는 상기 메인 화소 신호의 일부를 판독하는데 사용되는 기간 중에, 상기 회로는, 상기 초점 화소 신호로부터 상기 초점 검출 화소 및 적어도 또 다른 초점 검출 화소를 판독하도록 구성된, 이미지 센서
  10. 제9항에 있어서,
    상기 기간 중에, 상기 초점 검출 화소 및 상기 적어도 또 다른 초점 검출 화소를 이용하여 복수의 오토 포커스 연산이 수행되는, 이미지 센서.
  11. 촬상 장치로서,
    오토 포커스 연산에 이용되는 초점 화소 신호로부터의 초점 검출 화소의 판독과, 화상 생성에 이용되는 메인 화소 신호로부터의 화소의 판독을 독립하여 제공하고,
    상기 초점 화소 신호와 상기 메인 화소 신호를, 상기 이미지 센서로부터 별개의 신호로서 독립하여 출력하도록 구성된 회로와,
    상기 초점 화소 신호와 상기 메인 화소 신호를 서로 독립하여 입력으로서 받아들이도록 구성된 입력 인터페이스와,
    상기 메인 화소 신호의 입력 중에 렌즈 구동이 행해지도록, 상기 초점 화소 신호에 기초하는 렌즈 구동 지시를 발하도록 구성된 렌즈 구동 제어기
    를 포함하는, 촬상 장치.
  12. 제11항에 있어서,
    상기 회로는, 상기 메인 화소 신호가 1회 출력되는 기간 중에, 상기 초점 화소 신호를 복수 회 출력하도록 구성된, 촬상 장치.
  13. 제11항에 있어서,
    상기 메인 화소 신호를 기록하도록 구성된 프레임 메모리를 더 포함하고,
    상기 회로는, 상기 프레임 메모리에 기록된 상기 메인 화소 신호를 출력하도록 구성된, 촬상 장치.
  14. 제11항에 있어서,
    상기 회로는, 상기 초점 검출 화소의 노광과 상기 화소의 노광을 각각 제어하도록 구성된, 촬상 장치.
  15. 제14항에 있어서,
    상기 초점 검출 화소의 노광 시간은 상기 화상의 노광 시간과 상이한, 촬상 장치.
  16. 제11항에 있어서,
    상기 회로는, 화상 처리 요구에 기초하여 상기 초점 검출 화소의 판독과 상기 메인 화소 신호의 판독을 독립하여 제어하도록 구성된, 촬상 장치.
  17. 제16항에 있어서,
    상기 화상 처리 요구는, 피사체 추적 처리로부터의 요구를 포함하고, 상기 화상 처리 요구에 기초하여 특정되는 상기 초점 검출 화소는 상기 피사체 추적 처리에 의해 특정되는 피사체 영역에 대응하는 화소인, 촬상 장치.
  18. 제16항에 있어서,
    상기 화상 처리 요구는, 물체 검출 처리로부터의 요구를 포함하고, 상기 화상 처리에 기초하여 특정되는 상기 초점 검출 화소는 상기 물체 검출 처리에 의해 특정되는 물체 영역에 대응하는 화소인, 촬상 장치.
  19. 제11항에 있어서,
    상기 초점 검출 화소는, 위상차 검출 방식을 사용한 오토 포커스 연산에 이용되는 위상 검출 화소이고,
    상기 화소를 포함하는 상기 메인 화소 신호의 일부를 판독하는데 사용되는 기간 중에, 상기 회로는, 상기 초점 화소 신호로부터 상기 초점 검출 화소 및 적어도 또 다른 초점 검출 화소를 판독하도록 구성되고,
    상기 초점 검출 화소 및 상기 적어도 또 다른 초점 검출 화소를 이용하여 복수의 오토 포커스 연산이 수행되는, 촬상 장치.
  20. 촬상 제어 방법으로서,
    회로를 통해, 오토 포커스 연산에 이용되는 초점 화소 신호로부터의 초점 검출 화소의 판독과, 화상 생성에 이용되는 메인 화소 신호로부터의 화소의 판독을 독립하여 제공하는 단계와,
    상기 회로를 통해, 상기 초점 화소 신호와 상기 메인 화소 신호를, 상기 이미지 센서로부터 별개의 신호로서 독립하여 출력하는 단계
    를 포함하는, 촬상 제어 방법.
KR1020177034912A 2015-06-09 2016-05-12 촬상 제어 장치, 촬상 장치 및 촬상 제어 방법 KR102652933B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015116389A JP6682770B2 (ja) 2015-06-09 2015-06-09 撮像装置、及び撮像方法
JPJP-P-2015-116389 2015-06-09
PCT/JP2016/002341 WO2016199351A1 (en) 2015-06-09 2016-05-12 Imaging control device, imaging device, and imaging control method

Publications (2)

Publication Number Publication Date
KR20180016373A true KR20180016373A (ko) 2018-02-14
KR102652933B1 KR102652933B1 (ko) 2024-03-28

Family

ID=56097223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177034912A KR102652933B1 (ko) 2015-06-09 2016-05-12 촬상 제어 장치, 촬상 장치 및 촬상 제어 방법

Country Status (6)

Country Link
US (1) US10244158B2 (ko)
EP (1) EP3269134B1 (ko)
JP (1) JP6682770B2 (ko)
KR (1) KR102652933B1 (ko)
CN (1) CN107690805B (ko)
WO (1) WO2016199351A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6146293B2 (ja) * 2013-12-25 2017-06-14 ソニー株式会社 制御装置、制御方法および制御システム
KR102664014B1 (ko) * 2016-12-23 2024-05-09 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법
WO2019082775A1 (ja) * 2017-10-24 2019-05-02 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
CN108322668B (zh) * 2018-02-27 2020-07-03 浙江光珀智能科技有限公司 一种图像传感器的成像方法
JP7250428B2 (ja) * 2018-03-22 2023-04-03 キヤノン株式会社 撮像装置およびその制御方法
JP7277263B2 (ja) * 2018-07-06 2023-05-18 キヤノン株式会社 撮像装置
US10904424B2 (en) * 2018-07-06 2021-01-26 Canon Kabushiki Kaisha Image capturing apparatus
JP2020012983A (ja) * 2018-07-18 2020-01-23 株式会社ニコン 焦点検出装置、カメラボディおよびカメラシステム
JP2020039094A (ja) * 2018-09-05 2020-03-12 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置及び電子機器
CN109117830B (zh) * 2018-09-21 2022-09-09 思特威(上海)电子科技股份有限公司 图像传感器、目标跟踪系统及方法
JP7195120B2 (ja) * 2018-11-16 2022-12-23 キヤノン株式会社 撮像装置およびその制御方法
EP3674973A1 (en) * 2018-12-28 2020-07-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection and object recognition
JP7218193B2 (ja) 2019-01-31 2023-02-06 キヤノン株式会社 撮像装置
JP7358079B2 (ja) * 2019-06-10 2023-10-10 キヤノン株式会社 撮像装置、撮像システムおよび半導体チップ
JP7395910B2 (ja) 2019-09-27 2023-12-12 ソニーグループ株式会社 情報処理装置、電子機器、端末装置、情報処理システム、情報処理方法及びプログラム
JP7204694B2 (ja) * 2020-02-26 2023-01-16 キヤノン株式会社 比較器、ａｄ変換器、光電変換装置及び撮像システム
JP7204695B2 (ja) * 2020-02-26 2023-01-16 キヤノン株式会社 比較器、ａｄ変換器、光電変換装置及び撮像システム
EP4161062A4 (en) * 2020-05-25 2023-11-22 Sony Group Corporation IMAGING DEVICE AND IMAGING METHOD
KR20220038972A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 전자 장치 및 그 이미지 비닝방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086084A1 (en) * 2007-10-01 2009-04-02 Nikon Corporation Solid-state image device
JP2013223054A (ja) 2012-04-16 2013-10-28 Sony Corp 撮像素子、撮像素子の制御方法、および、撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007150643A (ja) * 2005-11-28 2007-06-14 Sony Corp 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP5115302B2 (ja) * 2008-04-23 2013-01-09 株式会社ニコン 焦点検出装置および焦点検出方法
JP5400406B2 (ja) * 2009-02-06 2014-01-29 キヤノン株式会社 撮像装置
WO2011136031A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 撮像装置
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
US9191566B2 (en) 2012-03-30 2015-11-17 Samsung Electronics Co., Ltd. Image pickup apparatus, method for image pickup and computer-readable recording medium
JP6320272B2 (ja) 2013-11-29 2018-05-09 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086084A1 (en) * 2007-10-01 2009-04-02 Nikon Corporation Solid-state image device
JP2013223054A (ja) 2012-04-16 2013-10-28 Sony Corp 撮像素子、撮像素子の制御方法、および、撮像装置

Also Published As

Publication number Publication date
CN107690805A (zh) 2018-02-13
KR102652933B1 (ko) 2024-03-28
JP6682770B2 (ja) 2020-04-15
CN107690805B (zh) 2021-04-06
US20180077337A1 (en) 2018-03-15
US10244158B2 (en) 2019-03-26
JP2017005443A (ja) 2017-01-05
EP3269134A1 (en) 2018-01-17
WO2016199351A1 (en) 2016-12-15
EP3269134B1 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
KR102652933B1 (ko) 촬상 제어 장치, 촬상 장치 및 촬상 제어 방법
JP7449824B2 (ja) 撮像装置および撮像方法
JP6765860B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP6070599B2 (ja) 情報処理装置、情報処理方法、情報処理システム、および撮像装置
US10681322B2 (en) Solid state imaging device and imaging apparatus having a plurality of addition read modes
JP6561428B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6976480B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP6808420B2 (ja) 撮像素子および撮像装置
JP7047858B2 (ja) 撮像装置及び撮像方法
JP2014230242A (ja) 撮像素子および撮像装置
JP7224930B2 (ja) 撮像装置及び撮像装置の制御方法
US11463646B2 (en) Imaging element comprising output circuit that includes first and second output lines, imaging apparatus, image data output method, and program
JP2019092219A (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2014200055A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant