KR20180052700A - 촬상 소자 및 촬상 장치 - Google Patents

촬상 소자 및 촬상 장치 Download PDF

Info

Publication number
KR20180052700A
KR20180052700A KR1020187010064A KR20187010064A KR20180052700A KR 20180052700 A KR20180052700 A KR 20180052700A KR 1020187010064 A KR1020187010064 A KR 1020187010064A KR 20187010064 A KR20187010064 A KR 20187010064A KR 20180052700 A KR20180052700 A KR 20180052700A
Authority
KR
South Korea
Prior art keywords
signal
unit
pixel
section
image pickup
Prior art date
Application number
KR1020187010064A
Other languages
English (en)
Other versions
KR102057157B1 (ko
Inventor
미에 이시이
켄 사사키
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015183246A external-priority patent/JP6641135B2/ja
Priority claimed from JP2016144756A external-priority patent/JP6929027B2/ja
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority claimed from PCT/JP2016/003900 external-priority patent/WO2017047010A1/en
Publication of KR20180052700A publication Critical patent/KR20180052700A/ko
Application granted granted Critical
Publication of KR102057157B1 publication Critical patent/KR102057157B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/3696—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/23212—
    • H04N5/23219—
    • H04N5/3456—
    • H04N5/3745—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

촬상 소자는, 1개의 마이크로 렌즈와 복수의 광전변환부를 각각 갖는 복수의 단위화소가 행렬로 배열된 화소부; 상기 화소부의 전체 영역의 상기 단위화소로부터 출력된 신호를 보유하는 신호 보유부; 상기 신호 보유부에 의해 보유된 신호를 처리하는 신호 처리부로서, 상기 신호 보유부에 의해 보유된 신호에 대하여 촬상 화상을 생성하기 위한 신호 처리를 실시하는 촬상용 신호 처리부와, 상기 신호 보유부에 의해 보유된 신호에 대하여 초점검출을 위한 신호 처리를 실시하는 초점검출용 신호 처리부를 갖는 신호 처리부; 및 상기 신호 처리부에서 처리된 신호를 출력하는 출력부를 구비한다.

Description

촬상 소자 및 촬상 장치
본 발명은, 촬상 소자 및 촬상 장치에 관한 것이다.
최근, ＣＭＯＳ촬상 소자등을 사용한 촬상 장치에 있어서, 여러가지 니즈(needs)를 지원하기 위해 고기능화, 다기능화가 진행되고 있다. ＣＭＯＳ촬상 소자는, 다화소화, 고속 촬상화가 진행하고, 보다 고속으로 화소신호를 판독시키는 방식으로의 요구가 높아지고 있다.
예를 들면, 고속 판독을 행하는 방식으로서는, 일본 특허공개 2005-278135호 공보에 기재되어 있는 것 같이, 열마다 아날로그 대 디지털 변환 회로(이하, 열ＡＤＣ)를 배치하고, 디지털 출력을 행하는 방식이 최근 보급되고 있다. 열ＡＤＣ를 도입함으로써, 촬상 소자의 외부에의 화소신호의 전송을 디지털로 행하는 것이 가능해지고, 디지털 신호 전송의 기술향상이 따르는, 고속판독이 가능해진다.
한편, 다기능화의 예로서는, 예를 들면 광의 강도분포뿐만 아니라, 광의 입사 방향이나 거리정보도 취득가능한 촬상 장치가 제안되어 있다. 일본특허 제3774597호 공보에서는, 촬상 소자로부터 얻어진 신호를 사용해서 초점검출이 가능한 촬상 소자에 대해서 개시되어 있다. 1개의 마이크로 렌즈에 대응하는 포토다이오드(이하, ＰＤ)를 2개로 분할함으로써, 각 ＰＤ가 촬영 렌즈의 다른 동공면으로부터의 광을 수광하도록 구성되어 있다. 2개의 ＰＤ의 출력을 비교함으로써, 초점검출을 행한다. 또한, 단위화소를 구성하는 2개의 ＰＤ로부터의 출력 신호를 가산함으로써, 통상의 촬상 화상을 얻을 수도 있다.
또한, 일본 특허공개 2009-89105호 공보에 기재된 촬상 장치는, 라이브 뷰 표시를 위한 촬상용 신호, 초점검출용 신호, 노광 제어용 신호를, 같은 프레임의 일회의 수직주사로 고체 촬상 소자로부터 판독하는 모드를 구비하고 있다. 그리고, 일본 특허공개 2009-89105호 공보에 기재된 촬상 장치는, 고속의 초점검출 제어 및 노광 제어로 라이브 뷰 표시를 행할 수 있다고 한다.
그러나, 일본특허 제3774597호 공보 및 일본 특허공개 2009-89105호 공보에 개시되어 있는 것 같은 촬상 소자에 있어서 초점검출과 노광 제어를 행할 경우, 모든 ＰＤ의 신호를 판독할 필요가 있으므로, ＰＤ의 신호를 판독하는데 필요한 시간이 길어져, 프레임 레이트가 저하한다는 점에서 과제가 있다. 특허문헌 1과 같이 열ＡＤＣ를 사용한 판독 방식에 의해 신호 판독 시간을 감소시키는 경우에도, 금후 한층 더 다화소화 및 고 프레임 레이트화가 예상되어, 신호 판독 시간이 한층 더 단축되는 것이 기대된다.
본 발명은, 상술한 과제를 감안하여 이루어진 것으로, 초점검출 신호와 같은 촬상 장치의 구동제어에 필요한 신호를 촬상 소자로부터 출력하기 위해서 걸린 시간을 대폭 단축할 수 있는 촬상 소자를 제공한다.
본 발명의 제1 측면에 따른 촬상 소자는, 1개의 마이크로 렌즈와 복수의 광전변환부를 각각 갖는 복수의 단위화소가 행렬로 배열된 화소부; 상기 화소부의 전체 영역의 상기 단위화소로부터 출력된 신호를 보유하는 신호 보유부; 상기 신호 보유부에 의해 보유된 신호를 처리하는 신호 처리부로서, 상기 신호 보유부에 의해 보유된 신호에 대하여 촬상 화상을 생성하기 위한 신호 처리를 실시하는 촬상용 신호 처리부와, 상기 신호 보유부에 의해 보유된 신호에 대하여 초점검출을 위한 신호 처리를 실시하는 초점검출용 신호 처리부를 갖는, 신호 처리부; 및 상기 신호 처리부에서 처리된 신호를 출력하는 출력부를 구비한다.
본 발명의 제2 측면에 따른 촬상 장치는, 촬상 소자; 상기 촬상 소자로부터 출력된 신호를 처리해서 화상을 생성하는 화상처리부; 및 판독 신호를 처리해서 초점검출을 행하는 초점검출부를 구비하는, 촬상 장치로서, 상기 촬상 소자가, 1개의 마이크로 렌즈와 복수의 광전변환부를 각각 갖는 복수의 단위화소가 행렬로 배열된 화소부; 상기 화소부의 전체 영역의 상기 단위화소로부터 출력된 신호를 보유하는 신호 보유부; 상기 신호 보유부에 의해 보유된 신호를 처리하는 신호 처리부로서, 상기 신호 보유부에 의해 보유된 신호에 대하여 촬상 화상을 생성하기 위한 신호 처리를 실시하는 촬상용 신호 처리부와, 상기 신호 보유부에 의해 보유된 신호에 대하여 초점검출을 위한 신호 처리를 실시하는 초점검출용 신호 처리부를 갖는, 신호 처리부; 및 상기 신호 처리부에서 처리된 신호를 출력하는 출력부를 구비한다.
본 발명의 제3 측면에 따른 촬상 소자는, 피사체로부터의 광을 광전변환하는 복수의 화소가 배치된 화소부; 상기 화소부로부터 신호를 판독하는 판독부; 및 상기 판독부에 의해 판독된 신호 중, 화상을 생성하기 위한 신호로서, 상기 화소부의 전체 영역의 화소의 신호를 상기 촬상 소자의 외부에 출력함과 아울러, 상기 촬상 소자를 구비하는 장치의 구동제어에 사용하는 평가 값을 산출하기 위한 신호로서, 상기 화소부의 일부의 영역의 화소의 신호를 상기 촬상 소자의 외부에 출력하는 출력부를 구비한다.
본 발명의 제4 측면에 따른 촬상 소자는, 피사체로부터의 광을 광전변환하는 복수의 화소가 배치된 화소부; 상기 화소부로부터의 신호를 판독하는 판독부; 위상차 검출 방식을 이용한 초점검출 제어에 사용하는 위상차 평가 값을 산출하는 위상차 검출부; 및 상기 판독부에 의해 판독된 신호 중, 화상을 생성하기 위한 신호로서 상기 화소부의 전체 영역의 화소의 신호를 상기 촬상 소자의 외부에 출력함과 아울러, 상기 화소부의 일부의 영역의 화소의 신호를 사용해서 상기 위상차 검출부에 의해 산출된 상기 위상차 평가 값을 상기 촬상 소자의 외부에 출력하는 출력부를 구비한다.
본 발명의 제5 측면에 따른 촬상 장치는, 피사체로부터의 광을 광전변환하는 복수의 화소가 배치된 화소부와, 상기 화소부로부터의 신호를 판독하는 판독부와, 위상차 검출 방식을 이용한 초점검출 제어에 사용하는 위상차 평가 값을 산출하는 위상차 검출부와, 상기 판독부에 의해 판독된 신호 중, 화상을 생성하기 위한 신호로서 상기 화소부의 전체 영역의 화소의 신호를 본 촬상 소자의 외부에 출력함과 아울러, 상기 화소부의 일부의 영역의 화소의 신호를, 상기 촬상 소자를 구비하는 장치의 구동제어에 사용하는 평가 값을 산출하기 위한 신호로서 상기 촬상 소자의 외부에 출력하는 출력부를 구비하는, 촬상 소자; 및 상기 일부의 영역을 선택하기 위한 선택부를 구비한다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.
도 1은, 본 발명의 제1의 실시예에 따른 촬상 장치의 구성을 나타내는 블록도다.
도 2는, 제1의 실시예의 촬상 소자의 단위화소의 구성을 설명하는 도다.
도 3은, 촬영 렌즈의 사출동공을 통해 출사된 광빔이 단위화소에 입사하는 개념도다.
도 4는, 제1의 실시예의 촬상 소자의 구성을 나타내는 블록도다.
도 5는, 제1의 실시예의 촬상 소자의 화소회로 및 판독 회로를 설명하는 도다.
도 6은, 제1의 실시예의 촬상 소자의 신호 판독 동작을 나타내는 타이밍 차트다.
도 7은, 제1의 실시예의 촬상 소자에 있어서의 신호 처리부의 구성을 설명하는 도다.
도 8a는, 제2의 실시예의 화소영역에 있어서의 초점검출용 신호 출력 영역을 나타내는 도다.
도 8b는, 제2의 실시예의 화소영역에 있어서의 초점검출용 신호 출력 영역을 나타내는 도다.
도 9는, 본 발명의 제3의 실시예에 따른 촬상 장치의 구성을 나타내는 블록도다.
도 10은, 제3의 실시예에 있어서의 촬상면 위상차ＡＦ의 처리의 흐름을 나타내는 흐름도다.
도 11은, 제3의 실시예에 있어서의 초점검출 영역의 선택 화면을 나타내는 도다.
도 12a는, 제3의 실시예에 있어서의 피사체 검출결과 화면을 나타내는 도다.
도 12b는, 제3의 실시예에 있어서의 피사체 검출결과 화면을 나타내는 도다.
도 13은, 제4의 실시예의 촬상 소자의 구성을 설명하는 도다.
도 14는, 제4의 실시예의 촬상 소자의 화소회로 및 판독 회로를 설명하는 도다.
도 15는, 제5의 실시예의 촬상 소자의 전체 구성도다.
도 16은, 제5의 실시예의 촬상 소자의 전체 구성도다.
도 17은, 제6의 실시예의 촬상 소자의 전체 구성도다.
도 18은, 제7의 실시예에 따른 촬상 장치의 구성을 나타내는 블록도다.
도 19는, 제8의 실시예에 따른 촬상 장치의 구성을 나타내는 블록도다.
이하, 본 발명의 실시예에 대해서 첨부 도면을 참조하여 상세히 설명한다.
제1의 실시예
도 1은, 본 발명의 제1의 실시예의 촬상 소자를 갖는 촬상 장치의 구성을 나타내는 블록도다. 촬상 소자(100)는, 수광부(102), 판독부(103), 제어부(104), 신호 처리부(105), 및 출력부(106)를 구비하도록 구성된다. 수광부(102)는, 복수의 단위화소가 행렬로 배치되어 있고, 촬영 렌즈(101)에 의해 결상된 광학상을 수광한다. 수광부(102)의 구성에 대해서는 후술한다. 판독부(Ａ/Ｄ변환부)(103)는, 제어부(104)의 구동제어 신호를 받아, 수광부(102)로부터 출력되는 화상신호를 A/D변환하여, 신호 처리부(105)에 보낸다.
신호 처리부(105)는, A/D변환된 화상신호에 대하여, 신호의 가산, 감산, 승산등의 연산 처리나, 출력부(106)를 거쳐 촬상 소자(100)로부터 외부에 출력하는 신호의 선택 처리등을 행한다. 또한, 신호 처리부(105)는, 기준 레벨 조정 등의 각종 보정이나 데이터의 재배치를 포함하는 처리를 행한다. 이 처리는, 제어부(104)로부터의 제어 신호를 받아서 행해진다. 나중에 상세히 설명할 신호 처리부(105)는, 수광부(102)로부터 얻어진 화상신호에 대하여, 촬상용 신호 처리와 초점검출용 신호 처리를 행하여, 출력부(106)에 보낸다. 출력부(106)는, 신호 처리부(105)에 의해 처리된 화상신호를 촬상 소자(100)의 외부에 출력한다.
화상처리부(107)는, 촬상 소자(100)의 출력부(106)로부터 촬상용 신호를 받고, 결함화소의 보정, 노이즈 저감, 색 변환, 화이트 밸런스 보정, 화상보정등의 화상처리나, 해상도 변환 처리, 화상 압축 처리등을 행하고, 정지 화상이나 동화상을 생성한다. 위상차 검출부(108)는, 출력부(106)로부터의 초점검출용 신호를 받아, 초점검출을 행하기 위한 위상차 평가 값을 산출한다.
전체 제어/연산부(109)는, 촬상 소자(100)와 전체 촬상 장치의 총괄적인 구동 및 제어를 행한다. 표시부(110)는, 촬영후의 화상이나 라이브 뷰 화상, 각종 설정 화면등을 표시한다. 기록부(111) 및 메모리부(112)는, 상기 전체 제어/연산부(109)로부터 출력된 화상신호 등을 기록 및 보유하는 불휘발성 메모리 혹은 메모리 카드 등의 기록 매체다. 조작부(113)는, 촬상 장치에 설치된 조작 부재에 의해 유저의 명령을 접수하고, 전체 제어/연산부(109)에 그 명령을 입력한다. 렌즈 제어부(114)는, 위상차 검출부(108)로 산출된 위상차 평가 값에 근거해서 광학계 구동정보를 산출하고, 촬영 렌즈(101)의 포커스 렌즈 위치를 제어한다.
다음에, 본 실시예의 촬상 장치에 있어서의 촬영 렌즈(101)와, 촬상 소자(100)의 수광부(102)와의 관계와, 화소의 정의, 및 동공분할 방식을 사용한 초점검출의 원리에 대해서 설명한다.
도 2는, 촬상 소자(100)의 단위화소(200)의 구성을 나타내는 모식도다. 도 2에 있어서, 마이크로 렌즈(202)는, 촬영 렌즈(101)에 의해 촬상 소자(100) 위에 결상된 광을 화소마다 한층 더 포커싱한다. 포토다이오드(ＰＤ)들로 이루어진 광전변환부 201A, 201B는, 단위화소(200)에 입사한 광을 수광하고, 그 수광량에 의존하는 신호 전하를 생성해서 축적한다. 단위화소(200)는, 1개의 마이크로 렌즈(202) 밑에 2개의 광전변환부를 가진 결과, 2개의 광전변환부 201A, 201B가, 2개로 분할된 사출동공영역을 통과하는 광을 각각 수광 가능하다. 광전변환부 201A, 201B의 2개의 신호를, 화소마다 혼합한 신호가, 화상생성용 화소로서의 1화소의 출력 신호다. 또한, 화소마다 2개의 광전변환부에서 얻어지는 신호를 비교함으로써, 촬영 렌즈(101)의 초점검출을 행할 수 있다. 다시 말해, 단위화소(200)내의 특정 영역에 있어서, 광전변환부 201A로부터 얻어지는 신호와, 광전변환부 201B로부터 얻어지는 신호를 상관 연산함으로써, 좌우 방향으로 동공분할된 위상차 검출 방식을 이용하는 초점검출이 가능하다.
도 3은, 촬영 렌즈(101)를 통과한 광이 1개의 마이크로 렌즈(202)를 통과해서 촬상 소자(100)의 수광부(102)의 단위화소(200)에 의해 수광되고 있는 모양을 광축(Z축)에 대하여 수직한 방향(Y축방향)으로부터 관찰한 도다. 상기 촬영 렌즈의 사출동공(302,303)을 통과한 광은, 광축을 중심으로 해서 단위화소(200)에 입사한다. 이때에, 렌즈 조리개(301)에 의해 입사 광량이 조절된다. 도 3에 나타낸 바와 같이, 동공영역 302를 통과하는 광빔은 마이크로 렌즈(202)를 통과해서 광전변환부 201A에 의해 수광되고, 동공영역 303을 통과하는 광빔은 마이크로 렌즈(202)를 통과해서 광전변환부 201B에 의해 수광된다. 따라서, 광전변환부 201A,201B는, 각각 촬영 렌즈의 사출동공의 다른 영역의 광을 수광한다.
촬영 렌즈(101)로부터의 광을 동공분할하는 광전변환부 201A의 신호를 X축방향으로 나란히 배치한 복수의 단위화소(200)로부터 취득하고, 이 출력 신호 군으로 구성한 피사체상을 A상이라고 한다. 마찬가지로 촬영 렌즈(101)로부터의 광을 동공분할하는 광전변환부 201B의 신호를 X축방향으로 나란히 배치한 복수의 단위화소(200)로부터 취득하고, 이 출력 신호 군으로 구성한 피사체상을 B상이라고 한다.
A상과 B상에 대하여 상관 연산을 실시하고, 상의 어긋남량(동공분할 위상차)을 검출한다. 더욱, 그 상의 어긋남량에 대하여 촬영 렌즈(101)의 초점위치와 광학계로부터 결정되는 변환 계수를 곱하는 것으로, 화면내의 임의의 피사체 위치에 대응한 초점위치를 산출할 수 있다. 여기서 산출된 초점위치 정보에 근거해서 촬영 렌즈(101)의 포커스 위치를 제어함으로써, 촬상면 위상차ＡＦ(오토포커스)가 가능해진다. 또한, A상신호와 B상신호를 함께 가산하여 얻어진 신호를 A+B상신호로서 함으로써, 이 A+B상신호를 통상의 촬영 화상으로서 사용할 수 있다.
다음에, 촬상 소자(100)의 수광부(102)와 판독부(103)의 구성을 도 4 및 도 5를 사용하여 설명한다. 도 4는, 촬상 소자(100)의 수광부(102)와 판독부(103)의 구성 예를 나타내는 블록도다. 수광부(102)는, 화소부(401)와 구동회로부(402)를 가진다. 화소부(401)에는, 복수의 단위화소(200)가 수평(행 방향) 및 수직(열 방향)으로 배열되어 있다. 도 4에는, 총 6개의 단위화소(200)(2행×3열)가 도시되어 있지만, 실제로는 수백만 또는 수천만의 단위화소(200)가 배치되어 있다. 구동회로부(402)는, 화소부(401)를 구동하기 위한 전원회로, 타이밍 제너레이터(ＴＧ), 주사 회로등을 구비한다. 구동회로부(402)에 의해 화소부(401)를 구동함으로써, 화소부(401)의 전체 촬상 영역의 화소신호가 화소부(401)로부터 판독부(103)에 출력된다. 구동회로부(402)는, 도 1의 제어부(104)로부터의 제어를 받아서 구동된다. 판독부(103)에 입력된 화소부(401)로부터의 화소신호에 대하여, 아날로그 대 디지털 변환(A/D변환)이 행해진다. 또한, 판독부(103)는, 예를 들면, 1열에 1개의 판독 회로 등의 복수의 판독 회로를 구비하도록 구성된다.
그런데, 화소부(401)의 구동방법에 관해서, 서로 인접하는 행이 다른 조건(프레임 레이트, 축적 시간등)하에서 구동되면, 크로스토크나 블루밍등의 노이즈가 발생하기 쉽다. 그렇지만, 본 실시예에서는, 구동회로부(402)가 화소부(401)의 전체 영역을 균일하게 같은 조건으로 구동하므로, 이러한 문제는 발생하지 않는다.
도 5는, 촬상 소자(100)의 단위화소(200), 및 판독부(103)를 구성하는 판독 회로(509)의 일례를 나타내는 도면이다. 단위화소(200)에 있어서, 포토다이오드(ＰＤ)로 이루어진 광전변환부 201A에는 전송 스위치 502A가 접속되고, 광전변환부 201B에는 전송 스위치 502B가 접속된다. 광전변환부 201A, 201B에서 발생한 전하는, 각각 전송 스위치502A,502B를 거쳐 공통의 플로팅 디퓨전부(ＦＤ)(504)에 전송되어, 일시적으로 보존된다. ＦＤ(504)에 전송된 전하는, 선택 스위치(506)가 온 되면, 소스 폴로워 앰프를 형성하는 증폭ＭＯＳ트랜지스터(ＳＦ)(505)를 거쳐 그 전하에 대응한 전압으로서 열출력선(507)에 출력된다. 열출력선(507)에는 전류원(508)이 접속되어 있다.
리셋트 스위치(503)는, ＦＤ(504)의 전위, 및 전송 스위치502A,502B를 거쳐 광전변환부 201A,201B의 전위를, ＶＤＤ로 리셋트한다. 전송 스위치502A,502B, 리셋트 스위치(503), 선택 스위치(506)는, 각각 주변의 구동회로부(402)에 접속되어 있는 신호 선을 통하여, 제어 신호ＰＴＸＡ, ＰＴＸＢ, ＰＲＥＳ, ＰＳＥＬ에 의해 제어된다.
다음에, 판독 회로(509)의 회로 구성에 대해서 설명한다. 앰프(510)는 열출력선(507)에 의해 출력된 신호를 증폭하고, 용량(512)은 신호 전압을 보유하는데 사용된다. 용량(512)에의 기록은, 제어 신호ＰＳＨ에 의해 온, 오프되는 스위치(511)에 의해 제어된다. 비교기(513)의 한쪽의 입력에는, (도시되지 않은) 슬로프(slope) 전압 발생회로로부터 공급된 참조 전압Ｖｓｌｏｐｅ가 입력되고, 다른쪽의 입력에는, 용량(512)에 기록된 앰프(510)의 출력이 입력된다. 비교기(513)는, 앰프(510)의 출력과 참조 전압Ｖｓｌｏｐｅ를 비교하고, 그 대소관계에 따라 로우 레벨과 하이 레벨의 2값 중 하나를 출력한다. 구체적으로는, 참조 전압Ｖｓｌｏｐｅ가 앰프(510)의 출력보다 작을 경우에는 로우 레벨을, 클 경우에는 하이 레벨을 출력한다. 참조 전압Ｖｓｌｏｐｅ의 천이시작과 동시에 클록ＣＬＫ가 시작하고, 카운터(514)는 비교기(513)의 출력이 하이 레벨일 경우에 클록ＣＬＫ에 대응해서 카운트 업하고, 비교기(513)의 출력이 로우 레벨로 반전함과 동시에 카운트의 신호를 정지한다. 이때의 카운트 값을 디지털 신호로서 메모리 516과 메모리 517중 한쪽에 보유한다.
메모리 516에는, ＦＤ(504)의 리셋트 레벨의 신호(이하, "N신호")을 Ａ/Ｄ변환한 디지털 신호가 보유되고, 메모리 517에는, 광전변환부 201A나 광전변환부 201B의 신호를 ＦＤ(504)의 Ｎ신호에 중첩한 신호(이하, "S신호")을 Ａ/Ｄ변환한 디지털 신호가 보유된다. 그 카운터(514)의 카운트 값이 메모리 516 또는 517에 기록될지의 여부는 스위치(515)에 의해 맡겨진다. 메모리 516 및 517에 보유된 신호간의 차이는, ＣＤＳ회로(518)로 S신호로부터 N신호를 감산하여서 산출된다. 그리고, 이 차이는, 구동회로부(402)의 제어하에, 디지털 신호 출력선(519)을 거쳐 신호 처리부(105)에 출력된다.
또한, 판독 회로(509)는 화소의 열마다 1개가 배치되고, 화소신호는 행단위로 판독된다. 이 경우, 선택 스위치(506)는 행단위로 제어되고, 선택된 행의 화소신호가 동시에 각각의 열출력선(507)에 출력된다. 이 판독 회로(509)의 수가 많은만큼, 화소부(401)의 화소신호를 고속으로 신호 처리부(105)에 판독할 수 있다.
도 6은, 도 5에 나타낸 회로 구성을 갖는 촬상 소자(100)의 단위화소(200)로부터 전하를 판독하는 동작의 일례를 나타내는 타이밍 차트다. 각 구동 펄스의 타이밍, 참조 전압Ｖｓｌｏｐｅ, 클록ＣＬＫ, 및 수평주사 신호를 모식적으로 나타내고 있다. 또한, 각 타이밍에 있어서의 열출력선(507)의 전위Ｖｌ도 나타내어져 있다.
광전변환부 201A로부터 신호를 판독하기에 앞서, 리셋트 스위치(503)의 신호 선ＰＲＥＳ가 Ｈｉ가 된다(ｔ600). 이에 따라서, ＳＦ(소스 폴로워 앰프)(505)의 게이트가 리셋트 전원전압에 리셋트된다. 시각t601에서 제어 신호ＰＳＥＬ을 Ｈｉ로 하여, ＳＦ(505)가 동작 상태가 된다. t602에서 제어 신호ＰＲＥＳ를 Ｌｏ로 설정함으로써 ＦＤ(504)의 리셋팅을 해제한다. 이때의 ＦＤ(504)의 전위를 열출력선(507)에 리셋트 신호 레벨(N신호)로서 출력하고, 판독 회로(509)에 입력한다.
시각t603, t604에서 제어 신호ＰＳＨ를 Ｈｉ, Ｌｏ로서 상기 스위치(511)를 온, 오프함으로써, 열출력선(507)에 의해 출력된 Ｎ신호는 앰프(510)에서 원하는 게인으로 증폭된 뒤 용량(512)에 보유된다. 용량(512)에 보유된 Ｎ신호의 전위는, 비교기(513)의 한쪽의 입력에 입력된다. 시각t604에서 스위치(511)가 오프된 후, 시각t605 내지 t607까지, (도시되지 않은) 슬로프 전압 발생회로에 의해, 참조 전압Ｖｓｌｏｐｅ를 시각과 함께 초기값으로부터 감소시켜간다. 참조 전압Ｖｓｌｏｐｅ의 천이시작과 함께, 클록ＣＬＫ을 카운터(514)에 공급한다. ＣＬＫ의 수에 따라서 카운터(514)의 값은 증가해간다. 그리고, 비교기(513)에 입력된 참조 전압Ｖｓｌｏｐｅ가 N신호와 같은 레벨이 되면, 비교기(513)의 출력ＣＯＭＰ는 로우 레벨로 변경되고, 동시에 카운터(514)의 동작도 정지한다(시각t606). 이 카운터(514)의 동작이 정지했을 때의 값이, N신호의 Ａ/Ｄ변환된 값이다. 그리고, 스위치(515)에 의해, 카운터(514)와 메모리(516)가 접속되고, N신호의 디지털 값이 N신호용 메모리(516)에 보유된다.
다음에, 디지털화된 Ｎ신호를 N신호용 메모리(516)에 보유한 후의 시각t607, t608에서 제어 신호ＰＴＸＡ를 Ｈｉ로 설정하고 나서 Ｌｏ로 설정하여서 광전변환부 201A에 축적된 광 전하를 ＦＤ(504)에 전송한다. 그 후, 전하량에 좌우하는 ＦＤ(504)의 전위변동이 열출력선(507)에 신호 레벨(광성분+리셋트 노이즈 성분(N신호))로서 출력되어, 판독 회로(509)에 입력된다. 입력된 신호(S(A)+N)는, 앰프(510)에서 원하는 게인에 의해 증폭된 후, 시각t609, t610에서 제어 신호ＰＳＨ를 Ｈｉ 설정하고 나서 Ｌｏ로 설정하여서 스위치(511)를 온, 오프하는 타이밍에서 용량(512)에 보유된다. 그 용량(512)에 보유된 전위는 비교기(513)의 한쪽의 입력에 입력된다. 시각t610에서 스위치(511)가 오프된 후, 시각t611부터 t613까지, 슬로프 전압 발생 회로에 의해, 참조 전압Ｖｓｌｏｐｅ를 시간과 함께 초기값으로부터 감소시켜간다. 참조 전압Ｖｓｌｏｐｅ의 천이시작과 함께, ＣＬＫ를 카운터(514)에 공급한다. ＣＬＫ의 수에 따라서 카운터(514)의 값은 증가해간다. 그리고, 비교기(513)에 입력한 참조 전압Ｖｓｌｏｐｅ가 S신호와 같은 레벨이 되면, 비교기(513)의 출력ＣＯＭＰ은 로우 레벨로 변경되고, 동시에 카운터(514)의 동작도 정지한다(시각t612). 이 카운터(514)의 동작이 정지했을 때의 값이, S(A)+N신호의 Ａ/Ｄ변환된 값이 된다. 그리고, 스위치(515)에 의해, 카운터(514)와 메모리(517)가 접속되어, S(A)+N신호의 디지털 값이 S신호용 메모리(517)에 보유된다. 메모리 516 및 메모리 517에 보유된 신호로부터 ＣＤＳ회로(518)에 의해 차동신호 레벨(광성분)이 산출되어, 리셋트 노이즈 성분이 제거된 S(A)신호가 취득된다. S(A)신호는, 제어부(104)의 제어하에 순차로 신호 처리부(105)에 보내진다.
이상, 단위화소(200)의 광전변환부 201A로부터의 신호를 판독하는 동작을 설명하였다. 단위화소(200)의 또 한쪽의 광전변환부 201B로부터의 신호를 판독할 경우도, 마찬가지로 도 6의 타이밍 차트에 따라서 구동하면 좋다. 단, 이 경우는 시각t607, t608에 있어서 제어 신호ＰＴＸＡ 대신에 제어 신호ＰＴＸＢ를 Ｈｉ로 설정하고 나서, Ｌｏ로 설정한다. 즉, 도 6에서 시각t600부터 시각t613까지의 구동을, 1회째에 행할 때 제어 신호ＰＴＸＡ를 Ｈｉ, Ｌｏ로 설정하고 화소신호S(A)를 출력하고 나서, 그리고 2회째에 행할 때 제어 신호ＰＴＸＢ를 Ｈｉ, Ｌｏ로 설정하고 화소신호S(B)를 출력 함으로써, 1행분의 화상신호의 출력이 완료된다. 이것을 전체 행에 대해 반복함으로써, 전체 화소의 화소신호S(A), S(B)의 출력이 완료된다.
도 7은, 촬상 소자(100)의 신호 처리부(105) 및 출력부(106)의 구성 예를 나타내는 도다. 신호 처리부(105)는 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702)를 가진다. 판독부(103)로부터 출력된 화소신호는 디지털 신호 출력선(519)을 거쳐 신호 처리부(105)에 입력된다. 입력된 신호는 제어부(104)로부터의 제어에 따라 처리된다. 또한, 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702)는, 각각 (도시되지 않은) 메모리를 구비하는 것으로 한다.
촬상용 신호 처리부(701)에서는, 판독부(103)로부터 출력된 신호로부터, 촬상용 신호를 산출한다. 다시 말해, 단위화소(200)의 광전변환부 201A 및 광전변환부 201B의 화소신호S(A), S(B)을 받아서 혼합 처리를 행하여, S(A+B)신호를 산출한다. 그리고, 촬상용 신호 처리부(701)는, 화소신호S (A+B)을 촬상용 신호 출력선(703)을 거쳐 출력부(106)에 보낸다. 촬상용 신호 처리부(701)는, 2개의 광전변환부의 화소신호S(A), S(B)을 혼합하여 그 혼합된 신호를 출력부(106)로부터 촬상 소자(100)의 외부에 출력함으로써, 촬상 소자(100)의 외부에의 신호 전송량을 감소시킬 수 있다. 또한, 화소신호S(A)와 화소신호S(B)의 연산은, 단위화소의 양쪽의 화소신호가 갖추어진 단계에서 가능해진다. 먼저 판독된 화소신호S(A)는 메모리에 보유되고, 화소신호S(B)가 판독되어 촬상용 신호 처리부(701)에 입력되면, 순차로 S(A)+S(B)의 연산이 행해지고, 그 결과의 신호가 출력부(106)로부터 출력된다.
또한, 촬상용 신호 처리부(701)는 한층 더 단위화소(200)의 신호를 혼합하거나 평균화 처리를 행해도 좋다. 예를 들면, 빨강(R), 초록(G), 파랑(B)의 베이어 배열의 칼라 필터가 설치된 일반적인 구성의 화소부에 있어서, 인접한 같은 색화소의 신호를 혼합 평균화 해서 출력부(106)에 출력하면, 한층 더 신호 전송량을 감소시킬 수 있다. 또한, 화소부 전체의 신호를 출력부(106)에 출력하는 것이 아니고, 필요한 영역만의 신호를 출력해도 좋다. 이 처리는, 제어부(104)에 의해 제어된다.
다음에, 초점검출용 신호 처리부(702)의 처리에 대해서 설명한다. 초점검출용 신호 처리부(702)는, 판독부(103)로부터 출력된 신호로부터, 초점검출용 신호를 산출하여 출력한다. 위상차 검출을 행하기 위해서는, 전술한 대로, 화소신호S(A)와 화소신호S(B) 양쪽이 필요하다. 그러나, 화소부(401)의 모든 화소의 화소신호S(A)와 화소신호S(B)를 출력부(106)로부터 촬상 소자(100)의 외부에 출력하면 신호 전송량이 방대해져, 고속판독의 방해가 된다.
이를 고려하여, 초점검출용 신호 처리부(702)에 있어서 연산 처리를 행하고, 감소된 신호량을 출력부(106)로부터 출력한다. 예를 들면, 화소신호S(A), S(B)를 각각 베이어 가산해서 휘도값Y를 산출하고, 휘도신호Y(A), Y(B)를 출력한다. 초점검출을 위한 연산은, 신호를 Y값으로 변환하고나서 행해져도 되고, 촬상 소자(100)로부터 출력하기 전에 그 신호를 Y값으로 변환함으로써, 신호 전송량을 1/4로 감소시킬 수 있다. 또한, Y값의 산출에는 베이어 단위의 신호가 필요하게 되므로, 산출에 필요한 신호가 갖추어질 때 까지, 초점검출용 신호 처리부(702)에 입력된 화소신호를 메모리에 보유해 둔다. 즉, Ｒ 및 Ｇ행의 신호가 출력된 후, Ｇ 및 Ｂ행의 신호가 출력되기 때문에, Ｒ 및 Ｇ행의 화소신호S(A)와 화소신호S(B)는 메모리에 보유해두고, Ｇ 및 Ｂ행의 신호가 출력되면 순차로 휘도신호Y(A) 및 Y(B)를 연산하고, 그 결과의 신호를 신호 선(704)을 거쳐 출력부(106)로부터 출력한다.
또한, 초점검출용 신호 처리부(702)는, 한층 더, 상관 연산을 행하고, 그 결과의 값을 신호 선(704)을 통해 출력부(106)에 출력해도 좋다. 또한, 상관 연산을 사용한 위상차 검출은 공지의 수법에 의해 실시가능하다. 상관 연산 값만을 출력하는 경우에, 이것이 그 상관 연산시의 분할 영역 수에 의존하지만, 출력하는 신호량은 대폭 감소시킬 수 있다.
이상과 같이, 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702)를 구비하는 촬상 소자(100)에 있어서, 필요한 신호만을 촬상 소자(100)의 외부에 출력하는 신호 처리를 행한다. 이에 따라, 신호 전송량을 감소시킬 수 있고, 촬상 데이터와 초점검출 정보를 함께 고속으로 얻을 수 있다.
또한, 본 실시예에 있어서는, 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702) 모두에 메모리를 구비하는 구성을 채용하였다. 그러나, 이것들의 전단에 메모리를 구비하고, 각 처리부에 있어서의 연산에 필요한 신호가 갖추어진 단계에서, 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702)에 신호를 보내는 구성을 채용하여도 좋다.
또한, 본 실시예의 설명에 있어서, 초점검출용 신호로서, 휘도신호Y(A) 및 Y(B)를 출력했지만, 출력부(106)로부터는 휘도신호Y(A)만을 출력하는 구성을 채용해도 좋다. 구체적으로는, 촬상용 신호 처리부(701)로부터는, 촬상용 신호, 즉 화소신호S(A+B)가 출력된다. 그 때문에, 촬상 소자(100)의 외부에 화소신호S(A+B)가 출력된 후, 위상차 검출부(108)등에서 화소신호S(A+B)로부터 휘도신호Y(A+B)를 연산하고, 휘도신호Y(A)의 감산 처리를 행하여, 휘도신호Y(B)를 산출함으로써, 초점검출용 신호를 얻어도 좋다. 이렇게 하여, 초점검출용 신호 처리부(702)로부터는 휘도신호Y(A)만을 출력함으로써, 신호 전송량을 더욱 감소할 수 있다.
예를 들면, 화소수가 20메가 화소일 경우, 신호 처리부를 구비하지 않으면, 전체 화소분의 화소신호S(A), S(B), 즉 4000만개의 데이터를 출력할 필요가 있다. 한편, 본 실시예의 신호 처리부를 구비하는 촬상 소자에 의해 초점검출용 신호로서 Y값을 연산해서 출력할 경우, 촬상 화상용의 2000만개의 데이터와 초점검출용의 500만개(2000만/4)의 데이터를 출력하여, 분명히 신호 전송량을 감소시킨다. 그 결과, 고속판독이 가능해진다. 또한, 초점검출용 신호가 상관 연산 값일 경우에, 신호 전송량을 더욱 감소시키는 것이 명확하다.
또한, 도 6의 타이밍 차트에 있어서, 시각t607, t608에서 제어 신호ＰＴＸＡ, ＰＴＸＢ를 동시에 제어해서 광전변환부 201A와 광전변환부 201B의 전하가 혼합된 단위화소(200)의 신호를 얻는 것도 가능하다. 구체적으로는, 도 6의 타이밍 차트에 따라, 광전변환부 201A의 신호를 판독한 후, 제어 신호ＰＴＸＡ, ＰＴＸＢ를 동시에 Ｈｉ, Ｌｏ로 변경하도록 제어해서 신호를 판독하면, 화소신호S(A+B)를 얻는 것이 가능하다. 이 경우, 리셋트 신호의 판독이 1회 줄기 때문에, 훨씬 고속판독이 가능해진다.
화소로부터 화소신호S(A)와 S(A+B)가 판독되었을 경우에는, 초점검출용 신호 처리부(702)에 있어서, 화소신호S(A+B)로부터 화소신호S(A)를 감산하는 처리를 행하면, 화소신호S(B)를 얻을 수 있다. 혹은, 초점검출 처리부(702)는, 화소신호S(A)만을 처리해서 출력하고, 위상차 검출부(108)에서 화소신호S(B) 혹은 휘도신호Y(B)를 산출해도 좋다.
제2의 실시예
다음에, 본 발명의 제2의 실시예에 대해서 설명한다. 제1의 실시예에 있어서는, 화소부의 전체 영역에 있어서 초점검출용 신호의 출력을 행했지만, 초점검출용 신호에 대해서는 필요한 영역만의 신호를 선택해서 출력하면, 더욱 처리속도를 고속화할 수 있다.
도 8a, 8b는, 화소영역에 있어서의 초점검출용 신호의 출력 영역의 예를 나타내는 도다. 음영영역으로부터 초점검출용 신호와 촬상용 신호를 출력하고, 그 이외의 영역으로부터는 촬상용 신호만을 출력한다. 예를 들면, 도 8a에 나타낸 예와 같이, 화소의 광범위에 있어서 대상 영역만의 초점검출용 신호를 이산적으로(선택적으로) 출력한다. 이렇게 함으로써, 화소영역 전체의 초점검출 정보를 얻는 것이 가능해지는 한편, 촬상 소자(100)의 외부에 출력되는 신호량을 억제하는 것이 가능해진다. 도 8b에 나타낸 예의 경우에, 일부의 영역에 대해서 상세한 초점검출 정보를 얻는 것이 가능해지고, 또 촬상 소자(100)의 외부에 출력되는 신호량을 억제하는 것이 가능해진다. 이것들의 출력하는 영역의 선택은 제어부(104)에 의해 제어된다. 초점검출용 신호 처리부(702)는, 출력 대상영역의 신호만을 메모리로부터 판독하여 연산한다.
또한, 도 8a, 8b에 나타낸 것 같은 일부의 영역에 있어서의 초점검출용 신호의 출력은, Y값신호나 상관 연산 결과이어도 좋지만, 화소신호S(A)이여도 좋다. Y값신호나 상관 연산 결과와 비교하여 전송된 신호량은 많아지지만, 필요영역만으로부터 출력하므로, 신호 전송량의 억제는 달성된다. 또한, 이것은, 비교적 소규모의 신호 처리회로로도 실현가능하다.
또한, 초점검출용 신호 처리부(702)에 있어서도, 초점검출용 신호를 혼합 처리 및 평균화 처리를 행해도 좋다. 이 경우, 화소신호S(Ａ)끼리 및 화소신호S(Ｂ)끼리에 대해서 혼합 처리 및 평균화처리를 행한다.
이상과 같이, 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702)를 구비하는 촬상 소자(100)에 있어서, 필요한 신호만을 촬상 소자(100)의 외부에 출력하는 신호 처리를 행한다. 이에 따라, 초점검출용 신호의 전송량을 감소할 수 있고, 촬상 데이터와 초점검출 정보를 함께 고속으로 효율적으로 얻을 수 있다.
또한, 이렇게 초점검출에 사용하는 화소를 한정함으로써, 1프레임의 판독 시간을 단축하는 방법이 있다. 보통, 초점검출 처리에 사용하는 행에만 단위화소내의 2개의 광전변환부의 신호를 각각 출력하고, 초점검출 처리에 사용하지 않는 행에 2개의 광전변환부의 신호를 혼합해서 화상생성용의 신호만을 출력함으로써, 판독 시간의 증대를 억제한다. 이 경우, 초점검출용으로서 출력된 2개의 광전변환부의 개개의 출력 신호를 혼합하여 그 혼합된 신호를 화소 촬상신호로서 사용하는 것이 가능하다. 그러나, 신호의 판독 방법과 2개의 광전변환부의 출력 신호의 혼합 방법이 초점검출 처리에 사용하는 행인지 아닌지의 여부에 따라 다른 것으로 인해, 노이즈 레벨 등에 차이가 생겨, 얻어지는 촬상 화상이 열화하게 된다는 문제가 생긴다. 그러나, 본 실시예와 같이 초점검출용 신호 처리부를 구비하는 것에 의해, 화소부로부터의 신호는 모두 같은 판독 타이밍에서 판독되고, 초점검출용 신호 처리부(702)에서 출력하는 화소를 선택할 수 있다. 그 때문에, 촬상에 사용하는 화소신호S(A+B)의 노이즈량이 영역에 따라 변경되지 않아, 고품질의 촬상 화상을 얻을 수 있다.
제3의 실시예
다음에, 본 발명의 제3의 실시예에 대해서 설명한다. 상기한 제2의 실시예에서는, 초점검출용 신호 처리부(702)가 초점검출용 신호 중 필요한 출력 대상영역의 신호만을 선택해서 출력하는 예에 대해서 설명했다. 본 실시예에서는, 이것을 더욱 진척시켜, 초점검출용 신호 중 필요한 영역을, 유저의 입력이나, 피사체 검출부에 의해 검출된 피사체의 영역에 근거해서 설정하는 예에 대해서 설명한다.
본 실시예의 촬상 장치의 구성은, 도 9에 나타낸 바와 같이, 도 1에 나타낸 제1 및 제2의 실시예의 촬상 장치의 구성에 피사체 검출부(105a)가 더하여진 것이다. 나머지 구성은, 도 1의 구성과 같으므로, 같은 부분의 설명은 생략하고, 다른 부분에 대해서만 설명한다.
도 9에 있어서, 피사체 검출부(105a)는, 판독부(103)로부터의 화상생성용의 디지털 신호 출력을 받아, 공지의 패턴 인식처리 회로를 사용해서 피사체를 검출하고, 초점검출 처리를 행하기 위한 초점검출 영역을 결정한다. 여기서 검출하는 피사체로서는, 예를 들면, 인물이나 동물의 얼굴이나 눈등의 물리적 특징을 들 수 있다. 또한, 피사체 검출부(105a)는, 피사체 검출 처리를 행하기 위해서, 화상생성용의 신호를 일시적으로 기억하는 메모리를, 내부적으로 구비하여도 좋다.
신호 처리부(105)는, 이미 제1의 실시예에서 도 7을 사용해서 설명한 바와 같이, 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702)를 가진다. 촬상용 신호 처리부(701)의 동작은 제1의 실시예와 같다.
한편, 초점검출용 신호 처리부(702)에서, 제2의 실시예와 마찬가지로, 초점검출용의 디지털 신호 출력 중 필요한 영역을 선택하고, 출력부(106)에 출력한다. 단, 초점검출용 신호 처리부(702)는, 초점검출 영역의 설정이 수동일 경우, 유저가 임의로 뽑은 초점검출 영역의 초점검출용 신호를 선택적으로 출력한다. 혹은, 초점검출 영역의 설정이 자동일 경우, 초점검출용 신호 처리부(702)는, 피사체 검출부(105a)의 피사체 검출 결과를 받아, 피사체가 검출된 영역의 초점검출용 신호를 선택적으로 출력한다. 출력부(106)는, 촬상용 신호 처리부(701)로부터 받은 화상생성용의 디지털 신호, 및 초점검출용 신호 처리부(702)로부터 받은 초점검출용의 디지털 신호를, 촬상 소자(100)의 외부에 출력한다.
위상차 검출부(108)는, 출력부(106)로부터의 초점검출용의 디지털 신호를 받아, 위상차 검출 방식을 이용한 초점검출을 행하기 위한 위상차 평가 값을 산출한다. 본 실시예에 있어서는, 위상차 검출부(108)에 입력되는 초점검출용의 신호는, 촬상 소자(100) 내부에 설치된 신호 처리부(105)내의 초점검출용 신호 처리부(702)가 영역을 선택한 후 출력하는 신호다. 따라서, 촬상 소자(100)의 출력부(106)가 위상차 검출부(108)에 전송하는 초점검출용의 신호는 초점검출 제어에 필요한 신호뿐이므로, 전송 대역이 효율적으로 사용된다. 또한, 위상차 검출부(108)의 내부처리에 있어서도, 초점검출 제어에 필요하지 않은 영역의 위상차 평가 값 산출의 연산 처리와, 초점검출 제어에 최종적으로 필요한 신호를 추출하는 처리가 불필요하게 된다. 따라서, 위상차 검출부(108)는, 그 위상차 평가 값을 산출하는 처리 속도를 고속화할 수 있다. 또한, 위상차 검출부(108)의 처리 회로 규모를, 축소할 수도 있다.
또한, 도 9에 있어서의 표시부(110)는, 전체 제어/연산부(109)로부터 받은 화상신호를 표시할뿐만 아니라, 촬상 장치의 유저가 임의로 선택할 수 있는 초점검출 영역을 표시하기 위해서도 사용된다. 또한, 피사체 검출부(105a)가 검출한 피사체가 존재하는 영역인 피사체 영역을 표시하기 위해서도 표시부(110)가 사용된다. 또한, 조작부(113)는, 각종의 입력에 사용되지만, 촬상 장치의 유저가 임의의 초점검출 영역을 설정하기 위해서도 사용된다. 단, 표시부(110)가 터치패널이면, 조작부(113)의 입력 조작을 표시부(110)에의 터치 조작으로 대체해도 좋다.
다음에, 도 10은, 본 실시예에 있어서의 촬상면 위상차ＡＦ의 처리의 흐름을 나타내는 흐름도다. 촬상면 위상차ＡＦ의 처리가 시작되면, 우선 스텝 S401에서는, 촬상 소자(100)의 화소부(401)가 구동되어서, 화소부(401)의 전체 영역의 단위화소(200)에 포함되는 복수의 ＰＤ의 신호(초점검출용 신호)가 개별적으로 판독된다. 이때, 구동회로부(402)는, 필요한 프레임 레이트에 따라, 행 선별 판독, 행 가산 판독, 행부분 판독, 열 선별 판독, 열 가산 판독, 및 열부분 판독등의 판독 주사방법으로 화소부(401)를 구동해도 좋다. 단, 상술한 바와 같이, 구동회로부(402)는, 화소부(401)를 균일하게 같은 조건으로 구동하므로, 크로스토크나 블루밍이 발생하기 쉬워지는 것 같은 문제는 발생하지 않는다.
그 후, 각 ＰＤ의 신호는 판독부(103)에서 Ａ/Ｄ변환되어, 초점검출용의 디지털 신호가 얻어진다. 더욱, 판독부(103)는, 단위화소(200)마다의 복수의 ＰＤ의 디지털 신호를 혼합함으로써, 화상생성용의 신호도 생성할 수 있다.
화소부(401)의 전체 영역의 초점검출용 신호 및 화상생성용 신호는, 판독부(103)로부터 신호 처리부(105)에 출력된다. 화상생성용의 신호는, 신호 처리부(105)를 거쳐 출력부(106)로부터 촬상 소자(100)의 외부에 출력되어, 화상처리부(107)에 의해 처리된다. 그 후, 전체 제어/연산부(109)에 의해 표시부(110)에 생성 화상이 표시된다. 촬상 소자(100)로부터는, 소정의 프레임 레이트에서, 화상생성용 신호가 계속 출력된 결과로서, 표시부(110)에는 계속적으로 동화상이 표시된다.
다음에, 스텝 S402에서는, 초점검출 영역의 선택 모드를 확인한다. 여기에서, 유저가, 임의의 영역에 촬영 렌즈(101)의 초점을 맞추기 위해서, 초점검출 영역을 미리 수동으로 설정하고 있을 경우에, 스텝 S403의 처리로 이행한다. 이 경우에 유저가 초점검출 영역을 선택할 때에, 표시부(110)에 표시되는 조작 화면의 예를 도 11에 나타낸다. 도 11에 나타낸 바와 같이, 조작 화면에는 선택가능한 복수의 초점검출 영역(1101)이 표시되어 있다. 여기에서는, 7:5(횡:종) 검출 프레임을 나타냈지만, 그 검출 프레임이 보다 작은 영역 또는 보다 큰 영역으로 분할되어도 된다. 또한, 소정의 검출 프레임으로부터 선택하는 것이 아니고, 촬영 화면 전체로부터 임의의 위치를 유저가 지정해도 좋다. 유저는, 초점을 맞추고 싶은 영역으로서, 예를 들면 인물의 얼굴이 포함되는 영역(1102)을 선택한다. 유저가 선택한 초점검출 영역(1102)의 위치 정보는, 조작부(113)로부터 전체 제어/연산부(109)를 거쳐, 신호 처리부(105)에 입력된다.
다음에, 스텝 S403에서는, 스텝 S401에서 판독부(103)로부터 신호 처리부(105)에 출력되는 화소부(401)의 전체 영역의 초점검출용 신호 중, 유저가 지정한 영역의 초점검출용 신호를, 신호 처리부(105)내의 초점검출용 신호 처리부(702)가 선택한다. 초점검출용 신호 처리부(702)가 선택한 초점검출용 신호는, 출력부(106)를 거쳐, 위상차 검출부(108)에 입력된다. 이때, 본 실시예에 있어서는, 출력부(106)가 위상차 검출부(108)에 전송하는 초점검출용의 신호는, 초점검출 제어에 필요한 신호뿐, 즉 유저가 지정한 영역의 초점검출용 신호뿐이기 때문에, 고속 전송이 가능하다.
다음에, 스텝 S404에서는, 위상차 검출부(108)는, 출력부(106)로부터의 초점검출용의 디지털 신호를 받아, 위상차 검출 방식을 이용한 초점검출을 행하기 위한 위상차 평가 값을 산출한다. 이때, 위상차 검출부(108)는, 초점검출 제어에 필요하지 않은 영역의 위상차 평가 값 산출의 연산 처리나, 초점검출 제어에 최종적으로 필요한 신호를 추출하는 처리를 행하는데 불필요 하다. 이에 따라, 초점검출 제어를 고속으로 행할 수 있다.
다음에, 스텝 S405에서는, 위상차 검출부(108)로 산출된 위상차 평가 값에 근거하여, 렌즈 제어부(114)가, 광학계 구동정보를 산출하고 촬영 렌즈(101)의 포커스 렌즈 위치를 제어한다.
다음에, 스텝 S406에서는, 촬상 장치가 촬영을 종료해야 할지 확인한다. 조작부(113)로부터, 유저에 의해, 촬영 종료의 조작이 입력되면, 그대로 촬영을 종료한다. 조작부(113)로부터, 유저에 의해, 촬영 종료의 조작이 입력되지 않으면, 스텝 S401의 처리로 이행하고, 촬영과 촬상면 위상차ＡＦ처리를 계속한다.
한편, 스텝 S402에서 촬영 렌즈(101)의 초점을 맞추는 영역을, 촬상 장치가 자동적으로 결정하도록 설정이 구성되어 있을 경우는, 스텝 S407의 처리로 이행한다. 스텝 S407에서는, 피사체 검출부(105a)가, 판독부(103)로부터의 화상생성용 신호를 받아, 촬영 렌즈(101)의 초점을 맞추는 영역을 자동적으로 결정하기 위한, 피사체 검출 처리를 행한다. 검출되는 피사체는, 예를 들면, 인물이나 동물의 얼굴이나 눈이다. 피사체 검출 처리의 방법으로서는, 공지의 여러가지 패턴 인식처리를 적용할 수 있다. 대표적인 패턴 인식수법으로서는, 예를 들면, 템플릿 매칭이나 디프 러닝(deep learning)이라고 불리는 수법을 들 수 있다.
피사체 검출부(105a)가 검출한 피사체 영역을 나타내기 위해서, 표시부(110)에 표시되는 화면의 예를 도 12a에 나타낸다. 도 12a에 나타낸 바와 같이, 인물의 얼굴이 포함되는 영역으로서 피사체 검출부(105a)가 검출한 피사체 영역(1201)이 표시되어 있다. 피사체 검출부(105a)는, 검출한 피사체 영역(1201)의 화상내의 수평/수직 어드레스 정보를 신호 처리부(105)에 출력한다. 신호 처리부(105)는, 피사체 영역(1201)의 화상내의 수평/수직 어드레스 정보를, 표시부(110)에 피사체 영역으로서 표시하기 위해서, 출력부(106)를 거쳐 전체 제어/연산부(109)에 출력한다. 전체 제어/연산부(109)는, 화상처리부(107)로 처리된 생성 화상에, 피사체 영역 정보를 합성하여, 그 합성 화상을 표시부(110)에 표시한다. 또한, 상세한 것은 후술하지만, 신호 처리부(105)는, 피사체 영역(1201)의 화상내의 수평/수직 어드레스 정보를, 초점검출용 신호를 선택하기 위해서 사용한다.
또한, 피사체 검출 결과의 다른 예로서, 인물의 얼굴이 클로즈 업으로 프레이밍 되어 있을 경우를 도 12b에 나타낸다. 도 12b와 같은 예에서는, 인물의 얼굴을 포함하는 영역이 넓어서, 만일, 얼굴 전체를 포함하는 광범위한 영역에 있어서의 초점검출용 신호를 후단의 위상차 검출부(108)에 출력한다면, 그 통신 시간이 길어져, 고속 초점 검출 제어의 방해가 된다. 따라서, 도 12b에 나타낸 바와 같이, 인물의 얼굴이 클로즈 업으로 검출되었을 경우, 피사체 검출부(105a)가 얼굴의 특징적인 부분(예를 들면, 눈)을 더욱 추출하여, 피사체 검출 영역(1202)으로서 설정하는 것이 바람직하다. 이것은, 예를 들면, 피사체 검출부(105a)가 얼굴을 검출한 영역의 화소수가 소정의 화소수를 초과했을 경우를 검지하고, 피사체 검출 대상을 전환하도록 제어함으로써, 실현된다.
다음에, 스텝 S408에서는, 스텝 S407에서의 피사체 검출부(105a)의 검출 결과를 확인한다. 스텝 S407에서 피사체를 검출한 경우, 스텝 S409의 처리로 이행한다.
스텝 S409에서는, 화소부(401)의 전체 영역으로부터 판독한 초점검출용 신호 중, 피사체 검출부(105a)가 검출한 영역의 초점검출용 신호를, 신호 처리부(105)가 선택한다. 신호 처리부(105)로부터 선택적으로 출력된 초점검출용 신호는, 출력부(106)를 거쳐 위상차 검출부(108)에 입력된다. 이 경우, 본 실시예에 있어서는, 출력부(106)가 위상차 검출부(108)에 전송하는 초점검출용의 신호는, 초점검출 제어에 필요한 영역의 신호뿐이므로, 고속으로 전송될 수 있다.
다음에, 스텝 S404에서는, 위상차 검출부(108)가, 출력부(106)로부터의 초점검출용의 디지털 신호를 받아, 위상차 검출 방식을 이용한 초점검출을 행하기 위한 위상차 평가 값을 산출한다. 이 경우, 위상차 검출부(108)에서는, 초점검출 제어에 필요하지 않은 영역의 위상차 평가 값 산출의 연산 처리나, 초점검출 제어에 최종적으로 필요한 신호를 추출하는 처리가 불필요하다. 따라서, 초점검출 제어를 고속으로 행할 수 있다. 이후는, 스텝 S405, 스텝 S406에 있어서, 이미 설명한 처리가 실행된다.
한편, 스텝 S408에 있어서, 스텝 S407에서 피사체를 검출하지 않았다는 것을 확인했을 경우, 스텝 S410의 처리로 이행한다.
스텝 S410에서는, 렌즈 제어부(114)가, 촬영 렌즈(101)의 포커스 렌즈를 소정량 서치(search) 구동시키도록 제어한다. 더욱, 스텝 S411에서는, 촬영 렌즈(101)의 포커스 렌즈 위치를 확인하고, 서치 구동이 종료했는지를 판정한다. 여기서, 서치 구동이 진행 중일 경우, 스텝 S401의 처리로 이행한다. 따라서, 스텝 S402에서 초점검출 영역을 자동적으로 결정하는 설정이며, 스텝 S407에서 피사체 검출부(105a)가 피사체를 검출할 수 없는 상태가 계속될 경우는, 포커스 렌즈의 서치 구동이 계속된다. 단, 스텝 S411에서 무한단부터 지근단까지의 서치 구동을 종료하였을 경우는, 스텝 S412의 처리로 이행한다.
스텝 S412에서는, 스텝 S410에서 렌즈 제어부(114)가 포커스 렌즈를 서치 구동하는 동작을 반복할 때도, 스텝 S407에서 피사체 검출부(105a)가 피사체를 검출할 수 없는 경우의 처리를 행한다. 여기에서는, 촬영 렌즈(101)의 포커스 렌즈 위치를 잠정적으로 결정하기 위해서, 화소부(401)의 전체 영역으로부터 판독한 초점검출용 신호 중, 잠정영역의 초점검출용 신호를, 신호 처리부(105)가 선택한다. 그리고, 신호 처리부(105)로부터 선택적으로 출력된 초점검출용 신호는, 출력부(106)를 거쳐 위상차 검출부(108)에 입력된다.
다음에, 스텝 S404에서는, 위상차 검출부(108)가, 출력부(106)로부터의 초점검출용의 디지털 신호를 받아, 위상차 검출 방식을 이용한 초점검출을 행하기 위한 위상차 평가 값을 산출한다. 이후는, 스텝 S405, 스텝 S406에 있어서, 이미 설명한 처리가 실행된다.
이상 설명한 바와 같이, 본 실시예에서는, 촬상 소자(100)의 출력부(106)가 위상차 검출부(108)에 전송하는 초점검출용의 신호는, 초점검출 제어에 필요한 신호뿐이므로, 고속 전송이 가능하다. 위상차 검출부(108)는, 초점검출 제어에 필요하지 않은 영역의 위상차 평가 값 산출의 연산 처리나, 초점검출 제어에 최종적으로 필요한 신호를 추출하는 처리가 불필요 하다. 따라서, 위상차 검출부(108)가 위상차 평가 값을 산출하는 처리 속도를 고속화할 수 있다. 이 때문에, 촬상면 위상차ＡＦ에 의한 초점검출 제어를 고속으로 행할 수 있다.
제4의 실시예
다음에, 본 발명의 제4의 실시예에 대해서 설명한다. 제4의 실시예에서는, 화소부(402)의 단위화소(200)의 구성이 다르다. 도 13은, 촬상 소자(100)의 수광부(102) 및 마이크로 렌즈 어레이를 광축방향(Z방향)에서 관찰한 도다. 1개의 마이크로 렌즈(202)에 대하여, 4개의 광전변환부 901A, 901B, 901C, 901D가 배치되어 있다. 이렇게, X축방향 및 Y축방향 각각 2개로 이루어진 합계 4개의 광전변환부를 갖는 것으로, 4개로 분할된 사출동공영역을 통과한 광을 각각 수광할 수 있다. 이러한 단위화소가 각각 4개의 광전변환부를 구비하고 있는 화소부(401)에 의해 구성된 촬상 소자(100)에 있어서의, 신호 판독 방법, 및 신호 처리부(105)의 처리에 대해서 설명한다.
도 14는, 단위화소(900) 및 판독부(103)의 구성의 일례를 나타내는 모식도다. 도 14의 구성은, 다른 광전변환부에 각각 대응한 판독 회로를 구비하고 있다. 다시 말해, 광전변환부 901A의 화소신호는 판독 회로 1001A에 출력된다. 이하, 마찬가지로, 광전변환부 901B는 판독 회로 1001B, 광전변환부 901C는 판독 회로 1001C, 광전변환부 901D는 판독 회로 1001D에 출력된다. 광전변환부로부터의 신호 판독 동작에 대해서는, 도 5, 도 6에서 설명한 구동방법과 거의 같은 방법으로 실시가능하기 때문에, 그 설명은 생략한다.
각 광전변환부로부터 판독된 신호에 대한 신호 처리부(105)의 처리에 대해서 설명한다. 촬상용 신호 처리부(701)는, 판독된 신호로부터, 촬상용 신호를 산출한다. 다시 말해, 촬상용 신호 처리부(701)는, 단위화소(900)의 복수의 광전변환부 901A, 901B, 901C, 901D의 화소신호S(A), S(B), S(C), S(D)을 받아서 혼합 처리를 행하고, 화소신호S(A+B+C+D)를 산출한다. 그리고, 화소신호S(A+B+C+D)를 촬상용 신호 출력선(703)을 거쳐 출력부(106)에 보낸다. 촬상용 신호 처리부(701)는, 복수의 광전변환부의 신호를 혼합 처리하여 출력부(106)로부터 촬상 소자(100)의 외부에 출력함으로써, 촬상 소자(100)의 외부에의 신호 전송량을 감소시킬 수 있다. 단위화소(900)와 같이, 4개의 광전변환부를 구비하는 촬상 소자에 있어서, 이 효과는 한층 더 개선된다.
다음에, 초점검출용 신호 처리부(702)의 처리에 대해서 설명한다. 도 13에 나타낸 것처럼 단위화소(900)당 4개의 광전변환부를 구비하는 촬상 소자의 경우, 초점검출을 행하기 위해서는 4개의 광전변환부의 신호를 개별적으로 출력할 필요가 있고, 신호 전송량이 방대해져, 고속판독의 면에서 바람직하지 않다. 제1의 실시예에서 설명한 바와 같이, Y값을 연산해서 출력하거나, 상관 연산 결과만을 출력하는 것이 적합하다. 필요한 영역만의 신호를 출력하면, 더욱 신호 전송량을 감소시킬 수 있다.
또한, 도 13에 나타낸 것처럼 단위화소(900)가 2x2의 광전변환부를 구비하는 구성의 경우, 좌우 방향과 아울러, 상하 방향의 위상차 검출도 행할 수 있다. 예를 들면, 화소신호S(A)와 S(C)를 혼합하여 출력하고, 화소신호S(B)와 S(D)를 혼합하여 출력한다. 이 경우, 얻어진 초점검출용 신호로부터는 좌우 방향으로 동공분할된 위상차 방식을 이용한 초점검출이 가능해진다. 또한, 화소신호S(A)와 S(B)를 혼합하여 출력하고, 화소신호S(C)와 S(D)를 혼합하여 출력하는 경우는, 얻어진 초점검출용 신호로부터는 상하 방향으로 동공분할된 위상차 방식을 이용한 초점검출이 가능해진다. 이 신호들을 피사체에 따라 전환하여 출력함으로써, 세로 줄무늬 및 가로 줄무늬에서 각각의 피사체에 대하여 정밀한 초점검출을 행할 수 있다. 또한, 화소의 영역에 따라 출력 패턴을 변경해도 좋다.
더욱, 초점검출용 신호 처리부(702)는, 얻어진 혼합 신호(예를 들면, S(A+C)과 S(B+D))를 사용해서 상관 연산을 행하고, 그 결과만을 출력해도 좋다. 초점검출용 신호 처리부(702)에서 상관 연산 처리를 하면, 촬상 소자(100)로부터 출력하는 신호 전송량을 감소시킬 수 있다. 또한, 동일영역에 있어서 좌우 방향과 상하 방향 양쪽의 상관 연산을 행해서 그 결과를 출력하는 경우도 신호 전송량을 억제할 수 있다.
이렇게, 다분할 화소를 구비한 촬상 소자에 있어서, 촬상 소자내에 초점검출용 신호 처리부(702)를 구비하는 것으로, 촬상 소자로부터 출력하는 신호량의 증가를 억제하고, 고속으로 촬상 데이터와 초점검출 정보를 얻을 수 있다. 더욱, 좌우 방향과 상하 방향으로 위상차 정보를 취득할 수 있으므로, 정밀하게 초점검출을 행할 수 있다. 본 실시예에서는, 단위화소당 4개의 광전변환부를 갖는 촬상 소자를 일례로서 설명했지만, 보다 많은 광전변환부를 갖는 구성을 채용하여도 좋다. 보다 많은 시차를 추가하기 위해서, 필요한 ＰＤ 신호만을 출력하거나, 경사 방향으로 신호를 혼합해서 출력해도 좋다.
제5의 실시예
제1 내지 제3의 실시예에서 설명한 것 같은 촬상 소자(100)의 신호 처리부(105)가 대규모 회로를 가지므로, 촬상 소자(100)의 면적은 클 가능성이 높다. 이를 고려하여, 본 실시예에 있어서는, 면적의 증대를 억제하는 촬상 소자(100)의 구성에 대해서 설명한다.
도 15 및 도 16은, 제5의 실시예에 있어서의 촬상 소자(100)의 구성 도다. 본 실시예의 촬상 소자는 화소영역 칩(1501) 및 신호 처리 칩(1502)을 적층시킨 구성(다층구조)을 가진다. 각 반도체 칩간의 배선은, 공지의 기판 적층기술에 의해, 마이크로 범프 등을 사용해서 전기적으로 접속된다.
화소영역 칩(1501)은, 복수의 광전변환부를 각각 구비한 단위화소(200)가 행렬로 배열된 화소부(401)와, 구동회로부(402)와, 판독부(103)를 구비하고 있다. 구동회로부(402)는, 화소부(401)의 화소에 구동신호를 보낸다. 또한, 도 15에서는, 단위화소(200)는, 2개의 광전변환부를 갖지만, 광전변환부의 수는 이것에 한정되는 것이 아니다.
판독부(103)는, 예를 들면 화소 1열당 1개의 판독 회로(509)를 구비하도록 구성되고, 화소부(401)의 화소신호를 판독한다. 판독된 화소신호의 수직 및 수평 선택은 구동회로부(402)의 제어하에 행해지고, 선택된 신호는 순차로 신호 처리부(105)에 전송된다.
신호 처리 칩(1502)은, 제어부(104), 신호 처리부(105) 및 출력부(106)를 구비하고 있다. 신호 처리부(105)는, 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702)를 갖고, 판독부(103)로부터 판독된 화소신호를 처리하여, 출력부(106)를 거쳐 촬상 소자(100)의 외부에 출력한다. 신호 처리부(105)에 있어서의 신호 처리가 제1 내지 제3의 실시예에서 설명한 처리와 같으므로, 그 설명을 생략한다. 촬상 소자(100)는, 도 16에 나타낸 바와 같이, 화소영역 칩(1501) 및 신호 처리 칩(1502)이 적층되어서 일체로 형성된 구성을 가진다.
이상과 같이, 촬상 소자를 적층구조로 하는 것에 의해, 신호 처리부(105)에 충분한 면적을 확보할 수 있어, 대규모 회로를 실장할 수 있다. 신호 처리부(105)에 있어서, 필요한 신호만을 촬상 소자(100)의 외부에 출력하는 신호 처리를 행하는 것에 의해 신호 전송량을 감소시킬 수 있어, 촬상 데이터와 초점검출 정보를 함께 고속으로 얻는 것이 가능해진다.
제6의 실시예
제1 내지 제3의 실시예에서 설명한 것 같은 단위화소당 복수의 광전변환부를 구비하는 화소부로 구성된 촬상 소자에 있어서는, 판독 회로(509)가 많은 것이 바람직하다. 예를 들면, 1개의 단위화소에 대하여 1개의 판독 회로를 구비하는 구성을 채용하고, 1개의 광전변환부에 대하여 1개의 판독 회로를 구비하는 구성을 한층 더 채용하는 경우에, 전체 화소에 대해 동시에 화소신호를 출력해서 화소마다 A/D변환할 수 있으므로, 보다 고속의 판독이 가능해진다. 이 경우, 판독 회로를 배치하기 위해서 면적이 필요해서, 적층구조의 촬상 소자인 것이 바람직하다.
도 17은, 제6의 실시예에 있어서의 촬상 소자(100)의 구성을 나타내는 도다. 본 실시예의 촬상 소자는, 화소영역 칩(1301), 판독 회로 칩(1302), 및 신호 처리 칩(1303)을 적층시킨 구성을 가진다. 각 반도체 칩(반도체 기판)간의 배선은, 공지의 기판 적층기술에 의해, 마이크로 범프 등을 사용해서 전기적으로 접속된다.
화소영역 칩(1301)은, 복수의 광전변환부를 구비한 단위화소(200)가 행렬로 배열된 화소부(401)와, 구동회로부(402)를 구비하고 있다. 구동회로부(402)는, 화소부(401)의 화소에 구동신호를 보낸다. 또한, 도 17에서는, 단위화소(200)는 2개의 광전변환부를 갖지만, 광전변환부의 수는 2개에 한정되는 것이 아니다.
판독 회로 칩(1302)은, 판독부(103), 수직선택 회로(1304), 및 수평선택 회로(1305)를 구비하고 있다. 판독부(103)는 단위화소 혹은 광전변환부와 1대1 대응한 다수의 판독 회로(509)를 갖고, 이것에 화소부(401)의 화소신호가 출력된다. 판독 회로(509)에 출력된 화소신호는, 수직선택 회로(1304) 및 수평선택 회로(1305)의 제어하에, 순차로 신호 처리부(105)에 전송된다.
신호 처리 칩(1303)은, 제어부(104), 신호 처리부(105), 및 출력부(106)를 구비하고 있다. 신호 처리부(105)는, 촬상용 신호 처리부(701)와 초점검출용 신호 처리부(702)를 갖고, 판독부(103)에 의해 판독된 화소신호를 처리하여 출력부(106)를 거쳐 촬상 소자(100)의 외부에 출력하는 기능을 한다. 신호 처리부(105)에 있어서의 신호 처리가 제1 내지 제3의 실시예에서 설명한 처리와 같으므로, 그 설명을 생략한다.
촬상 소자(100)는, 화소영역 칩(1301), 판독 회로 칩(1302) 및 신호 처리 칩(1303)이 적층되어서 일체로 형성된 구성을 가진다. 그런데, 본 실시예의 구성과 같이, 1개의 광전변환부에 대하여 1개의 판독 회로를 구비하는 구성을 채용하는 경우에, 화소신호가 신호 처리부(105)에 출력되는 시간은 상당히 감소된다. 예를 들면, 1개의 광전변환부의 신호 출력에 걸리는 시간을 α라고 하면, 1열당 1개의 판독 회로를 구비하는 촬상 소자의 경우, 1프레임분의 화소신호를 판독하기 위해서는 α ｘ 행수의 시간이 걸린다. 한편, 1개의 광전변환부에 대하여 1개의 판독 회로를 구비할 경우는, α의 시간에서 1프레임 분의 화소신호를 판독할 수 있다. 단, 이 경우, 신호 처리부(105)에서의 화소신호의 수신, 및 신호 처리가 판독 속도를 결정하는 것이 걱정된다. 그러나, 본 실시예와 같이, 적층구조의 촬상 소자(100)의 신호 처리부(105)가 면적을 크게 배치할 수 있으므로, 판독 회로 칩(1302)으로부터의 신호의 전송 라인을 다수 설치할 수 있어, 고속으로 화소신호를 신호 처리부(105)에 보낼 수 있다. 또한, 신호 처리부(105)에는 신호 처리 회로를 다수 실장할 수 있으므로, 병렬 처리가 가능해지고, 신호 처리 시간도 감소될 수 있다.
이상과 같이, 촬상 소자가 적층구조를 갖는 경우에, 상기 판독부와 상기 신호 처리부에 충분한 면적을 취할 수 있다. 본 실시예의 촬상 소자의 화소부로부터의 고속 신호 판독과, 신호 처리부(105)가 필요한 신호만을 촬상 소자의 외부에 출력하는 신호 처리를 행한 결과, 신호 전송량을 감소할 수 있고, 촬상 데이터와 초점검출 정보를 함께 고속으로 얻을 수 있다.
제7의 실시예
도 18은, 본 발명의 제7의 실시예의 촬상 장치의 구성을 나타내는 블록도다. 도 18에 있어서, 제3의 실시예와 같은 구성 부분에 관해서는 같은 기호를 부착하고, 상세한 설명을 생략한다.
제7의 실시예에 있어서, 전체적으로 보면, 촬상 장치는, 제3의 실시예와 같은 구성 요소로 이루어지지만, 촬상 소자(800)의 내부에 포함된 구성 요소가 제3의 실시예와 다르다. 제7의 실시예의 촬상 소자(800)는, 수광부(801), 판독부(802), 신호 처리부(803), 화상처리부(804), 피사체 검출부(805), 위상차 검출부(806), 출력부(807), 및 제어부(104)를 포함하도록 구성되어 있다.
수광부(801)는, 촬영 렌즈(101)로 결상된 광학상을 수광한다. 수광부(801)에는, 촬영 렌즈(101)의 분할된 사출동공영역을 통과한 광빔을 각각 수광하도록, 1개의 마이크로 렌즈 밑에 복수의 ＰＤ를 각각 구비한 초점검출 화소가 배치되어 있다. 판독부(802)는, A/D변환 회로를 사용하여 아날로그 디지털 신호 처리, 및 기준 레벨의 조정(클램프 처리)을 행한다.
신호 처리부(803)는, 판독부(103)로부터의 디지털 신호 출력을 받아, (후술하는) 위상차 검출부(806) 및 화상처리부(804)에 신호를 출력한다. 이 때, 신호 처리부(803)는, 피사체 검출부(805)의 피사체 검출 결과를 받아, 피사체 검출 영역의 초점검출용 신호를 선택적으로 출력한다.
화상처리부(804)는, 신호 처리부(803)로부터 받은 화상생성용의 신호에 대하여, 결함화소의 보정, 노이즈 저감, 색변환, 화이트 밸런스 보정, 감마 보정등의 화상처리와, 해상도 변환 처리, 화상압축 처리등을 행한다. 피사체 검출부(805)는, 화상처리부(804)로부터의 디지털 신호 출력을 받아, 초점검출 처리를 행하기 위한 신호 영역을 결정한다.
위상차 검출부(806)는, 신호 처리부(803)로부터 받은 초점검출용의 신호에 대하여, 위상차 검출 방식을 이용한 초점검출을 행하기 위한 위상차 평가 값을 산출한다. 출력부(807)는, 위상차 검출부(806) 및 화상처리부(804)로부터 받은, 위상차 평가 값 및 화상생성용의 디지털 신호를 촬상 소자(800)의 외부에 출력한다. 이렇게, 본 발명의 제7의 실시예의 촬상 소자에 의해서도, 제3의 실시예와 동일한 효과가 얻어진다.
그런데, 촬상면 위상차ＡＦ에서는, 1개의 위상차 평가 값이, 복수 화소의 복수의 ＰＤ로부터 얻어진 초점검출용의 신호를 상관 연산함으로써 산출된다. 상기 제3의 실시예에서는, 이 위상차 평가 값의 산출에 필요한 복수의 초점검출용의 디지털 신호를, 출력부(106)가 촬상 소자(100)의 외부에 출력하였다. 한편, 제7의 실시예의 경우는, 위상차 검출부(806)가 산출한 위상차 평가 값을, 출력부(807)가 촬상 소자(800)의 외부에 출력한다. 즉, 촬상 소자(800)의 외부에 출력되는 신호의 양은, 제7의 실시예쪽이 제3의 실시예보다도 더욱 적다. 따라서, 촬상 소자(800)의 출력부(807)는, 초점검출 제어에 필요한 신호를, 제3의 실시예보다도 더욱 단시간에 전송할 수 있고, 촬상면 위상차ＡＦ에 의한 초점검출 제어를 고속으로 행할 수 있다.
또한, 제7의 실시예의 촬상 소자(800)에서는, 피사체 검출부(805)가, 화상처리부(804)에 의해 처리된 후의 디지털 신호를 사용하여, 피사체 검출을 행하고 있다. 그 때문에, 결함화소 보정과 노이즈 저감이 실행된 신호를 사용하는 것과 아울러, 색정보도 사용한 피사체 검출 처리를 행하는 것도 가능하다. 따라서, 제7의 실시예의 피사체 검출은, 제3의 실시예보다도 고정밀도로 행해질 수 있다.
또한, 제7의 실시예의 촬상 소자(800)에서는, 제3의 실시예의 촬상 소자(100)보다도 더욱 많은 구성 요소를 촬상 소자(800) 내에 구성한다. 따라서, 촬상 소자(800)는, 도 16에 나타낸 것 같은, 적층형 촬상 소자인 것이 바람직하다.
제8의 실시예
제1 내지 제3의 실시예에서는, 촬상 소자가 초점검출용의 신호를 선택적으로 출력/전송함으로써, 고속 촬상면 위상차ＡＦ가 가능하게 되는 것을 설명했다. 그렇지만, 본 발명의 적용 가능한 범위는 촬상면 위상차ＡＦ에 한정되지 않고, 본 발명은 촬상 소자의 신호를 사용한 자동노광 제어(촬상면ＡＥ)에도 적용될 수 있다. 촬상면ＡＥ에서는, 구체적으로는, 촬영 렌즈의 조리개, 촬상 소자의 축적 시간, 촬상 소자의 감도(게인) 등을 촬상 장치가 자동적으로 결정한 후에 제어한다. 본 발명의 제8의 실시예에서는, 촬상면ＡＥ에 사용하는 신호를, 촬상 소자가 선택적으로 출력/전송함으로써, 촬상면ＡＥ를 고속화하는 것을 목적으로 하고 있다.
도 19는, 본 발명의 제8의 실시예의 촬상 장치의 구성을 나타내는 블록도다. 도 19에 있어서, 제3의 실시예와 같은 구성 부분에 관해서는, 같은 기호를 부착하고, 상세한 설명을 생략한다. 본 실시예는, 촬상 장치가 측광부(820)를 구비하고 있다는 점에서 상기 제3의 실시예와 다르다.
신호 처리부(105)는, 판독부(103)로부터의 화상생성용의 디지털 신호 출력을 받아, 출력부(106)에 신호를 출력한다. 신호 처리부(105)는, 촬상 장치에서 설정된 측광방식에 따라, 촬상면ＡＥ에 사용하는 화상생성용의 디지털 신호를 선택한다. 이때, 예를 들면, 소위 "스폿 측광방식"과 "부분 측광방식"일 경우에, 신호 처리부(105)는, 예를 들면 화면중앙의 일부영역의 신호를 선택한다. 또한, 소위 "평가 측광방식"일 경우에, 신호 처리부(105)는, 화면 전체의 신호를 선택한다. 단, 화면 전체의 모든 화소의 신호를 선택하는 것이 아니고, 측광 평가 값의 산출에 필요한 신호량이 얻어지는 범위에서, 행 선별이나 열 선별해서 신호를 선택하는 것이, 촬상면ＡＥ를 고속화하기 위해서 바람직하다. 또한, 제3의 실시예와 마찬가지로, 유저가 임의로 선택한 초점검출 영역과 피사체 검출부(105a)가 검출한 피사체 영역의, 화상생성용 신호를 선택하는 구성을 채용해도 좋다.
측광부(820)는, 출력부(106)로부터의 화상생성용의 디지털 신호를 받아, 촬상면ＡＥ를 행하기 위한 측광 평가 값을 산출한다. 측광부(820)에 입력되는 화상생성용의 디지털 신호는, 촬상 소자(100) 내부에 설치된 신호 처리부(105)에 의해 선택된 영역의 신호다. 따라서, 촬상 소자(100)의 출력부(106)가 측광부(820)에 전송하는 촬상면ＡＥ를 위한 화상생성용 신호는, 노광 제어에 필요한 신호뿐이기 때문에, 통신 대역이 효율적으로 사용된다. 또한, 측광부(820)의 내부처리에 있어서도, 촬상면ＡＥ에 최종적으로 필요하지 않은 영역의 측광 평가 값 산출의 연산 처리와, 최종적으로 필요한 신호를 추출하는 처리가 불필요하다. 따라서, 측광부(820)가 측광 평가 값을 산출하는 처리 속도를 고속화할 수 있다.
렌즈 제어부(114)는, 측광부(820)로부터의 측광 평가 값의 출력을 받아, 측광 평가 값에 근거하여, 촬영 렌즈(101)의 조리개를 구동한다. 더욱, 전체 제어/연산부(109)는, 측광 평가 값에 근거하여 촬상 소자(100)를 구동하고, 촬상 소자(100)의 축적 시간과 감도(게인)를 제어한다.
이상 설명한 바와 같이, 본 발명의 제8의 실시예에 의하면, 촬상 소자(100)의 출력부(106)가 측광부(820)에 전송하는 화상생성용의 신호가, 촬상면ＡＥ에 필요한 신호뿐이기 때문에, 고속 전송이 가능하다. 측광부(820)는, 촬상면ＡＥ에 최종적으로 필요하지 않은 측광 평가 값 산출의 연산 처리와, 최종적으로 필요한 신호를 추출하는 처리가 불필요하다. 따라서, 촬상면ＡＥ를 고속화 할 수 있다.
또한, 제8의 실시예의 촬상 소자(100)의 화소에 있어서는, 반드시 도2에서 설명한 것 같은 1화소에 대해서 복수의 ＰＤ를 배치하는 경우는 아니다. 측광 평가 값을 산출하기 위해서는, 화상생성용의 신호(즉, 1개의 마이크로 렌즈 밑에 있는 복수의 ＰＤ의 신호를 화소마다 혼합하여서 얻어진 신호)가 있으면, 1개의 마이크로 렌즈 밑에 1개의 ＰＤ가 있는 구성을 채용하여도 좋다.
또한, 제8의 실시예에서는, 제3의 실시예의 구성을 기초로 촬상면ＡＥ를 적용하는 구성에 대해서 설명했지만, 마찬가지로 제7의 실시예의 구성을 기초로 촬상면ＡＥ를 적용할 수도 있다. 이 경우, 도 18에 있어서의 위상차 검출부(806)를 측광부로 대체하여서 촬상 소자(800)가 구성된다.
이상, 바람직한 실시예들에 대해서 설명했지만, 본 발명은 이 실시예들에 한정되지 않고, 본 발명의 사상내에서 여러 가지의 변형 및 변경이 가능하다.
그 밖의 실시예
또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 특정 용도 지향 집적회로(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.
본 출원은, 여기서 전체적으로 참고로 포함된, 2015년 9월 16일에 출원된 일본국 특허출원번호 2015-183246 및 2015-183247과, 2016년 7월 22일에 출원된 일본국 특허출원번호 2016-144756의 이점을 청구한다.

Claims (23)

1개의 마이크로 렌즈와 복수의 광전변환부를 각각 갖는 복수의 단위화소가 행렬로 배열된 화소부;
상기 화소부의 전체 영역의 상기 단위화소로부터 출력된 신호를 보유하는 신호 보유부;
상기 신호 보유부에 의해 보유된 신호를 처리하는 신호 처리부로서, 상기 신호 보유부에 의해 보유된 신호에 대하여 촬상 화상을 생성하기 위한 신호 처리를 실시하는 촬상용 신호 처리부와, 상기 신호 보유부에 의해 보유된 신호에 대하여 초점검출을 위한 신호 처리를 실시하는 초점검출용 신호 처리부를 갖는, 신호 처리부; 및
상기 신호 처리부에서 처리된 신호를 출력하는 출력부를 구비하는, 촬상 소자.
제 1 항에 있어서,
상기 초점검출용 신호 처리부는, 상기 신호 보유부에 의해 보유된 상기 화소부의 전체 영역의 신호로부터 상기 화소부에 있어서의 대상 영역의 상기 단위화소의 신호를 선택하고, 선택된 단위화소의 각각의 복수의 광전변환부의 신호 중 적어도 1개의 광전변환부의 신호를 출력하는, 촬상 소자.
제 2 항에 있어서,
상기 초점검출용 신호 처리부는, 상기 선택된 단위화소의 각각의 복수의 광전변환부의 신호를 각각 출력하는, 촬상 소자.
제 2 항에 있어서,
상기 초점검출용 신호 처리부는, 상기 선택된 단위화소의 각각의 복수의 광전변환부의 신호를 선택적으로 혼합해서 출력하는, 촬상 소자.
제 1 항에 있어서,
상기 초점검출용 신호 처리부는, 상기 신호 보유부에 의해 보유된 상기 화소부의 전체 영역의 신호로부터 상기 화소부에 있어서의 대상 영역의 상기 단위화소의 신호를 선택하고, 상기 선택된 단위화소의 각각의 복수의 광전변환부의 신호에 대하여 상관 연산을 행하고, 해당 상관 연산에 의해 산출된 값을 출력하는, 촬상 소자.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 신호 보유부는, 각 단위화소의 상기 광전변환부로부터 출력된 신호를 각각 보유하는 복수의 보유 회로를 갖는, 촬상 소자.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 신호 보유부는, 각 단위화소의 상기 광전변환부로부터 출력된 신호를 열마다 각각 보유하는 복수의 보유 회로를 갖는, 촬상 소자.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 촬상용 신호 처리부는, 각 단위화소의 상기 복수의 광전변환부의 신호를 압축해서 출력하는 압축 처리부를 갖는, 촬상 소자.
제 8 항에 있어서,
상기 압축 처리부는, 각 단위화소의 상기 복수의 광전변환부의 신호를 혼합해서 평균화하는, 촬상 소자.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
복수의 반도체 기판으로 형성된 적층구조를 갖고,
상기 화소부와 상기 신호 처리부는 서로 다른 반도체 기판에 형성된, 촬상 소자.
촬상 소자;
상기 촬상 소자로부터 출력된 신호를 처리해서 화상을 생성하는 화상처리부; 및
판독 신호를 처리해서 초점검출을 행하는 초점검출부를 구비하는, 촬상 장치로서,
상기 촬상 소자가,
1개의 마이크로 렌즈와 복수의 광전변환부를 각각 갖는 복수의 단위화소가 행렬로 배열된 화소부;
상기 화소부의 전체 영역의 상기 단위화소로부터 출력된 신호를 보유하는 신호 보유부;
상기 신호 보유부에 의해 보유된 신호를 처리하는 신호 처리부로서, 상기 신호 보유부에 의해 보유된 신호에 대하여 촬상 화상을 생성하기 위한 신호 처리를 실시하는 촬상용 신호 처리부와, 상기 신호 보유부에 의해 보유된 신호에 대하여 초점검출을 위한 신호 처리를 실시하는 초점검출용 신호 처리부를 갖는, 신호 처리부; 및
상기 신호 처리부에서 처리된 신호를 출력하는 출력부를 구비하는, 촬상 장치.
촬상 소자로서,
피사체로부터의 광을 광전변환하는 복수의 화소가 배치된 화소부;
상기 화소부로부터 신호를 판독하는 판독부; 및
상기 판독부에 의해 판독된 신호 중, 화상을 생성하기 위한 신호로서, 상기 화소부의 전체 영역의 화소의 신호를 상기 촬상 소자의 외부에 출력함과 아울러, 상기 촬상 소자를 구비하는 장치의 구동제어에 사용하는 평가 값을 산출하기 위한 신호로서, 상기 화소부의 일부의 영역의 화소의 신호를 상기 촬상 소자의 외부에 출력하는 출력부를 구비하는, 촬상 소자.
제 12 항에 있어서,
상기 화소로부터 출력되는 신호를 디지털 신호로 변환하는 Ａ/Ｄ변환부를 구비하는, 촬상 소자.
제 12 항 또는 제 13 항에 있어서,
상기 화소부에 있어서 피사체가 존재하는 영역인 피사체 영역을 검출하는 피사체 검출부를 더 구비하고,
상기 출력부는, 상기 촬상 소자를 구비하는 장치의 구동제어에 사용하는 평가 값을 산출하기 위한 신호에 대해서는, 상기 피사체 영역의 화소의 신호를 상기 촬상 소자의 외부에 출력하는, 촬상 소자.
제 12 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 화소의 각각은, 1개의 마이크로 렌즈와 복수의 광전변환부를 갖는, 촬상 소자.
제 15 항에 있어서,
상기 촬상 소자를 구비하는 장치의 구동제어에 사용하는 평가 값을 산출하기 위한 신호는, 초점검출 제어를 행하기 위한 신호이며,
상기 출력부는, 상기 화소부의 전체 영역 중 일부의 영역의 화소로부터의 신호이며, 위상차 검출 방식을 이용한 초점검출 제어에 사용하는 위상차 평가 값을 산출하는 근본이 되는 신호를, 상기 촬상 소자의 외부에 출력하는, 촬상 소자.
제 15 항에 있어서,
상기 판독부는, 모든 상기 복수의 광전변환부의 신호를 판독하는, 촬상 소자.
제 12 항 또는 제 13 항에 있어서,
상기 촬상 소자를 구비하는 장치의 구동제어에 사용하는 평가 값을 산출하기 위한 신호는, 자동노광 제어를 행하기 위한 신호이고,
상기 출력부는, 상기 화소부의 전체 영역 중 일부의 영역의 화소로부터의 신호이며, 자동노광 제어에 사용하는 측광 평가 값을 산출하는 근본이 되는 신호를, 상기 촬상 소자의 외부에 출력하는, 촬상 소자.
제 18 항에 있어서,
상기 측광 평가 값을 산출하기 위한 측광부를 더 구비하는, 촬상 소자.
피사체로부터의 광을 광전변환하는 복수의 화소가 배치된 화소부;
상기 화소부로부터의 신호를 판독하는 판독부;
위상차 검출 방식을 이용한 초점검출 제어에 사용하는 위상차 평가 값을 산출하는 위상차 검출부; 및
상기 판독부에 의해 판독된 신호 중, 화상을 생성하기 위한 신호로서 상기 화소부의 전체 영역의 화소의 신호를 상기 촬상 소자의 외부에 출력함과 아울러, 상기 화소부의 일부의 영역의 화소의 신호를 사용해서 상기 위상차 검출부에 의해 산출된 상기 위상차 평가 값을 상기 촬상 소자의 외부에 출력하는 출력부를 구비하는, 촬상 소자.
제 12 항 내지 제 20 항 중 어느 한 항에 있어서,
복수의 반도체 기판을 적층하여서 형성된 적층 구조를 갖는, 촬상 소자.
촬상 장치로서,
피사체로부터의 광을 광전변환하는 복수의 화소가 배치된 화소부와,
상기 화소부로부터의 신호를 판독하는 판독부와,
위상차 검출 방식을 이용한 초점검출 제어에 사용하는 위상차 평가 값을 산출하는 위상차 검출부와,
상기 판독부에 의해 판독된 신호 중, 화상을 생성하기 위한 신호로서 상기 화소부의 전체 영역의 화소의 신호를 본 촬상 소자의 외부에 출력함과 아울러, 상기 화소부의 일부의 영역의 화소의 신호를, 상기 촬상 소자를 구비하는 장치의 구동제어에 사용하는 평가 값을 산출하기 위한 신호로서 상기 촬상 소자의 외부에 출력하는 출력부를 구비하는, 촬상 소자; 및
상기 일부의 영역을 선택하기 위한 선택부를 구비하는, 촬상 장치.
제 22 항에 있어서,
상기 일부의 영역을 유저가 지정하는 모드와, 상기 일부의 영역을 자동으로 선택하는 모드 중, 하나를 설정하는 설정부를 더 구비하는, 촬상 장치.
KR1020187010064A 2015-09-16 2016-08-26 촬상 소자 및 촬상 장치 KR102057157B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2015183246A JP6641135B2 (ja) 2015-09-16 2015-09-16 撮像素子及び撮像装置
JP2015183247 2015-09-16
JPJP-P-2015-183246 2015-09-16
JPJP-P-2015-183247 2015-09-16
JP2016144756A JP6929027B2 (ja) 2015-09-16 2016-07-22 撮像素子及び撮像装置
JPJP-P-2016-144756 2016-07-22
PCT/JP2016/003900 WO2017047010A1 (en) 2015-09-16 2016-08-26 Image sensor and image capturing apparatus

Publications (2)

Publication Number Publication Date
KR20180052700A true KR20180052700A (ko) 2018-05-18
KR102057157B1 KR102057157B1 (ko) 2019-12-18

Family

ID=62079216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187010064A KR102057157B1 (ko) 2015-09-16 2016-08-26 촬상 소자 및 촬상 장치

Country Status (6)

Country Link
US (3) US10514526B2 (ko)
KR (1) KR102057157B1 (ko)
CN (1) CN108028898B (ko)
DE (1) DE112016004211T5 (ko)
GB (1) GB2596029B (ko)
RU (1) RU2679011C1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1017784S1 (en) 2021-10-27 2024-03-12 Samsung Electronics Co., Ltd. Air conditioner

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440252B2 (en) * 2013-09-24 2019-10-08 Sony Corporation Apparatus and imaging method for setting a target of an image
US10514526B2 (en) * 2015-09-16 2019-12-24 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
GB2596030B (en) 2015-09-16 2022-04-20 Canon Kk Image sensor and image capturing apparatus
JP6540886B2 (ja) * 2016-03-30 2019-07-10 株式会社ニコン 特徴抽出素子、特徴抽出システム、および判定装置
CN109076177B (zh) * 2016-05-30 2021-06-15 索尼公司 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
AT521845B1 (de) * 2018-09-26 2021-05-15 Waits Martin Verfahren zur Fokuseinstellung einer Filmkamera
JP6683280B1 (ja) 2018-10-19 2020-04-15 ソニー株式会社 センサ装置、信号処理方法
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
WO2020149094A1 (ja) * 2019-01-17 2020-07-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像システムおよび故障検出方法
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
WO2021124873A1 (ja) 2019-12-19 2021-06-24 富士フイルム株式会社 撮像装置、撮像装置の作動方法、プログラム、及び撮像システム
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US12075175B1 (en) 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
KR20230006343A (ko) * 2021-07-02 2023-01-10 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP4107269B2 (ja) 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
US7368695B2 (en) * 2004-05-03 2008-05-06 Tessera, Inc. Image sensor package and fabrication method
JP4908067B2 (ja) * 2006-06-01 2012-04-04 オリンパス株式会社 固体撮像装置及びそれを用いた撮像装置システム
JP5034840B2 (ja) 2007-10-01 2012-09-26 株式会社ニコン 固体撮像装置及びこれを用いた電子カメラ
JP5121443B2 (ja) * 2007-12-28 2013-01-16 キヤノン株式会社 撮像装置及び光学フィルタ
JP5159532B2 (ja) * 2008-09-16 2013-03-06 キヤノン株式会社 撮像装置とその制御方法
JP5319347B2 (ja) 2009-03-17 2013-10-16 キヤノン株式会社 撮像装置及びその制御方法
JP5620196B2 (ja) * 2010-08-30 2014-11-05 オリンパスイメージング株式会社 撮像装置
JP5404693B2 (ja) * 2011-05-18 2014-02-05 キヤノン株式会社 撮像素子、それを具備した撮像装置及びカメラシステム
JP5791571B2 (ja) 2011-08-02 2015-10-07 キヤノン株式会社 撮像素子及び撮像装置
DE102011053250B4 (de) 2011-09-05 2016-11-17 Carl Zeiss Ag Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjektes mit einem elektronischen Bildsensor und optisches Beobachtungsgerät
KR20130038035A (ko) * 2011-10-07 2013-04-17 삼성전자주식회사 촬상소자
DE102012003127A1 (de) 2012-02-16 2013-09-05 Leica Camera Ag Verfahren für eine Autofokuseinrichtung
JP6016378B2 (ja) 2012-02-29 2016-10-26 キヤノン株式会社 光電変換装置、および光電変換装置を用いた撮像システム
JP6016412B2 (ja) * 2012-03-30 2016-10-26 キヤノン株式会社 撮像装置および信号処理方法
EP2665257B1 (en) 2012-05-16 2014-09-10 Harvest Imaging bvba Image sensor and method for power efficient readout of sub-picture
KR20130134293A (ko) * 2012-05-30 2013-12-10 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
WO2014006785A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
JP2014056032A (ja) 2012-09-11 2014-03-27 Sony Corp 撮像装置
JP6149369B2 (ja) 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
JP5942757B2 (ja) 2012-09-28 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP6053479B2 (ja) * 2012-11-29 2016-12-27 キヤノン株式会社 焦点検出装置、撮像装置、撮像システム、および、焦点検出方法
JP6346439B2 (ja) 2013-01-07 2018-06-20 キヤノン株式会社 撮像装置及びその制御方法
JP2014179781A (ja) 2013-03-14 2014-09-25 Nikon Corp 撮像ユニット、撮像装置および撮像制御プログラム
JP2014178603A (ja) 2013-03-15 2014-09-25 Nikon Corp 撮像装置
JP2014222863A (ja) * 2013-05-14 2014-11-27 キヤノン株式会社 撮像装置
JP6263035B2 (ja) * 2013-05-17 2018-01-17 キヤノン株式会社 撮像装置
KR102028124B1 (ko) * 2013-05-24 2019-10-02 삼성전자주식회사 위상차 초점검출 가능한 촬상소자
JP6274788B2 (ja) * 2013-08-28 2018-02-07 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
JP6300471B2 (ja) * 2013-08-28 2018-03-28 キヤノン株式会社 撮像装置の駆動方法、撮像システムの駆動方法
JP6257245B2 (ja) 2013-09-27 2018-01-10 キヤノン株式会社 撮像装置及びその制御方法
JP6555857B2 (ja) 2013-10-11 2019-08-07 キヤノン株式会社 撮像装置およびその制御方法
JP6320272B2 (ja) 2013-11-29 2018-05-09 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機
JP6233188B2 (ja) 2013-12-12 2017-11-22 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2015126284A (ja) 2013-12-25 2015-07-06 株式会社東芝 デジタル放送受信装置
JP6197718B2 (ja) 2014-03-25 2017-09-20 トヨタ自動車株式会社 鉄系粉末混合物、同鉄系粉末混合物から得られる鉄系焼結体、及び同鉄系焼結体から得られる鉄系部品
JP6303685B2 (ja) 2014-03-25 2018-04-04 新日鐵住金株式会社 ベルレス高炉の装入物装入方法
US10070088B2 (en) * 2015-01-05 2018-09-04 Canon Kabushiki Kaisha Image sensor and image capturing apparatus for simultaneously performing focus detection and image generation
KR102272254B1 (ko) * 2015-02-13 2021-07-06 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
US10514526B2 (en) * 2015-09-16 2019-12-24 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
JP6172336B2 (ja) 2016-05-19 2017-08-02 株式会社三洋物産 遊技機

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1017784S1 (en) 2021-10-27 2024-03-12 Samsung Electronics Co., Ltd. Air conditioner

Also Published As

Publication number Publication date
KR102057157B1 (ko) 2019-12-18
GB202114260D0 (en) 2021-11-17
GB2596029A (en) 2021-12-15
DE112016004211T5 (de) 2018-06-14
US10514526B2 (en) 2019-12-24
US20210318515A1 (en) 2021-10-14
RU2679011C1 (ru) 2019-02-05
US20200041759A1 (en) 2020-02-06
US20180239108A1 (en) 2018-08-23
US11493729B2 (en) 2022-11-08
CN108028898B (zh) 2020-09-04
US11048063B2 (en) 2021-06-29
CN108028898A (zh) 2018-05-11
GB2596029B (en) 2022-07-27

Similar Documents

Publication Publication Date Title
US11719908B2 (en) Image sensor and image capturing apparatus
KR102057157B1 (ko) 촬상 소자 및 촬상 장치
US9894295B2 (en) Imaging device and imaging system
JP7232291B2 (ja) 撮像素子及び撮像装置
US9030589B2 (en) Image sensor and image sensing apparatus
US9930279B2 (en) Image capturing apparatus and control method thereof, and storage medium
US10771724B2 (en) Image capturing apparatus
JP5850680B2 (ja) 撮像装置及びその制御方法
US9154685B2 (en) Driving technology of an image sensor in an image capture apparatus
US20140118587A1 (en) Image pickup apparatus and driving method therefor
US10003734B2 (en) Image capturing apparatus and control method of image sensor
US20160353043A1 (en) Image sensor and image apparatus
JP6955543B2 (ja) 撮像素子及び撮像装置
JP2016184868A (ja) 撮像装置及び撮像装置の駆動方法
JP6641135B2 (ja) 撮像素子及び撮像装置
JP7566065B2 (ja) 撮像素子及び撮像装置
JP2020057892A (ja) 撮像装置
JP2018117178A (ja) 撮像素子および撮像装置
JP2020057893A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant