KR20240050322A - 촬상 장치, 센서 및 촬상 제어 장치 - Google Patents

촬상 장치, 센서 및 촬상 제어 장치 Download PDF

Info

Publication number
KR20240050322A
KR20240050322A KR1020247003314A KR20247003314A KR20240050322A KR 20240050322 A KR20240050322 A KR 20240050322A KR 1020247003314 A KR1020247003314 A KR 1020247003314A KR 20247003314 A KR20247003314 A KR 20247003314A KR 20240050322 A KR20240050322 A KR 20240050322A
Authority
KR
South Korea
Prior art keywords
resolution
pixel
image signal
imaging
unit
Prior art date
Application number
KR1020247003314A
Other languages
English (en)
Inventor
슈타 유후네
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20240050322A publication Critical patent/KR20240050322A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

피사체의 화상 해상도를 조정한다. 촬상 장치는, 촬상 소자와, 해상도 선택부와, 화상 신호 가산부를 갖는다. 촬상 소자는, 피사체로부터의 입사광의 광전 변환을 행하여 화상 신호를 생성하는 복수의 화소 및 당해 복수의 화소에 공통으로 배치되어 입사광을 복수의 화소에 집광하는 온 칩 렌즈를 구비하는 화소 블록이 2차원 행렬상으로 배치된다. 해상도 선택부는, 화소의 사이즈에 따른 해상도인 제1 해상도, 화소 블록의 사이즈에 따른 해상도인 제2 해상도 및 인접하는 복수의 화소 블록에 의해 구성되는 화소 블록 유닛의 사이즈에 따른 해상도인 제3 해상도를 선택한다. 화상 신호 가산부는, 생성된 화상 신호를 선택된 해상도에 따라 가산함으로써 제2 화상 신호를 생성한다.

Description

촬상 장치, 센서 및 촬상 제어 장치
본 개시는, 촬상 장치, 센서 및 촬상 제어 장치에 관한 것이다.
입사광의 광전 변환을 행하는 광전 변환 소자가 2차원 행렬상으로 배치되어 구성된 촬상 소자를 구비하고, 피사체의 화상을 생성하는 장치가 사용되고 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공개 제2014-228671호 공보
그러나, 상기한 종래 기술에서는, 피사체의 화상의 해상도를 조정할 수 없어, 편리성이 저하된다는 문제가 있다.
따라서, 본 개시에서는, 피사체의 화상의 해상도를 조정하는 촬상 장치를 제안한다.
본 개시에 관한 촬상 장치는, 촬상 소자와, 해상도 선택부와, 화상 신호 가산부를 갖는다. 촬상 소자는, 피사체로부터의 입사광의 광전 변환을 행하여 화상 신호를 생성하는 복수의 화소 및 당해 복수의 화소에 공통으로 배치되어 상기 입사광을 상기 복수의 화소에 집광하는 온 칩 렌즈를 구비하는 화소 블록이 2차원 행렬상으로 배치된다. 해상도 선택부는, 상기 화소의 사이즈에 따른 해상도인 제1 해상도, 상기 화소 블록의 사이즈에 따른 해상도인 제2 해상도 및 인접하는 복수의 상기 화소 블록에 의해 구성되는 화소 블록 유닛의 사이즈에 따른 해상도인 제3 해상도를 선택한다. 화상 신호 가산부는, 상기 생성된 화상 신호를 상기 선택된 해상도에 따라 가산함으로써 제2 화상 신호를 생성한다.
도 1은 본 개시의 제1 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다.
도 2는 본 개시의 실시 형태에 관한 촬상 소자의 구성예를 나타내는 도면이다.
도 3은 본 개시의 제1 실시 형태에 관한 화소의 구성예를 나타내는 도면이다.
도 4는 본 개시의 실시 형태에 관한 화소의 구성예를 나타내는 단면도이다.
도 5는 본 개시의 제1 실시 형태에 관한 신호 처리부의 구성예를 나타내는 도면이다.
도 6a는 본 개시의 실시 형태에 관한 리모자이크 처리의 일례를 나타내는 도면이다.
도 6b는 본 개시의 실시 형태에 관한 리모자이크 처리의 일례를 나타내는 도면이다.
도 6c는 본 개시의 실시 형태에 관한 리모자이크 처리의 일례를 나타내는 도면이다.
도 7a는 본 개시의 실시 형태에 관한 촬상 장치가 생성하는 화상의 일례를 나타내는 도면이다.
도 7b는 본 개시의 실시 형태에 관한 촬상 장치가 생성하는 화상의 일례를 나타내는 도면이다.
도 8은 본 개시의 제1 실시 형태에 관한 촬상 처리의 일례를 나타내는 도면이다.
도 9는 본 개시의 제2 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다.
도 10은 본 개시의 제2 실시 형태에 관한 촬상 처리의 일례를 나타내는 도면이다.
도 11은 본 개시의 제3 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다.
도 12는 본 개시의 제3 실시 형태에 관한 신호 처리부의 구성예를 나타내는 도면이다.
도 13은 본 개시의 제3 실시 형태에 관한 위상차 화소의 구성예를 나타내는 도면이다.
도 14a는 본 개시의 제3 실시 형태에 관한 위상차 화소의 구성예를 나타내는 도면이다.
도 14b는 본 개시의 제3 실시 형태에 관한 위상차 화소의 구성예를 나타내는 도면이다.
도 15는 본 개시의 제3 실시 형태에 관한 위상차 화소의 구성예를 나타내는 도면이다.
도 16a는 종래의 기술의 촬상 소자 구성예를 나타내는 도면이다.
도 16b는 종래의 기술의 촬상 소자 구성예를 나타내는 도면이다.
도 17은 본 개시의 제4 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다.
도 18은 본 개시의 제5 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다.
도 19는 본 개시의 제5 실시 형태에 관한 촬상 처리의 처리 수순의 일례를 나타내는 도면이다.
도 20은 본 개시의 제6 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다.
도 21은 본 개시의 제6 실시 형태에 관한 촬상 처리의 처리 수순의 일례를 나타내는 도면이다.
도 22는 본 개시의 제7 실시 형태에 관한 촬상 장치가 생성하는 화상의 일례를 나타내는 도면이다.
도 23은 본 개시의 실시 형태의 제1 변형예에 관한 화소의 구성예를 나타내는 도면이다.
도 24는 본 개시의 실시 형태의 제2 변형예에 관한 화소의 구성예를 나타내는 도면이다.
도 25는 본 개시의 실시 형태에 관한 화소 블록의 회로 구성의 일례를 나타내는 도면이다.
도 26은 본 개시의 실시 형태에 관한 화소 블록의 구성예를 나타내는 도면이다.
이하에, 본 개시의 실시 형태에 대하여 도면에 기초하여 상세하게 설명한다. 설명은, 이하의 순서로 행한다. 또한, 이하의 각 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 붙임으로써 중복되는 설명을 생략한다.
1. 제1 실시 형태
2. 제2 실시 형태
3. 제3 실시 형태
4. 제4 실시 형태
5. 제5 실시 형태
6. 제6 실시 형태
7. 제7 실시 형태
8. 변형예
9. 화소 블록의 구성예
(1. 제1 실시 형태)
[촬상 장치의 구성]
도 1은, 본 개시의 제1 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다. 동도는, 촬상 장치(1)의 구성예를 나타내는 블록도이다. 촬상 장치(1)는 피사체의 화상을 구성하는 화상 신호를 생성하는 장치이다. 촬상 장치(1)는 촬상 소자(10)와, 화상 신호 가산부(20)와, 신호 처리부(30)와, 촬상 제어부(40)와, 대상 영역 검출부(50)와, 기억부(60)와, 촬영 렌즈(70)를 구비한다.
촬상 소자(10)는 피사체의 촬상을 행하여 화상 신호를 생성하는 것이다. 이 촬상 소자(10)는 피사체로부터의 입사광의 광전 변환을 행하는 화소(후술하는 화소(100))가 2차원 행렬상으로 배치된 화소 어레이부(후술하는 화소 어레이부(11))를 구비한다. 동도의 촬상 소자(10)는 촬상 제어부(40)로부터의 제어 신호에 기초하여 화상 신호를 생성한다. 이 생성된 화상 신호는, 화상 신호 가산부(20)에 대하여 출력된다. 또한, 촬상 소자(10)의 구성의 상세에 대해서는 후술한다.
촬상 제어부(40)는 촬상 소자(10)에 있어서의 촬상을 제어하는 것이다. 이 촬상 제어부(40)는 제어 신호를 출력함으로써 촬상 소자(10)를 제어한다. 예를 들어, 촬상 제어부(40)는 정지 화상의 촬상이나 동화상의 촬상을 촬상 소자(10)에 행하게 하는 제어를 행한다.
또한, 촬상 제어부(40)는 화상의 해상도를 선택하는 처리를 행한다. 후술하는 바와 같이, 촬상 제어부(40)는 제1 해상도, 제2 해상도 및 제3 해상도를 선택할 수 있다. 제1 해상도는, 촬상 소자(10)에 배열된 복수의 화소(100)의 밀도와 동등한 해상도이다. 제2 해상도는, 제1 해상도의 1/4의 해상도이다. 제3 해상도는, 제2 해상도의 1/4의 해상도이다. 이들 선택된 해상도는, 화상 신호 가산부(20)에 대하여 출력된다. 또한, 촬상 제어부(40)는 피사체 중 촬상의 대상이 되는 대상물을 포함하는 화상의 영역인 대상 영역에 따른 해상도를 선택할 수 있다. 이 대상 영역으로서 후술하는 대상 영역 검출부(50)로부터 입력되는 대상 영역을 사용할 수 있다. 한편, 촬상 제어부(40)는 대상 영역 검출부(50)에 대하여 화상 신호를 출력한다.
또한, 제1 해상도, 제2 해상도 및 제3 해상도가 선택되는 촬상 모드를 각각 제1 촬상 모드, 제2 촬상 모드 및 제3 촬상 모드라고 칭한다. 촬상 제어부(40)에 의한 해상도의 선택의 상세에 대해서는 후술한다. 또한, 촬상 제어부(40)는 청구의 범위에 기재된 해상도 선택부의 일례이다.
화상 신호 가산부(20)는 촬상 제어부(40)에 의해 선택된 해상도에 따라 화상 신호를 가산하여 새로운 화상 신호(제2 화상 신호)를 생성하는 것이다. 이 화상 신호 가산부(20)는 인접하는 4개의 화소(100)가 생성한 각각의 화상 신호를 가산함으로써, 제2 해상도에 따른 화상 신호를 생성한다. 또한, 화상 신호 가산부(20)는 인접하는 16개의 화소(100)가 생성한 각각의 화상 신호를 가산함으로써, 제3 해상도에 따른 화상 신호를 생성한다. 또한, 오버플로를 방지하기 위해, 화상 신호 가산부(20)는 가산 시의 자릿수를 조정할 수 있다. 화상 신호 가산부(20)는 생성한 화상 신호를 신호 처리부(30)에 대하여 출력한다. 화상 신호 가산부(20)에 있어서의 화상 신호의 가산의 상세에 대해서는 후술한다.
신호 처리부(30)는 화상 신호 가산부(20)로부터 출력된 화상 신호의 처리를 행하는 것이다. 신호 처리부(30)의 구성의 상세에 대해서는 후술한다.
대상 영역 검출부(50)는 촬상 제어부(40)로부터 입력된 화상 신호에 기초하는 화상으로부터 대상 영역을 검출하는 것이다. 상술한 바와 같이, 이 대상 영역은, 촬상의 대상물이 포함되는 영역이다. 이 대상물에는, 예를 들어 특정한 인물이 해당한다. 대상 영역 검출부(50)는 입력된 화상을 검색하여 대상물이 포함되어 있는지 여부를 판단한다. 그리고, 대상 영역 검출부(50)는 화상에 대상물이 포함되어 있는 경우에, 당해 대상물이 포함되는 영역을 대상 영역으로서 검출하고, 촬상 제어부(40)에 대하여 출력한다. 동도의 대상 영역 검출부(50)는 기억부(60)로부터 출력된 피사체 데이터에 기초하여 대상물을 특정한다.
기억부(60)는 대상물의 데이터를 보유하는 것이다. 이 대상물에는, 예를 들어 촬상 장치(1)의 사용자에 의해 입력된 대상물을 적용할 수 있다. 기억부(60)는 대상물을 식별하기 위한 데이터나 대상물을 추미할 때의 최소 사이즈 등의 대상물의 정보를 기억한다. 또한, 기억부(60)는 대상 영역 검출부(50)로부터의 제어 신호에 기초하여 대상물의 정보인 피사체 데이터를 대상 영역 검출부(50)에 대하여 출력한다.
또한, 대상 영역 검출부(50)에 있어서의 대상 영역의 검출은, 이 예에 한정되지 않는다. 예를 들어, 사전에 생성된 화상을 사용하여 AI(Artificial Intelligence)에 의해 인물 등의 인식을 행하고, 당해 인식한 인물 등을 포함하는 대상 영역을 AI가 검출하는 방식을 채용할 수도 있다.
촬영 렌즈(70)는 피사체를 촬상 소자(10)의 화소(100)가 배치된 면에 결상하는 렌즈이다. 또한, 촬상 제어부(40), 대상 영역 검출부(50) 및 기억부(60)는 촬상 제어 장치를 구성한다. 또한, 촬상 소자(10) 및 화상 신호 가산부(20)는 센서를 구성한다.
[촬상 소자의 구성]
도 2는, 본 개시의 실시 형태에 관한 촬상 소자의 구성예를 나타내는 도면이다. 동도는, 촬상 소자(10)의 구성예를 나타내는 블록도이다. 촬상 소자(10)는 피사체의 화상 데이터를 생성하는 반도체 소자이다. 촬상 소자(10)는 화소 어레이부(11)와, 수직 구동부(12)와, 칼럼 신호 처리부(13)와, 제어부(14)를 구비한다.
화소 어레이부(11)는 복수의 화소(100)가 배치되어 구성된 것이다. 동도의 화소 어레이부(11)는 복수의 화소(100)가 2차원 행렬의 형상으로 배열되는 예를 나타낸 것이다. 여기서, 화소(100)는 입사광의 광전 변환을 행하는 광전 변환부를 구비하고, 조사된 입사광에 기초하여 피사체의 화상 신호를 생성하는 것이다. 이 광전 변환부에는, 예를 들어 포토다이오드를 사용할 수 있다. 각각의 화소(100)에는, 신호선(15 및 16)이 배선된다. 화소(100)는 신호선(15)에 의해 전달되는 제어 신호에 의해 제어되어 화상 신호를 생성하고, 신호선(16)을 통해 생성한 화상 신호를 출력한다. 또한, 신호선(15)은 2차원 행렬의 형상의 행마다 배치되고, 1행에 배치된 복수의 화소(100)에 공통으로 배선된다. 신호선(16)은 2차원 행렬의 형상의 열마다 배치되고, 1열에 배치된 복수의 화소(100)에 공통으로 배선된다.
수직 구동부(12)는 상술한 화소(100)의 제어 신호를 생성하는 것이다. 동도의 수직 구동부(12)는 화소 어레이부(11)의 2차원 행렬의 행마다 제어 신호를 생성하고, 신호선(15)을 통해 순차 출력한다.
칼럼 신호 처리부(13)는 화소(100)에 의해 생성된 화상 신호의 처리를 행하는 것이다. 동도의 칼럼 신호 처리부(13)는 신호선(16)을 통해 전달되는 화소 어레이부(11)의 1행에 배치된 복수의 화소(100)로부터의 화상 신호의 처리를 동시에 행한다. 이 처리로서, 예를 들어 화소(100)에 의해 생성된 아날로그의 화상 신호를 디지털의 화상 신호로 변환하는 아날로그/디지털 변환이나 화상 신호의 오프셋 오차를 제거하는 상관 이중 샘플링(CDS: Correlated Double Sampling)을 행할 수 있다. 처리 후의 화상 신호는, 촬상 소자(10)의 외부의 회로 등에 대하여 출력된다.
제어부(14)는 수직 구동부(12) 및 칼럼 신호 처리부(13)를 제어하는 것이다. 동도의 제어부(14)는 외부의 회로 등으로부터 입력된 클럭이나 동작 모드 등을 명령하는 데이터에 기초하여, 수직 구동부(12) 및 칼럼 신호 처리부(13)를 제어하는 제어 신호를 생성한다. 다음으로 제어부(14)는 신호선(17 및 18)을 통해 제어 신호를 각각 출력하여 수직 구동부(12) 및 칼럼 신호 처리부(13)를 제어한다.
[촬상 소자의 평면의 구성]
도 3은, 본 개시의 제1 실시 형태에 관한 화소의 구성예를 나타내는 도면이다. 동도는, 화소(100)의 구성예를 나타내는 평면도이다. 전술한 바와 같이, 화소(100)는 화소 어레이부(11)에 배열된다. 동도는, 화소(100)가 2차원 행렬상으로 배열되는 예를 나타낸 것이다. 또한, 동도의 화소(100)에 부여된 「R」, 「G」 및 「B」는, 후술하는 컬러 필터(150)의 종류를 나타낸다. 동도의 「R」, 「G」 및 「B」는, 각각 적색광, 녹색광 및 청색광에 대응하는 컬러 필터(150)의 배치를 나타낸다. 또한, 동도의 백색 바탕의 직사각형은, 녹색광에 대응하는 컬러 필터(150)가 배치되는 화소(100)를 나타낸다. 또한, 동도의 우측 하향의 사선 해칭의 직사각형은, 적색광에 대응하는 컬러 필터(150)가 배치되는 화소(100)를 나타낸다. 또한, 동도의 우측 상향의 사선 해칭의 직사각형은, 청색광에 대응하는 컬러 필터(150)가 배치되는 화소(100)를 나타낸다.
또한, 화소(100)에는, 온 칩 렌즈(170)가 배치된다. 이 온 칩 렌즈(170)는 입사광을 화소(100)의 광전 변환부(광전 변환부(101))에 집광하는 것이고, 복수의 화소(100)에 공통으로 배치된다. 동도의 온 칩 렌즈(170)는 2행 2열로 배치되는 4개의 화소(100)에 공통으로 배치되는 예를 나타낸 것이다. 또한, 동도의 온 칩 렌즈(170)는 동색의 컬러 필터(150)가 배치된 4개의 화소(100)에 공통으로 배치된다. 이 온 칩 렌즈(170) 및 온 칩 렌즈(170)를 공유하는 복수의 화소(100)는 화소 블록(200)을 구성한다.
또한, 인접하는 복수의 화소 블록(200)은 화소 블록 유닛(300)을 구성한다. 동도의 화소 블록 유닛(300)은 2행 2열로 배치된 4개의 화소 블록(200)에 의해 구성되는 예를 나타낸 것이다. 또한, 화소 블록 유닛(300)에 포함되는 화소 블록(200)에는, 동색의 컬러 필터(150)가 배치된다. 동도는, 적색광, 녹색광 및 청색광에 대응하는 화소 블록 유닛(300)이 베이어 배열로 배치되는 예를 나타낸 것이다. 이와 같이, 촬상 소자(10)에는, 복수의 화소 블록 유닛(300)이 2차원 행렬상으로 배치된다.
동도의 온 칩 렌즈(170)는 평면으로 보아 원 형상으로 구성되는 예를 나타낸 것이다. 또한, 온 칩 렌즈(170)는 평면으로 보아 직사각형 형상으로 구성할 수도 있다.
전술한 제1 해상도는, 동도의 복수의 화소(100)의 밀도에 따른 해상도에 해당한다. 이 제1 해상도는, 촬상 소자(10)에 있어서의 최대의 해상도가 된다. 제1 해상도는, 예를 들어 정지 화상의 촬상에 적용할 수 있다. 이 제1 해상도를 적용한 화상 신호에 의해, 소위 RAW 데이터를 생성할 수 있다. 전술한 촬상 제어부(40)가 제1 해상도를 선택한 경우에는, 화상 신호 가산부(20)는 가산을 행하지 않고 촬상 소자(10)로부터 출력되는 화상 신호를 신호 처리부(30) 등에 대하여 출력한다.
전술한 제2 해상도는, 동도의 화소 블록(200)의 밀도에 따른 해상도에 해당한다. 동도에 나타낸 바와 같이, 이 제2 해상도는, 제1 해상도의 1/4의 해상도가 된다. 제2 해상도는, 예를 들어 8K 상당의 동화상의 촬상에 적용할 수 있다. 전술한 촬상 제어부(40)가 제2 해상도를 선택한 경우에는, 화상 신호 가산부(20)는 화소 블록(200)에 포함되는 4개의 화상 신호의 가산을 행하고, 가산 후의 화상 신호를 신호 처리부(30) 등에 대하여 출력한다.
전술한 제3 해상도는, 동도의 화소 블록 유닛(300)의 밀도에 따른 해상도에 해당한다. 동도에 나타낸 바와 같이, 이 제3 해상도는, 제2 해상도의 1/4의 해상도가 되고, 제1 해상도의 1/16의 해상도가 된다. 제3 해상도는, 예를 들어 4K 상당의 동화상의 촬상에 적용할 수 있다. 전술한 촬상 제어부(40)가 제3 해상도를 선택한 경우에는, 화상 신호 가산부(20)는 화소 블록 유닛(300)에 포함되는 16의 화상 신호의 가산을 행하고, 가산 후의 화상 신호를 신호 처리부(30) 등에 대하여 출력한다. 또한, 촬상 소자(10) 및 화상 신호 가산부(20)를 포함하는 센서에 있어서, 화소(100)마다 화상 신호를 생성하는 동작 모드를 제1 모드라고 칭한다. 또한, 화소 블록(200)마다 화상 신호를 생성하는 동작 모드를 제2 모드라고 칭한다. 또한, 화소 블록 유닛(300)마다 화상 신호를 생성하는 동작 모드를 제3 모드라고 칭한다.
화소 블록(200) 및 화소 블록 유닛(300)에 포함되는 화소(100)에는 동일한 종류의 컬러 필터(150)가 배치되어 있기 때문에, 화상 신호의 가산에 의해 해상도의 변경을 행할 수 있다. 해상도의 변경 처리를 간략화할 수 있다.
[촬상 소자의 단면의 구성]
도 4는, 본 개시의 실시 형태에 관한 화소의 구성예를 나타내는 단면도이다. 동도는, 화소(100)의 구성예를 나타내는 단면도이다. 또한, 동도의 화소(100)는 온 칩 렌즈(170)가 공통으로 배치되는 화소 블록(200)에 포함되는 화소(100)이다. 화소(100)는 반도체 기판(120)과, 절연막(130)과, 배선 영역(140)과, 분리부(135)와, 보호막(136)과, 컬러 필터(150)를 구비한다.
반도체 기판(120)은 화소(100)의 반도체 소자의 확산층이 배치되는 반도체의 기판이다. 반도체 기판(120)은, 예를 들어 실리콘(Si)에 의해 구성할 수 있다. 반도체 소자 등은, 반도체 기판(120)에 형성된 웰 영역에 배치된다. 편의상, 동도의 반도체 기판(120)은 p형의 웰 영역에 구성되는 것이라고 상정한다. 이 p형의 웰 영역에 n형 또는 p형의 반도체 영역을 배치함으로써 반도체 소자를 형성할 수 있다. 동도의 반도체 기판(120)에는, 광전 변환부(101)를 예로서 기재했다. 이 광전 변환부(101)는 n형의 반도체 영역(121)에 의해 구성된다. 구체적으로는, n형의 반도체 영역(121) 및 주위의 p형의 웰 영역의 계면의 pn 접합을 포함하는 포토다이오드가 광전 변환부(101)에 해당한다.
절연막(130)은 반도체 기판(120)의 표면측을 절연하는 것이다. 이 절연막(130)에는, 예를 들어 산화실리콘(SiO2)의 막을 적용할 수 있다.
배선 영역(140)은 반도체 기판(120)의 표면측에 배치되어 소자의 배선이 형성되는 영역이다. 이 배선 영역(140)은 배선(141)과, 비아 플러그(142)와, 절연층(143)을 구비한다. 배선(141)은 반도체 기판(120)의 소자 등으로 신호를 전달하는 도체이다. 이 배선(141)은, 예를 들어 구리(Cu)나 텅스텐(W) 등의 금속에 의해 구성할 수 있다. 비아 플러그(142)는 다른 층에 배치된 배선(141)끼리를 접속하는 것이다. 이 비아 플러그(142)는, 예를 들어 주상의 금속에 의해 구성할 수 있다. 절연층(143)은 배선(141) 등을 절연하는 것이다. 이 절연층(143)은, 예를 들어 SiO2에 의해 구성할 수 있다.
분리부(135)는 반도체 기판(120)에 있어서의 화소(100)의 경계에 배치되어 화소(100)를 전기적 및 광학적으로 분리하는 것이다. 이 분리부(135)는 반도체 기판(120)에 매립된 절연물에 의해 구성할 수 있다. 분리부(135)는, 예를 들어 화소(100)의 경계에 형성되는 반도체 기판(120)을 관통하는 홈부에 SiO2 등의 절연물을 배치함으로써 형성할 수 있다.
보호막(136)은 반도체 기판(120)의 이면측을 보호하는 막이다. 이 보호막(136)은 SiO2 등의 절연물에 의해 구성할 수 있다. 동도의 보호막(136)은 분리부(135)와 동시에 형성할 수 있다.
컬러 필터(150)는 입사광 중 소정의 파장의 입사광을 투과시키는 광학적인 필터이다. 이 컬러 필터(150)에는, 예를 들어 적색광, 녹색광 및 청색광을 투과시키는 컬러 필터를 사용할 수 있다. 이 경우, 화소(100)에는, 적색광, 녹색광 및 청색광의 어느 것에 대응하는 컬러 필터(150)가 1개 배치된다. 이 화소(100)는 컬러 필터(150)가 대응하는 파장의 입사광의 화상 신호를 생성한다. 전술한 바와 같이, 화소 블록(200)에 배치되는 복수의 화소(100)에는, 동일한 종류의 컬러 필터(150)가 배치된다. 또한, 동도의 컬러 필터(150)는 반도체 기판(120)의 이면측에 배치된다.
또한, 동도의 화소(100)에는, 화소 블록(200)의 경계의 컬러 필터(150)의 영역에 차광막(159)이 배치된다. 이 차광막(159)은 입사광을 차광하는 것이다. 차광막(159)을 배치함으로써, 인접하는 화소(100)로부터 비스듬히 입사하는 입사광을 차광할 수 있다. 차광막(159)이 인접하는 화소 블록(200)의 화소(100)의 다른 종류의 컬러 필터(150)를 투과한 입사광을 차광하기 때문에, 혼색을 방지할 수 있어, 화질의 저하를 방지할 수 있다.
온 칩 렌즈(170)는 전술한 바와 같이 화소 블록(200)을 구성하는 복수의 화소(100)에 공통으로 배치되는 렌즈이다. 동도의 온 칩 렌즈(170)는 반구 형상의 단면으로 구성되어 입사광을 광전 변환부(101)에 집광한다. 온 칩 렌즈(170)는 아크릴 수지 등의 유기 재료나 질화실리콘(SiN) 등의 무기 재료에 의해 구성할 수 있다.
[신호 처리부의 구성]
도 5는, 본 개시의 제1 실시 형태에 관한 신호 처리부의 구성예를 나타내는 도면이다. 동도는, 신호 처리부(30)의 구성예를 나타내는 블록도이다. 동도의 신호 처리부(30)는 감도 보정부(31)와, 화소 결함 보정부(32)와, 리모자이크 처리부(33)를 구비한다.
감도 보정부(31)는 화소(100)의 감도차를 보정하는 것이다. 예를 들어, 입사광의 입사 각도에 따라 화소(100)의 감도차가 발생한다. 감도 보정부(31)는 이러한 감도차의 보정을 행한다. 보정 후의 화상 신호는, 화소 결함 보정부(32)에 대하여 출력된다.
화소 결함 보정부(32)는 결함이 있는 화소(100)로부터의 화상 신호를 보정하는 것이다. 보정 후의 화상 신호는, 리모자이크 처리부(33)에 대하여 출력된다.
리모자이크 처리부(33)는 화상 신호에 대하여 리모자이크 처리를 행하는 것이다. 이 리모자이크 처리는, 화소 어레이부(11)의 화소(100)의 배열과는 다른 복수의 컬러 필터의 나열순의 배열에 대응하는 화상 신호로 변환하는 처리이다. 리모자이크 처리 후의 화상 신호는, 외부의 장치에 대하여 출력된다. 리모자이크 처리에 대하여 도 6a 내지 6c를 사용하여 설명한다.
[리모자이크 처리]
도 6a 내지 6c는, 본 개시의 실시 형태에 관한 리모자이크 처리의 일례를 나타내는 도면이다. 동도는, 화소(100)마다의 화상 신호가 대응하는 입사광의 파장을 나타낸다. 동도에 있어서 도트 해칭이 부여된 직사각형은, 녹색광에 대응하는 화상 신호의 영역을 나타낸다. 가로선 해칭이 부여된 직사각형은, 적색광에 대응하는 화상 신호의 영역을 나타낸다. 세로선 해칭이 부여된 직사각형은, 청색광에 대응하는 화상 신호의 영역을 나타낸다.
도 6a는, 제1 해상도에 있어서의 리모자이크 처리의 예를 나타낸 것이다. 동도는, 화소 블록(200)마다 4개의 화소(100)가 베이어 배열이 되도록 리모자이크 처리를 행하는 예를 나타낸 것이다. 동도의 좌측 상단의 화소 블록(200)을 예로 들어 설명한다. 이 화소 블록(200)의 화소(100)가 도 3의 좌측 상단의 화소 블록(200)과 마찬가지로 녹색광에 대응하는 컬러 필터(150)가 배치되는 경우를 상정한다. 이 경우, 리모자이크 처리에 의해, 적색광에 대응하는 화상 신호 및 청색광에 대응하는 화상 신호가 생성되어, 각각 화소 블록(200)의 우측 상단 및 좌측 하단의 녹색광에 대응하는 화상 신호로 치환된다.
도 6b는, 제2 해상도에 있어서의 리모자이크 처리의 예를 나타낸 것이다. 동도는, 화소 블록 유닛(300)마다 4개의 화소 블록(200)이 베이어 배열이 되도록 리모자이크 처리를 행하는 예를 나타낸 것이다. 도 3의 배열에 있어서의 컬러 필터(150)와는 다른 파장에 대응하는 화상 신호의 화소(100)에는, 당해 파장에 대응하는 화상 신호가 생성되어 치환된다.
도 6c는, 제3 해상도에 있어서의 리모자이크 처리의 예를 나타낸 것이다. 동도는, 4개의 화소 블록 유닛(300)마다의 베이어 배열이 되도록 리모자이크 처리를 행하는 예를 나타낸 것이다. 도 3의 배열에 있어서의 컬러 필터(150)와는 다른 파장에 대응하는 화상 신호의 화소(100)에는, 당해 파장에 대응하는 화상 신호가 생성되어, 치환된다. 또한, 리모자이크 처리에 수반하는 화상 신호의 생성에는, 공지된 방법을 적용할 수 있다.
이러한 리모자이크 처리를 행함으로써, 제1 해상도, 제2 해상도 및 제3 해상도의 각각에 있어서, 베이어 배열에 대응하는 화상 신호를 출력할 수 있다.
[화상의 예]
도 7a 및 7b는, 본 개시의 실시 형태에 관한 촬상 장치가 생성하는 화상의 일례를 나타내는 도면이다. 동도는, 촬상 장치(1)에 있어서의 촬상의 장면마다 화상의 해상도나 구성을 변경하는 예를 나타낸 것이다.
도 7a는, 복수의 피사체 중에서 지정한 대상물에 추적하여 동화상을 촬상함과 함께 해상도를 변경하는 예를 나타낸 것이다. 동도의 좌측의 화상(400)은 촬상 개시 시의 피사체의 화상을 나타낸다. 이 화상에 있어서 대상 영역 검출부(50)에 의해 대상물이 검색되어, 대상 영역이 검출된다. 파선의 직사각형이 검출된 대상 영역(401)을 나타낸다. 대상 영역 검출부(50)는 대상물의 움직임에 따라 대상 영역(401)의 검출을 연속해서 행하고, 검출한 대상 영역(401)을 촬상 제어부(40)에 출력한다. 또한, 촬상 제어부(40)는 동도의 우측의 화상(400)과 같이, 대상 영역(401)의 크기에 따라 해상도를 변경할 수 있다. 예를 들어, 촬상 제어부(40)는 제1 해상도를 초깃값으로서 사용하여, 대상 영역(401)의 사이즈가 소정의 역치(제1 사이즈) 이하인 경우에 제2 해상도를 선택할 수 있다. 또한, 촬상 제어부(40)는 대상 영역(401)의 사이즈가 소정의 역치(제2 사이즈) 이하인 경우에 제3 해상도를 선택할 수 있다.
도 7b는, 동화상의 촬상을 행하여, 생성한 화상에 다른 해상도로 설정한 대상 영역의 화상을 중첩하는 예를 나타낸 것이다. 동도의 화상(400)은, 예를 들어 제3 해상도에 생성된다. 이 화상(400)에 있어서 대상 영역 검출부(50)가 대상 영역(401)을 검출하면, 촬상 제어부(40)는 대상 영역(401)에 제1 해상도를 적용하여 확대한 화상(402)을 겹친 형상의 화상을 생성시키는 제어를 행한다. 구체적으로는, 촬상 제어부(40)는 촬상 소자(10)로부터 출력된 제1 해상도의 화상 신호에 의한 화상과 화상 신호 가산부(20)에 의해 생성된 제3 해상도의 화상 신호에 의한 화상을 생성한다. 이 중 제1 해상도의 화상에 있어서 대상 영역 검출부(50)가 대상 영역(401)의 검출을 행한다. 이들 화상을 합성함으로써, 다른 해상도의 영역을 포함하는 화상을 생성할 수 있다.
또한, 동도에 나타낸 바와 같이 제1 해상도는, 대상 영역(401)에만 적용할 수 있다. 이에 의해, 대상물을 고화질로 촬상함과 함께 화상 전체의 데이터양을 삭감할 수 있다.
[촬상 처리]
도 8은, 본 개시의 제1 실시 형태에 관한 촬상 처리의 일례를 나타내는 도면이다. 동도는, 촬상 장치(1)에 있어서의 촬상 처리의 일례를 나타내는 흐름도이다. 먼저, 촬상 제어부(40)가 제1 해상도를 선택한다(스텝 S100). 이어서, 대상 영역 검출부(50)가 기억부(60)의 피사체 데이터에 기초하여 피사체를 선택한다(스텝 S101). 이어서, 선택한 피사체에 기초하여, 대상 영역 검출부(50)가 대상 영역을 검출한다(스텝 S102). 이어서, 촬상 제어부(40)가 촬상 소자(10)를 제어하여 촬상을 개시시킨다(스텝 S103). 이어서, 대상 영역 검출부(50)가 피사체를 추적한다(스텝 S104). 이것은, 대상 영역 검출부(50)가 피사체의 움직임에 따라 대상 영역을 연속해서 검출함으로써 행할 수 있다.
이어서, 촬상 제어부(40)는 대상 영역의 사이즈가 소정의 제1 사이즈 이하인지 여부를 판단한다(스텝 S105). 대상 영역의 사이즈가 제1 사이즈 이하인 경우(스텝 S105, "예"), 촬상 제어부(40)는 제2 해상도를 선택하여(스텝 S106), 스텝 S107의 처리로 이행한다. 한편, 대상 영역의 사이즈가 제1 사이즈보다 큰 경우(스텝 S105, "아니오"), 촬상 제어부(40)는 스텝 S107의 처리로 이행한다.
스텝 S107에 있어서, 촬상 제어부(40)는 대상 영역의 사이즈가 소정의 제2 사이즈 이하인지 여부를 판단한다(스텝 S107). 대상 영역의 사이즈가 제2 사이즈 이하인 경우(스텝 S107, "예"), 촬상 제어부(40)는 제3 해상도를 선택하여(스텝 S108), 스텝 S109의 처리로 이행한다. 한편, 대상 영역의 사이즈가 제2 사이즈보다 큰 경우(스텝 S107, "아니오"), 촬상 제어부(40)는 스텝 S109의 처리로 이행한다.
스텝 S109에 있어서, 촬상 제어부(40)는 촬상 정지인지 여부를 판단한다(스텝 S109). 이것은, 예를 들어 촬상 장치(1)의 사용자에 의한 촬상 정지의 조작 등에 기초하여 판단할 수 있다. 촬상 정지가 아닌 경우는(스텝 S109, "아니오"), 스텝 S104의 처리로 이행한다. 촬상 정지인 경우에는(스텝 S109, "예"), 촬상 제어부(40)는 촬상 소자(10)를 제어하여 촬상을 정지시켜(스텝 S110), 촬상 처리를 종료한다. 이상의 수순에 의해, 촬상 장치(1)에 있어서의 촬상 처리를 행할 수 있다.
또한, 촬상 제어부(40)에 의한 해상도의 선택 방법은, 이 예에 한정되지 않고, 다른 실시예를 적용해도 된다. 예를 들어, 촬상 제어부(40)는 생성되는 화상의 화질에 따라 해상도를 선택할 수도 있다. 구체적으로는, 촬상 제어부(40)는 백색 뭉개짐 등의 화질의 열화를 검출한 경우에, 더 낮은 해상도를 선택할 수 있다. 또한, 예를 들어 촬상 제어부(40)는 휘도에 따라 해상도를 선택할 수 있다. 구체적으로는, 촬상 제어부(40)는 저조도의 환경에 있어서 촬상을 행하는 경우에, 낮은 해상도를 선택할 수 있다. 이에 의해, 화상 신호 가산부(20)에 의해 화상 신호가 가산되어, 화상 신호의 신호 레벨을 높게 할 수 있다.
또한, 촬상 제어부(40)는 동화상을 촬상할 때의 생성 레이트(프레임 레이트)에 따라 해상도를 선택할 수도 있다. 예를 들어, 촬상 제어부(40)는 프레임 레이트가 높은 경우에 낮은 해상도를 선택할 수 있다. 구체적으로는, 제1 해상도, 제2 해상도 및 제3 해상도를 각각 다른 값의 제1 프레임 레이트, 제2 프레임 레이트 및 제3 프레임 레이트에 적용시킬 수 있다. 이 제1 프레임 레이트는, 제2 프레임 레이트의 대략 1/4의 값으로 할 수 있다. 또한, 제3 프레임 레이트는, 제2 프레임 레이트의 대략 1/4의 값으로 할 수 있다. 구체적으로는, 이들 제1 프레임 레이트, 제2 프레임 레이트 및 제3 프레임 레이트로서, 예를 들어 7.5fps, 30fps 및 120fps의 프레임 레이트를 적용할 수 있다. 이에 의해, 동화상의 데이터양의 증가를 경감할 수 있다.
이와 같이, 본 개시의 제1 실시 형태의 촬상 장치(1)는 복수의 화소 블록 유닛(300)이 배치된 촬상 소자(10)를 구비하고, 촬상 제어부(40)에 의해 선택된 해상도의 화상 신호를 생성할 수 있다. 이에 의해, 피사체에 따른 해상도에 있어서 촬상을 행할 수 있어, 편리성을 향상시킬 수 있다.
(2. 제2 실시 형태)
상술한 제1 실시 형태의 촬상 장치(1)는 대상 영역 검출부(50)에 의해 검출된 대상 영역의 촬상을 행하고 있었다. 이에 비해, 본 개시의 제2 실시 형태의 촬상 장치(1)는 다른 센서를 사용하여 대상물을 인식하는 점에서, 상술한 제1 실시 형태와 다르다.
[촬상 장치의 구성]
도 9는, 본 개시의 제2 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다. 동도는, 도 1과 마찬가지로, 촬상 장치(1)의 구성예를 나타내는 블록도이다. 동도의 촬상 장치(1)는 대상 영역 검출부(50) 대신에 측거부(80)를 구비하는 점에서, 도 1의 촬상 장치(1)와 다르다.
측거부(80)는 대상물과의 사이의 거리를 측정하는 것이다. 이 측거부(80)에는, 예를 들어 ToF(Time of Flight) 센서를 사용할 수 있다. 이 ToF 센서는, 도시하지 않은 광원에 의해 피사체에 광을 조사하고, 피사체로부터 반사된 반사광을 검출하여 광의 비행 시간을 계시함으로써, 대상물까지의 거리를 측정하는 것이다. 또한, 측거부(80)는 청구의 범위에 기재된 센서의 일례이다.
동도의 촬상 제어부(40)는 기억부(60)로부터 피사체 데이터를 읽어내어 측거부(80)에 출력한다. 측거부(80)는 이 피사체 데이터에 기초하여 피사체를 인식하여, 거리를 측정한다. 그 후, 측거부(80)는 측정한 거리를 촬상 제어부(40)에 대하여 출력한다. 촬상 제어부(40)는 피사체와의 거리에 따른 해상도를 선택할 수 있다. 예를 들어, 촬상 제어부(40)는 제1 해상도를 초깃값으로서 사용하여, 피사체까지의 거리가 소정의 역치(제1 거리) 이하인 경우에 제2 해상도를 선택할 수 있다. 또한, 촬상 제어부(40)는 피사체까지의 거리가 소정의 역치(제2 거리) 이하인 경우에 제3 해상도를 선택할 수 있다.
[촬상 처리]
도 10은, 본 개시의 제2 실시 형태에 관한 촬상 처리의 일례를 나타내는 도면이다. 동도는, 촬상 장치(1)에 있어서의 촬상 처리의 일례를 나타내는 흐름도이다. 먼저, 촬상 제어부(40)가 제1 해상도를 선택한다(스텝 S150). 이어서, 대상 영역 검출부(50)가 기억부(60)의 피사체 데이터에 기초하여 피사체를 선택한다(스텝 S151). 이 선택된 피사체의 데이터는, 측거부(80)에 대하여 출력된다. 이어서, 촬상 제어부(40)가 촬상 소자(10)를 제어하여 촬상을 개시시킨다(스텝 S153). 이어서, 측거부(80)가 피사체까지의 거리를 측정한다(스텝 S154).
이어서, 촬상 제어부(40)는 피사체까지의 거리가 소정의 제1 거리 이하인지 여부를 판단한다(스텝 S155). 피사체까지의 거리가 제1 거리 이하인 경우(스텝 S155, "예"), 촬상 제어부(40)는 제2 해상도를 선택하여(스텝 S156), 스텝 S157의 처리로 이행한다. 한편, 피사체까지의 거리가 제1 거리보다 큰 경우(스텝 S155, "아니오"), 스텝 S157의 처리로 이행한다.
스텝 S157에 있어서, 촬상 제어부(40)는 피사체까지의 거리가 소정의 제2 거리 이하인지 여부를 판단한다(스텝 S157). 피사체까지의 거리가 제2 거리 이하인 경우(스텝 S157, "예"), 촬상 제어부(40)는 제3 해상도를 선택하여(스텝 S158), 스텝 S159의 처리로 이행한다. 한편, 피사체까지의 거리가 제2 거리보다 큰 경우(스텝 S157, "아니오"), 스텝 S159의 처리로 이행한다.
스텝 S159에 있어서, 촬상 제어부(40)는 촬상 정지인지 여부를 판단한다(스텝 S159). 이것은, 예를 들어 촬상 장치(1)의 사용자에 의한 촬상 정지의 조작 등에 기초하여 판단할 수 있다. 촬상 정지가 아닌 경우는(스텝 S159, "아니오"), 스텝 S154의 처리로 이행한다. 촬상 정지의 경우에는(스텝 S159, "예"), 촬상 제어부(40)는 촬상 소자(10)를 제어하여 촬상을 정지시켜(스텝 S160), 촬상 처리를 종료한다. 이상의 수순에 의해, 촬상 장치(1)에 있어서의 촬상 처리를 행할 수 있다.
이것 이외의 촬상 장치(1)의 구성은 본 개시의 제1 실시 형태에 있어서의 촬상 장치(1)의 구성과 마찬가지이기 때문에, 설명을 생략한다.
이와 같이, 본 개시의 제2 실시 형태의 촬상 장치(1)는 측거부(80)에 의해 피사체까지의 거리를 검출한다. 이에 의해, 피사체의 거리에 따른 해상도를 선택할 수 있다.
(3. 제3 실시 형태)
상술한 제1 실시 형태의 촬상 장치(1)는 피사체의 화상 신호를 생성하고 있었다. 이에 비해, 본 개시의 제3 실시 형태의 촬상 장치(1)는 피사체의 초점 위치를 더 검출하는 점에서, 상술한 제1 실시 형태와 다르다.
[촬상 장치의 구성]
도 11은, 본 개시의 제3 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다. 동도는, 도 1과 마찬가지로, 촬상 장치(1)의 구성예를 나타내는 블록도이다. 동도의 촬상 장치(1)는 초점 위치 검출부(90)를 더 구비하고, 신호 처리부(30)가 위상차 신호를 출력하는 점에서, 도 1의 촬상 장치(1)와 다르다.
동도의 신호 처리부(30)는 화상 신호에 더하여 위상차 신호를 출력한다. 이 위상차 신호는, 촬영 렌즈(70)의 초점 위치를 검출하기 위한 신호이다. 이 위상차 신호에 의해 검출한 초점 위치에 기초하여 촬영 렌즈(70)의 위치를 조정함으로써, 오토 포커스를 행할 수 있다.
촬상 소자(10)의 화소(100)는 위상차 신호를 생성하는 위상차 화소로서 사용할 수 있다. 도 3에 있어서 설명한 바와 같이, 화소 블록(200)을 구성하는 4개의 화소(100)에는, 공통의 온 칩 렌즈(170)에 의해 집광된 피사체로부터의 광이 입사한다. 이 때문에, 화소 블록(200)에 배치되는 4개의 화소(100)는 피사체를 퓨필 분할할 수 있다. 4개의 화소(100) 중 우측의 화소(100)에는 촬영 렌즈(70)의 좌측을 투과한 광이 입사하고, 좌측의 화소(100)에는 촬영 렌즈(70)의 우측을 투과한 광이 입사한다. 복수의 화소 블록(200)에 있어서의 우측의 화소(100)의 화상 신호에 의해 생성되는 화상과 좌측의 화소(100)의 화상 신호에 의해 생성되는 화상의 위상차를 검출함으로써, 초점 위치를 검출할 수 있다.
마찬가지로, 4개의 화소(100) 중 상측의 화소(100)에는 촬영 렌즈(70)의 하측을 투과한 광이 입사하고, 하측의 화소(100)에는 촬영 렌즈(70)의 상측을 투과한 광이 입사한다. 복수의 화소 블록(200)에 있어서의 상측의 화소(100)의 화상 신호에 의해 생성되는 화상과 하측의 화소(100)의 화상 신호에 의해 생성되는 화상의 위상차를 검출함으로써, 초점 위치를 검출할 수 있다. 이와 같이, 화소 블록(200)에 배치되는 4개의 화소(100)에 의해 피사체를 좌우 방향 및 상하 방향으로 퓨필 분할할 수 있다. 촬상 소자(10)는 좌우 방향 및 상하 방향의 2개의 방향으로부터 초점 위치를 검출할 수 있다. 또한, 촬상 소자(10)는 모든 화소(100)를 위상차 화소로서 사용할 수 있다. 이 때문에, 촬상 소자(10)를 구비하는 촬상 장치(1)는 초점 위치의 검출 정밀도를 향상시킬 수 있다.
동도의 신호 처리부(30)는 이 위상차 신호를 생성하여, 초점 위치 검출부(90)에 대하여 출력한다.
초점 위치 검출부(90)는 신호 처리부(30)로부터의 위상차 신호에 기초하여 초점 위치를 검출하는 것이다. 또한, 초점 위치 검출부(90)는 검출한 초점 위치에 기초하여 촬영 렌즈(70)의 위치를 조정한다.
[신호 처리부의 구성]
도 12는, 본 개시의 제3 실시 형태에 관한 신호 처리부의 구성예를 나타내는 도면이다. 동도는, 도 5와 마찬가지로, 신호 처리부(30)의 구성예를 나타내는 블록도이다. 동도의 신호 처리부(30)는 휘도 신호 생성부(34)를 더 구비하는 점에서, 도 5의 신호 처리부(30)와 다르다.
휘도 신호 생성부(34)는 감도 보정부(31)로부터 출력되는 컬러의 화상 신호로부터 휘도 신호를 생성하는 것이다. 이 생성된 휘도 신호가 위상차 신호로서 초점 위치 검출부(90)에 대하여 출력된다.
[위상차 화소의 구성]
도 13은, 본 개시의 제3 실시 형태에 관한 위상차 화소의 구성예를 나타내는 도면이다. 동도는, 제1 해상도가 적용되는 경우의 위상차 화소의 배치예를 나타낸 도면이다. 동도에 있어서, 「TL」, 「TR」, 「BL」 및 「BR」은, 각각 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단의 위상차 화소를 나타낸다. 「TL」 및 「TR」, 그리고 「BL」 및 「BR」의 위상차 화소에 의해 동도의 좌우 방향으로 퓨필 분할할 수 있다. 또한, 「TL」 및 「BL」, 그리고 「TR」 및 「BR」의 위상차 화소에 의해 동도의 상하 방향으로 퓨필 분할할 수 있다.
도 14a 및 14b는 본 개시의 제3 실시 형태에 관한 위상차 화소의 구성예를 나타내는 도면이다. 동도는, 제2 해상도가 적용되는 경우의 위상차 화소의 배치예를 나타낸 도면이다. 또한, 동도는, 녹색광에 대응하는 화소 블록(200)의 화소(100)를 위상차 화소로서 사용하는 예를 나타낸 도면이다. 제2 해상도가 적용되는 경우에는, 화소 블록(200)의 인접하는 2개의 화소(100)의 화상 신호의 가산을 행하여, 가산 후의 화상 신호를 위상차 신호(제2 위상차 신호)로서 사용할 수 있다. 동도의 파선의 직사각형은, 화상 신호를 가산하는 화소(100)의 쌍을 나타낸 것이다. 또한, 화상 신호의 가산은, 화상 신호 가산부(20)에 의해 행할 수 있다. 동도의 「T」, 「B」, 「L」 및 「R」은, 각각 상, 하, 좌 및 우의 위상차 화소를 나타낸다. 도 14a의 「T」 및 도 14b의 「B」의 화소(100)쌍에 의해 동도의 상하 방향으로 퓨필 분할할 수 있다. 또한, 도 14a 「L」 및 도 14b의 「R」의 화소(100)쌍에 의해 동도의 좌우 방향으로 퓨필 분할할 수 있다.
도 15는, 본 개시의 제3 실시 형태에 관한 위상차 화소의 구성예를 나타내는 도면이다. 동도는, 제3 해상도가 적용되는 경우의 위상차 화소의 배치예를 나타낸 도면이다. 동도는, 녹색광에 대응하는 화소 블록(200)의 화소(100)를 위상차 화소로서 사용하는 예를 나타낸 도면이다. 제3 해상도가 적용되는 경우에는, 인접하는 2개의 화소 블록(200)의 8개의 화소(100)의 화상 신호의 가산을 행하여, 가산 후의 화상 신호를 위상차 신호로서 사용할 수 있다. 동도의 파선의 직사각형은, 화상 신호를 가산하는 복수의 화소(100)를 나타낸 것이다. 또한, 화상 신호의 가산은, 화상 신호 가산부(20)에 의해 행할 수 있다. 동도의 「T」 및 「L」은, 도 14a 및 도 14b와 마찬가지로, 위상차 화소를 나타낸다. 또한, 「B」 및 「R」의 위상차 화소에 대해서는, 기재를 생략했다.
이와 같이, 촬상 소자(10)는 화소 어레이부(11)에 배치된 모든 화소(100)에 있어서 위상차 신호의 생성을 행할 수 있다. 또한, 좌우 및 상하의 2개의 방향으로 퓨필 분할한 위상차 신호를 생성할 수 있다.
도 16a 및 16b는 종래의 기술의 촬상 소자의 구성예를 나타내는 도면이다. 동도는, 본 개시의 기술의 비교예인 촬상 소자의 화소 어레이부에 있어서의 화소의 배치예를 나타낸 도면이다.
도 16a는, 직사각형의 형상의 화소(500)가 배치되어 구성되는 화소 어레이부의 예를 나타낸 도면이다. 2개의 화소(500)에 공통으로 온 칩 렌즈(570)가 배치된다. 이 2개의 화소(500)가 위상차 화소를 구성한다. 동도의 화소 어레이부에서는, 모든 화소에 있어서 위상차 신호를 생성할 수 있다. 그러나, 동도의 화소 어레이부에서는, 1방향(동도의 좌우 방향)으로밖에 퓨필 분할할 수 없다.
도 16b는, 온 칩 렌즈(571)를 구비하는 화소(501)가 배치되어 구성되는 화소 어레이부의 예를 나타낸 도면이다. 동도의 화소 어레이부에는, 공통으로 온 칩 렌즈(571)가 배치되는 2개의 화소(502)가 위상차 화소를 구성한다. 동도의 화소 어레이부에서는, 일부의 영역에 위상차 화소가 분산하여 배치된다. 또한, 동도의 화소 어레이부에 있어서도, 1방향(동도의 좌우 방향)으로밖에 퓨필 분할할 수 없다.
이와 같이, 비교예의 촬상 소자는 1방향만의 퓨필 분할에 대응하기 때문에, 당해 퓨필 분할의 방향과는 다른 방향으로 콘트라스트를 갖는 피사체 화상의 위상차를 검출할 수 없어, 위상차의 검출 정밀도가 저하된다. 또한, 도 16b의 화소 어레이부를 갖는 촬상 소자에서는, 위상차 화소수에 제한이 있기 때문에, 높은 해상도의 촬상에 있어서의 위상차의 검출이 곤란해진다. 이에 비해, 본 개시의 촬상 소자(10)는 화소 어레이부(11)에 배치된 모든 화소(100)에 있어서 위상차 신호의 생성을 행함과 함께, 좌우 및 상하의 2개의 방향으로 퓨필 분할하여 위상차 신호를 생성할 수 있다. 이에 의해, 위상차의 검출 정밀도를 향상시킬 수 있다. 특히, 피사체 화상의 콘트라스트가 낮은 저조도 환경에 있어서의 촬상에 있어서, 종래의 기술의 촬상 소자보다 높은 위상차의 검출이 가능해진다.
이것 이외의 촬상 장치(1)의 구성은 본 개시의 제1 실시 형태에 있어서의 촬상 장치(1)의 구성과 마찬가지이기 때문에, 설명을 생략한다.
이와 같이, 본 개시의 제3 실시 형태의 촬상 장치(1)는 대상 영역의 해상도에 따라 가산한 화상 신호에 의한 위상 신호를 생성하여, 초점 위치를 검출한다. 이에 의해, 선택된 해상도로 촬상되는 대상 영역의 피사체에 있어서 오토 포커스를 행할 수 있다. 편리성을 더 향상시킬 수 있다.
(4. 제4 실시 형태)
상술한 제1 실시 형태의 촬상 장치(1)는 대상 영역 검출부(50)가 검출한 대상 영역에 따른 해상도를 선택하고 있었다. 이에 비해, 본 개시의 제4 실시 형태의 촬상 장치(1)는 촬상 장치(1)의 사용자가 선택한 해상도를 적용하는 점에서, 상술한 제1 실시 형태와 다르다.
[촬상 장치의 구성]
도 17은, 본 개시의 제4 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다. 동도는, 도 1과 마찬가지로, 촬상 장치(1)의 구성예를 나타내는 블록도이다. 동도의 촬상 장치(1)는 대상 영역 검출부(50) 및 기억부(60)가 생략되는 점에서, 도 1의 촬상 장치(1)와 다르다.
동도의 촬상 제어부(40)에는, 촬상 장치(1)의 사용자로부터 해상도가 입력된다. 동도의 촬상 제어부(40)는 입력된 해상도를 선택한 해상도로서 화상 신호 가산부(20)에 대하여 출력한다.
이것 이외의 촬상 장치(1)의 구성은 본 개시의 제1 실시 형태에 있어서의 촬상 장치(1)의 구성과 마찬가지이기 때문에, 설명을 생략한다.
이와 같이, 본 개시의 제4 실시 형태의 촬상 장치(1)는 당해 촬상 장치(1)의 사용자에 의해 선택된 해상도로 촬상을 행할 수 있다.
(5. 제5 실시 형태)
조도에 따라 해상도를 선택하여, 촬상을 행하는 예에 대하여 설명한다.
[촬상 장치의 구성]
도 18은, 본 개시의 제5 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다. 동도는, 도 1과 마찬가지로, 촬상 장치(1)의 구성예를 나타내는 블록도이다. 동도의 촬상 장치(1)는 대상 영역 검출부(50)가 생략되고, 조도 센서(89)를 구비하는 점에서, 도 1의 촬상 장치(1)와 다르다. 또한, 동도에 있어서, 촬상 제어부(40) 및 기억부(60)가 촬상 제어 장치를 구성한다.
조도 센서(89)는 조도를 검출하는 것이다. 이 조도 센서(89)는 검출한 조도의 데이터를 촬상 제어부(40)에 출력한다.
동도의 촬상 제어부(40)는 조도 센서(89)로부터 입력되는 조도에 따라 해상도를 선택한다. 이때, 촬상 제어부(40)는, 예를 들어 조도의 역치에 기초하여 해상도를 선택할 수 있다. 구체적으로는, 촬상 제어부(40)는 제1 조도 및 제2 조도를 역치로서 설정한다. 여기서, 제2 조도는 제1 조도보다 낮은 값의 역치이다. 그리고, 촬상 제어부(40)는 조도 센서(89)에 의해 검출된 조도가 제1 조도 이상인 경우, 제1 조도 미만 또한 제2 조도 이상인 경우 및 제2 조도 미만인 경우에, 각각 제1 해상도, 제2 해상도 및 제3 해상도를 선택할 수 있다.
이 조도의 역치 및 해상도의 대응 관계의 정보는, 동도의 기억부(60)에 보유된다. 촬상 제어부(40)는 기억부(60)에 조도를 출력한다. 그러면, 기억부(60)는 조도에 따른 해상도를 촬상 제어부(40)에 대하여 출력한다. 촬상 제어부(40)는 이 출력된 해상도를 선택할 수 있다.
동도의 기억부(60)는 상술한 조도의 역치 및 해상도의 대응 관계의 정보를 보유한다. 기억부(60)는, 예를 들어 조도의 역치 및 해상도의 대응 관계의 정보를 조도의 역치 및 해상도의 관계를 참조하기 위한 표(LUT: Look-up Table)의 형식으로 보유할 수 있다.
전술한 바와 같이, 제2 해상도에 있어서는, 화상 신호 가산부(20)가 4개의 화상 신호의 가산을 행하기 때문에, 제1 해상도와 비교하여 화상 신호의 레벨을 높게 할 수 있다. 또한, 제3 해상도에 있어서는, 화상 신호 가산부(20)가 16의 화상 신호의 가산을 행하기 때문에, 화상 신호의 레벨을 더 높게 할 수 있다.
[해상도의 촬상 처리]
도 19는, 본 개시의 제5 실시 형태에 관한 촬상 처리의 처리 수순의 일례를 나타내는 도면이다. 동도는, 촬상 장치(1)에 있어서의 촬상 처리의 처리 수순의 일례를 나타내는 흐름도이다. 먼저, 조도 센서(89)가 조도를 측정한다(스텝 S180). 이어서, 촬상 제어부(40)는 측정 결과의 조도가 제1 조도 이상인지를 판단한다(스텝 S182). 그 결과, 조도가 제1 조도 이상인 경우는(스텝 S182, "예"), 촬상 제어부(40)는 제1 해상도를 선택하여(스텝 S183), 스텝 S187의 처리로 이행한다.
한편, 조도가 제1 조도 이상이 아닌 경우는(스텝 S182, "아니오"), 촬상 제어부(40)는 조도가 제2 조도 이상인지를 판단한다(스텝 S184). 그 결과, 조도가 제2 조도 이상인 경우는(스텝 S184, "예"), 촬상 제어부(40)는 제2 해상도를 선택하여(스텝 S185), 스텝 S187의 처리로 이행한다. 한편, 조도가 제2 조도 이상이 아닌 경우는(스텝 S184, "아니오"), 촬상 제어부(40)는 제3 해상도를 선택하여(스텝 S186), 스텝 S187의 처리로 이행한다.
스텝 S187에 있어서, 촬상 제어부(40)는 촬상 소자(10)에 제어 신호를 출력하여 촬상을 행하게 한다(스텝 S187). 이상의 처리에 의해 촬상 처리를 행할 수 있다.
이것 이외의 촬상 장치(1)의 구성은 본 개시의 제1 실시 형태에 있어서의 촬상 장치(1)의 구성과 마찬가지이기 때문에, 설명을 생략한다.
이와 같이, 본 개시의 제5 실시 형태의 촬상 장치(1)는 조도에 따라 해상도를 선택하여, 촬상을 행한다. 이에 의해, 저조도의 환경이라도 감도를 향상시킨 촬상을 행할 수 있다.
(6. 제6 실시 형태)
노출에 따라 해상도를 선택하여, 촬상을 행하는 예에 대하여 설명한다.
[촬상 장치의 구성]
도 20은, 본 개시의 제6 실시 형태에 관한 촬상 장치의 구성예를 나타내는 도면이다. 동도는, 도 18과 마찬가지로, 촬상 장치(1)의 구성예를 나타내는 블록도이다. 동도의 촬상 장치(1)는 조도 센서(89) 및 기억부(60) 대신에 노광 제어부(88)를 구비하는 점에서, 도 18의 촬상 장치(1)와 다르다.
노광 제어부(88)는 노광을 제어하는 것이다. 이 노광 제어부(88)는 설정된 게인이나 셔터 속도에 따른 노출(이하 EV값이라고 기재함)을 검출하여 촬상 제어부(40)에 출력함으로써 노광을 제어한다.
동도의 촬상 제어부(40)는 노광 제어부(88)로부터 입력되는 EV값에 따라 해상도를 선택한다. 이때, 촬상 제어부(40)는, 예를 들어 EV값의 역치에 기초하여 해상도를 선택할 수 있다. 구체적으로는, 촬상 제어부(40)는 제1 EV값 및 제2 EV값을 역치로서 설정한다. 여기서, 제2 EV값은 제1 EV값보다 낮은 값의 역치이다. 그리고, 촬상 제어부(40)는 노광 제어부(88)에 의해 검출된 EV값이 제1 EV값 이상인 경우, 제1 EV값 미만이고 또한 제2 EV값 이상인 경우 및 제2 EV값 미만인 경우에, 각각 제1 해상도, 제2 해상도 및 제3 해상도를 선택할 수 있다.
[해상도의 촬상 처리]
도 21은, 본 개시의 제6 실시 형태에 관한 촬상 처리의 처리 수순의 일례를 나타내는 도면이다. 동도는, 촬상 장치(1)에 있어서의 촬상 처리의 처리 수순의 일례를 나타내는 흐름도이다. 먼저, 촬상 제어부(40)가 화상 신호의 레벨에 기초하여 게인 및 셔터 속도를 결정한다(스텝 S190). 이어서, 결정된 게인 및 셔터 속도에 기초하여 노광 제어부(88)가 EV값을 검출한다(스텝 S191). 이어서, 촬상 제어부(40)는 검출된 EV값이 제1 EV값 이상인지를 판단한다(스텝 S192). 그 결과, 검출된 EV값이 제1 EV값 이상인 경우는(스텝 S192, "예"), 촬상 제어부(40)는 제1 해상도를 선택하여(스텝 S193), 스텝 S197의 처리로 이행한다.
한편, 검출된 EV값이 제1 EV값 이상이 아닌 경우는(스텝 S192, "아니오"), 촬상 제어부(40)는 EV값이 제2 EV값 이상인지를 판단한다(스텝 S194). 그 결과, EV값이 제2 EV값 이상인 경우는(스텝 S194, "예"), 촬상 제어부(40)는 제2 해상도를 선택하여(스텝 S195), 스텝 S197의 처리로 이행한다. 한편, EV값이 제2 EV값 이상이 아닌 경우는(스텝 S194, "아니오"), 촬상 제어부(40)는 제3 해상도를 선택하여(스텝 S196), 스텝 S197의 처리로 이행한다.
스텝 S197에 있어서, 촬상 제어부(40)는 촬상 소자(10)에 제어 신호를 출력하여 촬상을 행하게 한다(스텝 S197). 이상의 처리에 의해 촬상 처리를 행할 수 있다.
이것 이외의 촬상 장치(1)의 구성은 본 개시의 제5 실시 형태에 있어서의 촬상 장치(1)의 구성과 마찬가지이기 때문에, 설명을 생략한다.
이와 같이, 본 개시의 제6 실시 형태의 촬상 장치(1)는 EV값에 따라 해상도를 선택하여, 촬상을 행한다. 이에 의해, 노출에 따른 촬상을 행할 수 있다.
(7. 제7 실시 형태)
상술한 제1 실시 형태의 촬상 장치(1)는, 촬상 제어부(40)는 대상 영역 검출부(50)가 검출한 대상 영역에 따른 해상도를 선택하고 있었다. 이에 비해, 본 개시의 제7 실시 형태의 촬상 장치(1)는 복수의 대상 영역이 검출되는 점에서, 상술한 제1 실시 형태와 다르다.
본 개시의 제7 실시 형태의 촬상 장치(1)는 도 1의 촬상 장치(1)와 마찬가지의 구성을 취할 수 있다. 또한, 본 개시의 제7 실시 형태의 대상 영역 검출부(50)는 복수의 대상 영역을 검출할 수 있다. 또한, 본 개시의 제7 실시 형태의 촬상 제어부(40)는 검출된 대상 영역마다 해상도를 선택할 수 있다.
[화상의 예]
도 22는, 본 개시의 제7 실시 형태에 관한 촬상 장치가 생성하는 화상의 일례를 나타내는 도면이다. 동도는, 도 7b와 마찬가지로, 생성한 화상에 다른 해상도로 설정한 대상 영역의 화상을 중첩하는 예를 나타낸 것이다. 동도의 화상(410)은, 예를 들어 제2 해상도로 생성된다. 이 화상(410)은 건물 내로부터 외부의 경치를 배경으로 하여 인물의 촬영을 행하는 경우의 예를 나타낸 것이다. 역광이 되기 때문에, 인물이 어두운 화상이 된다. 이 화상에 있어서, 대상 영역 검출부(50)에 의해 대상 영역(411 및 413)이 검출되어, 촬상 제어부(40)에 출력된다. 촬상 제어부(40)는 대상 영역(411)에 제1 해상도를 적용하여 확대한 화상(412) 및 대상 영역(413)에 제3 해상도를 적용하여 휘도를 향상시킨 화상(414)을 생성할 수 있다.
화상(412)의 생성에 의해, 먼 곳의 피사체의 확인이 가능해진다. 또한, 화상(414)의 생성에 의해, 역광때문에 어두워졌던 피사체의 시인성을 향상시킬 수 있다.
이것 이외의 촬상 장치(1)의 구성은 본 개시의 제1 실시 형태에 있어서의 촬상 장치(1)의 구성과 마찬가지이기 때문에, 설명을 생략한다.
이와 같이, 본 개시의 제7 실시 형태의 촬상 장치(1)는 복수의 대상 영역마다 해상도를 선택한다. 이에 의해, 편리성을 향상시킬 수 있다.
(8. 변형예)
본 개시의 실시 형태의 변형예에 대하여 설명한다.
[촬상 소자의 평면의 구성]
도 23은, 본 개시의 실시 형태의 제1 변형예에 관한 화소의 구성예를 나타내는 도면이다. 동도는, 도 3과 마찬가지로, 화소 어레이부(11)에 배치되는 화소(100)의 구성예를 나타내는 평면도이다. 동도의 화소(100)는 위상차 화소를 구성하는 화소(100)를 제외하고 온 칩 렌즈(170)를 각각 구비하는 점에서, 도 3의 화소(100)와 다르다. 베이어 배열로 배치되는 녹색광에 대응하는 화소 블록 유닛(300)의 한쪽에, 위상차 화소를 구성하는 공통의 온 칩 렌즈(170)를 갖는 화소(100)가 배치된다. 또한, 이 위상차 화소를 구성하는 화소(100)는 화소 블록 유닛(300)을 구성하는 4개의 화소 블록(200) 내의 1개의 화소 블록(200)에 배치된다.
도 24는, 본 개시의 실시 형태의 제2 변형예에 관한 화소의 구성예를 나타내는 도면이다. 동도는, 도 3과 마찬가지로, 화소 어레이부(11)에 배치되는 화소(100)의 구성예를 나타내는 평면도이다. 동도의 화소 블록(200)은 위상차 화소를 구성하는 화소(100)에 의해 구성되는 점에서, 도 3의 화소 블록(200)과 다르다.
도 23 및 24의 화소 어레이부(11)에 있어서도, 도 3의 화소 어레이부(11)와 마찬가지로 제1 해상도, 제2 해상도 및 제3 해상도에 대응하는 화상 신호를 생성할 수 있다.
(9. 화소 블록의 구성예)
본 개시의 실시 형태의 화소 블록(200)의 회로예에 대하여 설명한다.
[화소 블록의 회로 구성]
도는, 본 개시의 실시 형태에 관한 화소 블록의 회로 구성의 일례를 나타내는 도면이다. 동도는, 2개의 화소 블록(200)마다 화상 신호 생성부(110)가 배치되는 회로 구성의 일례를 나타내는 도면이다. 동도의 화소 블록(200a)은 광전 변환부(101a, 101b, 101c, 101d, 101e, 101f, 101g 및 101h), 그리고 전하 전송부(102a, 102b, 102c, 102d, 102e, 102f, 102g 및 102h)를 구비한다. 또한, 화소 블록(200a)은 전하 보유부(103), 리셋부(104), 화상 신호 생성부(110), 보조 전하 보유부(108), 결합부(107) 및 화상 신호 생성부(110)를 더 구비한다. 또한, 화상 신호 생성부(110)는 증폭 트랜지스터(111) 및 선택 트랜지스터(112)를 구비한다.
또한, 광전 변환부(101a) 및 전하 전송부(102a), 그리고 광전 변환부(101b) 및 전하 전송부(102b)는 각각 도시하지 않은 화소(100a) 및 화소(100b)를 구성한다. 또한, 광전 변환부(101c) 및 전하 전송부(102c), 그리고 광전 변환부(101d) 및 전하 전송부(102d)는 각각 도시하지 않은 화소(100c) 및 화소(100d)를 구성한다. 이들 화소(100a 내지 100d)가 화소 블록을 구성한다.
마찬가지로, 광전 변환부(101e) 및 전하 전송부(102e), 그리고 광전 변환부(101f) 및 전하 전송부(102f)는, 각각 도시하지 않은 화소(100e) 및 화소(100f)를 구성한다. 또한, 광전 변환부(101g) 및 전하 전송부(102g), 그리고 광전 변환부(101h) 및 전하 전송부(102h)는, 각각 도시하지 않은 화소(100g) 및 화소(100h)를 구성한다. 이들 화소(100e 내지 100h)가 화소 블록을 구성한다.
전하 전송부(102a 내지 102h), 리셋부(104), 증폭 트랜지스터(111) 및 선택 트랜지스터(112), 그리고 결합부(107)는 ｎ채널 MOS 트랜지스터에 의해 구성할 수 있다.
화소 블록(200a)에는, 도 2에 있어서 설명한 신호선(15 및 16)이 배선된다. 동도의 신호선(15)에는, 신호선 TG1, 신호선 TG2, 신호선 TG3, 신호선 TG4, 신호선 TG5, 신호선 TG6, 신호선 TG7, 신호선 TG8, 신호선 FDG, 신호선 RST 및 신호선 SEL이 포함된다. 또한, 신호선(16)에는 신호선 VSL이 포함된다. 또한, 화소 블록(200a)에는 신호선(19)이 더 배치된다. 이 신호선(19)은 화소 블록(200a)과 다른 화소 블록(200)(후술하는 화소 블록(200b, 200c 및 200d))을 접속하는 신호선이다. 그밖에, 화소 블록(200a)에는 전원선 Vdd가 배선된다. 이 전원선 Vdd는, 화소 블록(200a)에 전원을 공급하는 배선이다.
광전 변환부(101a)의 애노드는 접지되고, 캐소드는 전하 전송부(102a)의 소스에 접속된다. 광전 변환부(101b)의 애노드는 접지되고, 캐소드는 전하 전송부(102b)의 소스에 접속된다. 광전 변환부(101c)의 애노드는 접지되고, 캐소드는 전하 전송부(102c)의 소스에 접속된다. 광전 변환부(101d)의 애노드는 접지되고, 캐소드는 전하 전송부(102d)의 소스에 접속된다. 광전 변환부(101e)의 애노드는 접지되고, 캐소드는 전하 전송부(102e)의 소스에 접속된다. 광전 변환부(101f)의 애노드는 접지되고, 캐소드는 전하 전송부(102f)의 소스에 접속된다. 광전 변환부(101g)의 애노드는 접지되고, 캐소드는 전하 전송부(102g)의 소스에 접속된다. 광전 변환부(101h)의 애노드는 접지되고, 캐소드는 전하 전송부(102h)의 소스에 접속된다.
전하 전송부(102a), 전하 전송부(102b), 전하 전송부(102c), 전하 전송부(102d), 전하 전송부(102e), 전하 전송부(102f), 전하 전송부(102g), 전하 전송부(102h)의 각각의 드레인은, 전하 보유부(103)의 일단에 공통으로 접속된다. 또한, 이 전하 보유부(103)의 일단에는, 증폭 트랜지스터(111)의 게이트, 리셋부(104)의 소스 및 결합부(107)의 드레인이 더 접속된다. 전하 보유부(103)의 다른 일단은 접지된다. 리셋부(104)의 드레인 및 증폭 트랜지스터(111)의 드레인은 전원선 Vdd에 접속된다. 증폭 트랜지스터(111)의 소스는 선택 트랜지스터(112)의 드레인에 접속되고, 선택 트랜지스터(112)의 소스는 신호선 VSL에 접속된다.
전하 전송부(102a)의 게이트는 신호선 TG1에 접속된다. 전하 전송부(102b)의 게이트는 신호선 TG2에 접속된다. 전하 전송부(102c)의 게이트는 신호선 TG3에 접속된다. 전하 전송부(102d)의 게이트는 신호선 TG4에 접속된다. 전하 전송부(102e)의 게이트는 신호선 TG5에 접속된다. 전하 전송부(102f)의 게이트는 신호선 TG6에 접속된다. 전하 전송부(102g)의 게이트는 신호선 TG7에 접속된다. 전하 전송부(102h)의 게이트는 신호선 TG8에 접속된다. 리셋부(104)의 게이트는 신호선 RST에 접속된다. 결합부(107)의 게이트는 신호선 FDG에 접속된다. 보조 전하 보유부(108)의 일단은 접지되고, 다른 일단은 결합부(107)의 소스 및 신호선(19)에 접속된다.
광전 변환부(101a) 등은, 입사광의 광전 변환을 행하는 것이다. 이 광전 변환부(101a) 등은, 포토다이오드에 의해 구성할 수 있다.
전하 보유부(103)는 광전 변환부(101a) 등의 광전 변환에 의해 생성되는 전하를 보유하는 것이다. 이 전하 보유부(103)는 반도체 기판에 형성된 반도체 영역에 의해 구성할 수 있다.
전하 전송부(102a) 등은, 광전 변환부(101a) 등의 전하를 전하 보유부(103)로 전송하는 것이다. 전하 전송부(102a) 등의 제어 신호는, 신호선 TG1 등에 의해 전달된다.
리셋부(104)는 전하 보유부(103)를 리셋하는 것이다. 이 리셋은, 전하 보유부(103)와 전원선 Vdd 사이를 도통하여 전하 보유부(103)의 전하를 배출함으로써 행할 수 있다. 리셋부(104)의 제어 신호는, 신호선 RST에 의해 전달된다.
증폭 트랜지스터(111)는 전하 보유부(103)의 전압을 증폭하는 것이다. 증폭 트랜지스터(111)의 게이트는, 전하 보유부(103)에 접속되어 있다. 이 때문에, 증폭 트랜지스터(111)의 소스에는, 전하 보유부(103)에 보유된 전하에 따른 전압의 화상 신호가 생성된다. 또한, 선택 트랜지스터(112)를 도통시킴으로써, 이 화상 신호를 신호선 VSL에 출력시킬 수 있다. 선택 트랜지스터(112)의 제어 신호는, 신호선 SEL에 의해 전달된다.
보조 전하 보유부(108)는 전하 보유부(103)에 결합하는 캐패시터이다. 이 보조 전하 보유부(108)를 전하 보유부(103)에 결합함으로써, 화소 블록(200a)의 전하의 보유 용량을 조정할 수 있다. 구체적으로는, 보조 전하 보유부(108)를 전하 보유부(103)에 결합시키면, 화소 블록(200a)의 전하의 보유 용량이 증가한다. 이에 의해, 화소 블록(200a)의 감도를 저하시킬 수 있다. 보조 전하 보유부(108)를 전하 보유부(103)에 결합하지 않는 경우에는, 화소 블록(200a)의 전하 보유 용량이 비교적 높아지는 한편, 전하의 포화가 발생하기 쉬워진다. 보조 전하 보유부(108)를 전하 보유부(103)에 결합하지 않는 동작 모드 및 보조 전하 보유부(108)를 전하 보유부(103)에 결합하는 동작 모드를 각각 고감도 모드 및 저감도 모드라고 칭한다.
결합부(107)는 보조 전하 보유부(108)를 전하 보유부(103)에 결합하는 것이다. 이 결합부(107)는 MOS 트랜지스터에 의해 구성되어, 전하 보유부(103) 및 보조 전하 보유부(108) 사이를 도통시킴으로써, 보조 전하 보유부(108)를 전하 보유부(103)에 결합할 수 있다.
또한, 동도의 화소 블록(200a)과, 후술하는 화소 블록(200b), 화소 블록(200c) 및 화소 블록(200d)은, 보조 전하 보유부(108)끼리가 신호선(19)에 의해 접속된다.
전술한 바와 같이, 전하 전송부(102), 리셋부(104), 선택 트랜지스터(112) 및 결합부(107)는 ｎ채널 MOS 트랜지스터에 의해 구성할 수 있다. 이 ｎ채널 MOS 트랜지스터에서는, 게이트-소스간 전압 Vgs의 역치를 초과하는 전압을 게이트에 인가함으로써, 드레인-소스 사이를 도통시킬 수 있다. 이하, 이 게이트-소스간 전압 Vgs의 역치를 초과하는 전압을 온 전압이라고 칭한다. 한편, MOS 트랜지스터를 비도통의 상태로 하는 전압을 오프 전압이라고 칭한다. 이 온 전압 및 오프 전압을 포함하는 제어 신호는, 신호선 TG1 등에 의해 전달된다.
또한, 리셋부(104)에 의한 전하 보유부(103)의 리셋 시, 전하 전송부(102)를 도통시킴으로써, 광전 변환부(101)의 리셋도 행할 수 있다. 또한, 결합부(107)를 도통시킴으로써, 보조 전하 보유부(108)의 리셋을 행할 수 있다. 이 보조 전하 보유부(108)의 리셋은, 화소 블록(200)의 전하 보유부(103)에 전하가 보유되는 기간인 자화소 블록 전하 보유 기간 및 어느 화소 블록(200)의 전하 보유부(103)에도 전하가 보유되지 않는 기간인 전하 불보유 기간에 행할 수 있다.
[화소 블록의 구성]
도 26은, 본 개시의 실시 형태에 관한 화소 블록의 구성예를 나타내는 도면이다. 동도는, 화소 블록(200a, 200b, 200c 및 200d)의 구성예를 나타내는 도면이다. 동도의 화소 블록(200a) 등은, 온 칩 렌즈(170)가 공통으로 배치되는 2행 2열로 배열된 4개의 화소(100)가 2조 배치된다. 동도의 화소 블록(200b, 200c 및 200d)은, 화소 블록(200a)과 공통의 회로로 구성된다. 또한, 2조의 화소 블록(200a, 200b, 200c 및 200d)이 도 2에 있어서 설명한 신호선(16)(신호선 VSL)에 공통으로 접속된다.
또한, 본 개시의 제2 실시 형태의 구성은, 다른 실시 형태에 적용할 수 있다. 구체적으로는, 도 9의 측거부(80)는 본 개시의 제3 실시 형태에 적용할 수 있다.
(효과)
촬상 장치(1)는 촬상 소자(10)와, 해상도 선택부(촬상 제어부(40))와, 화상 신호 가산부(20)를 갖는다. 촬상 소자(10)는 피사체로부터의 입사광의 광전 변환을 행하여 화상 신호를 생성하는 복수의 화소(100) 및 당해 복수의 화소(100)에 공통으로 배치되어 입사광을 복수의 화소(100)에 집광하는 온 칩 렌즈(170)를 구비하는 화소 블록(200)이 2차원 행렬상으로 배치된다. 해상도 선택부(촬상 제어부(40))는 화소(100)의 사이즈에 따른 해상도인 제1 해상도, 화소 블록(200)의 사이즈에 따른 해상도인 제2 해상도 및 인접하는 복수의 화소 블록(200)에 의해 구성되는 화소 블록 유닛(300)의 사이즈에 따른 해상도인 제3 해상도를 선택한다. 화상 신호 가산부(20)는 생성된 화상 신호를 선택된 해상도에 따라 가산함으로써 제2 화상 신호를 생성한다. 이에 의해, 다른 해상도의 화상 신호를 생성하는 작용을 야기한다.
또한, 화소(100)는 다른 파장의 입사광을 투과시키는 복수의 컬러 필터 중 1개가 배치되어도 된다. 이에 의해, 컬러의 화상 신호를 생성할 수 있다.
또한, 화소 블록 유닛(300)은 자신의 복수의 화소 블록(200)의 각각의 화소(100)에 동일한 파장의 입사광을 투과시키는 컬러 필터가 배치되어도 된다. 이에 의해, 화소 블록(200)의 화소(100)가 대응하는 입사광의 파장을 정렬시킬 수 있다.
또한, 복수의 컬러 필터는, 복수의 화소(100)에 있어서 소정의 나열순의 배열로 배치되어도 된다.
또한, 화상 신호를 배열과는 다른 복수의 컬러 필터의 나열순의 배열에 대응하는 화상 신호로 변환하는 처리인 리모자이크 처리를 행하는 신호 처리부를 더 가져도 된다. 이에 의해, 원하는 컬러 필터의 배열에 따른 화상 신호를 생성할 수 있다.
또한, 신호 처리부는, 선택된 해상도에 따른 리모자이크 처리를 행해도 된다. 이에 의해, 해상도에 따라 리모자이크 처리를 선택할 수 있다.
또한, 생성된 화상 신호에 의해 구성되는 화상에 있어서 피사체 중 촬상의 대상이 되는 대상물을 포함하는 화상의 영역인 대상 영역을 검출하는 대상 영역 검출부(50)를 더 갖고, 해상도 선택부(촬상 제어부(40))는 검출된 대상 영역에 따라 해상도를 선택해도 된다. 이에 의해, 원하는 촬상 대상물의 해상도를 조정할 수 있다.
또한, 대상 영역 검출부(50)는 사용자의 지시에 기초하여 대상 영역을 검출해도 된다.
또한, 대상 영역 검출부(50)는 사전에 생성된 화상으로부터 대상 영역을 검출해도 된다.
또한, 피사체까지의 거리를 측정하는 센서를 더 갖고, 해상도 선택부(촬상 제어부(40))는 측정된 거리에 따라 해상도를 선택해도 된다. 이에 의해, 피사체까지의 거리에 따라 확대나 축소의 처리를 자동화할 수 있다.
또한, 해상도 선택부(촬상 제어부(40))는 시계열로 생성되는 복수의 화상인 동화상을 생성할 때의 화상의 프레임 레이트에 따라 해상도를 선택해도 된다. 이에 의해, 동화상의 데이터양에 따라 해상도를 선택할 수 있다.
또한, 화소(100)는 피사체를 퓨필 분할하여 상면 위상차를 검출하기 위한 위상차 신호를 더 생성하고, 화상 신호 가산부(20)는 생성된 위상차 신호를 선택된 해상도에 따라 가산하여 제2 위상차 신호를 생성해도 된다. 이에 의해, 해상도에 따른 위상차 신호를 생성할 수 있다.
또한, 화상 신호 가산부(20)는 제2 해상도가 선택된 경우에 화소 블록(200) 중 인접하는 2개의 화소(100)에 의해 생성되는 위상차 신호를 가산하고, 제3 해상도가 선택된 경우에 인접하는 2개의 화소 블록(200)에 배치되는 복수의 화소(100)에 의해 생성되는 위상차 신호를 가산해도 된다.
또한, 화소 블록(200)은 2행 2열로 배치되는 4개의 화소(100)를 구비해도 된다.
촬상 장치(1)는 복수의 화소(100)와, 복수의 온 칩 렌즈(170)를 갖는다. 복수의 화소(100)는 입사광의 광전 변환을 행하여 화상 신호를 생성하는 2차원 행렬상으로 배치된다. 복수의 온 칩 렌즈(170)는 2행 2열로 배치된 4개의 화소(100)를 포함하는 화소 블록(200)마다 배치된다. 2행 2열로 배치된 4개의 화소 블록(200)을 포함하는 화소 블록 유닛(300)마다 다른 파장의 입사광을 투과시키는 복수의 컬러 필터(150) 중 1개가 배치되고, 화소(100)마다 화상 신호를 생성하는 제1 촬상 모드에 있어서의 제1 해상도는, 화소 블록(200)마다 화상 신호를 생성하는 제2 촬상 모드에 있어서의 제2 해상도의 4배이고, 제2 해상도는, 화소 블록 유닛(300)마다 화상 신호를 생성하는 제3 촬상 모드에 있어서의 제3 해상도의 4배이다. 이에 의해, 다른 해상도의 화상 신호를 생성하는 작용을 야기한다.
또한, 제1 촬상 모드에 있어서의 제1 프레임 레이트는, 제2 촬상 모드에 있어서의 제2 프레임 레이트의 대략 1/4이고, 제3 촬상 모드에 있어서의 제3 프레임 레이트는, 제2 프레임 레이트의 대략 1/4이어도 된다. 이에 의해, 프레임 레이트에 따른 해상도를 적용할 수 있다.
센서는, 피사체로부터의 입사광의 광전 변환을 행하여 화상 신호를 생성하는 복수의 화소(100)가 2차원 행렬상으로 배치되는 촬상 소자(10)를 갖고, 2행 2열로 배치된 4개의 상기 화소(100)를 포함하는 화소 블록(200)이 2행 2열로 배치되어 구성된 화소 블록 유닛(300)마다 다른 파장의 상기 입사광을 투과시키는 복수의 컬러 필터(150) 중 1개가 배치되고, 상기 화소(100)마다의 화상 신호를 생성하는 제1 촬상 모드, 상기 화소 블록(200)마다의 화상 신호를 생성하는 제2 촬상 모드 및 상기 화소 블록 유닛(300)마다의 화상 신호를 생성하는 제3 촬상 모드의 어느 모드에서 동작하는 센서이다. 이에 의해, 다른 해상도의 화상 신호를 생성하는 작용을 야기한다.
센서에 의해 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드의 어느 것에 있어서 생성된 제2 화상 신호에 기초하여, 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드를 전환하는 제어 신호를 상기 센서에 출력하는 촬상 제어 장치는, 피사체로부터의 입사광의 광전 변환을 행하는 화소(100)마다 화상 신호를 생성하는 제1 모드와, 2행 2열로 배치된 4개의 상기 화소를 포함하는 화소 블록(200)마다 화상 신호를 생성하는 제2 모드와, 2행 2열로 배치된 4개의 상기 화소 블록(200)을 포함하는 화소 블록 유닛(300)마다 화상 신호를 생성하는 제3 모드를 구비하는 센서에 의해 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드의 어느 것에 있어서 생성된 제2 화상 신호에 기초하여, 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드를 전환하는 제어 신호를 상기 센서에 출력하는 촬상 제어 장치이다. 이에 의해, 다른 해상도의 화상 신호를 생성하는 작용을 야기한다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또 다른 효과가 있어도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
피사체로부터의 입사광의 광전 변환을 행하여 화상 신호를 생성하는 복수의 화소 및 당해 복수의 화소에 공통으로 배치되어 상기 입사광을 상기 복수의 화소에 집광하는 온 칩 렌즈를 구비하는 화소 블록이 2차원 행렬상으로 배치되는 촬상 소자와,
상기 화소의 사이즈에 따른 해상도인 제1 해상도, 상기 화소 블록의 사이즈에 따른 해상도인 제2 해상도 및 인접하는 복수의 상기 화소 블록에 의해 구성되는 화소 블록 유닛의 사이즈에 따른 해상도인 제3 해상도를 선택하는 해상도 선택부와,
상기 생성된 화상 신호를 상기 선택된 해상도에 따라 가산함으로써 제2 화상 신호를 생성하는 화상 신호 가산부
를 갖는 촬상 장치.
(2)
상기 화소는, 다른 파장의 상기 입사광을 투과시키는 복수의 컬러 필터 중 1개가 배치되는
상기 (1)에 기재된 촬상 장치.
(3)
상기 화소 블록 유닛은, 자신의 복수의 상기 화소 블록의 각각의 상기 화소에 동일한 파장의 입사광을 투과시키는 상기 컬러 필터가 배치되는
상기 (2)에 기재된 촬상 장치.
(4)
상기 복수의 컬러 필터는, 복수의 상기 화소에 있어서 소정의 나열순의 배열로 배치되는
상기 (2)에 기재된 촬상 장치.
(5)
상기 화상 신호를 상기 배열과는 다른 상기 복수의 컬러 필터의 나열순의 배열에 대응하는 화상 신호로 변환하는 처리인 리모자이크 처리를 행하는 신호 처리부
를 더 갖는 상기 (4)에 기재된 촬상 장치.
(6)
상기 신호 처리부는, 상기 선택된 해상도에 따른 상기 리모자이크 처리를 행하는
상기 (5)에 기재된 촬상 장치.
(7)
상기 생성된 화상 신호에 의해 구성되는 화상에 있어서 상기 피사체 중 촬상의 대상이 되는 대상물을 포함하는 화상의 영역인 대상 영역을 검출하는 대상 영역 검출부
를 더 갖고,
상기 해상도 선택부는, 상기 검출된 대상 영역에 따라 상기 해상도를 선택하는
상기 (1) 내지 (6)의 어느 것에 기재된 촬상 장치.
(8)
상기 대상 영역 검출부는, 사용자의 지시에 기초하여 상기 대상 영역을 검출하는
상기 (7)에 기재된 촬상 장치.
(9)
상기 대상 영역 검출부는, 사전에 생성된 상기 화상으로부터 상기 대상 영역을 검출하는
상기 (7)에 기재된 촬상 장치.
(10)
상기 피사체까지의 거리를 측정하는 센서를 더 갖고,
상기 해상도 선택부는, 상기 측정된 거리에 따라 상기 해상도를 선택하는
상기 (1) 내지 (9)의 어느 것에 기재된 촬상 장치.
(11)
상기 해상도 선택부는, 시계열로 생성되는 복수의 화상인 동화상을 생성할 때의 화상의 프레임 레이트에 따라 상기 해상도를 선택하는
상기 (1) 내지 (10)의 어느 것에 기재된 촬상 장치.
(12)
상기 화소는, 상기 피사체를 퓨필 분할하여 상면 위상차를 검출하기 위한 위상차 신호를 더 생성하고,
상기 화상 신호 가산부는, 상기 생성된 위상차 신호를 상기 선택된 해상도에 따라 가산하여 제2 위상차 신호를 생성하는
상기 (1) 내지 (11)의 어느 것에 기재된 촬상 장치.
(13)
상기 화상 신호 가산부는, 상기 제2 해상도가 선택된 경우에 상기 화소 블록 중 인접하는 2개의 상기 화소에 의해 생성되는 상기 위상차 신호를 가산하고, 상기 제3 해상도가 선택된 경우에 인접하는 2개의 화소 블록에 배치되는 복수의 화소에 의해 생성되는 상기 위상차 신호를 가산하는
상기 (12)에 기재된 촬상 장치.
(14)
상기 화소 블록은, 2행 2열로 배치되는 4개의 상기 화소를 구비하는
상기 (1) 내지 (13)의 어느 것에 기재된 촬상 장치.
(15)
입사광의 광전 변환을 행하여 화상 신호를 생성하는 2차원 행렬상으로 배치된 복수의 화소와,
2행 2열로 배치된 4개의 상기 화소를 포함하는 화소 블록마다 배치되는 복수의 온 칩 렌즈
를 갖고,
2행 2열로 배치된 4개의 상기 화소 블록을 포함하는 화소 블록 유닛마다 다른 파장의 상기 입사광을 투과시키는 복수의 컬러 필터 중 1개가 배치되고,
상기 화소마다 화상 신호를 생성하는 제1 촬상 모드에 있어서의 제1 해상도는, 상기 화소 블록마다 화상 신호를 생성하는 제2 촬상 모드에 있어서의 제2 해상도의 4배이고,
상기 제2 해상도는, 상기 화소 블록 유닛마다 화상 신호를 생성하는 제3 촬상 모드에 있어서의 제3 해상도의 4배인
촬상 장치.
(16)
상기 제1 촬상 모드에 있어서의 제1 프레임 레이트는, 상기 제2 촬상 모드에 있어서의 제2 프레임 레이트의 대략 1/4이고,
상기 제3 촬상 모드에 있어서의 제3 프레임 레이트는, 상기 제2 프레임 레이트의 대략 1/4인
상기 (15)에 기재된 촬상 장치.
(17)
피사체로부터의 입사광의 광전 변환을 행하여 화상 신호를 생성하는 복수의 화소가 2차원 행렬상으로 배치되는 촬상 소자를 갖고,
2행 2열로 배치된 4개의 상기 화소를 포함하는 화소 블록이 2행 2열로 배치되어 구성된 화소 블록 유닛마다 다른 파장의 상기 입사광을 투과시키는 복수의 컬러 필터 중 1개가 배치되고,
상기 화소마다의 화상 신호를 생성하는 제1 촬상 모드, 상기 화소 블록마다의 화상 신호를 생성하는 제2 촬상 모드 및 상기 화소 블록 유닛마다의 화상 신호를 생성하는 제3 촬상 모드의 어느 모드에서 동작하는
센서.
(18)
피사체로부터의 입사광의 광전 변환을 행하는 화소마다 화상 신호를 생성하는 제1 모드와, 2행 2열로 배치된 4개의 상기 화소를 포함하는 화소 블록마다 화상 신호를 생성하는 제2 모드와, 2행 2열로 배치된 4개의 상기 화소 블록을 포함하는 화소 블록 유닛마다 화상 신호를 생성하는 제3 모드를 구비하는 센서에 의해 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드의 어느 것에 있어서 생성된 제2 화상 신호에 기초하여, 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드를 전환하는 제어 신호를 상기 센서에 출력하는 촬상 제어 장치.
1: 촬상 장치
10: 촬상 소자
20: 화상 신호 가산부
30: 신호 처리부
33: 리모자이크 처리부
34: 휘도 신호 생성부
40: 촬상 제어부
50: 대상 영역 검출부
60: 기억부
70: 촬영 렌즈
80: 측거부
90: 초점 위치 검출부
100: 화소
150: 컬러 필터
170: 온 칩 렌즈
200: 화소 블록
300: 화소 블록 유닛

Claims (18)

  1. 피사체로부터의 입사광의 광전 변환을 행하여 화상 신호를 생성하는 복수의 화소 및 당해 복수의 화소에 공통으로 배치되어 상기 입사광을 상기 복수의 화소에 집광하는 온 칩 렌즈를 구비하는 화소 블록이 2차원 행렬상으로 배치되는 촬상 소자와,
    상기 화소의 사이즈에 따른 해상도인 제1 해상도, 상기 화소 블록의 사이즈에 따른 해상도인 제2 해상도 및 인접하는 복수의 상기 화소 블록에 의해 구성되는 화소 블록 유닛의 사이즈에 따른 해상도인 제3 해상도를 선택하는 해상도 선택부와,
    상기 생성된 화상 신호를 상기 선택된 해상도에 따라 가산함으로써 제2 화상 신호를 생성하는 화상 신호 가산부
    를 갖는, 촬상 장치.
  2. 제1항에 있어서, 상기 화소는, 다른 파장의 상기 입사광을 투과시키는 복수의 컬러 필터 중 1개가 배치되는,
    촬상 장치.
  3. 제2항에 있어서, 상기 화소 블록 유닛은, 자신의 복수의 상기 화소 블록의 각각의 상기 화소에 동일한 파장의 입사광을 투과시키는 상기 컬러 필터가 배치되는,
    촬상 장치.
  4. 제2항에 있어서, 상기 복수의 컬러 필터는, 복수의 상기 화소에 있어서 소정의 나열순의 배열로 배치되는,
    촬상 장치.
  5. 제4항에 있어서, 상기 화상 신호를 상기 배열과는 다른 상기 복수의 컬러 필터의 나열순의 배열에 대응하는 화상 신호로 변환하는 처리인 리모자이크 처리를 행하는 신호 처리부
    를 더 갖는, 촬상 장치.
  6. 제5항에 있어서, 상기 신호 처리부는, 상기 선택된 해상도에 따른 상기 리모자이크 처리를 행하는,
    촬상 장치.
  7. 제1항에 있어서, 상기 생성된 화상 신호에 의해 구성되는 화상에 있어서 상기 피사체 중 촬상의 대상이 되는 대상물을 포함하는 화상의 영역인 대상 영역을 검출하는 대상 영역 검출부
    를 더 갖고,
    상기 해상도 선택부는, 상기 검출된 대상 영역에 따라 상기 해상도를 선택하는,
    촬상 장치.
  8. 제7항에 있어서, 상기 대상 영역 검출부는, 사용자의 지시에 기초하여 상기 대상 영역을 검출하는,
    촬상 장치.
  9. 제7항에 있어서, 상기 대상 영역 검출부는, 사전에 생성된 상기 화상으로부터 상기 대상 영역을 검출하는,
    촬상 장치.
  10. 제1항에 있어서, 상기 피사체까지의 거리를 측정하는 센서를 더 갖고,
    상기 해상도 선택부는, 상기 측정된 거리에 따라 상기 해상도를 선택하는,
    촬상 장치.
  11. 제1항에 있어서, 상기 해상도 선택부는, 시계열로 생성되는 복수의 화상인 동화상을 생성할 때의 화상의 프레임 레이트에 따라 상기 해상도를 선택하는,
    촬상 장치.
  12. 제1항에 있어서, 상기 화소는, 상기 피사체를 퓨필 분할하여 상면 위상차를 검출하기 위한 위상차 신호를 더 생성하고,
    상기 화상 신호 가산부는, 상기 생성된 위상차 신호를 상기 선택된 해상도에 따라 가산하여 제2 위상차 신호를 생성하는,
    촬상 장치.
  13. 제12항에 있어서, 상기 화상 신호 가산부는, 상기 제2 해상도가 선택된 경우에 상기 화소 블록 중 인접하는 2개의 상기 화소에 의해 생성되는 상기 위상차 신호를 가산하고, 상기 제3 해상도가 선택된 경우에 인접하는 2개의 화소 블록에 배치되는 복수의 화소에 의해 생성되는 상기 위상차 신호를 가산하는,
    촬상 장치.
  14. 제1항에 있어서, 상기 화소 블록은, 2행 2열로 배치되는 4개의 상기 화소를 구비하는,
    촬상 장치.
  15. 입사광의 광전 변환을 행하여 화상 신호를 생성하는 2차원 행렬상으로 배치된 복수의 화소와,
    2행 2열로 배치된 4개의 상기 화소를 포함하는 화소 블록마다 배치되는 복수의 온 칩 렌즈
    를 갖고,
    2행 2열로 배치된 4개의 상기 화소 블록을 포함하는 화소 블록 유닛마다 다른 파장의 상기 입사광을 투과시키는 복수의 컬러 필터 중 1개가 배치되고,
    상기 화소마다 화상 신호를 생성하는 제1 촬상 모드에 있어서의 제1 해상도는, 상기 화소 블록마다 화상 신호를 생성하는 제2 촬상 모드에 있어서의 제2 해상도의 4배이고,
    상기 제2 해상도는, 상기 화소 블록 유닛마다 화상 신호를 생성하는 제3 촬상 모드에 있어서의 제3 해상도의 4배인,
    촬상 장치.
  16. 제15항에 있어서, 상기 제1 촬상 모드에 있어서의 제1 프레임 레이트는, 상기 제2 촬상 모드에 있어서의 제2 프레임 레이트의 대략 1/4이고,
    상기 제3 촬상 모드에 있어서의 제3 프레임 레이트는, 상기 제2 프레임 레이트의 대략 1/4인,
    촬상 장치.
  17. 피사체로부터의 입사광의 광전 변환을 행하여 화상 신호를 생성하는 복수의 화소가 2차원 행렬상으로 배치되는 촬상 소자를 갖고,
    2행 2열로 배치된 4개의 상기 화소를 포함하는 화소 블록이 2행 2열로 배치되어 구성된 화소 블록 유닛마다 다른 파장의 상기 입사광을 투과시키는 복수의 컬러 필터 중 1개가 배치되고,
    상기 화소마다의 화상 신호를 생성하는 제1 촬상 모드, 상기 화소 블록마다의 화상 신호를 생성하는 제2 촬상 모드 및 상기 화소 블록 유닛마다의 화상 신호를 생성하는 제3 촬상 모드의 어느 모드에서 동작하는,
    센서.
  18. 피사체로부터의 입사광의 광전 변환을 행하는 화소마다 화상 신호를 생성하는 제1 모드와, 2행 2열로 배치된 4개의 상기 화소를 포함하는 화소 블록마다 화상 신호를 생성하는 제2 모드와, 2행 2열로 배치된 4개의 상기 화소 블록을 포함하는 화소 블록 유닛마다 화상 신호를 생성하는 제3 모드를 구비하는 센서에 의해 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드의 어느 것에 있어서 생성된 제2 화상 신호에 기초하여, 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드를 전환하는 제어 신호를 상기 센서에 출력하는, 촬상 제어 장치.
KR1020247003314A 2021-08-18 2022-07-06 촬상 장치, 센서 및 촬상 제어 장치 KR20240050322A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021133379 2021-08-18
JPJP-P-2021-133379 2021-08-18
PCT/JP2022/026817 WO2023021871A1 (ja) 2021-08-18 2022-07-06 撮像装置、センサ及び撮像制御装置

Publications (1)

Publication Number Publication Date
KR20240050322A true KR20240050322A (ko) 2024-04-18

Family

ID=85240535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247003314A KR20240050322A (ko) 2021-08-18 2022-07-06 촬상 장치, 센서 및 촬상 제어 장치

Country Status (5)

Country Link
JP (1) JPWO2023021871A1 (ko)
KR (1) KR20240050322A (ko)
CN (1) CN117859341A (ko)
TW (1) TW202315389A (ko)
WO (1) WO2023021871A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014228671A (ja) 2013-05-22 2014-12-08 ソニー株式会社 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5219778B2 (ja) * 2008-12-18 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
JP2014007454A (ja) * 2012-06-21 2014-01-16 Nikon Corp 撮像装置および撮像方法
JP6885344B2 (ja) * 2016-01-20 2021-06-16 ソニーグループ株式会社 固体撮像装置およびその駆動方法、並びに電子機器
WO2018003502A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 撮像装置、撮像方法、プログラム
KR102501604B1 (ko) * 2017-11-22 2023-02-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자 및 전자기기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014228671A (ja) 2013-05-22 2014-12-08 ソニー株式会社 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器

Also Published As

Publication number Publication date
WO2023021871A1 (ja) 2023-02-23
TW202315389A (zh) 2023-04-01
CN117859341A (zh) 2024-04-09
JPWO2023021871A1 (ko) 2023-02-23

Similar Documents

Publication Publication Date Title
US20240107157A1 (en) Solid-state imaging device, method for driving the same, and electronic device
US10658405B2 (en) Solid-state image sensor, electronic apparatus, and imaging method
US11444115B2 (en) Solid-state imaging device and electronic apparatus
US9299739B2 (en) Image pickup apparatus and image pickup system
US8319874B2 (en) Connection/separation element in photoelectric converter portion, solid-state imaging device, and imaging apparatus
US9123603B2 (en) Photoelectric conversion device and imaging system
US10879285B2 (en) Solid-state image pickup device to increase an area efficiency of a silicon interface on the transistor element side and electronic apparatus
JP2013080797A (ja) 固体撮像装置およびカメラ
KR20110011542A (ko) 고체 촬상 장치와 그 제조 방법, 및 전자기기
JP2008015215A (ja) 固体撮像素子及びこれを用いた撮像装置
JP2007081142A (ja) Ｍｏｓ型固体撮像装置及びその製造方法
JP6355362B2 (ja) 光電変換装置および撮像システム
JP2010114275A (ja) 固体撮像装置、固体撮像装置の駆動方法、及び電子機器
JPH08206102A (ja) Ｘ線診断装置
KR20240050322A (ko) 촬상 장치, 센서 및 촬상 제어 장치
JP5539458B2 (ja) 光電変換装置および光電変換装置を用いた撮像システム
WO2022190867A1 (ja) 撮像装置および測距システム
JP2022142280A (ja) 撮像素子、および撮像装置
Kang et al. Pixel design and photodiode process technology for image sensor applications
JP2016058754A (ja) 固体撮像装置およびカメラ
JP2008066352A (ja) 半導体装置