KR20170032227A - 복안 촬상 장치 - Google Patents

복안 촬상 장치 Download PDF

Info

Publication number
KR20170032227A
KR20170032227A KR1020167034125A KR20167034125A KR20170032227A KR 20170032227 A KR20170032227 A KR 20170032227A KR 1020167034125 A KR1020167034125 A KR 1020167034125A KR 20167034125 A KR20167034125 A KR 20167034125A KR 20170032227 A KR20170032227 A KR 20170032227A
Authority
KR
South Korea
Prior art keywords
eye
image
compound
eyes
imaging apparatus
Prior art date
Application number
KR1020167034125A
Other languages
English (en)
Inventor
타다쿠니 나라부
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20170032227A publication Critical patent/KR20170032227A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H04N5/2254—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14629—Reflectors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685—Process for coatings or optical elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/1469—Assemblies, i.e. hybrid integration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/2253—
    • H04N9/07—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

화질을 향상시킨다. 복안 촬상 장치는, 복수의 개안(個眼) 광학계와, 촬상 소자와, 신호 처리부를 구비하는 복안 촬상 장치이다. 복안 촬상 장치가 구비하는 복수의 개안 광학계는, 피사체에 대향하여 2차원 형상으로 배치된다. 또한, 복안 촬상 장치가 구비하는 촬상 소자는, 개안 광학계에 의해 집광되는 광을 수광하여 화상 신호를 생성하는 복수의 화소를 개안 단위로 구비하는 것이다. 또한, 복안 촬상 장치가 구비하는 신호 처리부는, 복안 촬상 장치가 구비하는 촬상 소자에 의해 생성된 화상 신호에 의거하여 피사체에 대응하는 화상을 생성하는 것이다.

Description

복안 촬상 장치{COMPOUND-EYE IMAGING DEVICE}
본 기술은, 복안(複眼) 촬상 장치에 관한 것이다. 상세하게는, 화상 데이터를 생성하는 복안 촬상 장치에 관한 것이다.
종래, 피사체를 촬상하여 화상 데이터를 생성하는 촬상 장치가 존재한다. 예를 들면, 하나의 광학계를 구비하는 디지털 스틸 카메라나 디지털 비디오 카메라 등의 촬상 장치가 널리 보급되어 있다.
또한, 예를 들면, 복수의 광학계를 구비하는 복안 촬상 장치가 제안되어 있다(예를 들면, 특허 문헌 1 참조.).
특허 문헌 1 : 일본 특개2001-61109호 공보
상술한 종래 기술에서는, 복수의 광학계에 대응하는 복수의 개안(個眼; facet)의 각각에 의해 화상 신호(화상 데이터)가 생성된다. 또한, 복수의 개안의 각각에 의해 생성되는 화상 신호(화상 데이터)를 이용하여 출력 화상이 생성된다.
이와 같이, 복수의 개안의 각각에 의해 생성되는 화상 신호(화상 데이터)를 이용하여 출력 화상이 생성되기 때문에, 이 출력 화상의 화질을 높이는 것이 중요하다.
본 기술은 이와 같은 상황을 감안하여 만들어낸 것으로, 화질을 향상시키는 것을 목적으로 한다.
본 기술은, 상술한 문제점을 해소하기 위해 이루어진 것으로, 그 제1의 측면은, 피사체에 대향하여 2차원 형상으로 배치되는 복수의 개안(個眼) 광학계와, 상기 개안 광학계에 의해 집광되는 광을 수광하여 화상 신호를 생성하는 복수의 화소를 개안 단위로 구비하는 촬상 소자와, 상기 촬상 소자에 의해 생성된 화상 신호에 의거하여 상기 피사체에 대응하는 화상을 생성하는 신호 처리부를 구비하는 복안 촬상 장치이다. 이에 의해, 복수의 화소를 개안 단위로 구비하는 촬상 소자에 의해 생성된 화상 신호에 의거하여, 피사체에 대응하는 화상을 생성한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 개안 광학계의 광축의 위치를 어긋냄에 의해 공간 화소 어긋냄을 행하도록 하여도 좋다. 이에 의해, 개안 광학계의 광축의 위치를 어긋냄에 의해 공간 화소 어긋냄을 행한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 신호 처리부는, 상기 개안 광학계의 배율 색수차에 의한 초점면상(焦點面上)의 주변부에서의 색에 응하여 생기는 상(像)의 어긋남을 보정하도록 하여도 좋다. 이에 의해, 개안 광학계의 배율 색수차에 의한 초점면상의 주변부에서의 색에 응하여 생기는 상의 어긋남을 보정한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 복수의 개안 광학계 중의 적어도 하나의 광학 특성을 다른 개안 광학계와 다르도록 하여도 좋다. 이에 의해, 복수의 개안 광학계 중의 적어도 하나의 광학 특성을 다른 개안 광학계와 다르도록 한 복안 촬상 장치를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 촬상 소자의 주변부에서의 개안 광학계의 F값을 다른 개안 광학계의 F값보다도 작게 하도록 하여도 좋다. 이에 의해, 촬상 소자의 주변부에서의 개안 광학계의 F값을 다른 개안 광학계의 F값보다도 작게 한 복안 촬상 장치를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 복안 촬상 장치는, WLCM(Wafer Level Camera Module) 및 적층형 복안 촬상 장치에 의해 구성되고, 상기 개안의 수를 임계치를 기준으로 하여 많아지도록 하여도 좋다. 이에 의해, 개안의 수를 임계치를 기준으로 하여 많게 한 복안 촬상 장치를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 복수의 개안 중에서 사용되지 않는 개안의 구동의 정지와, 당해 개안에 설치되는 ADC(Analog to Digital Converter)의 오프 중의 적어도 하나를 행하는 제어부를 또한 구비하도록 하여도 좋다. 이에 의해, 개안의 구동의 정지와 ADC의 오프 중의 적어도 하나를 행한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 복수의 개안 중의 적어도 하나에 거리 센서를 구비하도록 하여도 좋다. 이에 의해, 복수의 개안 중의 적어도 하나에 구비되는 거리 센서를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 복수의 개안 중의 적어도 하나를, 편광 각도가 다른 개안과 다른 개안으로 하도록 하여도 좋다. 이에 의해, 복수의 개안 중의 적어도 하나를, 편광 각도가 다른 개안과 다른 개안으로 한 복안 촬상 장치를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 복수의 개안 중의 적어도 하나를, 분광 감도(感度)가 다른 개안과 다른 개안으로 하도록 하여도 좋다. 이에 의해, 복수의 개안 중의 적어도 하나를, 분광 감도가 다른 개안과 다른 개안으로 한 복안 촬상 장치를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 복수의 개안 중의 적어도 하나를 다른 개안과 다른 재료로 하도록 하여도 좋다. 이에 의해, 복수의 개안 중의 적어도 하나를 다른 개안과 다른 재료로 한 복안 촬상 장치를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 촬상 소자는, 개편화된 칩을 나열하여 의사(疑似) 1칩화되고, MLA(Multi Lens Array)를 부가하여 제작되도록 하여도 좋다. 이에 의해, 개편화된 칩을 나열하여 의사 1칩화되고, MLA를 부가하여 제작된 촬상 소자를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 촬상 소자는, 타이 링으로 제작되도록 하여도 좋다. 이에 의해, 타이 링으로 제작되는 촬상 소자를 사용한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 촬상 소자는, 광의 입사 방향에서 동일 화소에서 다른 색정보를 취득하기 위한 복수의 층으로 이루어지도록 하여도 좋다. 이에 의해, 광의 입사 방향에서 동일 화소에서 다른 색정보를 취득하기 위한 복수의 층으로 이루어지는 촬상 소자를 사용하여 화상을 생성한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 개안마다의 상(像) 거리(렌즈로부터 결상면까지의 거리)를 조정하기 위한 상 거리 조정부를 또한 구비하도록 하여도 좋다. 이에 의해, 개안마다의 상 거리를 조정한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 개안마다 합초(合焦) 상태를 변경하도록 하여도 좋다. 이에 의해, 개안마다 합초 상태를 변경한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 개안마다 다른 초점 거리를 설정하도록 하여도 좋다. 이에 의해, 개안마다 다른 초점 거리를 설정한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 개안 광학계의 광학 특성에 관한 광학 특성 정보를 유지하는 유지부를 또한 구비하고, 상기 신호 처리부는, 상기 유지되어 있는 광학 특성 정보를 이용하여 신호 처리를 행함에 의해 상기 피사체에 대응하는 화상을 생성하도록 하여도 좋다. 이에 의해, 유지되어 있는 광학 특성 정보를 이용하여 신호 처리를 행함에 의해 피사체에 대응하는 화상을 생성한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 신호 처리부는, 상기 촬상 소자에 의해 생성된 화상 신호 중, 시간 응답 보정 처리가 행하여지기 전의 화상 신호와, 상기 시간 응답 보정이 행하여진 후의 화상 신호의 쌍방을 이용하여 화상을 생성하도록 하여도 좋다. 이에 의해, 촬상 소자에 의해 생성되는 화상 신호 중, 시간 응답 보정 처리가 행하여지기 전의 화상 신호와, 시간 응답 보정이 행하여진 후의 화상 신호의 쌍방을 이용하여 화상을 생성한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 신호 처리부는, 상기 촬상 소자에 의해 생성되는 화상 신호에 관해 상기 촬상 소자에 의한 광전 변환의 시간 응답 특성에 의해 생기는 차이를 보정하도록 하여도 좋다. 이에 의해, 촬상 소자에 의해 생성되는 화상 신호에 관해, 촬상 소자에 의한 광전 변환의 시간 응답 특성에 의해 생기는 차이를 보정한다는 작용을 가져온다.
본 기술에 의하면, 화질을 향상시킬 수 있다는 우수한 효과를 이룰 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시중에 기재된 어느 하나의 효과라도 좋다.
도 1은 본 기술의 기초가 되는 복안 촬상 장치(10)의 구성례를 도시하는 도면.
도 2는 본 기술의 기초가 되는 복안 촬상 장치에 의해 생성되는 복안 화상에 의한 재구성 화상의 도출례를 도시하는 도면.
도 3은 본 기술의 기초가 되는 복안 촬상 장치에 의해 생성되는 복안 화상에 의한 거리 정보의 추출례를 도시하는 도면.
도 4는 본 기술의 기초가 되는 이미지 센서의 상면 및 단면을 간략화하여 도시하는 도면.
도 5는 본 기술의 기초가 되는 이미지 센서의 상면 및 단면을 간략화하여 도시하는 도면.
도 6은 본 기술의 기초가 되는 이미지 센서의 상면 및 단면을 간략화하여 도시하는 도면.
도 7은 본 기술의 기초가 되는 이미지 센서의 상면 및 단면을 간략화하여 도시하는 도면.
도 8은 본 기술의 기초가 되는 이미지 센서의 상면 및 단면을 간략화하여 도시하는 도면.
도 9는 본 기술의 제1의 실시의 형태에서의 복안 촬상 장치(100)의 기능 구성례를 도시하는 블록도.
도 10은 본 기술의 제1의 실시의 형태에서의 복안 촬상부(110)가 구비하는 이미지 센서를 간략적으로 도시하는 도면.
도 11은 본 기술의 제1의 실시의 형태에서의 복안 촬상부(110)가 구비하는 이미지 센서를 간략적으로 도시하는 도면.
도 12는 본 기술의 제1의 실시의 형태에서의 복안 촬상부(110)가 구비하는 이미지 센서를 간략적으로 도시하는 도면.
도 13은 본 기술의 제2의 실시의 형태에서의 복안 촬상 장치가 구비하는 이미지 센서를 간략적으로 도시하는 도면.
도 14는 본 기술의 제2의 실시의 형태에서의 복안 촬상 장치가 구비하는 이미지 센서를 간략적으로 도시하는 도면.
도 15는 본 기술의 제2의 실시의 형태에서의 복안 촬상 장치가 구비하는 이미지 센서를 간략적으로 도시하는 도면.
도 16은 본 기술의 제2의 실시의 형태에서의 복안 촬상 장치가 구비하는 이미지 센서를 간략적으로 도시하는 도면.
도 17은 본 기술의 제2의 실시의 형태에서의 복안 촬상 장치가 구비하는 이미지 센서를 간략적으로 도시하는 도면.
도 18은 본 기술의 제3의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 도면.
도 19는 본 기술의 제4의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 도면.
도 20은 본 기술의 제4의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 도면.
도 21은 본 기술의 제4의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 도면.
도 22는 본 기술의 제5의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 23은 본 기술의 제5의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 24는 본 기술의 제5의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 25는 본 기술의 제5의 실시의 형태에서의 복안 촬상 장치에 의한 화상 처리례를 모식적으로 도시하는 도면.
도 26은 본 기술의 제6의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 27은 본 기술의 제6의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 28은 본 기술의 제6의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 29는 본 기술의 제6의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 30은 본 기술의 제7의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 31은 본 기술의 제8의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 32는 본 기술의 제8의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 33은 본 기술의 제8의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 34는 본 기술의 제9의 실시의 형태에서의 복안 촬상 장치의 구성례를 도시하는 도면.
도 35는 본 기술의 제10의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 36은 본 기술의 제10의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 37은 본 기술의 제10의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 38은 본 기술의 제10의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 39는 본 기술의 제10의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 40은 본 기술의 제11의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면.
도 41은 본 기술의 제13의 실시의 형태에서의 복안 촬상부(110)에 사용되는 글로벌 셔터 방식의 CMOS 이미지 센서(400)의 구성례를 도시하는 도면.
도 42는 본 기술의 제14의 실시의 형태에서의 복안 촬상부(110)에 사용되는 이면 조사형 CMOS 이미지 센서의 구성례를 도시하는 도면.
도 43은 본 기술의 제15의 실시의 형태에서의 복안 촬상부(110)에 사용되는 적층형 이미지 센서의 구성례를 도시하는 도면.
도 44는 본 기술의 제16의 실시의 형태에서의 거리 센서를 구비하는 이미지 센서의 한 예를 도시하는 단면도.
도 45는 본 기술의 제17의 실시의 형태에서의 편광자 어레이(451)를 구비하는 이미지 센서의 한 예를 도시하는 분해 사시도.
도 46은 본 기술의 제18의 실시의 형태에서의 복안 촬상부(110)에 분광 감도가 다른 개안을 구비하는 경우의 예를 도시하는 도면.
도 47은 본 기술의 제19의 실시의 형태에서의 복안 촬상부(110)에 가시광 이외의 감도를 갖는 센서를 구비하는 경우의 예를 도시하는 도면.
도 48은 본 기술의 제19의 실시의 형태에서의 복안 촬상부(110)를 구성하는 광전 변환 재료의 한 예를 도시하는 도면.
도 49는 본 기술의 제20의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 도면.
도 50은 본 기술의 제21의 실시의 형태에서의 복안 촬상부(110)의 외관을 도시하는 상면도.
도 51은 본 기술의 제22의 실시의 형태에서의 복안 촬상부(110)의 외관을 도시하는 상면도.
도 52는 본 기술의 제25의 실시의 형태에서의 복안 촬상 장치(600)의 외관을 도시하는 상면도.
도 53은 본 기술의 제26의 실시의 형태에서의 복안 촬상 장치(610)의 단면을 도시하는 단면도.
도 54는 본 기술의 제27의 실시의 형태에서의 복안 촬상 장치(620)를 도시하는 단면도.
도 55는 본 기술의 제28의 실시의 형태에서의 복안 촬상 장치(630)를 나타내는 상면도.
도 56은 본 기술의 제29의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 57은 본 기술의 제29의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 58은 본 기술의 제29의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 59는 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 60은 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 61은 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 62는 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 63은 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)로부터 출력되는 화상 신호의 출력 파형을 도시하는 도면.
도 64는 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)로부터 출력되는 화상 신호의 출력 파형을 도시하는 도면.
도 65는 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)에 사용되는 적층형 이미지 센서의 구성례를 도시하는 도면.
도 66은 본 기술의 제31의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 67은 본 기술의 제31의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 68은 본 기술의 제31의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 69는 본 기술의 제31의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 70은 본 기술의 제31의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 71은 본 기술의 제32의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 72는 본 기술의 제32의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 73은 본 기술의 제33의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 74는 본 기술의 제33의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도.
도 75는 본 기술의 제35의 실시의 형태에서의 복안 촬상부(110)로부터 출력되는 화상 신호의 출력 파형을 도시하는 도면.
도 76은 본 기술의 제36의 실시의 형태에서의 복안 촬상부(110)로부터 출력되는 화상 신호의 출력 파형을 도시하는 도면.
이하, 본 기술을 실시하기 위한 형태(이하, 실시의 형태라고 칭한다)에 관해 설명한다. 설명은 이하의 순서에 의해 행한다.
1. 제1의 실시의 형태(색 필터(광학 필터)마다 화소의 실효 개구를 변경하는 예)
2. 제2의 실시의 형태(개안의 광축의 위치를 어긋냄에 의해 공간 화소 어긋냄을 행하는 예)
3. 제3의 실시의 형태(개안 렌즈의 배율 색수차를 신호 처리에서 보정하는 예)
4. 제4의 실시의 형태(개안 렌즈의 축상 색수차에 의한
초점 거리의 차이에 응하여 개안의 광학 설계를 하는 예)
5. 제5의 실시의 형태(하나의 개안을 복수의 서브 개안으로 구성하는 예)
6. 제6의 실시의 형태(복수의 개안 렌즈 중의 적어도 하나의 광학 특성이나 구조를 다르게 구성하는 예)
7. 제7의 실시의 형태(개안마다 동(瞳) 보정을 행하는 예)
8. 제8의 실시의 형태(스페이스에 여유가 있는 주변의 광학계의 F값을 작게 함에 의해 셰이딩 특성을 향상시키는 예)
9. 제9의 실시의 형태(WLCM(Wafer Level Camera Module) 및 적층형 복안 촬상 장치에서 개안의 수를 증가시킴에 의해 감도를 높이는 예)
10. 제10의 실시의 형태(WLCM에서 감도가 다른 개안을 배치하여 감도 및 다이내믹 레인지(Dynamic Range)를 높이는 예)
11. 제11의 실시의 형태(복안 촬상부로부터 복수의 판독 방법에 의해 판독을 행하는 예)
12. 제12의 실시의 형태(개안의 구동이나 ADC(Analog to Digital Converter)를 오프 하여 소비 전력을 저감시키는 예)
13. 제13의 실시의 형태(글로벌 셔터 방식의 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 사용하는 예)
14. 제14의 실시의 형태(이면 조사형 CMOS 이미지 센서를 사용하는 예)
15. 제15의 실시의 형태(적층형 이미지 센서를 사용하는 예)
16. 제16의 실시의 형태(거리 센서를 개안에 배치하는 예)
17. 제17의 실시의 형태(편광 각도가 다른 개안을 마련하는 예)
18. 제18의 실시의 형태(분광 감도가 다른 개안을 마련하는 예)
19. 제19의 실시의 형태(가시광 이외의 감도를 갖는 센서로 이루어지는 개안을 마련하는 예)
20. 제20의 실시의 형태(WLCM의 시차를 이용하여 거리 정보를 산출하는 예)
21. 제21의 실시의 형태(복수의 개안 중의 적어도 하나를 타(他)와 다른 재료로 하는 예)
22. 제22의 실시의 형태(개편화(個片化)한 이미지 센서(촬상 소자)의 칩을 나열하여 의사 1칩화하고 멀티 렌즈 어레이(MLA) 등을 부가하여 복안 촬상부를 제작하는 예)
23. 제23의 실시의 형태(타이 링으로 복안 촬상부를 제작하는 예)
24. 제24의 실시의 형태(타이 링, 박육화, 재배선, 적층 접속으로 복안 촬상부를 제작하는 예)
25. 제25의 실시의 형태(복수의 복안 촬상부를 나열하여 촬상하는 촬상 장치의 예)
26. 제26의 실시의 형태(개안, 또는, 복수의 복안 촬상부를 나열하는 면이나 각도를 바꾸어서 복안 촬상 장치를 제작하는 예)
27. 제27의 실시의 형태(박육화한 복안 촬상 장치를 기준면에 부착함에 의해, 복안 촬상 장치를 만곡시키는, 또는, 개안의 기준면을 바꾸어, 개안의 광축을 바꾸는 예)
28. 제28의 실시의 형태(개안(또는, 복수의 복안 촬상부)가 접속되어 있는 경우에, 그 개안(또는, 복수의 복안 촬상부)끼리의 상대 위치의 어긋남, 경사, 뒤틀림의 크기를 검출하는 예)
29. 제29의 실시의 형태(촬상 소자의 수광면을 개안마다 오목부 형상으로 하는 예)
30. 제30의 실시의 형태(광의 입사 방향에서 동일 화소에서 다른 색정보를 취득하기 위한 복수의 층으로 이루어지는 촬상 소자의 예)
31. 제31의 실시의 형태(개안마다의 상(像) 거리를 조정하기 위한 상 거리 조정부를 구비하는 복안 촬상 장치의 예)
32. 제32의 실시의 형태(개안마다 합초 상태를 변경하는 복안 촬상 장치의 예)
33. 제33의 실시의 형태(개안마다 다른 초점 거리를 설정하는 복안 촬상 장치의 예)
34. 제34의 실시의 형태(개안 광학계의 광학 특성에 관한 정보(광학 특성 정보)를 유지하여 신호 처리에 사용하는 복안 촬상 장치의 예)
35. 제35의 실시의 형태(시간 응답 보정 전후의 양 신호를 사용하는 복안 촬상 장치의 예)
36. 제36의 실시의 형태(광전 변환의 시간 응답 특성 차이를 보정하는 복안 촬상 장치의 예)
<1. 제1의 실시의 형태>
[촬상 장치의 구성례]
도 1은, 본 기술의 기초가 되는 복안 촬상 장치(10)의 구성례를 도시하는 도면이다. 또한, 도 1에서는, 복안 촬상 장치(10)와의 비교례로서 단안 촬상 장치(20)의 구성례를 도시한다. 즉, 도 1의 a에는, 복안 촬상 장치(10)의 구성례를 도시하고, 도 1의 b에는, 단안 촬상 장치(20)의 구성례를 도시한다. 또한, 도 1의 a 및 b에서는, 설명의 용이를 위해, 각 구성을 간략화하여 나타낸다.
도 1의 a에 도시하는 복안 촬상 장치(10)는, 1개의 카메라에 복수의 개안(個眼) 렌즈(11 내지 14)가 구비되어 있는 카메라이다. 복수의 개안 렌즈(11 내지 14)의 각각에 의해 집광된 광이 이미지 센서(촬상 소자(15))에 의해 수광된다. 그리고, 이미지 센서(15)에 의해 광전 변환된 화상 신호가, 신호 처리부(16)에 의해 신호 처리된다. 이 신호 처리에 의해, 복수의 개안 렌즈(11 내지 14)의 각각에 의해 집광된 광에 의거하여, 하나의 화상이 생성되어 출력된다.
도 1의 b에 도시하는 단안 촬상 장치(20)는, 하나의 카메라에 하나의 렌즈(21)가 구비되어 있는 카메라이다. 렌즈(21)에 의해 집광된 광이 이미지 센서(22)에 의해 수광된다. 그리고, 이미지 센서(22)에 의해 광전 변환된 화상 신호가, 신호 처리부(23)에 의해 신호 처리된다. 이 신호 처리에 의해, 렌즈(21)에 의해 집광된 광에 의거하여, 하나의 화상이 생성되어 출력된다.
여기서, 복안 촬상 장치(10)의 주된 특장(特長)은, 단안 촬상 장치(20)보다도 렌즈(개안 렌즈)의 표면부터 이미지 센서까지의 거리를 단축할 수 있는 것이다. 이 때문에, 예를 들면, 카메라의 두께를 얇게 할 수 있다. 또한, 복수의 개안에 의한 시차(視差) 등을 이용하여 카메라로부터 피사체까지의 거리 정보를 추출할 수 있다. 또한, 개안에 의해 얻어진 화상 정보에 관해, 복안 촬상 장치(10)의 구조에 의거한 신호 처리를 시행함에 의해, 개안의 해상도보다도 높은 해상도를 얻을 수 있다.
복안 촬상 장치(10)에서의 이들의 특장 중에서, 개안에 의해 얻어진 화상 정보를, 복안 촬상 장치(10)의 구조에 의거한 신호 처리를 시행함에 의해, 개안의 해상도보다도 높은 해상도를 얻는 수법에 관해서는, 도 2를 참조하여 상세히 설명한다.
[복안 화상에 의한 재구성 화상의 도출례(導出例)]
도 2는, 본 기술의 기초가 되는 복안 촬상 장치에 의해 생성되는 복안 화상에 의한 재구성 화상의 도출례를 도시하는 도면이다. 도 2에서는, 수직 방향에서 3개의 개안 렌즈(17 내지 19)가 설치되어 있는 복안 촬상 장치의 예를 나타낸다.
예를 들면, 다음의 식을 이용하여 x0을 산출할 수 있다.
x0={(ix/r resolution)×r height}+(r bottom×xs)={(xc-x0)×fs/d}+xc
이 식을 이용하여 구하여진 x0을 이용하여, 복안 화상에 의한 재구성 화상을 도출할 수 있다.
[복안 화상에 의한 거리 정보의 추출례]
도 3은, 본 기술의 기초가 되는 복안 촬상 장치에 의해 생성되는 복안 화상에 의한 거리 정보의 추출례를 도시하는 도면이다.
예를 들면, 복수의 개안에 의한 시차(視差) 등을 이용하여 복안 촬상 장치로부터 피사체까지의 거리 정보를 추출할 수 있다. 예를 들면, 9개의 개안을 사용하여 촬상 동작을 행하는 모드(A)와, 2개의 개안을 사용하여 촬상 동작을 행하는 모드(B)와의 각각에 의해 생성되는 화상 데이터를 이용한다.
그리고, 모드(A)에 의해 생성되는 화상 데이터와, 모드(B)에 의해 생성되는 화상 데이터에 대해, 복수의 가상 거리를 설정하고, 재구성 화상을 생성한다. 계속해서, 이들의 화상 데이터에 관해 차분 연산을 행하여, 최소가 되는 가상 거리를 추출하고, 그 가상 거리에 의거하여 거리 정보를 구할 수 있다.
[실효(實效) 개구의 계산례]
다음에, 이미지 센서의 실효 개구 및 실효 개구율에 관해 도면을 참조하여 설명한다.
실효 개구는, 화소에 있어서 실효적으로 입사광을 취입할 수 있는 면적을 의미한다. 예를 들면, 표면형 이미지 센서에서는, 화소에 있는 포토 다이오드의 개구면적이 작아도, 온 칩 렌즈를 붙임에 의해, 화소 면적과 같은 정도의 실효 개구를 얻을 수 있다. 또한, 예를 들면, 이면형 이미지 센서에 관해서는, 온 칩 렌즈가 없는 경우에도, 실효 개구를 화소 면적과 동일어 정도로 할 수 있다.
도 4 내지 도 8은, 본 기술의 기초가 되는 이미지 센서의 상면(上面) 및 단면(斷面)을 간략화하여 도시하는 도면이다. 도 4 내지 도 8의 a에는, 이미지 센서의 상면도를 도시하고, 도 4 내지 도 8의 b에는, 이미지 센서의 단면도를 도시한다.
도 4 내지 도 8의 a에서, 2차원상(次元上)에 배치되어 있는 복수의 사각형은 화소를 나타낸다. 또한, 도 4 내지 도 8의 b에서, 점선의 복수의 사각형은 화소를 나타낸다. 또한, 도 5의 b, 도 8의 b에서, 검은 칠의 복수의 사각형은 차광막(예를 들면, 41, 44)을 나타낸다. 또한, 도 6 내지 도 8의 b에서, 복수의 반원형은 온 칩 렌즈(예를 들면, 42, 43, 45)를 나타낸다.
또한, px는, 화소의 수평 방향의 길이를 나타낸다. 또한, py는, 화소의 수직 방향의 길이를 나타낸다. 또한, W는, 실효 개구의 수평 방향의 길이를 나타낸다. 또한, H는, 실효 개구의 수직 방향의 길이를 나타낸다. 이 경우에, 실효 개구면 적(Sa)은, Sa=W×H로 구할 수 있고, 화소 면적(Sp)은, Sp=px×py로 구할 수 있다.
또한, 실효 개구율은, 실효 개구면적 및 화소 면적의 비를 의미한다. 도 4에 도시하는 바와 같이, 화소 및 실효 개구의 형상을 사각형으로 나타낼 수 있는 경우에는, 실효 개구율(G)는, 다음의 식에 의해 표시된다.
G=Sa/Sp=(W×H)/(Px×Py)
여기서, 도 4에는, 이면 이미지 센서와 같이 화소 개구율이 100%인 이미지 센서의 한 예를 도시한다.
또한, 도 5에는, 혼색 억제를 위해 이면 이미지 센서에 화소 사이 차광막(차광막(41))을 마련함에 의해 화소 개구율이 100%보다도 작아지는 이미지 센서의 한 예를 도시한다.
또한, 도 6에는, 혼색 억제를 위해 이면 이미지 센서에 온 칩 렌즈(42)를 마련하고, 화소 개구율 100%를 유지하는 이미지 센서의 한 예를 도시한다.
또한, 도 7에는, 혼색 억제 등 때문에 이면 이미지 센서에 화소 면적보다도 작은 온 칩 렌즈(43)를 마련함에 의해 화소 개구율이 100%보다도 작아지는 이미지 센서의 한 예를 도시한다.
또한, 도 8에는, 혼색 억제 등 때문에 이면 이미지 센서에 화소 사이 차광막(차광막(44))을 마련하고, 또한, 화소 면적보다도 작은 온 칩 렌즈(45)를 마련함에 의해 화소 개구율이 100%보다도 작아지는 이미지 센서의 한 예를 도시한다.
<1. 제1의 실시의 형태>
본 기술의 제1의 실시의 형태에서는, 색 필터(광학 필터) 마다 화소의 실효 개구를 변경하는 예를 나타낸다.
[복안 촬상 장치의 구성례]
도 9는, 본 기술의 제1의 실시의 형태에서의 복안 촬상 장치(100)의 기능 구성례를 도시하는 블록도이다.
복안 촬상 장치(100)는, 복안 촬상부(110)와, 신호 처리부(120)와, 제어부(130)와, 표시부(140)와, 기억부(150)와, 조작 접수부(160)와, 무선 통신부(170)를 구비한다. 또한, 도 9에서는, 복안 촬상 장치(100)가, 표시부(140), 조작 접수부(160) 및 무선 통신부(170)를 구비하는 예를 나타내지만, 이 중의 적어도 하나를 생략하여 복안 촬상 장치(100)를 구성하도록 하여도 좋다. 또한, 예를 들면, 외부 기기와의 데이터의 교환을 행하는 인터페이스를 복안 촬상 장치(100)에 마련하도록 하여도 좋다. 이 경우에는, 예를 들면, 복안 촬상 장치(100)는, 그 인터페이스를 통하여 접속되는 외부 기기(예를 들면, 표시 장치)로부터 정보를 출력(예를 들면, 화상 표시)시킬 수 있다. 또한, 예를 들면, 복안 촬상 장치(100)는, 그 인터페이스를 통하여 접속되는 외부 기기(예를 들면, 입력 장치)에서 입력된 정보(유저에 의한 조작 입력의 정보)를 취득할 수 있다. 또한, 예를 들면, 복안 촬상 장치(100)는, 그 인터페이스를 통하여 접속되는 외부 기기(예를 들면, 무선 통신 장치)에 의해, 무선 통신을 이용하여 다른 장치와의 정보(예를 들면, 화상 정보)의 교환을 행할 수 있다.
복안 촬상부(110)는, 제어부(130)의 제어에 의거하여, 피사체를 촬상하여 화상 신호(화상 데이터)를 생성하는 것이고, 생성된 화상 신호를 신호 처리부(120)에 출력한다. 예를 들면, 복안 촬상부(110)는, 복수의 개안 광학계(개안 렌즈)와, 촬상 소자(이미지 센서)와, 색 필터를 구비한다. 여기서, 개안 광학계(개안 렌즈)는, 피사체에 대향하여 2차원 형상으로 배치되는 것이다. 또한, 촬상 소자(이미지 센서)는, 개안 광학계에 의해 집광되는 광을 수광하여 화상 신호를 생성하는 복수의 화소를 개안 단위로 구비하는 것이다. 또한, 색 필터는, 개안마다 설치되는 것이다. 또한, 복안 촬상부(110)의 구성에 관해서는, 본 기술의 제1의 실시의 형태 및 다른 실시의 형태에서 상세히 설명한다.
신호 처리부(120)는, 제어부(130)의 제어에 의거하여, 복안 촬상부(110)에 의해 생성된 화상 신호(화상 데이터)에 관해 소정의 신호 처리를 시행하는 것이고, 신호 처리가 시행된 화상 데이터를 표시부(140) 또는 기억부(150)에 출력한다. 즉, 신호 처리부(120)는, 복안 촬상부(110)에 의해 생성된 화상 신호(화상 데이터)에 의거하여, 피사체에 대응하는 화상을 생성한다.
제어부(130)는, 제어 프로그램에 의거하여, 복안 촬상 장치(100)의 각 부분을 제어하는 것이다.
표시부(140)는, 신호 처리부(120)에 의해 신호 처리가 시행된 화상 데이터에 의거한 화상을 표시하는 것이다.
기억부(150)는, 신호 처리부(120)에 의해 신호 처리가 시행된 화상 데이터를 기억하는 것이다.
조작 접수부(160)는, 유저 조작을 접수하는 조작 접수부이고, 접수된 유저 조작에 응한 제어 신호를 제어부(130)에 출력한다.
무선 통신부(170)는, 제어부(130)의 제어에 의거하여, 무선 통신을 이용하여, 다른 장치와의 사이에서 각 정보(예를 들면, 화상 데이터)의 송수신을 행하는 것이다. 여기서, 무선 통신으로서, 예를 들면, 무선 LAN(Local Area Network)을 이용할 수 있다. 이 무선 LAN으로서, 예를 들면, Wi-Fi(Wireless Fidelity)를 이용할 수 있다. 또한, 무선 통신으로서, 예를 들면, Bluetooth(등록상표), NFC(Near Field Communication), 적외선, 휴대 전화용 전파 등의 무선 통신을 이용할 수 있다.
[색 필터마다 화소의 실효 개구를 변경하는 예]
도 10 내지 도 12는, 본 기술의 제1의 실시의 형태에서의 복안 촬상부(110)가 구비하는 이미지 센서를 간략적으로 도시하는 도면이다. 또한, 도 10 내지 도 12에서는, 복안 촬상부(110)가 구비하는 이미지 센서의 상면도를 도시한다.
도 10 내지 도 12에서는, 복수(3×3)의 개안에 의해 구성되는 이미지 센서의 예를 도시한다. 또한, 도 10 내지 도 12에서는, 복수의 개안을 특정하기 위한 행 번호 1 내지 3과 열 번호 1 내지 3을 이미지 센서의 주위에 붙여서 나타낸다.
또한, 도 10 내지 도 12에서는, 각 화소를 점선의 사각형으로 도시하고, 실효 개구를 실선의 사각형으로 도시한다. 즉, 각 화소를 나타내는 점선의 사각형 내에, 실효 개구를 나타내는 실선의 사각형을 도시한다. 또한, 도 10 내지 도 12에서는, 각 개안상에, 개안 렌즈를 나타내는 원을 도시한다.
또한, 본 기술의 실시의 형태에서는, 설명의 용이를 위해, 각 개안(또는, 서브 개안(도 22 내지 도 24에 도시한다))에는 하나의 개안 렌즈만을 배치하는 예를 도시한다. 단, 각 개안(또는, 서브 개안)에는 복수의 렌즈로 구성되는 광학계를 배치하도록 하여도 좋다.
[적색 필터, 녹색 필터, 청색 필터를 사용하는 예]
도 10, 도 11에서는, 적색 필터, 녹색 필터, 청색 필터를 사용하는 예를 도시한다.
[청색 필터의 실효 개구를 최대로 하고, 녹색 필터의 실효 개구를 최소로 하는 예]
도 10에서는, 복수(3×3)의 개안에 의해 구성되는 사각형상의 이미지 센서에, 녹색 필터(201 내지 205), 적색 필터(206 및 207), 청색 필터(208 및 209)가 배치되는 예를 도시한다. 구체적으로는, 사각형상의 이미지 센서에서의 대각선상에 녹색 필터(201 내지 205)가 배치되고, 적색 필터(206 및 207)의 라인과, 청색 필터(208 및 209)의 라인이 직교하도록 배치되는 예를 나타낸다. 또한, 도 10에서는, 설명의 용이를 위해, 각 개안상에서의 속이 하얀 사각형 내에 각 필터의 명칭을 나타낸다.
도 10에서는, 청색 필터(208 및 209)의 실효 개구를 최대로 하고, 적색 필터(206 및 207)의 실효 개구를 다음으로 큰 값으로 하고, 녹색 필터(201 내지 205)의 실효 개구를 최소로 하는 예를 나타낸다.
또한, 도 10에서는, 각 색의 색 필터가, 이미지 센서에 온 칩 되어 있는 경우, 또는, 이미지 센서에 근접하여 있는 경우의 예를 도시한다. 또한, 도 10에서는, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
[적색 필터의 실효 개구를 최대로 하고, 청색 필터의 실효 개구를 최소로 하는 예]
도 11에서는, 복수(3×3)의 개안에 의해 구성되는 사각형상의 이미지 센서에서의 대각선상에 청색 필터(211 내지 215)가 배치되고, 적색 필터(218 및 219)의 라인과, 녹색 필터(216 및 217)의 라인이 직교하도록 배치되는 예를 도시한다.
도 11에서는, 적색 필터(218 및 219)의 실효 개구를 최대로 하고, 녹색 필터(216 및 217)의 실효 개구를 다음으로 큰 값으로 하고, 청색 필터(211 내지 215)의 실효 개구를 최소로 하는 예를 도시한다.
또한, 도 11에서는, 각 색의 색 필터가, 이미지 센서에 온 칩 되어 있는 경우, 또는, 이미지 센서에 근접하여 있는 경우의 예를 도시한다. 또한, 도 11에서는, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
[시안 필터, 마젠타 필터, 옐로 필터, 그린 필터를 사용하는 예]
도 12에서는, 시안 필터, 마젠타 필터, 옐로 필터, 그린 필터를 사용하는 예를 도시한다.
[마젠타 필터의 실효 개구를 최대로 하고, 옐로 필터의 실효 개구를 최소로 하는 예]
도 12에서는, 복수(3×3)의 개안에 의해 구성되는 사각형상의 이미지 센서에 있어서, V자 형상의 마젠타 필터(221 내지 223) 및 V자 형상의 그린 필터(224 내지 226)가 대향하도록 배치되는 예를 도시한다. 또한, 옐로 필터(229)가 중심에 배치되고, 동일 라인상에 시안 필터(227, 228) 및 옐로 필터(229)가 교대로 배치되는 예를 도시한다.
도 12에서는, 마젠타 필터(221 내지 223)의 실효 개구를 최대로 하고, 그린 필터(224 내지 226)의 실효 개구를 2번째로 큰 값으로 하고, 시안 필터(227, 228)의 실효 개구를 3번째로 큰 값으로 하고, 옐로 필터(229)의 실효 개구를 최소로 하는 예를 도시한다.
또한, 도 12에서는, 각 색의 색 필터가, 이미지 센서에 온 칩 되어 있는 경우, 또는, 이미지 센서에 근접하여 있는 경우의 예를 도시한다. 또한, 도 12에서는, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
[시차(視差)를 보정하기 위한 화상 처리례]
여기서, 이미지 센서에서의 색 필터마다 화소의 실효 개구를 바꾸는 경우에, 시차를 보정하기 위한 화상 처리 방법의 한 예에 관해 설명한다.
상술한 바와 같이, 복안 촬상 장치(100)는, 복수의 개안으로 이루어지는 구조이기 때문에, 피사체의 거리에 응하여, 개안 사이에 시차가 생기는 경우가 있다. 이와 같이, 개안 사이에 시차가 생기고 있는 경우에, 시차의 보정을 행하지 않고 복안 촬상 장치의 출력 신호로서 출력하면, 시차를 갖는 개안수에 상당하는 매수의 화상이 겹친 것 같은 화상이 되어, 부자연스러운 화상이 된다.
그래서, 이들의 개안으로부터 얻어지는 시차를 갖는 로데이터(Raw Data)에 관해 신호 처리를 시행하여 시차를 보정함에 의해 자연스러운 화상 정보로 할 수 있다. 또한, 이 자연스러운 화상 정보를, 복안 촬상 장치에 의해 얻어지는 화상으로 할 수 있다.
최초에, 화소 출력의 차를 구하는 예를 나타낸다. 예를 들면, i행j열의 개안에서의 k행l열의 화소 출력과, I행J열의 개안에서의 k행l열의 화소 출력과의 차(δijkl)는, 다음의 식 1로 표시된다. 환언하면, δijkl는, i행j열의 개안에서의 k행l열의 화소 출력과, 다른 개안(I행J열의 개안)에서의 k행l열의 화소 출력과의 차를 나타낸다.
δijkl=Sijkl-SIJkl … 식 1
여기서, Sijkl는, 각 개안의 출력 신호를 나타낸다. 또한, i는, 이미지 센서에서의 개안의 행 번호를 나타낸다. 또한, j는, 이미지 센서에서의 개안의 열 번호를 나타낸다. 또한, k는, 개안에서의 화소의 행 번호를 나타낸다. 또한, l는, 개안에서의 화소의 열 번호를 나타낸다. 또한, I는, 출력 화상에서의 개안의 행 번호를 나타낸다. 또한, J는, 출력 화상에서의 개안의 열 번호를 나타낸다.
예를 들면, 시차가 없는 경우나, 시차를 무시할 수 있는 크기인 경우에는, δijkl는, 제로의 값, 또는, 극히 제로에 가까운 수치가 된다. 한편, 시차가 있는 경우에는, δijkl는, 제로가 아니라, 유한의 수치가 된다.
다음에, 시차의 보정을 행하는 예를 도시한다.
i행j열의 개안에서의 k행l열의 화소로부터, ε행, ζ열만큼 떨어진 화소의 출력 신호(Sij(k+ε)(L+ζ))와, I행J열의 개안에서의 k행l열의 화소 출력(SIJkl)과의 차(δijkl)는, 다음의 식 2로 표시된다.
δijkl=Sij(k+ε)(L+ζ)-SIJkl … 식 2
이 식 2를 이용하여 구하여지는 δijkl가 최소가 되는 ε와 ζ를 구한다. 그리고, i행j열의 개안에서의 (k+ε)행(l+ζ)열의 화소 출력을 i행j열의 개안에서의 k행l열의 화소 출력으로서, 치환한다. 또한, i행j열의 개안에서의 (k+ε)행(l+ζ)열의 화소 출력은, I행J열의 개안에서의 (k+ε)행(l+ζ)열의 화소 출력으로 치환한다. 즉, ε는, 개안에서의 화소행 번호의 보정수를 나타낸다. 또한, ζ는, 개안에서의 화소열 번호의 보정수를 나타낸다.
이와 같은 시차 보정을 행함에 의해, 복안 촬상 장치로부터의 신호 처리 후의 화상을, 겹쳐진 화상이 없는 자연스러운 화상으로 할 수 있다.
또한, 본 기술의 제1의 실시의 형태에서는, 색 필터(광학 필터)로서, R, G, B 등의 가시광 원색 필터, Ye(황색), Cy(시안), Mg(마젠타) 등의 가시광 보색 필터를 사용하는 예를 나타냈다. 단, 다른 색 필터(광학 필터)를 사용하는 경우에 관해서도 본 기술의 제1의 실시의 형태를 적용할 수 있다. 예를 들면, W(백), C(클리어) 등의 가시광 전역(全域) 필터, Ir(적외) 등의 가시광 이외의 색 필터(광학 필터)에 대해서도 본 기술의 제1의 실시의 형태를 적용할 수 있다.
여기서, 복안 촬상 장치의 실효 화소 개구율을, 모든 광학 필터에 관해 마찬가지로 설계하는 경우를 상정한다. 이와 같이, 복안 촬상 장치의 실효 화소 개구율을 모든 광학 필터에 관해 마찬가지로 하면, 화소의 애퍼처 효과의 MTF(공간 주파수 특성)가, 모든 광학 필터에서 같게 된다. 그리고, 공간 화소 어긋냄에 의한 MTF의 고역 특성 향상의 정도가, 이 전부 같은 MTF 특성에 의해 제약을 받는다. 구체적으로는, 애퍼처 효과에 의한 MTF의 Null Point가 모든 광학 필터에서 같기 때문에, 이 Null Point 부근의 공간 주파수의 개선이 곤란하게 될 우려가 있다.
또한, 복안 촬상 장치의 실효 화소 개구율을 모든 광학 필터에 관해 같게 하면, 가장 감도가 큰 광학 필터의 화소의 신호 전하에 의해 촬상 소자 전체의 포화 전하량이 설정되어 버릴 우려가 있다. 이에 의해, 촬상 소자 특성으로서의 다이내믹 레인지가 좁아질 우려가 있다.
그래서, 본 기술의 제1의 실시의 형태에서는, 색 필터마다 화소의 실효 개구를 변경한다. 이에 의해, 해상도를 향상시킬 수 있다. 또한, 촬상 소자 특성으로서의 다이내믹 레인지를 넓게 할 수 있다.
<2. 제2의 실시의 형태>
본 기술의 제2의 실시의 형태에서는, 개안의 광축의 위치를 어긋냄에 의해 공간 화소 어긋냄을 행하는 예를 나타낸다.
[개안의 광축의 위치를 어긋냄에 의해 공간 화소 어긋냄을 행하는 예]
도 13 내지 도 17은, 본 기술의 제2의 실시의 형태에서의 복안 촬상 장치가 구비하는 이미지 센서를 간략적으로 도시하는 도면이다. 또한, 도 13 내지 도 17에서는, 도 10 내지 도 12와 마찬가지로, 각 화소를 사각형으로 간략적으로 나타내고, 개안 렌즈를 원으로 간략화하여 나타낸다. 또한, 도 13 내지 도 17에서는, 도 10 내지 도 12와 마찬가지로, 복수(3×3)의 개안에 의해 구성되는 사각형상의 이미지 센서의 예를 도시한다.
[적색 필터, 녹색 필터, 청색 필터를 사용하는 예]
도 13 내지 도 17에서는, 적색 필터, 녹색 필터, 청색 필터를 사용하는 예를 도시한다. 또한, 도 13 내지 도 17에서는, 도 10과 마찬가지로, 녹색 필터, 적색 필터, 청색 필터가 배치되는 예를 도시한다.
[전색을 경사 방향(동일 방향)으로 반화소(半畵素) 어긋내는 예]
도 13에서는, 전색(全色)의 색 필터를 경사 방향(동일 방향)으로 반화소 어긋내는 예를 도시한다.
또한, 도 13에서는, 각 색의 색 필터가, 이미지 센서에 온 칩 되어 있는 경우, 또는, 이미지 센서에 근접하여 있는 경우의 예를 도시한다. 또한, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
예를 들면, 각 색 필터 중의 일부의 색 필터의 개안의 광축을 경사 방향으로 반화소 어긋낸다. 이 경우에, 어긋내는 방향은, 각 색에 관해 동일 방향으로 한다. 예를 들면, 도 13에서는, 4개의 개안의 광축을, 화살표(231 내지 234)로 도시하는 방향으로 어긋내는 예를 도시한다.
[전색을 경사 방향(다른 방향)으로 반화소 어긋내는 예]
도 14에서는, 전색의 색 필터를 경사 방향(다른 방향)으로 반화소 어긋내는 예를 도시한다.
또한, 도 14에서는, 각 색의 색 필터가, 이미지 센서에 온 칩 되어 있는 경우, 또는, 이미지 센서에 근접하여 있는 경우의 예를 도시한다. 또한, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
예를 들면, 각 색 필터 중의 일부의 색 필터의 개안의 광축을 경사 방향으로 반화소 어긋낸다. 이 경우에, 녹색 필터의 개안의 광축은, 상반(相反)하는 방향으로 어긋내고, 적색 필터 및 청색 필터의 개안의 광축에 관해서는, 동일 방향으로 어긋낸다. 예를 들면, 도 14에서는, 녹색 필터의 일부와, 적색 필터 및 청색 필터와의 개안의 광축을, 화살표(241 내지 244)로 도시하는 방향(동일 방향)으로 어긋낸다. 또한, 도 14에서는, 녹색 필터의 일부의 개안의 광축을, 화살표(245, 246)로 도시하는 방향(반대 방향)으로 어긋낸다.
[전색을 경사 방향(동일 방향)으로 어긋내는 예]
도 15에서는, 전색의 색 필터를 경사 방향(동일 방향)으로 어긋내는 예를 도시한다.
또한, 도 15에서는, 각 색의 색 필터가, 이미지 센서에 온 칩 되어 있는 경우, 또는, 이미지 센서에 근접하여 있는 경우의 예를 도시한다. 또한, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
예를 들면, 각 색 필터 중의 일부의 색 필터의 개안의 광축을 경사 방향으로 반화소 어긋낸다. 또한, 각 색 필터 중의 일부의 색 필터의 개안의 광축을 경사 방향으로 1/3화소 또는 2/3화소 어긋낸다. 예를 들면, 녹색 필터의 개안의 광축을 경사 방향으로 1/3화소 및 2/3화소 어긋내고, 적색 필터 및 청색 필터의 개안의 광축을 경사 방향으로 반화소 어긋낸다. 예를 들면, 도 15에서는, 녹색 필터의 일부의 개안의 광축을, 화살표(251, 252)로 도시하는 방향으로 1/3화소 어긋낸다. 또한, 녹색 필터의 일부의 개안의 광축을, 화살표(253, 254)로 도시하는 방향으로 2/3화소 어긋낸다. 또한, 적색 필터 및 청색 필터의 개안의 광축을, 화살표(255, 256)로 도시하는 방향으로 반화소 어긋낸다.
[전색을 경사 방향(동일 방향)으로 어긋내는 예]
도 16에서는, 전색의 색 필터를 경사 방향(동일 방향)으로 어긋내는 예를 도시한다.
또한, 도 16에서는, 각 색의 색 필터가, 이미지 센서에 온 칩 되어 있는 경우, 또는, 이미지 센서에 근접하여 있는 경우의 예를 도시한다. 또한, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
예를 들면, 각 색 필터 중의 일부의 색 필터의 개안의 광축을 경사 방향으로 반화소 어긋낸다. 또한, 각 색 필터 중의 일부의 색 필터의 개안의 광축을 경사 방향으로 1/5화소, 2/5화소, 3/5화소 및 4/5화소 어긋낸다. 예를 들면, 녹색 필터의 개안의 광축을 경사 방향으로 1/5화소, 2/5화소, 3/5화소 및 4/5화소 어긋내고, 적색 필터 및 청색 필터의 개안의 광축을 경사 방향으로 반화소 어긋낸다. 예를 들면, 도 16에서는, 녹색 필터의 일부의 개안의 광축을 화살표(261)로 도시하는 방향으로 1/5화소 어긋낸다. 또한, 녹색 필터의 일부의 개안의 광축을 화살표(262)로 도시하는 방향으로 2/5화소 어긋낸다. 또한, 녹색 필터의 일부의 개안의 광축을 화살표(263)로 도시하는 방향으로 3/5화소 어긋낸다. 또한, 녹색 필터의 일부의 개안의 광축을 화살표(264)로 도시하는 방향으로 4/5화소 어긋낸다. 또한, 적색 필터 및 청색 필터의 개안의 광축을 화살표(265, 266)로 도시하는 방향으로 반화소 어긋낸다.
[전색을 각 방향으로 어긋내는 예]
도 17에서는, 전색의 색 필터를 수평 방향, 수직 방향 및 경사 방향으로 반화소 어긋내는 예를 도시한다.
또한, 도 17에서는, 각 색의 색 필터가, 이미지 센서에 온 칩 되어 있는 경우, 또는, 이미지 센서에 근접하여 있는 경우의 예를 도시한다. 또한, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
예를 들면, 녹색 필터의 일부의 개안의 광축을 상반하도록 수직 방향으로 반화소 어긋내고, 녹색 필터의 일부의 개안의 광축을 상반하도록 수평 방향으로 반화소 어긋내고, 적색 필터 및 청색 필터의 개안의 광축을 경사 방향으로 반화소 어긋낸다. 예를 들면, 도 17에서는, 녹색 필터의 일부의 개안의 광축을, 화살표(271)로 도시하는 방향(수직 방향)으로 반화소 어긋낸다. 또한, 녹색 필터의 일부의 개안의 광축을, 화살표(272)로 도시하는 방향(화살표(271)로 도시하는 방향의 반대 방향)으로 반화소 어긋낸다. 또한, 녹색 필터의 일부의 개안의 광축을, 화살표(273)로 도시하는 방향(수평 방향)으로 반화소 어긋낸다. 또한, 녹색 필터의 일부의 개안의 광축을, 화살표(274)로 도시하는 방향(화살표(273)로 도시하는 방향의 반대 방향)으로 반화소 어긋낸다. 또한, 적색 필터 및 청색 필터의 개안의 광축을 화살표(275, 276)로 도시하는 방향으로 반화소 어긋낸다.
이와 같이, 본 기술의 제2의 실시의 형태에서는, 개안의 광축의 위치를 어긋냄에 의해 공간 화소 어긋냄을 행한다. 이에 의해, 해상도를 향상시킬 수 있다.
<3. 제3의 실시의 형태>
본 기술의 제3의 실시의 형태에서는, 개안 렌즈의 배율 색수차를 신호 처리에서 보정하는 예를 나타낸다.
[배율 색수차의 신호 처리에 의한 보정례]
최초에, 배율 색수차를 신호 처리에서 보정하는 보정 방법에 관해 설명한다.
도 18은, 본 기술의 제3의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 도면이다. 도 18에서는, 개안 렌즈, 색 필터 및 이미지 센서의 관계를 간략화하여 나타낸다.
여기서, 개안 렌즈(284 내지 286)의 배율 색수차에 의한 촬상면에서의 각 색의 배율을, 다음과 같이 정의한다.
NR : 적색의 상면(像面) 배율
NG : 녹색의 상면 배율
NB : 청색의 상면 배율
또한, 도 18에서, 적색 필터(281)의 개안에서의 피사체의 점A(280)의 결상 위치를 XR이라고 한다. 또한, 녹색 필터(282)의 개안에서의 피사체의 점A(280)의 결상 위치를 XG라고 한다. 또한, 청색 필터(283)의 개안에서의 피사체의 점A(280)의 결상 위치를 XB라고 한다.
도 18에 도시하는 바와 같이, 결상 위치(XR, XG 및 XB)는, 개안 렌즈(284 내지 286)의 배율 색수차에 의해 전부 다른 위치가 된다.
여기서, 개안 렌즈(284 내지 286)의 배율 색수차는, 설계치, 또는, 측정치에 의해 미리 파악하는 것이 가능하기 때문에, NR, NG, NB는, 이미 알고 있다. 그래서, 다음의 식에 표시하는 바와 같이, 결상 위치(XR, XB)를 보정할 수 있다.
X'R=(NG/NR)XR
X'B=(NG/NB)XB
신호 처리부(120)는, 상술한 식을 이용한 신호 처리에 의한 보정을 행함에 의해, 배율 색수차를 억압, 또는, 없앨 수 있다. 즉, 신호 처리부(120)는, 개안 렌즈의 배율 색수차에 의한 초점면상의 주변부에서의 색에 응하여 생기는 상의 어긋남을 보정한다.
예를 들면, 개안 렌즈의 배율 색수차나 축상(軸上) 색수차 등과 같은, 색수차를 적게 하도록, 개안 렌즈의 색수차 특성이 좋아지도록 개안 렌즈의 설계를 행하는 경우를 상정한다. 이 경우에는, 개안 렌즈 구조가 복잡하게 됨과 함께, 개안 렌즈의 비용이 높아진다.
그래서, 본 기술의 제3의 실시의 형태에서는, 개안 렌즈의 배율 색수차에 의한 초점면상의 주변부에서의 색에 의해 어긋나는 상은 그대로 하여 개안 렌즈를 설계, 구성하고, 색의 차이에 의한 상의 어긋남에 관해서는 신호 처리에 의해 보정한다. 이에 의해, 개안 렌즈 구조를 간소화할 수 있고, 개안 렌즈의 비용을 저감시킬 수 있다.
<4. 제4의 실시의 형태>
본 기술의 제4의 실시의 형태에서는, 개안 렌즈의 축상 색수차에 의한 초점 거리의 차이에 응하여 개안의 광학 설계를 하는 예를 나타낸다.
[개안의 광학 설계례]
도 19 내지 도 21은, 본 기술의 제4의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 도면이다. 도 19 내지 도 21에서는, 개안 렌즈, 색 필터 및 이미지 센서의 관계를 간략화하여 도시한다. 또한, 도 19 내지 도 21에서는, 이미지 센서를 구성하는 화소를, 점선의 사각형으로 도시한다.
도 19에는, 개안 렌즈에 축상 색수차가 있지만, 이 보정을 하고 있지 않는 경우의 개안 렌즈(294 내지 296) 및 이미지 센서의 관계를 도시한다.
도 19에 도시하는 바와 같이, 개안 렌즈(294 내지 296)의 축상 색수차에 의해, 색(즉, 광의 파장)에 응하여 초점 거리가 변한다. 이 때문에, 도 19에 도시하는 복안 촬상 장치에서는, 모든 색에 관해 동시에 합초를 할 수가 없다. 그래서, 모든 색에 관해 동시에 합초를 할 수 있는 개안의 광학 설계례를, 도 20 및 도 21에 도시한다.
도 20에는, 개안 렌즈(294 내지 296) 및 이미지 센서 사이에, 광로 길이를 변경한 재료(301, 302)를 설치한 예를 도시한다.
예를 들면, 개안 렌즈(294 내지 296) 및 이미지 센서 사이에, 광로 길이를 변경한 재료(301, 302)를 색마다 두께를 바꾸어 삽입한다. 이에 의해, 개안 렌즈(294 내지 296)의 축상 색수차에 관해 개안 렌즈 단체에 관해서는 그다지 보정을 행하지 않고서, 복안 촬상 장치 전체로서 축상 색수차를 개선시킬 수 있다. 예를 들면, 녹색 필터(292)의 개안에 설치하는 재료(301)의 두께보다도, 청색 필터(293)의 개안에 설치하는 재료(302)의 두께를 크게 한다.
도 21에는, 개안 렌즈(294 내지 296) 및 이미지 센서 사이의 거리를 변경하는 예를 도시한다.
예를 들면, 개안 렌즈(294 내지 296) 및 이미지 센서 사이의 거리를 색마다 변경한다. 예를 들면, 적색 필터(291)의 개안에서의 개안 렌즈(294) 및 이미지 센서 사이의 거리보다도, 녹색 필터(292)의 개안에서의 개안 렌즈(295) 및 이미지 센서 사이의 거리를 단축한다. 또한, 예를 들면, 녹색 필터(292)의 개안에서의 개안 렌즈(295) 및 이미지 센서 사이의 거리보다도, 청색 필터(293)의 개안에서의 개안 렌즈(296) 및 이미지 센서 사이의 거리를 단축한다.
이에 의해, 개안 렌즈의 축상 색수차에 관해, 개안 렌즈 단체에 관해서는 그다지 보정을 행하지 않고서, 복안 촬상 장치 전체로서 축상 색수차를 개선시킬 수 있다.
여기서, 통상의 단안 촬상 장치의 개안 렌즈는, 배율 색수차, 및, 축상 색수차를 가능한 한 적어지도록 만들어져 있다. 이 때문에, 개안 렌즈의 재료로서, 예를 들면, 크라운 글라스와 플린트 글라스의 2개의 개안 렌즈끼리를 맞붙여서 하나의 개안 렌즈와 같이 구성할 필요가 있고, 개안 렌즈의 매수를 늘리는 것이 필요해진다. 이 때문에, 개안 렌즈의 비용이 높아짐과 함께, 개안 렌즈 전체가 두꺼워져 버린다.
이에 대해, 본 기술의 제3의 실시의 형태에서의 복안 촬상 장치에서는, 개안 렌즈의 배율 색수차나 축상 색수차에 관해서는, 개안 렌즈에 있어서 과도(過度) 보정을 한 일 없이, 배율 색수차를 신호 처리에서 보정할 수 있다. 또한, 본 기술의 제4의 실시의 형태에서의 복안 촬상 장치에서는, 축상 색수차에 응한 개안의 광학 설계를 할 수 있다. 이들에 의해, 개안 렌즈 그 자체를 저비용으로 할 수 있고, 개안 렌즈의 두께를 얇게 할 수 있다.
<5. 제5의 실시의 형태>
본 기술의 제5의 실시의 형태에서는, 하나의 개안을 복수의 서브 개안으로 구성하는 예를 나타낸다.
[하나의 개안을 복수의 서브 개안으로 하는 복안 촬상부의 구성례]
도 22 내지 도 24는, 본 기술의 제5의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면이다. 또한, 도 22 내지 도 24에서는, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
도 22에는, 하나의 개안을 4개의 서브 개안으로 구성하는 예를 도시한다. 또한, 도 22 내지 도 24에서는, 색 필터의 종류를 개안 렌즈의 형태로 나타낸다. 구체적으로는, 녹색 필터의 개안에 배치되는 개안 렌즈를 희게 칠한 동그라미로 도시하고, 적색 필터의 개안에 배치되는 개안 렌즈를 검게 칠한 동그라미로 도시하고, 청색 필터의 개안에 배치되는 개안 렌즈를, 내부에 사선을 그은 동그라미로 도시한다.
도 22에 도시하는 바와 같이, 각 개안이, 4개의 서브 개안으로 구성되어 있다. 또한, 색 필터의 배치에 관해서는, 도 10 등에 도시하는 예와 마찬가지이다. 또한, 서브 개안은, 예를 들면, 하나의 개안 렌즈 및 이미지 센서로 구성되어 있는 단위인 것으로 한다.
도 23에는, 하나의 개안을 9개의 서브 개안으로 구성하는 예를 도시한다. 또한, 색 필터의 배치에 관해서는, 도 22에 도시하는 예와 마찬가지이다. 또한, 하나의 개안을 9개의 서브 개안으로 구성한 점 이외에 대해서도, 도 22에 도시하는 예와 개략 같다.
도 24에는, 하나의 개안을 9개의 서브 개안으로 구성하고, 또한, 각 개안 내의 색 필터를 변경하는 예를 도시한다. 이와 같이, 하나의 개안 내의 서브 개안의 색 필터를 변경할 수 있다. 이 경우에, 개안 내에서의 색 필터의 배치에 관해서는, 도 22에 도시하는 복안 촬상부(110)의 전체의 배치와 마찬가지로 할 수 있다.
또한, 하나의 개안을 4, 또는, 이 이외의 수(예를 들면, 16)의 서브 개안으로 구성하는 경우에 관해서도, 각 개안 내의 색 필터를 변경하도록 하여도 좋다.
[개안을 서브 개안으로 구성하는 경우의 화상 처리례]
여기서, 상술한 바와 같이, 개안을 서브 개안으로 구성하는 경우의 화상 처리 방법의 한 예에 관해 설명한다.
상술한 바와 같이, 개안을 1개의 개안 렌즈가 아니라, 복수의 개안 렌즈를 사용하여(즉, 서브 개안을 사용하여) 구성하는 것이 가능하다. 특히, 개안 전체로 실현하려고 하고 있는 화각보다도, 서브 개안의 화각을 작게 함에 의해, 서브 개안의 광학계의 설계, 제조의 부담을 경감할 수 있다.
도 25는, 본 기술의 제5의 실시의 형태에서의 복안 촬상 장치에 의한 화상 처리례를 모식적으로 도시하는 도면이다. 구체적으로는, Fraunhofer에 의한 화상 처리의 한 예를 도시한다. 즉, 개안의 화각을 좁게 하고, 개안마다 촬상 영역을 시프트시켜서 촬상하고, 이들의 각 개안으로부터 얻어지는 로데이터(Raw data) 화상을 서로 연결하고 출력 화상을 얻는 화상 처리례를 나타낸다.
Fraunhofer에 의한 Stitching 처리는, 서브 개안이라는 개념이 아니라, 모든 개안의 촬상 영역을 조금씩 바꿔 가는 처리이다.
도 25에 도시하는 복안 촬상부는, 개구부(181)와, 마이크로 렌즈 어레이(182)와, 차광부(183)와, 이미지 센서(184)와, 촬상 영역(185)을 구비한다. 그리고, 피사체(180)로부터의 광이 촬상 영역(185)에 입사된다. 이와 같이, 촬상 영역(185)에 입사된 광이 광전 변환되고 화상 신호(화상 데이터)(186)가 생성된다. 이들의 화상 신호(화상 데이터)(186)를 서로 연결하고 출력 화상(187)을 얻을 수 있다.
이에 대해, 상술한 바와 같이, 서브 개안을 설치하는 경우에는, 서브 개안으로 이루어지는 개안을 하나의 단위로 하여, 그 개안의 광학계를 다른 개안에도 적용할 수 있다. 즉, 동일(또는, 거의 마찬가지)의 촬상 영역을 갖는 서브 개안이, 하나의 복안 촬상 장치의 중에, 복수 존재하는 것을 의미한다. 이 서브 개안 구조는, 개안 단위로 광학계의 반복이 가능해지기 때문에, 복안 촬상 장치의 광학계 설계와 제조가 용이해진다.
또한, 상술한 바와 같이, 서브 개안으로 구성하는 경우에 있어서의 화상 처리 방법은, 기본적으로는, Fraunhofer에 의한 화상 처리와 마찬가지로 할 수 있다. 즉, 도 25에 도시하는 바와 같이, 이웃하는 서브 개안의 동일 출력이 되는 화소에 대해, 각각의 서브 개안의 출력을 연결하여 가도록 화상 처리가 행하여진다. 이와 같이 화상 처리를 시행함에 의해, 복안 촬상 장치로부터의 신호 처리 후의 출력 화상을, 피사체와 마찬가지로 촬상 영역이 넓은 하나의 화상으로 할 수 있다.
이 때문에, 예를 들면, 화각을 넓게 차지하는 경우에도, 개안의 광학계의 구조 설계나 제조의 부담을 경감할 수 있고, 비용을 저감시킬 수 있다.
<6. 제6의 실시의 형태>
본 기술의 제6의 실시의 형태에서는, 복수의 개안 렌즈 중의 적어도 하나의 광학 특성이나 구조를 다르게 구성하는 예를 도시한다.
[복수의 개안 렌즈 중의 적어도 하나의 광학 특성이나 구조가 다른 구성례]
도 26 내지 도 29는, 본 기술의 제6의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면이다.
도 26에는, 복안 촬상부(110)의 이미지 센서(300)의 주변부에 배치되어 있는 개안의 광학 특성과 중앙부 개안의 광학 특성을 다른 구성으로 한 예를 도시한다.
구체적으로는, 중앙부 개안에 관해서는, 개안 렌즈(302)의 주광선(主光線)의 입사각을 0도(또는, 약 0도)로 하는 최적 설계를 행한다. 한편, 이미지 센서(300)의 주변부에 배치되어 있는 개안에 관해서는, 개안 렌즈(301, 303)의 주광선의 입사각이 0도 이외(또는, 제1 개안 광학계의 입사각과는 다른 각도)로 하는 최적 설계를 행한다.
이와 같이, 도 26에서는, 다른 최적 설계를 행한 개안 광학계가 혼재하고 있는 멀티 렌즈 어레이(MLA)를 갖는 복안 촬상부(110)의 예를 도시한다.
도 27에는, 복안 촬상부(110)의 이미지 센서(300)의 주변부에 배치되어 있는 개안의 광학 특성과 중앙부 개안의 광학 특성을 다른 구성으로 한 예를 도시한다.
구체적으로는, 도 26과 마찬가지로, 중앙부 개안에 관해서는, 개안 렌즈(302)의 주광선의 입사각을 0도로 하는 최적 설계를 행한다. 한편, 이미지 센서(300)의 주변부에 배치되어 있는 개안에 관해서는, 개안 렌즈(301, 303)의 주광선의 입사각이 0도 의외로 하는 최적 설계를 행한다. 또한, 도 27에서는, 개안마다의 색 특성에 멀티 렌즈 어레이의 광학 특성을 최적화한다.
이와 같이, 도 27에서는, 다른 최적 설계를 행한 개안 광학계가 혼재하고 있는 멀티 렌즈 어레이(MLA)를 갖는 복안 촬상부(110)의 예를 도시한다.
또한, 도 27에서는, 각 색의 색 필터(304 내지 306)가, 이미지 센서(300)에 온 칩 되어 있는 경우, 또는, 이미지 센서(300)에 근접하여 있는 경우의 예를 도시한다.
도 28 및 도 29에는, 복안 촬상부(110)의 이미지 센서(300)의 주변부에 배치되어 있는 개안의 광학 특성과 중앙부 개안의 광학 특성을 다른 구성으로 하는 예를 도시한다. 또한, 도 28에는, 단면도를 도시하고, 도 29에는, 상면도를 도시한다.
구체적으로는, 도 26과 마찬가지로, 개안의 중앙의 서브 개안에 관해서는, 개안 렌즈(312, 315, 318)의 주광선의 입사각을 0도로 하는 최적 설계를 행한다. 한편, 개안의 주변부에 배치되어 있는 서브 개안에 관해서는, 개안 렌즈(311, 313, 314, 316, 317, 319)의 주광선의 입사각이 0도 의외로 하는 최적 설계를 행한다. 이와 같이, 도 28 및 도 29에서는, 서브 개안의 광학 특성 및 개안 렌즈 위치를, 통상의 개안의 광학 특성과 다른 구성으로 한다.
이와 같이, 도 28 및 도 29에서는, 다른 최적 설계를 행하는 개안 광학계가 혼재하고 있는 멀티 렌즈 어레이(MLA)를 갖는 복안 촬상부(110)의 예를 도시한다.
또한, 도 28 및 도 29에서는, 각 색의 색 필터가, 개안 렌즈나 조리개에 근접하여 있는 경우의 예를 도시한다.
여기서, 개안 렌즈의 광학 특성을 결상 영역 전체에 걸쳐서 같게 하는 경우를 상정한다. 이 경우에는, 개안 렌즈의 비용이 증가하고, 개안 렌즈가 두껍고 대형이 된다.
그래서, 본 기술의 제6의 실시의 형태에서는, 주광선의 입사각을 0도로 하는 최적 설계를 행하는 개안 광학계와, 주광선의 입사각을 0도 의외로 하는 최적 설계(특히, 화각의 주변부와 같은 영역에서의 최적 설계)를 행하는 개안 광학계를 혼재시킨다. 이에 의해, 개안의 개안 렌즈의 제작이 용이해지고, 개안 렌즈의 저비용화, 및, 개안 렌즈의 박형화가 가능해진다.
또한, 화각의 주변부와 같은 영역에서의 최적 설계를 행한 개안 광학계에 의해, 화각의 주변부의 색 재현성 및 해상도 특성을 향상시킬 수 있다. 또한, 주변 해상도를 향상시킬 수 있다.
<7. 제7의 실시의 형태>
본 기술의 제7의 실시의 형태에서는, 개안마다 동(瞳) 보정을 행하는 예를 도시한다.
[개안마다 동(瞳) 보정을 행하는 예]
도 30은, 본 기술의 제7의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면이다. 도 30에는, 개안마다 동 보정을 행하는 복안 촬상부(110)의 단면도를 도시한다.
예를 들면, 각 개안의 이미지 센서(320)를 구성하는 화소상에, 동 보정을 행하기 위한 온 칩 렌즈(324 내지 326)를 배치한다.
이와 같이, 각 개안의 이미지 센서(320)를 구성하는 화소상에 온 칩 렌즈(324 내지 326)를 배치함에 의해, 개안마다, 이른바, 동 보정을 행할 수가 있다. 이 때문에, 개안에서의 셰이딩 특성을 개선할 수 있고, 전체 화상의 셰이딩 특성을 개선할 수 있다. 또한, 전체 화상의 주변부의 S/N(Signal to Noise ratio)을 양호하게 할 수 있다.
<8. 제8의 실시의 형태>
본 기술의 제8의 실시의 형태에서는, 스페이스에 여유가 있는 주변의 광학계의 F값을 작게 함에 의해 셰이딩 특성을 향상시키는 예를 도시한다.
[스페이스에 여유가 있는 주변의 광학계의 F값을 작게 하는 예]
도 31 내지 도 33은, 본 기술의 제8의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면이다. 도 31에는, 복안 촬상부(110)의 상면도를 도시하고, 도 32 및 도 33에는, 복안 촬상부(110)의 단면도를 도시한다.
도 31 내지 도 33에서는, 개안의 이미지 센서(330) 및 개안 렌즈(331 내지 339)가 3×3에 배치된 경우의 예를 도시한다. 복안 촬상부(110)의 주변에는, 스페이스에 여유가 있다. 이 때문에, 복안 촬상부(110)의 주변의 광학계의 F값을 작게 하기 위해, 개안 렌즈(331 내지 339)의 형상을, 도 31 내지 도 33에 도시하는 형상(복안 촬상부(110)의 사각형에서 비어져 나오는 형상)으로 한다. 이에 의해, 셰이딩 특성을 향상시킬 수 있다.
도 32에는, 복안 촬상부(110)의 주변부에 배치되어 있는 개안의 광축의 개안 촬상 영역에서의 위치 관계와, 중앙부의 개안의 광축의 개안 촬상 영역에서의 위치 관계를 거의 같은 관계로 하는 예를 도시한다.
도 33에는, 복안 촬상 장치의 주변부에 배치되어 있는 개안의 광축의 개안 촬상 영역에서의 위치 관계와, 중앙부의 개안의 광축의 개안 촬상 영역에서의 위치 관계를 크게 다른 관계로 하는 예를 도시한다.
이와 같이, 멀티 렌즈 어레이(MLA)에 포함되어 있는 개안 광학계의 특성을 동일 특성으로 설계, 제조하지 않고, 스페이스에 여유가 있는 주변의 개안 광학계의 F값을 작게 한다. 이에 의해, 1개의 개안 광학계에 생기는 셰이딩 특성을 개선할 수 있다.
<9. 제9의 실시의 형태>
본 기술의 제9의 실시의 형태에서는, WLCM(Wafer Level Camera Module) 및 적층형 복안 촬상 장치에서 개안의 수를 증가시킴에 의해 감도를 높이는 예를 나타낸다.
[개안의 수를 증가시키는 경우의 구성례]
도 34는, 본 기술의 제9의 실시의 형태에서의 복안 촬상 장치의 구성례를 도시하는 도면이다. 도 34에는, 개안의 수를 81(9×9)로 하는 경우의 예를 도시한다.
여기서, 예를 들면, 대학의 연구 레벨에서, 단체(單體) 카메라를 복수대 어레이형상으로 배치하고, 복수의 단안 카메라 전체의 기능이나 화질을 향상시키는 시도가 있다. 또한, 복수의 카메라 모듈을 어레이형상으로 배치하고, 복수의 카메라 모듈 전체의 기능이나 화질을 향상시키는 시도가 있다.
이들의 수법은, 복수의 단안 카메라, 또는, 복수의 카메라 모듈의 상대 위치 정밀도를 이미지 센서의 화소 사이즈 정도까지 높이는 것은 곤란한 것이 상정된다.
그 때문에, 공간 화소 어긋냄에 의한 해상도 향상, 화소 단위에서의 동기(同期) 가산에 의한 신호대 잡음비(S/N)의 향상을 실현하는 것은 곤란한 것이 상정된다.
이에 대해, WLCM은, 반도체 제조의 얼라인먼트 정밀도로의 개안 위치 정밀도를 실현할 수 있기 때문에, 화소 사이즈 정도의 상대 위치 정밀도를 얻을 수 있다. 이 때문에, 공간 화소 어긋냄에 의한 해상도 향상, 화소 단위에서의 동기 가산에 의한 신호대 잡음비(S/N)의 향상을 실현하는 것이 가능해진다.
<10. 제10의 실시의 형태>
본 기술의 제10의 실시의 형태에서는, WLCM에서 감도가 다른 개안을 배치하여 감도 및 다이내믹 레인지(Dynamic Range)를 높이는 예를 나타낸다.
[WLCM에서 감도가 다른 개안을 배치하는 경우의 구성례]
도 35 내지 도 39는, 본 기술의 제10의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면이다.
도 35 내지 도 38에서는, 복수(9×9)의 개안에 의해 구성된 이미지 센서의 예를 도시한다. 또한, 도 39에서는, 복수(3×3)의 개안에 의해 구성되는 이미지 센서의 예를 도시한다.
도 35에는, 고감도 개안 및 저감도 개안이 교대로 1열로 배치되어 있는 경우의 예를 도시한다. 도 36에는, 고감도 개안 및 저감도 개안이 교대로 1열로 배치되어 있는 이미지 센서에서 색 필터를 배치하는 경우의 예를 도시한다.
또한, 도 36 내지 도 39에서는, 개안의 감도를 동그라미의 크기로 나타낸다. 구체적으로는, 고감도 개안을 큰 동그라미로 나타내고, 저감도 개안을 작은 동그라미로 나타낸다. 또한, 도 36, 도 38에서는, 색 필터의 종류를 화소의 형태로 나타낸다. 구체적으로는, 녹색 필터의 개안에 대응하는 사각형을 희게 칠하여 나타내고, 적색 필터의 개안에 대응하는 사각형을 검게 칠하여 나타내고, 청색 필터의 개안에 대응하는 사각형을, 내부에 사선을 그어서 나타낸다.
도 37에는, 고감도 개안 및 저감도 개안이 체크무늬형상으로 배치되어 있는 경우의 예를 도시한다. 도 38에는, 고감도 개안 및 저감도 개안이 체크무늬형상으로 배치되어 있는 이미지 센서에서의 색 필터를 배치하는 경우의 예를 도시한다.
도 39에는, 도 35 내지 도 38에 도시하는 배치 이외의 배치례를 도시한다. 또한, 도 39에서는, 색 필터의 종류를 개안 렌즈의 형태로 도시한다. 구체적으로는, 녹색 필터의 개안에 배치되는 개안 렌즈를 희게 칠한 동그라미로 도시하고, 적색 필터의 개안에 배치되는 개안 렌즈를 검게 칠한 동그라미로 도시하고, 청색 필터의 개안에 배치되는 개안 렌즈를, 내부에 사선을 그은 동그라미로 도시한다.
예를 들면, 종래의 웨이퍼 레벨 카메라 모듈은, 하나의 카메라 모듈의 감도 특성으로 촬상 장치로서의 감도가 정하여 있다. 이에 대해, 본 기술의 제10의 실시의 형태에서는, WLCM에서 감도가 다른 개안을 배치함에 의해, 감도 및 다이내믹 레인지를 높일 수 있다.
또한, 종래의 복안 촬상 장치는, 복수의 개안 출력 신호를 가산 또는 신호 처리함에 의해 개안의 감도보다도 최종 출력 신호의 감도를 높일 수 있다고 상정된다. 그렇지만, 이미지 센서(촬상 소자)와 MLA 등의 조립 공정이 반도체 프로세스와는 다른 행정에서 행하여지기 때문에, 복안 촬상 장치 전체를 소형으로 하는 것(특히, 두께를 얇게 하는 것)이 곤란한 것이 상정된다.
또한, 종래의 복안 촬상 장치는, 개안의 조리개의 크기를 복수 준비함에 의해 개안의 감도 특성을 복수 설정하고, 이들 감도가 다른 복수의 개안의 출력 신호를 신호 처리함에 의해, 최종 출력 신호의 다이내믹 레인지를 넓게 할 수 있는 것이 제안되어 있다. 그렇지만, 이미지 센서(촬상 소자)와 MLA 등의 조립 공정이 반도체 프로세스와는 다른 행정에서 행하여지기 때문에, 복안 촬상 장치 전체를 소형으로 한 것(특히, 두께를 얇게 하는 것)이 곤란한 것이 상정된다.
그래서, 본 기술의 제10의 실시의 형태에서는, WLCM에서 감도가 다른 개안을 배치함에 의해, 복안 촬상 장치 전체를 소형으로 할 수 있고, 감도 및 다이내믹 레인지를 높일 수 있다.
<11. 제11의 실시의 형태>
본 기술의 제11의 실시의 형태에서는, 복안 촬상부로부터 복수의 판독 방법에 의해 판독을 행하는 예를 나타낸다.
[라이브 뷰 및 고화질 모드의 복수의 판독을 행하는 경우의 구성례]
도 40은, 본 기술의 제11의 실시의 형태에서의 복안 촬상부(110)의 구성례를 도시하는 도면이다. 도 40에서는, 복수(3×3)의 개안에 의해 구성된 이미지 센서의 예를 도시한다.
예를 들면, 라이브 뷰의 표시시에는, 제어부(130)(도 9에 도시한다)는, 도 40에 도시하는 9개의 개안 중, (2, 1), (2, 2), (3, 2)의 3개의 개안으로부터의 화상 데이터만을 판독하여 출력시킨다.
여기서, (x, y)는, 복안 촬상부(110)를 구성하는 개안의 위치를 나타내는 정보이고, x는, 행 번호를 나타내고, y는, 열 번호를 나타낸다.
또한, 고화질 모드가 설정되어 있는 경우에는, 제어부(130)는, 도 40에 도시하는9개의 개안 중의 모든 개안으로부터 화상 데이터를 판독하여 출력시킨다.
이와 같이, 제어부(130)는, 촬상 모드에 응하여, 복안 촬상부(110)를 구성하는 이미지 센서로부터의 판독 방법을 변경하는 제어를 행한다.
여기서, 복안 촬상 장치를 사용하여 동화 촬영을 행하는 경우에는, 동화를 찍으면서, 찍은 화상을 모니터에서 재생하고, 촬영되어 있는 화상을 확인할 필요가 생긴다.
모든 개안을 신호 처리하여, 고화질의 화상을 출력하려고 하면, 신호 처리에 의한 레이턴시가 생기고, 움직이고 있는 피사체를 촬영하는 경우나, 카메라를 움직여서 촬영하는 경우에, 피사체의 움직임과, 모니터에 나타나는 화상과의 시간적인 어긋남이 생기기 때문에, 촬영에 지장이 나온다.
이와 같은 사태를 회피하기 위해, 복안 촬상 장치에, 라이브 뷰 모드와 고화질 모드와의 복수의 판독 수법을 취입한다. 이 수법은, 개안마다의 출력 신호를 선택 가능하게, 이미지 센서와 시스템을 미리 설계하여 둠에 의해 가능해진다.
모니터(예를 들면, 도 9에 도시하는 표시부(140))에 출력하는 화상은, 가능한 한 적은 수의 개안의 화상을 사용하여 신호 처리의 부하를 줄이고, 레이턴시를 최소한으로 한다. 또한, 고화질로 기록이 필요한 경우에는, 병행하여, 고화질 모드의 기록을 행하여 둔다. 단, 고화질로의 기록이 필요하지 않은 경우에는, 필요 최소한의 개안의 화상을 기록한다.
이와 같이, 복수의 개안 중에서, 그 때의 상황에 응한 판독, 기록을 행함에 의해, 레이턴시를 최소화하고, 소비 전력을 저감할 수 있다. 즉, 리얼타임성의 향상(레이턴시의 개선)을 행할 수가 있다.
또한, 종래의 복안 촬상 장치는, 최종 출력 신호를 얻을 때까지 시간이 걸리기 때문에, 동화상을 얻으려고 하면, 전자 뷰 파인더에 출력되는 화상에 지연이 생긴다. 이 때문에, 움직이고 있는 피사체를 촬상하는 것이 극히 곤란하다. 그래서, 본 기술의 제11의 실시의 형태에서는, 복수의 개안 중에서, 그 때의 상황에 응한 판독, 기록을 행함에 의해, 레이턴시를 최소화하고, 움직이고 있는 피사체를 적절하게 촬상할 수 있다.
여기서, 예를 들면, 복안 촬상 장치가 표시부를 구비하지 않는 경우도 상정된다. 이 경우에는, 다른 정보 처리 장치(예를 들면, 휴대형의 정보 처리 장치(예를 들면, 스마트 폰, 태블릿 단말, 휴대 전화)의 디스플레이를 사용하여, 촬영하고 있는 화상을 확인하는 것이 생각된다.
예를 들면, 다른 장치와의 사이에서 무선 통신을 행하기 위한 무선 통신부(예를 들면, 도 9에 도시하는 무선 통신부(170))를 복안 촬상 장치에 마련한다. 그리고, 복안 촬상 장치로 촬영을 하면서, 필요 최소한의 정보(화상 데이터)를 무선 통신부에 의해 다른 장치에 송신하고, 다른 장치의 표시부에, 촬영하고 있는 화상을 표시시킨다. 이에 의해, 복안 촬상 장치에 모니터가 없는 경우나, 모니터가 있어도 복안 촬상 장치가 바로 옆에 없는 경우에도, 다른 장치의 표시부를 사용하여, 촬영하고 있는 화상을 확인할 수 있다.
이와 같이, 필요 최소한의 정보(화상 데이터)를 무선 통신부에 의해 다른 장치에 송신하는 경우에는, 상술한 라이브 뷰의 표시시에서의 판독 방법에 의해, 판독된 화상을 송신하는 송신 방법이 유효하다.
<12. 제12의 실시의 형태>
본 기술의 제12의 실시의 형태에서는, 개안의 구동이나 ADC(Analog to Digital Converter)를 오프 하여 소비 전력을 저감시키는 예를 나타낸다. 또한, 본 기술의 제12의 실시의 형태에서는, 도 40을 참조하여 설명한다.
예를 들면, 라이브 뷰의 표시시에는, 제어부(130)(도 9에 도시한다)는, 도 40에 도시하는 9개의 개안 중, (2, 1), (2, 2), (3, 2)의 3개의 개안만을 구동시킨다. 이 경우에, 다른 개안에 관해서는, 오프나, 다른 개안 내의 ADC를 오프 시키는 등의 스탠바이 모드로 한다.
이와 같이, 제어부(130)는, 복수의 개안 중에서 사용되지 않는 개안의 구동의 정지와, 그 개안에 설치되는 ADC의 오프 중의 적어도 하나를 행하도록 제어할 수 있다.
여기서, 종래의 복안 촬상 장치는, 개안을 구동하고, 최종 출력 신호를 얻기 때문에, 소비 전력이 커지고, 휴대 기기로서의 배터리의 지속 시간이 짧아져 버릴 우려가 있다. 그래서, 본 기술의 제12의 실시의 형태에서는, 사용하지 않는 개안의 구동이나 개안 내의 ADC를 오프 하여 저소비 전력화를 실현할 수 있다.
<13. 제13의 실시의 형태>
본 기술의 제13의 실시의 형태에서는, 글로벌 셔터 방식의 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 사용하는 예를 나타낸다.
도 41은, 본 기술의 제13의 실시의 형태에서의 복안 촬상부(110)에 사용되는 글로벌 셔터 방식의 CMOS 이미지 센서(400)의 구성례를 도시하는 도면이다.
예를 들면, 동일 칩상에 형성된 롤링 셔터 방식의 이미지 센서를 사용하는 경우를 상정한다. 이 경우에는, 복수의 개안의 촬상 신호의 축적 시작부터 축적 종료까지의 시간이 다르다. 이 때문에, 움직이고 있는 피사체를 촬영하는 경우에는, 각 개안의 출력 신호에 화상 어긋남이 생기고, 최종 출력 신호를 얻는 것이 곤란해지는 것이 상정된다. 마찬가지로, 복안 촬상 장치의 흔들림 등이 생긴 경우에 관해서도, 각 개안의 출력 신호에 화상 어긋남이 생기고, 최종 출력 신호를 얻는 것이 곤란해지는 것이 상정된다.
그래서, 본 기술의 제13의 실시의 형태에서는, 글로벌 셔터 방식의 CMOS 이미지 센서(400)를 사용한다. 이에 의해, 움직이고 있는 피사체를 촬영하는 경우나, 복안 촬상 장치의 흔들림 등이 생긴 경우에도, 각 개안의 출력 신호의 화상 어긋남을 방지하고, 적절한 최종 출력 신호를 얻을 수 있다. 즉, 동(動) 피사체의 아티팩트 개선(또는, 제거)을 할 수 있다.
<14. 제14의 실시의 형태>
본 기술의 제14의 실시의 형태에서는, 이면 조사형 CMOS 이미지 센서를 사용하는 예를 나타낸다.
도 42는, 본 기술의 제14의 실시의 형태에서의 복안 촬상부(110)에 사용되는 이면 조사형 CMOS 이미지 센서의 구성례를 도시하는 도면이다. 또한, 도 42에는, 비교례로서 표면 조사형 CMOS 이미지 센서의 구성례를 도시한다. 즉, 도 42의 a에는, 이면 조사형 CMOS 이미지 센서를 도시하고, 도 42의 b에는, 표면 조사형 CMOS 이미지 센서를 도시한다.
도 42의 a에 도시하는 이면 조사형 CMOS 이미지 센서는, 온 칩 렌즈(411)와, 컬러 필터(412)와, 수광면(413)과, 기판(414)과, 포토 다이오드(415)를 구비한다. 또한, 도 42의 b에 도시하는 표면 조사형 CMOS 이미지 센서는, 온 칩 렌즈(421)와, 컬러 필터(422)와, 배선(423)과, 수광면(424)과, 기판(425)과, 포토 다이오드(426)를 구비한다. 또한, 도 42의 a 및 b에서, 화살표는, 입사광을 나타낸다.
도 42의 b에 도시하는 바와 같이, 표면 조사형 촬상 소자를 사용한 복안 촬상 장치는, 배선(423)의 층이 화소의 상부에 있기 때문에, 화소에 입사한 광의 일부가 차단되어, 감도가 저하될 우려가 있다. 또한, 초점면의 주변부의 화상은, 화소에의 입사각이 커져서, 중앙부와 비교하면 차광되는 광의 비율이 증가하고, 화상으로서 셰이딩이 악화할 우려가 있다. 즉, 경사의 입사광이 되는 영역에서는, 중앙부와 비교하면 차광된 광의 비율이 증가하고, 화상으로서 셰이딩이 악화할 우려가 있다.
또한, 표면 조사형 촬상 소자를 사용한 복안 촬상 장치는, 각 개안의 출력을 동시각(同時刻)으로 하는(또는, 시간차를 적게 하는) 것이 곤란하다.
그래서, 도 42의 a에 도시하는 이면 조사형 CMOS 이미지 센서를 사용함에 의해, 감도를 높일 수 있다. 또한, 셰이딩을 높일 수 있다. 또한, 각 개안의 출력을 동시각으로(또는, 시간차를 적게) 할 수 있다.
<15. 제15의 실시의 형태>
본 기술의 제15의 실시의 형태에서는, 적층형 이미지 센서를 사용하는 예를 나타낸다. 또한, 본 기술의 제15의 실시의 형태에서는, 적층형 이미지 센서를 사용하여 개안의 병렬 출력을 행하는 예를 나타낸다.
도 43은, 본 기술의 제15의 실시의 형태에서의 복안 촬상부(110)에 사용되는 적층형 이미지 센서의 구성례를 도시하는 도면이다. 또한, 도 43의 a에는, 적층형 이미지 센서(이면 조사형 CMOS 이미지 센서)의 사시도를 도시하고, 도 43의 b에는, 적층형 이미지 센서(이면 조사형 CMOS 이미지 센서)의 측면도를 도시한다.
도 43에 도시하는 적층형 이미지 센서(이면 조사형 CMOS 이미지 센서)는, 화소와 회로가 적층화되어 있는 이미지 센서이다.
여기서, 단층의 이미지 센서(촬상 소자)의 칩으로 구성되어 있는 복안 촬상 장치를 상정한다. 이 복안 촬상 장치에서는, 각 개안의 출력을 동시각으로 하는(또는, 시간차를 적게 하는) 것이 곤란한 것이 상정된다.
또한, 각 개안의 출력을 동시각에 하려고 하면(또는, 시간차를 적게 하려고 하면), 각 개안마다 출력 회로가 필요해지고, 촬상 영역이 아닌 회로 영역이 각 개안의 사이에 필요하게 되어, 이미지 센서(촬상 소자)의 칩 사이즈가 커진다.
또한, 이미지 센서(촬상 소자)의 칩에 마련된 회로 영역은, 선단의 미세 트랜지스터를 사용하는 것이 곤란해지기 때문에, 회로 영역의 면적이 커지고, 이미지 센서(촬상 소자)의 칩 사이즈가 더욱 커진다.
그래서, 도 43에 도시하는 이면 조사형 CMOS 이미지 센서를 사용함에 의해, 각 개안의 출력을 동시각으로(또는, 시간차를 적게) 할 수 있다. 또한, 이미지 센서(촬상 소자)의 칩 사이즈를 작게 할 수 있다.
<16. 제16의 실시의 형태>
본 기술의 제16의 실시의 형태에서는, 거리 센서를 개안에 배치하는 예를 나타낸다.
도 44는, 본 기술의 제16의 실시의 형태에서의 거리 센서를 구비하는 이미지 센서의 한 예를 도시하는 단면도이다.
도 44에 도시하는 이미지 센서는, 렌티큘러 렌즈(lenticular lens(beam splitter))(431)와, DML(focus enhancer)(432)과, 메탈(433)과, 포토 다이오드(434)를 구비한다. 또한, 포토 다이오드(434)는, 우동(右瞳)(436, 438), 좌동(左瞳)(435, 437)에 의해 구성된다. 또한, 한 쌍의 우동 및 좌동(예를 들면, 우동(436) 및 좌동(437))에 의해 페어가 구성된다.
그리고, 좌동 영역에서의 광(439)과 우동 영역에서의 광(440)을, 페어가 되는 우동(436) 및 좌동(437)이 수광하여 광전 변환이 행하여진다. 제어부(130)(도 9에 도시한다)는, 그 결과에 의거하여, 피사체까지의 거리를 산출한다.
이에 의해, 예를 들면, 시차를 이용한 거리 산출을 행하는 경우에, 정밀도가 높은 거리 정보를 취득할 수 있다.
<17. 제17의 실시의 형태>
본 기술의 제17의 실시의 형태에서는, 편광 각도가 다른 개안을 마련하는 예를 나타낸다.
도 45는, 본 기술의 제17의 실시의 형태에서의 편광자 어레이(451)를 구비하는 이미지 센서의 한 예를 도시하는 분해 사시도이다. 또한, 각 개안에 대응하는 편광자 내의 화살표는, 편광 각도의 방향을 나타낸다.
도 45에 도시하는 바와 같이, 개안(452)마다 편광 각도가 다른 편광자 어레이(451)를 이미지 센서에 구비하도록 한다.
이에 의해, 피사체의 편광 정보와 화상 정보의 양방을 동시에 취득할 수 있다.
<18. 제18의 실시의 형태>
본 기술의 제18의 실시의 형태에서는, 분광 감도가 다른 개안을 마련하는 예를 나타낸다.
도 46은, 본 기술의 제18의 실시의 형태에서의 복안 촬상부(110)에 분광 감도가 다른 개안을 구비하는 경우의 예를 도시한다. 도 46의 a에는, 복안 촬상부(110)의 상면도를 도시하고, 도 46의 b에는, 파장 특성을 도시한다.
예를 들면, 도 46의 a에 도시하는 개안 중, 경사 방향의 개안의 라인(461 내지 477)을 동일한 분광 감도로 할 수 있다. 또한, 예를 들면, 경사 방향의 개안의 라인(461)과, 경사 방향의 개안의 라인(470)은, 동일한 분광 감도로 할 수 있다. 마찬가지로, 경사 방향의 개안의 라인(462 내지 468)의 각각과, 경사 방향의 개안의 라인(471 내지 477)의 각각에 관해서도, 동일한 분광 감도로 할 수 있다. 또한, 도 46의 a에서는, 동일한 분광 감도의 개안에 관해서는, 동일한 표시 상태로서 나타낸다.
또한, 도 46의 b에 도시하는 파장 특성 중, 파장이 짧은 쪽부터 차례로, 경사 방향의 개안의 라인(461 내지 477)에 할당할 수 있다.
이에 의해, 피사체의 대부분의 분광 특성을 취득할 수 있고, 분광 특성과 화상 정보의 양방을 취득할 수 있다. 즉, 멀티 스펙트럼 정보와 화상 정보의 양방을 취득할 수 있다.
<19. 제19의 실시의 형태>
본 기술의 제19의 실시의 형태에서는, 가시광 이외의 감도를 갖는 센서로 이루어지는 개안을 마련하는 예를 나타낸다.
도 47은, 본 기술의 제19의 실시의 형태에서의 복안 촬상부(110)에 가시광 이외의 감도를 갖는 센서를 구비하는 경우의 예를 도시한다.
도 47의 a에는, 광의 종류를 횡축에 나타낸다. 도 47의 b에는, 가시광 이외의 감도를 갖는 센서를 구비하는 복안 촬상부(110)의 상면도를 도시한다. 또한, 도 47의 b에서는, 동일한 감도의 개안에 관해서는, 동일한 표시 양태로서 나타낸다.
도 48은, 본 기술의 제19의 실시의 형태에서의 복안 촬상부(110)를 구성하는 광전 변환 재료의 한 예를 도시하는 도면이다. 도 48에서는, 가시광 이외의 감도를 갖는 센서에 관한 광전 변환 재료의 한 예를 도시한다.
도 48에 도시하는 광전 변환 재료를 사용함에 의해, 가시광 이외의 감도를 갖는 센서를 구비하는 복안 촬상부(110)를 실현할 수 있다.
이에 의해, 피사체의 가시광 이외의 정보를 취득할 수 있고, 가시광 이외의 정보와 화상 정보의 양방을 취득할 수 있다.
또한, 본 기술의 제16 내지 제19의 실시의 형태를 조합시킴에 의해, 거리 정보, 편광 정보, 멀티 스펙트럼 정보, 가시광 외 정보 등의 복합 정보를 동시에 취득하도록 하여도 좋다.
<20. 제20의 실시의 형태>
본 기술의 제20의 실시의 형태에서는, WLCM의 시차(視差)를 이용하여 거리 정보를 산출하는 예를 나타낸다.
[거리 정보의 산출례]
도 49는, 본 기술의 제20의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 도면이다.
최초에, 복안 촬상부(110)의 가장 좌단(左端)과, 가장 우단(右端)의 개안에서의 동일 어드레스의 화소 출력 신호의 차분치(Dikl)를, 다음의 식 3을 이용하여 구한다.
Dikl=Si1kl-SiNkl … 식 3
여기서, Sijkl는, 각 개안의 출력 신호를 나타내는 값이다.
또한, i는, 개안의 행 번호를 나타내는 값이다. 또한, j는, 개안의 열 번호를 나타내는 값이다. 또한, k는, 개안에서의 화소의 행 번호를 나타내는 값이다. 또한, l는, 개안에서의 화소의 열 번호를 나타내는 값이다.
식 3에서, Si1kl는, 예를 들면, 복안 촬상 장치의 가장 좌단의 개안에서의 피사체(A)의 결상 정보(출력 신호)를 나타내는 값이다. 또한, SiNkl는, 복안 촬상 장치의 가장 우단의 개안에서의 피사체(A)의 결상 정보(출력 신호)를 나타내는 값이다.
또한, 피사체가 시차에 비교하여 충분히 원방에 있을 때에는, 차분치(Dikl)는 0이 된다. 또한, 피사체의 위치가 복안 촬상부(110)의 시차가 생길 정도로 가까운 경우에는, 차분치(Dikl)는 0 이외의 값이 된다.
그래서, 다음의 식 4와 같이, 개안의 화소 위치를 a만큼 어긋낸 화소의 정보의 차분을 취하고, 그 차분치가 최소가 되는 a를 구한다.
Dikl=Si1k(l-a)-SiNkl(l+a) … 식 4
이와 같이 하여 구하여진 a를 이용함에 의해, 다음의 식 5에 의해, 복안 촬상부(110)(이미지 센서)로부터 피사체까지의 거리(Do)를, 삼각 측량의 원리에 의거하여 구할 수 있다.
Do=L{(Ws/aWp)+1} … 식 5
여기서, Wp는, 화소 피치를 나타내는 값이다. 또한, Ws는, 개안 피치를 나타내는 값이다. 또한, L은, 복안 촬상부(110)에서의 개안 렌즈(501 내지 503) 및 촬상면(504) 사이의 거리를 나타내는 값이다.
여기서, 예를 들면, 종래는, 이미지 센서(촬상 소자)와, MLA 등과의 조립 공정이 반도체 프로세스와는 다른 행정에서 행하여지기 때문에, 시차를 이용하여 거리 정보를 산출할 때의 정밀도가 나빠진다. 또한, 정밀도를 올리려고 하면 복안 촬상 장치 전체가 커지고, 특히, 두께를 얇게 하는 것이 곤란하다. 이에 대해, 본 기술의 제20의 실시의 형태에서는, 시차를 이용하여 거리 정보의 산출 정밀도를 높일 수 있고, 복안 촬상 장치 전체의 두께를 얇게 할 수 있다.
<21. 제21의 실시의 형태>
본 기술의 제21의 실시의 형태에서는, 복수의 개안 중의 적어도 하나를 딴것과 다른 재료로 하는 예를 나타낸다.
[복안 촬상부의 구성례]
도 50은, 본 기술의 제21의 실시의 형태에서의 복안 촬상부(110)의 외관을 도시하는 상면도이다.
예를 들면, 도 50에 도시하는 복안 촬상부(110) 중, (2, 2)의 개안(도 50에서는 그레이로 나타낸다)을 InGaAs로 제작한 이미지 센서(촬상 소자)로 할 수 있다. 또한, 다른 개안(8개의 개안)에 관해서는, 실리콘을 사용한 이미지 센서(촬상 소자)로 할 수 있다.
여기서, 종래의 복안 촬상 장치는, 동일한 재료로 이루어지는 이미지 센서(촬상 소자)로 구성되어 있다. 이 때문에, 이미지 센서(촬상 소자)의 특성으로는, 취득할 수가 없는 정보를 얻을 수가 없을 우려가 있다. 예를 들면, 가시광과 원적외의 정보를 복안 촬상 장치에서 취득할 수는 없다.
그래서, 본 기술의 제21의 실시의 형태에서는, 복수의 개안 중의 적어도 하나를 딴것과 다른 재료로 함에 의해, 취득할 수 없는 정보를 저감시킬 수 있다.
<22. 제22의 실시의 형태>
본 기술의 제22의 실시의 형태에서는, 개편화한 이미지 센서(촬상 소자)의 칩을 나열하여 의사(疑似) 1칩화하여 멀티 렌즈 어레이(MLA) 등을 부가하여 복안 촬상부를 제작하는 예를 나타낸다.
[복안 촬상부의 구성례]
도 51은, 본 기술의 제22의 실시의 형태에서의 복안 촬상부(110)의 외관을 도시하는 상면도이다.
도 51에 도시하는 바와 같이, 개편화한 이미지 센서(촬상 소자)의 칩을 나열하여 의사 1칩화하고 멀티 렌즈 어레이(MLA) 등을 부가하여 복안 촬상부(110)를 제작할 수 있다.
<23. 제23의 실시의 형태>
본 기술의 제23의 실시의 형태에서는, 타이 링으로 복안 촬상부를 제작하는 예를 나타낸다. 또한, 타이 링으로 제작된 복안 촬상부의 외관 구성에 관해서는, 도 51과 마찬가지이기 때문에, 여기서의 도시를 생략한다.
예를 들면, 유리, 수지, 실리콘, 또는, 이들을 복수 종류 사용한 타이 링 기술에 의해 복안 촬상 장치를 생성할 수 있다.
여기서, 타이 링 기술은, 예를 들면, 이종(異種) 칩, 또는, 동종 복수 칩을 의사 Wafer화하는 기술이다.
<24. 제24의 실시의 형태>
본 기술의 제24의 실시의 형태에서는, 타이 링, 박육화, 재배선, 적층 접속으로 복안 촬상부를 제작하는 예를 나타낸다. 또한, 타이 링, 박육화, 재배선, 적층 접속으로 제작된 복안 촬상부의 외관 구성에 관해서는, 도 51과 마찬가지이기 때문에, 여기서의 도시를 생략한다.
여기서, 종래의 복안 촬상 장치로서, 예를 들면, 독립한 카메라나 카메라 모듈을 복수 사용한 것, 또는, 하나의 이미지 센서(촬상 소자)와 MLA를 조합시켜서 구성한 것이 존재한다.
독립한 카메라나 카메라 모듈을 복수 사용한 복안 촬상 장치는, 카메라나 카메라 모듈 사이의 특성차에 의해, 사용한 카메라의 대수에 걸맞은 복안 촬상 장치로서의 목표 특성을 얻는 것이 곤란하다.
또한, 하나의 이미지 센서(촬상 소자)와 MLA를 조합시켜서 구성한 복안 촬상 장치는, 개안 사이의 차폐 측벽이나 차폐순(遮蔽楯) 측벽 등에 의한 플레어를 억제하기 위한 개안 사이 칩 스페이스의 확보에 의해, 촬상 소자 칩의 면적이 커진다. 이 때문에, 촬상 특성을 향상하려고 하면, 비용 증가가 된다.
그래서, 본 기술의 제22 내지 제24의 실시의 형태에 나타내는 바와 같이, 복안 촬상부(110)를 제작함에 의해, 적절한 복안 촬상 장치를 제작할 수 있다. 이에 의해, 복안 촬상 장치의 비용 저감, 복안 촬상 장치의 박형화, 소형화를 행할 수가 있다.
<25. 제25의 실시의 형태>
본 기술의 제25의 실시의 형태에서는, 복수의 복안 촬상부를 나열하여 촬상하는 촬상 장치의 예를 나타낸다.
[촬상 장치의 구성례]
도 52는, 본 기술의 제25의 실시의 형태에서의 복안 촬상 장치(600)의 외관을 도시하는 상면도이다.
복안 촬상 장치(600)는, 복수의 복안 촬상부(601 내지 603)를 타이 링으로 제작한 촬상 장치이다. 또한, 복안 촬상 장치(600)는, 복수의 복안 촬상부(601 내지 603)를 나열하여 촬상하는 촬상 장치이다.
또한, 도 52에서는, 3개의 복안 촬상부(601 내지 603)를 나열 배치하는 예를 나타내지만, 2, 또는, 4 이상의 복안 촬상부를 나열 배치하도록 하여도 좋다.
여기서, 복안 촬상 장치의 감도를 높이려고 하여 개안의 수를 많게 하면 복안 촬상 장치의 면적이 커져서 하나의 복안 촬상 장치를 제작하는 것이 곤란하다고 상정된다. 그래서, 본 기술의 제25의 실시의 형태에 나타내는 바와 같이, 복수의 복안 촬상부(601 내지 603)를 타이 링으로 제작함에 의해, 적절한 복안 촬상 장치를 제작할 수 있다.
<26. 제26의 실시의 형태>
본 기술의 제26의 실시의 형태에서는, 개안, 또는, 복수의 복안 촬상부를 나열하는 면(面)이나 각도를 바꾸어서 복안 촬상 장치를 제작하는 예를 나타낸다.
[촬상 장치의 구성례]
도 53은, 본 기술의 제26의 실시의 형태에서의 복안 촬상 장치(610)의 단면을 도시하는 단면도이다.
복안 촬상 장치(610)는, 복수의 복안 촬상부(611 내지 613)를 나열하는 면이나 각도를 바꾸어서 제작한 복안 촬상 장치이다. 예를 들면, 도 53에 도시하는 바와 같이, 복수의 복안 촬상부(611 내지 613)를 기준면(614)상의 각도를 바꾸어서 나열하여 배치할 수 있다.
즉, 복수의 복안 촬상부를 나열하는 기준면을 동일 평면이나 동일 각도가 아니고, 복수의 복안 촬상부에 응하여, 그들을 나열하는 면이나 각도를 바꾸어서 촬상 장치를 제작할 수 있다.
또한, 도 53에서는, 3개의 복안 촬상부(611 내지 613)를 나열 배치하는 예를 도시하지만, 복수의 개안을 나열 배치하는 경우에 관해서도 마찬가지로 할 수 있다. 또한, 2, 또는, 4 이상의 복안 촬상부(또는, 복안)를 나열 배치하도록 하여도 좋다.
여기서, 나열하는 면은, 곡면의 의미도 포함한다. 또한, 타이 링으로 제작하는 경우에 관해서도 마찬가지로 할 수 있다.
또한, 종래의 복안 촬상 장치는, 개안을 나열하는 기준면이 동일 평면, 동일 각도이기 때문에, 개안의 광축을 중심으로 한 영역의 화상을 이용하여 복안 촬상 장치로서의 화각을 넓게 취하는 것이 곤란한 것이 상정된다. 그래서, 본 기술의 제26의 실시의 형태에서는, 복수의 복안 촬상부를 나열하는 면이나 각도를 바꾸어서 복안 촬상 장치를 제작한다. 이에 의해, 복안 촬상 장치로서의 화각을 넓게 취할 수 있다. 즉, 화각의 확대, 각 정보의 취득 범위의 확대를 실현할 수 있다.
<27. 제27의 실시의 형태>
본 기술의 제27의 실시의 형태에서는, 박육화한 복안 촬상 장치를 기준면에 부착함에 의해, 복안 촬상 장치를 만곡시키는, 또는, 개안의 기준면을 바꾸어, 개안의 광축을 바꾸는 예를 나타낸다.
[촬상 장치의 구성례]
도 54는, 본 기술의 제27의 실시의 형태에서의 복안 촬상 장치(620)를 도시하는 단면도이다.
복안 촬상 장치(620)는, 박육화한 복수의 복안 촬상부(621 내지 623)를 기준면(624)에 부착함에 의해, 복안 촬상 장치를 만곡시키는, 또는, 개안의 기준면을 바꾸어, 개안의 광축을 바꾸는 복안 촬상 장치이다.
<28. 제28의 실시의 형태>
본 기술의 제28의 실시의 형태에서는, 개안(또는, 복수의 복안 촬상부)이 접속되어 있는 경우에, 그 개안(또는, 복수의 복안 촬상부)끼리의 상대 위치의 어긋남, 경사, 뒤틀림의 크기를 검출하는 예를 나타낸다. 예를 들면, 개안(또는, 복수의 복안 촬상부)을 플렉시블한 재료로 접속하고, 개안(또는, 복수의 복안 촬상부) 사이에 센서(예를 들면, 압력 센서)를 설치한다. 그리고, 그 센서의 출력 신호에 의거하여, 개안(또는, 복수의 복안 촬상부)끼리의 상대 위치의 어긋남, 경사, 뒤틀림의 크기를 판정할 수 있다.
[촬상 장치의 구성례]
도 55는, 본 기술의 제28의 실시의 형태에서의 복안 촬상 장치(630)를 도시하는 상면도이다.
복안 촬상 장치(630)는, 복수의 복안 촬상부(631 내지 633)와, 센서(634, 635)를 구비한다. 또한, 센서(634, 635)는, 청구의 범위에 기재된 검출부의 한 예이다.
센서(634, 635)는, 개안(또는, 복수의 복안 촬상부)끼리의 상대 위치의 어긋남, 경사, 뒤틀림의 크기를 검출하는 센서이다. 예를 들면, 센서(634, 635)로서, 압력 센서(예를 들면, 유기 재료를 사용한 압력 센서)를 사용할 수 있다. 이 유기 재료를 사용한 압력 센서는, 예를 들면, 압력에 의해, 센서부의 저항이 변화하고, 액세스된 FET(Field Effect Transistor)의 전류가 변화하는 센서이다.
이 유기 재료를 사용한 압력 센서를 사용하는 경우에는, FET의 전류의 변화를 검출함에 의해, 개안(또는, 복수의 복안 촬상부)끼리의 상대 위치의 어긋남, 경사, 뒤틀림의 크기를 검출할 수 있다.
또한, 개안(또는, 복수의 복안 촬상부)끼리의 상대 위치의 어긋남, 경사, 뒤틀림의 크기를 검출할 수 있는 경우에는, 개안마다의 출력 화상의 상관성을 계산하고, 화상의 Stitching를 행함에 의해, 연속한 화각이 넓은 화상을 얻을 수 있다.
여기서, 종래의 복안 촬상 장치는, 개안(또는, 복수의 복안 촬상부)의 위치가 고정되어 있어서, 개안끼리의 상대 위치, 경사, 뒤틀림 상태를 바꾸는 것이 불가능하다. 이에 대해, 본 기술의 제28의 실시의 형태에서는, 개안(또는, 복수의 복안 촬상부) 사이에 센서(예를 들면, 압력 센서)를 설치한다. 이에 의해, 개안(또는, 복수의 복안 촬상부)끼리의 상대 위치의 어긋남, 경사, 뒤틀림의 크기를 검출할 수 있고, 이들의 값을 이용할 수 있다. 또한, 복안 촬상 장치의 사용 편리성을 향상시킬 수 있다.
<29. 제29의 실시의 형태>
본 기술의 제29의 실시의 형태에서는, 촬상 소자의 수광면을 개안마다 오목부(凹部) 형상으로 하는 예를 나타낸다. 즉, 개안의 촬상면을 평면이 아니라 만곡한 형상으로 하는 예를 나타낸다.
[복안 촬상부의 구성례]
도 56 내지 도 58은, 본 기술의 제29의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도이다. 도 56에는, 개안의 만곡면의 면적을 최대로 한 경우의 예를 간략화하여 도시한다. 도 57에는, 각 개안의 경계 부근을 평면 형상으로 한 경우의 예를 간략화하여 도시한다. 도 58에는, 각 개안의 경계 부근을 매끈한 곡면으로 한 경우의 예를 간략화하여 도시한다.
도 56에는, 개안 렌즈(641 내지 643)와, 개안의 촬상면(644 내지 646)과의 관계를 도시한다. 도 56에 도시하는 바와 같이, 개안의 촬상면 중, 거의 모든 촬상면을 만곡한 형상으로 할 수 있다. 예를 들면, 인접하는 개안의 촬상면의 경계(예를 들면, 개안의 촬상면(644 및 645)의 경계)까지의 거의 모든 촬상면을 만곡한 형상으로 할 수 있다. 또한, 개안의 촬상면(644 내지 646)에서의 점선의 사각형은, 화소를 나타내는 것으로 한다. 단, 도 56에서는, 설명의 용이를 위해, 적은 수의 화소를 간략화하여 나타낸다. 또한, 도 57 및 도 58에 관해서도 마찬가지로 한다.
여기서, 만곡한 형상은, 예를 들면, 광의 입사측의 반대측이 오목부가 되는 형상이다. 예를 들면, 가장 단순한 예로서, 구면(球面)을 그것과 교차하는 평면으로 잘라낸 부분(즉, 구관(球冠))을 오목부의 형상(만곡한 형상)으로 할 수 있다. 또한, 오목부의 형상으로서 가장 효과를 얻을 수 있는 예의 하나로서, 수광면을 개안마다 렌즈의 상면(像面) 만곡 특성에 맞춘 형상으로 할 수 있다. 예를 들면, 촬상 특성을 가장 좋게 하는 것의 하나로서, 렌즈의 상면 만곡 특성에 의한 렌즈의 초점면에 의거하여, 만곡한 형상을 결정할 수 있다. 또한, 예를 들면, 비교적 렌즈에 가까운 피사체의 촬상 특성을 좋게 하는 경우 등을 위해, 개안 렌즈로부터 결상면까지의 거리(즉, 상 거리)에 의거하여, 만곡한 형상을 결정할 수 있다. 또한, 예를 들면, 회전 포물면(放物面)을 이용한 완형(椀形)의 형상(예를 들면, 파라볼라(포물선, 포물선형) 형상)으로 할 수 있다.
도 57에는, 개안 렌즈(647 내지 649)와, 개안의 촬상면(650 내지 652)과의 관계를 도시한다. 도 57에 도시하는 바와 같이, 개안의 촬상면 중, 개안의 촬상면의 경계 부근을 평면 형상(광축 방향과 개략 직교하는 평면)으로 하고, 다른 영역을 만곡한 형상으로 할 수 있다. 예를 들면, 인접하는 개안의 촬상면의 경계 부근(예를 들면, 개안의 촬상면(650 및 651)의 경계 부근)을 평면 형상으로 할 수 있다.
도 58에는, 개안 렌즈(653 내지 655)와, 개안의 촬상면(656 내지 658)과의 관계를 도시한다. 도 58에 도시하는 바와 같이, 개안의 촬상면 중, 개안의 촬상면의 경계 부근을 매끈한 곡면 형상으로 하고, 다른 영역을 만곡한 형상으로 할 수 있다. 예를 들면, 인접하는 개안의 촬상면의 경계 부근(예를 들면, 개안의 촬상면(656 및 657)의 경계 부근)을 곡면 형상으로 할 수 있다.
여기서, 본 기술의 제1 내지 제28에 도시하는 복안 촬상 장치를 구성하는 개안의 촬상면은 평면이다. 이와 같이, 개안의 촬상면이 평면인 경우에는, 수차의 보정 등을 행하기 위해, 렌즈가 두꺼워지거나, 렌즈의 수가 증가하거나 하기 때문에, 복안 촬상 장치의 두께가 두꺼워진다. 특히, 광각의 경우에는, 렌즈의 두께나 수가 또한 증가하고, 복안 촬상 장치의 두께가 더욱 두꺼워지는 일도 있다. 이 때문에, 렌즈의 두께나 수의 증가에 의한 복안 촬상 장치의 비용이 증가한다.
그래서, 본 기술의 제29의 실시의 형태에서는, 개안의 촬상면을 평면이 아니라 만곡한 형상으로 한다. 이에 의해, 렌즈의 매수를 삭감할 수 있다. 또한, 렌즈의 두께를 얇게 할 수 있다. 또한, 복안 촬상 장치의 두께를 얇게 할 수 있다. 또한, 렌즈의 비용을 저감할 수 있다. 또한, 명암이 생기기 어렵기 때문에, 셰이딩 특성을 향상시킬 수 있다.
또한, 도 56 내지 도 58에서는, 경계 부근을 다른 3종류의 형상으로 하는 예를 나타냈지만, 경계 부근을 다른 형상으로 하도록 하여도 좋다.
<30. 제30의 실시의 형태>
본 기술의 제30의 실시의 형태에서는, 광의 입사 방향에서 동일 화소에서 다른 색정보를 취득하기 위한 복수의 층으로 이루어지는 촬상 소자의 예를 도시한다. 즉, 종분광(縱分光)의 촬상 소자를 사용하는 복안 촬상 장치의 예를 나타낸다.
여기서, 광이 실리콘을 투과하는 경우에는, 파장에 응하여 그 특성이 다르다. 예를 들면, 실리콘의 수광면측부터 차례로 짧은 파장(예를 들면, B(Blue))의 광이 흡수되고, 깊어짐에 응하여 긴 파장(예를 들면, R(Red))이 흡수된다. 그래서, 본 기술의 제30의 실시의 형태에서는, 그 특성을 이용하여, 포토 다이오드마다, B(Blue), G(Green), R(Red)의 순서로 분광하여 광신호를 취득한 예를 나타낸다. 또한, 종분광은, 예를 들면, 광축 방향의 분광, 촬상 소자의 깊이 방향의 분광, 촬상 소자의 두께 방향의 분광, 광의 입사 방향의 분광 등이라고 환언할 수 있다.
[복안 촬상부의 구성례]
도 59 내지 도 62는, 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도이다.
도 59에는, 광의 입사측부터 B, G, R의 순서로 분광하는 경우의 예를 도시한다. 도 60에는, 광의 입사측부터 G, B, R의 순서로 분광하는 경우의 예를 도시한다.
도 61에는, 광의 입사측부터 B, G, R의 순서로 분광하고, 또한, 촬상면을 만곡시킨 경우의 예를 도시한다. 도 61에서는, 각 개안의 경계면을 매끈한 곡면으로 한 경우의 예(도 58에 대응하는 예)를 도시한다.
도 62에는, 광의 입사측부터 G, B, R의 순서로 분광하고, 또한, 촬상면을 만곡시킨 경우의 예를 도시한다. 도 62에서는, 각 개안의 경계면을 매끈한 곡면으로 한 경우의 예(도 58에 대응하는 예)를 나타낸다.
도 59에는, 개안 렌즈(661 내지 663)와, 제1층(B층)(664)과, 제2층(G층)(665)과, 제3층(R층)(666)과의 관계를 도시한다.
상술한 바와 같이, 광이 실리콘을 투과하는 경우에는, 파장에 응하여 그 특성이 다르다. 그래서, 그 특성을 이용하여, 제1층(B층)(664), 제2층(G층)(665), 제3층(R층)(666)을 종방향으로 배치하고, 동일 위치(동일 화소)의 다른 색정보를 분리하도록 한다. 즉, 3층(제1층(B층)(664), 제2층(G층)(665), 제3층(R층)(666))의 센서를 사용하도록 한다. 또한, 제1층(B층)(664), 제2층(G층)(665), 제3층(R층)(666)은, 개안마다 배치되는 것으로 한다.
여기서, 최상층의 제1층(B층)(664)은, RGB의 모든 광의 강도에 반응하는 층이고, 파장이 짧은 B를 흡수하고, RG를 투과한다. 이 때문에, 중간층의 제2층(G층)(665)에는, 파장이 짧은 B의 광은 도달하지 않는다. 또한, 도 59에서는, 내부를 그레이로 한 사각형으로 제1층(B층)(664)을 나타낸다.
또한, 중간층의 제2층(G층)(665)은, 파장이 짧은 B 이외의 RG의 광의 강도에 반응하는 층이고, G를 흡수하고, R을 투과한다. 이 때문에, 최하층의 제3층(R층)(666)에는, GB의 광은 도달하지 않는다. 또한, 도 59에서는, 내부를 흰색으로 한 사각형으로 제2층(G층)(665)을 나타낸다.
또한, 최하층의 제3층(R층)(666)은, 제1층(B층)(664) 및 제2층(G층)(665)에 흡수된 GB 이외의 R의 광의 강도에 반응하는 층이다. 또한, 도 59에서는, 내부에 사선을 그은 사각형으로 제3층(R층)(666)을 나타낸다.
이와 같이, 취득된 RGB의 각 값을 이용하여 신호 처리가 행하여진다. 예를 들면, 신호 처리부(120)(도 9)는, 중간층의 제2층(G층)(665)에서 취득된 RG의 값으로부터, 최하층의 제3층(R층)(666)에서 취득된 R의 값에 실리콘의 광흡수 특성과 디바이스 구조 특성에 의거한 계수를 곱하여 산출한 값을 뺌에 의해, G의 값을 구할 수 있다. 또한, 예를 들면, 신호 처리부(120)(도 9)는, 최상층의 제1층(B층)(664)에서 취득된 RGB의 값으로부터, 중간층의 제2층(G층)(665)에서 취득된 RG의 값에 실리콘의 광흡수 특성과 디바이스 구조 특성에 의거한 계수를 곱하여 산출한 값을 뺌에 의해, B의 값을 구할 수 있다. 이와 같이, 화소마다 수광한 광의 에너지를 약 100% 광전 변환에 이용할 수 있기 때문에, 화질을 더욱 향상시킬 수 있다.
또한, 3층(제1층(B층)(664), 제2층(G층)(665), 제3층(R층)(666))에서의 점선의 사각형은, 화소를 나타내는 것으로 한다. 단, 도 59에서는, 설명의 용이를 위해, 적은 수의 화소를 간략화하여 나타낸다. 또한, 도 60 내지 도 62에 관해서도 마찬가지로 한다.
도 60에는, 개안 렌즈(667 내지 669)와, 제1층(G층)(670)과, 제2층(B층)(671)과, 제3층(R층)(672)과의 관계를 도시한다. 또한, 도 60은, 도 59에 도시하는 예에서, G층 및 B층의 위치를 교체한 점 이외는, 도 59와 개략 같다. 이와 같이 색 분리의 순번을 바꾸는 것은, 예를 들면, 광전 변환막에 실리콘 이외의 재료를 사용하는 것 등으로 가능해진다.
도 61에는, 개안 렌즈(673 내지 675)와, 제1층(B층)(676)과, 제2층(G층)(677)과, 제3층(R층)(678)과의 관계를 도시한다. 도 61에는, 3층(제1층(B층)(676), 제2층(G층)(677), 제3층(R층)(678))의 촬상면을 개안마다 만곡시키는 예를 도시한다. 즉, 3층의 배치를 도 59에 도시하는 예에 대응시키고, 만곡의 형상을 도 58에 도시하는 예에 대응시키는 경우의 예를 도시한다.
도 62에는, 개안 렌즈(679 내지 681)와, 제1층(G층)(682)과, 제2층(B층)(683)과, 제3층(R층)(684)과의 관계를 도시한다. 도 62에는, 3층(제1층(G층)(682), 제2층(B층)(683), 제3층(R층)(684))의 촬상면을 개안마다 만곡시키는 예를 도시한다. 즉, 3층의 배치를 도 60에 도시하는 예에 대응시키고, 만곡의 형상을 도 58에 도시하는 예에 대응시키는 경우의 예를 도시한다.
또한, 도 61 및 도 62에서는, 각 개안의 경계면을 매끈한 곡면에 한 예(도 58에 대응하는 예)를 나타내지만, 다른 예(예를 들면, 도 56, 도 57에 도시하는 예)를 적용하도록 하여도 좋다.
도 63 및 도 64는, 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)로부터 출력되는 화상 신호의 출력 파형을 도시하는 도면이다. 도 63 및 도 64에 도시하는 그래프에서, 종축은, 광신호의 입력치 및 화상 신호의 출력치를 나타내고, 횡축은, 시간축을 나타낸다.
도 63에는, 입출력 파형의 예를 도시한다. 즉, 광신호의 입력 파형과, 화상 신호의 출력 파형과의 관계를 도시한다. 구체적으로는, 광의 입력에 대한 화상 신호의 출력의 일부에 지연이 발생하는 경우의 예를 도시한다.
도 63의 a에는, 신호 처리에 의한 보정을 행하지 않는 경우에 있어서 광신호의 입력 파형과, 화상 신호의 출력 파형과의 관계를 도시한다.
예를 들면, 도 59 내지 도 62에 도시하는 바와 같이, 광축 방향에서, 3층을 겹쳐서 배치하는 경우에는, 광전 변환층의 특성에 차이가 있다. 이와 같이, 광전 변환층의 특성에 차이가 있는 경우에는, 광신호의 입력에 대한 화상 신호의 응답이 지연되는 것도 상정된다. 예를 들면, 광의 입력치를 Vin로 하고, 이 광의 입력치(Vin)에 대한 G, B, R의 각 화상 신호의 출력치를, 각각 VG, VB, VR로 한다. 이 경우에, 예를 들면, 도 63의 a에 도시하는 바와 같이, 광의 입력치(Vin)에 대해, 화상 신호의 출력치(VB, VR)는, 동시(또는, 거의 동시)에 응답하지만, 화상 신호의 출력치(VG)에는 응답이 지연되는 것이 있다. 이 경우에 있어서의 화상 신호의 출력치(VG)의 지연 시간을 D1로 한다.
이와 같은 경우에는, 적절한 신호 처리를 행함에 의해, 도 63의 b에 도시하는 바와 같이, 화상 신호의 출력치(VB, VR, VG)의 응답 시간을 정돈할 수 있다. 예를 들면, 화상 신호의 출력치(VB, VR)를, 지연이 생기고 있는 화상 신호의 출력치(VG)에 맞추도록, 화상 신호의 출력치(VB, VR)의 타이밍을 변경(지연 시간(D1)만큼 지연시키는)하기 위한 신호 처리를 행한다.
도 64에는, 입출력 파형의 예를 도시한다. 즉, 광신호의 입력 파형과, 화상 신호의 출력 파형과의 관계를 도시한다. 구체적으로는, 광의 입력에 대한 화상 신호의 출력의 일부에 지연이 발생하고, 또한, 높은 주파수가 감쇠하는 경우의 예를 도시한다.
예를 들면, 도 64의 a에 도시하는 바와 같이, 광의 입력치(Vin)에 대해, 화상 신호의 출력치(VB, VR)는, 동시(또는, 거의 동시)에 응답하지만, 화상 신호의 출력치(VG)에는 응답이 지연되고, 또한, 높은 주파수가 감쇠하는 일이 있다. 이 경우에 있어서의 화상 신호의 출력치(VG)의 지연 시간을 D2로 한다.
이와 같은 경우에도, 적절한 신호 처리를 행함에 의해, 도 64의 b에 도시하는 바와 같이, 화상 신호의 출력치의 파형을 정돈할 수 있다. 예를 들면, 지연이 생기고 있는 화상 신호의 출력치(VG)의 파형을 보정하고, 또한, 화상 처리의 출력치(VB, VR)를, 지연이 생기고 있는 화상 처리의 출력치(VG)에 의거하여 보정하도록 한다. 예를 들면, 화상 신호의 출력치(VB, VR)의 타이밍을, 지연이 생기고 있는 화상 처리의 출력치(VG)에 맞도록, 지연 시간(D3)만큼 지연시킨다. 즉, 화상 처리의 출력치(VG, VB, VR)의 파형, 타이밍을 변경하기 위한 신호 처리를 행한다.
이와 같이, 광전 변환층의 특성에 차이가 있는 경우에는, 신호 처리부(120)가 신호 처리에 의한 보정을 행함에 의해, 적절한 화상을 출력할 수 있다. 이에 의해, 화질을 향상시킬 수 있다.
여기서, 광전 변환층의 특성에 차이가 있는 경우에는, 이 광전 변환층의 특성의 차이를 보정하기 위한 정보(보정 정보)를 미리 취득하여 두고, 그 보정 정보를 이용하는 것도 상정된다. 예를 들면, 복안 촬상 장치(100)가, 그 보정 정보를 유지하여 두고, 이 유지되어 있는 보정 정보에 의거하여, 신호 처리부(120)가 신호 처리에 의한 보정을 행함에 의해, 목적에 응한 신호를 출력할 수 있다. 그래서, 도 65에서는, 그 보정 정보를 유지하여 이용하는 예를 도시한다.
도 65는, 본 기술의 제30의 실시의 형태에서의 복안 촬상부(110)에 사용되는 적층형 이미지 센서의 구성례를 도시하는 도면이다. 또한, 도 65의 a에는, 적층형 이미지 센서(이면 조사형 CMOS 이미지 센서)의 사시도를 도시하고, 도 65의 b에는, 적층형 이미지 센서(이면 조사형 CMOS 이미지 센서)의 측면도를 도시한다.
또한, 도 65에 도시하는 적층형 이미지 센서(이면 조사형 CMOS 이미지 센서)는, 도 43에 도시하는 적층형 이미지 센서(이면 조사형 CMOS 이미지 센서)의 회로(691)에 불휘발성 메모리(692)를 마련한 것이다. 또한, 불휘발성 메모리(692)를 마련한 점 이외는, 도 43에 도시하는 예와 마찬가지이다.
이와 같이, 보정 정보를 유지하기 위한 불휘발성 메모리(692)를 새롭게 마련하여 사용할 수 있다. 또한, 도 65에서는, 불휘발성 메모리(692)를 마련하는 예를 도시하였지만, 다른 유지부에 보정 정보를 유지시켜서 이용하도록 하여도 좋다. 또한, 외부 메모리에 보정 정보를 유지시켜서 이용하도록 하여도 좋다.
이와 같이, 보정 정보를 적층이나 다중 칩 구성의 복안 촬상부에 유지시키고, 이 보정 정보에 의거하여 적절한 신호 처리를 행하여, 목적에 응한 신호를 출력할 수 있다.
여기서, 본 기술의 제1 내지 제29의 실시의 형태에서는, 수평 방향의 분광의 촬상 소자를 사용하는 복안 촬상 장치(100)의 예를 나타냈다. 예를 들면, 수평 방향의 분광의 촬상 소자를 사용하는 경우에는, 입사광을 수평 방향으로 분광하기 위한 색 필터가 필요하다. 이 색 필터에 의해 투과되지 않는 광이 발생하고, 이 투과되지 않는 광의 에너지가 광전 변환에 기여되지 않아, 복안 촬상 장치로서의 감도가 낮아질 우려가 있기 때문에, 그 감도를 높이는 것이 중요하다.
그래서, 본 기술의 제30의 실시의 형태에서는, 종분광의 촬상 소자를 사용하도록 한다. 이에 의해, 입사광의 에너지를 낭비없이 광전 변환에 이용할 수 있다. 또한, 복안 촬상 장치를 고감도로 할 수 있다. 또한, 움직이고 있는 피사체의 색 어긋남을 개선할 수 있다. 또한, 복안 촬상 장치의 내부에서 신호 처리되기 때문에, 개체 사이의 편차를 극히 적게 할 수 있다. 또한, 유저는, 광전 변환 재료의 특성 차이에 의한 위화감을 받지 않고 복안 촬상 장치를 사용할 수 있다.
<31. 제31의 실시의 형태>
본 기술의 제31의 실시의 형태에서는, 개안마다의 상(像) 거리를 조정하기 위한 상 거리 조정부를 구비하는 복안 촬상 장치의 예를 나타낸다. 구체적으로는, 액추에이터 기능을 갖는 복안 촬상 장치의 예를 나타낸다. 또한, 상 거리는, 렌즈로부터 결상면까지의 거리이다.
[복안 촬상부의 구성례]
도 66 내지 도 70은, 본 기술의 제31의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도이다.
도 66에는, 액추에이터를 구비하는 복안 촬상 장치의 예를 도시한다. 도 67에는, 액추에이터를 구비하고, 촬상면이 만곡하고 있는 경우의 예를 도시한다. 또한, 도 67에서는, 각 개안의 경계면을 매끈한 곡면으로 한 경우의 예(도 58에 대응하는 예)를 도시한다.
도 68에는, 광의 입사측부터 G, B, R의 순서로 종분광하는 경우의 예(도 60에 대응하는 예)를 도시한다. 도 69에는, 광의 입사측부터 G, B, R의 순서로 종분광하고, 또한, 촬상면을 만곡시킨 경우의 예를 도시한다. 또한, 도 69에서는, 각 개안의 경계면을 매끈한 곡면으로 한 경우의 예(도 62에 대응하는 예)를 도시한다.
도 66에는, 액추에이터(700)와, 가동부재(701 내지 704)와, 개안 렌즈(705 내지 707)와, 각 개안의 촬상 소자(708)와의 관계를 도시한다.
액추에이터(700)는, 각 개안의 촬상 소자(708)를 구비하는 기판에 마련된 상 거리 조정 소자이다. 또한, 액추에이터(700)는, 제어부(130)(도 9에 도시한다)에 의해 제어된다. 또한, 가동부재(701 내지 704)는, 개안 렌즈(701 내지 703)를 지지하고, 액추에이터(700)의 이동에 응하여, 개안 렌즈(701 내지 703)를 광축 방향으로 이동시키는 가능 부재이다.
이와 같이, 액추에이터(700)는, 개안 렌즈(701 내지 703)를 이동시켜서, 각 개안의 합초(合焦) 위치를 조정한다.
여기서, 액추에이터(700)로서, 예를 들면, 완급을 수반하는 신축의 반복을 행함에 의해 개안 렌즈(705 내지 707)를 이동시키는 것이 가능한 압전(壓電) 소자를 사용할 수 있다. 이 압전 소자로서, 예를 들면, 전압을 가하면 변위가 생기는 소자(피에조 소자)를 사용할 수 있다.
또한, 각 개안의 촬상 소자(708)에서의 점선의 사각형은, 화소를 나타내는 것으로 한다. 단, 도 66에서는, 설명의 용이를 위해, 적은 수의 화소를 간략화하여 나타낸다. 또한, 도 67 내지 도 69에 관해서도 마찬가지로 한다.
도 67에는, 액추에이터(709)와, 가동부재(710 내지 713)와, 개안 렌즈(714 내지 716)와, 각 개안의 촬상 소자(717)와의 관계를 도시한다. 또한, 도 67에 도시하는 예는, 각 개안의 경계면을 매끈한 곡면에 한 점 이외는, 도 66에 도시하는 예와 개략 같다.
도 68에는, 액추에이터(718)와, 가동부재(719 내지 722)와, 개안 렌즈(723 내지 725)와, 각 개안의 촬상 소자(726)와의 관계를 도시한다. 또한, 도 68에 도시하는 예는, 광의 입사측부터 G, B, R의 순서로 종분광하는 촬상 소자를 사용하는 점 이외는, 도 66에 도시하는 예와 개략 같다.
도 69에는, 액추에이터(727)와, 가동부재(728 내지 731)와, 개안 렌즈(732 내지 734)와, 각 개안의 촬상 소자(735)와의 관계를 도시한다. 또한, 도 69에 도시하는 예는, 광의 입사측부터 G, B, R의 순서로 종분광하는 촬상 소자를 사용하는 점과, 촬상면을 만곡시키는 점 이외는, 도 66에 도시하는 예와 개략 같다.
여기서, 액추에이터를 사용하여 각 개안의 합초 위치를 조정하기 위한 정보(합초 위치 정보)를 미리 취득하여 두고, 그 합초 위치 정보를 이용하는 것도 상정된다. 예를 들면, 복안 촬상 장치(100)가, 그 합초 위치 정보를 유지해 두고, 이 유지되어 있는 합초 위치 정보에 의거하여, 제어부(130)(도 9에 도시한다)가 액추에이터를 제어할 수 있다.
예를 들면, 도 65에 도시하는 불휘발성 메모리(692)에 합초 위치 정보를 유지하여 이용할 수 있다.
이와 같이, 합초 위치 정보를 유지하여 이용함에 의해, 개체 사이의 위치 정밀도에 용장성(冗長性)을 갖게 할 수 있는 촬상 소자를 실현할 수 있다. 이에 의해, 복안 촬상 장치의 성능을 향상시킬 수 있다. 또한, 이 성능 향상을 위한 비용을 삭감할 수 있다. 또한, 피사체에 응한 합초에 이르기까지의 시간을 단축할 수도 있다. 또한, 복안 촬상 장치 고유의 정보(합초 위치 정보)의 분실을 방지할 수 있다.
또한, 이 예에서는, 도 65에 도시하는 불휘발성 메모리(692)에 합초 위치 정보를 유지시켜서 이용하는 예를 나타냈지만, 다른 유지부에 합초 위치 정보를 유지시켜서 이용하도록 하여도 좋다. 또한, 외부 메모리에 합초 위치 정보를 유지시켜서 이용하도록 하여도 좋다.
도 70에는, 복수의 액추에이터를 구비하는 복안 촬상 장치의 예를 도시한다. 즉, 액추에이터를 개안마다 마련하는 예를 도시한다. 구체적으로는, 도 70에는, 액추에이터(736 내지 738)와, 가동부재(739 내지 744)와, 개안 렌즈(745 내지 747)와, 각 개안의 촬상 소자(748)와의 관계를 도시한다.
이와 같이, 개안마다 액추에이터(736 내지 738)를 마련함에 의해, 각 개안의 제조시의 위치 정밀도의 편차까지 용장성을 갖게 할 수 있다. 또한, 개안마다 초점 위치를 맞추는 대상을 바꿀 수 있다. 즉, 합초 위치를 개안마다 조정하는 것이 가능해진다.
여기서, 고정 초점의 복안 촬상 장치는, 근거리부터 무한원까지를 포함한 합초 범위가 좁다. 특히, 초점 거리가 길고, F값이 작은 렌즈를 사용하는 경우에는, 근거리부터 무한원까지를 포함한 합초 범위가 더욱 좁아진다.
그래서, 본 기술의 제31의 실시의 형태에서는, 상 거리를 조정하기 위한 액추에이터 기능을 구비하도록 한다.
이에 의해, 근거리부터 무한원까지를 포함한 합초 범위를 넓게 할 수 있다. 특히, 초점 거리가 길고, F값이 작은 렌즈를 사용하는 경우에도, 근거리부터 무한원까지를 포함한 합초 범위를 넓게 할 수 있다.
또한, 액추에이터(700, 709, 718, 727, 736 내지 738)는, 청구의 범위에 기재된 상 거리 조정부의 한 예이다.
<32. 제32의 실시의 형태>
본 기술의 제32의 실시의 형태에서는, 개안마다 합초 상태를 변경하는 복안 촬상 장치의 예를 나타낸다.
[복안 촬상부의 구성례]
도 71 및 도 72는, 본 기술의 제32의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도이다.
도 71에는, 액추에이터를 구비하고, 개안마다 합초 상태를 바꾸는 복안 촬상 장치의 예를 도시한다. 구체적으로는, 도 71에는, 액추에이터(750)와, 가동부재(751 내지 754)와, 개안 렌즈(755 내지 757)와, 각 개안의 촬상 소자(758)와의 관계를 도시한다. 또한, 도 71에 도시하는 예는, 개안마다 합초 상태를 바꾸는 점 이외는, 도 66에 도시하는 예와 개략 같다.
즉, 도 71에서는, 개안마다 합초 상태가 다른 개안 렌즈(755 내지 757)를 사용하도록 한다. 이에 의해, 개안 렌즈(755 내지 757)를 사용하여 각 개안의 촬상 소자(758)에 입사된 광(도 71에서는, 점선으로 나타낸다.)의 합초 위치가 다르게 된다.
도 72에는, 개안마다 액추에이터를 구비하고, 개안마다 합초 상태를 바꾸는 복안 촬상 장치의 예를 도시한다. 즉, 복수의 액추에이터를 구비하는 예를 도시한다. 구체적으로는, 도 72에는, 액추에이터(759 내지 761)와, 가동부재(762 내지 767)와, 개안 렌즈(768 내지 770)와, 각 개안의 촬상 소자(771)와의 관계를 도시한다. 또한, 도 72에 도시하는 예는, 개안마다 합초 상태를 바꾸는 점 이외는, 도 70에 도시하는 예와 개략 같다.
여기서, 개안의 합초 상태가 일양한 복안 촬상 장치를 사용하여 촬영을 행하는 경우에는, 근거리부터 무한원까지의 범위에서, 핀트가 맞지 않는 거리에 존재하는 피사체가 전부 흐려진 화상으로서 촬상된다.
이에 대해, 본 기술의 제32의 실시의 형태에서는, 개안마다 합초 상태를 바꾸기 때문에, 근거리부터 무한원까지의 범위에서, 개안에 응하여 가장 핀트가 맞고 있는 화상이 존재하는 확률이 높아진다. 이에 의해, 완전한 핀트 흐림의 상태를 회피할 수 있다.
또한, 복수의 액추에이터를 개안마다 구비함에 의해, 상황에 응하여 최적의 개안마다의 핀트 맞춤을 설정할 수 있다. 이에 의해, 핀트 맞춤에 대한 자유도를 높일 수 있다.
<33. 제33의 실시의 형태>
본 기술의 제33의 실시의 형태에서는, 개안마다 다른 초점 거리를 설정하는 복안 촬상 장치의 예를 나타낸다.
[복안 촬상부의 구성례]
도 73 및 도 74는, 본 기술의 제33의 실시의 형태에서의 복안 촬상부(110)의 단면을 도시하는 단면도이다.
도 73에는, 개안마다 합초 거리를 바꾸는 복안 촬상 장치의 예를 도시한다. 구체적으로는, 도 73에는, 개안 렌즈(775 내지 777)와, 각 개안의 촬상 소자(778)와의 관계를 도시한다.
즉, 도 73에서는, 개안마다 합초 거리가 다른 개안 렌즈(775 내지 777)를, 각 합초 위치에 응한 높이(광축 방향의 길이)에 설치하도록 한다.
도 74에는, 개안마다 액추에이터를 구비하고, 개안마다 합초 거리를 바꾸는 복안 촬상 장치의 예를 도시한다. 즉, 복수의 액추에이터를 구비하는 예를 도시한다. 구체적으로는, 도 74에는, 액추에이터(780 내지 782)와, 가동부재(783 내지 788)와, 개안 렌즈(789 내지 791)와, 각 개안의 촬상 소자(792)와의 관계를 도시한다. 또한, 도 74에 도시하는 예는, 개안마다 합초 거리를 바꾸는 점 이외는, 도 70에 도시하는 예와 개략 같다.
여기서, 개안의 합초 거리가 일양한 복안 촬상 장치를 사용하여 촬영을 행하는 경우에는, 광각부터 망원까지를 포함한 화각이 넓은 화상을 얻는 것이 곤란한 것이 상정된다.
이에 대해, 본 기술의 제33의 실시의 형태에서는, 개안마다 합초 거리를 바꾸기 때문에, 광각부터 망원까지를 포함한 화각이 넓은 화상을 얻을 수 있다.
또한, 개안마다의 복수의 액추에이터를 구비함에 의해, 상황에 응하여 최적의 개안마다의 핀트 맞춤을 설정할 수 있다. 이에 의해, 핀트 맞춤에 대한 자유도를 높일 수 있다.
이들에 의해, 중앙부의 해상도가 높고, 주변부의 해상도는 낮고, 화각이 넓은 등의 화상을 생성할 수 있다.
<34. 제34의 실시의 형태>
본 기술의 제34의 실시의 형태에서는, 개안 광학계의 광학 특성에 관한 정보(광학 특성 정보)를 유지하여 신호 처리에 사용하는 복안 촬상 장치의 예를 나타낸다.
각 개안의 출력 신호(Sijkl)와 피사체 정보(Bijqr)와의 관계를 식 6 내지 식 11에 표시한다. 즉, 식 6 내지 식 11에서는, 복안 촬상 장치(100)가 신호 처리에 이용하는 광학 특성의 한 예와 광학 특성을 이용한 경우의 계산례를 나타낸다.
[수식 1]
Figure pct00001
여기서, 함수(f)는, 광학 특성을 나타내는 함수이다. 또한, 함수(f)는, 기지(旣知), 또는, 취득 가능한 정보이다. 또한, 함수(f)의 역 함수를 g로 한다.
또한, i는, 개안의 행 번호를 나타내고, j는, 개안의 열 번호를 나타낸다. 또한, k는, 개안에서의 화소의 행 번호를 나타내고, l는, 개안에서의 화소의 열 번호를 나타낸다.
또한, q는, 피사체의 수직 방향 번호를 나타내고, r은, 피사체의 수평 방향 번호를 나타낸다.
또한, a ijklqr은, 광학 특성을 나타내는 계수이다. 또한, M은, 수직 화소수를 나타내고, N은, 수평 화소수를 나타낸다.
상술한 바와 같이, 함수(f)(광학 특성을 나타내는 함수)는 기지(또는, 취득 가능한 정보)이기 때문에, 함수(f)의 역함수(g)를 구하고, 이미지 센서의 로데이터를 처리함에 의해, 피사체 정보를 정밀도 좋게 구할 수 있다.
구체적으로는, 예를 들면, 광학 특성을 나타내는 계수(a)를 요소로 하는 행렬의 역행렬을 구한다. 그리고, 식 11에 표시하는 바와 같이, 그 역행렬의 요소(b)와 이미지 센서의 로데이터와의 연산에 의해, 피사체 정보를 정밀도 좋게 구할 수 있다.
이들의 광학 특성(또는, 광학 특성의 역특성)에 관한 정보(광학 특성 정보)를 적층이나 다중 칩 구성의 복안 촬상 장치에 유지한다. 그리고, 신호 처리부(120)는, 그 유지되어 있는 광학 특성 정보에 의거하여, 이미지 센서로부터 출력되는 로데이터에 관해 신호 처리를 시행하여, 목적에 응한 신호를 출력할 수 있다. 이에 의해, 화질을 향상시킬 수 있다.
예를 들면, 도 65에 도시하는 불휘발성 메모리(692)에 광학 특성 정보를 유지하여 이용할 수 있다. 또한, 다른 유지부에 광학 특성 정보를 유지시켜서 이용하도록 하여도 좋고, 외부 메모리에 광학 특성 정보를 유지시켜서 이용하도록 하여도 좋다. 또한, 불휘발성 메모리(692)는, 청구의 범위에 기재된 유지부의 한 예이다.
이와 같이, 제조 과정에서의 편차를 반영됨에 의해, 개체 사이의 화질의 편차를 적게 할 수 있다. 즉, 개체 사이의 화질의 편차를 적게 할 수 있기 때문에, 제조 공정에서의 관리치를 로버스트하게 할 수 있고, 제조 비용을 내릴 수 있다. 또한, 복안 촬상 장치에 의해 생성되는 화상을, 고화질로 안정시킬 수 있다.
또한, 복안 촬상 장치의 내부에서 신호 처리되기 때문에, 유저는, 특성 차이에 의한 위화감을 받지 않고서 복안 촬상 장치를 사용할 수 있다.
<35. 제35의 실시의 형태>
본 기술의 제35의 실시의 형태에서는, 시간 응답 보정 전후의 양 신호를 사용하는 복안 촬상 장치의 예를 나타낸다.
도 75는, 본 기술의 제35의 실시의 형태에서의 복안 촬상부(110)로부터 출력되는 화상 신호의 출력 파형을 도시하는 도면이다. 도 75에 도시하는 그래프에서, 종축은, 광신호의 입력치 및 화상 신호의 출력치를 나타내고, 횡축은, 시간축을 나타낸다.
도 75의 a에는, 신호 처리부(120)에 의해 시간 응답 보정이 행하여지기 전의 입출력 파형의 예를 도시한다. 도 75의 b에는, 신호 처리부(120)에 의해 시간 응답 보정이 행하여진 후의 입출력 파형의 예를 도시한다.
예를 들면, 표시부(140)(도 9에 도시한다)에의 출력(모니터 출력)에는, 도 75의 a에 도시하는 시간 응답 보정 전의 VG, VB, VR을 사용하여, 레이턴시(지연)을 최소로 한다. 한편, 기억부(150)(도 9에 도시한다)에의 기록용으로는, 도 75의 b에 도시하는 시간 응답 보정 후의 VG, VB, VR을 사용하여, 고화질의 신호를 기록하도록 한다.
이와 같이, 신호 처리부(120)(도 9에 도시한다)는, 촬상 소자에 의해 생성되는 화상 신호 중, 시간 응답 보정 처리가 행하여지기 전의 화상 신호와, 시간 응답 보정이 행하여진 후의 화상 신호의 쌍방을 이용하여 화상을 생성한다. 구체적으로는, 신호 처리부(120)는, 시간 응답 보정 처리가 행하여지기 전의 화상 신호에 의거하여 표시 대상 화상을 생성하고, 시간 응답 보정이 행하여진 후의 화상 신호에 의거하여 기록 대상 화상을 생성한다.
예를 들면, 광의 파장대에 응하여 다른 광전 변환 재료를 사용하는 경우에는, 광의 입력에 대한 광전 변환 재료의 응답 속도에 차이가 생길 가능성이 있다. 이 차이를 적게 하기 위한 신호 처리(시간 응답 보정 처리)를 행하면, 복안 촬상 장치로부터의 출력 신호에 레이턴시가 발생한다. 이 때문에, 그 레이턴시가 발생한 화상을 모니터 표시하면, 피사체의 움직임에 대해 카메라의 추종이 지연되어, 움직이고 있는 피사체를 촬상하는 것이 곤란해질 우려가 있다.
그래서, 본 기술의 제35의 실시의 형태에서는, 2개의 신호(시간 응답 보정 전의 신호, 시간 응답 보정 후의 신호)를 이용한다. 이에 의해, 복안 촬상 장치로부터의 출력 신호에 레이턴시가 발생한 경우에도, 적절한 화상을 모니터 표시할 수 있다. 이에 의해, 피사체의 움직임에 대해 카메라의 추종을 적절하게 행할 수 있다. 또한, 움직이고 있는 피사체를 촬상하는 것을 용이하게 할 수 있다. 또한, 적절한 화상을 모니터 표시함과 함께, 기록 데이터에 관해서는, 고화질의 화상 정보로 할 수 있다.
<36. 제36의 실시의 형태>
본 기술의 제36의 실시의 형태에서는, 광전 변환의 시간 응답 특성 차이를 보정하는 복안 촬상 장치의 예를 나타낸다.
도 76은, 본 기술의 제36의 실시의 형태에서의 복안 촬상부(110)로부터 출력되는 화상 신호의 출력 파형을 도시하는 도면이다. 도 76에 도시하는 그래프에서, 종축은, 광신호의 입력치 및 화상 신호의 출력치를 나타내고, 횡축은, 시간축을 나타낸다.
도 76의 a에는, 신호 처리부(120)에 의한 신호 처리 전의 입출력 파형의 예를 도시한다. 도 76의 b에는, 신호 처리부(120)에 의한 신호 처리 후의 입출력 파형의 예를 도시한다.
예를 들면, 도 76의 a에 도시하는 바와 같이, 광신호의 입력치(Vin)에 대해, 화상 신호의 출력치(VB, VR)는, 거의 동시에 응답하지만, 화상 신호의 출력치(VG)는 응답이 지연되고, 또한, 높은 주파수가 감쇠하는 것이 상정된다. 이와 같은 경우에는, 도 76의 b에 도시하는 바와 같이, 적절한 신호 처리를 행하여, 파형을 정돈하여, 화질을 향상시킬 수 있다.
이와 같이, 신호 처리부(120)(도 9에 도시한다)는, 촬상 소자에 의해 생성된 화상 신호에 관해, 촬상 소자에 의한 광전 변환의 시간 응답 특성에 의해 생기는 차이를 보정한다.
예를 들면, 광의 파장대에 응하여 다른 광전 변환 재료를 사용하는 경우에는, 광의 입력에 대한 광전 변환 재료의 응답 속도에 차이가 생길 가능성이 있다. 이 응답 속도의 차이에 의해, 복안 촬상 장치로부터 출력되는 화상 신호의 화질이 악화할 우려가 있다.
그래서, 본 기술의 제36의 실시의 형태에서는, 광전 변환의 시간 응답 특성 차이를 보정한다. 예를 들면, 광의 파장대에 응하여 다른 광전 변환 재료를 사용하는 경우 등에 있어서, 광의 입력에 대한 광전 변환 재료의 응답 속도에 차이가 생기는 것도 상정된다. 이와 같은 경우에도, 신호 처리에 의한 보정을 행함에 의해, 복안 촬상 장치로부터 출력되는 화상 신호의 화질을 향상시킬 수 있다.
이와 같이, 본 기술의 실시의 형태에 의하면, 복안 촬상 장치의 해상도를 향상시킬 수 있다. 또한, 복안 촬상 장치의 광학계를 박형화할 수 있다. 또한, 복안 촬상 장치의 광학계를 비용 저감할 수 있다. 또한, 복안 촬상 장치를 박형화할 수 있다.
또한, 상술한 실시의 형태는 본 기술을 구현화하기 위한 한 예를 나타낸 것이고, 실시의 형태에서의 사항과, 청구의 범위에서의 발명 특정 사항은 각각 대응 관계를 갖는다. 마찬가지로, 청구의 범위에서의 발명 특정 사항과, 이것과 동일 명칭을 붙인 본 기술의 실시의 형태에서의 사항은 각각 대응 관계를 갖는다. 단, 본 기술은 실시의 형태로 한정되는 것이 아니고, 그 요지를 일탈하지 않는 범위에서 실시의 형태에 여러가지의 변형을 행함에 의해 구현화할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시로서, 한정되는 것이 아니고, 또한, 다른 효과가 있어도 좋다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 피사체에 대향하여 2차원 형상으로 배치되는 복수의 개안 광학계와,
상기 개안 광학계에 의해 집광되는 광을 수광하여 화상 신호를 생성하는 복수의 화소를 개안 단위로 구비하는 촬상 소자와, 상기 촬상 소자에 의해 생성된 화상 신호에 의거하여 상기 피사체에 대응하는 화상을 생성하는 신호 처리부를 구비하는 복안 촬상 장치.
(2) 상기 개안 광학계의 광축의 위치를 어긋냄에 의해 공간 화소 어긋냄을 행하는 상기 (1)에 기재된 복안 촬상 장치.
(3) 상기 신호 처리부는, 상기 개안 광학계의 배율 색수차에 의한 초점면상의 주변부에서의 색에 응하여 생기는 상의 어긋남을 보정하는 상기 (1) 또는 (2)에 기재된 복안 촬상 장치.
(4) 상기 복수의 개안 광학계 중의 적어도 하나의 광학 특성을 다른 개안 광학계와 다르도록 하는 상기 (1)부터 (3)의 어느 하나에 기재된 복안 촬상 장치.
(5) 상기 촬상 소자의 주변부에서의 개안 광학계의 F값을 다른 개안 광학계의 F값보다도 작게 하는 상기 (1)부터 (4)의 어느 하나에 기재된 복안 촬상 장치.
(6) 상기 복안 촬상 장치는, WLCM(Wafer Level Camera Module) 및 적층형 복안 촬상 장치에 의해 구성되고, 상기 개안의 수를 임계치를 기준으로 하여 많게 하는 상기 (1)부터 (5)의 어느 하나에 기재된 복안 촬상 장치.
(7) 상기 복수의 개안 중에서 사용되지 않는 개안의 구동의 정지와, 당해 개안에 설치되는 ADC(Analog to Digital Converter)의 오프 중의 적어도 하나를 행하는 제어부를 또한 구비하는 상기 (1)부터 (6)의 어느 하나에 기재된 복안 촬상 장치.
(8) 상기 복수의 개안 중의 적어도 하나에 거리 센서를 구비하는 상기 (1)부터 (7)의 어느 하나에 기재된 복안 촬상 장치.
(9) 상기 복수의 개안 중의 적어도 하나를, 편광 각도가 다른 개안과 다른 개안으로 하는 상기 (1)부터 (8)의 어느 하나에 기재된 복안 촬상 장치.
(10) 상기 복수의 개안 중의 적어도 하나를, 분광 감도가 다른 개안과 다른 개안으로 하는 상기 (1)부터 (9)의 어느 하나에 기재된 복안 촬상 장치.
(11) 상기 복수의 개안 중의 적어도 하나를 다른 개안과 다른 재료로 하는 상기 (1)부터 (10)의 어느 하나에 기재된 복안 촬상 장치.
(12) 상기 촬상 소자는, 개편화된 칩을 나열하여 의사 1칩화되고, MLA(Multi Lens Array)를 부가하여 제작되는 상기 (1)부터 (11)의 어느 하나에 기재된 복안 촬상 장치.
(13) 상기 촬상 소자는, 타이 링으로 제작되는 상기 (1)부터 (11)의 어느 하나에 기재된 복안 촬상 장치.
(14) 상기 촬상 소자는, 광의 입사 방향에서 동일 화소에서 다른 색정보를 취득하기 위한 복수의 층으로 이루어지는 상기 (1)부터 (13)의 어느 하나에 기재된 복안 촬상 장치.
(15) 상기 개안마다의 상 거리를 조정하기 위한 상 거리 조정부를 또한 구비하는 상기 (1)부터 (14)의 어느 하나에 기재된 복안 촬상 장치.
(16) 상기 개안마다 합초 상태를 변경하는 상기 (1)부터 (15)의 어느 하나에 기재된 복안 촬상 장치.
(17) 상기 개안마다 다른 초점 거리를 설정하는 상기 (1)부터 (16)의 어느 하나에 기재된 복안 촬상 장치.
(18) 상기 개안 광학계의 광학 특성에 관한 광학 특성 정보를 유지하는 유지부를 또한 구비하고, 상기 신호 처리부는, 상기 유지되어 있는 광학 특성 정보를 이용하여 신호 처리를 행함에 의해 상기 피사체에 대응하는 화상을 생성하는 상기 (1)부터 (17)의 어느 하나에 기재된 복안 촬상 장치.
(19) 상기 신호 처리부는, 상기 촬상 소자에 의해 생성된 화상 신호 중, 시간 응답 보정 처리가 행하여지기 전의 화상 신호와, 상기 시간 응답 보정이 행하여진 후의 화상 신호의 쌍방을 이용하여 화상을 생성하는 상기 (1)부터 (18)의 어느 하나에 기재된 복안 촬상 장치.
(20) 상기 신호 처리부는, 상기 촬상 소자에 의해 생성된 화상 신호에 관해 상기 촬상 소자에 의한 광전 변환의 시간 응답 특성에 의해 생기는 차이를 보정하는 상기 (1)부터 (19)의 어느 하나에 기재된 복안 촬상 장치.
(21) 피사체에 대향하여 2차원 형상으로 배치되는 복수의 개안 광학계와,
상기 개안 광학계에 의해 집광되는 광을 수광하여 화상 신호를 생성하는 복수의 화소를 개안 단위로 구비하는 촬상 소자와, 상기 개안마다 설치되는 색 필터와, 상기 촬상 소자에 의해 생성된 화상 신호에 의거하여 상기 피사체에 대응하는 화상을 생성하는 신호 처리부를 구비하고, 상기 색 필터마다 화소의 실효 개구를 변경하는 복안 촬상 장치.
(22) 피사체에 대향하여 2차원 형상으로 배치되는 복수의 개안 광학계와, 상기 개안 광학계에 의해 집광되는 광을 수광하여 화상 신호를 생성하는 복수의 화소를 개안 단위로 구비하는 촬상 소자와, 상기 촬상 소자에 의해 생성된 화상 신호에 의거하여 상기 피사체에 대응하는 화상을 생성하는 신호 처리부를 구비하는 복수의 복안 촬상부가 나열하여 배치되는 복안 촬상 장치.
(23) 상기 복수의 복안 촬상부는, 타이 링으로 제작되는 상기 (22)에 기재된 복안 촬상 장치.
(24) 상기 복수의 복안 촬상부를 나열하여 설치하는 설치면의 각도를 상기 복안 촬상부마다 변경하는 상기 (22) 또는 (23)에 기재된 복안 촬상 장치.
(25) 상기 복수의 복안 촬상부가 만곡하도록 나열하여 설치하는 상기 (22)부터 (24)의 어느 하나에 기재된 복안 촬상 장치.
(26) 상기 복수의 복안 촬상부를 나열하여 설치하고, 상기 복수의 복안 촬상부 중이 인접하는 복안 촬상부 사이의 상대 위치의 어긋남과 경사와 뒤틀림 중의 적어도 하나를 검출하는 검출부를 또한 구비하는 상기 (22)부터 (25)의 어느 하나에 기재된 복안 촬상 장치.
(27) 상기 개안마다 동 보정이 행하여지는 상기 (1)부터 (26)의 어느 하나에 기재된 복안 촬상 장치.
(28) 상기 개안 광학계의 색수차에 의한 초점 거리의 차이에 응하여 상기 개안의 광학 설계가 행하여지는 상기 (1)부터 (27)의 어느 하나에 기재된 복안 촬상 장치.
(29) 상기 개안은, 복수의 서브 개안으로 구성되는 상기 (1)부터 (28)의 어느 하나에 기재된 복안 촬상 장치.
(30) 상기 복수의 개안 광학계 중의 적어도 하나의 구조를 다른 개안 광학계와 다르도록 하는 상기 (1)부터 (29)의 어느 하나에 기재된 복안 촬상 장치.
(31) 상기 개안 광학계는, 주광선의 입사각을 약 0도로 하는 제1 개안 광학계와, 주광선의 입사각을 0도 이외, 또한, 상기 제1 개안 광학계의 입사각과는 다른 각도로 하는 제2개안 광학계를 포함하는 상기 (1)부터 (30)의 어느 하나에 기재된 복안 촬상 장치.
(32) 상기 제2개안 광학계는, 상기 촬상 소자의 주변부의 영역에 배치되는 개안 광학계인 상기 (31)에 기재된 복안 촬상 장치.
(33) 상기 복안 촬상 장치는, WLCM에 의해 구성되고, 상기 WLCM에서 감도가 다른 상기 복수의 개안이 배치되는 상기 (1)부터 (32)의 어느 하나에 기재된 복안 촬상 장치.
(34) 촬상 모드에 응하여 상기 촬상 소자로부터의 판독 방법을 변경하는 제어를 행하는 제어부를 또한 구비하는 상기 (1)부터 (33)의 어느 하나에 기재된 복안 촬상 장치.
(35) 상기 촬상 소자는, 글로벌 셔터 방식의 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서인 상기 (1)부터 (34)의 어느 하나에 기재된 복안 촬상 장치.
(36) 상기 촬상 소자는, 이면 조사형 CMOS 이미지 센서인 상기 (1)부터 (34)의 어느 하나에 기재된 복안 촬상 장치.
(37) 상기 촬상 소자는, 적층형 이미지 센서인 상기 (1)부터 (34)의 어느 하나에 기재된 복안 촬상 장치.
(38) 상기 적층형 이미지 센서는, 상기 복수의 개안의 병렬 출력을 행하는 상기 (37)에 기재된 복안 촬상 장치.
(39) 상기 복수의 개안 중의 적어도 하나를, 가시광 이외의 감도를 갖는 센서를 구비하는 개안으로 하는 상기 (1)부터 (38)의 어느 하나에 기재된 복안 촬상 장치.
(40) 상기 복안 촬상 장치는, WLCM에 의해 구성되고, 상기 WLCM의 시차를 이용하여 거리 정보를 산출하는 상기 (1)부터 (39)의 어느 하나에 기재된 복안 촬상 장치.
(41) 상기 촬상 소자는, 타이 링, 박육화, 재배선, 적층 접속으로 제작되는 상기 (1)부터 (40)의 어느 하나에 기재된 복안 촬상 장치.
(42) 상기 촬상 소자의 수광면을 상기 개안마다 오목부 형상으로 하는 상기 (1)부터 (41)의 어느 하나에 기재된 복안 촬상 장치.
(43) 상기 신호 처리부는, 상기 시간 응답 보정 처리가 행하여지기 전의 화상 신호에 의거하여 표시 대상 화상을 생성하고, 상기 시간 응답 보정이 행하여진 후의 화상 신호에 의거하여 기록 대상 화상을 생성하는 상기 (19)에 기재된 복안 촬상 장치.
100 : 복안 촬상 장치
110 : 복안 촬상부
120 : 신호 처리부
130 : 제어부
140 : 표시부
150 : 기억부
160 : 조작 접수부
170 : 무선 통신부

Claims (20)

  1. 피사체에 대향하여 2차원 형상으로 배치되는 복수의 개안 광학계와,
    상기 개안 광학계에 의해 집광되는 광을 수광하여 화상 신호를 생성하는 복수의 화소를 개안 단위로 구비하는 촬상 소자와,
    상기 촬상 소자에 의해 생성된 화상 신호에 의거하여 상기 피사체에 대응하는 화상을 생성하는 신호 처리부를 구비하는 것을 특징으로 하는 복안 촬상 장치.
  2. 제1항에 있어서,
    상기 개안 광학계의 광축의 위치를 어긋냄에 의해 공간 화소 어긋냄을 행하는 것을 특징으로 하는 복안 촬상 장치.
  3. 제1항에 있어서,
    상기 신호 처리부는, 상기 개안 광학계의 배율 색수차에 의한 초점면상의 주변부에서의 색에 응하여 생기는 상의 어긋남을 보정하는 것을 특징으로 하는 복안 촬상 장치.
  4. 제1항에 있어서,
    상기 복수의 개안 광학계 중의 적어도 하나의 광학 특성을 다른 개안 광학계와 다르도록 하는 것을 특징으로 하는 복안 촬상 장치.
  5. 제1항에 있어서,
    상기 촬상 소자의 주변부에서의 개안 광학계의 F값을 다른 개안 광학계의 F값보다도 작게 하는 것을 특징으로 하는 복안 촬상 장치.
  6. 제1항에 있어서,
    상기 복안 촬상 장치는, WLCM(Wafer Level Camera Module) 및 적층형 복안 촬상 장치에 의해 구성되고,
    상기 개안의 수를 임계치를 기준으로 하여 많게 하는 것을 특징으로 하는 복안 촬상 장치.
  7. 제1항에 있어서,
    상기 복수의 개안 중에서 사용되지 않는 개안의 구동의 정지와, 당해 개안에 설치되는 ADC(Analog to Digital Converter)의 오프 중의 적어도 하나를 행하는 제어부를 또한 구비하는 것을 특징으로 하는 복안 촬상 장치.
  8. 제1항에 있어서,
    상기 복수의 개안 중의 적어도 하나에 거리 센서를 구비하는 것을 특징으로 하는 복안 촬상 장치.
  9. 제1항에 있어서,
    상기 복수의 개안 중의 적어도 하나를, 편광 각도가 다른 개안과 다른 개안으로 하는 것을 특징으로 하는 복안 촬상 장치.
  10. 제1항에 있어서,
    상기 복수의 개안 중의 적어도 하나를, 분광 감도가 다른 개안과 다른 개안으로 하는 것을 특징으로 하는 복안 촬상 장치.
  11. 제1항에 있어서,
    상기 복수의 개안 중의 적어도 하나를 다른 개안과 다른 재료로 하는 것을 특징으로 하는 복안 촬상 장치.
  12. 제1항에 있어서,
    상기 촬상 소자는, 개편화된 칩을 나열하여 의사 1칩화되고, MLA(Multi Lens Array)를 부가하여 제작되는 것을 특징으로 하는 복안 촬상 장치.
  13. 제1항에 있어서,
    상기 촬상 소자는, 타이 링으로 제작되는 것을 특징으로 하는 복안 촬상 장치.
  14. 제1항에 있어서,
    상기 촬상 소자는, 광의 입사 방향에서 동일 화소에서 다른 색정보를 취득하기 위한 복수의 층으로 이루어지는 것을 특징으로 하는 복안 촬상 장치.
  15. 제1항에 있어서,
    상기 개안마다의 상 거리를 조정하기 위한 상 거리 조정부를 또한 구비하는 것을 특징으로 하는 복안 촬상 장치.
  16. 제1항에 있어서,
    상기 개안마다 합초 상태를 변경하는 것을 특징으로 하는 복안 촬상 장치.
  17. 제1항에 있어서,
    상기 개안마다 다른 초점 거리를 설정하는 것을 특징으로 하는 복안 촬상 장치.
  18. 제1항에 있어서,
    상기 개안 광학계의 광학 특성에 관한 광학 특성 정보를 유지하는 유지부를 또한 구비하고,
    상기 신호 처리부는, 상기 유지되어 있는 광학 특성 정보를 이용하여 신호 처리를 행함에 의해 상기 피사체에 대응하는 화상을 생성하는 것을 특징으로 하는 복안 촬상 장치.
  19. 제1항에 있어서,
    상기 신호 처리부는, 상기 촬상 소자에 의해 생성된 화상 신호 중, 시간 응답 보정 처리가 행하여지기 전의 화상 신호와, 상기 시간 응답 보정이 행하여진 후의 화상 신호의 쌍방을 이용하여 화상을 생성하는 것을 특징으로 하는 복안 촬상 장치.
  20. 제1항에 있어서,
    상기 신호 처리부는, 상기 촬상 소자에 의해 생성된 화상 신호에 관해 상기 촬상 소자에 의한 광전 변환의 시간 응답 특성에 의해 생기는 차이를 보정하는 것을 특징으로 하는 복안 촬상 장치.
KR1020167034125A 2014-07-16 2015-05-08 복안 촬상 장치 KR20170032227A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2014-145570 2014-07-16
JP2014145570 2014-07-16
JP2014189701 2014-09-18
JPJP-P-2014-189701 2014-09-18
PCT/JP2015/063310 WO2016009707A1 (ja) 2014-07-16 2015-05-08 複眼撮像装置

Publications (1)

Publication Number Publication Date
KR20170032227A true KR20170032227A (ko) 2017-03-22

Family

ID=55078211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167034125A KR20170032227A (ko) 2014-07-16 2015-05-08 복안 촬상 장치

Country Status (7)

Country Link
US (1) US10911738B2 (ko)
EP (1) EP3171587A4 (ko)
JP (1) JP6555264B2 (ko)
KR (1) KR20170032227A (ko)
CN (1) CN106537890A (ko)
TW (1) TWI676392B (ko)
WO (1) WO2016009707A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917546B2 (en) 2016-07-29 2021-02-09 Sony Semiconductor Solutions Corporation Imaging device utilizing sensor area of photoelectric conversion elements corresponding to incident light passed through optical elements including a layer of polarizers of horizontal and vertical directions and quarter wave plates

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6019997B2 (ja) 2012-09-26 2016-11-02 ソニー株式会社 表示装置および電子機器
WO2017138372A1 (ja) * 2016-02-10 2017-08-17 ソニー株式会社 固体撮像装置および電子機器
US10600213B2 (en) * 2016-02-27 2020-03-24 Focal Sharp, Inc. Method and apparatus for color-preserving spectrum reshape
JP6825231B2 (ja) * 2016-05-20 2021-02-03 株式会社リコー 撮像光学系及び撮像装置
CN107105141B (zh) * 2017-04-28 2019-06-28 Oppo广东移动通信有限公司 图像传感器、图像处理方法、成像装置和移动终端
CN108449532B (zh) * 2018-03-30 2021-11-16 联想(北京)有限公司 一种电子设备以及控制方法
KR102593949B1 (ko) * 2018-07-25 2023-10-27 삼성전자주식회사 이미지 센서
US11187914B2 (en) 2018-09-28 2021-11-30 Apple Inc. Mirror-based scene cameras
CN112752992B (zh) 2018-09-28 2023-10-31 苹果公司 混合现实或虚拟现实相机系统
US20220003989A1 (en) * 2018-11-09 2022-01-06 Sony Corporation Virtual image display apparatus and virtual image display method
JP7182437B2 (ja) * 2018-11-28 2022-12-02 株式会社アサヒ電子研究所 複眼撮像装置
DE102019007311B3 (de) * 2019-10-21 2020-09-24 SEW-EURODRlVE GmbH & Co. KG Empfänger für ein System zur Lichtübertragung, System zur Lichtübertragung und Verfahren zum Betrieb eines Systems zur Lichtübertragung
CN112866512B (zh) * 2019-11-26 2022-03-22 中国科学院上海微系统与信息技术研究所 复眼摄像装置及复眼系统
WO2022209226A1 (ja) * 2021-03-31 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
CN113188776B (zh) * 2021-04-27 2022-11-11 哈尔滨工业大学 一种复眼成像重合度检测系统及检测方法
CN113612929B (zh) * 2021-10-11 2021-12-21 北京创米智汇物联科技有限公司 复眼摄像装置及其控制方法、电子设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061109A (ja) 1999-08-20 2001-03-06 Japan Science & Technology Corp 画像入力装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO305728B1 (no) * 1997-11-14 1999-07-12 Reidar E Tangen Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme
JP2000278605A (ja) * 1999-03-29 2000-10-06 Canon Inc 撮像装置および画像処理システム
US7262799B2 (en) * 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
US7286168B2 (en) * 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
JP2003283907A (ja) * 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
JP2004032172A (ja) * 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
US20050133879A1 (en) * 2003-04-07 2005-06-23 Takumi Yamaguti Solid-state imaging device, signal processing device, camera, and spectral device
US7502058B2 (en) * 2003-06-09 2009-03-10 Micron Technology, Inc. Imager with tuned color filter
EP1677518A4 (en) * 2003-10-22 2009-12-02 Panasonic Corp IMAGING SYSTEM AND METHOD FOR PRODUCING THE SYSTEM, PORTABLE APPARATUS, AND IMAGING ELEMENT, AND METHOD FOR PRODUCING THE SAME
US7564019B2 (en) * 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
EP1812968B1 (en) * 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
JP5022573B2 (ja) * 2005-06-02 2012-09-12 富士フイルム株式会社 光電変換素子、及び撮像素子、並びに、これらに電場を印加する方法
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
CN101533202B (zh) * 2005-07-26 2011-04-13 松下电器产业株式会社 复眼方式的摄像装置
JP4807986B2 (ja) * 2005-09-05 2011-11-02 株式会社リコー 画像入力装置
US7999873B2 (en) * 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
JP5045007B2 (ja) * 2006-07-05 2012-10-10 株式会社ニコン 撮像装置
JP2007129751A (ja) * 2006-12-18 2007-05-24 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
JP5320735B2 (ja) * 2007-12-28 2013-10-23 株式会社ニコン 撮像装置
JP2010008873A (ja) * 2008-06-30 2010-01-14 Nikon Corp 焦点検出装置および撮像装置
JP5105482B2 (ja) * 2008-09-01 2012-12-26 船井電機株式会社 光学的条件設計方法及び複眼撮像装置
JP2010096723A (ja) * 2008-10-20 2010-04-30 Funai Electric Co Ltd 物体の距離導出装置
KR20100057302A (ko) * 2008-11-21 2010-05-31 삼성전자주식회사 이미지 센서 및 이의 제조 방법
US8300108B2 (en) * 2009-02-02 2012-10-30 L-3 Communications Cincinnati Electronics Corporation Multi-channel imaging devices comprising unit cells
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) * 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
JP2012018993A (ja) * 2010-07-06 2012-01-26 Toshiba Corp カメラモジュールおよびその製造方法
JP2012070046A (ja) * 2010-09-21 2012-04-05 Sony Corp 収差補正装置、収差補正方法、および、プログラム
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
US20120274811A1 (en) * 2011-04-28 2012-11-01 Dmitry Bakin Imaging devices having arrays of image sensors and precision offset lenses
JP5791437B2 (ja) * 2011-09-12 2015-10-07 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN103828346B (zh) * 2011-09-20 2017-06-27 松下知识产权经营株式会社 固体摄像装置
JP5836821B2 (ja) * 2012-01-30 2015-12-24 オリンパス株式会社 撮像装置
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US8988538B2 (en) * 2012-07-02 2015-03-24 Canon Kabushiki Kaisha Image pickup apparatus and lens apparatus
WO2014024745A1 (ja) * 2012-08-06 2014-02-13 富士フイルム株式会社 撮像装置
JP5942697B2 (ja) * 2012-08-21 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
US10151859B2 (en) * 2013-09-23 2018-12-11 Lg Innotek Co., Ltd. Camera module and manufacturing method for same
JP5527491B2 (ja) * 2014-01-10 2014-06-18 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061109A (ja) 1999-08-20 2001-03-06 Japan Science & Technology Corp 画像入力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917546B2 (en) 2016-07-29 2021-02-09 Sony Semiconductor Solutions Corporation Imaging device utilizing sensor area of photoelectric conversion elements corresponding to incident light passed through optical elements including a layer of polarizers of horizontal and vertical directions and quarter wave plates

Also Published As

Publication number Publication date
EP3171587A4 (en) 2018-03-14
JP6555264B2 (ja) 2019-08-07
US10911738B2 (en) 2021-02-02
TW201605236A (zh) 2016-02-01
US20170214863A1 (en) 2017-07-27
EP3171587A1 (en) 2017-05-24
WO2016009707A1 (ja) 2016-01-21
CN106537890A (zh) 2017-03-22
TWI676392B (zh) 2019-11-01
JPWO2016009707A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6555264B2 (ja) 複眼撮像装置
US11856291B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
US10686004B2 (en) Image capturing element and image capturing device image sensor and image-capturing device
JP5619294B2 (ja) 撮像装置及び合焦用パラメータ値算出方法
JP5214754B2 (ja) 固体撮像装置および携帯情報端末
JP5554139B2 (ja) 複合型撮像素子およびそれを備えた撮像装置
JP4983271B2 (ja) 撮像装置
WO2016158618A1 (ja) 撮像装置
JP7171331B2 (ja) 撮像装置
JP2011227388A (ja) 撮像装置
JP2016048282A (ja) 撮像装置
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器
JP5907668B2 (ja) 撮像装置及び撮像素子
JP5568150B2 (ja) 固体撮像装置および携帯情報端末
JP2016046773A (ja) 撮像装置
JP2018046336A (ja) 撮像素子及び撮像装置