JPWO2016009707A1 - 複眼撮像装置 - Google Patents
複眼撮像装置 Download PDFInfo
- Publication number
- JPWO2016009707A1 JPWO2016009707A1 JP2016534307A JP2016534307A JPWO2016009707A1 JP WO2016009707 A1 JPWO2016009707 A1 JP WO2016009707A1 JP 2016534307 A JP2016534307 A JP 2016534307A JP 2016534307 A JP2016534307 A JP 2016534307A JP WO2016009707 A1 JPWO2016009707 A1 JP WO2016009707A1
- Authority
- JP
- Japan
- Prior art keywords
- eye
- compound
- image
- eye imaging
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 562
- 150000001875 compounds Chemical class 0.000 title claims description 263
- 230000003287 optical effect Effects 0.000 claims abstract description 201
- 238000012545 processing Methods 0.000 claims abstract description 106
- 238000012937 correction Methods 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 52
- 230000035945 sensitivity Effects 0.000 claims description 46
- 230000004044 response Effects 0.000 claims description 40
- 230000004075 alteration Effects 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 239000000463 material Substances 0.000 claims description 26
- 230000002093 peripheral effect Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 14
- 230000010287 polarization Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 description 127
- 239000010410 layer Substances 0.000 description 116
- 238000010586 diagram Methods 0.000 description 26
- 230000000694 effects Effects 0.000 description 26
- 239000000203 mixture Substances 0.000 description 24
- 239000003086 colorant Substances 0.000 description 20
- 238000013461 design Methods 0.000 description 19
- 210000001747 pupil Anatomy 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000004611 spectroscopical analysis Methods 0.000 description 13
- 230000009471 action Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 239000010703 silicon Substances 0.000 description 8
- 229910052710 silicon Inorganic materials 0.000 description 8
- 230000003111 delayed effect Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 239000011368 organic material Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000005331 crown glasses (windows) Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000005308 flint glass Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14629—Reflectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14634—Assemblies, i.e. Hybrid structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1464—Back illuminated imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
- H01L27/14685—Process for coatings or optical elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
- H01L27/1469—Assemblies, i.e. hybrid integration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
1.第1の実施の形態(色フィルタ(光学フィルタ)毎に画素の実効開口を変更する例)
2.第2の実施の形態(個眼の光軸の位置をずらすことにより空間画素ずらしを行う例)
3.第3の実施の形態(個眼レンズの倍率色収差を信号処理で補正する例)
4.第4の実施の形態(個眼レンズの軸上色収差による焦点距離の差異に応じて個眼の光学設計をする例)
5.第5の実施の形態(1つの個眼を複数のサブ個眼で構成する例)
6.第6の実施の形態(複数の個眼レンズのうちの少なくとも1つの光学特性や構造を異なるように構成する例)
7.第7の実施の形態(個眼毎に瞳補正を行う例)
8.第8の実施の形態(スペースに余裕のある周辺の光学系のF値を小さくすることによりシェーディング特性を向上させる例)
9.第9の実施の形態(WLCM(Wafer Level Camera Module)および積層型複眼撮像装置において個眼の数を増加させることにより感度を高める例)
10.第10の実施の形態(WLCMにおいて感度の異なる個眼を配置して感度およびダイナミックレンジ(Dynamic Range)を高める例)
11.第11の実施の形態(複眼撮像部から複数の読み出し方法により読み出しを行う例)
12.第12の実施の形態(個眼の駆動やADC(Analog to Digital Converter)をオフして消費電力を低減させる例)
13.第13の実施の形態(グローバルシャッタ方式のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いる例)
14.第14の実施の形態(裏面照射型CMOSイメージセンサを用いる例)
15.第15の実施の形態(積層型イメージセンサを用いる例)
16.第16の実施の形態(距離センサを個眼に配置する例)
17.第17の実施の形態(偏光角度が異なる個眼を設ける例)
18.第18の実施の形態(分光感度が異なる個眼を設ける例)
19.第19の実施の形態(可視光以外の感度を有するセンサからなる個眼を設ける例)
20.第20の実施の形態(WLCMの視差を利用して距離情報を算出する例)
21.第21の実施の形態(複数の個眼のうちの少なくとも1つを他と異なる材料とする例)
22.第22の実施の形態(個片化したイメージセンサ(撮像素子)のチップを並べて疑似1チップ化してマルチレンズアレイ(MLA)等を付加して複眼撮像部を作製する例)
23.第23の実施の形態(タイリングで複眼撮像部を作製する例)
24.第24の実施の形態(タイリング、薄肉化、再配線、積層接続で複眼撮像部を作製する例)
25.第25の実施の形態(複数の複眼撮像部を並べて撮像する撮像装置の例)
26.第26の実施の形態(個眼、または、複数の複眼撮像部を並べる面や角度を変えて複眼撮像装置を作製する例)
27.第27の実施の形態(薄肉化した複眼撮像装置を基準面に貼り付けることにより、 複眼撮像装置を湾曲させる、または、個眼の基準面を変え、個眼の光軸を変える例)
28.第28の実施の形態(個眼(または、複数の複眼撮像部)が接続されている場合に、その個眼(または、複数の複眼撮像部)同士の相対位置のずれ、傾き、ねじれの大きさを検出する例)
29.第29の実施の形態(撮像素子の受光面を個眼毎に凹部形状とする例)
30.第30の実施の形態(光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる撮像素子の例)
31.第31の実施の形態(個眼毎の像距離を調整するための像距離調整部を備える複眼撮像装置の例)
32.第32の実施の形態(個眼毎に合焦状態を変更する複眼撮像装置の例)
33.第33の実施の形態(個眼毎に異なる焦点距離を設定する複眼撮像装置の例)
34.第34の実施の形態(個眼光学系の光学特性に関する情報(光学特性情報)を保持して信号処理に用いる複眼撮像装置の例)
35.第35の実施の形態(時間応答補正前後の両信号を利用する複眼撮像装置の例)
36.第36の実施の形態(光電変換の時間応答特性差異を補正する複眼撮像装置の例)
[撮像装置の構成例]
図1は、本技術の基礎となる複眼撮像装置10の構成例を示す図である。また、図1では、複眼撮像装置10との比較例として単眼撮像装置20の構成例を示す。すなわち、図1のaには、複眼撮像装置10の構成例を示し、図1のbには、単眼撮像装置20の構成例を示す。なお、図1のaおよびbでは、説明の容易のため、各構成を簡略化して示す。
図2は、本技術の基礎となる複眼撮像装置により生成される複眼画像による再構成画像の導出例を示す図である。図2では、垂直方向において3つの個眼レンズ17乃至19が設置されている複眼撮像装置の例を示す。
x0={(ix/r resolution)×r height}+(r bottom×xs)={(xc−x0)×fs/d}+xc
図3は、本技術の基礎となる複眼撮像装置により生成される複眼画像による距離情報の抽出例を示す図である。
次に、イメージセンサの実効開口および実効開口率について図面を参照して説明する。
G=Sa/Sp=(W×H)/(Px×Py)
本技術の第1の実施の形態では、色フィルタ(光学フィルタ)毎に画素の実効開口を変更する例を示す。
図9は、本技術の第1の実施の形態における複眼撮像装置100の機能構成例を示すブロック図である。
図10乃至図12は、本技術の第1の実施の形態における複眼撮像部110が備えるイメージセンサを簡略的に示す図である。なお、図10乃至図12では、複眼撮像部110が備えるイメージセンサの上面図を示す。
図10、図11では、赤色フィルタ、緑色フィルタ、青色フィルタを用いる例を示す。
図10では、複数(3×3)の個眼により構成される矩形状のイメージセンサに、緑色フィルタ201乃至205、赤色フィルタ206および207、青色フィルタ208および209が配置される例を示す。具体的には、矩形状のイメージセンサにおける対角線上に緑色フィルタ201乃至205が配置され、赤色フィルタ206および207のラインと、青色フィルタ208および209のラインとが直交するように配置される例を示す。なお、図10では、説明の容易のため、各個眼上における白抜きの矩形内に各フィルタの名称を示す。
図11では、複数(3×3)の個眼により構成される矩形状のイメージセンサにおける対角線上に青色フィルタ211乃至215が配置され、赤色フィルタ218および219のラインと、緑色フィルタ216および217のラインとが直交するように配置される例を示す。
図12では、シアンフィルタ、マゼンタフィルタ、イエローフィルタ、グリーンフィルタを用いる例を示す。
図12では、複数(3×3)の個眼により構成される矩形状のイメージセンサにおいて、V字状のマゼンタフィルタ221乃至223およびV字状のグリーンフィルタ224乃至226が対向するように配置される例を示す。また、イエローフィルタ229が中心に配置され、同一ライン上にシアンフィルタ227、228およびイエローフィルタ229が交互に配置される例を示す。
ここで、イメージセンサにおける色フィルタ毎に画素の実効開口を変える場合に、視差を補正するための画像処理方法の一例について説明する。
δijkl=Sijkl−SIJkl … 式1
δijkl=Sij(k+ε)(L+ζ)−SIJkl … 式2
本技術の第2の実施の形態では、個眼の光軸の位置をずらすことにより空間画素ずらしを行う例を示す。
図13乃至図17は、本技術の第2の実施の形態における複眼撮像装置が備えるイメージセンサを簡略的に示す図である。なお、図13乃至図17では、図10乃至図12と同様に、各画素を矩形で簡略的に示し、個眼レンズを円で簡略化して示す。また、図13乃至図17では、図10乃至図12と同様に、複数(3×3)の個眼により構成される矩形状のイメージセンサの例を示す。
図13乃至図17では、赤色フィルタ、緑色フィルタ、青色フィルタを用いる例を示す。また、図13乃至図17では、図10と同様に、緑色フィルタ、赤色フィルタ、青色フィルタが配置される例を示す。
図13では、全色の色フィルタを斜め方向(同一方向)に半画素ずらす例を示す。
図14では、全色の色フィルタを斜め方向(異なる方向)に半画素ずらす例を示す。
図15では、全色の色フィルタを斜め方向(同一方向)にずらす例を示す。
図16では、全色の色フィルタを斜め方向(同一方向)にずらす例を示す。
図17では、全色の色フィルタを水平方向、垂直方向および斜め方向に半画素ずらす例を示す。
本技術の第3の実施の形態では、個眼レンズの倍率色収差を信号処理で補正する例を示す。
最初に、倍率色収差を信号処理で補正する補正方法について説明する。
NR:赤色の像面倍率
NG:緑色の像面倍率
NB:青色の像面倍率
X'R=(NG/NR)XR
X'B=(NG/NB)XB
本技術の第4の実施の形態では、個眼レンズの軸上色収差による焦点距離の差異に応じて個眼の光学設計をする例を示す。
図19乃至図21は、本技術の第4の実施の形態における複眼撮像部110の断面を示す図である。図19乃至図21では、個眼レンズ、色フィルタおよびイメージセンサの関係を簡略化して示す。なお、図19乃至図21では、イメージセンサを構成する画素を、点線の矩形で示す。
本技術の第5の実施の形態では、1つの個眼を複数のサブ個眼で構成する例を示す。
図22乃至図24は、本技術の第5の実施の形態における複眼撮像部110の構成例を示す図である。また、図22乃至図24では、各色の色フィルタが、個眼レンズや絞りに近接している場合の例を示す。
ここで、上述したように、個眼をサブ個眼で構成する場合の画像処理方法の一例について説明する。
本技術の第6の実施の形態では、複数の個眼レンズのうちの少なくとも1つの光学特性や構造を異なるように構成する例を示す。
図26乃至図29は、本技術の第6の実施の形態における複眼撮像部110の構成例を示す図である。
本技術の第7の実施の形態では、個眼毎に瞳補正を行う例を示す。
図30は、本技術の第7の実施の形態における複眼撮像部110の構成例を示す図である。図30には、個眼毎に瞳補正を行う複眼撮像部110の断面図を示す。
本技術の第8の実施の形態では、スペースに余裕のある周辺の光学系のF値を小さくすることによりシェーディング特性を向上させる例を示す。
図31乃至図33は、本技術の第8の実施の形態における複眼撮像部110の構成例を示す図である。図31には、複眼撮像部110の上面図を示し、図32および図33には、複眼撮像部110の断面図を示す。
本技術の第9の実施の形態では、WLCM(Wafer Level Camera Module)および積層型複眼撮像装置において個眼の数を増加させることにより感度を高める例を示す。
図34は、本技術の第9の実施の形態における複眼撮像装置の構成例を示す図である。図34には、個眼の数を81(9×9)とする場合の例を示す。
本技術の第10の実施の形態では、WLCMにおいて感度の異なる個眼を配置して感度およびダイナミックレンジ(Dynamic Range)を高める例を示す。
図35乃至図39は、本技術の第10の実施の形態における複眼撮像部110の構成例を示す図である。
本技術の第11の実施の形態では、複眼撮像部から複数の読み出し方法により読み出しを行う例を示す。
図40は、本技術の第11の実施の形態における複眼撮像部110の構成例を示す図である。図40では、複数(3×3)の個眼により構成されるイメージセンサの例を示す。
本技術の第12の実施の形態では、個眼の駆動やADC(Analog to Digital Converter)をオフして消費電力を低減させる例を示す。なお、本技術の第12の実施の形態では、図40を参照して説明する。
本技術の第13の実施の形態では、グローバルシャッタ方式のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いる例を示す。
本技術の第14の実施の形態では、裏面照射型CMOSイメージセンサを用いる例を示す。
本技術の第15の実施の形態では、積層型イメージセンサを用いる例を示す。また、本技術の第15の実施の形態では、積層型イメージセンサを使用して個眼の並列出力を行う例を示す。
本技術の第16の実施の形態では、距離センサを個眼に配置する例を示す。
本技術の第17の実施の形態では、偏光角度が異なる個眼を設ける例を示す。
本技術の第18の実施の形態では、分光感度が異なる個眼を設ける例を示す。
本技術の第19の実施の形態では、可視光以外の感度を有するセンサからなる個眼を設ける例を示す。
本技術の第20の実施の形態では、WLCMの視差を利用して距離情報を算出する例を示す。
図49は、本技術の第20の実施の形態における複眼撮像部110の断面を示す図である。
Dikl=Si1kl−SiNkl … 式3
Dikl=Si1k(l−a)−SiNkl(l+a) … 式4
Do=L{(Ws/aWp)+1} … 式5
本技術の第21の実施の形態では、複数の個眼のうちの少なくとも1つを他と異なる材料とする例を示す。
図50は、本技術の第21の実施の形態における複眼撮像部110の外観を示す上面図である。
本技術の第22の実施の形態では、個片化したイメージセンサ(撮像素子)のチップを並べて疑似1チップ化してマルチレンズアレイ(MLA)等を付加して複眼撮像部を作製する例を示す。
図51は、本技術の第22の実施の形態における複眼撮像部110の外観を示す上面図である。
本技術の第23の実施の形態では、タイリングで複眼撮像部を作製する例を示す。なお、タイリングで作製された複眼撮像部の外観構成については、図51と同様であるため、ここでの図示を省略する。
本技術の第24の実施の形態では、タイリング、薄肉化、再配線、積層接続で複眼撮像部を作製する例を示す。なお、タイリング、薄肉化、再配線、積層接続で作製された複眼撮像部の外観構成については、図51と同様であるため、ここでの図示を省略する。
本技術の第25の実施の形態では、複数の複眼撮像部を並べて撮像する撮像装置の例を示す。
図52は、本技術の第25の実施の形態における複眼撮像装置600の外観を示す上面図である。
本技術の第26の実施の形態では、個眼、または、複数の複眼撮像部を並べる面や角度を変えて複眼撮像装置を作製する例を示す。
図53は、本技術の第26の実施の形態における複眼撮像装置610の断面を示す断面図である。
本技術の第27の実施の形態では、薄肉化した複眼撮像装置を基準面に貼り付けることにより、 複眼撮像装置を湾曲させる、または、個眼の基準面を変え、個眼の光軸を変える例を示す。
図54は、本技術の第27の実施の形態における複眼撮像装置620を示す断面図である。
本技術の第28の実施の形態では、個眼(または、複数の複眼撮像部)が接続されている場合に、その個眼(または、複数の複眼撮像部)同士の相対位置のずれ、傾き、ねじれの大きさを検出する例を示す。例えば、個眼(または、複数の複眼撮像部)をフレキシブルな材料で接続し、個眼(または、複数の複眼撮像部)間にセンサ(例えば、圧力センサ)を設置する。そして、そのセンサの出力信号に基づいて、個眼(または、複数の複眼撮像部)同士の相対位置のずれ、傾き、ねじれの大きさを判定することができる。
図55は、本技術の第28の実施の形態における複眼撮像装置630を示す上面図である。
本技術の第29の実施の形態では、撮像素子の受光面を個眼毎に凹部形状とする例を示す。すなわち、個眼の撮像面を平面ではなく湾曲した形状とする例を示す。
図56乃至図58は、本技術の第29の実施の形態における複眼撮像部110の断面を示す断面図である。図56には、個眼の湾曲面の面積を最大にした場合の例を簡略化して示す。図57には、各個眼の境界付近を平面形状とした場合の例を簡略化して示す。図58には、各個眼の境界付近を滑らかな曲面とした場合の例を簡略化して示す。
本技術の第30の実施の形態では、光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる撮像素子の例を示す。すなわち、縦分光の撮像素子を用いる複眼撮像装置の例を示す。
図59乃至図62は、本技術の第30の実施の形態における複眼撮像部110の断面を示す断面図である。
本技術の第31の実施の形態では、個眼毎の像距離を調整するための像距離調整部を備える複眼撮像装置の例を示す。具体的には、アクチュエータ機能を有する複眼撮像装置の例を示す。なお、像距離は、レンズから結像面までの距離である。
図66乃至図70は、本技術の第31の実施の形態における複眼撮像部110の断面を示す断面図である。
本技術の第32の実施の形態では、個眼毎に合焦状態を変更する複眼撮像装置の例を示す。
図71および図72は、本技術の第32の実施の形態における複眼撮像部110の断面を示す断面図である。
本技術の第33の実施の形態では、個眼毎に異なる焦点距離を設定する複眼撮像装置の例を示す。
図73および図74は、本技術の第33の実施の形態における複眼撮像部110の断面を示す断面図である。
本技術の第34の実施の形態では、個眼光学系の光学特性に関する情報(光学特性情報)を保持して信号処理に用いる複眼撮像装置の例を示す。
本技術の第35の実施の形態では、時間応答補正前後の両信号を利用する複眼撮像装置の例を示す。
本技術の第36の実施の形態では、光電変換の時間応答特性差異を補正する複眼撮像装置の例を示す。
(1)
被写体に対向して2次元状に配置される複数の個眼光学系と、
前記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、
前記撮像素子により生成された画像信号に基づいて前記被写体に対応する画像を生成する信号処理部と
を具備する複眼撮像装置。
(2)
前記個眼光学系の光軸の位置をずらすことにより空間画素ずらしを行う前記(1)に記載の複眼撮像装置。
(3)
前記信号処理部は、前記個眼光学系の倍率色収差による焦点面上の周辺部における色に応じて生じる像のずれを補正する前記(1)または(2)に記載の複眼撮像装置。
(4)
前記複数の個眼光学系のうちの少なくとも1つの光学特性を他の個眼光学系と異なるようにする前記(1)から(3)のいずれかに記載の複眼撮像装置。
(5)
前記撮像素子の周辺部における個眼光学系のF値を他の個眼光学系のF値よりも小さくする前記(1)から(4)のいずれかに記載の複眼撮像装置。
(6)
前記複眼撮像装置は、WLCM(Wafer Level Camera Module)および積層型複眼撮像装置により構成され、
前記個眼の数を閾値を基準として多くする
前記(1)から(5)のいずれかに記載の複眼撮像装置。
(7)
前記複数の個眼のうちで使用されない個眼の駆動の停止と、当該個眼に設置されるADC(Analog to Digital Converter)のオフとのうちの少なくとも1つを行う制御部をさらに具備する前記(1)から(6)のいずれかに記載の複眼撮像装置。
(8)
前記複数の個眼のうちの少なくとも1つに距離センサを備える前記(1)から(7)のいずれかに記載の複眼撮像装置。
(9)
前記複数の個眼のうちの少なくとも1つを、偏光角度が他の個眼と異なる個眼とする前記(1)から(8)のいずれかに記載の複眼撮像装置。
(10)
前記複数の個眼のうちの少なくとも1つを、分光感度が他の個眼と異なる個眼とする前記(1)から(9)のいずれかに記載の複眼撮像装置。
(11)
前記複数の個眼のうちの少なくとも1つを他の個眼と異なる材料とする前記(1)から(10)のいずれかに記載の複眼撮像装置。
(12)
前記撮像素子は、個片化されたチップを並べて疑似1チップ化され、MLA(Multi Lens Array)を付加して作製される前記(1)から(11)のいずれかに記載の複眼撮像装置。
(13)
前記撮像素子は、タイリングで作製される前記(1)から(11)のいずれかに記載の複眼撮像装置。
(14)
前記撮像素子は、光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる前記(1)から(13)のいずれかに記載の複眼撮像装置。
(15)
前記個眼毎の像距離を調整するための像距離調整部をさらに具備する前記(1)から(14)のいずれかに記載の複眼撮像装置。
(16)
前記個眼毎に合焦状態を変更する前記(1)から(15)のいずれかに記載の複眼撮像装置。
(17)
前記個眼毎に異なる焦点距離を設定する前記(1)から(16)のいずれかに記載の複眼撮像装置。
(18)
前記個眼光学系の光学特性に関する光学特性情報を保持する保持部をさらに具備し、
前記信号処理部は、前記保持されている光学特性情報を用いて信号処理を行うことにより前記被写体に対応する画像を生成する
前記(1)から(17)のいずれかに記載の複眼撮像装置。
(19)
前記信号処理部は、前記撮像素子により生成された画像信号のうち、時間応答補正処理が行われる前の画像信号と、前記時間応答補正が行われた後の画像信号との双方を用いて画像を生成する前記(1)から(18)のいずれかに記載の複眼撮像装置。
(20)
前記信号処理部は、前記撮像素子により生成された画像信号について前記撮像素子による光電変換の時間応答特性により生じる差異を補正する前記(1)から(19)のいずれかに記載の複眼撮像装置。
(21)
被写体に対向して2次元状に配置される複数の個眼光学系と、
前記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、
前記個眼毎に設置される色フィルタと、
前記撮像素子により生成された画像信号に基づいて前記被写体に対応する画像を生成する信号処理部とを具備し、
前記色フィルタ毎に画素の実効開口を変更する
複眼撮像装置。
(22)
被写体に対向して2次元状に配置される複数の個眼光学系と、前記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、前記撮像素子により生成された画像信号に基づいて前記被写体に対応する画像を生成する信号処理部とを備える複数の複眼撮像部が並べて配置される複眼撮像装置。
(23)
前記複数の複眼撮像部は、タイリングで作製される前記(22)に記載の複眼撮像装置。
(24)
前記複数の複眼撮像部を並べて設置する設置面の角度を前記複眼撮像部毎に変更する前記(22)または(23)に記載の複眼撮像装置。
(25)
前記複数の複眼撮像部が湾曲するように並べて設置する前記(22)から(24)のいずれかに記載の複眼撮像装置。
(26)
前記複数の複眼撮像部を並べて設置し、
前記複数の複眼撮像部のうちの隣接する複眼撮像部間の相対位置のずれと傾きとねじれとのうちの少なくとも1つを検出する検出部をさらに具備する
前記(22)から(25)のいずれかに記載の複眼撮像装置。
(27)
前記個眼毎に瞳補正が行われる前記(1)から(26)のいずれかに記載の複眼撮像装置。
(28)
前記個眼光学系の色収差による焦点距離の差異に応じて前記個眼の光学設計が行われる前記(1)から(27)のいずれかに記載の複眼撮像装置。
(29)
前記個眼は、複数のサブ個眼で構成される前記(1)から(28)のいずれかに記載の複眼撮像装置。
(30)
前記複数の個眼光学系のうちの少なくとも1つの構造を他の個眼光学系と異なるようにする前記(1)から(29)のいずれかに記載の複眼撮像装置。
(31)
前記個眼光学系は、主光線の入射角を略0度とする第1個眼光学系と、主光線の入射角を0度以外、かつ、前記第1個眼光学系の入射角とは異なる角度とする第2個眼光学系とを含む前記(1)から(30)のいずれかに記載の複眼撮像装置。
(32)
前記第2個眼光学系は、前記撮像素子の周辺部の領域に配置される個眼光学系である前記(31)に記載の複眼撮像装置。
(33)
前記複眼撮像装置は、WLCMにより構成され、
前記WLCMにおいて感度の異なる前記複数の個眼が配置される
前記(1)から(32)のいずれかに記載の複眼撮像装置。
(34)
撮像モードに応じて前記撮像素子からの読み出し方法を変更する制御を行う制御部をさらに具備する前記(1)から(33)のいずれかに記載の複眼撮像装置。
(35)
前記撮像素子は、グローバルシャッタ方式のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである前記(1)から(34)のいずれかに記載の複眼撮像装置。
(36)
前記撮像素子は、裏面照射型CMOSイメージセンサである前記(1)から(34)のいずれかに記載の複眼撮像装置。
(37)
前記撮像素子は、積層型イメージセンサである前記(1)から(34)のいずれかに記載の複眼撮像装置。
(38)
前記積層型イメージセンサは、前記複数の個眼の並列出力を行う前記(37)に記載の複眼撮像装置。
(39)
前記複数の個眼のうちの少なくとも1つを、可視光以外の感度を有するセンサを備える個眼とする前記(1)から(38)のいずれかに記載の複眼撮像装置。
(40)
前記複眼撮像装置は、WLCMにより構成され、
前記WLCMの視差を利用して距離情報を算出する
前記(1)から(39)のいずれかに記載の複眼撮像装置。
(41)
前記撮像素子は、タイリング、薄肉化、再配線、積層接続で作製される前記(1)から(40)のいずれかに記載の複眼撮像装置。
(42)
前記撮像素子の受光面を前記個眼毎に凹部形状とする前記(1)から(41)のいずれかに記載の複眼撮像装置。
(43)
前記信号処理部は、前記時間応答補正処理が行われる前の画像信号に基づいて表示対象画像を生成し、前記時間応答補正が行われた後の画像信号に基づいて記録対象画像を生成する前記(19)に記載の複眼撮像装置。
110 複眼撮像部
120 信号処理部
130 制御部
140 表示部
150 記憶部
160 操作受付部
170 無線通信部
Claims (20)
- 被写体に対向して2次元状に配置される複数の個眼光学系と、
前記個眼光学系により集光される光を受光して画像信号を生成する複数の画素を個眼単位で備える撮像素子と、
前記撮像素子により生成された画像信号に基づいて前記被写体に対応する画像を生成する信号処理部と
を具備する複眼撮像装置。 - 前記個眼光学系の光軸の位置をずらすことにより空間画素ずらしを行う請求項1記載の複眼撮像装置。
- 前記信号処理部は、前記個眼光学系の倍率色収差による焦点面上の周辺部における色に応じて生じる像のずれを補正する請求項1記載の複眼撮像装置。
- 前記複数の個眼光学系のうちの少なくとも1つの光学特性を他の個眼光学系と異なるようにする請求項1記載の複眼撮像装置。
- 前記撮像素子の周辺部における個眼光学系のF値を他の個眼光学系のF値よりも小さくする請求項1記載の複眼撮像装置。
- 前記複眼撮像装置は、WLCM(Wafer Level Camera Module)および積層型複眼撮像装置により構成され、
前記個眼の数を閾値を基準として多くする
請求項1記載の複眼撮像装置。 - 前記複数の個眼のうちで使用されない個眼の駆動の停止と、当該個眼に設置されるADC(Analog to Digital Converter)のオフとのうちの少なくとも1つを行う制御部をさらに具備する請求項1記載の複眼撮像装置。
- 前記複数の個眼のうちの少なくとも1つに距離センサを備える請求項1記載の複眼撮像装置。
- 前記複数の個眼のうちの少なくとも1つを、偏光角度が他の個眼と異なる個眼とする請求項1記載の複眼撮像装置。
- 前記複数の個眼のうちの少なくとも1つを、分光感度が他の個眼と異なる個眼とする請求項1記載の複眼撮像装置。
- 前記複数の個眼のうちの少なくとも1つを他の個眼と異なる材料とする請求項1記載の複眼撮像装置。
- 前記撮像素子は、個片化されたチップを並べて疑似1チップ化され、MLA(Multi Lens Array)を付加して作製される請求項1記載の複眼撮像装置。
- 前記撮像素子は、タイリングで作製される請求項1記載の複眼撮像装置。
- 前記撮像素子は、光の入射方向において同一画素で異なる色情報を取得するための複数の層からなる請求項1記載の複眼撮像装置。
- 前記個眼毎の像距離を調整するための像距離調整部をさらに具備する請求項1記載の複眼撮像装置。
- 前記個眼毎に合焦状態を変更する請求項1記載の複眼撮像装置。
- 前記個眼毎に異なる焦点距離を設定する請求項1記載の複眼撮像装置。
- 前記個眼光学系の光学特性に関する光学特性情報を保持する保持部をさらに具備し、
前記信号処理部は、前記保持されている光学特性情報を用いて信号処理を行うことにより前記被写体に対応する画像を生成する
請求項1記載の複眼撮像装置。 - 前記信号処理部は、前記撮像素子により生成された画像信号のうち、時間応答補正処理が行われる前の画像信号と、前記時間応答補正が行われた後の画像信号との双方を用いて画像を生成する請求項1記載の複眼撮像装置。
- 前記信号処理部は、前記撮像素子により生成された画像信号について前記撮像素子による光電変換の時間応答特性により生じる差異を補正する請求項1記載の複眼撮像装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014145570 | 2014-07-16 | ||
JP2014145570 | 2014-07-16 | ||
JP2014189701 | 2014-09-18 | ||
JP2014189701 | 2014-09-18 | ||
PCT/JP2015/063310 WO2016009707A1 (ja) | 2014-07-16 | 2015-05-08 | 複眼撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016009707A1 true JPWO2016009707A1 (ja) | 2017-04-27 |
JP6555264B2 JP6555264B2 (ja) | 2019-08-07 |
Family
ID=55078211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016534307A Expired - Fee Related JP6555264B2 (ja) | 2014-07-16 | 2015-05-08 | 複眼撮像装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10911738B2 (ja) |
EP (1) | EP3171587A4 (ja) |
JP (1) | JP6555264B2 (ja) |
KR (1) | KR20170032227A (ja) |
CN (1) | CN106537890A (ja) |
TW (1) | TWI676392B (ja) |
WO (1) | WO2016009707A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6019997B2 (ja) | 2012-09-26 | 2016-11-02 | ソニー株式会社 | 表示装置および電子機器 |
WO2017138372A1 (ja) * | 2016-02-10 | 2017-08-17 | ソニー株式会社 | 固体撮像装置および電子機器 |
US10600213B2 (en) * | 2016-02-27 | 2020-03-24 | Focal Sharp, Inc. | Method and apparatus for color-preserving spectrum reshape |
JP6825231B2 (ja) * | 2016-05-20 | 2021-02-03 | 株式会社リコー | 撮像光学系及び撮像装置 |
JP2018019020A (ja) * | 2016-07-29 | 2018-02-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
CN107105141B (zh) * | 2017-04-28 | 2019-06-28 | Oppo广东移动通信有限公司 | 图像传感器、图像处理方法、成像装置和移动终端 |
CN108449532B (zh) * | 2018-03-30 | 2021-11-16 | 联想(北京)有限公司 | 一种电子设备以及控制方法 |
KR102593949B1 (ko) * | 2018-07-25 | 2023-10-27 | 삼성전자주식회사 | 이미지 센서 |
US11187914B2 (en) | 2018-09-28 | 2021-11-30 | Apple Inc. | Mirror-based scene cameras |
US11448886B2 (en) * | 2018-09-28 | 2022-09-20 | Apple Inc. | Camera system |
JP7182437B2 (ja) * | 2018-11-28 | 2022-12-02 | 株式会社アサヒ電子研究所 | 複眼撮像装置 |
CN112866512B (zh) * | 2019-11-26 | 2022-03-22 | 中国科学院上海微系统与信息技术研究所 | 复眼摄像装置及复眼系统 |
US20240178250A1 (en) * | 2021-03-31 | 2024-05-30 | Sony Semiconductor Solutions Corporation | Imaging element and electronic apparatus |
CN113188776B (zh) * | 2021-04-27 | 2022-11-11 | 哈尔滨工业大学 | 一种复眼成像重合度检测系统及检测方法 |
CN113612929B (zh) * | 2021-10-11 | 2021-12-21 | 北京创米智汇物联科技有限公司 | 复眼摄像装置及其控制方法、电子设备以及存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000278605A (ja) * | 1999-03-29 | 2000-10-06 | Canon Inc | 撮像装置および画像処理システム |
JP2001523929A (ja) * | 1997-11-14 | 2001-11-27 | タンゲン、レイダル、イー. | 光電子カメラおよびそれで画像をフォーマッティングする方法 |
JP2003283907A (ja) * | 2002-03-20 | 2003-10-03 | Japan Science & Technology Corp | 撮像装置 |
JP2007074079A (ja) * | 2005-09-05 | 2007-03-22 | Ricoh Co Ltd | 画像入力装置 |
JP2007129751A (ja) * | 2006-12-18 | 2007-05-24 | Fujifilm Corp | 撮像装置、撮像方法、及びプログラム |
JP2008017116A (ja) * | 2006-07-05 | 2008-01-24 | Nikon Corp | 撮像素子および撮像装置 |
JP2009162847A (ja) * | 2007-12-28 | 2009-07-23 | Nikon Corp | 撮像装置 |
JP2010008873A (ja) * | 2008-06-30 | 2010-01-14 | Nikon Corp | 焦点検出装置および撮像装置 |
JP2012018993A (ja) * | 2010-07-06 | 2012-01-26 | Toshiba Corp | カメラモジュールおよびその製造方法 |
WO2013042281A1 (ja) * | 2011-09-20 | 2013-03-28 | パナソニック株式会社 | 固体撮像装置 |
JP2013062587A (ja) * | 2011-09-12 | 2013-04-04 | Canon Inc | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP2013157780A (ja) * | 2012-01-30 | 2013-08-15 | Olympus Corp | 撮像装置 |
JP2014041202A (ja) * | 2012-08-21 | 2014-03-06 | Nikon Corp | 焦点検出装置および撮像装置 |
JP2014099896A (ja) * | 2014-01-10 | 2014-05-29 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3821614B2 (ja) | 1999-08-20 | 2006-09-13 | 独立行政法人科学技術振興機構 | 画像入力装置 |
US7262799B2 (en) * | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
JP2002209226A (ja) * | 2000-12-28 | 2002-07-26 | Canon Inc | 撮像装置 |
US7286168B2 (en) * | 2001-10-12 | 2007-10-23 | Canon Kabushiki Kaisha | Image processing apparatus and method for adding blur to an image |
JP2004032172A (ja) * | 2002-06-24 | 2004-01-29 | Canon Inc | 複眼撮像装置およびこれを備えた機器 |
US20050133879A1 (en) * | 2003-04-07 | 2005-06-23 | Takumi Yamaguti | Solid-state imaging device, signal processing device, camera, and spectral device |
US7502058B2 (en) * | 2003-06-09 | 2009-03-10 | Micron Technology, Inc. | Imager with tuned color filter |
JP4071793B2 (ja) * | 2003-10-22 | 2008-04-02 | 松下電器産業株式会社 | 撮像装置とその製造方法、及び携帯機器 |
WO2006026354A2 (en) * | 2004-08-25 | 2006-03-09 | Newport Imaging Corporation | Apparatus for multiple camera devices and method of operating same |
US7564019B2 (en) * | 2005-08-25 | 2009-07-21 | Richard Ian Olsen | Large dynamic range cameras |
JP5022573B2 (ja) * | 2005-06-02 | 2012-09-12 | 富士フイルム株式会社 | 光電変換素子、及び撮像素子、並びに、これらに電場を印加する方法 |
US20070102622A1 (en) * | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
CN101533202B (zh) * | 2005-07-26 | 2011-04-13 | 松下电器产业株式会社 | 复眼方式的摄像装置 |
US7999873B2 (en) * | 2005-11-22 | 2011-08-16 | Panasonic Corporation | Imaging device with plural lenses and imaging regions |
JP5105482B2 (ja) | 2008-09-01 | 2012-12-26 | 船井電機株式会社 | 光学的条件設計方法及び複眼撮像装置 |
JP2010096723A (ja) * | 2008-10-20 | 2010-04-30 | Funai Electric Co Ltd | 物体の距離導出装置 |
KR20100057302A (ko) * | 2008-11-21 | 2010-05-31 | 삼성전자주식회사 | 이미지 센서 및 이의 제조 방법 |
US8300108B2 (en) * | 2009-02-02 | 2012-10-30 | L-3 Communications Cincinnati Electronics Corporation | Multi-channel imaging devices comprising unit cells |
DE102009049387B4 (de) * | 2009-10-14 | 2016-05-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung |
EP2502115A4 (en) * | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
KR101824672B1 (ko) * | 2010-05-12 | 2018-02-05 | 포토네이션 케이맨 리미티드 | 이미저 어레이 구조 및 어레이 카메라 |
JP2012070046A (ja) * | 2010-09-21 | 2012-04-05 | Sony Corp | 収差補正装置、収差補正方法、および、プログラム |
US20140192238A1 (en) * | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
US8478123B2 (en) * | 2011-01-25 | 2013-07-02 | Aptina Imaging Corporation | Imaging devices having arrays of image sensors and lenses with multiple aperture sizes |
US20120274811A1 (en) * | 2011-04-28 | 2012-11-01 | Dmitry Bakin | Imaging devices having arrays of image sensors and precision offset lenses |
US20130321675A1 (en) * | 2012-05-31 | 2013-12-05 | Apple Inc. | Raw scaler with chromatic aberration correction |
US8988538B2 (en) * | 2012-07-02 | 2015-03-24 | Canon Kabushiki Kaisha | Image pickup apparatus and lens apparatus |
CN104520745B (zh) * | 2012-08-06 | 2016-09-28 | 富士胶片株式会社 | 摄像装置 |
CN105579902B (zh) * | 2013-09-23 | 2019-06-28 | Lg伊诺特有限公司 | 一种制造相机模块的方法 |
-
2015
- 2015-05-08 EP EP15822521.9A patent/EP3171587A4/en not_active Withdrawn
- 2015-05-08 US US15/324,352 patent/US10911738B2/en active Active
- 2015-05-08 JP JP2016534307A patent/JP6555264B2/ja not_active Expired - Fee Related
- 2015-05-08 CN CN201580037295.2A patent/CN106537890A/zh active Pending
- 2015-05-08 KR KR1020167034125A patent/KR20170032227A/ko unknown
- 2015-05-08 WO PCT/JP2015/063310 patent/WO2016009707A1/ja active Application Filing
- 2015-05-21 TW TW104116327A patent/TWI676392B/zh not_active IP Right Cessation
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001523929A (ja) * | 1997-11-14 | 2001-11-27 | タンゲン、レイダル、イー. | 光電子カメラおよびそれで画像をフォーマッティングする方法 |
JP2000278605A (ja) * | 1999-03-29 | 2000-10-06 | Canon Inc | 撮像装置および画像処理システム |
JP2003283907A (ja) * | 2002-03-20 | 2003-10-03 | Japan Science & Technology Corp | 撮像装置 |
JP2007074079A (ja) * | 2005-09-05 | 2007-03-22 | Ricoh Co Ltd | 画像入力装置 |
JP2008017116A (ja) * | 2006-07-05 | 2008-01-24 | Nikon Corp | 撮像素子および撮像装置 |
JP2007129751A (ja) * | 2006-12-18 | 2007-05-24 | Fujifilm Corp | 撮像装置、撮像方法、及びプログラム |
JP2009162847A (ja) * | 2007-12-28 | 2009-07-23 | Nikon Corp | 撮像装置 |
JP2010008873A (ja) * | 2008-06-30 | 2010-01-14 | Nikon Corp | 焦点検出装置および撮像装置 |
JP2012018993A (ja) * | 2010-07-06 | 2012-01-26 | Toshiba Corp | カメラモジュールおよびその製造方法 |
JP2013062587A (ja) * | 2011-09-12 | 2013-04-04 | Canon Inc | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
WO2013042281A1 (ja) * | 2011-09-20 | 2013-03-28 | パナソニック株式会社 | 固体撮像装置 |
JP2013157780A (ja) * | 2012-01-30 | 2013-08-15 | Olympus Corp | 撮像装置 |
JP2014041202A (ja) * | 2012-08-21 | 2014-03-06 | Nikon Corp | 焦点検出装置および撮像装置 |
JP2014099896A (ja) * | 2014-01-10 | 2014-05-29 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3171587A4 (en) | 2018-03-14 |
TW201605236A (zh) | 2016-02-01 |
CN106537890A (zh) | 2017-03-22 |
JP6555264B2 (ja) | 2019-08-07 |
KR20170032227A (ko) | 2017-03-22 |
US10911738B2 (en) | 2021-02-02 |
US20170214863A1 (en) | 2017-07-27 |
WO2016009707A1 (ja) | 2016-01-21 |
TWI676392B (zh) | 2019-11-01 |
EP3171587A1 (en) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6555264B2 (ja) | 複眼撮像装置 | |
US11856291B2 (en) | Thin multi-aperture imaging system with auto-focus and methods for using same | |
CN105898118B (zh) | 图像传感器和包括图像传感器的成像设备 | |
US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
JP5538553B2 (ja) | 固体撮像素子及び撮像装置 | |
US9609208B2 (en) | Image generation method, image generation apparatus, program, and storage medium | |
JP6120508B2 (ja) | 撮像素子および撮像装置 | |
JP5746496B2 (ja) | 撮像装置 | |
WO2013046973A1 (ja) | 固体撮像素子、撮像装置、及び合焦制御方法 | |
WO2014164909A1 (en) | Array camera architecture implementing quantum film sensors | |
WO2013094121A1 (ja) | 撮像装置および電子情報機器 | |
US20140192237A1 (en) | Image processing apparatus, image processing method and program, and image pickup apparatus including image processing apparatus | |
KR20200113484A (ko) | 이미지 센서 및 그 동작 방법 | |
JP5554139B2 (ja) | 複合型撮像素子およびそれを備えた撮像装置 | |
JP2016139988A (ja) | 固体撮像装置 | |
US9386203B2 (en) | Compact spacer in multi-lens array module | |
JP2017098513A (ja) | 撮像素子、撮像装置および焦点調節装置 | |
US11889186B2 (en) | Focus detection device, focus detection method, and image capture apparatus | |
JP2011227388A (ja) | 撮像装置 | |
JP2019219577A (ja) | 検出装置および検出方法 | |
WO2020066341A1 (ja) | 合焦度検出装置、深度マップ生成装置、及び、電子機器 | |
JP2018046563A (ja) | 撮像素子 | |
JP2012128101A (ja) | 撮像装置 | |
JP2016046773A (ja) | 撮像装置 | |
JP2012042863A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190624 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6555264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |