JPWO2016080078A1 - 撮像装置、撮像方法及び画像処理プログラム - Google Patents
撮像装置、撮像方法及び画像処理プログラム Download PDFInfo
- Publication number
- JPWO2016080078A1 JPWO2016080078A1 JP2016560099A JP2016560099A JPWO2016080078A1 JP WO2016080078 A1 JPWO2016080078 A1 JP WO2016080078A1 JP 2016560099 A JP2016560099 A JP 2016560099A JP 2016560099 A JP2016560099 A JP 2016560099A JP WO2016080078 A1 JPWO2016080078 A1 JP WO2016080078A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- light receiving
- interference
- receiving element
- microlens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 146
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims description 142
- 238000009826 distribution Methods 0.000 claims description 58
- 239000011159 matrix material Substances 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 38
- 210000001747 pupil Anatomy 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 30
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 15
- 230000035945 sensitivity Effects 0.000 description 12
- 238000009499 grossing Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/04—Reversed telephoto objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B17/00—Systems with reflecting surfaces, with or without refracting elements
- G02B17/08—Catadioptric systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/10—Bifocal lenses; Multifocal lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
- G02B3/14—Fluid-filled or evacuated lenses of variable focal length
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/06—Bodies with exposure meters or other indicators built into body but not connected to other camera members
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14636—Interconnect structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Lenses (AREA)
- Cameras In General (AREA)
Abstract
Description
(2) 受光セルの近傍に遮光マスクを配置し、多様レンズの第1の領域を通過した光束又は第2の領域を通過した光束を遮光することにより光検出感度に角度特性を持たせた指向性センサ
(3) 受光セル毎にプリズムとして機能するプリズム要素を設け、プリズム要素により光検出感度に角度特性を持たせた指向性センサ
特許文献1、2に記載の撮像装置は、瞳領域の場所に応じて特性の異なる多様レンズと、光検出感度に角度特性を持つ指向性センサとを組み合わせることにより、特性の異なる多様な画像を、単一の指向性センサと多様レンズとにより同時に撮像することができる。
図3は、第1実施形態に係る多様レンズ11及びイメージセンサ24の断面構成を示す図である。
次に、本発明に適用可能な混信除去方法について説明する。
第2のマイクロレンズ29Bの曲率半径:2.8μm
第1のマイクロレンズ29A及び第2のマイクロレンズ29Bの屈折率:1.55
第1のマイクロレンズ29Aの頂点と第1のフォトダイオード26Aの入射面との距離:9.1μm
第2のマイクロレンズ29Bの頂点と第2のフォトダイオード26Bの入射面との距離:8.1μm
第1の受光素子25Aと第2の受光素子25Bとの間隔(画素ピッチ):7μm
第1の受光素子25Aの第1のフォトダイオード26Aの開口サイズ/画素ピッチ:38%
第2の受光素子25Bの第2のフォトダイオード26Bの開口サイズ/画素ピッチ:38%
第1のマイクロレンズ29Aによる第1の結像倍率Aと第2のマイクロレンズ29Bによる第2の結像倍率Bとの比:A/B=0.72
図11(A1)及び(A2)は、第1の受光素子25Aの第1のマイクロレンズ29A及び第2の受光素子25Bの第2のマイクロレンズ29Bにより結像される多様レンズ11の瞳像と、第1の受光素子25Aの第1のフォトダイオード26A及び第2の受光素子25Bの第2のフォトダイオード26Bのそれぞれの開口Oとの関係を示している。
図16は、図1及び図2に示した撮像装置30の要部の内部構成を示すブロック図である。
図17は、第2実施形態に係る多様レンズ11を使用した撮像メカニズムを説明するための図である。
a2:第2の光学系22(近合焦領域60b)のレンズ−受光面間距離
b1:第1の光学系21(遠合焦領域60a)のレンズ−被写体間距離
b2:第2の光学系22(近合焦領域60b)のレンズ−被写体間距離
FD1:第1の光学系21(遠合焦領域60a)の合焦距離
FD2:第2の光学系22(近合焦領域60b)の合焦距離
Q1A、Q1B及びQ2:被写体
尚、本実施形態において「合焦距離」とは、イメージセンサ24の受光素子25の受光面から受光素子25と合焦関係にある被写体までの距離を指す。図17に示す例では「FD1=a1+b1」及び「FD2=a2+b2」の関係が成立する。また、第1の光学系21(遠合焦領域60a)の焦点距離を「f1」とし、第2の光学系22(近合焦領域60b)の焦点距離を「f2」とすると、「1/f1=(1/a1)+(1/b1)」及び「1/f2=(1/a2)+(1/b2)」の関係が成立する。
図18は、第3実施形態に係る多様レンズ(図示せず)の第1の光学系と第2の光学系の変調伝達関数特性(MTF:Modulation Transfer Function)を示すグラフである。
図19は、本発明に適用されるイメージセンサの他の実施形態を示す断面図であり、イメージセンサの要部を拡大した断面図である。
本発明は上述の実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
図20は、本発明の撮像装置の一実施形態であるスマートフォン101の外観を示す図である。図20に示すスマートフォン101は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141とを備える。尚、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
ない。
[0014]
本発明はこのような事情に鑑みてなされたもので、複数の特性を有する多様レンズの各特性に対応する画像を、通常のイメージセンサと同様の構造のイメージセンサを使用して同時に撮像することができ、これによりイメージセンサのセンサ画素の微細化や製造工数・コストの抑制を図ることができる撮像装置、撮像方法及び画像処理プログラムを提供することを目的とする。
課題を解決するための手段
[0015]
上記目的を達成するために本発明の一の態様に係る撮像装置は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と第1のマイクロレンズとは結像倍率が異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第1のマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第2のマイクロレンズを介して混信して入射し、かつ第1の受光素子とは結像倍率が異なることにより混信比率が異なる第2の受光素子とを有するイメージセンサと、イメージセンサの第1の受光素子から得られる第1の混信画像及び第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、を備えている。
[0016]
本発明の一の態様によれば、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信してイメージセンサの第1の受光素子と第2の受光素子とに入射することを許容し、その一方、イメージセンサの第1の受光素子に対応して設けられた第1のマイクロレンズと、第2の受光素子に対応して設けられた第2のマイクロレンズとの結像倍率を異ならせ、その結果、第1の受光素子と第2の受光素子との混信比率が異なるようにしている。そして、イメージセンサの第1の受光素子から得られる第1の混信画像
の領域に対応する第2の光学系とを含むことが好ましい。
[0022]
本発明の更に他の態様に係る撮像装置において、第1の光学系と第2の光学系とは、光軸が共通していることが好ましく、第1の光学系は円形の中央光学系であり、第2の光学系は中央光学系に対して同心円状に配設された環状光学系であることが更に好ましい。第1の光学系及び第2の光学系をそれぞれ回転対称の光学系にすることにより、第1の画像と第2の画像との間に視差が発生せず、かつ回転対称でない光学系に比べて画質のよい第1の画像及び第2の画像を取得することができる。
[0023]
本発明の更に他の態様に係る撮像装置において、第1の光学系と第2の光学系とは、それぞれ焦点距離、合焦距離及び変調伝達関数特性のうちの少なくとも1つが異なることが好ましい。
[0024]
更に他の態様に係る発明は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と第1のマイクロレンズとは結像倍率が異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第1のマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第2のマイクロレンズを介して混信して入射し、かつ第1の受光素子とは結像倍率が異なることにより混信比率が異なる第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、イメージセンサの第1の受光素子により光電変換された第1の混信画像と、第2の受光素子により光電変換された第2の混信画像とを取得するステップと、取得した第1の混信画像及び第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、を含んでいる。
[0025]
本発明の更に他の態様に係る撮像方法において、第1の画像及び第2の画
像を生成するステップは、第1の混信画像及び第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第1の混信画像及び第2の混信画像とに基づいて第1の画像及び第2の画像を算出することが好ましい。
[0026]
更に他の態様に係る発明は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と第1のマイクロレンズとは結像倍率が異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第1のマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第2のマイクロレンズを介して混信して入射し、かつ第1の受光素子とは結像倍率が異なることにより混信比率が異なる第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、イメージセンサの第1の受光素子により光電変換された第1の混信画像と、第2の受光素子により光電変換された第2の混信画像とを取得するステップと、取得した第1の混信画像及び第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、をコンピュータに実現させる。
[0027]
本発明の更に他の態様に係る画像処理プログラムにおいて、第1の画像及び第2の画像を生成するステップは、第1の混信画像及び第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第1の混信画像及び第2の混信画像とに基づいて第1の画像及び第2の画像を算出することが好ましい。
発明の効果
[0028]
本発明によれば、複数の特性を有する多様レンズの各特性に対応する画像を、単一のイメージセンサを使用して同時に撮像することができ、特に本発
Claims (13)
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、
第1のマイクロレンズを有する第1の受光素子と前記第1のマイクロレンズとは結像倍率が異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第1のマイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第2のマイクロレンズを介して混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、
前記イメージセンサの前記第1の受光素子から得られる第1の混信画像及び前記第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、
を備えた撮像装置。 - 前記混信除去処理部は、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項1に記載の撮像装置。
- 前記第1のマイクロレンズ及び前記第2のマイクロレンズは、それぞれ前記第1の受光素子毎及び前記第2の撮像素子毎に1つずつ設けられ、
前記第1のマイクロレンズは、前記多様レンズの瞳像を前記第1の受光素子の受光面上に第1の結像倍率により結像させ、前記第2のマイクロレンズは、前記多様レンズの瞳像を前記第2の受光素子の受光面上に前記第1の結像倍率とは異なる第2の結像倍率により結像させる請求項1又は2に記載の撮像装置。 - 前記第1のマイクロレンズと前記第2のマイクロレンズとは、それぞれ異なる第1の曲率半径及び第2の曲率半径を有し、かつ前記第1の曲率半径及び前記第2の曲率半径に応じて前記第1の受光素子の受光面及び前記第2の受光素子の受光面からそれぞれ異なる第1の距離及び第2の距離に配置される請求項1から3のいずれか1項に記載の撮像装置。
- 前記イメージセンサは、裏面照射型イメージセンサである請求項1から4のいずれか1項に記載の撮像装置。
- 前記多様レンズは、前記第1の特性を有する前記第1の領域に対応する第1の光学系と、前記第2の特性を有する前記第2の領域に対応する第2の光学系とを含む請求項1から5のいずれか1項に記載の撮像装置。
- 前記第1の光学系と前記第2の光学系とは、光軸が共通する請求項6に記載の撮像装置。
- 前記第1の光学系は円形の中央光学系であり、前記第2の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項7に記載の撮像装置。
- 前記第1の光学系と前記第2の光学系とは、それぞれ焦点距離、合焦距離及び変調伝達関数特性のうちの少なくとも1つが異なる請求項6から8のいずれか1項に記載の撮像装置。
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と前記第1のマイクロレンズとは結像倍率が異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第1のマイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第2のマイクロレンズを介して混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
を含む撮像方法。 - 前記第1の画像及び第2の画像を生成するステップは、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項10に記載の撮像方法。
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と前記第1のマイクロレンズとは結像倍率が異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第1のマイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第2のマイクロレンズを介して混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
をコンピュータに実現させる画像処理プログラム。 - 前記第1の画像及び第2の画像を生成するステップは、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項12に記載の画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014235913 | 2014-11-20 | ||
JP2014235913 | 2014-11-20 | ||
PCT/JP2015/077552 WO2016080078A1 (ja) | 2014-11-20 | 2015-09-29 | 撮像装置、撮像方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016080078A1 true JPWO2016080078A1 (ja) | 2017-08-03 |
JP6326149B2 JP6326149B2 (ja) | 2018-05-23 |
Family
ID=56013637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016560099A Active JP6326149B2 (ja) | 2014-11-20 | 2015-09-29 | 撮像装置、撮像方法及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170237967A1 (ja) |
EP (1) | EP3223510B1 (ja) |
JP (1) | JP6326149B2 (ja) |
CN (1) | CN107005651B (ja) |
WO (1) | WO2016080078A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10529763B2 (en) * | 2018-04-19 | 2020-01-07 | Semiconductor Components Industries, Llc | Imaging pixels with microlenses |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013146506A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
WO2014024745A1 (ja) * | 2012-08-06 | 2014-02-13 | 富士フイルム株式会社 | 撮像装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5076240B2 (ja) * | 2008-02-05 | 2012-11-21 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
EP2750374B1 (en) * | 2011-08-24 | 2018-03-28 | FUJIFILM Corporation | Imaging device |
-
2015
- 2015-09-29 CN CN201580063064.9A patent/CN107005651B/zh active Active
- 2015-09-29 EP EP15862079.9A patent/EP3223510B1/en active Active
- 2015-09-29 JP JP2016560099A patent/JP6326149B2/ja active Active
- 2015-09-29 WO PCT/JP2015/077552 patent/WO2016080078A1/ja active Application Filing
-
2017
- 2017-05-03 US US15/585,167 patent/US20170237967A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013146506A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
WO2014024745A1 (ja) * | 2012-08-06 | 2014-02-13 | 富士フイルム株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3223510A4 (en) | 2017-10-11 |
JP6326149B2 (ja) | 2018-05-23 |
US20170237967A1 (en) | 2017-08-17 |
CN107005651A (zh) | 2017-08-01 |
EP3223510B1 (en) | 2021-03-03 |
WO2016080078A1 (ja) | 2016-05-26 |
EP3223510A1 (en) | 2017-09-27 |
CN107005651B (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6214481B2 (ja) | 撮像装置 | |
JP6165680B2 (ja) | 撮像装置 | |
JP5959714B2 (ja) | 撮像装置 | |
JP6077967B2 (ja) | 撮像装置 | |
JP6031587B2 (ja) | 撮像装置、信号処理方法、信号処理プログラム | |
JP5982601B2 (ja) | 撮像装置及び合焦制御方法 | |
JP6367360B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
JP5542248B2 (ja) | 撮像素子及び撮像装置 | |
JP6171106B2 (ja) | 撮像装置及び合焦制御方法 | |
JPWO2015141081A1 (ja) | 撮像装置及び合焦制御方法 | |
JP6397048B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
WO2015146229A1 (ja) | 撮像装置及び合焦制御方法 | |
JP6446599B2 (ja) | 合焦制御装置、レンズ装置、撮像装置、合焦制御方法、合焦制御プログラム | |
JP6326149B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
WO2019202983A1 (ja) | 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20170418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6326149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |