JPWO2016080150A1 - 撮像装置、撮像方法及び画像処理プログラム - Google Patents
撮像装置、撮像方法及び画像処理プログラム Download PDFInfo
- Publication number
- JPWO2016080150A1 JPWO2016080150A1 JP2016560127A JP2016560127A JPWO2016080150A1 JP WO2016080150 A1 JPWO2016080150 A1 JP WO2016080150A1 JP 2016560127 A JP2016560127 A JP 2016560127A JP 2016560127 A JP2016560127 A JP 2016560127A JP WO2016080150 A1 JPWO2016080150 A1 JP WO2016080150A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- light receiving
- interference
- receiving element
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000003287 optical effect Effects 0.000 claims description 134
- 238000009826 distribution Methods 0.000 claims description 58
- 239000011159 matrix material Substances 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 38
- 210000001747 pupil Anatomy 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 17
- 230000004907 flux Effects 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 29
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 15
- 230000035945 sensitivity Effects 0.000 description 13
- 238000009499 grossing Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
- G03B19/02—Still-picture cameras
- G03B19/04—Roll-film cameras
- G03B19/07—Roll-film cameras having more than one objective
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14636—Interconnect structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Focusing (AREA)
- Cameras In General (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
(2) 受光セルの近傍に遮光マスクを配置し、多様レンズの第1の領域を通過した光束又は第2の領域を通過した光束を遮光することにより光検出感度に角度特性を持たせた指向性センサ
(3) 受光セル毎にプリズムとして機能するプリズム要素を設け、プリズム要素により光検出感度に角度特性を持たせた指向性センサ
特許文献1、2に記載の撮像装置は、瞳領域の場所に応じて特性の異なる多様レンズと、光検出感度に角度特性を持つ指向性センサとを組み合わせることで、特性の異なる多様な画像を、単一の指向性センサと多様レンズとで同時に撮像することができる。
図3は、第1実施形態に係る多様レンズ11及びイメージセンサ24の断面構成を示す図である。
次に、本発明に適用可能な混信除去方法について説明する。
第2のマイクロレンズ29Bの曲率半径:5.0μm
第1のマイクロレンズ29A及び第2のマイクロレンズ29Bの屈折率:1.55
第1のマイクロレンズ29Aの頂点と第1のフォトダイオード26Aの入射面との距離:9.1μm
第2のマイクロレンズ29Bの頂点と第2のフォトダイオード26Bの入射面との距離:9.1μm
第1の受光素子25Aと第2の受光素子25Bとの間隔(画素ピッチ):7μm
第1の受光素子25Aの第1のフォトダイオード26Aの開口サイズ/画素ピッチ:32%
第2の受光素子25Bの第2のフォトダイオード26Bの開口サイズ/画素ピッチ:32%
図11(A1)及び(A2)は、第1の受光素子25Aの第1のマイクロレンズ29A及び第2の受光素子25Bの第2のマイクロレンズ29Bにより結像される多様レンズ11の瞳像と、第1の受光素子25Aの第1のフォトダイオード26A及び第2の受光素子25Bの第2のフォトダイオード26Bのそれぞれの開口Oとの関係を示している。
図16は、図1及び図2に示した撮像装置30の要部の内部構成を示すブロック図である。
図17は、第2実施形態に係る多様レンズ11を使用した撮像メカニズムを説明するための図である。
a2:第2の光学系22(近合焦領域60b)のレンズ−受光面間距離
b1:第1の光学系21(遠合焦領域60a)のレンズ−被写体間距離
b2:第2の光学系22(近合焦領域60b)のレンズ−被写体間距離
FD1:第1の光学系21(遠合焦領域60a)の合焦距離
FD2:第2の光学系22(近合焦領域60b)の合焦距離
Q1A、Q1B及びQ2:被写体
尚、本実施形態において「合焦距離」とは、イメージセンサ24の受光素子25の受光面から受光素子25と合焦関係にある被写体までの距離を指し、図17に示す例では「FD1=a1+b1」及び「FD2=a2+b2」の関係が成立する。また、第1の光学系21(遠合焦領域60a)の焦点距離を「f1」とし、第2の光学系22(近合焦領域60b)の焦点距離を「f2」とすると、「1/f1=(1/a1)+(1/b1)」及び「1/f2=(1/a2)+(1/b2)」の関係が成立する。
図18は、第3実施形態に係る多様レンズ(図示せず)の第1の光学系と第2の光学系の変調伝達関数特性(MTF:Modulation Transfer Function)を示すグラフである。
図19は、本発明に適用されるイメージセンサの他の実施形態を示す断面図であり、イメージセンサの要部を拡大した断面図である。
図20は、本発明に適用されるイメージセンサの更に他の実施形態を示す断面図であり、イメージセンサの要部を拡大した断面図である。尚、図4に示したイメージセンサ24と共通する部分には同一の符号を付し、その詳細な説明は省略する。
本発明は上述の実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
図21は、本発明の撮像装置の一実施形態であるスマートフォン101の外観を示す図である。図21に示すスマートフォン101は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141とを備える。尚、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
イメージセンサを使用して同時に撮像することができ、これによりイメージセンサのセンサ画素の微細化や製造工数・コストの抑制を図ることができる撮像装置、撮像方法及び画像処理プログラムを提供することを目的とする。
課題を解決するための手段
[0015]
上記目的を達成するために本発明の一の態様に係る撮像装置は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と第1のマイクロレンズとは合焦度合いが異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第1のマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第2のマイクロレンズを介して混信して入射し、かつ第1の受光素子とは合焦度合いが異なることにより混信比率が異なる第2の受光素子とを有するイメージセンサと、イメージセンサの第1の受光素子から得られる第1の混信画像及び第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、を備えている。
[0016]
本発明の一の態様によれば、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信してイメージセンサの第1の受光素子と第2の受光素子とに入射することを許容し、その一方、イメージセンサの第1の受光素子に対応して設けられた第1のマイクロレンズと、第2の受光素子に対応して設けられた第2のマイクロレンズとの合焦度合いを異ならせ、その結果、第1の受光素子と第2の受光素子との混信比率が異なるようにしている。そして、イメージセンサの第1の受光素子から得られる第1の混信画像及び第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するようにしている。本発明に係るイメージセンサ
は、第1の受光素子に対して設けられた第1のマイクロレンズと、第2の受光素子に対して設けられた第2のマイクロレンズとの合焦度合いが異なるものの、通常のイメージセンサと比較して追加構造がなく、センサ画素の微細化や製造工数・コストの抑制が可能である。尚、ここでいう「特性」という表現は、「光学特性」という意味を包含する概念である。
[0017]
本発明の他の態様に係る撮像装置は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、マイクロレンズを有する第1の受光素子とマイクロレンズを有しない第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とがマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射し、かつ第1の受光素子とは合焦度合いが異なることにより混信比率が異なる第2の受光素子とを有するイメージセンサと、イメージセンサの第1の受光素子から得られる第1の混信画像及び第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、を備えている。
[0018]
マイクロレンズを有しない第2の受光素子には、多様レンズの第1の領域を通過する光束及び第2の領域を通過する光束に対する結像・集光作用がないため、マイクロレンズを有する第1の受光素子とマイクロレンズを有しない第2の受光素子とは、多様レンズの瞳像の受光面上での合焦度合いが異なるものとなり、その結果、第1の受光素子及び第2の受光素子に入射する第1の領域を通過する光束と第2の領域を通過する光束との混信比率も異なる。従って、イメージセンサの第1の受光素子から得られる第1の混信画像及び第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去することで、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成することができる。
[0019]
本発明の更に他の態様に係る撮像装置において、混信除去処理部は、第1
[0026]
更に他の態様に係る発明は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と第1のマイクロレンズとは合焦度合いが異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第1のマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第2のマイクロレンズを介して混信して入射し、かつ第1の受光素子とは合焦度合いが異なることにより混信比率が異なる第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、イメージセンサの第1の受光素子により光電変換された第1の混信画像と、第2の受光素子により光電変換された第2の混信画像とを取得するステップと、取得した第1の混信画像及び第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、を含んでいる。
[0027]
更に他の態様に係る発明は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、マイクロレンズを有する第1の受光素子とマイクロレンズを有しない第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とがマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射し、かつ第1の受光素子とは混信比率が異なる第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、イメージセンサの第1の受光素子により光電変換された第1の混信画像と、第2の受光素子により光電変換された第2の混信画像とを取得するステップと、取得した第1の混信画像及び第2
の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、を含んでいる。
[0028]
本発明の更に他の態様に係る撮像方法において、第1の画像及び第2の画像を生成するステップは、第1の混信画像及び第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第1の混信画像及び第2の混信画像とに基づいて第1の画像及び第2の画像を算出することが好ましい。
[0029]
更に他の態様に係る発明は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と第1のマイクロレンズとは合焦度合いが異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第1のマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが第2のマイクロレンズを介して混信して入射し、かつ第1の受光素子とは合焦度合いが異なることにより混信比率が異なる第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、イメージセンサの第1の受光素子により光電変換された第1の混信画像と、第2の受光素子により光電変換された第2の混信画像とを取得するステップと、取得した第1の混信画像及び第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、をコンピュータに実現させる。
[0030]
更に他の態様に係る発明は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、マイクロレンズを有する第1の受光素子とマイクロレンズを有しない第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を
通過する光束と第2の領域を通過する光束とがマイクロレンズを介して混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射し、かつ第1の受光素子とは合焦度合いが異なることにより混信比率が異なる第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、イメージセンサの第1の受光素子により光電変換された第1の混信画像と、第2の受光素子により光電変換された第2の混信画像とを取得するステップと、取得した第1の混信画像及び第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、をコンピュータに実現させる。
[0031]
本発明の更に他の態様に係る画像処理プログラムにおいて、第1の画像及び第2の画像を生成するステップは、第1の混信画像及び第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第1の混信画像及び第2の混信画像とに基づいて第1の画像及び第2の画像を算出することが好ましい。
発明の効果
[0032]
本発明によれば、複数の特性を有する多様レンズの各特性に対応する画像を、単一のイメージセンサを使用して同時に撮像することができ、特に本発明に係るイメージセンサは、通常のイメージセンサと同様の構造にすることができるため(追加構造が不要であるため)、センサ画素の微細化や製造工数・コストの抑制を図ることができる。
図面の簡単な説明
[0033]
[図1]図1は本発明を適用可能なデジタルカメラ(撮像装置)の一例を示す斜視図である。
[図2]図2は本発明を適用可能な自動追尾撮像装置(撮像装置)の一例を示す斜視図である。
[図3]図3は第1実施形態に係る多様レンズの断面構成を示す。
Claims (16)
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、
第1のマイクロレンズを有する第1の受光素子と前記第1のマイクロレンズとは合焦度合いが異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第1のマイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第2のマイクロレンズを介して混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、
前記イメージセンサの前記第1の受光素子から得られる第1の混信画像及び前記第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、
を備えた撮像装置。 - 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、
マイクロレンズを有する第1の受光素子とマイクロレンズを有しない第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記マイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、
前記イメージセンサの前記第1の受光素子から得られる第1の混信画像及び前記第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、
を備えた撮像装置。 - 前記混信除去処理部は、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項1又は2に記載の撮像装置。
- 前記第1のマイクロレンズ及び前記第2のマイクロレンズは、それぞれ前記第1の受光素子毎及び前記第2の撮像素子毎に1つずつ設けられ、
前記第1のマイクロレンズは、前記多様レンズの瞳像を前記第1の受光素子の受光面上に第1の合焦度合いで結像させ、前記第2のマイクロレンズは、前記多様レンズの瞳像を前記第2の受光素子の受光面上に前記第1の合焦度合いとは異なる第2の合焦度合いで結像させる請求項1に記載の撮像装置。 - 前記第1のマイクロレンズと前記第2のマイクロレンズとは、それぞれ曲率半径及び前記第1の受光素子の受光面及び前記第2の受光素子の受光面からの距離のうちの少なくとも一方が異なる請求項1又は4に記載の撮像装置。
- 前記イメージセンサは、裏面照射型イメージセンサである請求項1から5のいずれか1項に記載の撮像装置。
- 前記多様レンズは、前記第1の特性を有する前記第1の領域に対応する第1の光学系と、前記第2の特性を有する前記第2の領域に対応する第2の光学系とを含む請求項1から6のいずれか1項に記載の撮像装置。
- 前記第1の光学系と前記第2の光学系とは、光軸が共通する請求項7に記載の撮像装置。
- 前記第1の光学系は円形の中央光学系であり、前記第2の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項8に記載の撮像装置。
- 前記第1の光学系と前記第2の光学系とは、それぞれ焦点距離、合焦距離及び変調伝達関数特性のうちの少なくとも1つが異なる請求項7から9のいずれか1項に記載の撮像装置。
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と前記第1のマイクロレンズとは合焦度合いが異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第1のマイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第2のマイクロレンズを介して混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
を含む撮像方法。 - 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、マイクロレンズを有する第1の受光素子とマイクロレンズを有しない第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記マイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
を含む撮像方法。 - 前記第1の画像及び前記第2の画像を生成するステップは、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項11又は12に記載の撮像方法。
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1のマイクロレンズを有する第1の受光素子と前記第1のマイクロレンズとは合焦度合いが異なる第2のマイクロレンズを有する第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第1のマイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記第2のマイクロレンズを介して混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
をコンピュータに実現させる画像処理プログラム。 - 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、マイクロレンズを有する第1の受光素子とマイクロレンズを有しない第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが前記マイクロレンズを介して混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
をコンピュータに実現させる画像処理プログラム。 - 前記第1の画像及び前記第2の画像を生成するステップは、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項14又は15に記載の画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014235912 | 2014-11-20 | ||
JP2014235912 | 2014-11-20 | ||
PCT/JP2015/080049 WO2016080150A1 (ja) | 2014-11-20 | 2015-10-26 | 撮像装置、撮像方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016080150A1 true JPWO2016080150A1 (ja) | 2017-09-14 |
JP6397048B2 JP6397048B2 (ja) | 2018-10-03 |
Family
ID=56013707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016560127A Active JP6397048B2 (ja) | 2014-11-20 | 2015-10-26 | 撮像装置、撮像方法及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10142569B2 (ja) |
EP (1) | EP3223509A4 (ja) |
JP (1) | JP6397048B2 (ja) |
CN (1) | CN107005652B (ja) |
WO (1) | WO2016080150A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6814762B2 (ja) * | 2018-03-16 | 2021-01-20 | 株式会社日立製作所 | 撮像装置 |
CN110943778B (zh) * | 2018-09-25 | 2021-12-07 | 北京外号信息技术有限公司 | 光通信装置以及用于传输和接收信息的方法 |
CN111327793B (zh) * | 2018-12-13 | 2021-06-29 | 杭州海康威视数字技术股份有限公司 | 摄像机 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002071908A (ja) * | 2000-09-01 | 2002-03-12 | Comoc:Kk | マイクロレンズアレイおよびマイクロレンズアレイを用いた表示装置 |
JP2002125156A (ja) * | 2000-08-11 | 2002-04-26 | Nikon Corp | 固体撮像素子及び電子カメラ |
WO2013146506A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
WO2014024745A1 (ja) * | 2012-08-06 | 2014-02-13 | 富士フイルム株式会社 | 撮像装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4500434B2 (ja) * | 2000-11-28 | 2010-07-14 | キヤノン株式会社 | 撮像装置及び撮像システム、並びに撮像方法 |
JP4500574B2 (ja) | 2004-03-30 | 2010-07-14 | 富士フイルム株式会社 | 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ |
CN103141082B (zh) | 2010-10-01 | 2017-03-08 | 富士胶片株式会社 | 成像装置 |
JP5634946B2 (ja) | 2011-06-06 | 2014-12-03 | 富士フイルム株式会社 | 撮像装置 |
JP5525109B2 (ja) | 2011-08-23 | 2014-06-18 | 富士フイルム株式会社 | 撮像装置 |
JP5507764B2 (ja) * | 2011-08-24 | 2014-05-28 | 富士フイルム株式会社 | 撮像装置 |
JP5898501B2 (ja) * | 2012-01-13 | 2016-04-06 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 |
-
2015
- 2015-10-26 WO PCT/JP2015/080049 patent/WO2016080150A1/ja active Application Filing
- 2015-10-26 EP EP15861459.4A patent/EP3223509A4/en not_active Withdrawn
- 2015-10-26 CN CN201580063159.0A patent/CN107005652B/zh active Active
- 2015-10-26 JP JP2016560127A patent/JP6397048B2/ja active Active
-
2017
- 2017-04-28 US US15/499,911 patent/US10142569B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002125156A (ja) * | 2000-08-11 | 2002-04-26 | Nikon Corp | 固体撮像素子及び電子カメラ |
JP2002071908A (ja) * | 2000-09-01 | 2002-03-12 | Comoc:Kk | マイクロレンズアレイおよびマイクロレンズアレイを用いた表示装置 |
WO2013146506A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
WO2014024745A1 (ja) * | 2012-08-06 | 2014-02-13 | 富士フイルム株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107005652A (zh) | 2017-08-01 |
EP3223509A1 (en) | 2017-09-27 |
US20170257581A1 (en) | 2017-09-07 |
US10142569B2 (en) | 2018-11-27 |
CN107005652B (zh) | 2019-12-13 |
EP3223509A4 (en) | 2017-10-11 |
WO2016080150A1 (ja) | 2016-05-26 |
JP6397048B2 (ja) | 2018-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6214481B2 (ja) | 撮像装置 | |
JP5959714B2 (ja) | 撮像装置 | |
JP6165680B2 (ja) | 撮像装置 | |
JP5690977B2 (ja) | 撮像素子及び撮像装置 | |
JP6367360B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
JP6077967B2 (ja) | 撮像装置 | |
WO2015033646A1 (ja) | 撮像装置及び合焦制御方法 | |
JP6171106B2 (ja) | 撮像装置及び合焦制御方法 | |
JP5542248B2 (ja) | 撮像素子及び撮像装置 | |
JP6397048B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
WO2015146229A1 (ja) | 撮像装置及び合焦制御方法 | |
JP6446599B2 (ja) | 合焦制御装置、レンズ装置、撮像装置、合焦制御方法、合焦制御プログラム | |
JP6326149B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20170418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6397048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |