JP5649702B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5649702B2 JP5649702B2 JP2013187647A JP2013187647A JP5649702B2 JP 5649702 B2 JP5649702 B2 JP 5649702B2 JP 2013187647 A JP2013187647 A JP 2013187647A JP 2013187647 A JP2013187647 A JP 2013187647A JP 5649702 B2 JP5649702 B2 JP 5649702B2
- Authority
- JP
- Japan
- Prior art keywords
- microlens
- optical system
- imaging
- imaging optical
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 110
- 230000003287 optical effect Effects 0.000 claims description 77
- 238000006243 chemical reaction Methods 0.000 claims description 38
- 210000001747 pupil Anatomy 0.000 claims description 24
- 230000004907 flux Effects 0.000 claims description 20
- 230000004075 alteration Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
第1のF値と、第1のF値よりも大きい第2のF値とをとる撮像光学系と、複数の画素を有し、撮像光学系を通過した光束を光電変換する撮像素子と、撮像素子の画素の各々に、撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を結像するマイクロレンズアレイであって、各マイクロレンズが撮像素子の所定数の画素に対応付けられているマイクロレンズアレイと、を有する撮像装置であって、各マイクロレンズは、該マイクロレンズに対応付けられた所定数の画素において、撮像光学系が第1のF値をとる場合に該マイクロレンズを通過する光束が結像される範囲に対する、撮像光学系が第2のF値をとる場合に該マイクロレンズを通過する光束が結像される範囲の比率が、第2のF値に対する第1のF値の比率よりも高い歪曲収差特性を示すことを特徴とする。
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後にLFデータから特定の距離の被写体に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、LFデータから特定の距離の被写体に合焦した画像を生成することが可能な任意の機器に適用可能である。
・「ライトフィールド(LF:Light Field)データ」
本実施形態のデジタルカメラ100が有する撮像部106から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系104の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。LFデータは、光線空間情報とも呼ばれる。
・「再構成画像」
LFデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面(再構成面)での画素配置に従ってLFデータの画素を並び替え、再構成画像の1画素に対応する画素の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定される。該画素配置において1つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の1画素を生成することができる。
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
ここで、本実施形態のデジタルカメラ100において光軸上の撮像光学系104と撮像素子との間に設けられるマイクロレンズアレイ105について、図を用いて説明する。
ここで、再構成画像の生成方法の概要について、図を用いて説明する。
で表される。なお、Fは撮像レンズからマイクロレンズアレイまでの距離、αFは撮影レンズから再構成面までの距離(αはリフォーカス係数:再構成面までの距離を決定するための可変係数)である。
で表される。なお、(u,v)を瞳領域の代表座標とすることで、該式は単純加算により計算できる。
ここで、本発明の課題である、撮像光学系104のFナンバーfsystemとマイクロレンズアレイ105の各マイクロレンズのFナンバーfmicroとが一致しない場合に生じる問題について、図を参照して説明する。なお、以下の説明では、Fナンバーがf2.8及びf5.6の撮像光学系104がデジタルカメラ100の撮影において用いられるものとして説明するが、本発明の実施はこれらのFナンバーに限られるものではない。
マイクロレンズ201のFナンバーがf2.8であり、撮像光学系104のFナンバーがf2.8のときの射出瞳301を通過する光束が、1つのマイクロレンズ201に対応付けられた光電変換素子群に結像されるように設計されている場合を考える。このとき、レンズ変更等により撮像光学系104のFナンバーがf5.6に変更されると、撮像光学系104の有効口径は小さく、即ち撮像光学系104の射出瞳301は狭くなる。つまり、1つのマイクロレンズ201に対応付けられた光電変換素子群は、図6(a)に示されるように光束が結像される範囲が狭まることになる。具体的には撮像光学系104がf2.8のときに光束が結像される範囲の垂直方向あるいは水平方向の最大長さを1とすると、撮像光学系104がf5.6の時にはFナンバーの比をとり2.8/5.6=1/2の長さになる。このとき得られたLFデータから生成される再構成画像は、マイクロレンズ201のFナンバーがf5.6であった場合に得られるLFデータから生成される再構成画像よりも、分解能が低くなる。
一方、マイクロレンズ201のFナンバーがf5・6であり、撮像光学系104のFナンバーがf5.6のときの射出瞳301を通過する光束が、1つのマイクロレンズ201に対応付けられた光電変換素子群に結像されるように設計されている場合を考える。このとき、撮像光学系104のFナンバーがf2.8に変更されると、撮像光学系104の有効口径が大きく、即ち撮像光学系104の射出瞳301は拡がる。つまり、図6(b)に示されるように、1つのマイクロレンズ201に対応付けられた光電変換素子群の範囲よりも広い範囲に光束が結像されることになる。即ち、予めマイクロレンズ201に対応付けられた光電変換素子群は、光束の一部の範囲しか結像されないため、射出瞳301の拡大分の光束についての情報を失うことになる。また拡大分の光束についての情報は、図示されるように隣接するマイクロレンズ201に対応付けられた光電変換素子に結像されることになる。このため、得られるLFデータは隣り合うマイクロレンズ201に対応する一部の画素においてクロストークが発生することになり、該LFデータを用いても好適な再構成画像を生成することができない可能性がある。
・第1のFナンバーの光学系が使用された場合に、1つのマイクロレンズを通過する光束が結像される範囲の幅及び高さが、該マイクロレンズに対応付けられた全ての光電変換素子群で規定される範囲の幅及び高さと一致する
・1つのマイクロレンズを通過する光束が撮像素子上に結像される範囲について、光学系が第1のFナンバーをとる場合の値に対する光学系が第2のFナンバーをとる場合の値の比率が、第2のFナンバーに対する第1のFナンバーの比率よりも高い
ように、マイクロレンズアレイ105の各マイクロレンズを設計する。具体的には図6(c)に示されるように、f5.6に対応する光束は密集させず、f2.8に対応する光束のうち、f5.6に対応する光束の外側にある光束については密集させるような歪曲収差特性を有するマイクロレンズをマイクロレンズアレイ105に用いる。このようなマイクロレンズを通過し、該マイクロレンズに対応付けられた光電変換素子群に結像され出力される画像は、所謂樽型歪みを有する画像となる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (12)
- 複数の画素を有し、撮像光学系を通過した光束を光電変換する撮像素子と、
前記撮像素子の画素の各々に、前記撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を結像するマイクロレンズアレイを有する撮像装置であって、
各マイクロレンズは、該マイクロレンズにおける像高が高くなるほど収差が強くなるような歪曲収差特性を有する
ことを特徴とする撮像装置。 - 前記各マイクロレンズは、前記撮像光学系が第1のF値をとる場合に該マイクロレンズを通過する光束が結像される範囲の幅及び高さが、該マイクロレンズに対応付けられた所定数の画素で規定される範囲の幅及び高さに対応する歪曲収差特性を有することを特徴とする請求項1に記載の撮像装置。
- 前記光電変換により得られた画像信号について、前記マイクロレンズによる歪曲収差の補正を行う補正手段をさらに有することを特徴とする請求項1または2に記載の撮像装置。
- 前記補正手段は、前記撮像光学系による歪曲収差を補正する処理をさらに行うことを特徴とする請求項3に記載の撮像装置。
- 前記補正手段により前記マイクロレンズによる歪曲収差が補正された画像信号を用いて、特定の被写体に合焦する再構成画像を生成する生成手段をさらに有することを特徴とする請求項3または4に記載の撮像装置。
- 前記補正手段は、前記生成手段により生成された再構成画像に対して前記撮像光学系による歪曲収差の補正を行うことを特徴とする請求項5に記載の撮像装置。
- 前記光電変換により得られた画像信号を記録する記録手段をさらに有することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
- 前記光電変換により得られた画像信号について、前記マイクロレンズによる歪曲収差の補正を行う補正手段と、
前記補正手段により歪曲収差が補正された画像信号を記録する記録手段と、をさらに有する
ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 - 前記マイクロレンズは、魚眼レンズであることを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
- 複数の画素を有し、撮像光学系を通過した光束を光電変換する撮像素子と、
前記撮像素子の画素の各々に、前記撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を結像するマイクロレンズアレイを有する撮像装置であって、
前記光電変換により得られた画像信号について、前記マイクロレンズによる歪曲収差の補正を行う第1の補正手段と、
前記撮像光学系による歪曲収差の補正を行う第2の補正手段と、
前記第2の補正手段により出力される画像を符号化し、記録する記録手段と、を有する
ことを特徴とする撮像装置。 - 前記第1の補正手段により歪曲収差が補正された画像信号を用いて、特定の被写体に合焦する再構成画像を生成する生成手段をさらに有し、
前記第2の補正手段は、前記再構成画像に対して前記撮像光学系による歪曲収差の補正を行う
ことを特徴とする請求項10に記載の撮像装置。 - 第1のF値と、前記第1のF値よりも大きい第2のF値とをとる撮像光学系と、
複数の画素を有し、前記撮像光学系を通過した光束を光電変換する撮像素子と、
前記撮像素子の画素の各々に、前記撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を結像するマイクロレンズアレイであって、各マイクロレンズが前記撮像素子の所定数の画素に対応付けられているマイクロレンズアレイと、を有する撮像装置であって、
前記各マイクロレンズは、該マイクロレンズに対応付けられた前記所定数の画素において、前記撮像光学系が前記第1のF値をとる場合に該マイクロレンズを通過する光束が結像される範囲に対する、前記撮像光学系が前記第2のF値をとる場合に該マイクロレンズを通過する光束が結像される範囲の比率が、前記第2のF値に対する前記第1のF値の比率よりも高くなるような歪曲収差特性を有する
ことを特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013187647A JP5649702B2 (ja) | 2012-09-21 | 2013-09-10 | 撮像装置 |
US14/027,819 US9165965B2 (en) | 2012-09-21 | 2013-09-16 | Image sensing apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012208896 | 2012-09-21 | ||
JP2012208896 | 2012-09-21 | ||
JP2013187647A JP5649702B2 (ja) | 2012-09-21 | 2013-09-10 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014078934A JP2014078934A (ja) | 2014-05-01 |
JP5649702B2 true JP5649702B2 (ja) | 2015-01-07 |
Family
ID=50337934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013187647A Active JP5649702B2 (ja) | 2012-09-21 | 2013-09-10 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9165965B2 (ja) |
JP (1) | JP5649702B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6876494B2 (en) * | 2002-09-30 | 2005-04-05 | Fuji Photo Film Co., Ltd. | Imaging forming apparatus |
JP4322757B2 (ja) * | 2004-09-06 | 2009-09-02 | 富士フイルム株式会社 | パターン形成材料及びパターン形成方法 |
US20080191604A1 (en) * | 2006-09-27 | 2008-08-14 | Evident Technologies | Retro-emission systems comprising microlens arrays and luminescent emitters |
JP5040493B2 (ja) * | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
-
2013
- 2013-09-10 JP JP2013187647A patent/JP5649702B2/ja active Active
- 2013-09-16 US US14/027,819 patent/US9165965B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20140084139A1 (en) | 2014-03-27 |
US9165965B2 (en) | 2015-10-20 |
JP2014078934A (ja) | 2014-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7001080B2 (ja) | 撮像装置 | |
US9445002B2 (en) | Image processing apparatus, image capturing apparatus, control method, and recording medium | |
JP6222908B2 (ja) | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 | |
JP6555863B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6126491B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
KR20140097465A (ko) | 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치 | |
JP2013198016A (ja) | 撮像装置 | |
US10291899B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image | |
JP5769773B2 (ja) | カメラシステム及び焦点検出画素の補正方法 | |
JP6559021B2 (ja) | 撮像装置およびその制御プログラム | |
JP2020046482A (ja) | 撮像装置 | |
JP5871535B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5649702B2 (ja) | 撮像装置 | |
JP6074201B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
JP6138222B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6537416B2 (ja) | 画像データ生成装置、撮像装置および画像データ生成プログラム | |
JP6289515B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2016057402A (ja) | 撮像装置及びその制御方法 | |
JP7329136B2 (ja) | 撮像装置 | |
JP7099584B2 (ja) | 撮像装置 | |
JP6046912B2 (ja) | 撮像装置及びその制御方法 | |
JP2018182549A (ja) | 撮像装置 | |
JP2018007076A (ja) | 撮像装置および画像処理装置 | |
JP6478520B2 (ja) | 画像処理装置及びその制御方法、撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2016045322A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141014 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141111 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5649702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |