JP5067154B2

JP5067154B2 - 撮像装置

Info

Publication number: JP5067154B2
Application number: JP2007335718A
Authority: JP
Inventors: 健二山本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-12-27
Filing date: 2007-12-27
Publication date: 2012-11-07
Anticipated expiration: 2027-12-27
Also published as: JP2009159357A

Description

本発明は、マイクロレンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、開口絞りを有する撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成されている。これにより、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視野や焦点での観察画像を再構築できるようになっている。
国際公開第０６／０３９４８６号パンフレット特開２０００−２２４５９３号公報 Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、単眼の撮像レンズと撮像素子とを搭載したカメラなどの撮像装置では、奥行き方向のボケ具合を調整するために、撮影時に開口絞りの絞り具合を調節して被写界深度の調整が行われている。一般に、被写界深度は以下の（１１）式および（１２）式のように表され、開口絞りの絞り具合を小さくするほど深くなり、大きくするほど浅くなる。

また、特徴的なボケを表現するために、特殊なレンズ系を用いて撮影することによりレンズを通過する光線の透過率を制御することも行われている。例えば、図１４（Ａ）に示したようなメインレンズ２００の周縁部分にアポダイゼーション光学エレメント２００Ａを付加したスムーストランスフォーカスレンズ（ＳＴＦレンズ）や、図１４（Ｂ）に示したようなメインレンズ２０１の中央部分に遮蔽板２０１Ａを設けた反射望遠レンズなどが挙げられる。このように、被写界深度の調整や特徴的なボケの表現は、開口絞りの調節やレンズの選定などによりいずれも撮影時に行われている。

しかしながら、近年、上記のような被写界深度の調整や特徴的なボケの表現を、撮影時ではなく撮影後に行うことが望まれている。そこで、撮像した画像のエッジ（輪郭）部分を強調したりぼかしたりする画像処理ソフトウエアなども開発されているが、これは実際に取得された光線情報に基づいて調整するものではないため、自然なボケ具合を表現することが困難であるという問題がある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、実際に取得した光線情報に基づいて、撮影後に画像の被写界深度を調整したり特徴的なボケを表現することが可能な撮像装置を提供することにある。

本発明の撮像装置は、撮像レンズと、光線の進行方向を保持して受光すると共に、その受光した光線に基づいて複数の画素データを取得する撮像素子と、撮像レンズの結像面上に配置され、撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、撮像素子で取得された複数の画素データを用いて画像を再構築する画像処理部とを備えている。画像処理部は、画像を再構築する際に、複数の画素データに対し、光線の入射角に応じて段階的に変化する重み係数を用いた重み付けを行うことにより、被写界深度を調整する。

本発明の撮像装置では、撮像レンズによる撮像対象物の像は、マイクロレンズアレイ部上に結像する。そして、マイクロレンズアレイ部への入射光線がマイクロレンズアレイ部を介して撮像素子へ到達する。これにより、撮像対象物の像はマイクロレンズごとに撮像素子上に結像し、光線の強度分布に加え光線の進行方向の情報をも含んだ複数の画素データが得られる。画像処理部において、上記のようにして得られた複数の画素データに対して、光線の進行方向に応じて重み付けがなされ画像が再構築される。

本発明の撮像装置によれば、画像処理部において、撮像素子で得られた複数の画素データに対し、光線の進行方向に応じて所定の重み付けを行い画像を再構築するようにしたので、実際に取得した光線情報に基づいて、撮影後に画像の被写界深度を調整したり特徴的なボケを表現することができる。これにより、撮影時に開口絞りを調節することなく、あるいはＳＴＦレンズや反射望遠レンズなどの特殊なレンズ系を用いることなく、様々なボケ具合の画像を得ることが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、被写体２を撮像して画像処理を施すことにより画像データＤoutを出力するものであり、開口絞り１０を有する撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の開口の形状（例えば円形状）に相似形となる被写体２の像（後述のユニット像Ｕ１）が撮像素子１３上にマイクロレンズごとに形成されるようになっている。

撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ１２は、複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。マイクロレンズの平面形状は、例えば図２（Ａ）に示したような円形（マイクロレンズ１２−１）であってもよく、図２（Ｂ）に示したような正方形（マイクロレンズ１２−２）であってもよい。各マイクロレンズは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。

また、撮像レンズ１１のＦナンバーＦ_MLと、マイクロレンズアレイのＦナンバーＦ_MLAとは、概ね等しくなっていることが好ましい。これは、図３（Ａ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも小さい場合（Ｆ_ML＜Ｆ_MLAの場合）には、隣接するマイクロレンズによる撮像光線間で重なりが生じ、これによりクロストークが発生するため、再構築画像の画質が劣化してしまうからである。また一方で、図３（Ｂ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも大きい場合（Ｆ_ML＞Ｆ_MLAの場合）には、マイクロレンズによる撮像光線が受光されない撮像画素が生じるため、撮像画素を十分に利用することができず、再構成画像の画素数が低下してしまうからである。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の画素データを含む撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）上には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（以下、単に画素という）がマトリクス状に配置され、複数の画素に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。例えば、受光面上の画素数はＭ×Ｎ＝３７２０×２５２０＝９３７４４００個であり、このうちｍ×ｎ＝１２×１２＝１４４個の画素に対して一つのマイクロレンズが割り当てられるようになっている。ここで、各マイクロレンズに対する画素の割り当て個数ｍ，ｎの値が大きくなるに従って、後述する再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０を構成する複数の画素データに対して、その光線の進行方向に応じて重み付けを行い、例えば「Light Field Photography」と呼ばれる手法を用いた所定の並べ替え処理を施すことにより、例えば任意の焦点に設定した画像（再構築画像）データＤoutを生成できるようになっている。また、その他の画像処理、例えば欠陥（撮像データに含まれる黒とび等）補正処理、黒レベルの設定処理（クランプ処理）、デモザイク処理などのカラー補間処理、ノイズ（暗い場所や感度の足りない場所で撮像したときに発生するノイズ）低減処理、輪郭強調処理、ホワイトバランス（色バランス）調整処理およびガンマ（明暗やコントラスト）補正処理などが適宜行われるようになっている。この画像処理部１４の詳細な画像処理動作については後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４、撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

次に、本実施の形態の撮像装置１の作用および効果について、図１〜図７を参照して説明する。図４（Ａ）は、撮像素子１３により得られた実際の撮像データの一例を表すものであり、図４（Ｂ）は図４（Ｂ）の領域Ｓを拡大したものである。図５は、撮像データＤ０に含まれる光線の情報を説明するための模式図である。図６は、画像処理部におけるリフォーカス演算処理に基づく積分処理（並べ替え処理）を説明するための模式図である。図７は、並べ替え処理における重み付け処理動作を説明するための模式図である。

撮像装置１では、撮像レンズ１１による被写体２の像は、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その進行方向に応じて撮像素子１３上の異なる位置で受光され、開口絞りの開口形状に相似形となる被写体２の像（以下、ユニット像という）がマイクロレンズごとに結像する。このようにして、撮像素子１３で受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。撮像データＤ０は、例えば図４（Ａ）に示したような画像データであり、ユニット像に対応した複数の画像領域Ｕ１によって構成されている。また、各画像領域Ｕ１は、図４（Ｂ）に示したように、各マイクロレンズに割り当てられた画素数、例えば１２×１２＝１４４個の画素データによって構成されている。

ここで、撮像素子１３で受光される光線について図５を参照して説明する。このように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の撮像画素の配置によって光線の入射方向が決まっている。

また、撮像データＤ０において、画像領域Ｕ１ごとに互いに同一の位置にある画素データは、それぞれ同一の光線の進行方向についての情報を保持している。また、各画像領域Ｕ１は、画素ごとに光線の進行方向が少しづつ変化した状態で取得された画素データによって構成されている。このため、一つのマイクロレンズに割り当てられた画素数が任意の焦点での分解能となる。

そして、上記のような撮像データＤ０が画像処理部１４へ入力されると、所定の並べ替え処理が施される。具体的には、図６に示したように、撮像レンズ面１１０、撮像素子面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_Ｆ’は、以下の（１）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_Ｆ’（ｓ，ｔ）は、上記検出強度Ｌ_Ｆ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。したがって、この（２）式からリフォーカス演算処理を行うことにより、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。

この際、本実施の形態では、光線の進行方向の情報に応じて、例えば画像領域Ｕ１を形成する画素データごとに重み係数を乗じて重み付けを行ったのち、上記リフォーカス演算処理に基づく積分処理を施す。例えば、撮像素子１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、撮像素子１３への入射角が相対的に大きい光線については、重み係数０（ゼロ）を乗じることにより積分処理に含めない。例えば、撮像素子１３への入射角が相対的に小さい光線は画像領域Ｕ１の中央の領域に位置することとなるため、図７に示したように、画像領域Ｕ１における中央部（図中、斜線部分）で取得された画素データのみを用いて積分処理を行う。

上記のような並べ替え処理により再構築された画像のデータは、他の画像処理、例えばノイズ低減処理、輪郭強調処理、ホワイトバランス調整、ガンマ補正などが適宜施されたのち、画像データＤoutとして画像処理部１４から出力される。

以上のように、撮像装置１によれば、画像処理部１４において任意の焦点に設定した画像を再構築する際に、撮像素子１３で取得された複数の画素データに対し、撮像素子１３への入射角が相対的に小さい光線の画素データのみに基づいて、所定の並べ替え処理（上述のリフォーカス演算処理に基づく積分処理）を施すようにしたので、開口絞りにおける光線の透過率を開口の中央部と周縁部で変化させた場合と同様の効果を得ることができる。よって、あたかも開口絞り１０を絞ったかのように、再構築した画像の被写界深度を深く表現することができる。従って、実際に取得した光線情報に基づいて、撮影後に画像の被写界深度を調整することが可能となる。

また、このような撮像装置１は、例えば図８（Ａ），（Ｂ）に示したようなカメラ３に適用することができる。なお、図８は、カメラ３の概略構成を表し、（Ａ）は正面図、（Ｂ）は側面図である。このカメラ３は、筐体３００の内部に撮像装置１を備えており、筐体３００の上部には、シャッタ１７、フラッシュ１８、ファインダ光学系１９などが設けられている。また、撮像装置１は、このようなカメラの他にも、位置センサや生体センサ、光学顕微鏡などに適用することが可能である。

［第２の実施の形態］
図９は、本発明の第２の実施の形態に係る画像処理部１４での並べ替え処理における重み付け動作を説明するための模式図である。本実施の形態では、この並べ替え処理における重み付け動作以外は上記第１の実施の形態と同様の構成、処理動作となっている。よって、上記第１の実施の形態と同様の構成要素については同一の符号を付し適宜説明を省略する。

本実施の形態の画像処理部１４では、撮像素子１３により取得された撮像データＤ０を構成する複数の画素データに対して、光線の進行方向に応じて、例えば画像領域Ｕ１を形成する画素データごとに重み係数を乗じて重み付けを行い、上述したようなリフォーカス演算処理に基づく積分処理を施すようになっている。但し、撮像素子１３への入射角が相対的に大きい光線の情報のみを用いて積分処理を行うようになっている。言い換えると、撮像素子１３への入射角が相対的に小さい光線については、重み係数０を乗じることにより積分処理に含めないようになっている。例えば、撮像素子１３への入射角が相対的に大きい光線は画像領域Ｕ１の周縁の領域に位置することとなるため、図９に示したように、画像領域Ｕ１における周縁部（図中、斜線部分）で取得された画素データのみを用いて積分処理を行うようになっている。

このように、撮像素子１３への入射角が相対的に大きい光線の情報のみを用いて積分処理を行い画像を再構築することで、あたかも反射望遠レンズのように開口絞りの中央に遮蔽板を設けた光学系で撮像したかのように、再構成した画像の被写界深度を浅く表現することができ、またデフォーカス部では独特のリング状のボケを表現することができる。よって、実際に取得した光線情報に基づいて、撮影後に画像の被写界深度を調整したり特徴的なボケを表現することが可能となる。

［第３の実施の形態］
図１０は、本発明の第３の実施の形態に係る画像処理部１４での並べ替え処理における重み付け動作を説明するための模式図である。本実施の形態では、この並べ替え処理における重み付け動作以外は上記第１の実施の形態と同様の構成、処理動作となっている。よって、上記第１の実施の形態と同様の構成要素については同一の符号を付し適宜説明を省略する。

本実施の形態の画像処理部１４では、撮像素子１３により取得された撮像データＤ０を構成する複数の画素データに対して、光線の進行方向に応じて、例えば画像領域Ｕ１を形成する画素データごとに重み係数を乗じて重み付けを行い、上述したようなリフォーカス演算処理に基づく積分処理を施すようになっている。但し、本実施の形態では、撮像素子１３への入射角が大きい光線ほど重み付けを弱くして積分処理を行うようになっている。例えば、図１０に示したように、画像領域Ｕ１において中央部から周縁部となるに従って徐々に重み係数を小さくして積分処理を行うようになっている。なお、図１０では、画像領域Ｕ１において、色の濃い（黒い）部分ほど重み係数が小さいことを示している。

このように、撮像素子１３への入射角が大きい光線ほど重み付けを弱くして積分処理を行い画像を再構築することで、あたかもＳＴＦレンズのように開口絞りの周縁部ほど透過率を低下させた光学系で撮像したかのように、再構築した画像の被写界深度を深く表現することができ、またデフォーカス部ではボケが徐々に少なくなる画像を表現することができる。よって、実際に取得した光線情報に基づいて、撮影後に画像の被写界深度を調整したり特徴的なボケを表現することが可能となる。

［第４の実施の形態］
図１１は、本発明の第４の実施の形態に係る画像処理部１４での並べ替え処理における重み付け動作を説明するための模式図である。本実施の形態では、この並べ替え処理における重み付け動作以外は上記第１の実施の形態と同様の構成、処理動作となっている。よって、上記第１の実施の形態と同様の構成要素については同一の符号を付し適宜説明を省略する。

本実施の形態の画像処理部１４では、撮像素子１３により取得された撮像データＤ０を構成する複数の画素データに対して、光線の進行方向に応じて、例えば画像領域Ｕ１を形成する画素データごとに重み係数を乗じて重み付けを行い、上述したようなリフォーカス演算処理に基づく積分処理を施すようになっている。但し、撮像素子１３への入射角が小さい光線ほど重み付けを弱くして積分処理を行うようになっている。例えば、図１１に示したように、画像領域Ｕ１において周縁部から中央部となるに従って徐々に重み係数を小さくして積分処理を行うようになっている。なお、図１１では、画像領域Ｕ１において、色の濃い（黒い）部分ほど重み係数が小さいことを示している。

このように、撮像素子１３への入射角が小さい光線ほど重み付けを弱くして積分処理を行い画像を再構築することで、あたかも開口絞りの中央部ほど透過率を低下させた光学系で撮像したかのように、再構築した画像の被写界深度を浅く表現することができ、またデフォーカス部ではボケが急速に少なくなる画像を表現することができる。よって、実際に取得した光線情報に基づいて、撮影後に画像の被写界深度を調整したり特徴的なボケを表現することが可能となる。

（実施例）
図１２（Ａ）〜（Ｅ）は、上述した第１〜第４の実施の形態における画像処理をそれぞれ施した場合の実際の画像を表すものである。ここで、図１２（Ａ）は、撮像素子１３上で各マイクロレンズに１２×１２＝１４４個（１４４pixel）の画素を割り当てた場合において、半径６pixelの円形の画像領域Ｕ１に対応する全ての画素データに対して積分処理を施した場合の画像（重み付けなしの標準画像）である。

これに対して、図１２（Ｂ）は、撮像素子１３への入射角が相対的に小さな光線情報として、画像領域Ｕ１内の半径３pixelの中央部に対応する画素データについてのみ積分処理を施した場合（第１の実施の形態）の画像である。また、図１２（Ｃ）は、撮像素子１３への入射角が相対的に大きな光線情報として、画像領域Ｕ１内の半径４pixelから６pixelの周縁部（半径６pixelの領域から半径３pixelの領域を除いた領域）についてのみ積分処理を施した場合（第２の実施の形態）の画像である。また、図１２（Ｄ）は、撮像素子１３への入射角が大きな光線ほど重み付けを弱くして積分処理を施した場合（第３の実施の形態）の画像である。この際、１２×１２pixelの画素データに対して、図１３（Ａ）に示したような特性に基づいて重み係数（０〜１）を乗じた。また、図１２（Ｅ）は、撮像素子１３への入射角が小さな光線ほど重み付けを弱くして積分処理を施した場合（第４の実施の形態）の画像である。この際、１２×１２pixelの画素データに対して、図１３（Ｂ）に示したような特性に基づいて重み係数（０〜１）を乗じた。なお、図１３（Ａ），（Ｂ）における左図は１２×１２pixel内での重み付けを模式的に表す（色が濃い（黒い）領域ほど重み付けが弱い）ものであり、右図は画像領域Ｕ１の中心を通る線上での重み係数を表すものである。

図１２（Ｂ）〜（Ｅ）に示したように、所定の重み付けを行って積分処理を施した画像では、重み付けをすることなく積分処理を施した図１２（Ａ）の標準画像に比べて、被写体の輪郭や奥行き方向におけるボケがそれぞれ独特に表現されている。このように、画像処理部１４において、任意の焦点に設定した画像を再構築する際に、光線の進行方向に応じて重み付けを行ったのち所定の積分処理を施すことで、撮影後において被写界深度を調整したり特徴的なボケを表現できることがわかる。

以上、実施の形態および実施例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、画像処理部１４における重み付けの例として、画像領域Ｕ１の中央部（半径３pixel内）あるいは周縁部（半径４〜６pixel）の画素データのみに基づいて積分処理を行う場合や、中央部から周縁部にかけて徐々に重みが弱く（強く）なるように重み係数を乗じた画素データに対して積分処理を行う場合を例に挙げて説明したが、本発明はこれに限定されるものではない。各マイクロレンズに割り当てられる画素数や、必要とされるボケ具合に応じて、積分処理に用いる画素データの領域を加減したり、重み係数を段階的に変化させるようにしてもよい。このように、画像処理部において、光線の進行方向に応じた重み付けを適宜行うことで、様々なボケ具合の画像を再構築することが可能である。

また、上記実施の形態等では、一つのマイクロレンズに対して１２行１２列の複数の画素を割り当てることで、撮像素子１３への入射光線が光線の位置情報に加え、その進行方向の情報をも含み、これに所定の画像処理を施すことによって任意の焦点での画像を再構築する場合を例に挙げて説明したが、これに限定されず、必要とされる再構築画像の画素数や、設計仕様によって、マイクロレンズへの割り当て画素数を決定するようにすればよい。

また、上記実施の形態では、開口絞りの位置を撮像レンズの被写体側（入射側）に配置した構成としているが、これに限定されず、撮像レンズの像側（出射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

また、上記実施の形態では、画像処理部１４を、撮像装置１の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。図１に示したマイクロレンズアレイの概略構成を表す平面図である。マイクロレンズアレイのＦナンバーを説明するための模式図である。撮像素子で得られた実際の撮像データを表すものである。撮像素子に入射する光線の情報を説明するための模式図である。画像処理部におけるリフォーカス演算処理を説明するための模式図である。画像処理部における重み付け動作の一例を説明するための模式図である。図１に示した撮像装置の一適用例を表すものである。本発明の第２の実施の形態に係る画像処理部での重み付け動作の一例を説明するための模式図である。本発明の第３の実施の形態に係る画像処理部での重み付け動作の一例を説明するための模式図である。本発明の第４の実施の形態に係る画像処理部での重み付け動作の一例を説明するための模式図である。本発明の第１〜第４の実施の形態での重み付けにより実際に得られた画像である。図１２（Ｄ），（Ｅ）に示した画像の重み係数を表す図である。比較例に係るＳＴＦレンズおよび反射望遠レンズの概略構成を表す模式図である。

符号の説明

１…撮像装置、３…カメラ、１０…開口絞り、１１…撮像レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、２…被写体。

Claims

撮像レンズと、
光線の進行方向を保持して受光すると共に、その受光した光線に基づいて複数の画素データを取得する撮像素子と、
前記撮像レンズの結像面上に配置され、前記撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、
前記撮像素子で取得された複数の画素データを用いて画像を再構築する画像処理部とを備え、
前記画像処理部は、前記画像を再構築する際に、前記複数の画素データに対し、光線の入射角に応じて段階的に変化する重み係数を用いた重み付けを行うことにより、被写界深度を調整する
撮像装置。
前記画像処理部は、前記撮像素子への入射角が相対的に小さい光線の画素データのみに基づいて画像を再構築する
請求項１記載の撮像装置。
前記画像処理部は、前記撮像素子への入射角が相対的に大きい光線の画素データのみに基づいて画像を再構築する
請求項１記載の撮像装置。
前記画像処理部は、前記撮像素子への入射角が大きい光線ほど重み付けを弱くして画像を再構築する
請求項１記載の撮像装置。
前記画像処理部は、前記撮像素子への入射角が小さい光線ほど重み付けを弱くして画像を再構築する
請求項１に記載の撮像装置。