JP5459337B2 - 撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像装置、画像処理方法及びプログラムに関する。

近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置であるプレノプティックカメラが提案されている（例えば、特許文献１参照）。

このプレノプティックカメラは、従来の撮像レンズであるメインレンズと撮像素子との間に、複数の極小レンズ（以下、「マイクロレンズ」と呼ぶ）を格子状に配置することで構成されたマイクロレンズアレイが配置されている。

マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素に集光する。プレノプティックカメラは、個々のマイクロレンズによって撮像素子内の個々の画素に集光された像（以下、「サブイメージ」と呼ぶ）を合成することにより、撮像画像（以下、「ライトフィールド画像」と呼ぶ）を生成する。

ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。すなわち、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報の他に、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。

プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。すなわち、プレノプティックカメラは、所定距離で焦点をあわせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。

具体的には、プレノプティックカメラは、任意の距離にある面の１点を注目点に設定し、当該注目点からの光がメインレンズ及びマイクロレンズアレイを介して撮像素子内の何れの画素に分配されるのかを算出する。
ここで、例えば、撮像素子の各画素が、ライトフィールド画像を構成する各画素に対応しているとすると、プレノプティックカメラは、ライトフィールド画像を構成する各画素のうち、当該注目点からの光が分配される１以上の画素の画素値の加算平均を算出する。この算出された値が、再構成画像における、注目点に対応する画素の画素値となる。このようにして、再構成画像の注目点に対応する画素が再構成される。
プレノプティックカメラは、任意の距離にある面の各点に対応する各画素（再構成画像を構成する各画素）のそれぞれを注目点に順次設定し、上述の一連の処理を繰り返すことで、再構成画像のデータ（再構成画像の各画素の画素値の集合体）を生成する。

特表２００９−５３２９９３号公報

ところで、従来のプレノプティックカメラでは、図１４に示すように、１種類のマイクロレンズでマイクロレンズアレイを構成しており、この１種類のマイクロレンズによって全焦点範囲に対応することとしている。このため、被写体との距離及びマイクロレンズの焦点距離の値によっては、このマイクロレンズのボケ（マイクロレンズブラー）が大きくなってしまい、撮像されたライトフィールド画像から高精細な再構成画像を生成する際の妨げとなる。

また、プレノプティックカメラを薄型化する場合には、メインレンズとマイクロレンズアレイとの距離を近づける必要がある。しかしながら、メインレンズとマイクロレンズアレイとの距離を近づけた場合、メインレンズと、被写体との距離の変化に対するマイクロレンズブラーの大きさの変化が大きくなってしまう。例えば、メインレンズと被写体との距離が無限遠の場合には、マイクロレンズブラーが十分に小さいものの、当該距離が無限遠から近づくに従ってマイクロレンズブラーが大きくなってしまう。

本発明は、このような状況に鑑みてなされたものであり、より広い距離の範囲にわたって高精細な再構成画像を得ることを目的とする。

上記目的を達成するため、本発明の一態様の撮像装置は、撮像素子と、被写体からの光を前記撮像素子の方向に集光するメインレンズと、前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、焦点距離の異なる複数種類のマイクロレンズから構成されるマイクロレンズアレイと、撮像された被写体の側への距離の指定を受け付けたことに応じて、当該距離に基づいて、前記撮像素子において前記複数のマイクロレンズによって結像された画像ごとの重み付けを行い、一の撮像画像を構成させる画像処理部と、を備えることを特徴とする。

本発明によれば、より広い距離の範囲にわたって高精細な再構成画像を得ることができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 上記撮像装置を構成する撮像部における光学系の構成例を示す模式図である。 上記撮像装置を構成するマイクロレンズアレイの正面図である。 上記撮像装置を構成するマイクロレンズアレイを用いた場合のサブイメージの例を示す図である。 上記撮像装置において、注目点からの光が撮像素子内の画素に分配される様子を説明する図である。 上記撮像装置を構成するメインレンズと再構成面との距離がＤａの場合の処理を説明する図である。 上記撮像装置を構成するメインレンズと再構成面との距離がＤｅｖである場合の処理を説明する図である。 上記撮像装置を構成するメインレンズと再構成面との距離がＤｂである場合の処理を説明する図である。 上記撮像装置を構成するメインレンズと再構成面との距離と、重み付け値との関係の一例を示すグラフである。 上記撮像装置を構成するメインレンズと再構成面との距離と、重み付け値との関係の他の一例を示すグラフである。 上記撮像装置における再構成処理の流れを示すフローチャートである。 上記撮像装置におけるマイクロレンズアレイを４種類のマイクロレンズにより構成した場合のマイクロレンズの配置例である。 上記撮像装置におけるマイクロレンズアレイを３種類のマイクロレンズにより構成した場合の各マイクロレンズに対応する重み付け値の関係を示すグラフである。 従来のプレノプティックカメラを構成する撮像部における光学系の構成例を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上で必要なデータ等が適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。また、このバス１４には入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、を備えている。撮像部１６の詳細については、図２を参照して詳述する。

入力部１７は、図示せぬシャッタ釦や、メインレンズ３１と後述の再構成面との距離を決定するための操作釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部１８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部１９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

以下、撮像部１６を構成するメインレンズ３１、マイクロレンズアレイ３２、及び撮像素子３３についてより詳細に説明する。
図２は、撮像部１６における光学系の構成例を示す模式図である。

図２に示されるように、撮像部１６を構成する各要素として、被写体に近い順に、メインレンズ３１、マイクロレンズアレイ３２及び撮像素子３３が配置されている。
メインレンズ３１は、被写体からの光を撮像素子３３の方向に集光する。

マイクロレンズアレイ３２は、上述したように、メインレンズ３１と撮像素子３３との間に配置され、メインレンズ３１を透過した光を撮像素子３３に結像させる。
図３は、マイクロレンズアレイ３２の正面図である。
図３に示されているように、マイクロレンズアレイ３２は、２種類のマイクロレンズ３２Ａ、３２Ｂとから構成されている。これらマイクロレンズ３２Ａ、３２Ｂは、それぞれ焦点距離が異なる微小レンズであり、交互に配置されている。なお、図２及び図３では、一列に７個のマイクロレンズが配置されているが、説明の便宜のために簡略化した構成を示しており、実際には、より多くのマイクロレンズを配置することができる。

マイクロレンズアレイ３２を構成する複数のマイクロレンズ３２Ａ、３２Ｂは、メインレンズ３１を介して入射されてくる光を集光し、撮像素子３３の上にサブイメージを結像させる。これにより、撮像素子３３では、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。

撮像素子３３は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。撮像素子３３には、メインレンズ３１からマイクロレンズアレイ３２を介して被写体像が入射される。撮像素子３３は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号として図示せぬＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）に順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を施す。各種信号処理によって、ディジタル信号が生成され、ライトフィールド画像のデータとしてＡＦＥからＣＰＵ１１（図１）等に適宜提供される。

また、図２には、メインレンズ３１の中心との距離がＤａの位置に設けられた光源Ｌａからメインレンズ３１方向に光を照射した場合の光線の様子（図２に示される実線）と、メインレンズ３１の中心との距離がＤｂの位置に設けられた光源Ｌｂからメインレンズ３１方向に光を照射した場合の光線の様子（図２に示される破線）とが示されている。

図２に示されるように、光源Ｌａから光を照射した場合、マイクロレンズ３２Ａによって集光された光が、撮像素子３３の面で結像する。他方、マイクロレンズ３２Ｂによって集光された光は、撮像素子３３の面よりも後方の面Ｓ２で結像する。このため、マイクロレンズ３２Ｂにより撮像素子３３に結像されるサブイメージでは、ボケ（マイクロレンズブラー）が発生した状態となる。

また、光源Ｌｂから光を照射した場合、マイクロレンズ３２Ｂによって集光された光が撮像素子３３の面で結像する。他方、マイクロレンズ３２Ａによって集光された光は、撮像素子３３の面よりも前方の面Ｓ１で結像する。このため、マイクロレンズ３２Ａにより撮像素子３３に結像されるサブイメージでは、マイクロレンズブラーが発生した状態となる。

図４は、マイクロレンズアレイ３２を用いた場合のサブイメージの例を示す図である。図４には、メインレンズ３１に近い順に、透明な平面板Ｐ１、Ｐ２及びＰ３が配置されている場合のサブイメージＩ１、Ｉ２、Ｉ３及びＩ４が示されている。
ここで、平面板Ｐ１、Ｐ２及びＰ３には、それぞれ、同じ色（例えば、黒色）で、文字「Ａ」、「Ｂ」及び「Ｃ」が表示されているものとする。

サブイメージＩ１及びＩ３は、マイクロレンズ３２Ｂによって結像されたイメージである。マイクロレンズ３２Ｂは、マイクロレンズ３２Ａに比べて焦点距離が長いため、ここでは、メインレンズ３１から最も距離が遠い平面板Ｐ３に表示されている文字「Ｃ」にピントが合う。この結果として、サブイメージＩ１及びＩ３では、文字「Ｃ」が他の文字に比べて鮮明に表示される。

他方、サブイメージＩ２及びＩ４は、マイクロレンズ３２Ａによって結像されたイメージである。マイクロレンズ３２Ａは、マイクロレンズ３２Ｂに比べて焦点距離が短いため、ここでは、メインレンズ３１から最も距離が近い平面板Ｐ１に表示されている文字「Ａ」にピントが合う。この結果として、サブイメージＩ２及びＩ４では、文字「Ａ」が他の文字に比べて鮮明に表示される。

また、サブイメージＩ１〜Ｉ４では、それぞれの文字が異なる位置に表示されている。これは、各マイクロレンズが、異なる位置に配置され、対象物（ここでは、文字「Ａ」、「Ｂ」、「Ｃ」）に対する視差が生じるためである。

ここで、撮像装置１が、ライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。この場合、撮像装置１のＣＰＵ１１は、画像構成部として機能する。以下、ＣＰＵ１１による再構成画像のデータを生成する処理を、再構成処理と呼ぶ。
具体的には、撮像装置１のＣＰＵ１１は、入力部１７において、メインレンズ３１と再構成対象の面（以下、再構成面と呼ぶ。）との距離を指定する操作を受け付けたことに応じて、当該再構成面の１つの画素を注目点に設定する。そして、ＣＰＵ１１は、当該注目点からの光がメインレンズ３１及びマイクロレンズアレイ３２を介して撮像素子３３内の何れの画素に分配されるのかを算出する。

図５は、注目点からの光が撮像素子３３内の画素に分配される様子を説明する図である。
図５において、レンズの中心位置から光軸方向に延びた直線Ｌと、再構成面Ｓｒとが交差する点を中心位置とし、この中心位置から距離ｘだけ上方に離れた位置にある点を注目点Ｐとする。以下、この注目点Ｐからマイクロレンズ３２Ｂを構成する一のマイクロレンズ３２Ｂｓに入射した光が撮像素子３３内の画素に分配される様子について説明する。

図５における各距離を以下のように定義する。
ａ１：メインレンズ３１と再構成面Ｓｒとの距離
ｂ１：メインレンズ３１と、メインレンズ３１の結像面Ｓｉとの距離
ｃ１：メインレンズ３１と、マイクロレンズアレイ３２との距離
ａ２：メインレンズ３１の結像面Ｓｉと、マイクロレンズアレイ３２との距離
ｃ２：マイクロレンズアレイ３２と、撮像素子３３との距離
ｄ：直線Ｌと、マイクロレンズ３２Ｂｓの中心位置との距離
ｘ’：メインレンズ３１の焦点と、直線Ｌとの距離
ｘ’’：撮像素子３３上において分配された光が到達する位置と、直線Ｌとの距離
なお、メインレンズ３１の焦点距離をｆ_ＭＬとする。また、図５において下線を引いた要素である距離ｘ、ａ１、ｃ１、ｃ２、ｄは、予め定められている。なお、上記した各距離は、最短距離を示すものとする。

この場合、予め定められていない距離であるｂ１、ａ２、ｘ’、及びｘ’’は、レンズの公式を用いて、以下の（１）〜（４）式で示される。

上記（４）式により、注目点Ｐからマイクロレンズ３２Ｂｓに入射した光は、撮像素子３３内の距離ｘ’’に対応する画素に分配される。

そして、ＣＰＵ１１は、注目点Ｐに対して、各マイクロレンズによって分配される画素の位置を算出し、これらの位置の画素値の加算平均を算出することにより、注目点Ｐの画素値を決定する。

撮像装置１のＣＰＵ１１は、再構成画像の各画素を注目点に設定して、上記の演算を実行することにより、再構成画像のデータを生成する。ここで、ＣＰＵ１１は、注目点Ｐからの光が分配された画素値の加算平均を算出する場合に、入力部１７により指定された距離（再構成面Ｓｒからメインレンズ３１までの距離）に基づいて、撮像素子３３において複数のマイクロレンズ３２Ａ、３２Ｂによって結像された画像ごとの重み付けを行い、一の撮像画像を構成する。

以下に、図６〜図８を参照しながら、複数のマイクロレンズ３２Ａ、３２Ｂによって結像された画像ごとの重み付けを行う処理についてより詳細に説明する。
図６は、メインレンズ３１と再構成面Ｓｒとの距離がＤａの場合の処理を説明する図である。図７は、メインレンズ３１と再構成面Ｓｒとの距離がＤｅｖである場合の処理を説明する図である。図８は、メインレンズ３１と再構成面Ｓｒとの距離がＤｂである場合の処理を説明する図である。ここで、Ｄｅｖは、Ｄａよりも大きく、Ｄｂよりも小さい値であるものとする。また、図６〜図８では、レンズの中心位置から光軸方向に延びた直線と、再構成面Ｓｒとが交差する位置を注目点Ｐとして説明を行う。

図６において、注目点Ｐから照射される光は、メインレンズ３１において屈折し、マイクロレンズアレイ３２に入射する。この場合、マイクロレンズアレイ３２において、この光が入射する領域は、図６のマイクロレンズアレイ３２の正面図に示される領域Ａａとなる。この領域Ａａに対応するマイクロレンズによって結像されたサブイメージに含まれる画素が、加算平均を行う対象の画素となる。そこで、ＣＰＵ１１は、この領域Ａａに対応するマイクロレンズによって結像されたサブイメージに含まれる画素の値（画素値）に重み付け値を乗算して重み付けを行い、重み付けされた画素値の加算平均を算出する。

具体的には、ＣＰＵ１１は、メインレンズ３１と再構成面Ｓｒとの距離がＤａの場合、領域Ａａに対応するマイクロレンズ３２Ａによって結像されるサブイメージの領域に対応する画素の重み付け値を１．０とする。また、ＣＰＵ１１は、メインレンズ３１と再構成面Ｓｒとの距離がＤａの場合、領域Ａａに対応するマイクロレンズ３２Ｂによって結像されるサブイメージの領域に対応する画素の重み付け値を０とする。

距離がＤａの場合、焦点距離の短いマイクロレンズ３２Ａによって集光された光は、図６に示されるように、撮像素子３３の面で結像する。他方、焦点距離の長いマイクロレンズ３２Ｂによって集光された光は、撮像素子３３よりも後方の面Ｓ３で結像するため、撮像素子３３に結像されるサブイメージではマイクロレンズブラーが発生する。この場合において、撮像装置１は、マイクロレンズブラーが発生する光に対応する画素の重み付け値を、撮像素子３３の面で結像する光に対応する画素の重み付け値に比べて低くして再構成画像を生成するので、再構成画像を高精細なものとすることができる。

図７において、注目点Ｐから照射される光は、メインレンズ３１において屈折し、マイクロレンズアレイ３２に入射する。この場合、マイクロレンズアレイ３２において、この領域Ａｅｖは、図６に示される領域Ａａより広い領域となる。ＣＰＵ１１は、この領域Ａｅｖに対応するマイクロレンズによって結像されたサブイメージの領域に含まれる画素の画素値に重み付け値を乗算して重み付けを行い、重み付けされた画素値の加算平均を算出する。

具体的には、ＣＰＵ１１は、メインレンズ３１と再構成面Ｓｒとの距離がＤｅｖの場合、領域Ａｅｖに対応するマイクロレンズ３２Ａ、３２Ｂによって結像されるサブイメージに含まれる画素の重み付け値を０．５とする。

各マイクロレンズ３２Ａによって集光された光は撮像素子３３よりも前方の面Ｓ４で結像し、各マイクロレンズ３２Ｂによって集光された光は撮像素子３３よりも後方の面Ｓ５で結像する。この場合において、撮像装置１は、それぞれの各マイクロレンズ３２Ａ、３２Ｂに対応する画素の重み付け値をそれぞれ半分にして加算平均することにより、再構成画像を高精細なものとすることができる。

図８において、注目点Ｐから照射される光は、メインレンズ３１において屈折し、マイクロレンズアレイ３２に入射する。この場合、マイクロレンズアレイ３２において、この光が入射する領域は、図８のマイクロレンズアレイ３２の正面図に示される領域Ａｂとなる。この領域Ａｂは、図７に示される領域Ａｅｖより広い領域となる。ＣＰＵ１１は、この領域Ａｂに対応するマイクロレンズによって結像されたサブイメージの領域に含まれる画素の画素値に重み付け値を乗算して重み付けを行い、重み付けされた画素値の加算平均を算出する。

具体的には、ＣＰＵ１１は、メインレンズ３１と再構成面Ｓｒとの距離がＤｂの場合、領域Ａｂに対応するマイクロレンズ３２Ａによって結像されるサブイメージの領域に含まれる画素の重み付け値を０とする。また、ＣＰＵ１１は、メインレンズ３１と再構成面Ｓｒとの距離がＤｂの場合、領域Ａｂに対応するマイクロレンズ３２Ｂによって結像されるサブイメージの領域に含まれる画素の重み付け値を１．０とする。

距離がＤｂの場合、焦点距離の短いマイクロレンズ３２Ａによって集光された光は、図８に示されるように、撮像素子３３よりも前方の面Ｓ６で結像するため、撮像素子３３に結像されるサブイメージではマイクロレンズブラーが発生する。他方、焦点距離の長いマイクロレンズ３２Ｂによって集光された光は、撮像素子３３の面で結像する。この場合において、撮像装置１は、マイクロレンズブラーが発生する光に対応する画素の重み付け値を、撮像素子３３の面で結像する光に対応する画素の重み付け値に比べて低くして再構成画像を生成するので、再構成画像を高精細なものとすることができる。

図９は、マイクロレンズ３２Ａ、３２Ｂの重み付け値の関係を示すグラフである。
図９では、横軸がメインレンズ３１と再構成面Ｓｒとの距離であり、縦軸が、マイクロレンズにより結像された像に対応する位置における画素の重み付け値である。また、図９では、マイクロレンズ３２Ａに対応する画素の重み付け値Ｖａを破線、マイクロレンズ３２Ｂに対応する画素の重み付け値Ｖｂを実線で示している。

図９から示されるように、距離がＤａの場合、Ｖａは１であり、Ｖｂは０である。また、距離がＤｂの場合、Ｖａは０であり、Ｖｂは１である。よって、ＤａとＤｂとの間の任意の距離をＤｘとすると、Ｖａ及びＶｂは、それぞれ、以下の（５）、（６）式で表される。

すなわち、撮像装置１は、入力部１７により距離Ｄｘを受け付けると、（５）、（６）式に基づいて、Ｖａ及びＶｂを決定する。

なお、撮像装置１は、図９に示される重み付け値の関係から、マイクロレンズ３２Ａに対応する画素の重み付け値とマイクロレンズ３２Ｂに対応する画素の重み付け値とを決定するようにしたが、これに限らず、図１０に示すように、各画素の重み付け値を変化させるようにしてもよい。すなわち、距離ＤｘがＤａからＤ１の場合、Ｖａを１、Ｖｂを０とし、距離ＤｘがＤ２からＤｂの場合、Ｖａを０、Ｖｂを１とする。また、距離ＤｘがＤ１からＤ２の場合、（７）、（８）式に基づいてＶａ及びＶｂを算出する。

このようにすることで、２種類のマイクロレンズ３２Ａ、３２Ｂに対応する重み付け値が、０となる距離の範囲が増加するので、２種類のマイクロレンズ３２Ａ、３２Ｂのそれぞれによって結像された像に対応する画素を用いて演算を行うケースを減少させて、処理負荷を軽減させることができる。

続いて、ＣＰＵ１１による再構成処理の流れについて説明する。図１１は、再構成処理の流れを示すフローチャートである。

ステップＳ１１において、ＣＰＵ１１は、ライトフィールド画像のデータを取得する。
ステップＳ１２において、入力部１７により、メインレンズ３１と再構成面との距離を指定する操作を受け付け、メインレンズ３１から、指定された距離前方の位置にある面を再構成面として設定する。

ステップＳ１３において、ＣＰＵ１１は、再構成面を構成する一の画素を、注目点Ｐに設定する。なお、ＣＰＵ１１は、再構成面を構成する一の画素を、注目点Ｐに設定する場合、未だ注目点Ｐに設定されていない画素を注目点Ｐに設定するものとする。

ステップＳ１４において、ＣＰＵ１１は、一のマイクロレンズから光が分配される画素を算出する。すなわち、ＣＰＵ１１は、マイクロレンズアレイ３２を構成するマイクロレンズから一のマイクロレンズを選択し、ステップＳ１３において設定された注目点Ｐから選択されたマイクロレンズに入射した光が、撮像素子３３に分配される位置を算出する。そして、ＣＰＵ１１は、算出された位置に存在する画素を、分配される画素として決定する。なお、ＣＰＵ１１は、一のマイクロレンズを選択する場合、未だ選択されていないマイクロレンズを選択するものとする。

ステップＳ１５において、ＣＰＵ１１は、ステップＳ１２で指定された距離に基づいて選択された画素の重み付け値を決定する。

ステップＳ１６において、ＣＰＵ１１は、分配される画素が全て特定したか否か、すなわち、全てのマイクロレンズについて、分配される画素の位置を算出する処理が行われたか否かを判定する。ＣＰＵ１１は、この判定がＹＥＳの場合、ステップＳ１７に処理を移し、この判定がＮＯの場合、ステップＳ１４に処理を移す。

ステップＳ１７において、ＣＰＵ１１は、注目点Ｐからの光が分配される画素の画素値について、ステップＳ１５において決定された重み付け値を乗算し、その後、重み付けされた画素値の加算平均を算出する。

ステップＳ１８において、ＣＰＵ１１は、再構成面を構成する画素が全てが注目点に設定されたか否かを判定する。ＣＰＵ１１は、この判定がＹＥＳの場合、ステップＳ１９に処理を移し、この判定がＮＯの場合、ステップＳ１３に処理を移す。
ステップＳ１９において、ＣＰＵ１１は、再構成画像を表示出力する。

以上、本実施形態の撮像装置１の構成及び処理について説明した。
本実施形態においては、撮像装置１は、撮像素子３３と、被写体からの光を撮像素子３３の方向に集光するメインレンズ３１と、撮像素子３３とメインレンズ３１との間に配置され、メインレンズ３１を透過した光を撮像素子３３に結像させる、焦点距離の異なる複数種類のマイクロレンズ３２Ａ、３２Ｂから構成されるマイクロレンズアレイ３２と、撮像された被写体の距離の指定を受け付けたことに応じて、当該距離に基づいて、撮像素子３３において複数のマイクロレンズ３２Ａ、３２Ｂによって結像された画像ごとの重み付けを行い、一の撮像画像を構成させるＣＰＵ１１と、を備える。

例えば、撮像装置１は、マイクロレンズ３２Ａ、３２Ｂのうち、撮像素子との焦点距離が合わないことによりマイクロレンズブラーが大きくなる像に対応する画像の画素値について、再構成画像への影響度合いを抑制することにより、高精細な再構成画像を生成することができる。また、撮像装置１を薄型化するために、メインレンズ３１とマイクロレンズアレイ３２との距離を近づけた場合であっても、このマイクロレンズアレイ３２を構成するマイクロレンズを焦点距離が相対的に短いマイクロレンズと、焦点距離の相対的に長いマイクロレンズとによって構成し、距離に応じて、それぞれのマイクロレンズにより結像された画像の重み付けを行うことによって、被写体との距離の変化に関わらずマイクロレンズブラーを抑制することができる。よって、撮像装置１は、従来のプレノプレティックカメラに比べて、より広い距離の範囲にわたって高精細な再構成画像を得ることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態では、２種類のマイクロレンズ３２Ａ、３２Ｂによりマイクロレンズアレイ３２を構成することとしたが、特にこれに限定されない。例えば、マイクロレンズアレイ３２を構成するマイクロレンズの種類を３種類以上とするようにしてもよい。図１２は、４種類のマイクロレンズによりマイクロレンズアレイを構成した場合の、マイクロレンズの配置例である。

また、マイクロレンズアレイ３２を構成するマイクロレンズの種類を３種類以上にした場合、各マイクロレンズの重み付け値を適宜変更するようにしてもよい。図１３は、３種類のマイクロレンズによりマイクロレンズアレイを構成した場合の、マイクロレンズに対応する重み付け値の関係を示す例である。

例えば、上述の実施形態では、再構成画像のデータを生成する際に用いられるライトフィールド画像のデータは、撮像装置１自身により撮像されたものが採用されたが、特にこれに限定されない。
すなわち、撮像装置１は、別の撮像装置１又は従来の別のプレノプティックカメラにより撮像されたライトフィールド画像のデータを用いて、再構成画像のデータを生成するようにしてもよい。
換言すると、本発明は、撮像機能を有する撮像装置１のみならず、撮像機能を有しなくとも、一般的な画像処理機能を有する電子機器一般に適用することができる。例えば、本発明は、パーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図１の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア２２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２２は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像素子と、
被写体からの光を前記撮像素子の方向に集光するメインレンズと、
前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、焦点距離の異なる複数種類のマイクロレンズから構成されるマイクロレンズアレイと、
撮像された被写体の距離の指定を受け付けたことに応じて、当該距離に基づいて、前記撮像素子において前記複数のマイクロレンズによって結像された画像ごとの重み付けを行い、一の撮像画像を構成させる画像処理部と、を備えることを特徴とする撮像装置。
［付記２］
撮像素子と、被写体からの光を前記撮像素子の方向に集光するメインレンズと、前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、焦点距離の異なる複数種類のマイクロレンズから構成されるマイクロレンズアレイと、を備えた撮像装置が実行する画像処理方法であって、
撮像された被写体の距離の指定を受け付けたことに応じて、当該距離に基づいて、前記撮像素子において前記複数のマイクロレンズによって結像された画像ごとの重み付けを行い、一の撮像画像を構成させるステップを含むことを特徴とする画像処理方法。
［付記３］
撮像素子と、被写体からの光を前記撮像素子の方向に集光するメインレンズと、前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、焦点距離の異なる複数種類のマイクロレンズから構成されるマイクロレンズアレイと、を備えた撮像装置に実行させるプログラムであって、
撮像された被写体の距離の指定を受け付けたことに応じて、当該距離に基づいて、前記撮像素子において前記複数のマイクロレンズによって結像された画像ごとの重み付けを行い、一の撮像画像を構成させるステップを前記撮像装置に実行させることを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、２２・・・リムーバブルメディア、３１・・・メインレンズ、３２・・・マイクロレンズアレイ、３２Ａ，３２Ｂ・・・マイクロレンズ、３３・・・撮像素子

Claims (5)

1. 撮像素子と、
   被写体からの光を前記撮像素子の方向に集光するメインレンズと、
   前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、焦点距離の異なる複数種類のマイクロレンズから構成されるマイクロレンズアレイと、
   撮像された被写体の側への距離の指定を受け付けたことに応じて、当該距離に基づいて、前記撮像素子において前記複数のマイクロレンズによって結像された画像ごとの重み付けを行い、一の撮像画像を構成させる画像処理部と、を備えることを特徴とする撮像装置。
2. 前記重み付けの値は、前記マイクロレンズの種類ごとに異なっており、
   前記画像処理部は、各マイクロレンズに対応付けられている値によって各結像された画像の重み付けを行う、ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理部は、前記距離においてマイクロレンズブラーが発生するマイクロレンズによって結像された画像の重み付けを低くする、ことを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像素子と、被写体からの光を前記撮像素子の方向に集光するメインレンズと、前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、焦点距離の異なる複数種類のマイクロレンズから構成されるマイクロレンズアレイと、を備えた撮像装置が実行する画像処理方法であって、
   撮像された被写体の側への距離の指定を受け付けたことに応じて、当該距離に基づいて、前記撮像素子において前記複数のマイクロレンズによって結像された画像ごとの重み付けを行い、一の撮像画像を構成させるステップを含むことを特徴とする画像処理方法。
5. 撮像素子と、被写体からの光を前記撮像素子の方向に集光するメインレンズと、前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、焦点距離の異なる複数種類のマイクロレンズから構成されるマイクロレンズアレイと、を備えた撮像装置に実行させるプログラムであって、
   撮像された被写体の側への距離の指定を受け付けたことに応じて、当該距離に基づいて、前記撮像素子において前記複数のマイクロレンズによって結像された画像ごとの重み付けを行い、一の撮像画像を構成させるステップを前記撮像装置に実行させることを特徴とするプログラム。
   

Images