JPWO2017170392A1 - 光学装置 - Google Patents

Abstract

光学装置は、二次元状に配置された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサとを備え、前記複数のマイクロレンズの少なくとも一部は、マイクロレンズに形成された開口パターンにより入射光の一部を制限する。

Description

本発明は、光学装置に関する。

ライト・フィールド・フォトグラフィ（Light Field Photography）技術を用いるカメラが知られている（特許文献１参照）。手振れ等による像ブレを抑えるために、上記カメラの撮像レンズにＶＲ（Vibration Reduction）装置を設けると、構造が大きくなってしまうという問題がある。

日本国特表２００８−５１５１１０号公報

第１の態様によると、光学装置は、二次元状に配置された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサとを備え、前記複数のマイクロレンズの少なくとも一部は、マイクロレンズに形成された開口パターンにより入射光の一部を制限する。
第２の態様によると、光学装置は、二次元状に配置された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、所定の開口パターンを有する複数のマスクとを備え、前記複数のマスクのそれぞれは、前記複数のマイクロレンズの少なくとも一部の各マイクロレンズに入射する光の一部をそれぞれ制限する。

カメラの要部構成を説明する図である。 カメラの光学系を抜粋した斜視図である。 マイクロレンズアレイおよび撮像素子の断面図である。 図３の撮像素子をＺ軸プラス方向から見た正面図である。 図４のマイクロレンズ１つ分を拡大した図である。 図６(a)および図６(b)は、マスクの開口のパターンを例示する図である。 マイクロレンズアレイのマイクロレンズを二分する図である。 制御部が実行するカメラ処理の流れを例示するフローチャートである。 第２の実施形態のマイクロレンズアレイを説明する図である。 制御部が実行するカメラ処理の流れを例示するフローチャートである。

光学装置の一例であるカメラは、ライト・フィールド・フォトグラフィ（Light Field Photography）技術を用いて、３次元空間における光の情報を取得するように構成される。そして、手ぶれ等に起因する像ブレをＶＲ（Vibration Reduction）演算によって補正する。

（第１の実施形態）
＜撮像装置の概要＞
図１は、第１の実施形態によるカメラ１００の要部構成を説明する図である。図１に示した座標軸において、不図示の被写体からの光はＺ軸マイナス方向へ向かう。また、上向きかつＺ軸に直交する向きをＹ軸プラス方向とし、紙面に垂直な手前方向で、Ｚ軸およびＹ軸に直交する向きをＸ軸プラス方向とする。以降に示すいくつかの図においては、図１の座標軸を基準として、それぞれの図における向きを表す。

図１において、撮像レンズ２０１は交換可能に構成されており、カメラ１００のボディに装着して使用される。
なお、撮像レンズ２０１をカメラ１００のボディと一体に構成してもよい。

撮像レンズ２０１は、被写体からの光をマイクロレンズアレイ２０２へ導く。マイクロレンズアレイ２０２は、微小レンズ（後述するマイクロレンズＬ）を格子状またはハニカム形状に二次元配列して構成される。マイクロレンズアレイ２０２に入射した被写体光は、マイクロレンズアレイ２０２を通過し、撮像素子２０３の画素群のそれぞれによって光電変換される。

撮像素子２０３から読み出された光電変換後の画素信号は、画像処理部２０７へ送られる。画像処理部２０７は、画素信号に対して所定の画像処理を施す。画像処理後の画像データは、メモリカードなどの記録媒体２０６に記録される。
なお、撮像素子２０３から読み出された画素信号に画像処理を施すことなしに、いわゆるＲＡＷデータとして記録媒体２０６へ記録してもよい。

振れ検出部２０４は、例えば加速度センサによって構成される。振れ検出部２０４による検出信号は、手振れ等によりカメラ１００が揺動する場合の加速度情報として用いられる。

制御部２０５は、カメラ１００の撮像動作を制御する。すなわち、光電変換時に撮像素子２０３に電荷蓄積を行わせる蓄積制御や、撮像素子２０３から光電変換後の画素信号を出力させる読み出し制御を行う。
また、制御部２０５は、上記加速度情報に基づいてＶＲ（Vibration Reduction）演算を行う。ＶＲ演算は、カメラ１００の揺動によって生じた画像の像ブレを補正するために行われる。ＶＲ演算の詳細については後述する。

表示部２０８は、画像データに基づく画像を再生表示したり、操作メニュー画面などを表示したりする。表示部２０８に対する表示制御は、制御部２０５によって行われる。

図２は、カメラ１００の光学系、すなわち、撮像レンズ２０１、マイクロレンズアレイ２０２、および撮像素子２０３を抜粋した斜視図である。マイクロレンズアレイ２０２は、撮像レンズ２０１の予定焦点面に配置される。
なお、わかりやすく図示するために、マイクロレンズアレイ２０２および撮像素子２０３の間隔を広げているが、実際の間隔は、マイクロレンズアレイ２０２を構成するマイクロレンズＬの焦点距離ｆに応じた距離である。

＜ライトフィールド画像＞
図２において、マイクロレンズアレイ２０２の各マイクロレンズＬには、被写体の異なる部位からの光が入射される。マイクロレンズアレイ２０２へ入射された被写体からの光は、マイクロレンズアレイ２０２を構成するマイクロレンズＬによって複数に分割される。そして、各マイクロレンズＬを通過した光はそれぞれ、対応するマイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配置された撮像素子２０３の画素群ＰＸｓに入射される。
なお、図２では、マイクロレンズアレイ２０２が５個×５個のマイクロレンズＬを有しているが、マイクロレンズアレイ２０２を構成するマイクロレンズＬの数は、図示した数に限定されない。

各マイクロレンズＬを通過した光は、そのマイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配置されている撮像素子２０３の画素群ＰＸｓによって受光される。すなわち、画素群ＰＸｓを構成する各画素ＰＸは、被写体のある部位からの光であって撮像レンズ２０１の異なる領域を通過した光をそれぞれ受光する。

以上の構成により、被写体光が撮像レンズ２０１を通過した領域を示す光量分布である小画像が、マイクロレンズＬの数だけ得られる。本願明細書において、このような小画像の集まりをライトフィールド画像（ＬＦ画像）と呼ぶ。

撮像素子２０３では、各マイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配置された複数の画素ＰＸの位置によって、各画素への光の入射方向が定まっている。つまり、マイクロレンズＬと、その後ろの撮像素子２０３の各画素との位置関係が設計情報として既知であることから、マイクロレンズＬを介して各画素に入射される光線の入射方向が求まる。このため、撮像素子２０３の各画素の画素信号は、所定の入射方向からの光の強度（光線情報）を表すことになる。本願明細書では、撮像素子２０３の画素に入射される所定の方向からの光を光線と呼ぶ。

＜リフォーカス処理＞
ＬＦ画像は、そのデータを用いてリフォーカス処理を施すことができる。リフォーカス処理は、ＬＦ画像が有する上記光線情報（所定の入射方向からの光の強度）に基づいた演算（光線を並べ替える演算）を行うことによって、任意像面の画像、すなわち、任意のピント位置や視点での画像を生成する処理をいう。本願明細書では、リフォーカス処理によって生成された任意のピント位置や視点での画像をリフォーカス画像と呼ぶ。

リフォーカス処理では、任意の対象物にフォーカスを合わせて鮮鋭度を高めるだけでなく、対象物に対するフォーカスをずらしてぼかす（鮮鋭度を低くする）ことも含む。このようなリフォーカス処理（再構築処理とも呼ばれる）は公知であるので、リフォーカス処理についての詳細な説明は省略する。
なお、リフォーカス処理は、カメラ１００内の画像処理部２０７によって行ってもよいし、記録媒体２０６に記録されたＬＦ画像のデータをパーソナルコンピュータなどの外部機器へ送信し、外部機器によって行わせてもよい。
なお、ＬＦ画像は、リフォーカス処理以外にも様々な画像生成処理ができる。例えば、上記光線の入射方向に基づき 撮像レンズ２０１の光軸から所定距離以上離れた領域を通過した光を画像処理演算に用いないことで、任意の絞りでの画像を生成することができる。

＜撮像部の構成＞
次に、カメラ１００の撮像部の具体的構成例について説明する。図３は、マイクロレンズアレイ２０２および撮像素子２０３の断面図であり、Ｘ−Ｚ平面に平行な断面を示す。図４は、図３の撮像素子をＺ軸プラス方向から見た正面図である。図３、図４において、マイクロレンズアレイ２０２の後ろ（Ｚ軸マイナス方向）に撮像素子２０３が設けられている。

＜マイクロレンズアレイ＞
マイクロレンズアレイ２０２は、例えば、マイクロレンズＬ１〜Ｌ６が透過基板２０２Ａと一体に形成される。透過基板２０２Ａには、ガラス基板、プラスチック基板、またはシリカ基板等を用いてもよい。マイクロレンズアレイ２０２は、射出成形、加圧成形等により形成してもよい。
なお、マイクロレンズＬ１〜Ｌ６を、透過基板２０２Ａと別体に形成してもよい。

＜撮像素子＞
図３の撮像素子２０３は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。撮像素子２０３は、Ｚ軸マイナス方向から順に、例えばシリコン基板２０３Ｃと、その上に形成された受光素子アレイ２０３Ｂと、その上に形成されたカラーフィルタアレイ２０３Ａとを有する。

図４において、マイクロレンズアレイ２０２のマイクロレンズＬ１〜Ｌ６の後ろ（Ｚ軸マイナス方向）に、撮像素子２０３のカラーフィルタアレイ２０３Ａが位置する。カラーフィルタアレイ２０３Ａには、例えば、ＲＧＢ（レッド、グリーン、ブルー）の波長域の光をそれぞれ選択的に透過する複数のフィルタが、受光素子アレイ２０３Ｂの画素ＰＸに対応させて２次元アレイ状に配置される。マイクロレンズＬ１〜Ｌ６の各々には、所定数の画素ＰＸからなる画素群ＰＸｓが割り当てられる。
なお、色情報を必要としない場合には、カラーフィルタアレイ２０３Ａを省略することも可能である。

図５は、図４のマイクロレンズ１つ分を拡大した図である。図５において、ＲＧＢ（レッド、グリーン、ブルー）は、受光素子アレイ２０３Ｂの画素ＰＸにおいて光電変換される波長域を示す。カラーフィルタアレイ２０３Ａは、受光素子アレイ２０３Ｂの画素ＰＸに対して、ＲＧＢいずれかの波長域を透過する。例えば、奇数行の各画素位置にはＢとＧの光をそれぞれ透過するフィルタが交互に配置され、偶数行の各画素位置にはＧとＲの光をそれぞれ透過するフィルタが交互に配置される。
なお、図５では、複数の画素ＰＸのうち、画素群ＰＸｓを構成する画素を白地で示し、画素群ＰＸｓ以外の画素を斜線で示す。

受光素子アレイ２０３Ｂの各画素ＰＸには、フォトダイオードなどの受光素子が配されている。受光素子アレイ２０３Ｂは、図４、図５に示すように、複数の画素ＰＸが２次元アレイ状に形成されている。各画素ＰＸには、上記カラーフィルタアレイ２０３Ａを介してＢ、Ｇ、Ｒのいずれかの光が入射される。各画素ＰＸは、フォトダイオードへの入射光量に対応した電荷を生じさせる。各画素ＰＸに蓄積された電荷は、不図示の転送トランジスタによって電荷転送電極へ転送され、読み出される。

ここで、撮像素子２０３は、裏面照射型の構成とし、画素ＰＸのフォトダイオードが電荷転送電極の裏面側（Ｚ軸プラス側）に設けられている。一般に、裏面照射にすると表面照射の場合に比べてフォトダイオードへの開口を大きくすることができるので、撮像素子２０３で光電変換される光量の低下が抑えられる。このため、画素ＰＸごとに集光レンズを設けなくとも、画素ＰＸに対して十分な強度の光を入射させることができる。したがって、マイクロレンズアレイ２０２から撮像素子２０３までの間に他のレンズを有さない構成にすることができる。
なお、撮像素子２０３を裏面照射型ではなく表面照射型の構成とすることも可能である。

図４、図５では、マイクロレンズＬ１〜Ｌ６ごとに８個×８個の画素群ＰＸｓを割り当てる例を示すが、画素群ＰＸｓを構成する画素ＰＸの数は、図示する数に限定されない。また、図４のマイクロレンズＬ１〜Ｌ６の数も、図示した数に限定されない。さらにまた、受光素子アレイ２０３Ｂにおける画素ＰＸの配置は、図２のようにマイクロレンズＬごとに画素群ＰＸｓを隔離して配置してもよいし、図４、図５に示すように、画素群ＰＸｓを隔離することなく複数の画素ＰＸを二次元アレイ状に配置してもよい。

＜マスク＞
マイクロレンズアレイ２０２のマイクロレンズＬには、それぞれ符号化開口が形成されたマスクＭが付加される。図６(a)および図６(b)は、マスクＭの開口パターンを例示する図である。マスクＭに形成された符号化開口は、光を通過させるランダムな形状のパターンである。マイクロレンズＬにマスクＭを付加することにより、そのマイクロレンズＬの後ろに配されている画素群ＰＸｓで取得される光線情報の一部（所定の入射方向からの光）を制限する。マスクＭを設ける理由は、上述したＶＲ演算による像ブレ補正の効果を得るためである。

マスクＭは、図３のマイクロレンズＬ１〜Ｌ５に付加されているように、マイクロレンズＬと透過基板２０２Ａとの間に付加される。すなわちマスクＭは、マイクロレンズＬの出射面側に形成される。なお、マイクロレンズＬ６に付加されているマスクＭｂのように、マイクロレンズＬ６の表面に付加されてもよい。すなわちマスクＭｂは、マイクロレンズＬ６の入射面側に形成される。
図３には、マイクロレンズＬと透過基板２０２Ａとの間に設けたマスクＭと、マイクロレンズＬ６の表面に設けたマスクＭｂとが混在する例を示したが、マスクＭまたはマスクＭｂの付加方法は、いずれかの付加方法に統一してよい。

図６(a)および図６(b)において、マスクＭの斜線で示す部分は、その透光率を所定値（例えば５％）以下に抑えた領域を示す。マスクＭの白部分は、光を通過させる開口領域を示す。図６(a)に示すマスクＭの斜線で示す部分は、一辺が受光素子アレイ２０３Ｂの画素ＰＸのピッチよりも大きい矩形をランダムに複数生成してランダムに配置した形状を有している。矩形のＸ軸方向およびＹ軸方向における最小の幅は、少なくとも、受光素子アレイ２０３Ｂの画素ＰＸのピッチよりも大きく構成されている。換言すると、斜線で示す領域を構成する矩形のそれぞれは、Ｘ軸方向について、Ｘ軸方向における画素ＰＸの幅よりも大きいサイズを有し、かつ、Ｙ軸方向について、Ｙ軸方向における画素ＰＸの幅よりも大きいサイズを有する。この理由は、入射される光線情報の制限状態を、マスクＭを付加したマイクロレンズＬの後ろに配されている画素ＰＸごとに検出するためである。

本実施形態では、マイクロレンズアレイ２０２を構成する全てのマイクロレンズＬにそれぞれマスクＭを設ける。マスクＭの開口パターンは、全てのマイクロレンズＬにそれぞれ異なる開口パターンの符号化開口を形成してもよく、全てのマイクロレンズＬにそれぞれ同じ開口パターンの符号化開口を形成してもよい。

本実施形態では、マイクロレンズアレイ２０２を構成する全てのマイクロレンズＬを二つのグループに二分するとともに、マスクＭの開口パターンを２種類設ける。そして、２種類の開口パターンのマスクＭ１とＭ２とをそれぞれのグループに用いる。例えば、図７に例示するように、マイクロレンズアレイ２０２を構成する全てのマイクロレンズＬを市松模様を構成するＡ群とＢ群とに二分する。

マスクＭの開口パターンは、図６(a)に示す開口パターンのマスクＭをＭ１とし、マスクＭ１に対して斜線部分と白部分とを逆にした図６(b)に示す開口パターンのマスクＭをＭ２とする。ここで、マスクＭ１およびマスクＭ２はそれぞれ、マスクＭを付加しない場合に比べて、例えば撮像素子２０３（受光素子アレイ２０３Ｂ）へ入射される光量が半分程度になる開口率とする。マスクＭの開口率が低いと、撮像素子２０３で取得される画像が暗くなり、マスクＭの開口率が高いと、ＶＲ演算による像ブレ補正の効果が低くなるからである。
なお、像ブレ補正の効果を優先する場合には、マスクＭの開口率を５０％よりも低くしてよく、取得される画像の明るさを優先する場合には、マスクＭの開口率を５０％よりも高くしてよい。

上記のマスクＭ１を、図７のＡ群のマイクロレンズＬに対して付加し、上記のマスクＭ２を、図７のＢ群のマイクロレンズＬに対して付加する。近接する複数のマイクロレンズＬに同一の開口パターンのマスク（例えばマスクＭ１）を付加すると、それらのマイクロレンズＬは共に同一方向からの入射する光を制限する。これに対して、本実施形態のように、近接する複数のマイクロレンズＬの間で異なる開口パターンのマスクＭ１、Ｍ２を付加すると、例えば所定方向から入射する光がマスクＭ１によって制限される一方で、同一方向から入射する光がマスクＭ２によって制限されない。すなわち、例えばマスクＭ１を付加したマイクロレンズＬの後ろに配されている画素群ＰＸｓに対して制限された光線情報と同様の光線情報が、マスクＭ２を付加したマイクロレンズＬの後ろに配されている画素群ＰＸｓでは制限を受けずに取得される。本実施形態の構成によると、近接する複数の各マイクロレンズＬにおいて、特定方向から入射する光が全て制限されることがない。すなわち、近接する複数の画素群ＰＸｓの少なくとも一つは、特定方向から入射する光に関する光線情報を取得することができる。

マイクロレンズアレイ２０２を構成する全てのマイクロレンズＬをＡ群とＢ群とに二分する方法は、上述した市松模様による二分に限らず、マイクロレンズアレイ２０２の一行おきに二分してもよいし、マイクロレンズアレイ２０２の一列おきに二分してもよい。

また、本実施形態の変形例として、マイクロレンズアレイ２０２を構成する全てのマイクロレンズＬに対してマスクＭを付加する代わりに、マイクロレンズアレイ２０２を構成するマイクロレンズＬのうち一部のマイクロレンズＬにマスクＭを付加し、他のマイクロレンズＬにはマスクＭを付加しない構成にしてもよい。この場合にも、マスクＭの開口のパターンは、マスクＭを付加した複数のマイクロレンズＬの間で異なるパターンでもよいし、マスクＭを付加した複数のマイクロレンズＬの間で同じパターンでもよい。
一部のマイクロレンズＬにマスクＭを付加する場合は、マスクＭを付加したマイクロレンズＬの後ろに配されている画素群ＰＸｓに対して制限された光線情報と同様の光線情報が、マスクＭを付加していないマイクロレンズＬの後ろに配されている画素群ＰＸｓでは制限を受けずに取得される。

＜ＶＲ演算＞
撮像素子２０３に対する被写体像の揺れによるブレ画像は、次式（１）のようにブレがない原画像と点広がり関数(Point Spread Function:以下ＰＳＦと呼ぶ)との畳み込みによって表される。
ｙ＝ｆｄ ＊ ｘ ……（１）
ここで、ｙはブレ画像、ｆｄはＰＳＦ、＊は畳み込み積分、ｘはオリジナルの原画像を表す。

上式（１）をフーリエ変換して周波数空間で表すと、次式（２）のように、畳み込み積分は積の形で表される。
Ｆ(ｙ)＝Ｆ(ｆｄ)・Ｆ(ｘ) ……（２）
ここで、Ｆ(ｙ)はブレ画像ｙのフーリエ変換を表す。Ｆ(ｆｄ)はＰＳＦのフーリエ変換を表す。Ｆ(ｘ)は原画像ｘのフーリエ変換を表す。

上式（２）を逆演算することにより、原画像ｘを推定することができる。すなわち、上式（２）に基づき、周波数空間においてブレ画像をＰＳＦで除算することにより、原画像ｘの周波数特性が求まる。さらに、その周波数特性を逆フーリエ変換して次式（３）を導くことができる。
ｘ’＝Ｆ^−１(Ｆ(ｙ) / Ｆ(ｆｄ)) ……（３）
なお、ｘ’は推定（復元）される原画像、Ｆ^−１(ｇ)は関数ｇの逆フーリエ変換を表す。上式（３）によれば、ＰＳＦが既知の場合には、ブレ画像ｙを原画像ｘ’に復元できる。

そこで、制御部２０５内のメモリ２０５ａに、あらかじめ複数のＰＳＦを記録しておく。例えば、加速度情報を引数とするＬＵＴ(Look Up Table)として、加速度情報に対応する種々のＰＳＦをメモリ２０５ａに記録しておく。なお、マイクロレンズＬのＰＳＦと加速度情報とからブレのＰＳＦを計算して求めるようにしても良い。制御部２０５は、撮像素子２０３から読み出された画素信号に基づく画像をブレ画像ｙとし、振れ検出部２０４によって取得された加速度情報に対応するＰＳＦをメモリ２０５ａから読み出す。そして、ＶＲ演算として上記（３）の演算を行う。換言すると、制御部２０５は、記憶部であるメモリ２０５ａに記憶した情報（加速度情報の値によって異なるＰＳＦ）を用いて像ブレを補正する。これにより、像ブレを除去した画像、すなわち原画像ｘ’を算出することができる。
以上のように、制御部２０５は、入射する光が制限されたマイクロレンズＬを通して画素群ＰＸｓで取得されたブレ画像ｙの像ブレを、振れ検出部２０４によって検出された加速度情報に基づいて補正する補正部として機能する。
画像処理部２０７は、原画像ｘ’に対して前述のリフォーカス処理を実行することにより、任意像面の画像を合成する。すなわち画像処理部２０７は、制御部２０５によって補正された原画像ｘ’に基づき、任意像面の画像を合成する画像合成部として機能する。

＜フローチャートの説明＞
図８は、制御部２０５が実行するカメラ処理の流れを例示するフローチャートである。制御部２０５は、メインスイッチのオン操作がなされた場合や、スリープ状態からの復帰操作がなされた場合に、図８の処理を行うプログラムを起動させる。図８のステップＳ１０において、制御部２０５は、例えばレリーズ操作が行われると、自動露出演算を開始してステップＳ２０へ進む。制御部２０５は、例えば、不図示の測光センサによる測光値に基づき被写体の輝度を求め、求めた輝度に応じて撮像時の露出制御を行う。

ステップＳ２０において、制御部２０５は、撮像素子２０３を駆動することによって撮像動作を開始させ、ステップＳ３０へ進む。ステップＳ３０において、制御部２０５は、撮像時のカメラ１００の振れ検出を行う。具体的には、振れ検出部２０４から検出信号を入力してステップＳ４０へ進む。

ステップＳ４０において、制御部２０５は、振れ検出部２０４からの検出信号が示す加速度情報に対応するＰＳＦを選ぶ。本実施形態では、メモリ２０５ａに記録されているＰＳＦのうち、加速度情報に対応するＰＳＦを読み出してステップＳ５０へ進む。

ステップＳ５０において、制御部２０５はＶＲ演算を行う。制御部２０５は、図７のＡ群のマイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配置されている画素群ＰＸｓから読み出した画素信号に基づくＡ群のＬＦ画像に対して上式（３）による演算を行い、Ａ群の原画像を算出する。ここで算出されるＡ群の原画像は、Ｂ群に対応する部分が欠落している画像となる。また、制御部２０５は、図７のＢ群のマイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配置されている画素群ＰＸｓから読み出した画素信号に基づくＢ群のＬＦ画像に対して上式（３）による演算を行い、Ｂ群の原画像を算出する。ここで算出されるＢ群の原画像は、Ａ群に対応する部分が欠落している画像となる。Ａ群の原画像とＢ群の原画像とを重ね合わせ、一方の原画像で欠落している部分を他方の原画像から補うことで、一つの原画像を得ることができる。この原画像は、像ブレを除去したＬＦ画像である。

ステップＳ６０において、制御部２０５は画像処理部２０７へ指示を送り、像ブレを除去したＬＦ画像に対し、所定の画像処理を行わせてステップＳ７０へ進む。画像処理は、例えば所定のピント位置や視点でのリフォーカス画像を生成させるリフォーカス処理である。なお、画像処理には、例えば、輪郭強調処理、色補間処理、ホワイトバランス処理などを含めてもよい。

なお、ステップＳ５０（ＶＲ演算）とステップＳ６０（画像処理）の順番を入れ替えてもよい。すなわち、Ａ群のＬＦ画像とＢ群のＬＦ画像とを先に結合し、結合後の一つのＬＦ画像に対して上式（３）によるＶＲ演算を行って、像ブレを除去した原画像（ＬＦ画像）を算出してもよい。換言すると、制御部２０５は、画像処理部２０７によって合成された画像の像ブレを補正する補正部として機能してもよい。
また、ステップＳ１０における自動露出演算は、必ずしも必要なく、所定の露出条件、例えば手動で設定した露出条件で撮像するようにしてもよい。また、ステップＳ２０とステップＳ３０は順番を入替えてもよく、同時に実施してもよい。

ステップＳ７０において、制御部２０５は、画像処理が行われた画像を表示部２０８に再生表示させてステップＳ８０へ進む。
制御部２０５は、例えば、ユーザー操作に基づいて画像処理部２０７に再度のリフォーカス処理を行わせ、再度のリフォーカス処理によって生成されたリフォーカス画像を表示部２０８に表示させてもよい。例えば、表示部２０８に表示されているリフォーカス画像の一部をユーザーがタップ操作した場合において、そのタップ位置に表示している被写体にピントが合うリフォーカス画像を表示部２０８に表示させる。

ステップＳ８０において、制御部２０５は、画像ファイルを生成してステップＳ９０へ進む。制御部２０５は、例えば、ＬＦ画像（像ブレを除去したＬＦ画像）のデータおよびリフォーカス画像のデータを含む画像ファイルを生成する。
また、制御部２０５は、ＬＦ画像（像ブレを除去したＬＦ画像）のデータのみ、または、リフォーカス画像のデータのみを含む画像ファイルを生成してもよい。
さらにまた、制御部２０５は、像ブレを除去していないＡ群のＬＦ画像のデータ、および像ブレを除去していないＢ群のＬＦ画像を含む画像ファイルを生成してもよい。像ブレを除去していないＬＦ画像のデータを画像ファイルに含める場合は、後に行うＶＲ演算に必要な加速度情報、すなわち、撮像時に振れ検出部２０４で検出された加速度情報もＬＦ画像のデータに関連付けておく。

ステップＳ９０において、制御部２０５は、画像ファイルを記録媒体２０６に記録してステップＳ１００へ進む。ステップＳ１００において、制御部２０５は、終了するか否かを判定する。制御部２０５は、例えば、メインスイッチのオフ操作がなされた場合や、無操作状態で所定時間が経過した場合に、ステップＳ１００を肯定判定し、図８による処理を終了する。一方、制御部２０５は、例えば、カメラ１００に対する操作が行われている場合はステップＳ１００を否定判定し、ステップＳ１０へ戻る。ステップＳ１０へ戻った制御部２０５は、上述した処理を繰り返す。

上述した第１の実施形態によれば、次の作用効果が得られる。
（１）光学装置の一例であるカメラ１００は、撮像素子２０３と、１つのマイクロレンズＬを通過した光が撮像素子２０３の有する複数の画素群ＰＸｓに入射するように二次元状に配置された複数のマイクロレンズＬ、すなわちマイクロレンズアレイ２０２とを備える。マイクロレンズアレイ２０２の複数のマイクロレンズＬは、ランダムな形状の符号化開口により入射光の一部を制限するマスクＭが付加される。これにより、撮像レンズ２０１にランダムな形状の符号化開口を設ける場合よりも、小さい構成にすることができる。

（２）マイクロレンズＬに付加するマスクＭは、マスクＭ１とマスクＭ２の２種類の開口パターンを有する。これにより、マスクＭ１を付加したマイクロレンズＬの後ろに配されている画素群ＰＸｓに対して制限された光線と同様の光線が、マスクＭ２を付加したマイクロレンズＬの後ろに配されている画素群ＰＸｓでは制限を受けずに入射されることから、近接する複数の各マイクロレンズＬにおいて、特定方向から入射する光が全て制限されることがない。。すなわち、近接する複数の画素群ＰＸｓの少なくとも一つは、特定方向から入射する光に関する光線情報を取得することができる。

（３）図３のマスクＭｂのように、マイクロレンズＬ６に付加するマスクＭｂの開口パターンをマイクロレンズＬ６の入射面側に形成する。このように形成する場合は、例えばマイクロレンズＬ６の表面への印刷によって開口パターンを形成することができる。

（４）図３のマスクＭのように、マイクロレンズＬ５に付加するマスクＭの開口パターンをマイクロレンズＬ５の出射面側に形成する。このように形成する場合は、例えばマイクロレンズＬ５を透過基板２０２Ａと一体化する前に、透過基板２０２Ａの上面（Ｚ軸プラス側面）へ転写することによって開口パターンを形成することができる。

（５）カメラ１００は、マイクロレンズＬを通して画素群ＰＸｓで取得されたＬＦ画像の像ブレを、振れ検出部２０４によって検出された加速度情報に基づいて補正する制御部２０５を備える。これにより、カメラ１００の揺動によって生じたＬＦ画像の像ブレを補正処理、例えばＶＲ演算によって除去することができる。

（６）カメラ１００は、上記（５）の制御部２０５によるＶＲ演算によって像ブレが除去されたＬＦ画像に基づいて、任意像面の画像を、例えばリフォーカス処理によって合成する画像処理部２０７を備える。これにより、像ブレを除去した後のＬＦ画像に基づいてリフォーカス処理を行うことができる。

（７）カメラ１００の画像処理部２０７は、マイクロレンズＬを通して画素群ＰＸｓで取得されたＬＦ画像に基づき、任意像面の画像を、例えばリフォーカス処理によって合成し、制御部２０５は、画像処理部２０７によって合成されたリフォーカス画像の像ブレを補正する。これにより、リフォーカス処理した後の任意像面の画像に対して像ブレの補正、例えばＶＲ演算を行うことができる。

（８）カメラ１００は、制御部２０５が像ブレ補正、例えばＶＲ演算に用いるＰＳＦを記憶するメモリ２０５ａを備える。制御部２０５は、メモリ２０５ａに記憶したＰＳＦを用いて像ブレを補正するので、必要なＰＳＦをメモリ２０５ａから適宜読み出してＶＲ演算に用いることができる。これにより、像ブレを適切に除去することができる。

（９）カメラ１００のメモリ２０５ａは、像ブレの補正、例えばＶＲ演算に用いる情報として、加速度情報の値によって異なる点広がり関数を記憶するので、カメラ１００の振れに応じた適切なＰＳＦを用いて、像ブレを適切に除去することができる。

また、次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した実施形態では、マイクロレンズアレイ２０２を構成する全てのマイクロレンズＬを二つのグループに分けるとともに、２種類のマスクＭの開口パターンを使い分ける例を述べた。マスクＭの開口パターンは、３種類以上設けてもよい。マスクＭの開口パターンを３種類以上設ける場合は、マイクロレンズアレイ２０２を構成する全てのマイクロレンズＬを三以上のグループに分けた上で、３種類以上の開口パターンのマスクをそれぞれのグループに用いるとよい。三以上のグループに分ける場合は、同種の開口パターンのマスクＭを付加したマイクロレンズＬの配置が偏らないように、マイクロレンズアレイ２０２において均等にちりばめるとよい。開口パターンの種類を増やすことにより、画像におけるモアレの発生を少なくすることができる。

（変形例２）
マスクＭの開口パターンは、上述した複数の矩形を組み合わせた形状に限らず、三角形や六角形などの多角形の開口を組み合わせたものでもよい。また、円形や楕円形の開口を組み合わせたものでもよい。
また、開口の並びを螺旋状に構成してもよい。

（変形例３）
上述した実施形態では、マスクＭの斜線で示す部分の透光率を所定値（例えば５％）以下に抑えた例を説明したが、マスクＭの斜線で示す部分の透光率を、例えば３０％まで、あるいは５０パーセントまで高めてもよい。像ブレ補正の必要性が低い場合、すなわち、撮像時に振れ検出部２０４で検出された加速度情報が所定値以下の場合には、マスクＭの斜線で示す部分に対応する画素ＰＸからの画素信号をＬＦ画像のデータとして用いるためである。

具体的には、マスクＭの斜線で示す部分に対応する画素ＰＸからの画素信号に対し、透光率に応じたゲインをかけて、ＬＦ画像のデータとして用いる。例えば、マスクＭの斜線で示す部分の透光率が３０パーセントの場合は、マスクＭの白部分に対応する画素ＰＸからの画素信号に比べて約３倍のゲインをかけることにより、マスクＭの斜線で示す部分に対応する画素ＰＸからの画素信号を、マスクＭの白部分に対応する画素ＰＸからの画素信号と同等の信号レベルのデータとして扱う。これにより、マスクＭを付加したマイクロレンズＬの後ろに配されている画素群ＰＸｓに対して制限された光線情報を活用することができる。

（第２の実施形態）
第２の実施形態では、マイクロレンズアレイ２０２を構成するマイクロレンズＬのうち、一部のマイクロレンズＬにマスクＭを付加しない構成とする。そしてさらに、マスクＭを付加していないマイクロレンズＬの後ろに配されている画素群ＰＸｓから読み出された画素信号を用いて焦点検出処理を行わせる。

図９は、第２の実施形態におけるマイクロレンズアレイ２０２を例示する図である。第１の実施の形態で説明した図７と比べて、中央のマイクロレンズＬｐにマスクＭが付加されていない点が異なる。マイクロレンズＬｐの後ろに配されている画素群ＰＸｓは、符号化開口による光線情報の制限を受けない。
なお、マスクＭを付加しないマイクロレンズＬｐの位置は、必ずしも中央でなくてもよい。また、マスクＭを付加しないマイクロレンズＬｐの数は、一つに限られず、複数設けてもよい。

制御部２０５は、マイクロレンズＬｐの後ろに配されている画素群ＰＸｓのうち、撮像レンズ２０１の異なる領域を通る一対の光束に対応する画素ＰＸから読み出された画素信号に基づき、上記一対の光束による一対の像の像ズレ量（位相差）を検出することにより、撮像レンズ２０１の焦点調節状態（デフォーカス量）を演算する。換言すると、制御部２０５は、入射する光が制限されていないマイクロレンズＬｐを通して画素群ＰＸｓで取得された画像に基づいて、焦点検出演算を行う焦点検出演算部として機能する。上記一対の像は、撮像レンズ２０１が予定焦点面よりも前に対象物の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに対象物の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。すなわち、一対の像の相対位置ズレ量は、カメラ１００から対象物までの距離に対応する。
このようなデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。

カメラ１００の制御部２０５は、撮像レンズ２０１の予定焦点面にマイクロレンズアレイ２０２が位置するように自動焦点調節動作を行う。この理由は、例えば撮像レンズ２０１の焦点面に受光素子アレイ２０３Ｂが位置すると、撮像レンズ２０１の異なる領域を通過した光が一部の画素ＰＸに集まることにより、光線情報を適切に有するＬＦ画像の取得が困難になるからである。

制御部２０５は、撮像画面の所定の位置（焦点検出位置と呼ぶ）において、対応する被写体（対象物）を対象にフォーカスを調節する自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。制御部２０５は、デフォーカス量演算結果に基づいて、撮像レンズ２０１を構成するフォーカスレンズを合焦位置へ移動させるための駆動信号を出力し、この駆動信号に基づき、図示を省略した焦点調節部がフォーカスレンズを合焦位置へ移動させる。制御部２０５が自動焦点調節のために行う処理は、焦点検出処理とも称される。

第２の実施形態において、制御部２０５が行う自動焦点調節動作は、少なくとも、撮像レンズ２０１の焦点位置を、受光素子アレイ２０３Ｂの位置からＺ軸プラス方向への距離ｆと、受光素子アレイ２０３Ｂの位置からＺ軸マイナス方向への距離ｆとで挟まれる２ｆの範囲よりも外側へ移動させるために行う。距離ｆは、マイクロレンズアレイ２０２を構成するマイクロレンズＬの焦点距離に対応する。

図１０は、制御部２０５が実行するカメラ処理の流れを例示するフローチャートである。第１の実施の形態で説明した図８と比べて、ステップＳ１０の前のステップＳ１が設けられている点が異なる。

ステップＳ１において、制御部２０５は、上記自動焦点調節動作を制御してステップＳ１０へ進む。
なお、ステップＳ１（自動焦点調節）とステップＳ１０（自動露出演算）の順番を入れ替えてもよい。

第２の実施形態によれば、マスクＭを付加していないマイクロレンズＬｐの後ろに配されている画素群ＰＸｓから読み出された画素信号を用いることにより、カメラ１００に専用の焦点検出装置を備えることなしに、焦点検出処理を行うことができる。

上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。また、各実施形態および変形例を適宜組み合わせてもよい。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第６９７３８号（２０１６年３月３０日出願）

１００…カメラ、２０１…撮像レンズ、２０２…マイクロレンズアレイ、２０３…撮像素子、２０３Ｂ…受光素子アレイ、２０４…振れ検出部、２０５…制御部、２０５ａ…メモリ、２０６…記録媒体、２０７…画像処理部、Ｌ、Ｌｐ、Ｌ１〜Ｌ６…マイクロレンズ、Ｍ、Ｍｓ…マスク、ＰＸ…画素、ＰＸｓ…画素群

Claims (14)

1. 二次元状に配置された複数のマイクロレンズと、
   複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサとを備え、
   前記複数のマイクロレンズの少なくとも一部は、マイクロレンズに形成された開口パターンにより入射光の一部を制限する光学装置。
2. 請求項１に記載の光学装置において、
   前記複数のマイクロレンズは、少なくとも２種類の開口パターンが形成されたマイクロレンズを含む光学装置。
3. 請求項１または請求項２に記載の光学装置において、
   前記開口パターンは、前記マイクロレンズの入射面側に形成される光学装置。
4. 請求項１または請求項２に記載の光学装置において、
   前記開口パターンは、前記マイクロレンズの出射面側に形成される光学装置。
5. 二次元状に配置された複数のマイクロレンズと、
   複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
   所定の開口パターンを有する複数のマスクとを備え、
   前記複数のマスクのそれぞれは、前記複数のマイクロレンズの少なくとも一部の各マイクロレンズに入射する光の一部をそれぞれ制限する光学装置。
6. 請求項５に記載の光学装置において、
   前記複数のマスクは、少なくとも２種類の開口パターンを有するマスクを含む光学装置。
7. 請求項５または請求項６に記載の光学装置において、
   前記マスクは、前記マイクロレンズの入射面側に配置される光学装置。
8. 請求項５または請求項６に記載の光学装置において、
   前記マスクは、前記マイクロレンズの出射面側に配置される光学装置。
9. 請求項１から請求項８までのいずれか一項に記載の光学装置において、
   入射する光が制限された前記マイクロレンズを通して前記画素群で取得された画像の像ブレを、加速度検出センサによって検出された加速度情報に基づいて補正する補正部を備える光学装置。
10. 請求項９に記載の光学装置において、
    前記補正部によって補正された画像に基づき、任意像面の画像を合成する画像合成部を備える光学装置。
11. 請求項９に記載の光学装置において、
    前記マイクロレンズを通して前記画素群で取得された画像に基づき、任意像面の画像を合成する画像合成部を備え、
    前記補正部は、前記画像合成部によって合成された画像の像ブレを補正する光学装置。
12. 請求項９から請求項１１までのいずれか一項に記載の光学装置において、
    前記補正部が前記補正の演算に用いる情報を記憶する記憶部を備え、
    前記補正部は、前記記憶部に記憶した情報を用いて前記像ブレを補正する光学装置。
13. 請求項１２に記載の光学装置において、
    前記記憶部は、前記補正の演算に用いる情報として、前記加速度情報の値によって異なる点広がり関数を記憶する光学装置。
14. 請求項１から請求項１３までのいずれか一項に記載の光学装置において、
    入射する光が制限されていない前記マイクロレンズを通して前記画素群で取得された画像に基づいて、焦点検出演算を行う焦点検出演算部を備える光学装置。
    

Images