JP6112245B2 - フーリエ変換を使ったプレノプティック撮像システムの較正 - Google Patents

Description

本開示は概括的にはプレノプティック撮像システムに関し、より詳細にはプレノプティック撮像システムの較正に関する。

プレノプティック撮像システムが近年ますます注目を集めている。プレノプティック撮像システムは、捕捉されたプレノプティック像のデジタル処理に基づいてオブジェクトの異なる焦点または視点を再計算するために使うことができる。プレノプティック撮像システムは、主結像モジュールのひとみ面内の複数モード・フィルタ・アレイを使って、複数モード撮像における用途をも見出す。各フィルタはセンサーにおいて撮像され、事実上、フィルタ・アレイの各撮像モダリティについてオブジェクトの多重化された像を生成する。プレノプティック撮像システムの他の応用は、変動被写界深度撮像および高ダイナミックレンジ撮像を含む。

しかしながら、プレノプティック撮像システムの構造は通常の撮像システムの構造とは異なっており、よって異なる較正および処理手順を必要とする。プレノプティック画像の処理においていくつかの課題がみつかっている。第一に、マイクロレンズ・アレイの整列は決して完璧ではなく、センサー・アレイに対するマイクロレンズ・アレイの回転の効果は実に目につきやすい。この回転は、画像再構成について多大な困難を導入する。データ点が規則的なサンプリング格子上に当てはまらないからである。さらに、異なる応用については、異なる焦点設定が使われることがある。プレノプティック撮像システムについて、焦点の変化は、入射光の角度に影響し、それが像の縁付近での像の有効ピッチに、わずかだが認識可能な量だけ影響することがある。

このように、プレノプティック撮像システムについての較正技法が必要である。

ある種の実施形態は、プレノプティック撮像システムを較正する方法を提供することによって従来技術の限界を克服する。プレノプティック撮像システムは、スーパーピクセルに分割されている検出器アレイを含む。プレノプティック撮像システムの検出器アレイによって捕捉されたプレノプティック画像がアクセスされる。スーパーピクセルの行について、該行を通じるスライスが選択される。選択されるスライスは、該行を通じる他のスライスに比べてより強い基本成分をもつフーリエ変換をもつものである。スーパーピクセルの前記行のピッチは、選択されたスライスの基本成分の周波数に基づいて決定される。スーパーピクセルの前記行の回転は、選択されたスライスに対するプレノプティック画像の回転に基づいて決定される。

本開示の他の側面は、上記の方法に対応するコンピュータ可読記憶媒体およびシステムならびに上記のための応用を含む。

本開示の実施形態は、付属の図面との関連で考慮されるときの以下の詳細な説明および付属の請求項からより容易に明白となるであろう。
ある実施形態に基づくプレノプティック撮像システムの図である。 ひとみ面への検出器の投影を示す図である。 ある実施形態に基づく図１Ａの細部である。 ある実施形態に基づく図１Ａのシステムの動作をさらに例解する図である。 ある実施形態に基づく、完璧に整列されたコンポーネントによるプレノプティック撮像を示す図である。 ある実施形態に基づく、整列不良のあるマイクロ結像アレイの効果を示す図である。 ある実施形態に基づく、プレノプティック撮像システムを較正するための方法の流れ図である。 ある実施形態に基づく、図３で論じたスライスを選択するための方法の流れ図である。 Ａは、ある実施形態に基づく例示的な参照プレノプティック画像を示す図であり、Ｂはある実施形態に基づく、Ａの参照プレノプティック画像からの画像の行を使ってスライス・オフセットを例解する図である。 ある実施形態に基づく、0個のピクセルが脱落させられた、−0.006ラジアンの回転角について計算された、あるスライスのスペクトル・パワーを示す図である。 ある実施形態に基づく、「x」個のピクセルが脱落させられた、図６Ａにおけるスライスのスペクトル・パワーを示す図である。 ある実施形態に基づく、「n」個のピクセルが脱落させられた、図６Ａにおけるスライスについての最大スペクトル・パワーを示す図である。 ある実施形態に基づく、「n」個より多いピクセルが脱落させられた、図６Ａにおけるスライスについてのスペクトル・パワーを示す図である。 ある実施形態に基づく、−0.004ラジアンの回転角において計算された、プレノプティック参照画像の一部のあるスライスのスペクトル・パワーを示す図である。 ある実施形態に基づく、−0.005ラジアンの回転角において計算されたプレノプティック参照画像の前記一部のあるスライスのスペクトル・パワーを示す図である。 ある実施形態に基づく、−0.006ラジアンの回転角において計算されたプレノプティック参照画像の前記一部のあるスライスのスペクトル・パワーを示す図である。 ある実施形態に基づく、−0.007ラジアンの回転角において計算されたプレノプティック参照画像の前記一部のあるスライスのスペクトル・パワーを示す図である。 ある実施形態に基づく、−0.008ラジアンの回転角において計算されたプレノプティック参照画像の前記一部のあるスライスのスペクトル・パワーを示す図である。 Ａは、ある実施形態に基づく、焦点設定に起因するピッチの変化について較正しないプレノプティック撮像システムによって出力される画像である。Ｂは、ある実施形態に基づく、焦点設定に起因するピッチの変化について較正するプレノプティック撮像システムによって出力される画像である。 図面は単に例解の目的でさまざまな実施形態を描いている。当業者は、以下の議論から、本願で記載される原理から外れることなく、ここに示される構造および方法の代替的な実施形態が用いられてもよいことを容易に認識するであろう。

図１Ａ〜図１Ｄは、ある実施形態に基づくプレノプティック撮像システム１００の図である。プレノプティック撮像システム１００はオブジェクト１５０のプレノプティック画像を捕捉する。プレノプティック撮像システム１００は、像形成光学モジュール１０５を含む。該光学モジュール１０５は図１では単一のレンズ要素によって表わされているが、光学モジュール１０５は複数の要素および／または非レンズ要素（たとえば鏡）を含むこともできることは理解される。光学モジュール１０５はオブジェクト１５０の通常の光学像１６０を形成する。光学モジュール１０５は、主結像モジュール、サブシステムまたはシステムとも称されることもある。光学像１６０は光学モジュール１０５の像平面１２５のところに形成される。光学モジュール１０５はひとみ１１７およびひとみ面１１５によって特徴付けされる。ひとみ面１１５は図１では、前記単一のレンズ要素と共位置の物理的な開口絞りによって表されている。より複雑な光学モジュール１０５では、ひとみ１１７およびひとみ面１１５は該光学モジュール内の光学要素のどれとも共位置である必要はない。

通常の撮像システムでは、光学像１６０を捕捉するために、検出器アレイが像平面１２５に位置される。しかしながら、これは図１のプレノプティック撮像システム１００については当てはまらない。例解の目的で、図１Ｂ〜図１Ｄに関して下記で論じる概念を例解するのを助けるため、ひとみ１１７は異なる領域１１１ｗ〜ｚに分割されてもよい（図１Ａでは領域１１１ｗのみがラベル付けされている）。

第二に、マイクロ結像素子１２１のマイクロ結像アレイ１２０が像平面１２５のところに位置されている。図１では、マイクロ結像素子１２１はマイクロレンズとして示されている。他の要素、たとえばピンホールのアレイが使われることもできる。検出器アレイ１３０は、マイクロ結像アレイ１２０の背後（すなわち光学的に下流）に位置される。より具体的には、検出器アレイ１３０は、ひとみ面１１５に対する共役面１３５のところに位置される。すなわち、各マイクロ結像素子１２１は、ひとみ面１１５の像を、共役面１３５のところに作り出し、その像が検出器アレイ１３０によって捕捉される。

マイクロレンズの場合、各マイクロレンズ１２１は、検出器平面１３５のところにひとみの像１７０を形成する。このひとみの像は、検出器アレイ１３０内の検出器１３１のサブセットによって捕捉される。各マイクロレンズ１２１はその独自の像１７０を形成する。このように、検出器平面１３５において形成される全体的なプレノプティック像は、スーパーピクセル１７０のアレイを含む。各マイクロレンズ１２１について一つのスーパーピクセルがある。このアレイ状の結像は、事実上、検出器アレイをスーパーピクセル１３３に細分する。各スーパーピクセルが複数の検出器１３１を含む。各マイクロレンズ１２１は、ひとみを、対応するスーパーピクセル１３３上に結像し、各ひとみ像がその後対応するスーパーピクセル内の諸検出器によって捕捉される。

逆に、図１Ｂを参照するに、個々の各検出器１３１は、マイクロレンズ１２１を通じてひとみ面１１５内の対応する位置１１９に投影されることができる。その特定の検出器１３１について、マイクロレンズ１２１は対応する位置１１９からの光を集める。図１Ｂは、検出器１３１Ａの、中心のマイクロレンズを通じた位置１１９Ａへの投影と、検出器１３１Ｂの位置１１９Ｂへの投影とを示している。検出器の投影１１９は好ましくは、実際の検出器サイズ１３１に対して少なくとも１０倍拡大される。

さらなる詳細のために図１Ｃを参照するに、各マイクロレンズ１２１は（ひとみ内にはいる）領域１１１ｗ〜ｚをスーパーピクセル１３３上に結像する。個々の各領域１１１ｗは諸領域１１１の全体の単なる一部であり、よって領域１１１ｗの像１７１ｗはスーパーピクセル１３３の一部のみをカバーする。その部分は、図１Ｃの詳細において示されるように、サブピクセル１３２と称される。すなわち、各マイクロレンズ１２１は領域１１１からの光を、対応するサブピクセル１３２に差し向ける。各サブピクセル１３２は、一つまたは複数の検出器を含んでいてもよい。

各検出器１３１は、一つの領域（たとえば領域１１１ｗ）から、一つのマイクロレンズ１２１を通過する光を集める。マイクロ結像アレイ１２０は、オブジェクト１５０に対して共役面に位置されている。よって、オブジェクト１５０とマイクロ結像アレイ１２０との間に結像関係もある。したがって、マイクロレンズに入射する光は、オブジェクト全体からではなくオブジェクトの一部から発する光である。いくつかのシステムでは、ひとみ面のところにフィルタ・アレイが位置され、各領域１１１は異なるフィルタに対応する。その場合、各検出器１３１は（マイクロレンズの広がりによって決定されるところの）オブジェクトの対応する部分からの光が、対応するフィルタ１１１によってフィルタリングされたものを集める。

図１Ｄは、この概念をより詳細に示している。明確のため、主レンズ１０５は省略されている。この例では、オブジェクト１５０は三つの部分オブジェクト１５１Ａ、Ｂ、Ｃに分割されている。同様に、四つの領域１１１ｗ、ｘ、ｙ、ｚは四つの異なるフィルタに対応する。オブジェクト１５０は、マイクロ結像アレイ１２０上に結像される。より具体的には、部分オブジェクト１５１Ｂはマイクロレンズ１２１Ｂ上に結像される。これは、部分オブジェクト１５１Ｂを出るすべての光線がひとみを通過（そしてひとみのどこを通過するかに依存して異なる領域１１１を通過）し、マイクロレンズ１２１Ｂに到達することを意味する。同様に、部分オブジェクト１５１Ａはマイクロレンズ１２１Ａ上に結像され、部分オブジェクト１５１Ｃはマイクロレンズ１２１Ｃ上に結像される。

さらに、マイクロレンズ１２１Ｂは、諸領域１１１のすべて（少なくともひとみ内にはいる部分）を部分アレイ１３３Ｂ上に結像する。よって、領域１１１ｗはマイクロレンズ１２１Ｂによってサブピクセル１３２Ｂ（ｗ）上に結像され、領域１１１ｘはサブピクセル１３２Ｂ（ｘ）上に結像され、他のフィルタ／サブピクセル対についておよび他のマイクロレンズ１２１についても同様である。完全にサブピクセル１３２Ｂ（ｗ）内にはいる検出器１３１について、それらの検出器は、領域１１１ｗを通過する部分オブジェクト１５１Ｂからくる光を検出する。同じことは、他のサブピクセル１３２Ａ（ｗ）〜１３２Ｃ（ｚ）についても成り立つ。

本撮像システムは、検出器によって収集される光線が（通常の撮像システムにおけるように）オブジェクト平面におけるその位置の関数であるだけでなく、ひとみ面におけるその位置の関数でもあるので、「ライトフィールド」撮像システムである。

再び図１Ａを参照するに、処理モジュール１８０は検出器アレイ１３０からのデータを収集し、それをしかるべく処理する。単純な例として、デジタル処理ユニット１８０は、領域（またはフィルタ）１１１ｗを通る光についてオブジェクト全体の像を形成するために、データを並べ替えて、サブピクセル１３２Ａ（ｗ），１３２Ｂ（ｗ）および１３２Ｃ（ｗ）からのデータをまとめてもよい。同じことは、領域１１１ｘ、ｙ、ｚについてもできる。捕捉されたライトフィールドは、ひとみ面およびオブジェクト両方に関する情報を含むので、他の型の処理が実行されることもできる。

プレノプティック撮像システム１００の製造の結果、常にマイクロ結像アレイ１２０が検出器アレイ１３０とよく整列されるわけではない。プレノプティック像の処理は、マイクロ結像アレイ１２０と検出器アレイ１３０の間の整列不良に敏感である。先の例では、サブピクセル１３２Ａ（ｗ）、１３２Ｂ（ｗ）および１３２Ｃ（ｗ）を処理するために、どの個々の検出器がサブピクセル１３２Ａ（ｗ）、１３２Ｂ（ｗ）および１３２Ｃ（ｗ）に対応するかがわかっているべきである。整列不良は、プレノプティック撮像システム１１０からのビュー抽出に影響しうる。

図２Ａは、ひとみ１１７およびマイクロ結像アレイ１２０が完璧に検出器アレイ１３０と整列されているときのプレノプティック撮像を例解する図である。この例では、ひとみ１１７は円形であり、四つの領域Ａ〜Ｄに分割されている。たとえば、四象限フィルタ・アレイと関連して用いられる円形レンズである。マイクロ結像アレイ１２０はマイクロレンズ１２１の３×３のアレイである。マイクロ結像アレイ１２０は、各マイクロレンズについてのクリアーな開口に加え、各マイクロレンズの中心によって定義される。これらのマイクロレンズは完璧に整列されており、よってそれらの中心は、破線で示されるような正方形格子上に載る。結果として得られるプレノプティック像１７５は、ひとみのスーパーピクセル１７０（すなわちスーパーピクセル）の３×３アレイである。明確のため、拡大および反転は無視している。各像１７０の中心は、マイクロレンズの中心を定義する正方形格子によって決定される正方形格子上に載る。図２Ａにおける太いｘ軸およびｙ軸は、検出器アレイを基準にして定義される局所座標系を示している。プレノプティック像１７５については、太いｘ軸およびｙ軸は、検出器アレイを基準にしてプレノプティック像１７５の位置を示す。プレノプティック像１７５の検出器アレイ１３０との整列が、どの検出器がどのスーパーピクセルおよびサブピクセルに対応するかを決定する。図２Ａでは、プレノプティック像１７５は検出器アレイと完璧に整列されている。

図２Ｂは、整列不良のあるマイクロ結像アレイ１２０の効果を示す図である。この図では、太いｘ軸およびｙ軸は、諸コンポーネントのもとの整列された位置を示している。図２Ｂでは、マイクロ結像アレイ１２０は回転している。これは、プレノプティック像中の各像１７０の位置を定義する正方形格子を回転させる。しかしながら、各像１７０自身は回転されない（マイクロレンズ自身が回転対称であるとして）。すなわち、各像１７０は、根底にある正方形格子の回転に起因して、新たな位置に並進される。この回転はたとえば製造中のマイクロレンズ１２１の整列不良に起因することがある。原因が何であれ、回転は図２Ａの完璧な正方形格子に影響する。諸マイクロレンズの新たな諸中心が新たな格子を定義する。

図２Ｂの整列不良は、どの検出器がどのスーパーピクセルおよびサブピクセルに寄与するかを変えることを注意しておく。明確のため、図２Ａおよび図２Ｂにおいて拡大は無視した。しかしながら、プレノプティック画像１７５の倍率の変化（すなわち、破線の正方形格子の伸張または縮小）も、どの検出器がどのスーパーピクセルおよびサブピクセルに寄与するかを変える。一般に、プレノプティック像を処理して良好な結果が得られるよう、検出器アレイをプレノプティック像に正確にマッピングすることが重要である。多くの状況において、このマッピングは好ましくは較正プロセスを通じて行われる。

下記でさらに説明するように、較正は典型的には、検出器アレイ１３０に対するプレノプティック画像の回転を判別することを含む。回転を考慮しないとビュー抽出に誤差が生じるので、回転の判別は重要である。較正はまた、主として、検出器アレイ１３０に対するスーパーピクセルのピッチ（すなわちサイズ）を判別することを含む。いくつかの実施形態では、撮像プレノプティック・システム１００は、抽出されるビューに対して超解像度技法を実行する。よって、ピッチは超解像度技法に影響するので、正確なピッチをもつことが重要である。回転およびピッチは、検出器アレイ１３０に対してマイクロレンズ・アレイ１２０を位置決めすることによって影響されることがあるが、焦点設定の変化など他の因子によっても影響されることもある。また、超解像度技法が適用されるので、ピッチがサブピクセルに関する高い粒度をもつことが必須である。よって、正確なピッチを見出し、それを非整数ピクセルを用いて表現することが非常に重要になる。

図３は、プレノプティック撮像システム１００を較正する一つの方法の流れ図である。ある実施形態では、図３のプロセスはプレノプティック撮像システム１００によって（たとえば処理モジュール１８０を介して）実行される。他の実施形態では、該プロセスの段階の一部または全部を他のモジュールが実行してもよい。同様に、実施形態は、異なるおよび／または追加的な段階を含んでいたり、あるいは段階を異なる順序で実行したりしてもよい。

プレノプティック撮像システム１００は参照プレノプティック画像を捕捉する（３１０）。いくつかの実施形態では、プレノプティック撮像システムは、一様に照明されるオブジェクト（たとえば結像されたときに検出器アレイ１３０を満たす白色カード）を結像して参照プレノプティック像を作り出す。上記で論じたように、各マイクロレンズ１２１は検出器平面１３５においてひとみ１１７の像またはスーパーピクセル１７０を形成する。よって、上記のようにして生成される参照プレノプティック画像は、各マイクロレンズ１２１について一つある像またはスーパーピクセルの二次元アレイである。

参照二次元プレノプティック画像を通じて複数の異なる一次元スライスが取られることができる。較正目的のために、主として、スーパーピクセルのある行を通じて取られる一次元スライスを扱う。たとえば、N個のスーパーピクセルの行を考える。スライスは、このスーパーピクセルの行の上、中または下を通じて、すなわち最高のスペクトル・パワーをもつ行内の異なるオフセットのところで、取られることができる。スライスは画像の異なる回転においても取られることができる。たとえば、あるスライスは行の左下から右上に延びることができ、別のスライスは行の真ん中を通じて延びることができ、さらにもう一つのスライスは行の左上から右下に延びることができる。いくつかの実施形態では、行内のオフセットは固定される。

較正手順は、フーリエ変換（たとえば離散フーリエ変換）が参照プレノプティック画像において最高のスペクトル・パワーをもつ、参照プレノプティック画像を通じた一次元スライスを選択する（３２０）。「最高」のパワーは典型的には、その基本成分においてより高いスペクトル・パワーをもつスライスとして実装される。ある手法では、これは、まずスーパーピクセルのある行内で種々のオフセットにおけるスライスを考慮することによって達成される。それらのスライスは互いに平行であり、スーパーピクセルのその行をスパンする。図５のＡおよびＢ参照。最高のスペクトル・パワー（たとえば、他のスライスに比べてより強い基本成分）をもつスライスが選択される。次いで、参照プレノプティック画像は、選択されたスライスに対して異なる諸角度に回転させられ、第二の複数のスライスを生成する。図７Ａないし図７Ｅ参照。物理的には、スライスは、ピッチについての精度要求に基づいてアップスケーリング（たとえば8×、16×のアップスケーリング）された生のセンサー・データの行である。ここでもまた、最高のスペクトル・パワーをもつスライスが選択される。

選択されたスライスは、検出器アレイ１３０に対する、プレノプティック画像のその部分のピッチおよび回転を決定する（３３０）ために使われる。ピッチは、選択されたスライスのフーリエ変換の基本周波数に基づいて決定される。たとえば、ピッチは、最高のスペクトル・パワーに関連付けられた基本周波数をサンプルのサイズで割ることによって決定されてもよい。いくつかの実施形態では、サンプルのサイズはスペクトル漏れを考慮に入れる。

回転は、選択されたスライスの回転に基づいて決定される。プレノプティック画像の残りは同じピッチおよび回転をもつと想定されてもよい。あるいはまた（そして任意的に）、上記プロセスはプレノプティック画像における異なる位置（すなわち、スーパーピクセルの異なる行）について反復されて（３４０）、各位置についてピッチおよび回転を決定してもよい。たとえば、上記スライスがプレノプティック画像全体をスパンする行についてである場合、ピッチおよび回転は行全体を通じて一定であると想定してもよい。あるいはまた、プレノプティック画像全体をスパンするために使われる複数のスライスがあってもよい。その場合、それら複数のスライスのそれぞれについて異なるピッチおよび回転が決定されてもよい（すなわち、区分毎の解）。複数のサンプル点があるときは補間も使用されることができる。ピッチは複数の異なる方向について決定されてもよい。xおよびy方向のピッチは六角形充填のため異なるが、他方のピッチは簡単な幾何学を使って決定されることができる。

段階３２０では、最高のスペクトル・パワーをもつスライスを特定するために種々の方法論が使用されうる。方法論は、たとえば、逐次反復方法（たとえば、下記で図４において回転に関して論じるようなもの）、網羅的探索、勾配上昇法、一組の数のうちの最大値を特定する他のいくつかの方法論またはそれらの何らかの組み合わせを含みうる。さらに、スーパーピクセルの行が与えられたとき、スライスの特定は典型的には、二つ以上の変数を使う：スライスのオフセット、スライスの回転、可能性としてはスライスの長さである。これらの変数は、別個にまたは一緒に最適化されることができる。たとえば、図４はまずオフセットを、次いで回転を選択する。代替的な手法では、これらの変数の両方が一緒に最適化されてもよい。

図４は、図３で論じた、スライスを選択する（３２０）ためのある実施形態の流れ図である。ある実施形態では、図４のプロセスはプレノプティック撮像システム１００によって（たとえば処理モジュール１８０を介して）実行される。他の実施形態では該プロセスの段階の一部または全部を他のモジュールが実行してもよい。同様に、実施形態は、異なるおよび／または追加的な段階を含んでいたり、あるいは段階を異なる順序で実行したりしてもよい。図４において（のちの図６Ａ〜Ｄ、図７Ａ〜Ｅおよび図８のＡ〜Ｂについても）、与えられるデータについてのデータ値は単に例であり、これらのデータ値は特定の主レンズ（たとえば光学モジュール１０５）およびカメラ・センサー（たとえば検出器アレイ１３０）についてのものであることを注意しておく。異なるフォーカス価（focal value）をもつ他の何らかの主レンズおよび／または他のカメラ・センサーが使われる場合には、データ値は異なることがある。

図４に示されるプロセスは二つのフェーズに分けることができる。第一のフェーズは、４１０未満の段階を含む。このフェーズは、スーパーピクセルの行内の種々のオフセットにあるスライスを考慮する。それらのスライスは互いに平行であり、スーパーピクセルのその行をスパンする。これらの一次元スライスはまず定義され（４０２）、次いで構築される（４０５）。最高のスペクトル・パワー（たとえば、他のスライスに比べてより強い基本成分）をもつスライスが選択される（４０７）。

第二のフェーズは、段階４１０以上を含む。このフェーズでは、参照プレノプティック画像が第一のフェーズにおいて選択されたスライスに対して種々の角度に回転させられ、最良の回転角が選択される。初期分解能での回転角の初期集合が決定される（４１０）。いくつかの実施形態では、回転角の初期集合は0ラジアンをブラケットし、初期分解能をもつ。初期分解能は、隣り合う回転角の間の離間を制御する。たとえば、初期分解能は0.001ラジアンであってもよく、回転角の集合は[−0.010,−0.009,…,0.000,…,0.009,0.010]であってもよい。この例では、ブラケットのサイズは21個の回転角である。他の実施形態では、ブラケットのサイズおよび／または初期分解能はより大きかったりまたはより小さかったりしてもよい。

参照プレノプティック画像は上記スライスに対して第一の回転角に回転させられる（４１２）。参照プレノプティック画像が上記スライスに対して回転させられると、上記スライスはプレノプティック参照画像の異なる部分をサンプリングする。よって、各回転角は、プレノプティック参照画像の異なる部分をサンプリングするスライスに対応する。

スライスのスペクトル・パワーが決定され（４１５）、スペクトル漏れについて調整される。これは、スライスの離散フーリエ変換（DFT）を取り、DFTの出力を使ってスライスのスペクトル・パワーを決定することによってなされる。

スライスが有限なので、スライスのDFTの結果、周波数スペクトルにおける出力のわずかなぼけが生じることを注意しておく。スペクトル漏れは本質的には、スライスの長さが有限であるためにDFTの出力に導入される望まれない周波数成分である。これらの周波数成分は一般に、突然の周波数ジャンプまたは所望される周波数成分をマスクしうる他の何らかの高周波数現象として現われる。

スペクトル漏れは、図６Ａ〜図６Ｄに関して下記で例解するようなスペクトル捜索（spectral hunt）を実行することによって調整される。スペクトル捜索を実行するために、スライスのスペクトル・パワー（たとえばスライスのDFTを使う）が、当該スライスの種々のサイズのサンプルについて決定される。正しい周波数成分（たとえば、マイクロレンズのピッチに対応するもの）が共振するチャンスを与えられ、スペクトル漏れによって影が薄くならないことを保証するためである。いくつかの実施形態では、スライスの先頭に対応する開始点およびスライスの終わりに対応する終点が決定される。開始点および終点を含むスライスについてのスペクトル・パワーが決定される。開始点は、一ピクセルだけ終点に向かってシフトされ、事実上、スライスから以前の開始点が脱落させられ、新たなわずかに小さくなったスライスについてスペクトル・パワーが決定される。開始点をシフトさせてますます切り詰められていくスライスのスペクトル・パワーを決定するこのプロセスは、閾値数のピクセルが脱落させられてしまうまで繰り返される。よって、それぞれが当該スライスの異なるサイズに対応する複数のスペクトル・パワーが生成される。いくつかの実施形態では、閾値数のピクセルは、スライスの脱落させられた部分が二つの隣接するスーパーピクセルをスパンするようなピクセル数である。前記複数のスペクトル・パワーのうちの、諸周波数成分の最高のスペクトル・パワーをもつスペクトル・パワーが選択され、これがプレノプティック画像のピッチに対応する。

図４に戻ると、段階４２０は、回転角の初期集合におけるすべての回転角についてスペクトル・パワーが決定されたかどうかを判定する。まだであれば、参照プレノプティック画像がスライスに対して異なる回転角に回転させられる（４２５）。上記の例を続けると、プレノプティック画像は、第一のフェーズで選択されたスライスに対して−0.009ラジアンにあるよう回転させられてもよい。すると、プロセス・フローは段階４１５に移り、該異なる回転角におけるスライスのスペクトル・パワーを決定する。このプロセスは、回転角の上記集合におけるすべての回転角においてそのスライスについてスペクトル・パワーが決定されるよう、続けられる。この実施形態では、決定されたスペクトル・パワーはみなスペクトル漏れについて調整されていることを注意しておく。代替的な実施形態では、較正モジュールはスペクトル漏れのスペクトル・パワーを調整しない。

最高のスペクトル・パワーに関連付けられている回転角が選択される（４３０）。たとえば、回転角の初期集合のうち最高のスペクトル・パワーをもつ回転角は−0.006ラジアンであってもよく、するとこれが選択されることになる（下記の表１参照）。段階４３５は、選択された回転角の分解能がある閾値以上であるかどうかを判定する。該閾値は、回転角がどのくらい精密に決定されるかを決定する。たとえば、閾値は0.00001ラジアンであってもよい。選択された回転角の分解能がこの閾値以上であれば、プロセスは終了する。そうでなく、選択された回転角の分解能が該閾値に満たなければ、分解能はたとえば10倍増大させられる（４４０）。上記の例を続けると、分解能は今や0.001の代わりに0.0001ラジアンとなる。

段階４４５は、増大した分解能で回転角のより細かい集合を決定する。このより細かい回転角の集合は、前に選択された回転角（段階４３０で選択されたもの）をブラケットする。上記の例を続けると、較正モジュールは、0.0001ラジアンの増大した分解能での諸回転角によって−0.006ラジアン（すなわち、前に選択された回転角）をブラケットする。たとえば、回転角のより細かい集合は[−0.0070,−0.0069,…,−0.0060,…,−0.0051,−0.0050]であってもよい。

参照プレノプティック画像は上記スライスに対して、回転角の上記より細かい集合の第一の回転角まで回転させられる（４５０）。たとえば、プレノプティック画像は、第一のフェーズで選択されたスライスに対して−0.0070ラジアンにあるよう回転させられてもよい。すると、プロセス・フローは段階４１５に移り、段階４１５、４２０、４２５、４３０および４３５を介して、回転角の上記より細かい集合の各回転角におけるスライスについてのスペクトル・パワーを決定し、回転角の上記より細かい集合のうち、最高の調整されたパワーをもつ回転角を選択する（４３０）。たとえば、回転角の上記より細かい集合のうち、−0.0063ラジアンの回転角が最高の調整されたスペクトル・パワーをもつことがある。再び、段階４３５は、選択された回転角の分解能がある閾値以上であるかどうかを判定し、選択された回転角の分解能がまだ該閾値に満たなければ、プロセス・フローは段階４４０に移る。このようにして、較正プロセスは、逐次反復式に非常に細かい度合いまで回転角を高速に特定できる。

ひとたび較正プロセスが、選択された回転角の分解能が上記閾値以上であると判定したら（４３５）、プロセスは終了し、図３の段階３３０に進む。

たとえば、表１は、特定の主レンズ（たとえば光学モジュール１０５）およびカメラ・センサー（たとえば検出器アレイ１３０）について特定の参照画像について最高のスペクトル・パワーをもつ回転角を選択する段階４１０〜４５０の結果を示している。他のフォーカス価をもつ主レンズおよび／または他のカメラ・センサーが使われる場合には、データ値は異なることがある。

表１の例示的な値から、較正プロセスが0.001ラジアンの分解能で始まり、−0.006ラジアンの回転角において初期の勝ち残り（すなわち、所与の回転角の集合のうち最高のスペクトル・パワーをもつもの）を決定したことが見て取れる。次いで分解能を10倍高め、次いで該より細かい分解能における別の勝ち残り回転角を見出している（すなわち、−0.0063ラジアン）。次いで、分解能を10倍高め、−0.00626ラジアンのところに最終的な勝ち残りを見出している。

図５のＡおよびＢは、図４の第一のフェーズを示している。図５のＡは、例示的な参照プレノプティック画像５００を示す図である。この例では、マイクロ結像アレイ１２０は六角形充填されたマイクロレンズ１２１の9×9のアレイである。よって、参照プレノプティック画像５００は、六角形充填されたスーパーピクセル１７０の9×9のアレイを含む。この9×9アレイは、9個の行５１０ａ〜ｉから構成されており、各行は、マイクロ結像アレイ１２０における対応するマイクロレンズのそれぞれについての9個のスーパーピクセルを含む。図４の第一のフェーズは、参照プレノプティック画像においてフーリエ変換が最高のスペクトル・パワーをもつ参照プレノプティック画像５００のスライス５３０を見出す。

図５のＢは、図５のＡにおいて参照プレノプティック画像５００からのスーパーピクセル１７０の行５１０を使って、スライス・オフセットを例解する図である。スライスのスペクトル・パワーは行内でのそのオフセットとともに変わる。参照プレノプティック画像５００は、ひとみ１１７のスーパーピクセル１７０の概して周期的なアレイである。スーパーピクセル１７０の行５１０を通じたスライスのオフセットは、そのスライスに関連付けられるスペクトル・パワーに影響する。たとえば、行５１０は、行５１０の上の部分を通るスライス５４０ａ、行５１０の中央を通るスライス５４０ｂおよび行５１０の下の部分を通るスライス５４０ｃを含んでいてもよい。スライス５４０ａ、５４０ｂおよび５４０ｃのスペクトル・パワーはみな互いに異なっており、行５１０について、行５１０内の他のスライスより高いスペクトル・パワーをもつ一つのスライスがある。たとえば、スライス５４０ｂが最高のスペクトル・パワーをもつことがある。いくつかの実施形態では、スライスは行５１０またはその一部を、当該行に対して0でない角度で（たとえばスライスが行５１０に対して回転されている場合）スパンしてもよい。

図６Ａ〜図６Ｄは、図４を参照して上記で論じたスペクトル捜索における種々の段階を例解している。ピクセルが脱落させられるにつれて、スペクトル成分６４０はパワーにおいて増大および／または減少することがある。スペクトル成分６４０についての最大スペクトル・パワーは、図３および図４に関して上記したようにピッチを計算するために使われる基本周波数において現われる。図６Ａは、0個のピクセルが脱落させられた、−0.006ラジアンの回転角について計算された、スライス６１０のスペクトル・パワーを示す描画６００である。開始点６２０Ａから終点６３０までスライス６１０のDFTが計算される。描画６００は、計算されたDFTのスペクトル・パワーを周波数の関数として示すスペクトル・パワー・チャート６１５を含んでいる。スペクトル成分６４０Ａが最も強いスペクトル・パワーをもつ。

図６Ｂは、「x」個のピクセルが脱落させられた、図６Ａのスライス６１０のスペクトル・パワーを示す描画６６０である。スライス６１０のこのDFTは開始点６２０Ｂから終点６３０まで計算される。開始点６２０Ａと開始点６２０Ｂの間の差は、スライス６１０から「x」個のピクセルが脱落させられていることである。スペクトル成分６４０Ｂは６４０Ａより高いスペクトル成分をもつ。

図６Ｃは、「n」個のピクセルが脱落させられた、図６Ａのスライス６１０についての最大スペクトル・パワーを示す描画６７０である。スライス６１０のこのDFTは開始点６２０Ｃから終点６３０まで計算される。開始点６１０Ａと開始点６１０Ｃの間の差は、スライス６１０から脱落させられている「n」個のピクセルである。nはxより大きい。スペクトル成分６４０Ｃは図６Ａおよび図６Ｂにおける６４０Ａおよび６４０Ｂより高いスペクトル成分をもつことを注意しておく。

図６Ｄは、「n」個より多いピクセルが脱落させられた、図６Ａのスライス６１０についてのスペクトル・パワーを示す図である。スライス６１０のこのDFTは開始点６２０Ｄから終点６３０まで計算される。開始点６２０Ａと開始点６２０Ｄの間の差は「n」ピクセルより大きい。スペクトル成分６４０Ｄは図６Ｃにおける６４０Ｃより低いスペクトル成分をもつことを注意しておく。よって、この例では、スペクトル成分６４０Ｃが基本周波数に対応する。

図７Ａ〜図７Ｅは、スライスのスペクトル・パワーが回転角とともにどのように変わるかを例解している。図７Ａは、−0.004ラジアンの回転角において計算された、プレノプティック参照画像の一部７２０のスライス７１０Ａのスペクトル・パワーを示す描画７００である。描画７００は、プレノプティック参照画像の一部７２０およびスペクトル・パワー・チャート７３０を含む。一部７２０は、−0.004ラジアンの回転角だけスライス７１０Ａに対して回転されており、スライス７１０Ａのサイズは先述したようにスペクトル漏れについて調整されている。チャート７３０は、−0.004ラジアンの回転角での優勢なスペクトル成分７４０Ａを示している。

図７Ｂは、−0.005ラジアンの回転角において計算されたプレノプティック参照画像の前記一部７２０のスライス７１０Ｂのスペクトル・パワーを示す描画７５０である。一部７２０は、−0.005ラジアンの回転角だけスライス７１０Ｂに対して回転されている。チャート７３０は、−0.005ラジアンの回転角での優勢なスペクトル成分７４０Ｂを示している。優勢なスペクトル成分７４０Ｂは図７Ａにおける７４０Ａより高いパワーをもつことを注意しておく。

図７Ｃは、−0.006ラジアンの回転角において計算されたプレノプティック参照画像の前記一部７２０のスライス７１０Ｃのスペクトル・パワーを示す描画７６０である。一部７２０は、−0.006ラジアンの回転角だけスライス７１０Ｃに対して回転されている。チャート７３０は、−0.006ラジアンの回転角での優勢なスペクトル成分７４０Ｃを示している。この例については、−0.006ラジアンの回転角は最大の優勢なスペクトル成分７４０Ｃを与えることを注意しておく。

図７Ｄおよび図７Ｅは、回転角が−0.006ラジアンから離れていく際に優勢な成分のパワーが減少する様子を示している。図７Ｄは、−0.007ラジアンの回転角において計算されたプレノプティック参照画像の前記一部７２０のスライス７１０Ｄのスペクトル・パワーを示す描画７７０である。一部７２０は、−0.007ラジアンの回転角だけスライス７１０Ｄに対して回転されている。チャート７３０は、−0.007ラジアンの回転角での優勢なスペクトル成分７４０Ｄを示している。図７Ｅは、−0.008ラジアンの回転角において計算されたプレノプティック参照画像の前記一部７２０のスライス７１０Ｅのスペクトル・パワーを示す描画７８０である。一部７２０は、−0.008ラジアンの回転角だけスライス７１０Ｅに対して回転されている。チャート７３０は、−0.008ラジアンの回転角での優勢なスペクトル成分７４０Ｅを示している。図７Ｃにおける優勢なスペクトル成分７４０Ｃが、７４０Ｃ、７４０Ｄや７４０Ａ、７４０Ｂより高いパワーをもつことを注意しておく。

図３および図４に関して上記で論じた較正プロセスの一つの有益な効果は、所与の焦点距離について有効ピッチにおけるいかなる変動も考慮に入れるということである。プレノプティック撮像システム１００について、検出器アレイ１３０に対するプレノプティック画像の回転角は典型的には焦点の変化とともに変化しない。しかしながら、焦点の変化は、ピッチ決定に影響しうる入射光の角度に影響する。いくつかの実施形態では、プレノプティック撮像システム１００は、図３および図４を参照して上記した較正を、異なる複数の可能な焦点設定について実行し、それにより種々の焦点設定についてのピッチ値を決定する。たとえば、30mmのところにあるオブジェクトに焦点を合わせる結果、18.5649ピクセルの対応するピッチ値が得られることがあり、70mmのところにあるオブジェクトに焦点を合わせる結果、18.5817ピクセルの対応するピッチ値が得られることがある。よって、プレノプティック撮像システム１００は、所与の焦点設定に基づいて正しいピッチ値を選択できる。

焦点の変化が考慮に入れられないと、像の縁のあたりでの衰え（fading）および／または像に対する他の歪みにつながることがある。図８のＡは、焦点設定によって引き起こされるピッチの変化を考慮しないプレノプティック撮像システム１００によって出力される像８００である。像の縁における衰え８１０に注意されたい。図８のＢは、焦点設定によって引き起こされるピッチの変化について較正するプレノプティック撮像システム１００によって出力される像８５０である。

上記のプレノプティック撮像システム１００の較正は、種々のエンティティによっておよび／または種々の時間において実行されうる。たとえば、較正は、工場において、フィールドでプレノプティック撮像システム１００のユーザーによって実行されてもよく、プレノプティック撮像システム１００によって自動的に実行されてもよいなどである。たとえば、プレノプティック撮像システム１００は、新しい像形成光学モジュール１０５がプレノプティック撮像システム１００に取り付けられるときに較正を実行するよう構成されていてもよい。いくつかの実施形態では、マイクロ結像アレイ１２０の検出器アレイ１３０に対する整列の較正およびセンサー・ピクセル・サイズに関しての各マイクロレンズ１２１のピッチの較正は、すべてのプレノプティック撮像システム１００について、いずれも系統的に（たとえば、図３および図４を参照して上記したプロセスを介して）実行される。以前に較正されたプレノプティック撮像システム１００にマルチスペクトル・フィルタが追加されるまたは置換される場合、プレノプティック撮像システム１００は較正し直されるべきである。いくつかの実施形態では、焦点リング設定に起因するピッチ・パラメータを較正することは、プレノプティック撮像システム１００のファミリーについて一度実行される。

本稿に開示される較正システムおよび方法は、いくつかの利点をもつ。たとえば、プレノプティック撮像システム１００の較正は、ビュー抽出を補正し、超解像度技法において支援する。さらに、較正は、検出器アレイ１３０に関するマイクロ結像アレイ１２０の整列を含み、これは複数のビューの混合によって生成される正しくないビューを考慮に入れることによってビュー抽出誤差を補正する。もう一つの利点は、センサー・ピクセル・サイズに関する各マイクロレンズ１２１のピッチの較正はサブピクセル・データを活用することにより超解像度技法において支援するということである。さらに、焦点リング設定に起因するピッチ・パラメータにおける変化の較正の利点は、レンズの焦点の変化が光が捕捉される角度に対してもつ影響を考慮に入れることによって、像の縁のあたりでの衰えおよび／または像に対する他の歪みを補正するということである。

〈追加的な構成設定情報〉
詳細な説明は多くの個別的事項を含むが、それは本開示の範囲を限定するものではなく、単にさまざまな実施形態の種々の例および側面を例解するものと解釈すべきである。本開示の範囲は上記で詳細に論じていない他の実施形態をも含むことは理解しておくべきである。

たとえば、反射系および反射屈折系を含めさまざまな型の光学モジュールを使うことができる。いくつかの応用では、光学モジュールは好ましくはテレセントリックである。最後に、「光」および「光学」といった用語は電磁スペクトルの可視または純粋に光学的な領域に限定されることを意図されてはおらず、紫外および赤外といった領域をも含む（だがこれらに限定されない）ことが意図されている。

上記の記述のいくつかの部分はアルゴリズム的なプロセスまたは動作を用いて実施形態を記述している。これらのアルゴリズム的な記述および表現は、当業者によって、自分の仕事の実質を他の当業者に効果的に伝えるために普通に使われているものである。これらの動作は、機能的、計算的または論理的に記載されているものの、プロセッサまたは等価な電気回路による実行のための命令を含むコンピュータ・プログラム、マイクロコードなどによって実装されることが理解される。さらに、時に、一般性を失うことなく、機能的な動作のこれらの構成をモジュールと言及することが便利であることが判明している。記載される動作およびその関連するモジュールはソフトウェア、ファームウェア、ハードウェアまたはそれらの任意の組み合わせにおいて具現されてもよい。ある実施形態では、ソフトウェア・モジュールは、記載される段階、動作またはプロセスの任意のものまたは全部を実行するためにコンピュータ・プロセッサによって実行されることのできるコンピュータ・プログラム・コードを含む非一時的なコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトを用いて実装される。

本稿での用法では、「一つの実施形態」または「ある実施形態」へのいかなる言及も、その実施形態との関連で記載される特定の要素、特徴、構造または特性が少なくとも一つの実施形態に含まれることを意味する。「ある実施形態では」という句が明細書のさまざまな箇所に現われることは、必ずしもみなが同じ実施形態を指しているのではない。

本稿での用法では、用語「有する」「含む」「包含する」「もつ」またはそれらの他の任意の変形は、非排他的な包含をカバーすることが意図されている。たとえば、一連の要素を有するプロセス、方法、物品または装置は必ずしもそれらの要素のみに限定されるのではなく、明示的に挙げられたりそのようなプロセス、方法、物品または装置に内在的であったりしない他の要素を含んでいてもよい。さらに、そうでないことが明示的に述べられているのでない限り、「または」は、排他的離接ではなく包含的離接を指す。たとえば、条件AまたはBは、次のうちの任意のものによって満たされる：Aが真である（または存在する）かつBが偽である（または存在しない）、Aが偽である（または存在しない）かつBが真である（または存在する）、およびAおよびBの両方が真である（または存在する）。

１０５ 像形成光学モジュール
１１１ 領域、フィルタ
１１５ ひとみ面
１１７ ひとみ
１１９ ひとみ面内の位置
１２０ マイクロ結像アレイ
１２１ マイクロ結像素子
１２５ 像平面
１３０ 検出器アレイ
１３１ 検出器
１３２ サブピクセル
１３３ スーパーピクセル
１３５ 検出器平面
１５０ オブジェクト
１５１ 部分オブジェクト
１６０ 光学像
１７０ 各マイクロレンズに対応する、ひとみの像
１８０ プロセッサ
１７１ 各領域の像
１７５ プレノプティック像
３１０ 参照プレノプティック画像を捕捉
３２０ フーリエ変換が最高のパワーをもつスライスを選択
３３０ ピッチおよび回転を決定
３４０ プレノプティック画像中の別の位置を選択
４０２ オフセットの初期集合を決定
４０５ 各オフセットについてスライスを構築
４０７ 最高のスペクトル・パワーをもつスライスを選択
４１０ 初期分解能での回転角の初期集合を決定
４１２ プレノプティック画像をスライスに対して第一の回転角回転
４１５ スペクトル漏れについて調整されるスライスのスペクトル・パワーを決定
４２０ 全回転角についてスペクトル・パワーが決定されたか？
４２５ 参照プレノプティック画像をスライスに対して異なる回転角に回転
４３０ 最高のスペクトル・パワーに関連付けられている回転角を選択
４３５ 選択された回転角の分解能≧閾値？
４４０ 分解能を増大
４４５ 増大した分解能で回転角のより細かい集合を決定
４５０ 参照プレノプティック画像を、スライスに対して、回転角のより細かい集合の第一の回転角まで回転

Claims (20)

1. プレノプティック撮像システムを較正する方法であって、前記プレノプティック撮像システムは検出器アレイを含み、前記プレノプティック撮像システムは前記検出器アレイをスーパーピクセルに分割し、当該方法は：
   前記プレノプティック撮像システムの前記検出器アレイによって捕捉されたプレノプティック画像にアクセスする段階と；
   スーパーピクセルの行について、該行を通じるスライスを選択する段階であって、選択されたスライスは、その行を通じる他のスライスに比べてより強い基本成分をもつフーリエ変換をもつものである、段階と；
   スーパーピクセルの前記行のピッチを、前記選択されたスライスの基本成分の周波数に基づいて決定し、スーパーピクセルの前記行の回転を、前記選択されたスライスに対する前記プレノプティック画像の回転に基づいて決定する段階とを含む、
   方法。
2. 前記選択されたスライスと前記プレノプティック画像との間の複数の異なる回転角を決定する段階と；
   前記複数の回転角のそれぞれにおいて前記スライスのスペクトル・パワーを決定する段階と；
   最高のスペクトル・パワーに関連付けられた回転角を選択する段階であって、選択された回転角がスーパーピクセルの前記行の前記回転である、段階とをさらに含む、
   請求項１記載の方法。
3. 前記複数の回転角のそれぞれにおいて前記スライスのスペクトル・パワーを決定する段階がさらに、各スペクトル・パワーをスペクトル漏れについて調整する段階を含む、請求項２記載の方法。
4. スペクトル・パワーをスペクトル漏れについて調整する段階が：
   特定の回転角について、
   前記スライスの複数の異なるサンプル・サイズについて前記スライスのスペクトル・パワーを決定し；
   決定されたスペクトル・パワーのうちの最高のスペクトル・パワーを選択することを含む、
   請求項３記載の方法。
5. スーパーピクセルの前記行のピッチを、前記選択されたスライスの基本成分の周波数に基づいて決定することが、複数の異なる焦点設定について行なわれる、請求項１記載の方法。
6. 前記スライスがスーパーピクセルの行全体をスパンする、請求項１記載の方法。
7. 前記選択されたスライスを含む複数のスライスを使って前記プレノプティック画像をサンプリングする段階であって、各スライスはスーパーピクセルの異なる行を通じる、段階と；
   各スライスについてのスペクトル・パワーを決定する段階とをさらに含み、
   前記選択されたスライスは、決定されたスペクトル・パワーのうちの最高のスペクトル・パワーをもつスライスである、
   請求項１記載の方法。
8. プレノプティック撮像システムであって：
   ひとみ面および像平面によって特徴付けされる像形成光学モジュールと；
   前記像平面またはその共役面に位置するマイクロ結像素子のアレイと；
   前記ひとみ面の共役面に位置する検出器アレイであって、前記検出器アレイはスーパーピクセルに成分されている、検出器アレイと；
   モジュールを実行するよう構成されたプロセッサと；
   前記モジュールを記憶しているメモリとを有しており、前記モジュールは処理モジュールを含み、前記処理モジュールは：
   当該プレノプティック撮像システムの前記検出器アレイによって捕捉されたプレノプティック画像にアクセスする段階と；
   スーパーピクセルの行について、該行を通じるスライスを選択する段階であって、選択されたスライスは、その行を通じる他のスライスに比べてより強い基本成分をもつフーリエ変換をもつものである、段階と；
   スーパーピクセルの前記行のピッチを、前記選択されたスライスの基本成分の周波数に基づいて決定し、スーパーピクセルの前記行の回転を、前記選択されたスライスに対する前記プレノプティック画像の回転に基づいて決定する段階とを実行するよう構成されている、
   システム。
9. 前記処理モジュールがさらに：
   前記選択されたスライスと前記プレノプティック画像との間の複数の異なる回転角を決定する段階と；
   前記複数の回転角のそれぞれにおいて前記スライスのスペクトル・パワーを決定する段階と；
   最高のスペクトル・パワーに関連付けられた回転角を選択する段階であって、選択された回転角がスーパーピクセルの前記行の前記回転である、段階とを実行するよう構成されている、
   請求項８記載のシステム。
10. 前記処理モジュールがさらに、決定された各スペクトル・パワーをスペクトル漏れについて調整するよう構成されている、請求項９記載のシステム。
11. 前記処理モジュールがさらに：
    特定の回転角について、
    前記スライスの複数の異なるサンプル・サイズについて前記スライスのスペクトル・パワーを決定し；
    決定されたスペクトル・パワーのうちの最高のスペクトル・パワーを選択するよう構成されている、
    請求項１０記載のシステム。
12. 前記処理モジュールがさらに：
    スーパーピクセルの前記行のピッチを、前記選択されたスライスの基本成分の周波数に基づいて決定することを、複数の異なる焦点設定について行なうよう構成されている、
    請求項８記載のシステム。
13. 前記スライスがスーパーピクセルの行全体をスパンする、請求項８記載のシステム。
14. 前記処理モジュールがさらに：
    前記選択されたスライスを含む複数のスライスを使って前記プレノプティック画像をサンプリングする段階であって、各スライスはスーパーピクセルの異なる行を通じる、段階と；
    各スライスについてのスペクトル・パワーを決定する段階とを実行するよう構成されており、
    前記選択されたスライスは、決定されたスペクトル・パワーのうちの最高のスペクトル・パワーをもつスライスである、
    請求項８記載のシステム。
15. 検出器アレイを含むプレノプティック撮像システムを較正するための実行可能なコンピュータ・プログラム命令を記憶している非一時的なコンピュータ可読記憶媒体であって、前記プレノプティック撮像システムは前記検出器アレイをスーパーピクセルに分割し、前記命令は：
    前記プレノプティック撮像システムの前記検出器アレイによって捕捉されたプレノプティック画像にアクセスする段階と；
    スーパーピクセルの行について、該行を通じるスライスを選択する段階であって、選択されたスライスは、その行を通じる他のスライスに比べてより強い基本成分をもつフーリエ変換をもつものである、段階と；
    スーパーピクセルの前記行のピッチを、前記選択されたスライスの基本成分の周波数に基づいて決定し、スーパーピクセルの前記行の回転を、前記選択されたスライスに対する前記プレノプティック画像の回転に基づいて決定する段階とを含む
    方法を実行するよう前記プレノプティック撮像システムによって実行可能である、コンピュータ可読記憶媒体。
16. 前記方法が：
    前記選択されたスライスと前記プレノプティック画像との間の複数の異なる回転角を決定する段階と；
    前記複数の回転角のそれぞれにおいて前記スライスのスペクトル・パワーを決定する段階と；
    最高のスペクトル・パワーに関連付けられた回転角を選択する段階であって、選択された回転角がスーパーピクセルの前記行の前記回転である、段階とをさらに含む、
    請求項１５記載のコンピュータ可読記憶媒体。
17. 前記複数の回転角のそれぞれにおいて前記スライスのスペクトル・パワーを決定する段階がさらに、各スペクトル・パワーをスペクトル漏れについて調整する段階を含む、請求項１６記載のコンピュータ可読記憶媒体。
18. スペクトル・パワーをスペクトル漏れについて調整する段階が：
    特定の回転角について、
    前記スライスの複数の異なるサンプル・サイズについて前記スライスのスペクトル・パワーを決定し；
    決定されたスペクトル・パワーのうちの最高のスペクトル・パワーを選択することを含む、
    請求項１７記載のコンピュータ可読記憶媒体。
19. スーパーピクセルの前記行のピッチを、前記選択されたスライスの基本成分の周波数に基づいて決定することが、複数の異なる焦点設定について行なわれる、請求項１５記載のコンピュータ可読記憶媒体。
20. 前記方法が：
    前記選択されたスライスを含む複数のスライスを使って前記プレノプティック画像をサンプリングする段階であって、各スライスはスーパーピクセルの異なる行を通じる、段階と；
    各スライスについてのスペクトル・パワーを決定する段階とをさらに含み、
    前記選択されたスライスは、決定されたスペクトル・パワーのうちの最高のスペクトル・パワーをもつスライスである、
    請求項１５記載のコンピュータ可読記憶媒体。

Images