JP6299788B2 - プレノプティック・システムにおける視差 - Google Patents

Description

本開示は概括的にはライトフィールド撮像システムに関する。

ライトフィールド・カメラはオブジェクトの複数の画像を同時に収集できる。しかしながら、ライトフィールド撮像システムの解像度は低くなる。捕捉される画像の解像度が典型的には、センサー・アレイにおけるセンサーの数ではなくマイクロレンズ・アレイにおける小レンズの数によって決定されるという事実のためである。

このように、ライトフィールド撮像システムによって捕捉される画像の解像度を向上させるアプローチが必要とされている。

本開示は、視差（disparity）および他の光学パラメータを使ってプレノプティック・カメラからのオブジェクトの距離を見出し、距離および他の光学パラメータを使って視差を見出す方法を提供することによって、従来技術の制限を克服する。

ある側面では、ライトフィールド撮像システムは、一次光学サブシステムと、ライトフィールド・センサー・モジュールと、処理モジュールとを含む。一次光学サブシステムは、一次光学サブシステムの像平面においてオブジェクトの光学像を形成する。ライトフィールド・センサー・モジュールは、二次結像アレイおよびセンサー・アレイを含む。二次結像アレイは、一次光学サブシステムのひとみをセンサー・アレイ上に結像することで、センサー・アレイがオブジェクトのビューのアレイを捕捉するようにする。二次結像アレイは像平面に位置していない。むしろ、捕捉されたビューがサブピクセルの視差を示すよう、二次結像アレイは像平面から変位される（たとえば、焦点を外される）。サブピクセル視差に影響する一つまたは複数の光学パラメータは、異なる解像度向上値を達成するために調整可能である。処理モジュールは、前記一つまたは複数の光学パラメータおよびサブピクセル視差をもつビューの前記第一のアレイを使って解像度向上値を決定する。

他の側面は、上記のいずれかに関係する装置、方法、コンピュータ可読媒体、システム、コンポーネント、アプリケーション、改善および他の技術を含む。

本開示の実施形態は、付属の図面との関連で考慮されるときの以下の詳細な説明および付属の請求項からより容易に明白となるであろう。
ある実施形態に基づくライトフィールド撮像システムを示す図である。 ある実施形態に基づくライトフィールド撮像システムを示す図である。 Ａは、ある実施形態に基づく、ライトフィールド撮像システムにおける視差を示す図であり、Ｂは、ある実施形態に基づく、Ａのオブジェクト領域の拡大を示す図である。 ＡおよびＢは、ある実施形態に基づく、ライトフィールド撮像システムにおける視差を示す図である。 ある実施形態に基づく、処理モジュールのブロック図である。 ある実施形態に基づく解像度向上の所望されるレベルを達成するためのライトフィールド撮像システムの能動制御を示すブロック図である。 ある実施形態に基づく、解像度向上のために視差を使う種々のアプローチの一つを示す図である。 ある実施形態に基づく、解像度向上のために視差を使う種々のアプローチの一つを示す図である。 ある実施形態に基づく、解像度向上のために視差を使う種々のアプローチの一つを示す図である。 ある実施形態に基づく、解像度向上のために視差を使う種々のアプローチの一つを示す図である。 ある実施形態に基づく、解像度向上のために視差を使う種々のアプローチの一つを示す図である。 Ａは、ある実施形態に基づく、一次結像光学系を含むライトフィールド撮像システムの一部の単純化した光学図であり、Ｂは、ある実施形態に基づく、d_o＞d_fの場合についてのマイクロ結像アレイを含むライトフィールド撮像システムの単純化した光学図であり、Ｃは、ある実施形態に基づく、d_o＜d_fの場合についてのマイクロ結像アレイを含むライトフィールド撮像システムの単純化した光学図である。 ある実施形態に基づく、超解像度を実行するためのプロセスの流れ図である。 ある実施形態に基づく、超解像度を実行するための別のプロセスの流れ図である。 ある実施形態に基づく、ライトフィールド撮像システムにおいて使うのに好適な調整可能なレンズの図である。 ある実施形態に基づく、ライトフィールド撮像システムの電子ディスプレイを示す図である。 図面は単に例解の目的でさまざまな実施形態を描いている。当業者は、以下の議論から、本願で記載される原理から外れることなく、ここに示される構造および方法の代替的な実施形態が用いられてもよいことを容易に認識するであろう。

図面および以下の記述は単に例としての好ましい実施形態に関する。以下の議論から、ここに開示される構造および方法の代替的な実施形態が、特許請求されるものの原理から外れることなく用いられてもよい有望な代替として容易に認識されるであろうことを注意しておくべきである。

図１Ａ〜図１Ｂは、ライトフィールド撮像システム１１０の例を示す図である。ライトフィールド撮像システム１１０は、一次結像光学系１１２（図１Ａでは単一のレンズによって表わされる）と、二次結像アレイ１１４（マイクロレンズのアレイ１１５）と、センサー・アレイ１８０とを含む。二次結像アレイ１１４はマイクロ結像アレイと称されることがある。二次結像アレイ１１４およびセンサー１８０アレイは一緒になって、ライトフィールド・センサー・モジュールと称されることがある。これらのコンポーネントは、図１Ａにおけるサブシステム１およびサブシステム２のような二つの重なり合う結像サブシステムをなす。

便宜上、結像光学系１１２は図１Ａでは単一の対物レンズとして描かれているが、複数の要素を含むことができることは理解しておくべきである。図１Ａでは、対物レンズ１１２は像平面IPのところにオブジェクト１５０の光学像１５５を形成する。「焦点が合っている」条件で運用されるとき、マイクロ結像アレイ１１４は像平面IPに位置する。システムはその全体において、空間的に多重化され、インターリーブされた光学像１７０をセンサー平面SPのところに形成する。マイクロ結像アレイ１１４の例は、マイクロレンズ・アレイ、ピンホールのアレイ、マイクロミラー・アレイ、チェッカーボード格子および導波路／チャネル・アレイを含む。マイクロ結像アレイ１１４は長方形アレイ、六角形アレイまたは他の型のアレイであることができる。センサー・アレイ１８０も図１Ａに示されている。

例解の目的のため、図１Ａのマイクロ結像アレイ１１４は正方形格子上のマイクロレンズの3×3アレイであるとする。オブジェクト１５０は領域の3×3のアレイに分割され、それらの領域は図１Ａの下部に示されるように１〜９とラベル付けされている。これらの領域はマイクロレンズに対応する。すなわち、オブジェクト領域１は対物レンズ１１２によってマイクロレンズの一つに結像され、オブジェクト領域２は別のマイクロレンズに結像され、などとなる。センサー・アレイ１８０は、センサーの6×6の長方形アレイとして示されている。すなわち、各マイクロレンズのもとにセンサーの2×2配置がある。開口１２５は領域A〜Dの2×2の長方形アレイに分割されている。これらの領域が2×2のセンサー配置に対応する。すなわち、領域Aは各マイクロレンズによってそのマクロレンズについての2×2センサーのうちの対応するセンサー上に結像される。開口領域B、C、Dについても同様である。いくつかのシステムでは、開口領域A〜Dはたとえば異なるスペクトル・フィルタによってフィルタリングされてもよい。

処理モジュール１９０は、検出器アレイ１８０からデータを収集し、それをしかるべく処理する。単純な例として、処理モジュール１９０はデータを並べ替えて、開口１２５を通過する光についてオブジェクト１５０全体の像を形成するためにデータを一緒にまとめてもよい。捕捉されたライトフィールドはひとみ面およびオブジェクト１５０の両方に関する情報を含んでいるので、他の型の処理も実行されることができる。処理モジュール１９０については、図４、図５、図８および図９に関して下記でさらに論じる。

図１Ｂは、センサー・アレイ１８０のところで空間的に多重化された光学像１７０Ａ〜Ｄがどのように生成され、インターリーブされるかを概念的に例解している。オブジェクト１５０は光線を生じる。開口領域Aを通って伝搬する光線はIPにおいて光学像１５５Ａを生成する。光学像１５５Ａを同定するために、3×3のオブジェクト領域は添え字を用いて１Ａ〜９Ａとラベル付けされている。同様に、開口領域B、C、Dを通って伝搬するオブジェクト１５０からの光線は、１Ｂ〜９Ｂ、１Ｃ〜９Ｃおよび１Ｄ〜９Ｄとラベル付けされた3×3のオブジェクト領域をもつ対応する光学像１５５Ｂ、Ｃ、Ｄを生成する。これら四つの光学像１５５Ａ〜Ｄのそれぞれは、異なる開口領域Ａ〜Ｄを通って進む光線によって生成されるが、みなライトフィールド撮像システム１１０によって同時に生成され、IPにおいて重なり合う。

IPにおいて重なり合う四つの光学像１５５Ａ〜Ｄはマイクロ結像アレイ１１４によって分離される。像１５５Ａ〜Ｄは図１Ｂに示されるようにセンサー平面においてインターリーブされる。像１５５Ａを例として使うと、光学像１５５Ａからの3×3のオブジェクト領域１Ａ〜９Ａは光学像１７０内の3×3ブロックにおいて連続ではない。むしろ、四つの異なる光学像からの領域１Ａ、１Ｂ、１Ｃおよび１Ｄが光学像１７０の左上に2×2に配置される（明確のため、像の反転は無視する）。オブジェクト領域２〜９は同様に配置される。このように、光学像１７０Ａを作り上げる領域１Ａ〜９Ａは、複合光学像１７０を横断して拡散され、他の光学像１７０Ｂ〜Ｄの諸部分によって分離される。別の言い方をすると、センサーが個々のセンサー要素の長方形アレイであるとすると、全体的なアレイはセンサー要素の長方形のサブアレイ１７１（１）〜（９）に分割されることができる（破線のアウトラインが一つのサブアレイ１７１（１）を示している）。各オブジェクト領域１〜９について、各像からの対応する領域のすべてがサブアレイ上に結像される。たとえば、オブジェクト領域１Ａ、１Ｂ、１Ｃおよび１Ｄはみなサブアレイ１７１（１）上に結像される。開口１２５およびセンサー・アレイ１８０が共役な平面に位置しているので、アレイ１１４内の各マイクロレンズ１１５はセンサー平面SPのところにひとみ面（SP'と同じ平面）の像を形成することを注意しておく。複数のマイクロレンズ１１５があるので、複数の像１７１が形成される。

さらに、図１Ａ〜１Ｂに示されるシステムでは、光学像１５５Ａ〜Ｄは互いに位置合わせされていることを注意しておく。すなわち、光学像１５５Ａは光学像１５５Ｂ、Ｃ、Ｄと同じオブジェクト領域を捕捉する。これは、オブジェクトの「焦点が合っている」からである。つまり、そのオブジェクトについての像平面がマイクロ結像アレイ１１４の位置と一致している。ここで、図２のＡ〜Ｂに示されるようにオブジェクトが「焦点外れ」であるときに何が起こるかを考える。

図２のＡにおいて、センサー平面内の二つの点１８０Ａおよび１８０Ｂを考える。点１８０Ａは中央のマイクロレンズのもとに位置されて軸上であり、点１８０Ｂは中心点から離れてシフトされているが、それでも同じ中央のマイクロレンズのもとにある。まず、点１８０Ａから光線を後ろ向きにたどる。これらの光線は実線によって示されている。また、点１８０Ｂから光線を後ろ向きにたどる。これらの光線は破線によって示されている。これらの光線は、それぞれのセンサー点１８０によって収集される光線の円錐を表わす。マイクロ結像アレイ１１４とセンサー・アレイ１８０の間の実線の円錐内にはいる光線はセンサー点１８０Ａによって収集され、破線の円錐内にはいる光線はセンサー点１８０Ｂによって収集される。これらの光線がオブジェクトに交わるところが、それぞれのセンサー点１８０によって収集されるオブジェクト領域を表わす。

たとえば、まず点１８０Ａについての実線の光線を考える。図２のＢは、図２のＡのオブジェクト領域の拡大されたビューを示している。オブジェクトが平面Oに位置される場合（たとえば、「焦点が合っている」条件）、センサー点１８０Ａは、図２Ｂにおいて太い実線によって示されているように、オブジェクト領域２５５Ａ−Ｏからの光線を収集する。オブジェクトが「焦点外れ」である場合、それは像がもはやちょうど平面IPのところには形成されないということであり、あるいは等価だがオブジェクトがもはやちょうど平面Oに位置しているのではないということである。むしろ、オブジェクトは平面Oより前または後ろに、たとえば平面O'またはO"に位置していることがありうる。オブジェクトが平面O'に位置される場合（たとえば、「焦点外れ」）、センサー点１８０Ａは、オブジェクト領域２５５Ａ−Ｏ’からの光線を収集する。同様に、オブジェクトが平面O"に位置される場合（たとえば、やはり「焦点外れ」）、センサー点１８０Ａは、オブジェクト領域２５５Ａ−Ｏ”からの光線を収集する。

センサー点１８０Ｂについて同様の分析ができる。破線はセンサー点１８０Ｂによって収集される光線の円錐を定義している。オブジェクトが「焦点が合っている」平面Oに位置している場合、センサー点１８０Ｂは、図２Ｂにおいて太い破線によって示されているように、オブジェクト領域２５５Ｂ−Ｏからの光線を収集する。平面O'またはO"にあるオブジェクトについては、センサー点１８０Ｂは、それぞれオブジェクト領域２５５Ｂ−Ｏ’または２５５Ｂ−Ｏ”からの光線を収集する。この型の分析は、同じマイクロレンズのもとにあるセンサー平面上の点の任意のものについて繰り返されることができ、他のマイクロレンズについて繰り返されることもできる。

オブジェクトの焦点が合っているとき、オブジェクト領域２５５Ａ−Ｏおよび２５５Ｂ−Ｏは一致していることを注意しておく。すなわち、各センサー点１８０は同じオブジェクト領域からの光を収集する。しかしながら、オブジェクトが焦点外れであるとき、異なるセンサー点は互いに対してシフトしているオブジェクト領域からの光を収集する。オブジェクト平面Ｏ’において、センサー１８０Ａはオブジェクト領域２５５Ａ−Ｏ’からの光を収集し、センサー１８０Ｂはオブジェクト領域２５５Ｂ−Ｏ’からの光を収集し、これら二つのオブジェクト領域２５５Ａ−Ｏ’および２５５Ｂ−Ｏ’は一致しない。むしろ、それらは互いに対してシフトしている。このシフトは視差とも称される。同様に、オブジェクト平面Ｏ”について、他の二つのオブジェクト領域２５５Ａ−Ｏ”および２５５Ｂ−Ｏ”は互いに対してシフトしているが、視差は逆向きである。

多重化された像１７０が、同じオブジェクトのシフトされた像を含む場合、多重化された像１７０は、処理モジュール１９０によって処理されて、オブジェクトのより高解像度のデジタル画像を再構成することができる。処理は、インターリーブ解除および多重化解除であることができる。さまざまな超解像度技法を含むより洗練された画像処理をも含むことができる。

視差の概念は図３のＡ〜Ｂにおいてさらに示される。図３のＡは、オブジェクト１５０の「焦点が合っている」ときの状況を示している。１〜９とラベル付けされた九個の正方形は図１のオブジェクトを表わす。図３のＡでは、像１５５Ａおよび１５５Ｄは破線の正方形として表わされている。しかしながら、これらの破線の正方形は、オブジェクト１５０の太い外側のへりと一致しているので見えない。

図３のＢでは、オブジェクト１５０は「焦点外れ」である。すなわち、オブジェクトは、マイクロ結像アレイ１１４の位置と一致しない像を形成する。この焦点外れの一つの効果は、像１５５Ａおよび１５５Ｄが互いに対してシフトするということである。明確のため、像１５５Ｂおよび１５５Ｃは示されていない。図３Ｂでは、像１５５Ａおよび１５５Ｄは互いに対してシフトしている。その際、四つの像１５５Ａ〜Ｄは、x方向およびy方向のそれぞれにおいて半ピクセルだけシフトした像の組をなす。これら四つの像は次いで、超解像度技法を使って組み合わされて、より高解像度の像を形成することができる。

より一般には、さまざまな型のより高解像度の像を構築するために種々のサブピクセル・シフトが使用できる。たとえば、像から像へのシフトが1/4ピクセルであれば、4倍高い解像度が構築できる。サブピクセル・シフトは事実上、収集されるデータに、より高い解像度の情報を加える。このことは、より高解像度の画像を再構成するために使用できる。「ピクセル」サイズは、センサー・ピクセル・サイズではなくマイクロレンズ・サイズによって決定されることを注意しておく。すなわち、典型的なライトフィールド配置においては、一「ピクセル」は一つのマイクロレンズのサイズである（これは典型的には多数のセンサーである）。

図４は、処理モジュール１９０のある実装のブロック図である。この例では、多重化され、インターリーブされた像１５５はビュー抽出モジュール４９２によって受領され、ビュー抽出モジュールはセンサー・データを別個の像１５５（またはビュー）に分離する。上記のように、これらのビューは互いに対してシフトされている。すなわち、これらのビューは視差を示す。好ましくは、あるビューから次のビューへの視差は一ピクセルより小さい。すなわち、ビューからビューへの視差はサブピクセルである。モジュール４９４が視差を決定する。たとえば、モジュール４９４は、異なるビュー１５５を比較することによってこれを行なってもよい。あるいはまた、モジュール４９４は、他の源、たとえばユーザー入力から視差を得てもよい。次いで、モジュール４９６は、超解像度技法を適用して、サブピクセルの視差をもつ複数のビューを、もとの諸ビューより高解像度をもつ画像に組み合わせる。こうして、プロセスの結果は向上された画像である。ぼけ除去（deblurring）４９８のような任意的な追加的処理が適用されてもよい。

図５は、所望されるレベルの解像度向上を達成するためのライトフィールド撮像システムの能動制御を示すブロック図である。図５において、ボックス１１０はたとえば図１Ａからのライトフィールド撮像システムを表わす。処理モジュール１９０だけが明示的に示されている。この例において、あるレベルの解像度向上が所望される。たとえば、ユーザーが4倍の解像度向上を望むことがありうる。便宜上、これは解像度向上値4と称されてもよい。自動脱焦点５１０は、所望される解像度向上値に対応するサブピクセル視差を達成するための脱焦点の正しい量を決定する。たとえば、4倍の解像度向上のために、自動脱焦点５１０は1/4ピクセル視差を得るために対物レンズを動かしてもよい（あるいはさもなければ焦点条件を調整してもよい）。いくつかの実施形態では、自動脱焦点５１０はライトフィールド撮像システム１１０の一部である。

任意的に、処理モジュール１９０からのフィードバックが自動脱焦点５１０を制御するために使われてもよい。処理モジュール１９０によって決定される実際の視差が1/4ピクセルより大きいまたは小さい場合、自動脱焦点５１０は、所望される視差が達成されるまで、ライトフィールド撮像システムをさらに駆動する。

図１Ａの例は、各マイクロレンズのもとにセンサーの2×2アレイをもつマクロレンズの3×3アレイを使っていた。これは例解のためにそうしたのであり、現実世界のライトフィールド撮像システムは典型的には、ずっと多くのマイクロ結像要素およびセンサー要素をもつであろう。たとえば、典型的な設計は、サイド当たり200〜300個のマイクロレンズをもつマイクロレンズ・アレイ（合計50,000から100,000個のマイクロレンズ）およびサイド当たり10〜20個のセンサーをもつ各マイクロレンズのもとのセンサー・アレイ（マイクロレンズ当たり合計100〜500個のセンサー）を有していてもよい。典型的なセンサー寸法はサイド当たり約5ミクロンであってもよい。

以下の例について、5μm×5μmのセンサー要素、それぞれのマイクロレンズが80μm×80μmであるとして各マイクロレンズのもとにある16×16のセンサーおよび総合的なサイズ16mm×16mmの200×200のマイクロレンズ・アレイを想定する。この例におけるピクセル・サイズはマイクロレンズ・サイズの80μm×80μmであり、これがこのライトフィールド・システムのネイティブ解像度である。

図６Ａ〜６Ｅは、ある実施形態に基づく、解像度向上のために視差を使うことに向けた種々のアプローチを示す図である。図６Ａは、一つのマイクロレンズのもとにある16×16のセンサー領域の図である。この領域は16×16＝256個のセンサーを含んでおり、各センサーが異なる像またはビューに対応する。図１Ｂでは、これらの像は添え字Ａ〜Ｄによって記された。図６Ａは二文字の添え字ＡＡないしＰＰを使う。オブジェクトの焦点が合っていれば、ビューの間に視差はない。すなわち、ビューＡＡないしＰＰはみな整列することになる。しかしながら、一次結像システムが焦点外れになると、視差が導入されることがありうる。

ビューからビューへの視差が1/16ピクセル（たとえば、ビューＡＡからビューＡＢへの視差が1/16ピクセル）であれば、上記256個のビューは組み合わされて、16倍の解像度をもつ単一の画像にされることができる。このことは、図６Ｂに示されている。この図は、異なるビューをそれらの対応する視差量にマッピングしている。像ＡＡは視差を測るためのベースラインであり、像ＡＢは像ＡＡに対して1/16のピクセル視差をもつビューを与え、像ＡＣは像ＡＡに対して2/16のピクセル視差をもつビューを与える、などとなる。

明確のため、図６Ｂは、一つの方向に沿った解像度向上のみを示しているが、これらの技法は水平および垂直方向両方に適用されることができる。さらに、解像度向上の量および／または最終的な解像度は、水平方向および垂直方向において異なることができる。たとえば、機械視覚の応用の場合、一方の次元方向の解像度の増大が他方の次元方向におけるよりも重要であることがある。正方形でないサンプリングが使用されうるもう一つの状況は、マルチスペクトル・フィルタの幾何学的設計の場合にある。この場合、フィルタは、より高い水平または垂直解像度を受け入れるために長方形であることができる。

さらに、この例は、二次元平面上に位置するオブジェクトについての解像度向上に取り組む。三次元オブジェクトについては、視差は奥行きとともに変わり（図４のブロック４９４によって決定される）、像の異なる領域が異なる視差レベルをもつ。たとえば、なめらかな三次元オブジェクトを考える。ある奥行きにおけるビューからビューへの視差は0.25ピクセルであることがある。オブジェクトz位置が焦点のより近くに動くにつれて、視差は0.24ピクセルに、次いで0.22ピクセルに、などと減少することがありうる。オブジェクトz位置が焦点からより離れるように動くにつれて、視差は0.27ピクセルに、さらには0.33ピクセルへと増大することがありうる。さまざまな奥行きにあるオブジェクトをもつシーンは、近隣の領域において0.25ピクセルおよび0.01ピクセルという視差変動をもつことがありうる。このような場合、モジュール４９４は、局所的視差を決定するために奥行きプロファイルを決定してもよい。ブロック４９４は任意的に、隠蔽〔隠れて見えなくなること〕および曝露〔見えるようになること〕を解決してもよい。

あるいはまた、図６Ｃにおいては、一つおきのビューが8倍の解像度をもつ像を生成するために使われる。すべてのビューを横断したビューからビューへの視差は1/16ピクセルである。しかしながら、ビューＡＡ、ＡＣ、ＡＥなどは、8倍の解像度のデジタル画像を生成するために使われるビュー群をなす。この群内でのビューからビューへの視差は、図６Ｃに示されるように、1/8ピクセルである。この図はビューＡＡをこの群についてのベースラインとして使っている。この群は、N個毎のビュー（ここではN＝2）を選択することによって形成されうる。しかしながら、これは全センサーの1/4しか使わない。残りのセンサーは、3個の追加的な群を生成するために使用できる。その各群も8倍の解像度をもつデジタル画像を生成することができる。一つの群ＡＢ、ＡＤ、ＡＦなどがある。図６Ｃでは、その群についての視差がビューＡＢに対して示されている。同様に、それぞれ像ＢＡおよびＢＢで始まる二つの他の群がある。望むなら、開口１２５の面内に異なるフィルタが置かれることができ、それにより合計四つの像が生成され、そのそれぞれが8倍の解像度をもち、異なる仕方でフィルタリングされる。四つのフィルタはたとえば赤、緑、青およびクリアーであってもよい。図６Ｃは、四つの8倍の解像度の像に分割された16個のセンサーの最初の二つの行を示している。

異なる解像度の像が生成されることができる。たとえば、図６Ｂの16倍の解像度の画像および図６Ｃの8倍の解像度の画像が両方生成されることができる。ビューＡＡは16倍の解像度の像を生成するために図６Ｂの群に含められることができ、8倍の解像度の像を生成するために図６Ｃの群にも含められることができる。

同様の結果が、図６Ｄに示されるように、1/8ピクセルのビューからビューへの視差を使って達成できる。この例では、ビューＡＡ〜ＡＨは、一方の8倍の解像度の像を生成するために使われる一つの群であり（視差はビューＡＡに対して示されている）、ビューＡＩ〜ＡＰは、他方の8倍の解像度の像を生成するために使われる第二の群である（視差はビューＡＩに対して示されている）。ビューの第三および第四の群も、図６Ｄには示されないセンサーから入手可能であろう。ここでもまた、各像は異なる仕方でフィルタリングされてもよいが、図６Ｃに比べてフィルタがそれほど細かくインターリーブされないので、このフィルタリング・パターンは生成するのがより容易である。図６Ｃと６Ｄの間の一つの相違は、図６Ｄでは、一つの群内のビューがみな連続しており、一方、図６Ｃではインターリーブしていることである。もう一つの相違は、すべてのビューを横断するある次元方向の全視差は、図６Ｄにおいては一ピクセルより大きいが、図６Ｃにおいては一ピクセルより小さいということである。

図６Ｅでは、ビューからビューへの視差は3/16ピクセルである。これも16倍の解像度の像を生成するために使用できる。ただし、ピクセルの何らかの並べ替えを用いる。これらは単にいくつかの例である。他の組み合わせが明白であろう。さらに、ビューからビューへの視差は、超解像度の所望される度合いに厳密に一致する必要はない。たとえば、ビューからビューへの視差が1/6ピクセルであり、4倍の解像度向上が望まれている場合、ビューは補間され、あるいは他の仕方で組み合わされて4倍の向上を与えることができる。同様に、マイクロレンズが六角形格子上に置かれた場合、長方形格子上の値は六角形格子から補間されることができる。

ここで、たとえば図５の正しい自動脱焦点５１０を設定するために視差の計算においてライトフィールド撮像システム１１０が使用しうる公式の例示的な導出を論じておく。この例は、薄いレンズ、近軸光学に基づくが、より複雑なアプローチが使われてもよい。図７のＡは、ある実施形態に基づく、一次結像光学系１１２を含むライトフィールド撮像システム１１０の一部の単純化された光学描画７００である。描画７００は、一次結像光学系１１２およびマイクロ結像アレイ１１４を含む。

一次結像光学系１１２は、距離d_iだけマイクロ結像アレイ１１４から離間されている。この距離を便宜上、アレイ距離と称する。オブジェクト１５０はオブジェクト面７１０内に位置している。オブジェクト面はオブジェクト距離d_oだけ一次結像光学系１１２から離間されている。一次結像光学系１１２は有効焦点距離fをもつ。これらの量のいくつかは調整可能である。たとえば、有効焦点距離fは、レンズがズーム・レンズである場合には調整可能でありうる。あるいはまた、アレイ距離d_iは機械的な動きによって調整可能であってもよい。f、d_iおよびd_oが薄いレンズの公式としても知られるレンズメーカーの式を満たすように選ばれる場合、オブジェクト１５０は焦点が合っていることになり、視差は0になる。

しかしながら、自動脱焦点５１０の目標は、制御された量の視差を達成するために一次結像光学系１１２を脱焦点させることである。その場合、f、d_iおよびd_oは薄いレンズの式を満たさない。よって、d_fがd_iについての薄いレンズの式を満たすオブジェクト距離であるとする。描画７００は、一次結像光学系１１２から零視差距離d_fだけ離れた零視差平面７２０をも含む。

さらに、dがd_oについての薄いレンズの式を満たす像距離であるとする。描画７００は、オブジェクトがd_oにあるときの像平面７０５を示している。像平面７０５はマイクロ結像アレイ１１４からδだけ離れている。描画７００から、
δ＝d−d_i (1)
−δ＝d_i−d (2)
であり、d_o＜d_fのときに負の視差を示す。

d_o＞d_fの場合には、式は、負の視差が符号変化で正の視差に変わることを除いてちょうど同じである。

δ＝d_i−d (3)
薄いレンズの式を使ってd_iおよびdに代入すると、d_o＞d_fの場合、δはさらに次のように導出されることができる。

図７のＢは、ある実施形態に基づく、d_o＞d_fの場合の、マイクロ結像アレイ１１４を含むライトフィールド撮像システム１１０の単純化した光学描画７５０である。描画７５０はマイクロ結像アレイ１１４およびセンサー・アレイ１８０を含む。センサー・アレイ１８０は、それぞれサイズw_pをもつ複数のセンサーを含む。たとえば、図６Ａの16×16のセンサー・アレイを参照するに、w_pはセンサー・ピクセル・サイズのサイズである。センサー・アレイ１８０は、マイクロ結像アレイ１１４の有効焦点距離（f_μ）だけマイクロ結像アレイ１１４から離間されている。d_o＞d_fの場合、実際の像平面７０５はマイクロ結像アレイ１１４から距離δだけ手前に位置している。

同様に、図７のＣは、ある実施形態に基づく、d_o＜d_fの場合についての、マイクロ結像アレイ１１４を含むライトフィールド撮像システム１１０の単純化した光学描画７７０である。この場合、実際の像平面７０５は距離δだけマイクロ結像アレイ１１４の背後に位置している。

隣り合うセンサー（たとえば図６ＡにおけるセンサーＡＡおよびＡＢ）が隣り合うビューに対応することを想起されたい。図７のＢおよびＣに示されるように、点７２１を中心とするセンサーは、７５１を中心とする像の部分を「見」て、点７２２を中心とする隣のセンサーは、７５２を中心とする像の部分を「見る」。このように、隣り合うビューを表わすこれらの隣り合うセンサーは、「disparity」〔示唆〕とラベル付けされた距離だけ離間した像部分を見る。これはビューからビューへの視差であり、これは図面から次のように導出できる。

ここで、αは画像処理を考慮に入れるために加えられる因子である。モデル化された視差と測定される視差の間にわずかな相違があることがありえ、αはこれらの相違を考慮に入れるものである。モデル化された視差と測定される視差の間に差がないおよび／または該差が非常に小さいいくつかの実施形態では、αは値1に設定される。δに式(5)を代入すると、次式が得られる。

式(7)は、像平面７０５における距離の単位で（in units of distance）視差を表わしている。φが所与のビューの二つのピクセルの間の距離であるとする。図６Ａを参照するに、φは、あるマイクロレンズのもとのセンサーＡＡから隣のマイクロレンズのもとの共位置のＡＡまでの距離である。あるいはまた、φは一つのマイクロレンズの長さである。式(7)をφで割ると、ピクセルで表わされた視差を与え、これはΔと記される。

式(8)において、w_p/φ＝1/Kであることを注意しておく。ここで、Kは、マイクロレンズの一つの次元方向に沿ったセンサーの数である。図６Ａでは、K＝16である。

ピクセル単位での（in units of pixels）視差（Δ）は、二つの隣接するビューの間の視差を表わす。隣接するビューどうしは水平方向であっても垂直方向であってもよい。システムの光軸はz座標に沿っており、水平方向にx座標においてMビュー、垂直方向にy座標においてNビュー離れた二つのビューは次式によって与えられる。

式(6)〜(9)は、数学を単純化するために部分的に薄いレンズの式を使って導出されたことを注意しておく。他の実施形態では、薄いレンズの式の代わりに他のより正確なモデルが使われてもよい。たとえば、いくつかの実施形態では、厚いレンズの式が式(6)〜(9)の導出において使われてもよい。

ここで視差について上記の式を使った実装に目を転じると、図８はある実施形態に基づく、超解像度を実行するためのプロセス８００の流れ図である。ある実施形態では、図８のプロセス８００はライトフィールド撮像システム１１０によって（たとえば処理モジュール１９０を介して）実行される。他の実施形態では、他のコンポーネントまたはモジュールがこのプロセスのステップの一部または全部を実行してもよい。同様に、実施形態は、異なるおよび／または追加的なステップを含んでいてもよく、あるいはステップを異なる順序で実行してもよい。

ライトフィールド撮像システム１１０は空間的に多重化された像１７０を捕捉する（８０５）。いくつかの実施形態では、ライトフィールド撮像システム１１０は、空間的に多重化された像１７０を捕捉する（８０５）際に一つまたは複数の光学パラメータについてのデフォルト値を使う。光学パラメータは視差値に影響するパラメータである。光学パラメータはたとえばf、d_o、d_f、d、d_i、f_μ、w_p、φ、δおよびそれらの組み合わせを含んでいてもよい。光学パラメータの値は、光学パラメータの較正データベースの一部として記憶されることができる。較正データベースは、f、d_iおよび／またはd_oのさまざまな組み合わせについての解像度向上値の間のマッピングを記憶している。図１Ａを参照して上記で論じたように、結像サブシステム１はオブジェクト１５０の光学像を、一次光学サブシステム１の像平面のところに形成し、結像サブシステム２は結像サブシステム１のひとみをセンサー・アレイ１８０上に結像して、センサー・アレイ１８０がオブジェクトのビューのアレイを捕捉するようにする。ビューのアレイは空間的に多重化された像と称される。

ライトフィールド撮像システム１１０は、空間的に多重化された画像から種々のビューを抽出する（８１０）。ライトフィールド撮像システム１１０は抽出された諸ビューにおいて関心領域（ROI）を決定する（８１５）。いくつかの実施形態では、ROIは自動的に選択される。たとえば、ライトフィールド撮像システム１１０は抽出されたビューの中心部分をROIとして選択する。他の実施形態では、ユーザーは、抽出されたビューの一部をROIとして選択してもよい。

ライトフィールド撮像システム１１０は、たとえば異なるビューにおける対応する特徴をマッチさせることによって、ROIについての初期視差値D_intを計算する（８２０）。初期視差値は、たとえばブロック照合、自己相関、PPC、ライトフィールド・スケールおよび奥行き（Lisad: light field scale and Depth）などのようなさまざまな方法を使って計算されうる。

ライトフィールド撮像システム１１０は、ROIの奥行きの範囲（たとえば、オブジェクト距離の範囲）を判別する（８２５）。これは、式(8)において、計算された視差D_int（ピクセル単位）を使い、奥行きd_oについて解くことによってできる。

ライトフィールド撮像システム１１０は、式(10)を使って、d_oについての最小値d_o(min)およびd_oについての最大値d_o(max)を決定してもよい。ROIの奥行き範囲は、d_o(max)からd_o(min)の範囲である。

ライトフィールド撮像システム１１０は次いで、ROIの奥行き範囲を考慮に入れて所望される解像度向上値を決定する（８３０）。奥行き範囲は、どの解像度向上値が達成可能であるかを制限しうる。あるアプローチでは、ライトフィールド撮像システム１１０は、d_o(max)からd_o(min)の範囲内にあるオブジェクト距離d_o-adjustedについての解像度向上値を選択する。また、較正データベースを使って焦点設定f_adjustedについての対応する値も同定する。この値f_adjustedは、奥行きd_o-adjustedについての所望される解像度向上値につながる焦点設定である。いくつかの実施形態では、ライトフィールド撮像システム１１０は、d_o(max)からd_o(min)の範囲内の、最高の達成可能な解像度向上値に関連付けられているd_o-adjustedを同定する。ライトフィールド撮像システム１１０は、選択された解像度向上値に対応する調整された視差値D_adjustedをも計算してもよい。

ライトフィールド撮像システム１１０は、ステップ８３０においてなされた選択を実装するために、一つまたは複数の光学パラメータを調整する（８３５）。たとえば、一次結像光学系１１２が有効焦点距離f_adjustedを実装するよう調整されてもよい。もう一つの例として、アレイ距離d_iも必要であれば調整されてもよい。あるアプローチでは、ライトフィールド撮像システム１１０は、

を介して、d_o-adjusted、f_adjustedおよびD_adjustedについての決定された値を、調整されたd_f-adjustedを計算するのに使う。これは、薄いレンズの式を介して、一次結像光学系１１２とセンサー・アレイ１８０との間の距離d_i-adjustedを決定する。ライトフィールド撮像システム１１０はこの間隔を必要に応じて調整できる。

いくつかの実施形態では、ライトフィールド撮像システム１１０は、一次結像光学系１１２の開口をも、最大センサー利用のために設定する（たとえば、ライトフィールド撮像システム１１０は、一次結像光学系１１２の開口を、そのfストップがマイクロ結像アレイ１１４のfストップに一致するよう設定する）。

ライトフィールド撮像システム１１０は、調整された光学パラメータに基づいて、第二の空間的に多重化された像を捕捉する（８４０）。ライトフィールド撮像システム１１０は、ステップ８１０に関して上記したのと同様の仕方で、捕捉された画像からビューを抽出する（８４５）。

ライトフィールド撮像システム１１０は、第二の空間的に多重化された画像からの抽出されたビューを使って解像度向上を実行する（８５０）。いくつかの実施形態では、光学パラメータは所与のROIについて可能な最高の解像度向上を達成するよう調整された。したがって、いくつかの実施形態における抽出されたビューは、ライトフィールド撮像システム１１０が抽出されたビューの最大解像度向上を得ることができるようなものである。

図９は、ある実施形態に基づく、超解像度を実行するためのもう一つのプロセス９００の流れ図である。ある実施形態では、図９のプロセス９００は、ライトフィールド撮像システム１１０によって（たとえば処理モジュール１９０を介して）実行される。他の実施形態では、他のコンポーネントまたはモジュールがこのプロセスのステップの一部または全部を実行してもよい。同様に、実施形態は、異なるおよび／または追加的なステップを含んでいてもよく、あるいはステップを異なる順序で実行してもよい。

図９では、ボックスのいくつかは図８からの複数のステップを含むことが意図されている。たとえば、ボックス「８０５−８２５」は図８からのステップ８０５、８１０、８１５、８２０および８２５を含む。ステップ８２０では、ROIについての視差が計算され、ステップ８２５では、ROIについて奥行きの範囲（たとえばオブジェクト距離の範囲）が決定される。ライトフィールド撮像システム１１０は次いで、捕捉された空間的に多重化された画像について解像度向上値を決定し（９２２）、解像度向上値が十分高いかどうか、たとえばある閾値以上であるかどうかを（９２４）判断する。ある設計では、判断９２４は、現在の視差が半ピクセルにほぼ等しい（たとえば、解像度向上値が約2）かどうかであってもよい。条件９２４が満たされる場合、ライトフィールド撮像システム１１０は、すでに抽出されたビューに対して解像度向上を実行する（８５０）。条件９２４が満たされない場合、ライトフィールド撮像システム１１０は図８からのプロセスの残りを続ける。その場合、解像度向上は、調整された光学パラメータを使って捕捉された第二の空間的に多重化された像に基づいて実行される（８５０）。

ここでライトフィールド撮像システム１１０の実装の議論に目を転じるに、図１０は、ある実施形態のもとでの、ライトフィールド撮像システムにおいて使うのに好適な調整可能なレンズ１０００の描画である。レンズ１０００は、光学アセンブリー１０１０を囲むボディ１００５を含み、ライトフィールド撮像システム１１０の残りにレンズ１０００を結合するために使われるマウント１０１５を含む。光学アセンブリー１０１０は、図１Ａを参照して上記で論じた一次結像光学系１１２である。ボディ１００５は焦点リング１０２０および解像度リング１０３０をも含む。

光学アセンブリー１０１０は、焦点リング１０２０および／または解像度リング１０３０を回転させることによって調整されてもよい。この例では、焦点リング１０２０はオブジェクト距離0.5m、1m、2mおよび無限遠についてマークされている。他の実施形態では、焦点リング１０２０上に他の距離値がマークされていてもよい。焦点インジケータ１０２５は、オブジェクトの距離（たとえば、図７のＡではd_o）を示す。たとえば、焦点インジケータ１０２５は、光学アセンブリー１０１０についての焦点設定が約0.75m離れたオブジェクトについて設定されていることを示す。通常のズーム・レンズまたは他の調整可能なレンズでは、レンズについてのオブジェクト距離を設定することが典型的には有効焦点距離および共役を決定する。しかしながら、この場合には、解像度向上因子もこれらの量に影響する。

解像度リング１０３０は、ライトフィールド撮像システム１１０についての解像度向上値を設定するために使われる。この例では、解像度リング１０３０は2倍、3倍および4倍の解像度向上値についてマークされている。他の実施形態では、他の解像度向上値が解像度リング１０３０上にマークされていてもよい。解像度インジケータ１０３５は選択された解像度向上を示す。たとえば、図１０では、解像度リング１０３０は3倍の解像度向上値に設定されている。0.75mのオブジェクト距離および2倍の解像度向上の設定は、0.75mのオブジェクト距離および3倍の解像度向上の設定とは異なる光学設定であることを注意しておく。

図示していないが、いくつかの実施形態では、レンズ１０００は光学レンズ・アセンブリー１０１０内の開口のサイズを制御するための開口リングをも含んでいてもよい。開口リングは、複数の異なるfストップ（たとえば2、2.8、4、5.6、8、11、16、22など）と、選択されたfストップを同定するインジケータとを呈する。いくつかの実施形態では、ライトフィールド撮像システム１１０はたとえば、正しい露出、最大センサー利用、特定の被写界深度またはそれらの何らかの組み合わせについて、fストップを自動的に選択するよう構成される。

図１１は、ある実施形態に基づく、ライトフィールド撮像システム１１０の電子ディスプレイ１１００を示している。電子ディスプレイ１１００は、解像度向上画面１１１０を呈示する。解像度向上画面１１１０は、焦点バー１１２０、解像度バー１１３０および画像１１４０を含む。焦点バー１１２０および解像度バー１１３０は調整可能であり、それによりユーザーは一方または両方のバーについて設定を修正しうる。ライトフィールド撮像システム１１０は、焦点バー１１２０および解像度バー１１３０の設定に基づいて画像１１４０を修正する。図１１では、解像度バー１１３０は2倍の解像度向上に設定されており、画像１４０は2倍の解像度向上で表示されている。いくつかの実施形態では、より高い解像度向上（たとえば3倍）の画像が表示される場合、その画像は2倍の画像１１４０より大きく表示される。同様に、より低い解像度向上（たとえば1倍）の画像は、画像１１４０より小さい画像として表示される。いくつかの実施形態では、画像１１４０の複数のバージョンが異なる解像度で並行して表示されてもよい。

さらに、いくつかの実施形態では、ライトフィールド撮像システム１１０は、解像度バー１１３０へのユーザー調整に基づいて焦点バー１１２０の設定を調整する、あるいは逆に焦点バー１１２０へのユーザー調整に基づいて解像度バー１１３０の設定を調整する。ライトフィールド撮像システム１１０は、解像度バー１１３０の現在の設定に基づいて焦点バー１１２０のある種の設定をブロックしてもよく、あるいは逆に焦点バー１１２０の現在の設定に基づいて解像度バー１１３０のある種の設定をブロックしてもよい。たとえば、焦点バー１１２０の特定の設定について、ライトフィールド撮像システム１１０は4倍の解像度向上を許容しなくてもよい。

本稿に開示されるシステムおよび方法は、いくつかの利点をもつ。一つの利点は、ライトフィールド撮像システムに、一つまたは複数の機能を追加することによって解像度向上を提供することである。視差を計算するおよび解像度向上値を調整するなどの追加機能が、解像度向上を提供するために、焦点を調整するライトフィールド撮像システムの能力と一緒に使われる。さらに、視差は、複数のビューを横断してサブピクセルの粒度を提供する上記に含まれる式を使って決定される。さらなる利点は、ライトフィールド撮像システムに物理的な解像度リングを加えることによって、解像度向上値を調整することは使いやすくなる。解像度リングはユーザーにとってなじみがある焦点リングと同様に機能するからである。同様に、ライトフィールド撮像システムのディスプレイにおいて対話的な焦点リングとともに対話的な解像度リングを加えることの利点は、使いやすいことである。

〈追加的な構成設定情報〉
詳細な説明は多くの個別的事項を含むが、それは本開示の範囲を限定するものではなく、単に本開示の実施形態の種々の例および側面を例解するものと解釈すべきである。本開示の範囲は上記で詳細に論じていない他の実施形態をも含むことは理解しておくべきである。当業者にとって明白であろう他のさまざまな修正、変更および変形が、付属の請求項において定義される実施形態の精神および範囲から外れることなく、本稿に開示される本願の実施形態の方法および装置の構成、動作および細部になされてもよい。したがって、特許請求される実施形態の範囲は、付属の請求項およびその法的な等価物によって決定されるべきである。

代替的な実施形態では、本開示の諸側面は、コンピュータ・ハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組み合わせにおいて実装される。本開示の装置の実施形態は、非一時的なコンピュータ可読記憶媒体および／またはプログラム可能なプロセッサによる実行のために機械可読記憶デバイスにおいて有体に具現されたコンピュータ・プログラム・プロダクトにおいて実装されることができる。本開示の実施形態の方法ステップは、入力データに対して作用して出力を生成することによって本開示の実施形態の機能を実行するよう命令のプログラムを実行するプログラム可能なプロセッサによって実行されることができる。本開示の実施形態は、有利には、プログラム可能なシステム上で実行可能である一つまたは複数のコンピュータ・プログラムにおいて実装されることができる。該プログラム可能なシステムは、データ記憶システムからデータおよび命令を受領し、データ記憶システムにデータおよび命令を送るよう結合された少なくとも一つのプログラム可能なプロセッサと、少なくとも一つの入力装置と、少なくとも一つの出力装置とを含む。各コンピュータ・プログラムは、高レベルの手続き型またはオブジェクト指向プログラミング言語において、あるいは望むならアセンブリまたは機械語において実装されることができる。いずれにせよ、言語はコンパイル型でもインタープリター型の言語でもよい。好適なプロセッサは、例として、汎用および特殊目的のマイクロプロセッサの両方を含む。一般に、プロセッサは、読み出し専用メモリおよび／またはランダム・アクセス・メモリから命令およびデータを受領する。一般に、コンピュータは、データ・ファイルを記憶するための一つまたは複数の大容量記憶装置を含む。そのような装置は、内蔵ハードディスクおよび取り外し可能ディスクのような磁気ディスク；光磁気ディスク；および光ディスクを含む。コンピュータ・プログラム命令およびデータを有体に具現するのに好適なそのようなデバイスは、たとえば、EPROM、EEPROMおよびフラッシュメモリ・デバイスのような例示的な半導体メモリ・デバイス；内蔵ハードディスクおよび取り外し可能ディスクのような磁気ディスク；光磁気ディスク；およびCD-ROMディスクを含むあらゆる形の不揮発性メモリを含む。上記のいずれも、ASIC（特定用途向け集積回路）および他の形のハードウェアによって捕捉されることができ、あるいはそれに組み込まれることができる。

用語「モジュール」は、特定の物理的な形に限定されることは意図されていない。特定の用途に依存して、モジュールはハードウェア、ファームウェア、ソフトウェアおよび／またはこれらの組み合わせとして実装されることができる。さらに、種々のモジュールは、共通のコンポーネントを共有することができ、さらには同じコンポーネントによって実装されてもよい。異なるモジュールの間の明瞭な境界があることもないこともある。モジュールの形に依存して、モジュール間の「結合」は種々の形を取りうる。専用回路は、たとえば有体の結線によって、あるいは共通のレジスタまたはメモリ位置にアクセスすることによって、互いに結合されることができる。ソフトウェア「結合」は、ソフトウェア・コンポーネントの間で（あるいは該当する場合にはソフトウェアとハードウェアの間で）情報を渡すためにいくつもある方法で生起できる。用語「結合」は、これらのすべてを含むことが意図されており、二つのコンポーネント間の有体の結線がされた恒久的な接続に限定されることは意図されていない。
いくつかの態様を記載しておく。
〔態様１〕
オブジェクトの画像を生成するライトフィールド撮像システムであって、
オブジェクトの光学像を形成する一次光学サブシステムであって、前記光学像は前記一次光学サブシステムの像平面に位置する、一次光学サブシステムと；
二次結像アレイおよびセンサー・アレイを有するライトフィールド・センサー・モジュールであって、前記二次結像アレイは、前記一次光学サブシステムのひとみを前記センサー・アレイ上に結像し、前記二次結像アレイは前記像平面から変位しており、前記センサー・アレイは前記オブジェクトの多重化されたビューのアレイを捕捉するよう構成されている、ライトフィールド・センサー・モジュールと；
所望される解像度向上値を達成するための一つまたは複数の光学パラメータを決定するよう構成された処理モジュールとを有しており、
前記一次光学サブシステムおよびライトフィールド・センサー・モジュールは、前記一つまたは複数の光学パラメータに従って調整可能である、
ライトフィールド撮像システム。
〔態様２〕
前記一つまたは複数の光学パラメータは、前記一次光学サブシステムの有効焦点距離fを含み、前記一次光学サブシステムは有効焦点距離に関して調整可能である、態様１記載のライトフィールド撮像システム。
〔態様３〕
前記一つまたは複数の光学パラメータは、前記一次光学サブシステムから前記二次結像アレイまでの距離d_iを含み、当該ライトフィールド撮像システムは距離d_iに関して調整可能である、態様１記載のライトフィールド撮像システム。
〔態様４〕
前記所望される解像度向上値が1より大きな整数値である、態様１記載のライトフィールド撮像システム。
〔態様５〕
前記処理モジュールがさらに：
前記オブジェクトの多重化されたビューの第一の捕捉されたアレイについての解像度向上値が閾値以上であるかどうかを判定し；
もしそうであれば、多重化されたビューの前記第一の捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせるよう構成されている、
態様１記載のライトフィールド撮像システム。
〔態様６〕
前記処理モジュールがさらに：
前記オブジェクトの多重化されたビューの第一の捕捉されたアレイについての解像度向上値が閾値以上であるかどうかを判定し；
もしそうでなければ、多重化されたビューの第二の捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせるよう構成されており、多重化されたビューの前記第二の捕捉されたアレイは、前記一次光学サブシステムおよび／またはライトフィールド・センサー・モジュールが前記一つまたは複数の光学パラメータに従って調整されたときに捕捉されたものである、
態様１記載のライトフィールド撮像システム。
〔態様７〕
前記一つまたは複数の光学パラメータに従って前記一次光学サブシステムおよび／またはライトフィールド・センサー・モジュールを自動的に調整する自動脱焦点モジュールをさらに有しており、
前記処理モジュールがさらに、多重化されたビューの第二の捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせるよう構成されており、多重化されたビューの前記第二の捕捉されたアレイは、前記自動脱焦点モジュールによる自動調整後に捕捉されたものである、
態様１記載のライトフィールド撮像システム。
〔態様８〕
前記処理モジュールがさらに：
多重化されたビューの第一の捕捉されたアレイ内の関心領域を決定し；
前記関心領域についての初期視差を計算し；
前記初期視差を使って前記関心領域の奥行き範囲を決定し；
決定された奥行き範囲のもとで前記所望される解像度向上を決定するよう構成されている、
態様７記載のライトフィールド撮像システム。
〔態様９〕
前記処理モジュールがさらに、

と整合して前記一つまたは複数の光学パラメータを決定するよう構成されており、
fは前記一次光学サブシステムの有効焦点距離であり、
d_oは前記一次光学サブシステムからオブジェクト平面までの距離であり、
d_fは視差が0であるときの前記一次光学サブシステムからオブジェクト平面までの距離であり、
f_μは前記二次結像アレイの焦点距離であり、
αは画像処理を考慮に入れるために加えられる因子であり、
w_pは前記センサー・アレイ内のセンサーのサイズであり、
φはビュー内の隣り合うピクセルの間の距離である、
態様１記載のライトフィールド撮像システム。
〔態様１０〕
前記一つまたは複数の光学パラメータに従って前記一次光学サブシステムおよび／またはライトフィールド・センサー・モジュールを自動的に調整する自動脱焦点モジュールをさらに有する、態様１記載のライトフィールド撮像システム。
〔態様１１〕
前記自動脱焦点モジュールが、前記処理モジュールからフィードバックを受領し、該フィードバックを使って、前記所望される解像度向上値を達成するよう前記一つまたは複数の光学パラメータを調整する、態様１０記載のライトフィールド撮像システム。
〔態様１２〕
前記処理モジュールがさらに、多重化されたビューの捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせるよう構成されている、態様１記載のライトフィールド撮像システム。
〔態様１３〕
前記一次光学サブシステムが解像度リングをもつ調整可能なレンズを含み、前記解像度リングは、前記レンズを調整するために回転可能であり、当該ライトフィールド撮像システムの解像度向上値をユーザーに対して示す、態様１記載のライトフィールド撮像システム。
〔態様１４〕
前記調整可能なレンズが、前記レンズを調整するために回転可能であり、前記一次光学サブシステムの有効焦点距離をユーザーに対して示す焦点リングをも含む、態様１３記載のライトフィールド撮像システム。
〔態様１５〕
前記調整可能なレンズが、前記レンズを調整するために回転可能であり、前記一次光学サブシステムの焦点共役をユーザーに対して示す焦点リングをも含む、態様１３記載のライトフィールド撮像システム。
〔態様１６〕
当該ライトフィールド撮像システムのユーザーに対して解像度インジケータを呈示するよう構成された電子ディスプレイをさらに有しており、前記解像度インジケータは、当該ライトフィールド撮像システムの解像度向上値をユーザーに対して示す、態様１記載のライトフィールド撮像システム。
〔態様１７〕
一次光学サブシステムと、二次結像アレイおよびセンサー・アレイを有するライトフィールド・センサー・モジュールとを有するライトフィールド撮像システムを使ってオブジェクトの画像を生成する方法であって、
所望される解像度向上値を達成するための一つまたは複数の光学パラメータを決定する段階と、
前記一つまたは複数の光学パラメータに従って前記ライトフィールド撮像システムを調整する段階と、
前記一つまたは複数の光学パラメータに従って調整された前記ライトフィールド撮像システムを用いて前記オブジェクトの多重化されたビューのアレイを捕捉する段階とを含む、
方法。
〔態様１８〕
前記ライトフィールド撮像システムを調整する段階が、前記一つまたは複数の光学パラメータに従って前記ライトフィールド撮像システムを自動的に調整することを含む、態様１７記載の方法。
〔態様１９〕
多重化されたビューの前記捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせる段階をさらに含む、態様１７記載の方法。
〔態様２０〕
一次光学サブシステムと、二次結像アレイおよびセンサー・アレイを有するライトフィールド・センサー・モジュールとを有するライトフィールド撮像システムを使ってオブジェクトの画像を生成するための実行可能なコンピュータ・プログラム命令を記憶している非一時的なコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行可能であり、前記ライトフィールド撮像システムに：
所望される解像度向上値を達成するための一つまたは複数の光学パラメータを決定する段階と、
前記一つまたは複数の光学パラメータに従って前記ライトフィールド撮像システムを調整する段階と、
前記一つまたは複数の光学パラメータに従って調整された前記ライトフィールド撮像システムを用いて前記オブジェクトの多重化されたビューのアレイを捕捉する段階とを含む方法を実行させるものである、
非一時的なコンピュータ可読記憶媒体。

１１０ ライトフィールド撮像システム
１１２ 一次結像光学系
１１４ マイクロ結像アレイ、二次結像アレイ
１１５ マイクロレンズ
１２５ 開口
１４０ 画像
１５０ オブジェクト
１５５ ビュー、光学像
１７０ 複合光学像
１７１ 像
１８０ センサー
１９０ 処理モジュール
２５５ オブジェクト領域
４９２ ビュー抽出モジュール
４９４ 視差決定モジュール
４９６ 超解像度モジュール
４９８ ぼけ除去モジュール
５１０ 自動脱焦点
７００ 光学描画
７０５ 像平面
７１０ オブジェクト面
７２０ 零視差平面
７２１ 点
７２２ 点
７５０ 光学描画
７７０ 光学描画
８００ プロセス
８０５ 空間的に多重化された画像を捕捉
８１０ 空間的に多重化された画像からビューを抽出
８１５ 抽出されたビューから関心領域（ROI）を決定
８２０ ROIについて初期視差を計算
８２５ 初期視差を使ってROIの奥行きを決定
８３０ 解像度向上値を決定
８３５ 部分的には解像度向上値に基づいて一つまたは複数の光学パラメータを調整
８４０ 第二の空間的に多重化された画像を捕捉
８４５ 第二の空間的に多重化された画像からビューを抽出
８５０ 解像度向上を実行
９００ プロセス
９２２ 解像度向上値（REF: resolution enhancement value）を決定
９２４ REV≧閾値か？
１０００ レンズ
１００５ ボディ
１０１０ 光学アセンブリー
１０１５ マウント
１０２０ 焦点リング
１０２５ 焦点インジケータ
１０３０ 解像度リング
１０３５ 解像度インジケータ
１１００ 電子ディスプレイ
１１１０ 解像度向上画面
１１２０ 焦点バー
１１３０ 解像度バー
１１４０ 画像

Claims (20)

1. オブジェクトの画像を生成するライトフィールド撮像システムであって、
   オブジェクトの光学像を形成する一次光学サブシステムであって、前記光学像は前記一次光学サブシステムの像平面に位置する、一次光学サブシステムと；
   二次結像アレイおよびセンサー・アレイを有するライトフィールド・センサー・モジュールであって、前記二次結像アレイは複数のマイクロレンズを有し、各マイクロレンズは前記一次光学サブシステムのひとみを前記センサー・アレイの複数の対応するセンサー要素上に結像する、ライトフィールド・センサー・モジュールと；
   処理モジュールとを有しており、
   前記一次光学サブシステムおよび／または前記ライトフィールド・センサー・モジュールは、一つまたは複数の光学パラメータに従って調整可能であり、
   前記処理モジュールは、一つのマイクロレンズに対応する異なるセンサー要素が、所望される解像度向上値に基づくサブピクセル視差に従って互いにシフトされた光を集め、かつ、前記センサー・アレイ上で前記オブジェクトの多重化されたビューのアレイが捕捉されるような前記二次結像アレイと前記像平面との間の変位を達成するための前記一つまたは複数の光学パラメータを決定するよう構成されており、
   多重化されたビューの数は一つのマイクロレンズに対応するセンサー要素の数に基づき、
   前記処理モジュールは、前記所望される解像度向上値に基づく前記サブピクセル視差に従って前記多重化されたビューのアレイにおいて捕捉された多重化されたビューを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせるようさらに構成されている、ライトフィールド撮像システム。
2. 前記一つまたは複数の光学パラメータは、前記一次光学サブシステムの有効焦点距離fを含み、前記一次光学サブシステムは有効焦点距離に関して調整可能である、請求項１記載のライトフィールド撮像システム。
3. 前記一つまたは複数の光学パラメータは、前記一次光学サブシステムから前記二次結像アレイまでの距離d_iを含み、当該ライトフィールド撮像システムは距離d_iに関して調整可能である、請求項１記載のライトフィールド撮像システム。
4. 前記所望される解像度向上値が1より大きな整数値である、請求項１記載のライトフィールド撮像システム。
5. 前記処理モジュールがさらに：
   前記オブジェクトの多重化されたビューの捕捉されたアレイについての解像度向上値が閾値以上であるかどうかを判定し；
   もしそうである場合に前記多重化されたビューを組み合わせる処理を実行するよう構成されている、
   請求項１記載のライトフィールド撮像システム。
6. 前記処理モジュールがさらに：
   前記オブジェクトの多重化されたビューの第一の捕捉されたアレイについての解像度向上値が閾値以上であるかどうかを判定し；
   もしそうでなければ、多重化されたビューの第二の捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせるよう構成されており、多重化されたビューの前記第二の捕捉されたアレイは、前記一次光学サブシステムおよび／またはライトフィールド・センサー・モジュールが前記一つまたは複数の光学パラメータに従って調整されたときに捕捉されたものである、
   請求項１記載のライトフィールド撮像システム。
7. 前記一つまたは複数の光学パラメータに従って前記一次光学サブシステムおよび／またはライトフィールド・センサー・モジュールを自動的に調整する自動脱焦点モジュールをさらに有しており、
   前記処理モジュールがさらに、多重化されたビューの第二の捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせるよう構成されており、多重化されたビューの前記第二の捕捉されたアレイは、前記自動脱焦点モジュールによる自動調整後に捕捉されたものである、
   請求項１記載のライトフィールド撮像システム。
8. 前記処理モジュールがさらに：
   多重化されたビューの第一の捕捉されたアレイ内の関心領域を決定し；
   前記関心領域についての初期視差を計算し；
   前記初期視差を使って前記関心領域の奥行き範囲を決定し；
   決定された奥行き範囲のもとで前記所望される解像度向上を決定するよう構成されている、
   請求項７記載のライトフィールド撮像システム。
9. 前記処理モジュールがさらに、
   

   

   と整合して前記一つまたは複数の光学パラメータを決定するよう構成されており、
   fは前記一次光学サブシステムの有効焦点距離であり、
   d_oは前記一次光学サブシステムからオブジェクト平面までの距離であり、
   d_fは視差が0であるときの前記一次光学サブシステムからオブジェクト平面までの距離であり、
   f_μは前記二次結像アレイの焦点距離であり、
   αは画像処理を考慮に入れるために加えられる因子であり、
   w_pは前記センサー・アレイ内のセンサーのサイズであり、
   φはビュー内の隣り合うピクセルの間の距離である、
   請求項１記載のライトフィールド撮像システム。
10. 前記一つまたは複数の光学パラメータに従って前記一次光学サブシステムおよび／またはライトフィールド・センサー・モジュールを自動的に調整する自動脱焦点モジュールをさらに有する、請求項１記載のライトフィールド撮像システム。
11. 前記自動脱焦点モジュールが、前記処理モジュールからフィードバックを受領し、該フィードバックを使って、前記所望される解像度向上値を達成するよう前記一つまたは複数の光学パラメータを調整する、請求項１０記載のライトフィールド撮像システム。
12. 前記処理モジュールがさらに、多重化されたビューの捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせるよう構成されている、請求項１記載のライトフィールド撮像システム。
13. 前記一次光学サブシステムが解像度リングをもつ調整可能なレンズを含み、前記解像度リングは、前記レンズを調整するために回転可能であり、当該ライトフィールド撮像システムの解像度向上値をユーザーに対して示す、請求項１記載のライトフィールド撮像システム。
14. 前記調整可能なレンズが、前記レンズを調整するために回転可能であり、前記一次光学サブシステムの有効焦点距離をユーザーに対して示す焦点リングをも含む、請求項１３記載のライトフィールド撮像システム。
15. 前記調整可能なレンズが、前記レンズを調整するために回転可能であり、前記一次光学サブシステムの焦点共役をユーザーに対して示す焦点リングをも含む、請求項１３記載のライトフィールド撮像システム。
16. 当該ライトフィールド撮像システムのユーザーに対して解像度インジケータを呈示するよう構成された電子ディスプレイをさらに有しており、前記解像度インジケータは、当該ライトフィールド撮像システムの解像度向上値をユーザーに対して示す、請求項１記載のライトフィールド撮像システム。
17. 一次光学サブシステムと、二次結像アレイおよびセンサー・アレイを有するライトフィールド・センサー・モジュールとを有するライトフィールド撮像システムを使ってオブジェクトの画像を生成する方法であって、前記二次結像アレイは複数のマイクロレンズを有し、各マイクロレンズは前記一次光学サブシステムのひとみを前記センサー・アレイの複数の対応するセンサー要素上に結像するものであり、
    一つのマイクロレンズに対応する異なるセンサー要素が、所望される解像度向上値に基づくサブピクセル視差に従って互いにシフトされた光を集め、かつ、前記センサー・アレイ上で前記オブジェクトの多重化されたビューのアレイが捕捉されるような前記二次結像アレイと前記一次光学サブシステムの像平面との間の変位を達成するための一つまたは複数の光学パラメータを決定する段階と、
    前記一つまたは複数の光学パラメータに従って前記一次光学サブシステムおよび／または前記ライトフィールド・センサー・モジュールを調整する段階と、
    前記一つまたは複数の光学パラメータに従って前記調整がされた前記ライトフィールド撮像システムを用いて前記オブジェクトの多重化されたビューのアレイを捕捉する段階と；
    前記所望される解像度向上値に基づく前記サブピクセル視差に従って前記多重化されたビューのアレイにおいて捕捉された多重化されたビューを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせる段階とを含む、
    方法。
18. 前記一次光学サブシステムおよび／または前記ライトフィールド・センサー・モジュールを調整する段階が、前記一つまたは複数の光学パラメータに従って前記一次光学サブシステムおよび／または前記ライトフィールド・センサー・モジュールを自動的に調整することを含む、請求項１７記載の方法。
19. 多重化されたビューの前記捕捉されたアレイを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせる段階をさらに含む、請求項１７記載の方法。
20. 一次光学サブシステムと、二次結像アレイおよびセンサー・アレイを有するライトフィールド・センサー・モジュールとを有するライトフィールド撮像システムを使ってオブジェクトの画像を生成するための実行可能なコンピュータ・プログラム命令を記憶している非一時的なコンピュータ可読記憶媒体であって、前記二次結像アレイは複数のマイクロレンズを有し、各マイクロレンズは前記一次光学サブシステムのひとみを前記センサー・アレイの複数の対応するセンサー要素上に結像するものであり、前記命令は、プロセッサによって実行可能であり、前記ライトフィールド撮像システムに：
    一つのマイクロレンズに対応する異なるセンサー要素が、所望される解像度向上値に基づくサブピクセル視差に従って互いにシフトされた光を集め、かつ、前記センサー・アレイ上で前記オブジェクトの多重化されたビューのアレイが捕捉されるような前記二次結像アレイと前記一次光学サブシステムの像平面との間の変位を達成するための一つまたは複数の光学パラメータを決定する段階と、
    前記一つまたは複数の光学パラメータに従って前記一次光学サブシステムおよび／または前記ライトフィールド・センサー・モジュールを調整する段階と、
    前記一つまたは複数の光学パラメータに従って前記調整がされた前記ライトフィールド撮像システムを用いて前記オブジェクトの多重化されたビューのアレイを捕捉する段階と；
    前記所望される解像度向上値に基づく前記サブピクセル視差に従って前記多重化されたビューのアレイにおいて捕捉された多重化されたビューを、前記多重化されたビューのいずれの解像度よりも高い解像度をもつ前記オブジェクトのデジタル画像に組み合わせる段階とを含む方法を実行させるものである、
    非一時的なコンピュータ可読記憶媒体。

Images