JP6565371B2 - 多視点画像システムの視差推定 - Google Patents

Description

本発明は、概して、スペクトル符号化プレノプティック画像システムを含む、プレノプティック画像システム及び他の種類の多視点画像システムに関する。

スペクトル符号化プレノプティックカメラは、主レンズの瞳面にあるフィルタアレイを用いることにより、マルチスペクトル画像を単一のスナップショットに集めることができる。理想的には、光は、良好なスペクトル再構成を有するために、マイクロレンズアレイ上に集光すべきである。しかしながら、現実には、光は必ずしも常に、特に、シーン内のオブジェクトが異なる深さに位置するときは、マイクロレンズアレイ上に集光するわけではない。これは、異なるスペクトル画像の視差及びずれを生じる。

同様の現象は、他の種類のマルチスペクトル多視点画像システムにおいても生じ得る。例えば、異なる視点から異なるスペクトルをフィルタリングされた画像をキャプチャする複数のカメラを備えるシステムは、同様の問題に苦しむだろう。異なる色画像は、互いに対して視差を示す。したがって、補償しないで画像を再結合すると、色縁及び他のアーティファクトを生じてしまう。

したがって、視差を補償するアプローチが必要である。

多視点画像システムの視差推定を提供する。

本発明は、複数の多視点マルチスペクトル画像を用い及び異なる視点から撮られた画像の視差間の関係を利用して視差／深さを推定することにより、従来の制限を克服する。

１つのアプローチでは、視差推定は、１つのシーンの３枚以上の画像に基づき、画像は、異なる視点から撮られ、異なるスペクトル成分を含む。画像間の視差は、（ａ）視差パラメータ、及び（ｂ）画像間の視点における差分、の関数としてモデル化される。視差パラメータは、画像間の視点の差分を考慮して、集められた画像に基づき推定される。

本発明の他の態様は、コンポーネント、装置、システム、改良、方法、処理、アプリケーション、及び上記に関連する他の技術を含む。

本特許又は出願のファイルは、少なくとも１つのカラーで作成された図面を有する。カラーの図面を有する本特許又は特許出願の出版物の複製は、当局により要求に応じて及び必要な料金の支払いにより提供される。

本発明は、添付の図面と関連して以下の発明の詳細な説明及び添付の特許請求の範囲から直ちに明らかになる他の利点及び特徴を有する。
スペクトル符号化プレノプティック画像システムを示す図である。 スペクトル符号化プレノプティック画像システムを示す図である。 スペクトル符号化プレノプティック画像システムにおける視差を示す図である。 図２Ａのオブジェクト領域の拡大図である。 スペクトル符号化プレノプティック画像システムにおける視差を示す図である。 スペクトル符号化プレノプティック画像システムにおける視差を示す図である。 スペクトル符号化プレノプティック画像システムにおけるスペクトル視差を示す図である。 スペクトル符号化プレノプティック画像システムにおけるスペクトル視差を示す図である。 視差補償によりカラー画像を再構成する方法のフロー図である。 遠くにあるオブジェクトポイントの幾何光学モデルである。 近くにあるオブジェクトポイントの幾何光学モデルである。 ４フィルタレイアウトを有する主レンズ開口の例を示す。 ６フィルタレイアウトを有する主レンズ開口の例を示す。 図４に示す画像の視差マップである。 図４に示す画像のスペクトル再構成画像である。 パララックス調整をテストするための実験設備を示す。 図１０の実験の結果を示す棒グラフである。 単一画像及び画像平均アプローチの信号対雑音比（ＳＮＲ）を示す棒グラフである。 図は本発明の実施形態を説明のみを目的として図示する。当業者は、本願明細書に示された構造及び方法の代替の実施形態が本願明細書に記載された発明の原理から逸脱することなく用いられてもよいことを以下の議論から直ちに認識するだろう。

図及び以下の説明は、説明のみのために好適な実施形態を参照する。以下の議論から、本願明細書に開示された構造及び方法の代替の実施形態は特許請求の範囲で請求された原理から逸脱することなく用いられてもよい変形の代替として直ちに認識されることに留意すべきである。

図１Ａ〜１Ｂは、スペクトル符号化プレノプティック画像システムの例を示す図である。スペクトル符号化プレノプティック画像システム１１０は、１次画像光学系１１２（図１Ａの単一のレンズにより表される）、２次画像化アレイ１１４（画像形成要素アレイ１１５）、及びセンサアレイ１８０を有する。２次画像化アレイ１１４は、マイクロ画像化アレイとして表されても良い。２次画像化アレイ１１４及びセンサアレイ１８０は、一緒に、プレノプティックセンサモジュールとして表されても良い。これらのコンポーネントは、図１Ａのサブシステム１及びサブシステム２として示される２つの重なり合う画像サブシステムを形成する。

便宜上、画像光学系１１２は、単一の対物レンズとして図１Ａに示されるが、複数の要素を有しうると理解されるべきである。対物レンズ１１２は、像平面ＩＰでオブジェクト１５０の光学画像１５５を形成する。マイクロ画像化アレイ１１４は像平面ＩＰに置かれる。システムは、全体として、空間的に多重化されたインターリーブされた光学画像１７０をセンサ平面ＳＰで形成する。マイクロ画像化アレイ１１４の例は、マイクロレンズアレイ、ピンホールのアレイ、マイクロミラーアレイ、チェッカーボード格子及び導波管／チャネルアレイを含む。マイクロ画像化アレイ１１４は、長方形アレイ、六角形アレイ、又は他の種類のアレイであり得る。センサアレイ１８０は図１Ａにも示される。

カラーフィルタモジュール１２５は、センサ平面ＳＰの共役面ＳＰ’に位置付けられる。実際の物理的位置は、画像光学系１１２の前、後又は中間であってもよい。カラーフィルタモジュールは、多数の空間的に多重化されたフィルタ１２７Ａ−Ｄを有する。この例では、図１Ａの下部に示されるように、カラーフィルタモジュール１２５は、フィルタ１２７の方形アレイを有する。本例は、カラーフィルタモジュール１２５を用いるが、偏光フィルタ、減光フィルタ、及びフィルタを有しないを含む他の種類のフィルタ及びフィルタの組合せを用いることができる。

図１Ａの下部は、より詳細を提供する。この図では、オブジェクト１５０は、１−９でラベル付けされた領域の３ｘ３アレイに分割される。カラーフィルタモジュール１２５は、個々のフィルタ１２７Ａ−Ｄの２ｘ２方形アレイである。例えば、各フィルタ１２７Ａ−Ｄは異なるスペクトル応答を有しても良い。センサアレイ１８０は６ｘ６方形アレイとして示される。

図１Ｂは、空間的に多重化された光学画像１７０Ａ−Ｄがセンサアレイ１８０でどのように生成されインターリーブされるかを概念的に示す。オブジェクト１５０は、キャプチャされフィルタ１２７Ａによりフィルタされた場合、光学画像１５５Ａを生成し得る。光学画像１５５Ａを対象のフィルタされていない画像と区別するために、３ラ３の領域は添え字Ａでラベル付けされる。つまり、１Ａ−９Ａである。同様に、フィルタ１２７Ｂ、Ｃ、Ｄによりフィルタされたオブジェクト１５０は、１Ｂ−９Ｂ、１Ｃ−９Ｃ、及び１Ｄ−９Ｄでラベル付けされた３ｘ３領域を有する、対応する光学画像１５５Ｂ、Ｃ、Ｄを生成し得る。これらの４つの光学画像１５５Ａ−Ｄのそれぞれは、フィルタモジュール１２５内の異なるフィルタ１２７Ａ−Ｄによりフィルタされるが、プレノプティック画像システム１１０により全て同時に生成される。

図１Ｂに示されるように、４つの光学画像１５５Ａ−Ｄは、センサ平面にインターリーブされて形成される。例として画像１５５Ａを用いると、光学画像１５５Ａからの３ｘ３領域１Ａ−９Ａは、光学画像１７０内の３ｘ３ブロック内で隣接していない。むしろ、４つの異なる光学画像からの領域１Ａ、１Ｂ、１Ｃ及び１Ｄが、光学画像１７０の左上に２ｘ２形式で配置される（画像１７０の反転は明確性のために無視される）。領域１−９は同様に配置される。したがって、光学画像１７０Ａを作り出す領域１Ａ−９Ａは、合成光学画像１７０全体に広がり、他の光学画像１７０Ｂ−Ｄの部分により分離される。別の方法では、センサが個々のセンサ要素の方形アレイである場合、アレイ全体は、センサ要素の方形サブアレイ１７１（１）―（９）に分割され得る（図１Ｂには１つのサブアレイ１７１（１）のみが示される）。各領域１−９では、各フィルタされた画像からの対応する領域の全てがサブアレイに画像化される。例えば、領域１Ａ、１Ｂ、１Ｃ及び１Ｄは全てサブアレイ１７１（１）に画像化される。フィルタモジュール１２５及びセンサアレイ１８０は共役面に置かれるので、アレイ１１４内の各画像化要素１１５は、センサ平面ＳＰにフィルタモジュール１２５の画像を形成することに留意する。複数の画像化要素１１５があるので、フィルタモジュール１２５の複数の画像１７１が形成される。

多重化画像１７０は、オブジェクトの所望の画像を再構成するために、処理モジュール１９０により処理され得る。処理は、逆インターリーブ及び逆多重化であり得る。処理は、更に高度な画像処理を含み得る。本例では、所望の画像は、視差を補償されたオブジェクト１５０のマルチスペクトル画像１９５（例えば、ＲＧＢカラー画像又はＸＹＺカラー画像）である。１つの実装では、カラーフィルタモジュール１２５は、フィルタ１２７が異なる色成分に適合するスペクトル応答を有するよう設計される。他の実装では、フィルタ１２７は、広帯域、狭帯域、又は２者の組合せであり得る。

図１は基礎をなす概念を説明するために簡略化されていることに留意すべきである。例えば、オブジェクト１５０は、全体の画像化機能をより簡単に説明するために人為的にアレイに分割された。本発明はアレイにされたオブジェクトに限定されない。別の例として、最も実用的なシステムは、有意に大きいアレイを、特にセンサアレイで及び場合によってはフィルタモジュールでも用いる。さらに、センサ平面にある６ｘ６領域とセンサアレイ内の下にあるセンサ要素とは１：１の関係である必要はない。各領域は、例えば複数のセンサ要素に対応し得る。最後の例として、オブジェクト内の１でラベル付けされた領域、つまりフィルタされた画像１５５Ａ内の１Ａ及び合成画像１７０内の１Ａは、厳密に互いの画像である必要はない。幾つかの設計では、画像１７０内の領域１Ａは、オブジェクト１５０内の領域１からのフィルタされたエネルギを殆どキャプチャできるが、実際には領域１の画像でなくてもよい。したがって、画像１７０の領域１Ａ内のセンサ要素により集められたエネルギは、該領域における対象の幾何学的再現を表すのではなく、オブジェクト１５０の領域１内の画像（又は画像の特定の変換）の積算又はサンプリングであってもよい。さらに、パララックス、開口食、回折及び光伝搬のような影響は、如何なる画像形成にも影響を与えない。

図１に示すアプローチは幾つかの利点を有する。第１に、複数の光学画像１７０Ａ−Ｄはセンサ平面で同時にキャプチャされる。第２に、各キャプチャされた画像は、カラーフィルタモジュール１２５内のフィルタ１２７Ａ−Ｄによりフィルタされ、各フィルタ１２７は異なるフィルタリング機能を実施するよう設計されてもよい。便宜のため、センサアレイ１８０に入射する配光は、カラープレノプティック画像１７０として表され、カラーフィルタモジュールの効果は、スペクトル符号化として表される。したがって、システム１１０は、スペクトル符号化プレノプティック画像システムとして表される。さらに、カラーフィルタモジュール１２５は実際のセンサ平面ＳＰではなく共役面ＳＰ’に置かれるので、及びこれはカラーフィルタモジュールがセンサ平面において要求されるものと比べて遙かに大きいことを意味するので、耐性及びカラーフィルタモジュールに課される他の機械的要件は緩和される。これは、カラーフィルタモジュールがセンサ平面に置かれた場合（例えば、センサ組立体に取り付けられた場合）に比べて、カラーフィルタモジュールの操作を容易にする。

さらに、留意すべきことに、図１Ａ〜１Ｂに示すシステムでは、光学画像１５５Ａ−Ｄは互いに整合性がある。つまり、光学画像１５５Ａは光学画像１５５Ｂ、Ｃ、Ｄと同じオブジェクト領域をキャプチャする。これは、オブジェクトに「焦点が合っている」ためで、オブジェクトの画像平面がマイクロ画像化アレイ１１４の位置に一致することを意味する。次に、図２Ａ〜２Ｂに示すように、オブジェクトから「焦点が外れた」ときに何が起こるかを検討する。

図２Ａでは、センサ平面内の２つの点、１８０Ａ及び１８０Ｂを考える。点１８０Ａは、中央のマイクロレンズの下に位置する軸上にあり、点１８０Ｂは、中心点１８０Ａからずれているが、依然として同じ中央のマイクロレンズの下にある。先ずトレース光線は、点１８０Ａから後方へ向かう。これらの光線は、実線により示される。また、トレース光線は、点１８０Ｂから後方へ向かう。これらの光線は、破線により示される。これらの光線は、個々のセンサ点１８０により集められる円錐状の光線を表す。実線の円錐の範囲内にある光線は、センサ点１８０Ａにより集められ、破線の円錐の範囲内にある光線は、センサ点１８０Ｂにより集められる。これらの光線がオブジェクトと交わる場所は、個々のセンサ点１８０により集められるオブジェクト領域を表す。

例えば、先ず、点１８０Ａの実線の光線を検討する。図２Ｂは、図２Ａのオブジェクト領域の拡大図を示す。オブジェクトが平面Ｏに位置する場合（つまり、「焦点が合っている」状態）、センサ点１８０Ａは、図２Ｂに太い実線により示されるように、オブジェクト領域２５５Ａ−Ｏからの光線を集める。オブジェクトが「焦点が外れた」場合、画像はもはや平面ＩＰで正確に形成されないことを意味し、又は同等に、オブジェクトがもはや平面Ｏに正確に位置しないことを意味する。むしろ、オブジェクトは、平面Ｏの前又は後ろに、例えば平面Ｏ’又はＯ’’に位置し得る。オブジェクトが平面Ｏ’に位置する場合（つまり「焦点が外れている」）、センサ点１８０Ａは、オブジェクト領域２５５Ａ−Ｏから光線を集める。同様に、オブジェクトが平面Ｏ’’に位置する場合（つまり、「焦点が外れている」）、センサ点１８０Ａはオブジェクト領域２５５Ａ−Ｏ’’から光線を集める。

同様の分析は、センサ点１８０Ｂについても可能である。破線の光線は、センサ点１８０Ｂにより集められる円錐状の光線を定める。オブジェクトが「焦点の合っている」平面Ｏに位置する場合、センサ点１８０Ｂは、図２Ｂに太い破線により示されるように、オブジェクト領域２５５Ｂ−Ｏからの光線を集める。平面Ｏ’又はＯ’’では、センサ点１８０Ｂは、それぞれオブジェクト領域２５５Ｂ−Ｏ’又は２５５Ｂ−Ｏ’’から光線を集める。この種の分析は、同じマイクロレンズにおいてセンサ平面上の任意の点について繰り返すことができ、他のマイクロレンズでも繰り返すことができる。

留意すべきことに、オブジェクトに焦点が合っているとき、オブジェクト領域２５５Ａ−Ｏ及び２５５Ｂ−Ｏは一致する。つまり、各センサ点１８０は、同じオブジェクト領域から光を集める。しかしながら、オブジェクトから焦点が外れているとき、異なるセンサ点は、互いに対してずれているオブジェクト領域から光を集める。オブジェクト平面Ｏ’において、センサ１８０Ａはオブジェクト領域２５５Ａ−Ｏ’から光を集め、センサ１８０Ｂはオブジェクト領域２５５Ｂ−Ｏ’から光を集め、２つのオブジェクト領域２５５Ａ−Ｏ’及び２５５Ｂ−Ｏ’は一致しない。むしろ、それらは互いに対してずれている。このずれは、視差とも表される。同様に、オブジェクト平面Ｏ’’では、２つのオブジェクト領域２５５Ａ−Ｏ’’及び２５５Ｂ−Ｏ’’も互いに対してずれているが、視差は同じ方向に存在する。

図２はオブジェクト平面内の視差を示す。つまり、各センサ点１８０は、僅かにずれたオブジェクト領域から光を集める。しかしながら、以下の説明は、大抵、センサ平面内の視差に基づく。つまり、オブジェクト点により生成された光は、全てが単一のセンサ点において集められるのではない。むしろ、ある範囲のセンサ点に跨ってずれており、このずれは、系を通る光線経路に依存する。開口の異なる点を通って伝搬する光線は、センサ平面において異なる量だけずれる。留意すべきことに、開口の異なる点を通って伝搬する光線は、異なるフィルタ１２７によりフィルタリングされるので、色収差ゼロの場合でも、（フィルタが開口の範囲内で異なる位置を占有するために）異なるスペクトル画像は異なる視差を示す。

図３Ａ〜３Ｂに視差の概念を更に示す。図３Ａは、オブジェクトに「焦点の合っている」状況を示す。９個の正方形は図１のオブジェクトを表す。図３Ａで、画像１５５Ａ及び１５５Ｄは、破線の正方形として表される。しかしながら、これらの破線の正方形は、それらがオブジェクト１５０の太い外縁と一致するために見えない。

図３Ｂでは、オブジェクト１５０は「焦点が外れている」。つまり、オブジェクトは、マイクロ画像化アレイ１１４の位置と一致しない画像を形成する。この焦点外れの１つの効果は、図３Ｂに示すように、画像１５５Ａ及び１５５Ｄが互いに対してずれることである。明確さのために、画像１５５Ｂ及び１５５Ｃは示されない。次に、４枚の画像１５５Ａ〜Ｄは、互いに対してずれている画像のセットを形成する。これらの４枚の画像が視差補正をしないで結合された場合、結果として生じるカラー画像は色縁のようなアーティファクトを示す。

この問題を説明するために、図４Ａ〜４Ｂに一例を示す。本例では、カラーフィルタモジュール１２５は、黄色、青色、赤色、及び緑色である空間多重フィルタ１２７Ａ〜Ｄに分割される。これらのフィルタは、広域（broad）カラーフィルタである。例えば、赤色フィルタは、スペクトルの赤色部分の波長を通過させる広帯域フィルタである。シーンは、異なる深さにある異なる色のオブジェクトを有する。前景にあるマーカは、緑色マーカである。背景にあるホワイトボード上の書き込みは、黒又は赤色である。図４Ａのグレースケール画像は、４枚のカラーフィルタ済み画像である。ここで、キャプチャされた強度は、グレースケールとして表現される。画像１５５Ａは黄色フィルタ済み画像であり、画像１５５Ｂは青色フィルタ済み画像であり、画像１５５Ｃは赤色フィルタ済み画像であり、画像１５５Ｄは緑色フィルタ済み画像である。

図４Ｂは、スペクトルフィルタ済み画像１５５から再構成されたカラー画像を示す。カラー画像は、視差を推定しないで、及びパララックス調整をしないで、再構成された。スペクトル画像は、４個の異なるフィルタ部分から再構成された。各部分は、開口の異なる部分を通る光を通過する。これは、光がマイクロレンズアレイに正しく焦点があっていない場合、異なるスペクトルチャネル間のパララックスを生じ、図４Ｂに示すように、色縁が非常に目につく。図４Ｂの拡大部分から明らかなように、色縁は、オブジェクトが異なる距離にあるとき変化する。詳細図４２０は、ホワイトボード上の黒色の書き込みの再構成を示す。この詳細図では、位置のずれた分離した赤色、緑色、及び黄色画像が見える。詳細図４２１は、緑色マーカを示し、カラーアーティファクトも示す。

伝統的なステレオマッチングアルゴリズムでは、視差は、異なる画像内の同じオブジェクトの相対位置を比較することにより推定できる。しかしながら、これは、マルチスペクトル画像では、オブジェクトが全ての画像に現れない可能性があるので、より困難である。図４Ａの詳細図４５５Ｄでは、白色背景にある赤色の書き込みが見える。これは、赤色の書き込みが緑色画像内の明るい背景の上の暗い書き込みとして現れるからである。緑色フィルタは、基本的に、赤色の書き込みをフィルタして除去し、明るい背景とのコントラストを作り出す。しかしながら、図４Ａの詳細図４５５Ｃでは、赤色の書き込みは見えない。これは、赤色フィルタ済み画像では、赤色の書き込みは明るい背景の上の明るい書き込みとして現れるからである。したがって、あるスペクトル帯域内に存在する同じオブジェクトは、別のスペクトル帯域においては完全に消失し得ることが分かる。したがって、伝統的なステレオマッチングアルゴリズムを用いた２枚の画像に基づく視差／深さの推定は、これら２枚の画像に関して機能しない。

図５は、視差補償によりカラー画像を再構成する方法のフロー図である。図１Ａを参照すると、この方法は、プロセッサ１９０により実施できる。スペクトル符号化プレノプティックデータ１７０は、プレノプティックカメラによりキャプチャされる。（図５の較正プロファイルにより提供される）カメラレイアウトに基づき、多重画像１７０は、基本フィルタ済み画像１５５を生成するために処理される５１０。これらの画像は、マルチスペクトル多視点画像として表される。

これらの画像のうちの、異なる視点から撮られ異なるスペクトル成分を有する３枚以上から、視差が推定される５２０。異なる画像セット間の相対視差は、パラメータ化され得る。次に、画像は、視差を推定するために用いることができる。１つのアプローチでは、画像間の視差は、画像間の視点の差の、及び視差パラメータの関数としてモデル化される。パラメータは、集められたマルチスペクトル多視点画像に基づき推定される。したがって、オブジェクトがある画像から失われている場合、該オブジェクトは、他の画像内での該オブジェクトの出現により補償されるだろう。

視差は、センサに対するオブジェクトの深さに依存する。望ましくは、視差マップは推定される５２０。これは、画像内の異なる点における視差の推定である。カメラ設計が分かっている場合、視差と深さとの関係が導出できる。したがって、視差情報は、深さ推定又は代わりに深さマップの形式を取っても良い。視差が推定されると５２０、異なるスペクトルチャネル及び異なるビュー間のパララックスは、推定視差／深さマップを用いて修正される５３０。最後に、スペクトル画像は、パララックス修正に基づき再構成される５４０。

以下は、複数の画像からどのように視差を推定するかの一例である。先ず、２つの視点の間にある基線と再構成多視点画像の視差との間の関係を、単純化した幾何光学モデルを用いて導出し、次に、オブジェクトが異なる深さにあるとき導出（derivation）を分析する。スペクトル符号化プレノプティックカメラは、開口平面に配置されるフィルタアレイを有する。各スペクトルフィルタは、主レンズの一部を占有する。図６Ａ〜６Ｂに一例を示す。簡単のため、フィルタアレイは示されない。

主レンズの中心はｏとして示される。主レンズ開口の異なる点を伝搬する光線は、異なる量の視差を示す。つまり、光線が主レンズ開口と交差する場所は、該画像の視点の指示である。図６Ａで、点ｏ_１を通る光線を検討する。中心点ｏを通る光線に対する、この光線の視差を計算する。便宜上、点ｏ及びｏ_１は、視点ｏ及びｏ_１として表される場合もある。点ｏは、基準視点を定める。図６Ａで、オブジェクト点Ａは遠くにあり、画像はマイクロレンズアレイ平面において焦点が外れている。同じオブジェクト点Ａから反射された光は、異なる小型レンズに投影され、マイクロレンズアレイ上のオブジェクト点Ａのシフト（つまり、視差）が存在する。

図６Ａ〜６Ｂに示す変数は、以下の表１に定められる。

［表１］図６で用いられる変数

マイクロレンズにおけるオブジェクト点Ａのシフトは、次式で表すことができる。

ここで、ρはシフト量であり、ｎ_ｐは再構成画像の点のシフトをピクセルで表し、ｄ_ｍは各小型レンズの直径である。図６Ａの相似三角形から、次式を得る。

レンズマーカの式に基づき、次式を得る。

式（１）及び（３）を式（２）に代入して、次式を得る。

式（４）の右辺は、システムパラメータに依存し、それ以外には、オブジェクト深さが変化する場合のみ変化する。したがって、任意の特定の深さにあるオブジェクトについて、次式が得られる。

しかしながら、一定（constant）は、異なる深さで異なる。式（５）は、所与の深さにあるオブジェクトについて、異なる視点から撮られた該オブジェクトの画像が異なる視差を示すが、視差は視点の基線に比例することを示す。２倍の長さの基線を有する視点は、２倍の長さの視差を有する画像を生成する。反対に、ある視点について視差が分かっている場合、他の視点について視差が計算できる。異なる視点における視差は、知られている関係を満たすべきである。

強い色収差が観察される場合、主レンズの焦点距離は、波長に依存し、Ｆ（λ_０）＋Δ（λ）で示される。ここで、λ_０は基準波長である。次に、式（４）を次式のように書き換える。

式（５）の視差と基線との間の関係は、次式のように修正される。

ε（λ）は、システム構成又は較正に基づき推定できる。この式は、異なるスペクトルフィルタに対応する異なる焦点距離を補償する。

オブジェクトが近距離にある場合、システムは、図６Ｂに示すように、マイクロレンズアレイにおいて依然として焦点が外れている。オブジェクト点が遠距離から近距離へと変化するとき、マイクロレンズアレイにおけるシフトは反転して正になり、次式を得る。

これは式（２）と同じである。したがって、式（５）に示す導出は、この場合にも真である。

式（４）に基づき、オブジェクト深さの逆数は次式のように計算できる。

式（４）及び（９）は、深さと視差との間の関係を与える。視差は、式（４）を用いて深さから計算できる。深さは、式（９）を用いて視差から計算できる。

本例は明確化のために簡略化されている。より正確なモデルは、より複雑なシステム及びより複雑な効果、例えば非理想的光学系、より正確な光線トレース、色収差のような他の波長効果、等を説明するために導出できる。この簡易モデルにより説明される原理は、より複雑なモデルにも適用できる。（本例では基線距離ｂにより表される）視点に対する視差の知られている変位は、マルチスペクトル多視点画像を調整するために用いられる。

幾つかの例では、スペクトル又は多視点画像のブラー除去又は解像度向上は、視差推定の前に実行されても良い。例えば、フィルタアレイが可視の及び近赤外範囲のフィルタを有する場合、スペクトル画像のうちの何枚かは、幾らかのブラーを有する可能性がある。

さらに、異なるスペクトルビュー対から計算された視差マップは、１つの視差／深さマップに計算され及び結合できる。

図４Ａに示したように、あるスペクトル画像に現れる同じオブジェクトは、異なるフィルタスペクトル感度のために、別の帯域では完全に消失し得る。したがって、２つのビューのみに基づく深さ推定は、不正確である。図５で、視差／深さマップは、異なるビュー間の導出した関係を用いて、複数のビューからの画像情報に基づき推定される５２０。

図７Ａ〜７Ｂは、それぞれ４フィルタレイアウト及び６フィルタレイアウトを有する主レンズ口径の例を示す。本例では、各フィルタ区画の中央視点は小さな丸により示され、これらの視点からの画像は、視差補償画像を再構成するために用いられる。基準視点が先ず選択され、視点間の基線を計算するために基準として用いられる。

４フィルタレイアウト（図７Ａ）は、２ｘ２グリッドに配置された４個のフィルタを有する。フィルタの中央視点は、ｓ_１〜ｓ_４としてラベル付けされる。視点ｓ_１は、パラメータ（ｓ_０）により示されるように基準視点ｓ_０として機能するために選択される。基準視点ｓ_０と他の視点の各々ｓ_ｉとの間の基線は、基線距離ｂ_ｉ及び基線角度θ_ｉにより定められる。視点ｓ_２への基線は、（ｂ_０）により示されるように、基準の基線として選択される。

６フィルタレイアウト（図７Ｂ）の場合では、仮想基準視点ｓ_０は、主レンズ開口の中心に定められ、基準の基線ｂ_０も定められる。次に、各視点と仮想基準視点ｓ_０との間の基線ｂ_ｉ及び角度θ_ｉは、システムの構成に基づき計算される。

スペクトルフィルタ画像は、選択された視点について再構成される５１０。各ビューと基準ビューとの間の視差は、式（５）に基づき導出される。視差が分かれば、各スペクトルフィルタ画像は、次式の変換を用いて基準視点に変換され得る。

ここで、（ν，ｗ）は補償前のピクセル位置であり、Ｉ（ｂ_ｉ，θ_ｉ，ν，ｗ）は（ν，ｗ）におけるピクセル値であり、（ｂ_ｉ，θ_ｉ）は基準視点への基線を定め、（ｘ，ｙ）及びＩ（ｂ_ｉ，θ_ｉ，ｘ，ｙ）は補償後のピクセル位置及びピクセル値である。さらに、ｂ_０は基準の基線であり、ｎ_ｐ０は基準の基線の視差である。留意すべきことに、視差を補償するために必要な変換量は、基線（ｂ_ｉ，θ_ｉ）により定められる視点内の差分の関数であり、視差パラメータｎ_ｐ０の関数でもある。幾つかの実装では、異なるサブ開口ビューのサブピクセル視差が検討される。この場合には、視差値は、整数ピクセル値についてのみならず、サブピクセル視差推定の標準的技術を用いて分数ピクセル値についても計算できる。

次のステップは、利用可能な画像に基づき、パラメータｎ_ｐ０の値を推定することである。各ピクセルにおける推定視差は、次式に基づき見出される。

ここで、

は、ピクセル（ｘ，ｙ）における推定視差であり、Ｉ_１，．．．，Ｉ_Ｎは式（１０）を用いて計算された変換画像であり、ｃｏｒｒは相関計算演算子である。相関は、スライドウインドウを用いることにより全体的に又は局所的に計算できる。絶対差の和、正規化相互相関、共分散行列の乗算固有値、位相相関、等のような異なる種類の相関計算を用いることができる。

オブジェクトの光学特性が分かっている場合、異なるスペクトル、偏光又は中性子密度フィルタを通過する放射を推定し、次に、相関が計算されると対応する重みを各スペクトルチャネルに適用できる。例えば、Ｎ個のフィルタが、対応する計算された重みｗ_１，．．．，ｗ_Ｎを有して用いられる場合、推定視差は次式のように計算できる。

図８は、図４に示す画像の視差マップである。留意すべきことに、値は近くから遠くまでに及ぶので、図８に示される実際の値は深さである。しかしながら、深さと視差との間に直接関係があるので、深さマップは視差マップの形式で有ると考えられる。

深さ／視差マップが分かると、多視点画像はパララックスについて補正される５３０。推定視差マップに基づき、異なるフィルタ区画から抽出されたマルチスペクトル画像は、式（１０）を用いて基準視点に変換される。変換の後、スペクトル画像は、各ピクセルにおいて基準視点と整合され（registered）、したがってパララックスが減少する。

スペクトル画像は、次に、パララックス修正済み多視点画像に基づき再構成される５４０。スペクトル画像は、各フィルタ区画から１枚の画像のみを用いることにより、及び該画像内の各ピクセルにパララックス修正を適用することにより、再構成できる。スペクトル画像は、各フィルタ区画から複数ビュー（つまり、異なる視点からの複数の画像）を用いることによっても再構成できる。あるアプローチでは、各フィルタ区画からの複数のビューは、式（１０）を用いてパララックス修正され、次に、各スペクトル帯域における１つの「平均」画像を再構成するために平均化される。

図９は、図８の視差マップを用いた図４に示す画像のスペクトル再構成画像を示す。詳細図９２０及び９２１は、図４Ｂの詳細図４２０及び４２１に対応する。色縁は、図９で有意に改善されている。

異なるメトリックに基づくこの特定のアプローチの性能評価も行った。先ず、パララックス修正及び異なるスペクトル画像再構成方法に基づく絶対誤差を評価した。絶対誤差を評価するために、１０ｃｍから４５ｃｍまでの異なる距離にチェッカーボードが置かれ、スペクトル画像は異なる方法を用いて再構成された。図１０は、パララックス修正をテストする実験設備を示す。絶対誤差は次式を用いて計算される。

ここで、ｅは絶対誤差であり、Ｉ_ｒは基準スペクトル画像であり、Ｉ_ｉは他の再構成画像のうちの
１つであり、Ｍは計算に用いられたスペクトル画像の総数であり、Ｎはピクセルの総数である。

図１１は、図１０の実験の結果を示す棒グラフである。３本の棒の各セットは、異なる位置のチェッカーボードのものである。３本の棒の各セットの中で、左の棒１１１０はパララックス修正を有しない誤差を示す。真ん中の棒１１２０は、各スペクトル帯域に対して単一のビューを用いる上述のパララックス修正を有する誤差を示す。右の棒１１３０は、各スペクトル帯域に対して複数のピクセルを平均するパララックス修正を有する誤差を示す。パララックス修正の後、絶対誤差は有意に低減し、単一ピクセル抽出及びピクセル平均方法が非常に似ている。

図１２は、単一画像及び画像平均アプローチの信号対雑音比（ＳＮＲ）を示す棒グラフである。２本の棒の各セットは、異なるカラーフィルタのものである。各セットの中で、左の棒１２１０は、単一画像のものであり、右の棒１２２０は複数画像のものである。パララックス修正の後、ピクセル平均方法はＳＮＲを向上できることが示される。

以上の記載は多くの詳細を含むが、これらは本発明の範囲を制限しない。これらは単に本発明の異なる例及び態様の説明と考えられる。本発明の範囲は、上述の詳細に記載されていない他の実施形態を含むことが理解される。例えば、プレノプティックカメラは、マルチスペクトル多視点システムの一例として用いられたが、他の画像システムも使用できる。異なるスペクトルフィルタを用いるカメラアレイも、マルチスペクトル多視点画像をキャプチャするために使用できる。本発明は、静止画に加えて、ビデオストリームにも適用できる。

多視点は、等間隔の視点又はグリッドに配置された視点からキャプチャされる必要はない。むしろ、視点の不規則な集合も使用できる。多視点は、マルチスペクトルである必要もない。偏光フィルタ、中性子密度フィルタ、及び透明開口（clear aperture）が、スペクトルフィルタに加えて又は代わりに用いられても良い。透明開口では、先ず、この技術を用いて視差／深さを推定できる。次に、式（５）に基づき視差を補償し、視差補償ビューを結合してＳＮＲを向上し又は超解像度を実行できる。

スペクトル画像又は異なるビューのピクセル毎視差は、上述の方法を用いて計算できるが、上述の方法をスペクトル画像／ビューの異なるセットに適用する。開口内に４個のフィルタを有する場合、利用可能な各スペクトル帯域に多数のビューが存在する。結果として生じる視差マップは、異なる深さマップアルゴリズムの結果を結合するために例えば超解像度方法を用いて、正確な視差マップを生成するために結合できる。

当業者に明らかな種々の他の修正、変更、及び変形が、添付の特許請求の範囲に定められた本発明の精神及び範囲から逸脱することなく、本願明細書に開示された本発明の方法及び装置の配置、動作及び詳細について行われてもよい。従って、本発明の範囲は、添付の特許請求の範囲及びその法的等価物により定められるべきである。

代替の実施形態では、本発明の態様は、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せで実施される。本発明の装置は、プログラマブルプロセッサによる実行のための、機械可読記憶装置内に有形に具現化されるコンピュータプログラムプロダクトで実施できる。また、本発明の方法のステップは、入力データに作用し出力データを生成することにより本発明の機能を実行するために命令のプログラムを実行するプログラマブルプロセッサにより実行できる。本発明は、有利なことに、データ記憶システムからデータ及び命令を受信し及びデータ記憶システムへデータ及び命令を送信するために結合される少なくとも１つのプログラマブルプロセッサと、少なくとも１つの入力装置と、少なくとも１つの出力装置と、を含むプログラマブルシステムで実行可能な１又は複数のコンピュータプログラムで実施できる。各コンピュータプログラムは、高レベル手続型又はオブジェクト指向型プログラミング言語で、又は所望の場合アセンブラ若しくは機械語で、実装できる。いずれの場合にも、言語はコンパイルでき、又は言語をインタープリットされる。適切なプロセッサは、例として、汎用及び特定用途マイクロプロセッサの両方を含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ及び／又はランダムアクセスメモリから受信する。通常、コンピュータは、データファイルを格納する１又は複数の大容量記憶装置を有する。このような大容量記憶装置は、内蔵ハードディスク及び取り外し可能ディスクのような磁気ディスク、光磁気ディスク、及び光ディスクを含む。コンピュータプログラム命令及びデータを有形に具現化するのに適する記憶装置は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭのような半導体メモリ素子、及びフラッシュメモリ素子、内蔵ハードディスク若しくは取り外し可能ディスクのような磁気ディスク、光磁気ディスク、及びＣＤ−ＲＯＭディスクを含むあらゆる形式の不揮発性メモリを含む。前述のうち任意のものは、ＡＳＩＣ（application-specific integrated circuit）及び他の形式のハードウェアにより補われ又はそれに組み込むことができる。

１１０ スペクトル符号化プレノプティック画像システム
１１２ １次画像光学系
１１４ ２次画像化アレイ
１１５ 画像形成要素アレイ
１２５ カラーフィルタモジュール
１２７Ａ−Ｄ フィルタ
１５０ オブジェクト
１５５ 光学画像
１７０ 光学画像
１７１ サブアレイ
１８０センサアレイ
１９０ 処理モジュール
２５５ オブジェクト領域

Claims (16)

1. 多視点画像を再構成する、コンピュータが実施する方法であって、前記方法は、
   シーンのＮ個の画像を受信するステップであって、Ｎ≧３であり、前記画像は異なる視点から撮られる、ステップと、
   基準視点及び基準基線を選択するステップであって、前記基準視点は、前記Ｎ個の画像の各々に対応するＮ個の視点及び仮想視点のうち１つであり、前記基準基線は、前記基準視点と前記Ｎ個の視点のうちの前記基準視点以外の視点との間の視点差を表す、ステップと、
   前記基準視点と前記Ｎ個の視点の各々との間の距離及び前記基準基線からの角度により定められる基線、並びに前記基準基線の視差である視差パラメータに基づき、前記Ｎ個の画像の各々を前記基準視点の画像に変換するステップであって、前記視差パラメータは前記基準基線の距離に基づき定められる、ステップと、
   前記変換した画像に基づき、前記Ｎ個の画像の各々の画像内の各ピクセルの視差を推定し視差マップを生成するステップと、 前記視差マップに基づき、前記Ｎ個の画像の各々のパララックスを修正し、修正した前記Ｎ個の画像を再構成することにより多視点画像を生成するステップと、
   を有するコンピュータが実施する方法。
2. ２つの視点間の前記視差は、（前記２つの視点間の視差）／（前記２つの視点間の基線距離）＝既知の関数、としてモデル化される、請求項１に記載のコンピュータが実施する方法。
3. 前記視差は、さらに前記画像内の位置の関数である、請求項１に記載のコンピュータが実施する方法。
4. 前記Ｎ個の画像はそれぞれ異なるスペクトル成分を有し、前記画像の前記異なるスペクトル成分により、必ずしも全てのオブジェクトは全ての画像内に見えない、請求項１に記載のコンピュータが実施する方法。
5. 前記視差マップは、前記画像内の位置の関数として視差を定める、請求項１に記載のコンピュータが実施する方法。
6. 前記視差パラメータ及び前記視点差に基づき、並びに視差と深さとの間の関係に基づき、前記画像の深さマップを推定するステップであって、前記深さマップは、前記画像内の位置の関数として深さを定める、請求項１に記載のコンピュータが実施する方法。
7. 前記修正した前記Ｎ個の画像を再構成することによりマルチスペクトル画像である多視点画像を生成するステップ、
   を更に有する請求項４に記載のコンピュータが実施する方法。
8. 前記画像は、赤色、緑色、及び青色フィルタ済み画像を有する、請求項１に記載のコンピュータが実施する方法。
9. 前記画像の前記視点はグリッドに配置される、請求項１に記載のコンピュータが実施する方法。
10. Ｎ＝４であり、４個の前記画像の前記視点は正方形に配置される、請求項９に記載のコンピュータが実施する方法。
11. Ｎ個の前記画像はＮ個の別個のカメラによりキャプチャされる、請求項１に記載のコンピュータが実施する方法。
12. Ｎ個の前記画像は単一のプレノプティックカメラによりキャプチャされる、請求項１に記載のコンピュータが実施する方法。
13. プログラムコードを格納するよう構成される非一時的コンピュータ可読媒体であって、前記プログラムコードは、多視点画像を構成する命令を有し、前記命令はプロセッサにより実行されると前記プロセッサに方法を実行させ、前記方法は、
    シーンのＮ個の画像を受信するステップであって、Ｎ≧３であり、前記画像は異なる視点から撮られる、ステップと、
    基準視点及び基準基線を選択するステップであって、前記基準視点は、前記Ｎ個の画像の各々に対応するＮ個の視点及び仮想視点のうち１つであり、前記基準基線は、前記基準視点と前記Ｎ個の視点のうちの前記基準視点以外の視点との間の視点差を表す、ステップと、
    前記基準視点と前記Ｎ個の視点の各々との間の距離及び前記基準基線からの角度により定められる基線、並びに前記基準基線の視差である視差パラメータに基づき、前記Ｎ個の画像の各々を前記基準視点の画像に変換するステップであって、前記視差パラメータは前記基準基線の距離に基づき定められる、ステップと、
    前記変換した画像に基づき、前記Ｎ個の画像の各々の画像内の各ピクセルの視差を推定し視差マップを生成するステップと、
    前記視差マップに基づき、前記Ｎ個の画像の各々のパララックスを修正し、修正した前記Ｎ個の画像を再構成することにより多視点画像を生成するステップと、 を有する、非一時的コンピュータ可読媒体。
14. 前記Ｎ個の画像はそれぞれ異なるスペクトル成分を有する、請求項１３に記載の非一時的コンピュータ可読媒体。
15. シーンのＮ個の画像をキャプチャする１又は複数のカメラであって、Ｎ≧３であり、前記画像は異なる視点から撮られる、１又は複数のカメラと、
    処理モジュールであって、
    前記Ｎ個の画像を受信し、
    基準視点及び基準基線を選択し、前記基準視点は、前記Ｎ個の画像の各々に対応するＮ個の視点及び仮想視点のうち１つであり、前記基準基線は、前記基準視点と前記Ｎ個の視点のうちの前記基準視点以外の視点との間の視点差を表し、
    前記基準視点と前記Ｎ個の視点の各々との間の距離及び前記基準基線からの角度により定められる基線、並びに前記基準基線の視差である視差パラメータに基づき、前記Ｎ個の画像の各々を前記基準視点の画像に変換し、前記視差パラメータは前記基準基線の距離に基づき定められ、
    前記変換した画像に基づき、前記Ｎ個の画像の各々の画像内の各ピクセルの視差を推定し視差マップを生成する、
    前記視差マップに基づき、前記Ｎ個の画像の各々のパララックスを修正し、修正した前記Ｎ個の画像を再構成することにより多視点画像を生成する、 処理モジュールと、
    を有する多視点カメラシステム。
16. 前記Ｎ個の画像はそれぞれ異なるスペクトル成分を有する、請求項１５に記載の多視点カメラシステム。
    

Images