JP6409006B2

JP6409006B2 - プレノプティックイメージング装置

Info

Publication number: JP6409006B2
Application number: JP2015556538A
Authority: JP
Inventors: クレムオリヴァー; イーケイヴォ; レストレポジョン; マナコフアルクシャジュール; ヘゲデュシュラモン
Original assignee: Universitaet des Saarlandes
Current assignee: Universitaet des Saarlandes
Priority date: 2013-02-13
Filing date: 2014-02-12
Publication date: 2018-10-17
Anticipated expiration: 2034-02-12
Also published as: KR20150116872A; US9936188B2; CN105210361A; WO2014124982A1; US20160057407A1; JP2016511980A; CN105210361B; EP2957099B1; KR101871034B1; EP2957099A1; US20180205938A1

Description

本発明は、高ダイナミックレンジ、マルチスペクトル、偏光、及びライトフィールドイメージングのための非永久的で再構成可能なカメラアドオンに関する。

プレノプティック関数のイメージングのパラメータ（dimensions）は、長い間の目標である（Adelson及びBergen 1991）。センサ上への入射光の全ての特性、例えば方向、スペクトラム、時間的変動、偏光、及び他の特性を入手することは、科学的イメージング、産業のクオリティコントロール、リモートセンシング、コンピュータビジョン、及びコンピュータグラフィックスにおいて多くの応用につながる。

衛星搭載イメージャーから顕微鏡カメラに至るまで、無数の専用装置が、古典的マルチスペクトラム及び偏光イメージングのために存在する。最近では、高ダイナミックレンジイメージング及びライトフィールドキャプチャがコンピュータグラフィックスにおいて大きく注目されるようになってきた。ある画像のこれら物理的なパラメータを取得するために、光線積分が利用されなければならない。

時間的なマルチプレクシングのアプローチでは、イメージスタックが記録され、異なる露光のフィルタが光路上に配置される。このアプローチは、静止又は準静止シーンにしか適用できない。後者の場合、個別画像の記録が必要となり、それ自体が問題である。ハードウェアによるパラレルアクイジションのアプローチの場合、光学イメージは、ビームスプリッター構成によって増倍され、空間的に位置がずらされた異なるセンサユニット上に投影される。異なる光学的光路内には、異なる光学プリフィルタが挿入され得る。この構成は、動的なシーンが画像化されることを可能にする。しかしこのような構成は、特別に製作されなければならない、大きく、高価で、大掛かりな機構という代償による。さらには、異なるセンサ群をそのそれぞれについて同期し、放射計による較正をするという、別の問題となる局面も存在する。最後に、空間的マルチプレクシングアプローチにおいては、単一のセンサユニットが採用され、それぞれの画素は、異なる光学的プリフィルタに関連付けられている。この設計は、単一露光（スナップショット）による読出が可能になる。その最も知られた応用例は、カラーフィルタアレイを介したカラーイメージングである。現在のところ、これをするには、センサをカスタム設計するか、又は標準的センサを永久的に改変するかが必要となる。

従来技術
一般的なプレノプティックイメージアクイジションは、Wetzstein et al.（2011）及びZhou et al.（2011）に記載されている。スナップショットイメージングは、異なるようにフィルタを通された画像を単一露光でキャプチャする。簡単なハードウェア的にパラレルな機構は、いくつかのカメラ群を互いに近づけて配置することであり（例えばWilburn et al.（2005））、それぞれのカメラは、異なるプリフィルタ、又は変更された記録パラメータを有する。それにもかかわらず、もしライトフィールドイメージングが意図されないのであれば、方向以外のほとんどのプレノプティックパラメータ（plenoptic dimensions）がそうであるように、カメラ群の異なる視点は、補償されなければならない。オプティカルフロー（Horn及びSchunck（1981））も適用され得るが、異なる光学的プリフィルタが用いられているときには当てはめられない、明るさ一定という仮定に基づくので、実際には、限られた有用性しかない。

モノキュラースナップショットについては、異なるようにフィルタを通された画像間での視差を避けるために、シーンは、共通のメインレンズを通して観察されることになる。ハードウェア的にパラレルなソリューションは、光学スプリッティングツリーを使うことである（McGuire et al. 2007）。光路は、ビームスプリッターの光学系（system）によって異なる枝（branches）に分離される。それぞれの光路の末端において、標準的なセンサが設けられ、それらのうちのそれぞれの途中に別個の光学的フィルタが導入され得る。このモードのイメージングは、高ダイナミックレンジ（ＨＤＲ）イメージング（Tocci et al. 2011）、偏光イメージング（Pezzaniti et al. 2008）、及びマルチスペクトルイメージング（Spiering 1999; McGuire et al. 2007）のための実用システムのいくつかで採用されている。単一センサの機構は、しばしばマルチプレクシングを利用するが、これには２種類あり、ダイレクトマルチプレクシングは、光学的にプリフィルタを通した画像をセンサ上に再分配し、直接的に画像化するが、コンピュテーショナルマルチプレクシングでは、重畳されたプレノプティック量群が観察される。後者の場合、コンピュテーショナルインバージョン（computational inversion）によって、対象のプレノプティック量を回復する必要がある。しばしばこのインバージョンステップは、不良設定であり（ill-posed）、信号についての事前の情報を用いて、正規化されなければならない。

異なる原色をキャプチャすることは、コンピュータグラフィックス及びビジョンにおいては、例えば、ホワイトポイント調整を超えた再照明、又は改良されたトラッキング及びセグメンテーションの正確さ（Park et al. 2007; Cao et al. 2011）、一般的な科学イメージングにおいては、例えば、衛星ベースのリモートセンシング、顕微鏡、光学的品質コントロールのような応用例を多様化してきた。典型的には、ダイレクトマルチプレクシングのアプローチは、光路に挿入された分光要素を使用し、それと同時に光は方向が変えられ、又は異なる波長情報を記録する近傍のセンサ画素に到達しないようブロックされる。カラーフォトグラフィのためには、ベイヤーフィルタがしばしば用いられ、これはセンサの前に直接に配置される。原則として、さまざまな原色、又は他のプレノプティックパラメータ群（Narasimhan及びNayar 2005）がこのようにしてキャプチャされ得る。他の例としては、いわゆるイメージスプライサーと呼ばれるミラーアレイの使用（Bonnet et al. 2004）、又はブロッキングマスク（Du et al. 2009; Cao et al. 2011）がある。結果として得られる出力は、典型的には、空間解像度が低い。最近の傾向は、低解像度マルチスペクトル画像と関連して高解像度RGB画像をキャプチャし、当該スペクトル情報を高解像度RGB画像に転送することである（Rump及びKlein 2010; Cao et al. 2011）
高ダイナミックレンジHDRイメージングは、標準的なイメージングセンサのダイナミックレンジの制限を回避する。露光シーケンスが実際に主に使われる。スナップショットは、画素露光を変化させることで可能となる（Nayar及びMitsunaga 2000）が、このアプローチには前述の短所もある。

シーンオブジェクトから反射されたフィールドの偏光は、周囲の媒体の散乱特性とともに、材質タイプ、粗さ、表面の向き、照射の偏光状態によって影響を受ける。よって偏光は、材質びシーン特性についての重要な情報を担うので、例えばディヘイジング（Schechner et al. 2001）、又は鏡面性の除去及び編集（Neumann et al. 2008）を可能にする。マルチスペクトルイメージングについては、分散又は回折を介して比較的簡単な物理的波長分離メカニズムが可能である（複屈折の影響は比較的少ししかない）。よってフィルタホイール又はビームスプリッティングによる高速時間マルチプレクシング（Pezzaniti et al. 2008）が適用される。代替として、Schechner及びNayarの一般化されたモザイク（Schechner及びNayar 2005）も使用され得て、これは他のプレノプティックパラメータにも適用されてきた。

ライトフィールドは、それぞれのセンサ要素における入射光の角度の変化を表す。これら原理は一世紀前に発明されたものではある（Ives 1903; Lippmann 1908）が、デジタルカメラ技術の出現がこれらを実用的なものにした。メインカメラレンズの制限内でのバーチャルリフォーカシング及び視点変換（Isaksen et al. 2000; Ng 2005）だけでなく、深度評価（Wanner及びGoldluecke 2012a; Wanner及びGoldluecke 2012b）が可能な応用例である。

一眼の、つまりインカメラのライトフィールドを記録する主要な手段は、レンズレットアレイを採用することであり（Adelson及びWang 1992; Ng et al. 2005）、減衰マスク（近接して配置されるが、センサへの入射点ではない）も用いられ得る（Veeraraghavan et al. 2007; Lanman et al. 2008）が、後者の場合は、ライトスループットが劣るためにSNRが低くなってしまう。ライトフィールドを超えるカメラの開口は、Levoy et al.（2004）によって達成され、合成開口イメージング及びプロジェクションのためのミラーアレイが用いられた。本発明に最も関連するのは、カレードスコープミラーを介して平坦な物体の半球イメージングを取得したHan et al.（2003）である。双方向性テクスチャ関数を測定するためのこの構成は、Reshetouski et al.（2011）によって３次元の物体にも拡張された。

本発明の目的
したがって本発明の目的は、画像のプレノプティックパラメータのスナップショットイメージングを可能にしつつも、カスタムカメラ設計の必要を避けることである。本発明のさらなる目的は、
DLR、携帯電話又はタブレットのカメラ、産業用カメラ、シネマカメラ、又は顕微鏡のような、任意の既存のイメージング装置に可逆的に組み合わせられ得るが、通常の使用のときには容易に取り外しが可能であり、それによりユーザによってプレノプティックイメージングの広範な採用を可能にする光学要素を設計することである。

本発明の簡単な要約
この目的は、独立クレームに記載のプレノプティックイメージング装置によって達成される。有利な実施形態は、従属クレームに規定される。

本発明によれば、波長、時間、及び方向のようないくつかのプレノプティックパラメータを柔軟に取得するための、標準的なカメラハードウェアの可逆な改変が、簡単な光学設計によって達成される。それは、加えて、静止画及び動画用のカメラ（photo and video cameras）双方において高ダイナミックレンジ及び偏光イメージングのために用いられ得る。

本発明の装置は、繰り返されたミラー操作によって、光学的画像を物理的に増倍するが、これは時刻が重要な撮影に適している。結果として生じる等価な画像群のアレイは、物理的画像のプレノプティックパラメータ（plenoptic properties）を維持する。これらコピーは平面に投影されるが、この平面において、これらコピーは、光学的に予めフィルタを通され、それから１：１画像化ユニットによって標準的なカメラのセンサ上に画像化される。この光学的要素は、レンズ及び標準的なカメラの本体の間に容易かつ可逆的に挿入され得ることにより、提案される光学要素の構成に依存して、カメラを高ダイナミックレンジ、マルチスペクトル、偏光、ライトフィールドイメージングユニット、又はこれらの組み合わせに変換する。

本発明は、単眼のスナップショットプレノプティックイメージングのための、直接的空間マルチプレクシングスキームを用いる新規な光学設計を備える。それは、ミラー系内の全反射（inter-reflections）に依拠し、任意の標準的なカメラに非永久的に追加され得て、統一化された設計の下で異なるプレノプティックパラメータを画像化するよう構成され得る。他のアプローチと比較して、本発明によるライトフィールド設計は、低方向性ではあるが、高空間解像度で画像化するのに最も適している。高品質なリフォーカシング及び視点変換が可能であり、高空間解像度における前例のない大きな仮想開口が達成され得る。

既に確立されているレンズレットベースの設計に比較して、本発明のソリューションは、設計空間の直交端を探索する。レンズレットベースのライトフィールドカメラが高角解像度を提供するのに対して、その空間解像度は限られており、許容可能な画像サイズを実現するために内挿されなければならない。これに対して、本発明の設計は、少ない数の角度ビュー（angular views）で高空間解像度における画像化に最も適している。それにもかかわらず、角解像度は、説得力のあるリフォーカシング効果を可能にするために、内挿されなければならない。これらトレードオフは、２つの設計の内在的な特徴である。空間解像度を得るために角解像度を下げることは、レンズレットベースの設計では難しいが、これは、マイクロレンズのサイズが制限的な要因になるからである。加えて、カラーフィルタアレイによるカラーイメージングは、低い角解像度でアプローチするなら不可能になる。対照的に、本発明の設計による角度ビューの個数を増すことは、デバイスサイズを非現実的なものにする。本発明の設計の独特の優位性は、個々のライトフィールドビューの深度が、撮像レンズの開口によって調整され得ることにある。したがってライトフィールドエイリアシングがユーザによって制御され得る。最大達成可能視差は、いずれの場合も、メインレンズの開口サイズによって制限され、このパフォーマンスパラメータは、両方の設計について同じである。

本発明のこれら及び他の局面及び優位性は、添付の図面と併せて、本発明のさまざまな実施形態の以下の詳細な説明を鑑みればより明らかになろう。
図１は、本発明の第１実施形態によるプレノプティックイメージング装置の概略的全体を示す。異なるように色づけられた光路は、同じシーンポイントの異なるようにフィルタリングされたコピーを表す。図２は、最も外側の鏡面反射されたコピーのうちの一つの画像境界におけるある点を観察するときに、入射平面においてどのように最大の観察角度αが得られるかを示す。最大角度は、反対側へと撮像系開口を出射する光線によって形成される。図３は、本発明の第１実施形態によるプレノプティックイメージング装置の概略的全体を示す。異なるように色づけられた光路は、光学系の入射平面における異なる観察方向を表し、これはレンズレットベースのライトフィールドカメラのマイクロレンズ平面に対応する。図４は、図１及び３に示される実施形態について、メインレンズの出射瞳、及びイメージマルチプライヤーの入射瞳がどのように一致されなければならないかを示す。図５は、図４について記載されたライトフィールド瞳整合系の効果を示す（シミュレーション）。上は、瞳整合レンズがない場合であり、下は、瞳整合レンズがある場合である。メインレンズ及びイメージマルチプライヤーの瞳を合わせないと、竜のほとんどの部分がビネッティングされてしまう。図６は、撮像系の開口がどのようにライトフィールドビュー（示されているのは中央のビューだが、他のビューも同様に振る舞う）の被写界深度を決定するかを示す。上は、撮像開口が開かれ、被写界深度の効果が明らかに観察できる。下は、撮像開口が絞られ、ビューは、深度範囲の全体にわたってシャープに画像化されている。図７は、本発明の実施形態のプロトタイプ構成の写真を示す。差し込み図は、フィルタ平面アセンブリのクローズアップを示す。図８は、プロトタイプ高ダイナミックレンジ構成でキャプチャされた３つの例示的シーンのトーンマッピングされた結果を示す。図９は、本発明の実施形態によるマルチスペクトル画像化パイプラインのグラウンドトゥルースの評価を示す。図１０は、プロトタイプ実現例を用いるマルチスペクトル画像の例を示す。図１１は、カメラアドオンプロトタイプの例示的応用例を示す。図１２は、プロトタイプ実現例を用いる偏光イメージングの例を示す。図１３は、ライトフィールドイメージングへの応用例を示す。

図１は、本発明の第１実施形態によるプレノプティックイメージング装置の概略的な全体を示す。

標準的なカメラレンズ１１０の原画像は、通常はカメラセンサによって占められる位置に置かれているディフューザースクリーン１２０上に投影される。このディフューザー１２０は、例えば、ミラー機構のような、方向による光の変化を除くプレノプティック関数の物理的情報を依然として有する、原画像のいくつかの複製物を作るイメージマルチプライヤー１３０を通して観察される。撮像系１４０は、ミラー系から出射する情報をフィルタ平面１５０上に投影する。このフィルタ平面１５０上に投影された画像は、オリジナルのセンサのパラメータを有するが、原画像の空間的に分離された複製物を含む。これら複製物は、フィルタ平面内に配置された光学フィルタによって個別に変調され得て、それによって、とりわけ、スナップショットの高ダイナミックレンジでマルチスペクトルかつ偏光の画像化を可能にする。その表面に取り付けられた一致するフィルタを持つカスタムセンサをこの平面内に配置することも可能である。可逆的な拡張部を得るために、フィルタを通された結果は、１：１画像化系１６０を採用することによってオリジナルのカメラセンサ１７０上に投影される。

メインレンズ１１０は、典型的にはカメラセンサを含む平面上にシーンを画像化する。本発明によれば、ディフューザー１２０は、この位置に置かれる。そのサイズは、視野のような重要な特性がそれに直接に依存するので、メイン光学系が最適化されるものに一致する。ディフューザー１２０は、リアプロジェクションスクリーンとして働き、すなわちディフューザーを左から観察することは、この位置にあるセンサによって観察されるであろう画像を示す。直感的に、この画像は、異なる方向から見られるときに同一に見えるが、これは本実施形態のディフューザーは、その双方向透過率分布関数（BTDF）を介して全ての方向変化を除去するからであり、そうでない場合には、プレノプティック関数の全ての物理的属性は、維持される。

イメージマルチプライヤー１３０は、ディフューザーからの画像内容をプレノプティック関数の方向要素に変換するために、マルチプレクシングを使用する。ディフューザーローブは、画像コピー群（image copies）を作る、異なる視線方向群を受け入れるのに十分に広いことが重要であり、そうでなければ、ビネッティングが発生する。しかしもしローブが広すぎると、迷光が光学系に拡散して入り込む。したがってディフューザー散乱プロファイルは、光学系の最良のパフォーマンス及び光効率のためには、最大観察角度αに適応化されなければならない（図参照）。

加えて、イメージマルチプライヤーの入射瞳をメインレンズの出射瞳に適合させるために、瞳整合レンズ（pupil matching lens）が用いられ得る。本実施形態では、このレンズは、弱いディフューザーの場合に、入射面から撮像される照射を均一化するが、もしこれがなければ、強く、方向によって変化する照射は光学系の不均一な透過の形で現れる。

いったん画像がディフューザースクリーン１２０上で見られるようになると、イメージマルチプライヤー１３０は、例えば、鏡面反射によってそれをコピーする。平行壁を持つカレイドスコープは、適切なマルチプライヤーであり、画像コピーの仮想平面になる。

イメージマルチプライヤーの幅及び高さは、センササイズによって規定されるから、唯一の変数は、光軸に沿ったその長さである。この長さは、撮像系及びその焦点距離f_psによって達成されるべきi:Nの縮小によって決定される。撮像系の効果は、ディフューザーのNxN個のビュー（views）が、標準的なセンサイメージに圧縮され、フィルタ平面内の実像としてアクセス可能にされる。以下の幾何光学系において、イメージマルチプライヤー長N・z、画像コピーの個数N、及び撮像系の焦点距離f_psは、薄肉レンズの式によって近似的に与えられる。

実際には、これは、短い焦点距離f_ps及び低画像増倍係数Nは、イメージマルチプライヤーの長さが短くなることを意味する。

設計の他の局面は、撮像レンズの開口（aperture）である。ディフューザーローブと共に、これは光学系の光効率を決定する。よって、なるべく大きくなるよう選ばれなければならない。撮像系の大きい開口は、平坦な物体、すなわち入射平面の場合に画像品質の低下を招くことはない。しかし一般には、短焦点距離レンズについて大きい開口を得ることは難しい。これは、そのようなレンズは、大きくなり、強い曲率を有するので、幾何光学的モデルからの逸脱が大きくなる。イメージマルチプライヤー長を設定するときは、開口と撮像系の焦点距離との間にトレードオフが存在する。長さパラメータのさらなる効果は、入射平面の異なるコピーが見られる観察角度である。長さが長いと、観察角度はより小さくなり、したがって散乱要件がより弱くなる。

例えば、撮像系の視野は、センササイズ及び撮像系の焦点距離に依存して、見られるべきコピーがどれだけ多いかによって寸法が決められ得る。それから残りの密度がそれに従って設定され得る。

図２は、最も外側で反射されたコピー群のうちの一つの画像境界における点において観察するときの、入射平面における最大観察角度αがどのように得られるかを示す。

より具体的には、最大観察角度αは、
α = tan^-1((N/2・l_f + α_ps/2)/l_mt)であって、ここでl_fは、オリジナルセンサ（よってディフューザー）のサイズであり、Nは、画像コピー群の目標個数であり、α_psは、撮像レンズの開口であり、l_mtは、イメージマルチプライヤーの長さである。角度αは、より長いイメージマルチプライヤー、画像コピーの少ない個数、より小さいセンササイズによって低減され得て、撮像系の開口を低減することによって影響を小さなものにできる。

最良の光学的品質及び幾何学的正確さのために、マルチプライヤーは、鏡像を作るための全反射の効果を利用して、ガラスから作られ得る。この場合、その長さは、ガラスの屈折率によって大まかには乗算され、２つの空気／ガラス、ガラス／空気境界を考慮することによって導かれる。最大観察角度に対する条件は変化しないが、これは、散乱ローブは、イメージマルチプライヤーの中に屈折して入るために、最大観察角度と同じ量だけそれは狭くなるからである。

光学系は、標準的なカメラがキャプチャするであろう物理的画像のNxN個のコピーの実像を生成し、光学フィルタのアレイが異なるプレノプティックパラメータにアクセスすることを可能にする、フィルタ平面内でこれらコピーにアクセス可能であるようにする。

フィルタ平面内の画像がセンサの方向に発散して、ビネッティングを起こすことを避けるために、イメージマルチプライヤー系の出射瞳は、１：１画像化系の入射瞳に適合され得る。本実施形態においては、撮像系の開口平面と、１：１画像化系の開口平面との間にさらなる光学リレー系を共に形成する平凸レンズがフィルタ平面において挿入される。

１：１画像化系１６０は、ディフューザー平面画像のNxN個の光学的にプリフィルタされたコピー群を、入射する光子を積分するセンサ１７０上に投影する。１：１画像化は、２つの焦点距離において起こるので、光学系は、１：１画像化レンズの焦点距離について、寸法が決められる。撮像系１４０をフィルタ平面から2fの距離に配置する選択肢は、光学系の画像化平面をオリジナルのセンサ寸法とサイズが同じである維持することによって決定される。よって光学系の全体の長さは、(6 + 2N)・fであり、個別のレンズ要素は、平凸レンズのペアについて2fの焦点距離を有し、撮像レンズについて2N/(N + 1) fの焦点距離を有する。

図３は、ライトフィールドイメージングに用いられ得る本発明の第２実施形態によるイメージング装置の設計を示す。ここでフィルタ平面及びフィルタベースの設計の１：１画像化系は省略され、撮像系の出力は、センサ上に直接に画像化される。ライトフィールドイメージング効果は、メインレンズ開口のサブサンプリングに基づく（Ng et al. 2005）。

ディフューザー要素を省略することによって、入射平面におけるプレノプティック関数の方向性を保存し、それをサブイメージの中でサンプリングできる。難しいのは、メインレンズによって入射平面上に投影された画像の発散する性質である（図４（ａ）参照）。明瞭さのために、撮像系のピンホール状の開口が示され、これは、３つの方向からそれぞれ画像化される２つのシーンポイントを含む。これを見ればビネッティングが起こるのがわかる。すなわち、青いビューは、上部シーンポイントにおいて完全にブロックされ、一方で、緑のビューは、下部シーンポイントから消えている。この問題は、メインレンズの出射瞳と、撮像系の入射瞳との不一致からくる。撮像系は、メインレンズ開口の領域を、その物理的境界よりずっと外側で画像化する（図５上）。

この問題は、メインレンズの開口平面を撮像系の開口平面上で画像化する、瞳整合システムを導入することによって回避される。イメージマルチプライヤーによって導入されたミラー操作は、メインレンズ開口の安定領域上に画像化（imaged）される、反射される撮像開口を通して仮想視点を発生する。図４（ｂ）に示されるように、これは、メインレンズの出射瞳を、撮像系の入射瞳に一致させる。そうなるとビネッティングされない画像化の条件は、最大観察角度αの選択だけに依存する。メインレンズの出射瞳の最大観察角度を合わせるよう設計されなければならない。視覚例は、図５（下）に示される。

さらなる変更は、撮像系に開口を設けることである。こうすることで、個別のライトフィールドビュー（light field views ）の被写界深度は、光効率を犠牲にすれば調節され得る。この選択肢は、例えば、レンズレットベースのライトフィールドカメラ（Ng et al. 2005）のような既存の一体化されたライトフィールドカメラ設計においてはいかなるものでも利用可能ではない。この効果は制御できないが、それは、全てが同期したやり方で動かされなければならない、マイクロレンズのそれぞれに個別の開口が設けられなければならなくなるからである。

図６（下）は、光効率をあきらめ、この開口を絞ることによって獲得され得る被写界深度の改良を示す。

図７は、本発明による装置のプロトタイプの実現例を示す。実験上の制約及び適切な在庫部品の限られた入手可能性のために、実用的な実現例は、図１及び３と関連付けて説明された実施形態とはわずかに異なる。より具体的には、提案される設計の光学テーブルセットアップは、その有効性を評価するために組み立てられた。カメラは、フルフレームセンサを特徴とする、2200万画素の解像度をもつCanon EOS 5D mark IIである。光学系は、フィルタベースの設計についてシーンの3x3のコピーを生成し、ライトフィールドイメージングの場合については、当該シーンの3x3の異なるビューを生成する。この選択によって、HDRイメージングについては９個の異なる露光設定を、又はマルチスペクトルイメージングの場合については９個のフィルタがそれぞれ３個のカラーチャネルによって画像化されるので２７個の異なるスペクトル測定を、又は偏光測定については９チャネルを、又はライトフィールドイメージングの場合については3x3の異なるビューを得ることができる。

プロトタイプのディフューザーは、1mm以内の厚さ、及び偏光保存特性を有するが、これは、偏光ベースの3Dリアプロジェクションスクリーン（ScreenTech GmbH、材料タイプST-Professional-DCF）のために設計されたからである。ディフューザー散乱プロファイルは、20" 428の軸外しで50%の透過率に落ちるが、これは光学系の最大観察角度を十分に上回る（15mmの撮像系レンズ開口について12.95" 429）。よって方向性光変動の除去のための要件は満たされている。

画像化されたシーンのコピーを作るために、36 mm x 24 mm x 300 mmの大きさの四角形のカレイドスコープが採用された。これは、光学表面鏡で作られ、熟練工であるカレイドスコープメーカー（Kaleidoskope GmbH）によって作られている。個別の画素は、ディフューザー表面の約18μmまでカバーするので、ミラー群の完全に平行な構成が必要である。ミスアラインメントのせいで、カレイドスコープは、カレイドスコープの周辺視野において最も顕著に見られるイメージングの不完全さを被る。代替の実現例では、全反射を利用する四角形のプリズムが正確なイメージマルチプライヤーとして使用され得る。

理想の設計は、２つの平凸レンズと、結果としてできる実効的両凸レンズの開口内に配置されたフィルタアレイとを特徴とするが、実際には、この構成が、フィルタアレイから距離が近い単一の両凸レンズによってより容易に実現され得る。フィルタアレイを開口の外に出すことには、光学フィルタ自体にある不完全性を隠すというさらなる利点がある。すなわち、フィルタアレイを手作りすることは、不可避な傷、及び無限の幅の完全に平坦な光学フィルタからの微小な偏差につながる。もしフィルタアレイが、フィルタ平面瞳整合構成の開口の中に直接に配置されていたなら、これらの不完全性は、記録された画像で簡単に明らかになるだろうが、実際にはより目立たないようにぼかされる。

プロトタイプの１：１画像化系は、キヤノン製の100 mm、f/2.8のマクロレンズを使用することによって実現される。これにより、レンズ及びフィルタ平面の距離は、約300mmになる。加えて、撮像系及びフィルタ平面の距離は、１：１画像化を確実にしつつ、画像化系の全体の幅及び高さが、フルフレームセンサのそれ、すなわち36mm x 24mmと一致するよう維持するために、この長さに調整されなければならない。これにより全体としては、プロトタイプシステムのカメラ及びメインレンズを含めて、全体のシステムの長さが1000mmになる。

前処理のプロシージャは、センサによって記録される3 x 3のサブイメージを互いについて正しく重ね合わせることである。画像は、入射平面に位置し、同時に発生するので、以下に提示される全ての応用例について、単一の幾何学的較正で足りる。サブイメージ群は、主に２つの理由からセンサ上の位置合わせズレ（misregistration）を被る。すなわち、手作りによる、ミラー平面の不完全な配置と、プロトタイプとしての光学的セットアップに起因する幾何学的／色彩的収差とがその原因である。

これら不完全性については、２つのステップで対応がなされる。ディフューザーを同じ位置に維持しつつ、メインレンズを除去しながら、チェッカーボードパターンをもつ透明なスライドが用いられ、ディフューザーの近くに配置される。このスライドは、遠隔の点光源で照射されることで、このパターンがディフューザー上に投影される。ミラーのミスアラインメントによって生じる歪を考える。ビューの3 x 3のマトリクスの周辺部画像は、２つのレベルの反射を受ける。これら画像は、それらの対角線に沿って、目に見える不一致を呈する。よって、これら画像の半分それぞれは別個に補償される。

この最初の補償は、外側及び中央のビュー群（views）間の同形異義性を推定し、全ての画像（images）を中央ビュー（central view）にアラインすることによって実行される。

残余の位置合わせの不完全性は、チェッカーボードのような透明なスライドを用いてウェーブレットノイズパターン（Cook及びDeRose 2005）で対応される、幾何学的及び色彩的収差によって引き起こされる。この歪は、以前の強い滑らかさでオプティカルフローを介して推定される（Horn及びSchunck 1981）。

中央画像に対して外側ビュー群を位置合わせするために、全てのズレの合成物、すなわちホモグラフィベースのワーピング及び残余オプティカルフロー補償が用いられる。フィルタベースのシステムにおいて、このプロセスは、画像を一致させる。ライトフィールド画像化の場合、ビュー群は、幾何学的構成によって期待されるように一致させられる。水平方向で隣接するビューは、水平方向の視差だけを呈し、垂直方向で隣接するビューは、垂直方向の視差だけを呈し、対角方向で隣接するビューは、それらの組み合わせの視差を呈する。

光学系は、放射歪も呈し、すなわちビネッティングが幾何学的に位置合わせされた画像全体を通して観察される。この効果を測定するために、メインレンズは、光学系に再び導入され、強力なフィルタが追加され、これは遠く離れた散乱光源によって照らされる。結果として生じる画像は、光学系によって生じるビネッティング効果を除するのに用いられる。

これら前処理ステップの結果、あたかも時間的に順次撮られたような、光学的にプリフィルタされた（pre-filtered）画像のスタックI_iが得られる。

この式は、偏光パラメータを含む。プレノプティック関数l_λは、以下の定義をもつ４つのストークスパラメータs^jの４つの部分からなる。
l_λ ¹ = E_XE_X ^*+ E_YE_Y ^*,l_λ ² = E_XE_X ^*- E_YE_Y ^*,l_λ ³ = E_XE_Y ^*+ E_YE_X ^*,l_λ ⁴ = i(E_XE_Y ^*- E_YE_X ^*)
であり、ここでE_X及びE_Yは、電界Eの２つの直交平面波成分であり、*は、複素共役を表す。光学フィルタは、セット{M_i, f_i}によって表記され、これらは、標準光学フィルタf_i及びミュラー行列M_iからなる。プレノプティックパラメータについては、波長はλで、方向はωで、時間はtで表記される。[1 0 0 0]ベクトルによる増倍は、センサによって位置合わせされている放射照度測定を抽出する。クランピング演算{・}₀ ¹は、現実のセンサによって課せられる飽和限界をモデル化する。以下ではフィルタパラメータ（波長、偏光、及び方向）の全てが同時に用いられるわけではない。むしろ、記載されたアプリケーション領域のそれぞれは、一度に１つのパラメータを使用する。

図８は、高ダイナミックレンジのセットアップでキャプチャされた３つの例示的シーンのトーンマッピングされた結果を示す。

HDRイメージングのためには、フィルタアレイは、3x3の減光フィルタからなり、式２の光学フィルタは、単位ミュラー行列及び一定スペクトルフィルタf_i(λ) = c_iを用いて{l, c_i}, i = 1 . . . 9になる。{1.0, 0.5, 0.25, 0.126, 0.063, 0.032, 0.016, 0.008, 0.004}の透過率値のセットが選定され、センサダイナミックレンジのそれよりも絞り値８段分ほどのダイナミックレンジの改良が得られる。これら画像は、確認された直線的応答を有し、標準的な機構に合体され得る（Debevec及びMalik 1997）。ビデオ演算の場合は、カメラは適応応答曲線を適用する。放射応答は、最終曲線についての曲率制限（Ihrke 2012）を行いつつ、MacBethカラーチェッカーの一連の写真からの応答を推定するMitsunaga及びNayars（1999）の多項式法の変量によって推定される。

マルチスペクトルイメージングのために、光学系には、Rosco Labs (Roscolux swatchbook)によって製造されるもののような、3x3のブロードバンドスペクトルフィルタが設けられる。式２のフィルタは、{l, c_i}, i = 1 . . . 9.になる。

画像化系がカラーフィルタアレイを特徴とするのでブロードバンドスペクトルフィルタが用いられる。３つの異なるベイヤーフィルタをそれぞれ通して９つのスペクトルフィルタを画像化することは、全部では２７のブロードバンドフィルタを通された画像の測定になる。ナローバンドフィルタを用いることは、９つの異なる測定値しか発生しないことになるが、これはベイヤーフィルタがおおまかには直交するからである。アレイ中のフィルタは、シアン#4360、イエロー#4590、レッド#26、オレンジ#23、グリーン#89、ブルーグリーン#93、ラベンダー#4960、ブルー#80、マゼンタ#4760}である。これらのスペクトル応答は、分光計（Thorlabs CCS 200）を用いて測定された。

ベイヤーフィルタのスペクトル較正には、MacBethカラーチェッカーを含むシーンが、以前に得られたスペクトルs_mvで高圧水銀ランプによって照射される。マルチスペクトルイメージングの場合は、式２は、

のように簡略化され得て、ここでf^r/g/b(λ)は、Ｒ、Ｇ、及びＢのチャネルについてのカメラのスペクトル感度を表し、f_i(λ)は、Roscoluxフィルタの既知のスペクトルであり、sは、光源のスペクトルである。この場合、プレノプティック関数l_λ(χ, y, λ)は、http://mw.babelcolor.com/main level /ColorChecker.htmから得られる集積された測定値を通してそのスペクトルl_λ(χ, y, λ)が知られている、スペクトルシーン反射率だけに依存する。光源のスペクトルは、s_mvである。したがって、式３の積分の全ての要素は、ベイヤーフィルタ応答f^r/g/b(λ)は既知であり、Toyooka及びHayasaka（Toyooka及びHayasaka 1997）に類似の基底関数への展開によって推定され得る。400及び700nmの間の範囲に分散された50個の重複するガウシアンのセットが基底として選ばれる。この最適化問題は、全てのRoscoluxフィルタを通した画像を用いて、二次計画法を介して非負の制約を満たすようにする。

いったんセンサのスペクトル応答が既知になると、任意のシーンが画像化され得る。もし光源s(λ)のスペクトルが既知であるなら、ニュートラル反射スペクトル（neutral reflectance spectrum）が復元され得て、そうでなければ、積l_λ(χ, y, λ)s(λ)は入手可能である。センサのスペクトル較正と同様に、シーンスペクトルが復元されるが、センサのスペクトル感度f^r/g/b(λ)が既知である一方で、シーンスペクトルl_λ(χ, y, λ)又はその照射スペクトルとの積l_λ(χ, y, λ)s(λ)が推定される。この場合、RGBホワイトバランスと同様に、スペクトルホワイトバランスは、全てのスペクトルを既知のホワイトシーン領域のスペクトルによって除することによって実行され得る。

スペクトル較正ステップと比較して、画像スペクトルは、画素ごとに推定されなければならず、二次計画法は、コストがかかりすぎる。その代わりに、非負制約条件は無視され得て、最小二乗法問題が画素ごとに解かれて、負の値はゼロに制限される。改良された正則化のために、Toyooka及びHayasaka（1997）のようにPCA基底が用いられる。プロトタイプの画像化パイプラインのパフォーマンスは、Gretag Macbethカラーチェッカーを既知の照明の下で画像化することによって確認された。再構築されたスペクトル反射率は、集積されたデータ（babelcolor）とよく一致する（図９参照）。

図１０は、記載されたプロトタイプを用いるマルチスペクトルイメージングのアプリケーションの例を示す。図で上の行は、異なる温度の理想プランクの黒体光源によるスペクトルリライティング（spectral relighting）、自然昼光によるリライティング、及び高圧ナトリウムランプ街灯である。街灯は、見慣れた緑の損失につながる。シーンは、低い色温度では条件等色であるが、昼光照射では、プラスチック及び２つの実物の花は明らかに区別がつく。図で下の行は、カラーチェッカー及び自然のシーンについての色覚欠如の視覚のシミュレーションである。第一色弱の見え方は、赤感性錐体の応答を緑へ約10nmだけシフトし、第二色弱の見え方は、緑感性錐体の応答を赤へ約10nmだけシフトする。

図１１は、カメラアドオンプロトタイプの例示的応用例を示す。いちばん最初の列は、マルチスペクトルイメージングを示し、左は処理をしない出力であり、中央は処理後の画像のスペクトルスタックであり、右はフラットなスペクトルをもつ中性画像リライティング（neutral image relit）である。中央の列は、高ダイナミックレンジ（HDR）イメージングの例を示し、左は処理をしない出力であり、中央はコントラスト比１００：１のシミュレートされた露光スイープであり、右はHDRイメージのトーンマッピングされたバージョンである。最後の列は、ライトフィールドイメージングの例を示し、左は処理をしない出力であり、中央は前景への仮想リフォーカシングであり、右は背景へのリフォーカシングである。

図１２は、本発明のプロトタイプ実現例を用いる偏光イメージングの例を示す。最も上の行において、左のロゴがスクリーン上に示され、右のロゴは紙の上に印刷された偏光フィルタが設けられている。紙はディフューザーとして働き、LCDの偏光を壊す。左は、眼によって知覚される画像を示し、中央は、LCDの光を除去する直線偏光器のシミュレーションを示し、右はある程度の偏光を示す（白は偏光されていない状態を表す）。人形の例は、仮想偏光フィルタによる反射の除去を示す。下の行は、偏光応力解析であり、透明なアクリルガラス窓がLCDスクリーンに取り付けられ、偏光光源としてふるまう。この窓は、材料中に応力を誘起する、ロゴの輪郭の形に開けられた孔を含む。画像は、システム出力からの異なるシミュレーションを示し、応力パターンが色縁のかたちで見えるようにする。上の左の画像は、ヒトの肉眼によって知覚されるようにLCDスクリーン上に表示されたロゴを示す。

ここで、カメラは、光の偏光状態に反応するようにされ、画素ごとの偏光状態分析器としてはたらく。この目的のために、少なくとも３つの独立した測定が行わなければならず、円偏光成分も含む完全な偏光状態が取り出されなければならないなら、４つの測定が行わなければならない（Goldstein 2003）。

プロトタイプのスコープは、直線偏光イメージングに制限されたが、それはいくつかの特別な場合、例えば、円偏光二色性及び円偏光発光を除いて、高いレベルの円偏光は、自然の中ではめったにない（Hegedus et al. 2006）。

この目的のために、異なるようにほぼ{0°, 36°, 72°, 108°, 144°}に方向付けされた伝達軸をもつ５つの直線偏光シート（linear sheet polarizers）が光学系のフィルタアレイの中に配置された。式２から、フィルタは、{M_i, l},i = 1...5であり、ここで、1は、光学フィルタf_i = 1を表す。アレイの４つの周辺部はカラであり、対応するサブ画像は無視された。この設定は、依然として必要とされるよりも素子当たりでより多くの測定値を提供する。２次反射によって作られるそれらの画像が避けられるが、これらは光学収差及び複素偏光変調の影響をより受けやすいからである。

直線偏光だけが測定されるときは、最初の３つのストークス成分s^j, j = 0...2が取り出され得て、第４の円成分s³がもしあれば、光の非偏光成分s⁰の一部として考慮される。同様に、3x3ミュラー行列が採用されるが、これは直線偏光分析ではふつうのプロシージャである（Neumann et al. 2008）。ストークスベクトルを決定するために、3x5の行列Wが構成され、これらの連続する行は、それぞれミュラー行列M_i,i = 0...4の上の行と同一である。

それぞれの画素について、５つの偏光フィルタを通して測定された強度は、ベクトルpに格納され、ストークスベクトルs = (s⁰, s¹, s²)が最小二乗法回帰によって得られる。

いくつかさらなる注意が必要であり、それはフィルタアレイは光学系の中に配置され、その反射及び散乱は、光の偏光状態に影響を与えるからである。偏光フィルタのそれを含む光学系全体への影響は、実効ミュラー行列（effective Mueller matrix）M_sys(χ, y)によって特徴付けられ得て、これは空間依存である。最も顕著な効果は、イメージマルチプライヤーのミラーによって生じる。この画素についてのミュラー行列は、均質な（すなわち空間的に非依存な）偏光状態をもつ６シーンのストークスベクトルを得るためにグラウンドトゥルース偏光計（ground truth polarimeter）を用いる較正プロシージャによって、これらの値を光学系によって観察される値と関連付けることによって決定される。それから直線関係s_sys ⁽ⁱ⁾(χ, y) = M_sys(χ, y)s_gt ⁱ, i = 1..6がM_sysについての最小二乗法で解かれる。ここで、s_sys ⁽ⁱ⁾は、光学系によって測定されたストークスパラメータであり、一方、s(i)gtは、グラウンドトゥルース偏光計によって測定されたストークスパラメータである。実際には、３０の異なる偏光器／分析器のペア画像が用いられることによって、偏光較正が行われた。

光学系の焦点面外での妥当な距離における説得力のあるリフォーカシング及び視点変化を実行するためには、3x3ライトフィールドの低角解像度は、角アップサンプリング手法（angular up-sampling scheme）を必要とする。実際には、光学系での観察される視差は、１００画素を超える。しかし光学系によって戻される画像の空間解像度は、それぞれのサブビューについて約1800x1200画素の解像度と大きい。角内挿問題（angular interpolation problem）は、まず深度推定（depth estimate）を実行し、視差ベースのモーフィング操作を行うことによって対応され得る。このモーフィングは、ビュー外挿（view extrapolation）も可能にし、これはメインレンズの限界を越えて開口合成を可能にする。

オプティカルフロー技術及びHorn-Schunckの適応化（Horn及びSchunck 1981）が、深度を推定するのに適用される。

改変は、異なるビューのフロー変数間での結合を導入することにある。オプティカルフローが、いわゆる開口問題、すなわち２つの変数がそれぞれの画像位置において求められるが、単一の制約条件しか利用可能ではないことの悪影響を受けることはよく知られている。ライトフィールドイメージングの場合、フローは、ビュー群間のエピポーララインの方向に制限されることが知られている。

さらにこれらエピポーララインの構造は、仮想ビュー群間の固定された間隔のために非常に規則正しい。したがってオプティカルフローベクトルは、深度推定d(χ, y)によって置換されるが、この深度推定は、全ての周囲のライトフィールドビューにおけるフロー推定を、深度誘引された視差d(χ, y)・[u_i, v_i]を介して結合し、ここでベクトル[u_i, v_i]は、それぞれのビューI_iについて一定であり、エピポーララインの傾きを記述する。プロトタイプ構成の制約条件のために、それぞれのサブビューにおいてエピポーララインは平行であると安全に推定できる。

この深度推定は、オプティカルフローの明るさが一定の前提に基づいており、したがって、実物シーンの深度を推定しない。しかし、それは見かけの深度の推定を計算する。深度そのものには興味はなく、特性を内挿するそのビューに興味があるので、このアプローチは、角ライトフィールドアップサンプリングには妥当である。

ビュー内挿及び外挿（view interpolation and extrapolation）のために、それぞれのサブビューについて深度マップが推定され、これによりサブビューI_iを視差変位d・[u_i, v_i]^Tに従ってモーフィングすることによって新しいビューを生成することができる。高品質な内挿の主な障壁は、閉塞境界の適切な扱い、同じ目的画素にマッピングする入力ビューの複数の画素の扱い、及び前方ワーピングによる内挿穴（interpolation holes）の回避である。提案されるモーフィングは、前方及び後方ワーピングステップを行い、その後にブレンディングプロシージャを用いる。

９つのサブビューのそれぞれは、他のサブビューでは得られないが、当該内挿されるビューにとっては貴重な、唯一の情報を含み得る。しかし全てのビューをワーピングすることは、深度推定が近似に過ぎないために、ボケにつながり得る。メインレンズ開口上の内挿される位置に隣接する４つのビューを用いることは、良い妥協点である。同様のスキームが外挿のために使用され得る。すなわち、２つのビュー（u又はvにおける外挿のため）又は最も近い一つのビュー（u及びvにおける外挿のため）を用いる。

図１３は、ライトフィールドイメージングのアプリケーション例を示す。最上段の行は、シーンを記録するのに使用された実物のCanon EF 50mm f/ 1.4 USMレンズを整合させる仮想開口による強いリフォーカシングを示す。全焦点ビューは、内挿されたライトフィールドビューの例である。第２及び第３行は、鏡面反射性（specular）、鏡面（mirroring）、及び屈折性の物体を含む難しい設定におけるリフォーカシングを示す。第２行は、実際の開口の物理的限界内でのリフォーカシングを示し、第３行は、それぞれの辺についてフルサイズ分だけ開口を仮想的に拡張する外挿を使用し、仮想的にｆ／０．７を実現している。このモードは、標準レンズ及び広い視野に対してマクロ撮影効果を可能にする。焦点の合った領域の品質を比べるとき、拡張された開口の場合について、シャープネスの多大な損失は観察されないので、本発明による深度推定及びビューモーフィングプロシージャの適切さが証明された。第４行は、３つのライトフィールドシーンの適応可能なベースラインをもつアナグリフのかたちの仮想ステレオ画像を示す。第５行は、深度ベースのスタイライゼーション例を示し、左から右へ、ペインタリー／リアルなスタイル、光沢＋コントラスト＋色合い／リアル、及びシャープニング／ボケである。

この図は、本発明による外挿ソリューションが、仮想的にメインレンズの開口を拡張することによって、視差の増加、及び極めて小さい被写界深度の効果を発生できることを示している。

システム全体のサイズは、光学系設計のセンサ及び第１画像化要素の距離によって決定される。SLRタイプのカメラでは、この距離は、これらカメラの可動ミラーによって拘束され、フルフレームセンサの場合は50mm程度であると想定され得る。フィルタベースの設計では、この要件は、１：１画像化系の焦点距離fを決定し、それにより、もしNxNのコピーが画像化されるべきであるなら、光学系の全体長は(6+2Ν)・fに決定する。

したがって焦点距離fは、約25mmに固定される。N=3（９つのサブ画像）だと、約300mmの長さが必要である。１：１画像化レンズ及び撮像レンズの直径は、最大撮像開口を決定するが、よってクリチカルではない。しかしフィルタ平面内、及び入射平面内の瞳整合レンズは、フルセンササイズをカバーしなければならない。幸いにも、これらレンズは、フルフレームセンサ及びセンサ及び光学系の50mmの距離について先の考慮を行うと、それぞれ約50mmの焦点距離を有する。したがって全ての必要とされるレンズは、妥当な光学的パフォーマンスをもつ在庫部品として入手可能である。

ライトフィールドを設計のためには、１：１画像化及びフィルタ平面光学系が省略され得る。光学系の最小距離は、この場合、撮像レンズが想定できる最も近い位置によって決定される。

これらを考慮すれば、式１のzは50mmに等しくなり、3x3のコピーのための光学系全体の長さは、4・z = 200mmになる。

全体的に、本システムは、少ない個数のコピーを画像化するのに適しているが、それは個数が増えるとそのサイズも直線的に大きくなるからである。システムのサイズは、採用されるカメラのセンササイズにも直線的に比例する。よって小さいユニットは、より小さいセンサのために設計され得る。

SLRカメラ中のミラーは除去することもできるが、それは光学ビューファインダーは、コンピュテーショナルカメラには厳密に必要なものではないからであり、よってさらに設計を小さくすることができる。

参考文献
ADELSON, E. H., AND BERGEN, J. R. 1991.
The Plenoptic Function and the Elements of Early Vision. In Computational Models of Visual Processing, MIT Press, 3-20.

ADELSON, E., AND WANG, J. 1992.
Single Lens Stereo with a Plenoptic Camera. IEEE Trans. PAMI 14, 2, 99-106.

BAYER, B. E., 1976.
Color Imaging Array. US Patent 3,971,065.

BONNET, H., ABUTER, R., BAKER, A., ET AL. 2004.
First Light of SINFONI at the VLT. ESO Messenger 117, 17, 17-24.

CAO, X., TONG, X., DAI, Q., AND LIN, S. 2011.
High-Resolution Multi-Spectral Video Capture with a Hybrid Camera System. In Proc. CVPR, 297 - 304.

COOK, R. L., AND DEROSE, T. 2005.
Wavelet Noise. ACM TOG 24, 3, 735-744.

DEBEVEC, P. E., AND MALIK, J. 1997.
Recovering High Dynamic Range Radiance Maps from Photographs. In Proc. SIGGRAPH, 369-378.

DESCOUR, M., AND DERENIAK, E. 1995.
Computed-tomography Imaging Spectrometer: Experimental Calibration and Reconstruction Results. Appl. Optics 34, 22, 4817-4826.

DU, H., TONG, X., CAO, X., AND LIN, S. 2009.
A Prism-Based System for Multispectral Video Acquisition. In Proc. ICCV, 175-182.

GEHM, M. E., JOHN, R., BRADY, D. J., WILLETT, R. M., AND SCHULZ, T. J. 2007.
Single-Shot Compressive Spectral Imaging with a Dual-Disperser Architecture. Optics Exp. 15, 21, 14013-14027.

GOLDSTEIN, D. H. 2003.
Polarized Light, 2nd edition. CRC Press, New York, US.

GORTLER, S., GRZESZCZUK, R., SZELINSKI, R., AND COHEN, M. 1996.
The Lumigraph. In Proc. SIGGRAPH, 43-54.

HABEL, R., KUDENOV, M., AND WIMMER, M. 2012.
Practical Spectral Photography. CGF 31, 2 (May), 449-458.

HAN, J. Y., AND PERLIN, K. 2003.
Measuring Bidirectional Texture Reflectance with a Kaleidoscope.
In Proc. SIGGRAPH, 741-748.

HEGEDUS, R., SZEL, G., AND HORVATH, G. 2006.
Imaging polarimetry of the circularly polarizing cuticle of scarab beetles
(Coleoptera: Rutelidae, Cetoniidae). Vision Research 46, 2786-2797.

HORN, B. K. P., AND SCHUNCK, B. G. 1981.
Determining Optical Flow. Artif. Intell. 17, (1-3), 185-203.

HORSTMEYER, R., EULISS, G., ATHALE, R., AND LEVOY, M. 2009.
Flexible Multimodal Camera Using a Light Field Architecture. In Proc. ICCP, 1-8.

IHRKE, I., WETZSTEIN, G., AND HEIDRICH, W. 2010.
A Theory of Plenoptic Multiplexing. In Proc. CVPR, 1-8.

IHRKE, I., 2012.
Color Calibration Toolbox for MATLAB v2.0. http://giana.mmci.uni-saarland.de/software.html.

ISAKSEN, A., MCMILLAN, L., AND GORTLER, S. J. 2000.
Dynamically Reparameterized Light Fields. In Proc. SIGGRAPH, 297-306.

IVES, H., 1903.
Parallax Stereogram and Process of Making Same. US patent 725,567.

KUDENOV, M., AND DERENIAK, E. 2011.
Compact Snapshot Real-Time Imaging Spectrometer.
In SPIE Conf. on Elec.-Opt. Rem. Sens., Phot. Tech., and Appl. V, 81860W-1-81860W-12.

LANMAN, D., RASKAR, R., AGRAWAL, A., AND TAUBIN, G. 2008.
Shield Fields: Modeling and Capturing 3D Occluders. ACM TOG 27, 5, 131.

LEVOY, M., AND HANRAHAN, P. 1996.
Light Field Rendering. In Proc. SIGGRAPH, 31-42.

LEVOY, M., CHEN, B., VAISH, V., HOROWITZ, M., MCDOWALL, I., AND BOLAS, M. 2004.
Synthetic Aperture Confocal Imaging. ACM TOG 23, 3, 825-834.

LIPPMANN, G. 1908.
La Photographie Inte´grale. Academie des Sciences 146, 446-451.

LUMSDAINE, A., AND GEORGIEV, T. 2009.
The Focused Plenoptic Camera. In Proc. ICCP, 1-8.

MANN, S., AND PICARD, R. W. 1995.
Being ’Undigital’ with Digital Cameras: Extending Dynamic Range by Combining Differently Exposed Pictures. In Proc. IS&T, 442-448.

MCGUIRE, M., MATUSIK, W., PFISTER, H., CHEN, B., HUGHES, J. F., AND NAYAR, S. K. 2007.
Optical Splitting Trees for High-Precision Monocular Imaging. IEEE CG&A 27, 2, 32-42.

MITSUNAGA, T., AND NAYAR, S. K. 1999.
Radiometric Self Calibration. In Proc. CVPR, 374-380.

NARASIMHAN, S., AND NAYAR, S. 2005.
Enhancing Resolution along Multiple Imaging Dimensions using Assorted Pixels.
IEEE Trans. PAMI 27, 4, 518-530.

NAYAR, S., AND MITSUNAGA, T. 2000.
High Dynamic Range Imaging: Spatially Varying Pixel Exposures. In Proc. CVPR, vol. 1, 472-479.

NEUMANN, L., HEGEDUS, R., HORVATH, G., AND GARCIA, R. 2008.
Applications of High Precision Imaging Polarimetry. In Proc. Computational Aesthetics in Graphics, Visualization and Imaging, 89-97.

NG, R., LEVOY, M., BRE´DIF, M., DUVAL, G., HOROWITZ, M., AND HANRAHAN, P. 2005.
Light Field Photography with a Hand-Held Plenoptic Camera. Tech. Rep. Computer Science CSTR 2005-02, Stanford University.

NG, R. 2005.
Fourier Slice Photography. ACM TOG 24, 3, 735-744.

OKAMOTO, T., AND YAMAGUCHI, I. 1991.
Simultaneous Acquisition of Spectral Image Information. Optics Lett. 16, 16, 1277-1279.

PARK, J.-I., LEE, M.-H., GROSSBERG, M. D., AND NAYAR, S. K. 2007.
Multispectral Imaging Using Multiplexed Illumination. In Proc. ICCV, 1-8

PEZZANITI, J. L., CHENAULT, D., ROCHE, M., REINHARDT, J., PEZZANITI, J. P., AND SCHULTZ, H. 2008.
Four Camera Complete Stokes Imaging Polarimeter. In Proc. SPIE 6972, Polarization: Measurement, Analysis, and Remote Sensing VIII, 69720J-1-69720J-12.

REINHARD, E., WARD, G., DEBEVEC, P., PATTANAIK, S., HEIDRICH, W., AND MYSZ-KOWSKI, K. 2010.
High Dynamic Range Imaging: Acquisition, Display and Image-Based Lighting. Morgan Kaufmann Publishers.

RESHETOUSKI, I., MANAKOV, A., SEIDEL, H.-P., AND IHRKE, I. 2011.
Three-Dimensional Kaleidoscopic Imaging. In Proc. CVPR, 353-360.

RUMP, M., AND KLEIN, R. 2010.
Spectralization: Reconstructing spectra from sparse data. In Proc. EGSR, 1347-1354.

SCHECHNER, Y., AND NAYAR, S. 2005.
Generalized Mosaicing: Polarization Panorama. IEEE Trans. PAMI 27, 4, 631-636.

SCHECHNER, Y., NARASIMHAN, S. G., AND NAYAR, S. K. 2001.
Instant Dehazing of Images using Polarization. In Proc. CVPR, 325-332.

SPIERING, B. A., 1999.
Multispectral Imaging System. US Patent 5,900,942.

TOCCI, M. D., KISER, C., TOCCI, N., AND SEN, P. 2011.
A Versatile HDR Video Production System. ACM TOG 30, 4.

TOYOOKA, S., AND HAYASAKA, N. 1997.
Two-Dimensional Spectral Analysis using Broad-Band Filters. Optical Communications 137 (Apr), 22-26.

VEERARAGHAVAN, A., RASKAR, R., AGRAWAL, A., MOHAN, A., AND TUMBLIN, J. 2007.
Dappled Photography: Mask Enhanced Cameras For Heterodyned Light Fields and Coded Aperture Refocussing. ACM TOG 26, 3, 69.

WANNER, S., AND GOLDLUECKE, B. 2012.
Globally Consistent Depth Labeling of 4D Lightfields. In Proc. CVPR, 41 - 48.

WANNER, S., AND GOLDLUECKE, B. 2012.
Spatial and Angular Variational Super-Resolution of 4D Light Fields. In Proc. ECCV, 608 - 621.

WETZSTEIN, G., IHRKE, I., LANMAN, D., AND HEIDRICH, W. 2011.
Computational Plenoptic Imaging. CGF 30, 8, 2397-2426.

WILBURN, B., JOSHI, N., VAISH, V., ET AL. 2005.
High Performance Imaging using Large Camera Arrays. ACM TOG 24, 3, 765-776.

ZHOU, C., AND NAYAR, S. 2011.
Computational Cameras: Convergence of Optics and Processing. IEEE Trans. IP 20, 12 (Dec), 3322-3340.

Claims

カメラのレンズ及びボディの間に挿入可能な画像化装置であって、前記カメラは画像化センサを含み、前記画像化装置は、
物体又はシーンの複数の光学画像を得るカレイドスコープ又は反射材料でコーティングされたプリズムと、
前記複数の画像の少なくともいくつかを画像化センサに、前記センサの同じ露光の間に画像化する撮像系と、
を備える画像化装置であって、
前記撮像系は、前記光学画像の被写界深度を制御する調整可能な開口を有する
ことを特徴とする画像化装置。
外部光学装置の特性に調整する瞳整合系をさらに備える請求項１に記載の画像化装置。
請求項１に記載の画像化装置を備える静止画及び／又は動画カメラ。
請求項１に記載の画像化装置を備えるカメラアドオン。
請求項１に記載の画像化装置、及び対物レンズを備えるシステム。
デジタル画像又はビデオを受け取ることであって、前記デジタル画像又はビデオは、請求項１に記載の画像化装置を用いて得られた少なくともいくつかの画像又は画像シーケンスを備える、受け取ること、
前記少なくともいくつかの画像又は画像シーケンスに基づいて、デジタル画像又はビデオを再構築すること、及び
前記デジタル画像又はビデオを出力すること
のステップを含むコンピュータによって実行される方法。
カメラのレンズ及びボディの間に挿入可能な画像化装置であって、前記カメラは画像化センサを含み、前記画像化装置は、
物体又はシーンの複数の光学画像を得るカレイドスコープ又は反射材料でコーティングされたプリズムと、
前記複数の画像の少なくともいくつかを画像化センサに、前記センサの同じ露光の間に画像化する撮像系と、
を備える画像化装置の、
ライトフィールド画像化のための使用。