JP7075892B2 - ピクセルビームを表すデータを生成する装置および方法 - Google Patents

Description

本発明は、ライトフィールドを表すデータの生成に関する。

４Ｄライトフィールドのサンプリング（すなわち、光線の記録）と見なすことができる四次元また４Ｄライトフィールドデータの取得は、多忙な研究の主題である、ＥＣＣＶ２００８の学会論文誌で公開されたAnat Levinらによる“Understanding camera trade-offs through a Bayesian analysis of light field projections”という論文で説明されている。

カメラから得られる古典的な二次元または２Ｄ画像と比べると、４Ｄライトフィールドデータは、画像のレンダリングおよびユーザとの対話性を強化するさらなる後処理特徴へのアクセスをユーザが有することができるようにする。例えば、４Ｄライトフィールドデータを用いると、焦点面の位置を事後指定／選択することができる焦点絞り手段の自由選択距離での画像の再焦点合わせおよび画像のシーンの視点のわずかな変更の実行が可能である。４Ｄライトフィールドデータを取得するため、いくつかの技法を使用することができる。例えば、プレノプティックカメラは、４Ｄライトフィールドデータを取得することができる。プレノプティックカメラは、メインレンズと、二次元アレイ状に配列された複数のマイクロレンズを備えるマイクロレンズアレイと、画像センサとを備える。４Ｄライトフィールドデータを取得する別の方法は、レンズアレイおよび画像センサを備えるカメラアレイを使用することである。

プレノプティックカメラの例では、メインレンズは、メインレンズの物体フィールドの物体から光を受信し、メインレンズの画像フィールドに光を通過させる。

最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面で同じシーンの一連の２Ｄ画像を捕捉するように構成された従来のカメラを使用することである。例えば、２０１４年１０月にOPTICS EXPRESS, Vol. 22, No. 21において公開されたJ.-H. Parkらによる“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”という文書で説明される技法を使用して、従来のカメラによる４Ｄライトフィールドデータの取得を達成することができる。

４Ｄライトフィールドデータを表すいくつかの方法がある。実際に、２００６年７月に公開されたRen Ngによる“Digital Light Field Photography”と称する修士論文の第３．３章では、４Ｄライトフィールドデータを表す３つの異なる方法が説明されている。第１に、４Ｄライトフィールドデータは、プレノプティックカメラによってマイクロレンズ画像の集合体で記録されたときに、表すことができる。この表現における４Ｄライトフィールドデータは、原画像または４Ｄライトフィールド原データと名付けられている。第２に、４Ｄライトフィールドデータは、プレノプティックカメラまたはカメラアレイによって１組のサブアパチャ画像で記録された際に表すことができる。サブアパチャ画像は、視点からのシーンの捕捉画像に相当し、視点は、２つのサブアパチャ画像間でわずかに異なる。これらのサブアパチャ画像は、結像されるシーンの視差および深度についての情報を与える。第３に、４Ｄライトフィールドデータは、１組のエピポーラ画像によって表すことができる。それに関しては、例えば、ＩＳＶＣ２０１１の学会論文誌で公開されたS. Wannerらによる“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”を参照されたい。

ライトフィールド取得デバイスは極めて異種のものである。ライトフィールドカメラは、例えば、プレノプティックまたはカメラアレイなど、異なるタイプのものである。各タイプ内には、異なる光学配列または異なる焦点距離のマイクロレンズなど、多くの違いがある。各カメラは、それ自体の独自のファイルフォーマットを有する。現在のところ、ライトフィールドが依存する異なるパラメータの包括的な概要に対する多次元情報の取得および伝送の標準的なサポートは存在しない。従って、異なるカメラに対して取得されたライトフィールドデータは、多様なフォーマットを有する。

本発明は、前述を念頭に置いて考案された。

本発明の第１の態様によれば、光学系の瞳孔を通過する１組の光線により占められるボリュームを表すデータを生成するコンピュータ実装方法であって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められ、前記方法が、
第１の光学系の物体空間において前記ピクセルビームを表すデータを取得することであって、前記ピクセルビームが、前記第１の光学系の瞳孔と、第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役(conjugate)とを通過する１組の光線により占められている、取得することと、
第２の光学系を介して前記ピクセルビームの画像共役を演算することによって前記ピクセルビームを表すデータを生成することと
を含む、方法が提供される。そのような方法は、依存しない（すなわち、光学系を埋め込むカメラから独立した）第１の光学系を説明するピクセルビームの集合体を表すデータの提供を可能にするが、その理由は、これらのデータは、第２の光学系を介してピクセルビームの集合体を結像することによって得られるためである。ピクセルビームの集合体を表すそのようなデータは、パラメータ化された出力画像の生成を可能にし、パラメータ化された出力画像から、フォーカルスタックの作成、再焦点合わせ、視点の変更、異なる取得システムから取得されたライトフィールドコンテンツの混合などの後処理を実行することができる。

第２の光学系を介して第１の光学系を説明するピクセルビームの集合体の画像を演算する目標のうちの１つは、光学系のフォーカルボリュームに相当する双対およびコンパクト空間において、様々なカメラに埋め込まれたいくつかの光学系の物体空間の表現を提供することである。そのようなフォーカルボリュームは、例えば再焦点合わせ動作の間に、画像面に容易に投影することができる。

第２の光学系を介して第１の光学系を説明するピクセルビームの集合体を結像する利点は、結像されたピクセルビームが単一のフォーカルボリュームに位置すること、および同じ光学系を使用して様々なタイプの光学取得デバイスを表すピクセルビームの集合体を同じフォーカルボリュームに位置付けられることであり、それにより、ピクセルビームの異なる集合体を表すデータの処理が容易になる。

本発明の別の実施形態によれば、方法は、
第１の光学系の物体空間における前記ピクセルビームと瞳孔の中心から距離ｚの所に位置する平面との交差面を演算することと、
ピクセルビームを表すデータを提供するために、前記第２の光学系を介して前記交差面の画像共役を演算することと
をさらに含む。

そのような方法は、合成アパチャ再焦点合わせの実行を可能にする。合成アパチャ結像は、再焦点合わせの目的で別のカメラをシミュレーションするために、カメラに埋め込まれた光学系によって取得された画像を再構成するものである。従って、第１のカメラによって取得されたライトフィールドデータを表すピクセルビームは、所定の平面に属する物体に焦点を合わせるように再構成される。平面は、基準座標系におけるそのアフィン方程式によって定義される。

本発明の別の実施形態によれば、第１の光学系は実際のカメラであり、第２の光学系はバーチャルカメラである。

本発明のそのような実施形態では、第２の光学系の画像空間におけるピクセルビームの共役を演算するために、第１の光学系の入射瞳孔のプロパティおよび第２の光学系の射出瞳孔のプロパティの知識が必要である。

第２の光学系を介してピクセルビームの画像はバーチャルセンサに位置するため、第２の光学系（すなわち、バーチャルカメラ）がその焦点面に正確に結像する限り、その射出瞳孔のプロパティの正確な知識は必要ない。

本発明の別の実施形態によれば、方法第１の光学系はバーチャルカメラであり、第２の光学系は実際のカメラである。

本発明のそのような実施形態では、第２の光学系の画像空間におけるピクセルビームの共役を演算するために、第１の光学系の入射瞳孔のプロパティおよび第２の光学系（すなわち、実際のカメラ）の射出瞳孔のプロパティの知識が必要である。

ピクセルビームは第１の取得システムと関連付けられたバーチャルセニョールのピクセルの物体共役であるため、第１の光学系（すなわち、バーチャルカメラ）がその焦点面に正確に結像する限り、その射出瞳孔のプロパティの正確な知識は必要ない。

本発明の別の目的は、本発明の異なる実施形態による方法に従って得られたものを使用してライトフィールドデータから画像をレンダリングするデバイスに関与する。

本発明の別の目的は、光学系の瞳孔を通過する１組の光線により占められるボリュームを表すデータを生成するデバイスであって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められ、前記デバイスが、
第１の光学系の物体空間において前記ピクセルビームを表すデータを取得することであって、前記ピクセルビームが、前記第１の光学系の瞳孔と、第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線により占められている、取得することと、
第２の光学系を介して前記ピクセルビームの画像共役を演算することによって前記ピクセルビームを表すデータを生成することと
を行うように構成されたライトフィールドデータ生成モジュールを備える、デバイスに関与する。

本発明の別の目的は、
規則的な格子構造で配列されたマイクロレンズのアレイと、
光センサであって、マイクロレンズのアレイから光センサに投影された光を捕捉するように構成され、ピクセルのセットを含み、ピクセルの各セットが、マイクロレンズのアレイのそれぞれのマイクロレンズと光学的に関連付けられている、光センサと、
請求項８によるメタデータを生成するデバイスと
を備えるライトフィールド結像デバイスに関与する。

本発明の別の目的は、前記第１の光学系の瞳孔と、第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの共役とを通過する１組の光線により占められる第１の光学系の物体空間におけるボリュームを表すデータのデータパッケージであって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められており、ピクセルビームを表す前記データが、第２の光学系を介して前記ピクセルビームの画像共役である、データパッケージに関与する。

本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装することができる。それに従って、そのような要素は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本明細書ではすべてを「回路」、「モジュール」または「システム」と一般的に呼ぶことができるソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができる。その上、そのような要素は、コンピュータ使用可能プログラムコードがその媒体で具体化される任意の有形表現媒体で具体化されるコンピュータプログラム製品の形態を取ることができる。

本発明の要素はソフトウェアにおいて実装できるため、本発明は、任意の適切なキャリア媒体上のプログラム可能装置に提供するためのコンピュータ可読コードとして具体化することができる。有形キャリア媒体は、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープデバイスまたはソリッドステートメモリデバイスおよび同様のものなどの記憶媒体を含み得る。一時的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号（例えば、マイクロ波またはＲＦ信号）などの信号を含み得る。

ここでは、単なる例示として、以下の図面を参照して、本発明の実施形態を説明する。

カメラの光学系１１の瞳孔を通過する１組の光線により占められるボリュームを示す。 本発明の実施形態による、ピクセルビームを表す一葉双曲面(a hyperboloid of one sheet)を示す。 一葉双曲面およびその漸近錐を示す。 本発明の実施形態による、部分的にオーバーラップする２つの同軸の錐体によって表されるピクセルビームを示す。 本発明の実施形態による、ピクセルビームを表すデータを生成する装置の例を示す概略ブロック図である。 本開示の実施形態による、光学取得システムによって捕捉された画像を符号化するプロセスを説明するフローチャートである。 本発明の実施形態による、第２の光学系を介して結像されるピクセルビームを表す。

当業者によって理解されるように、本原理の態様は、システム、方法またはコンピュータ可読媒体として具体化することができる。それに従って、本原理の態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本明細書ではすべてを「回路」、「モジュール」または「システム」と一般的に呼ぶことができるソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができる。その上、本原理の態様は、コンピュータ可読記憶媒体の形態を取ることができる。１つまたは複数のコンピュータ可読記憶媒体のいかなる組合せも利用することができる。

いかなる光学取得システムの場合も、プレノプティックであるか否かにかかわらず、光学取得システムによって捕捉された４Ｄライトフィールドデータを表す原画像またはエピポーラ画像に加えて、前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間のピクセルとの間の対応に関連する情報を得ることが興味深い。光学取得システムの物体空間のどの部分を前記光学取得システムのセンサに属するピクセルが検知しているかを知ることにより、逆多重化、デモザイキング、再焦点合わせなどの信号処理動作、および異なる特性を有する異なる光学系によって捕捉された画像の混合を改善することができる。その上、光学取得システムのセンサのピクセルと前記光学取得システムの物体空間のピクセルとの間の対応に関連する情報は、光学取得システムから独立している。

本開示は、カメラ（図１に図示せず）の光学系１１の瞳孔と、瞳孔の表面の法線方向における光学系の物体空間におけるカメラのセンサのピクセルの共役とを通過する１組の光線により占められるボリュームを表すピクセルビーム１０（図１に図示する）の概念を紹介する。

１組の光線は、前記光学系１１の瞳孔１４を通じてカメラのセンサ１３のピクセル１２によって検知される。光学系１１は、写真またはビデオカメラに適合するレンズの組合せであり得る。光学系の瞳孔は、前記アパチャ絞りの前に来る前記光学系（すなわち、光学取得システムのレンズ）を通じて見られるようなアパチャ絞りの画像として定義される。アパチャ絞りは、光学取得システムの光学系を通過する光の量を制限する開口部である。例えば、カメラレンズ内に位置する調整可能なブレードダイヤフラムは、レンズ用のアパチャ絞りである。ダイヤフラムを通過することが認められる光の量は、ダイヤフラム開口部の直径によって制御され、ダイヤフラム開口部の直径は、カメラのユーザが認めたいと願う光の量に応じて適応させることができる。例えば、アパチャを小さくすることにより、ダイヤフラムを通過することが認められる光の量が低減すると同時に、焦点深度が増加する。レンズの部分の屈折性作用により、絞りの見掛けサイズは、その物理的なサイズより大きくも小さくもあり得る。正式には、瞳孔は、物理的な絞りと観察空間との間に位置する光学取得システムのすべてのレンズを通じたアパチャ絞りの画像である。

ピクセルビーム１０は、入射瞳孔１４を介して光学系１１を通じて伝播する際に所定のピクセル１２に到達する光線束として定義される。光は自由空間では直線上を移動するため、そのようなピクセルビーム１０の形状は、２つのセクションによって定義することができ、一方は、ピクセル１２の共役１５であり、他方は、入射瞳孔１４である。ピクセル１２は、非ヌル表面およびその感度マップによって定義される。

本発明の第１の実施形態では、図２に示されるように、ピクセルビーム３０は、一葉双曲面によって表すことができ、２つの要素、すなわち、瞳孔２４および物体空間におけるピクセル１２の共役２５によってサポートされる。

一葉双曲面は、光線束の観念をサポートし、かつ物理的な光ビームの「エテンデュ」の概念、物理的な光ビームの断面を横切るエネルギーの保存に結び付けられる概念と両立する線識面(a ruled surface)である。

図３に表されるように、一葉双曲面３０は、ウエスト３５（物体空間における共役１５に相当する）と呼ばれるその最も小さなセクションの基本領域を除いて、その漸近錐３１、３２と大体同一である。ライトフィールドカメラなどのプレノプティックシステムの場合、これは、複数のパス光線による空間サンプリングが実行される領域である。固有の錐体がこの領域の１点に退縮した状態で空間をサンプリングすることは適切ではない。その理由は、数十平方ミクロンのその表面においてピクセル１２の感度は著しいものであり、錐体の先端であろう無限に小さな表面を用いて数学的観点によって表すことができないためである。

本発明の実施形態では、各ピクセルビーム１０、２０、３０は、瞳孔１４、２４の前方にあるピクセル共役１５、３５の位置およびサイズを定義する４つの独立パラメータｚ_Ｐ、θ_ｘ、θ_ｙ、ａによって、ならびに、瞳孔１４、２４の位置、向きおよび半径を定義する６つの瞳孔パラメータｘ_Ｏ、ｙ_Ｏ、ｚ_Ｏ、θ_ｘ０、θ_ｙ０、ｒによって定義される。これらの６つの瞳孔パラメータは、同じ瞳孔１４、２４を共有する一葉双曲面によって表される際は、ピクセルビームの集合体に共通である。実際に、ピクセルビームは、瞳孔１４を通じてピクセル１２によって検知された光学系１１の物体空間における１組の光線により占められるボリュームを表す（すなわち、ピクセル１２／瞳孔１４、２４の所与の組み合わせは、固有のピクセルビーム１０、２０、３０に相当する）が、複数の個々のピクセルビームは、同じ瞳孔１４、２４によってサポートされ得る。

図１に示されるように、ピクセルビーム１０、２０、３０を表す一葉双曲面のパラメータが定義される座標系（ｘ，ｙ，ｚ）の原点Ｏは、瞳孔１４の中心に相当し、ｚ軸は、瞳孔１４、２４の表面の法線方向を定義する。

パラメータθ_ｘ、θ_ｙは、入射瞳孔１４の中心に対する主光線方向を定義する。パラメータθ_ｘ、θ_ｙは、センサ１３上のピクセル１２の位置および光学系１１の光学要素に依存する。より正確に言えば、パラメータθ_ｘ、θ_ｙは、瞳孔１４の中心からのピクセル１２の共役１５の方向を定義するせん断角を表す。

パラメータｚ_Ｐは、ｚ軸に沿った、ピクセルビーム１０、２０、３０のウエスト３５またはピクセル１２の共役１５の距離を表す。

パラメータａは、ピクセルビーム１０、２０、３０のウエスト３５の半径を表す。

光学的歪みおよびフィールド湾曲をモデル化することができる光学系１１の場合、パラメータｚ_Ｐおよびａは、パラメトリック関数を介してパラメータθ_ｘおよびθ_ｙに依存し得る。

４つの独立パラメータは、ピクセル１２およびその共役１５に関連する。

ピクセルビーム１０、２０、３０を定義する６つの相補的な瞳孔パラメータは、以下の通りである。
－ 瞳孔１４、２４の半径を表すｒ
－ 座標系（ｘ，ｙ，ｚ）における瞳孔１４、２４の中心の座標を表すｘ_Ｏ、ｙ_Ｏ、ｚ_Ｏ
－ 基準座標系（ｘ，ｙ，ｚ）における瞳孔１４、２４の向きを表すθ_ｘ０、θ_ｙ０

これらの６つの瞳孔パラメータは、瞳孔１４、２４に関連する。別のパラメータｃが定義される。そのようなパラメータｃは、ピクセル１２およびその共役１５に関連するパラメータｚ_Ｐおよびａ、ならびに、瞳孔１４、２４に関連するパラメータｒに依存する。パラメータｃは、ピクセルビーム１０、２０、３０のアパチャ角αを定義し、以下の公式によって与えられる。

従って、パラメータｃの表現は、以下の方程式によって与えられる。

ピクセルビーム１０、２０、３０を区切る表面に属するポイントの物体空間における座標（ｘ，ｙ，ｚ）は、瞳孔１４およびピクセルの共役１５に関連する上記で定義されるパラメータの集合の関数である。従って、ピクセルビーム１０、２０、３０を表す一葉双曲面の生成を可能にする方程式（２）は以下の通りである。

ピクセルビーム１０、２０、３０を表す同じ双曲面のパラメトリック方程式（３）は以下の通りである。

式中、ｖは、双曲線の生成からピクセルビーム１０、２０、３０の生成を可能にする（ｘ，ｙ）平面における角度であり、ｖは、［０，２π］間隔で変化し、ｚ∈［０，∞］は、瞳孔１４、２４の表面の法線方向を定義するｚ軸に沿った座標である。方程式（２）および（３）は、ピクセル１２およびその共役１５のセクションは円形であり、瞳孔１４、２４のセクションも円形であるという想定の下で記載される。

前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間のピクセルとの間の対応に関連する情報は、瞳孔１４、２４の前方にあるピクセル共役１５、３５の位置およびサイズを定義する４つの独立パラメータｚ_Ｐ、θ_ｘ、θ_ｙ、ａを含むパラメータの集合、または、ピクセルビームがそのパラメトリック方程式で表現される場合は、瞳孔１４、２４の位置、向きおよび半径を定義する６つの瞳孔パラメータｘ_Ｏ、ｙ_Ｏ、ｚ_Ｏ、θ_ｘ０、θ_ｙ０、ｒを含むパラメータの集合の形態を取ることができる。

従って、このパラメータの集合は、４Ｄライトフィールドデータを処理する間に使用するために、光学取得システムによって捕捉された４Ｄライトフィールドデータを表す原画像またはエピポーラ画像に加えて提供される。

図４に示されるように、本発明の第２の実施形態では、ピクセルビーム４０は、部分的にオーバーラップする２つの同軸の錐体（前方の錐体４１_Ｆおよび後方の錐体４１_Ｒ）によって表すことができ、２つの要素、すなわち、瞳孔４４および物体空間におけるピクセル４２の共役４５（すなわち、ピクセルで結像される物体空間における表面）によってサポートされる。

前方の錐体４１_Ｆは、ピクセル４２および瞳孔４４によって定義された凸状錐台の画像である。凸状錐台の頂点は、光学取得システムのセンサの向こう側に存在する。その構築により、前方の錐体４１_Ｆは、光学取得システムの物体空間において収束し、前方の錐体４１_Ｆの頂点は、ピクセル４５の共役（またはピクセルビーム４０のウエスト）と瞳孔４４との間に存在する。前方の錐体４１_Ｆは、ピクセル４２で瞳孔４４が成す立体角から導き出される。

後方の錐体４１_Ｒは、ピクセル４２および瞳孔４４によって定義された錐体の画像であり、その頂点は、瞳孔４４と光学取得システムのセンサとの間に存在する。その構築により、後方の錐体４１_Ｒの頂点は、瞳孔４０のウエスト４５の向こう側に位置する。後方の錐体４１_Ｒは、必ずしも光学取得システムの物体空間において収束するわけではなく、いくつかの事例では、後方の錐体４１_Ｒは、円筒または発散錐体に退縮することができる。後者の事例では、発散錐体の頂点は、光学取得システムの画像空間（すなわち、入射瞳孔４４の前）に存在する。

前方の錐体４１_Ｆおよび後方の錐体４１_Ｒは、同じ回転軸を共有し、回転軸は、瞳孔４４の中心とウエスト４５の中心とを結ぶ線である。

錐体は、光線束の観念をサポートし、２つの錐体を組み合わせると、物理的な光ビームの「エテンデュ」の概念、物理的な光ビームの断面を横切るエネルギーの保存に結び付けられる概念と両立する線識面(a ruled surface)ある。錐体と平面との交差面は、双曲面のような円錐曲線であり、円錐曲線は複数の係数によって特徴付けることができる。その頂点を考慮すると、錐体は、３つの角度パラメータ、すなわち、錐体の回転軸から測定される極角、頂角に至るまでの角度および２つの角度によって与えられる回転軸の方向によって表すことができる。

ｘｙｚを光学取得システムの座標系とする。ｚは、光学取得システムの物体空間における光学取得システムの光軸（ｚ＞０）を示し、瞳孔４４の中心は、前記座標系の原点である。

光学取得システムの光学素子は、光学取得システムの物体空間（ｚ∈［２ｆ；＋∞］の距離から）を光学取得システムの画像空間（ｚ∈［－２ｆ；－ｆ］）に結像し、ｆは、光学取得システムの光学素子の焦点距離である。瞳孔４４およびピクセルビーム４０のウエスト４５の場所は、光学取得システムの較正から、光学取得システムの座標系ｘｙｚで知られている。瞳孔４４およびウエスト４５は、平行であると想定され、両方ともｚ軸の法線方向にある。

ｚ’をピクセルビーム４０の主光線と呼ぶことにする。主光線は、瞳孔４４の中心とピクセルビーム４０のウエスト４５の中心とを結ぶ線である。また、主光線は、ピクセルビーム４０の回転軸および対称軸でもある。従って、座標系ｘｙｚ’では、ピクセルビーム４０は回転体である。

前方の錐体４１_Ｆおよび後方の錐体４１_Ｒの両方の頂点は、ピクセルビーム４０の主光線ｚ’上に位置する。薄レンズ近似の下では、これらの２つの頂点の座標は、光学取得システムのセンサは後焦点面には位置しないという想定の下、光学取得システムの座標系ｘｙｚにおいて以下の通り演算される。

式中、Ｐ、ｚ_Ｐ、Ｗおよびｚ_ｗはそれぞれ、瞳孔４４の直径（Ｐ＞０）、瞳孔４４のｚ座標、ピクセルの共役４５の直径（０＜Ｗ＜＋∞）およびピクセルの共役４５のｚ座標（０＜ｚ_ｗ＜＋∞）を示す。

後方の錐体４１_Ｒの頂点のｚ座標ｚ_前方は、後方の錐体４１_Ｒが収束錐体である際は正であり、後方の錐体４１_Ｒが発散錐体である際は負であり得る。また、瞳孔４４およびピクセルビームのピクセルの共役４５が同じサイズのものである場合は無限でもあり得る。

光学取得システムのセンサが後焦点面に位置する場合は、Ｗ＝＋∞およびｚ_ｗ＝＋∞である。それらの比率は一定であるため、

となり、式中、ｐおよびｆはそれぞれ、ピクセル４２の直径（ｐ＞０）および光学取得システムの光学素子の焦点距離（光学取得システムの光学素子は収束レンズであると想定すると、ｆ＞０）を表す。

頂角は、

によって与えられる。

各錐体の頂点を考慮すると、（それらの融合はピクセルビーム４０を表し、光線は、２つの角度パラメータ、すなわち、ピクセルビームの回転軸から頂角までの極角と、［０，２π］における方位角を用いて定義することができる。

ピクセルビームに関連するそれらの情報は、所定の光学取得システムと関連付けられたメタデータである。それらの情報は、例えば、光学取得システムと共に供給されるＣＤ－ＲＯＭまたはフラッシュドライブに格納されたデータファイルとして提供することができる。また、ピクセルビームに関連する追加の情報を内包するデータファイルは、光学取得システムの製造業者に属するサーバからダウンロードすることができる。また、本発明の実施形態では、ピクセルビームに関連するこれらの追加の情報は、光学取得システムによって捕捉された画像のヘッダに埋め込むことができる。

ピクセルビームに関連するこれらの情報を知ることにより、独自のファイルフォーマットおよび処理予定の画像を捕捉するために使用される光学取得システムの特徴とは無関係に、任意の光学取得システムによって捕捉された画像の処理が可能になる。

ピクセルビームに関連する情報を知ることにより、独自のファイルフォーマットおよび処理予定の画像を捕捉するために使用される光学取得システムの特徴とは無関係に、任意の光学取得システムによって捕捉された画像の処理が可能になる。

図５は、本開示の実施形態による、第２の光学系を介して前記ピクセルビームを結像することによって第１の光学系の物体空間を表すピクセルビームを表すデータを生成する装置の例を示す概略ブロック図である。

装置５００は、バス５０６によって接続される、プロセッサ５０１、格納ユニット５０２、入力デバイス５０３、表示デバイス５０４およびインタフェースユニット５０５を備える。当然ながら、コンピュータ装置５００の構成要素は、バス接続以外の接続によって接続することができる。

プロセッサ５０１は、装置５００の動作を制御する。格納ユニット５０２は、第２の光学系を介して第１の光学系の物体空間を表すピクセルビームが結像される際に、これらのピクセルビームを表すデータの生成が可能な、プロセッサ５０１によって実行される少なくとも１つのプログラムと、センサ１３上のピクセル１２の位置に関連するパラメータまたは光学取得システムの第１の光学系１１および第２の光学系に関連するパラメータ、プロセッサ５０１によって実行される演算によって使用されるパラメータ、プロセッサ５０１によって実行される演算の中間データなどを含む様々なデータとを格納する。プロセッサ５０１は、いかなる公知の適切なハードウェアもしくはソフトウェア、または、ハードウェアとソフトウェアの組合せによっても形成することができる。例えば、プロセッサ５０１は、処理回路などの専用ハードウェアによってまたはそのメモリに格納されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラム可能処理ユニットによって形成することができる。

格納ユニット５０２は、いかなる適切な記憶装置またはコンピュータ可読方式でプログラム、データもしくは同様のものの格納が可能な手段によっても形成することができる。格納ユニット５０２の例は、半導体メモリデバイス、ならびに、読取および書込ユニットにロードされた磁気、光または光磁気記録媒体などの非一時的なコンピュータ可読記憶媒体を含む。プログラムは、図６を参照して以下で説明されるように、本開示の実施形態による、第２の光学系ビームを通じる前記ピクセルビームの画像共役から第１の光学系の物体空間を表すピクセルビームの集合体のピクセルビームを表すデータを演算するプロセスをプロセッサ５０１に実行させる。

入力デバイス５０３は、コマンドを入力して光学系の物体空間における１組の光線により占められるボリュームのパラメトリック表示の生成に使用されるパラメータに対するユーザの選択を行うためにユーザが使用するキーボード、マウスなどのポインティングデバイスまたは同様のものによって形成することができる。出力デバイス６０４は、例えば、グラフィカルユーザインタフェース（ＧＵＩ）など、本開示の実施形態に従って生成される画像を表示する表示デバイスによって形成することができる。入力デバイス５０３および出力デバイス５０４は、例えば、タッチスクリーンパネルによって一体化して形成することができる。

インタフェースユニット５０５は、装置５００と外部の装置との間のインタフェースを提供する。インタフェースユニット５０５は、ケーブルまたは無線通信を介して外部の装置と通信可能であり得る。一実施形態では、外部の装置は、実際のカメラなどの光学取得システムであり得る。

図６は、本発明の実施形態による、光学取得システムによって捕捉された画像を符号化するプロセスを説明するフローチャートである。

装置５００のプロセッサ５０１は、図７で表されているように、前記ピクセルビーム７０の画像共役７２から第２の光学系７１を通じる第１の光学系（図示せず）の物体空間を表すピクセルビームの集合体の少なくとも１つのピクセルビーム７０を表すデータの演算が可能なプログラムを実行する。以下の例では、ピクセルビーム７０、７２は、一葉双曲面２０によって表されている。

従って、プロセッサ５０１は、光学系７１のフォーカルボリュームのピクセルビーム７０を表すデータを提供するために、例えば薄レンズである光学系７１を通じるピクセルビーム７０の画像共役７２を演算する。

光学系７１を通じるピクセルビーム７０の画像共役７２は、以下で説明されるように演算することができる。

図１～３を参照して説明されるように、光学系の瞳孔と結び付けられたピクセルビームは、６つの付帯的なパラメータによって定義される。
－ ｒ：第１の光学系の入射瞳孔半径
－ ｘ_Ｏ、ｙ_Ｏ、ｚ_Ｏ：基準座標系における第１の光学系の入射瞳孔中心の座標
－ θ_ｘ０、θ_ｙ０：基準座標系における第１の光学系の入射瞳孔の向き

基準座標系では、簡単にするためにθ_ｘ０＝θ_ｙ０＝０を保つと、ピクセルビームを表す双曲面のパラメトリック方程式は、

または同等に

によって与えられる。

本発明の実施形態では、第１の光学取得システムのセンサのピクセルによって取得される色を表す値（ＲＧＢ値など）は、対応するピクセルビーム７０と関連付けられる。

第２の光学系７１を表す平面表面を定義するパラメータは、第２の光学系７１がバーチャル光学系である際には定義され、または第２の光学系が実際の光学系である際には検索される。
－ 第２の光学系７１の光学中心の座標は、ｘ_Ｃ、ｙ_Ｃ、ｚ_Ｃである
－ 光学系７１の表面の法線方向の単位ベクトルの座標：θ_ｘＣ、θ_ｙＣ
－ 光学系７１の焦点ｆ
－ 説明を簡単にするため、第２の光学系７１の光学中心は第１の光学系の瞳孔の中心と同じ平面で取られ（ｚ_Ｃ＝ｚ_Ｏ）、光学系７１は瞳孔に平行である（すなわち、θ_ｘＣ＝θ_ｙＣ＝０）と考えられている。

光学系７１の中心Ｃに関連するポイントＭの座標は（ｘ，ｙ，ｚ）と示される。光学系７１を通じるポイントＭの画像Ｍ’の座標は（ｘ’，ｙ’，ｚ’）と示される。これらの座標の各々は代数値である。

ポイントＭ’の座標は、以下のような「レンズメーカーの公式」のニュートン形式を使用して演算される。
（｜ｚ｜－ｆ）（｜ｚ’｜－ｆ）＝ｆ^２ （１０）

ポイントＭは光学系７１の前に位置し（すなわち、ｚ＜０）、ポイントＭ’は光学系７１の後に位置するため（すなわち、ｚ’＞０）、
（－ｚ－ｆ）（ｚ’－ｆ）＝ｆ^２ （１１）
であり、それにより、

が与えられる。
光学系７１が薄レンズである際は、その光学中心を通過する光線はずれないため、倍率は

によって与えられ、それにより、

が与えられ、その逆、すなわち、

も言える。

Ｍがピクセルビーム７０の表面に属するポイントである際は、結像されたピクセルビームの表面にあるポイントＭ’の座標は以下の通りである。

近軸レンズは物体空間の光線（直線）を画像空間の光線に変換するので、および、ピクセルビーム７０は線織面によって表されるので、物体空間の一葉双曲面の画像は画像空間の一葉双曲面であり、結像されたピクセルビーム７２もまた線織面によって表される。

ピクセルビーム７０を表す双曲面のパラメータからおよび光学系７１のパラメータから結像されたピクセルビーム７２を表す双曲面のパラメータを決定することにする。

ピクセルビーム７０を表す以下の方程式を考慮する。

式中、軸上のピクセルビームおよび（ｘ，ｚ）平面に対する解析を低減するため、θ_ｘ＝θ_ｙ＝０、ｘ_０＝ｙ_０＝ｚ_０＝０およびｖ＝０である。

次いで、決定すべきパラメータは、ｚ’_Ｗ、ａ’であり、ｚ’_Ｗ、ａ’は、ｚ_Ｐ、ａ、ｆ、ｒの関数であり、ｚ’_Ｗは、結像されたピクセルビーム７２のウエストのｚ座標であり（Ｗ’は、ビームアパチャ（ａ≠０）により、結像プロセスを通じるＰの共役ポイントではない）、ａ’は、結像されたピクセルビーム７２のウエストの半径である。

θ_ｘ＝θ_ｙ＝０、ｘ_０＝ｙ_０＝ｚ_０＝０およびｖ＝０という想定を用いると、ポイントＭに適用される方程式１６は、以下のように簡易化される。

Ｍに対して方程式１４の近軸レンズ変換を使用すると、

が得られ、それは、光学系７１のフォーカルボリュームの結像されたピクセルビーム７２を表す方程式である。

方程式（２０）を導き出すことにより、導関数のゼロ交差を見出すことによって、ピクセルビームを表す双曲線の極小値および／または極大値の計算が可能になる。

方程式（２０）を展開すると、

が与えられる。

方程式（２１）の微分は、

によって与えられる。

ゼロ交差の演算により、以下のような導関数（２３）のゼロ交差が与えられる。

以下、すなわち、

を知っていることで、

の各項を

で除することができる。従って、ｚ_Ｐ≫ｆおよび（ｆ＋ｚ_Ｐ）≒ｚ_Ｐの場合、以下のように近似を導き出すことができる。

ａ’は結像されたピクセルビーム７２のウエストの半径であるため、結像されたピクセルビーム７２に対する正の双曲線の最小値でもある（すなわち、方程式２０（ｚ’＝ｚ’_Ｗ）によって定義されるようなｘ’の値に相当する）。
ａ’＝ｘ’（ｚ’_Ｗ） （２７）

これにより、

が与えられる。

ポイント（ｘ，ｙ）および光学系７１を通じるその共役（ｘ’，ｙ’）を考慮することにする。ポイント（ｘ，ｙ）および光学系７１の中心を通過する光線の場合、光の法則により、

が与えられる。

光線が入射光線θ_ｘである場合は、高さｘ_０で光学系７１に当たると、

であり、同様に、

である。

従って、

である。

レンズメーカーの公式

から分かっているように、

が得られ、同様に、

が得られる。

その結果、結像されたピクセルビーム７２を表す方程式は、

であり、以下の式、すなわち、

によるピクセルビーム７０のパラメータｚ_Ｐ、θ_ｘ、θ_ｙ、ａから得られたパラメータｚ’_Ｗ、θ’_ｘ、θ’_ｙ、ａ’が用いられ、式中、

である。

ステップ６０１０では、装置５００のプロセッサ５０１は、第１の光学系の物体空間におけるピクセルビームの集合体のピクセルビーム７０と基準座標系のそのアフィン方程式によって定義された所定の平面との交差面を演算する。

次いで、ステップ６０２０では、プロセッサ５０１は、光学系７１を通じるこの交差面の画像共役を演算する。

ステップ６０３０では、プロセッサ５０１は、ステップ６０２０の間に演算された交差面の画像共役から、結像されたピクセルビーム７２を演算する。

次いで、ステップ６０４０では、装置５００のプロセッサ５０１は、結像されたピクセルビーム７２と光学系７１のセンサとの交差面を演算する。

次いで、ステップ６０５０では、プロセッサ５０１は、前記交差面上における光放射照度（irradiance）の積分を演算する。

ピクセルビームを表すデータを生成するそのような方法は、所定のフォーカルボリュームのピクセルビームの集合体の正確な知識およびパラメータ化を提供する。フォーカルボリュームのパラメトリックサンプリングは均一であるため、前記ピクセルビームに対応するピクセルと関連付けられたＲＧＢ値と関連付けられた結像されたピクセルビームを表すパラメータは、画像処理動作に有益な第２の光学系７２のフォーカルボリュームのパラメトリックサンプリングを形成する。

本発明の実施形態では、その物体空間がピクセルビーム７０の集合体によってサンプリングされている第１の光学系は、実際のカメラの光学系であるのに対して、第２の光学系７１は、バーチャルカメラの光学系である。

本発明の別の実施形態では、その物体空間がピクセルビーム７０の集合体によってサンプリングされている第１の光学系は、バーチャルカメラの光学系であるのに対して、第２の光学系７１は、実際のカメラの光学系である。

本発明は、上記では、特定の実施形態に関して説明されているが、本発明は、特定の実施形態に限定されず、変更形態は、当業者には明らかであり、本発明の範囲内にある。

多くのさらなる変更形態および変形形態は、前述の例示的な実施形態を参照する際にそれら自体を当業者に示唆し、前述の例示的な実施形態は、単なる例示として提供され、本発明の範囲を制限することを意図せず、本発明の範囲は、添付の請求項によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適切な場合に、交換可能であり得る。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
光学系の瞳孔を通過する１組の光線により占められるボリュームを表すデータを生成するコンピュータ実装方法であって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められ、前記方法が、
第１の光学系の物体空間において前記ピクセルビームを表すデータを取得することであって、前記ピクセルビームが、前記第１の光学系の瞳孔と、前記第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線により占められている、取得することと、
第２の光学系を介して前記ピクセルビームの画像共役を演算することによって前記ピクセルビームを表すデータを生成することと
を含む、方法。
（付記２）
前記第１の光学系の前記物体空間における前記ピクセルビームと平面との交差面を演算することと、
前記ピクセルビームを表すデータを提供するために、前記第２の光学系を介して前記交差面の画像共役を演算することと
をさらに含む、付記１に記載の方法。
（付記３）
前記第１の光学系が実際のカメラであり、前記第２の光学系がバーチャルカメラである、付記１または２に記載の方法。
（付記４）
前記第１の光学系がバーチャルカメラであり、前記第２の光学系が実際のカメラである、付記１または２に記載の方法。
（付記５）
付記１～４のいずれか一項に記載の方法に従って得られたものを使用してライトフィールドデータから画像をレンダリングするデバイス。
（付記６）
光学系の瞳孔を通過する１組の光線により占められるボリュームを表すデータを生成するデバイスであって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められ、前記デバイスが、
第１の光学系の物体空間において前記ピクセルビームを表すデータを取得することであって、前記ピクセルビームが、前記第１の光学系の瞳孔と、前記第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線により占められている、取得することと、
第２の光学系を介して前記ピクセルビームの画像共役を演算することによって前記ピクセルビームを表すデータを生成することと
を行うように構成されたライトフィールドデータ生成モジュールを備える、デバイス。
（付記７）
規則的な格子構造で配列されたマイクロレンズのアレイと、
光センサであって、前記マイクロレンズのアレイから前記光センサに投影された光を捕捉するように構成され、ピクセルのセットを含み、ピクセルの各セットが、前記マイクロレンズのアレイのそれぞれのマイクロレンズと光学的に関連付けられている、光センサと、
付記８によるメタデータを生成するデバイスと
を備えるライトフィールド結像デバイス。
（付記８）
前記第１の光学系の瞳孔と、前記第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの共役とを通過する１組の光線により占められる第１の光学系の物体空間におけるボリュームを表すデータのデータパッケージであって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められており、ピクセルビームを表す前記データが、第２の光学系を介して前記ピクセルビームの画像共役である、データパッケージ。
（付記９）
プログラム可能装置用のコンピュータプログラム製品であって、前記プログラム可能装置によってロードされ、実行された際に、付記１～４のいずれか一項に記載の方法を実装する一連の命令を含む、コンピュータプログラム製品。

Claims (22)

1. コンピュータ実装方法であって、
   光学系の瞳を通過する１組の光線によって占められたボリュームを表すデータを生成することであって、前記ボリュームは、第１のピクセルビームと呼ばれる前記１組の光線によって占められる、ことと、
   第１の光学系の物体空間において前記第１のピクセルビームを表すデータを取得することであって、前記第１のピクセルビームは、前記第１の光学系の瞳と、前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線によって占められている、ことと、
   前記第１の光学系の物体空間において、平面と前記第１のピクセルビームとの交差面を決定することであって、前記平面は、前記瞳から第１の距離に位置している、ことと、
   第２の光学系を通じて前記交差面の画像共役を決定することと、
   前記画像共役に基づいて第２の結像されたピクセルビームを表すデータを生成することと、
   を含む、方法。
2. 請求項１に記載の方法であって、
   前記第２の結像されたピクセルビームと前記第２の光学系と関連付けられたセンサとの交差面を決定することを更に含む、方法。
3. 請求項１に記載の方法であって、
   前記第１の光学系は、実際のカメラの光学系であり、前記第２の光学系は、バーチャルカメラの光学系である、方法。
4. 請求項１に記載の方法であって、
   前記第１の光学系は、バーチャルカメラの光学系であり、前記第２の光学系は、実際のカメラの光学系である、方法。
5. 請求項２に記載の方法であって、
   前記第１の光学系は、実際のカメラの光学系であり、前記第２の光学系は、バーチャルカメラの光学系である、方法。
6. 請求項２に記載の方法であって、
   前記第１の光学系は、バーチャルカメラの光学系であり、前記第２の光学系は、実際のカメラの光学系である、方法。
7. デバイスであって、
   光学系の瞳を通過する１組の光線によって占められたボリュームを表すデータを生成するように構成されたプロセッサであって、前記ボリュームは、第１のピクセルビームと呼ばれる前記１組の光線によって占められる、プロセッサを備え、
   前記プロセッサは、第１の光学系の物体空間において前記第１のピクセルビームを表すデータを取得することであって、前記第１のピクセルビームは、前記第１の光学系の瞳と、前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線によって占められている、ことと、前記第１の光学系の物体空間において、平面と前記第１のピクセルビームとの交差面を決定することであって、前記平面は、前記瞳から第１の距離に位置している、こととを行うように構成されており、
   前記プロセッサは、第２の光学系を通じて前記交差面の画像共役を決定し、前記画像共役に基づいて第２の結像されたピクセルビームを表すデータを生成するように構成されている、デバイス。
8. 請求項７に記載のデバイスであって、
   前記プロセッサは、前記第２の結像されたピクセルビームと前記第２の光学系と関連付けられたセンサとの交差面を決定するように構成されている、デバイス。
9. 請求項７に記載のデバイスであって、
   前記第１の光学系は、実際のカメラの光学系であり、前記第２の光学系は、バーチャルカメラの光学系である、デバイス。
10. 請求項７に記載のデバイスであって、
    前記第１の光学系は、バーチャルカメラの光学系であり、前記第２の光学系は、実際のカメラの光学系である、デバイス。
11. 請求項８に記載のデバイスであって、
    前記第１の光学系は、実際のカメラの光学系であり、前記第２の光学系は、バーチャルカメラの光学系である、デバイス。
12. 請求項８に記載のデバイスであって、
    前記第１の光学系は、バーチャルカメラの光学系であり、前記第２の光学系は、実際のカメラの光学系である、デバイス。
13. 請求項７に記載のデバイスであって、
    前記デバイスは、前記データから画像をレンダリングするように構成されている、デバイス。
14. 請求項７に記載のデバイスであって、
    規則的な格子構造で配列されたマイクロレンズのアレイと、
    光センサであって、前記マイクロレンズのアレイから前記光センサに投影された光を捕捉するように構成され、数組のピクセルを含み、ピクセルの各組が、前記マイクロレンズのアレイのそれぞれのマイクロレンズと光学的に関連付けられている、光センサと、
    メタデータを生成するためのコンポーネントと、
    を備える、デバイス。
15. 請求項８に記載のデバイスであって、
    規則的な格子構造で配列されたマイクロレンズのアレイと、
    光センサであって、前記マイクロレンズのアレイから前記光センサに投影された光を捕捉するように構成され、数組のピクセルを含み、ピクセルの各組が、前記マイクロレンズのアレイのそれぞれのマイクロレンズと光学的に関連付けられている、光センサと、
    メタデータを生成するためのコンポーネントと、
    を備える、デバイス。
16. コンピュータに、
    第１の光学系の物体空間において第１のピクセルビームを表すデータを取得することであって、前記第１のピクセルビームは、前記第１の光学系の瞳と、前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線によって占められている、ことと、
    前記第１の光学系の物体空間において、平面と前記第１のピクセルビームとの交差面を決定することであって、前記平面は、前記瞳から第１の距離に位置している、ことと、
    第２の光学系を通じて前記交差面の画像共役を決定することと、
    前記画像共役に基づいて第２の結像されたピクセルビームを表すデータを生成することと、
    の方法を実行させるコンピュータプログラム。
17. 請求項１６に記載のコンピュータプログラムであって、
    前記方法は、前記第２の結像されたピクセルビームと前記第２の光学系と関連付けられたセンサとの交差面を決定することと、前記ピクセルの前記交差面上における光放射照度を積分することと、を含む、コンピュータプログラム。
18. 請求項１６に記載のコンピュータプログラムであって、
    前記第１の光学系は、実際のカメラの光学系であり、前記第２の光学系は、バーチャルカメラの光学系である、コンピュータプログラム。
19. 請求項１６に記載のコンピュータプログラムであって、
    前記第１の光学系は、バーチャルカメラの光学系であり、前記第２の光学系は、実際のカメラの光学系である、コンピュータプログラム。
20. 請求項２に記載の方法であって、
    前記交差面上における光放射照度を積分することを更に含む、方法。
21. 請求項８に記載のデバイスであって、
    光放射照度は、前記交差面にわたって積分される、デバイス。
22. 請求項１に記載の方法であって、
    前記データから画像をレンダリングすることを更に含む、方法。

Images