JP6832919B2 - ピクセルビームを表すデータを生成する装置および方法 - Google Patents

Description

本発明は、ライトフィールドを表すデータの生成に関する。

４次元または４Ｄのライトフィールドデータの取得については、これは４Ｄのライトフィールドのサンプリングと見なせ、すなわち光線の記録と見なすことができるが、これはＡｎａｔ Ｌｅｖｉｎ ａｎｄ ａｌ．著「Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｃａｍｅｒａ ｔｒａｄｅ−ｏｆｆｓ ｔｈｒｏｕｇｈ ａ Ｂａｙｅｓｉａｎ ａｎａｌｙｓｉｓ ｏｆ ｌｉｇｈｔ ｆｉｅｌｄ ｐｒｏｊｅｃｔｉｏｎｓ」（ｐｕｂｌｉｓｈｅｄ ｉｎ ｔｈｅ ｃｏｎｆｅｒｅｎｃｅ ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＥＣＣＶ ２００８）に説明されており、活気のある研究課題である。

カメラから得られる古典的な２次元すなわち２Ｄ画像と比較して、４Ｄライトフィールドデータにより、ユーザは、より多くの後処理機能にアクセスできるようになり、画像のレンダリングおよびユーザとのインタラクティブ性が向上する。例えば、４Ｄライトフィールドデータがあれば、自由に選択された焦点距離で画像の再焦点合わせを行うことができ、これは、焦点面の位置を事後的に指定／選択すること、及び画像のシーンにおいて視点を少し変えることができることを意味する。４Ｄライトフィールドデータを取得するために、いくつかの技術を使用することができる。例えば、プレノプティックカメラは４Ｄライトフィールドデータを撮影することができる。Ｐｌｅｎｏｐｔｉｃカメラのアーキテクチャの詳細を図１Ａに示す。図１Ａは、プレノプティックカメラ１００を概略的に示す図である。プレノプティックカメラ１００は、主レンズ１０１と、２次元配列に配列された複数のマイクロレンズ１０３を含むマイクロレンズアレイ１０２と、イメージセンサ１０４とを備える。

４Ｄライトフィールドデータを取得する別の方法は、図１Ｂに示すようなカメラアレイを使用することである。図１Ｂは、マルチアレイカメラ１１０を示している。マルチアレイカメラ１１０は、レンズアレイ１１２と、イメージセンサ１１４とを含む。

図１（ａ）に示すプレノプティックカメラ１００の例では、主レンズ１０１は、主レンズ１０１の物体視野内の被写体（図示せず）からの光を受けて、その光を主レンズ１０１の像視野を通す。

最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面で同じシーンの２Ｄ画像のシーケンスを取得するように構成された従来のカメラを使用することである。例えば、文献Ｊ．Ｈ．Ｐａｒｋ ｅｔ ａｌ．著「Ｌｉｇｈｔ ｒａｙ ｆｉｅｌｄ ｃａｐｔｕｒｅ ｕｓｉｎｇ ｆｏｃａｌ ｐｌａｎｅ ｓｗｅｅｐｉｎｇ ａｎｄ ｉｔｓ ｏｐｔｉｃａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ３Ｄ ｄｉｓｐｌａｙｓ」（ＯＰＴＩＣＳ ＥＸＰＲＥＳＳ， Ｖｏｌ． ２２， Ｎｏ． ２１， ｉｎ Ｏｃｔｏｂｅｒ ２０１４）に記載された手法を用いて、従来のカメラにより４Ｄライトフィールドデータの取得を実現できる。

４Ｄライトフィールドデータを表現するにはいくつかの方法がある。実際、２００６年７月に公表されたＲｅｎ Ｎｇ著「Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」というタイトルの博士論文の第３．３章には、４Ｄライトフィールドデータを表現する３つの異なる方法が説明されている。第１に、４Ｄライトフィールドデータは、プレノプティックカメラによって記録されたときに、マイクロレンズ画像の集まりによって表現することができる。この表現における４Ｄライトフィールドデータは、生画像または生４Ｄライトフィールドデータと呼ばれる。第２に、４Ｄのライトフィールドデータは、プレノプティックカメラまたはカメラアレイによって記録されたときは、サブアパーチャ画像（ｓｕｂ−ａｐｅｒｔｕｒｅ ｉｍａｇｅｓ）のセットによって表すことができる。サブアパーチャ画像は、２つのサブアパーチャ画像の間で視点がわずかに異なる視点からのシーンの撮影画像に対応する。これらのサブアパーチャ画像は、撮影されたシーンの視差および深度に関する情報を与える。第３に、４Ｄライトフィールドデータは、エピポーラ画像（ｅｐｉｐｏｌａｒ ｉｍａｇｅｓ）のセットによって表すことができる。例えば、ＩＳＶＣ ２０１１の会議議事録で発表されたＷａｎｎｅｒ ｅｔ ａｌ．著「Ｇｅｎｅｒａｔｉｎｇ ＥＰＩ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ａ ４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｆｏｃｕｓｅｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」を参照されたい。

ライトフィールドデータは、大きなストレージスペースを占有する可能性があり、ストレージを煩雑にし、処理効率が低下する可能性がある。さらに、ライトフィールド取得装置は極めて異質である。ライトフィールドカメラは、例えば、プレノプティック（ｐｌｅｎｏｐｔｉｃ）またはカメラアレイのような異なるタイプのものである。各タイプには、異なる光学構成、焦点距離が異なるマイクロレンズなど、多くの違いがある。各カメラには独自のファイル形式がある。現時点では、ライトフィールドが依存する様々なパラメータを完全に概観するための多次元情報の取得および伝送をサポートする標準は存在しない。このように、異なるカメラで取得されたライトフィールドデータには、多様なフォーマットがある。本発明は、上記の点を考慮して案出されたものである。

本発明の第１の態様によると、光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成する、コンピュータにより実施される方法が提供される。前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記方法は、
光線の集まりを取得するステップであって、前記集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータが前記ピクセルの共役を確定する、ステップと、
前記ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得するステップであって、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応する、ステップと、
２次元光線図において前記交点データの図式的表現を規定する光線図パラメータを取得するステップと、
前記光線図パラメータを、ピクセルの共役を確定する前記少なくとも１つのパラメータと関連付け、前記ピクセルビームを表すデータを提供するステップとを含む。

本発明の一実施形態では、前記方法はさらに、前記ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化するステップであって、前記差分は前記光線図パラメータに関連付けられ、前記ピクセルビームを表すデータを提供する、ステップを含む。

本発明の一実施形態では、前記ピクセルビームを表す光線に対応する交点データは、前記光線図においてデータラインとして図式的に表現され、前記光線図パラメータは、
−データラインの傾斜、及び
−データラインの、前記光線図の軸との切片
のうち少なくとも１つを表すデータを含む。

本発明の一実施形態では、前記データラインは、ラドン変換を適用することにより、前記２次元光線図において検出される。

本発明の一実施形態では、前記図式的表現はデジタルデータラインを提供するセルのマトリックスとして提供され、各デジタルデータラインフォーマットは、前記データラインの軸との交点を表す少なくとも１つの第１のセルと、前記データラインの傾斜を決定する少なくとも１つの第２のセルとである複数のセルにより確定される。

本発明の一実施形態では、各デジタルデータラインはＢｒｅｓｅｎｈａｍアルゴリズムの適用により生成される。

本発明の一実施形態では、前記ピクセルビームを表すデータは、さらに、前記ピクセルビームを表す対応する光線の色を表す色データを含む。

本発明の一実施形態では、前記ピクセルビームを表すデータはメタデータとして提供され、前記メタデータのヘッダは、２次元光線図における交点データの図式的表現を確定する光線図パラメータを含み、前記メタデータのボディは、光線の色を表すデータと、前記オブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む。

本発明の他の目的は、光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成するデバイスに関し、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記デバイスは、
光線の集まりを取得し、前記集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータが前記ピクセルの共役を確定し、
前記ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得し、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応し、
２次元光線図において前記交点データの図式的表現を規定する光線図パラメータを取得し、
前記光線図パラメータを、ピクセルの共役を確定する前記少なくとも１つのパラメータと関連付け、前記ピクセルビームを表すデータを提供する。

本発明の一実施形態では、前記プロセッサは、さらに、前記ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化し、前記差分は前記光線図パラメータに関連付けられ、前記ピクセルビームを表すデータを提供する。

ライトフィールドイメージングデバイスであって、
規則的な格子構造で構成されたマイクロレンズアレイと、
前記マイクロレンズアレイから投影された光をキャプチャするように構成されたフォトセンサであって、複数のピクセルのセットを有し、各ピクセルセットは前記マイクロレンズアレイのそれぞれのマイクロレンズに光学的に関連付けられている、フォトセンサと、
請求項１１に記載のメタデータを提供するデバイスとを有する。

本発明の他の目的は、光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを含むデジタルファイルに関し、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記データは、
ピクセルビームを表す光線の交点データの２次元光線図における図式的表現を確定する光線図パラメータであって、前記交点データは前記ピクセルビームを表すライトフィールド光線の、複数の基準面との交点を確定し、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応する、光線図パラメータと、
前記ピクセルビームを表すライトフィールド光線の色を確定する色データと、
前記光学的撮像システムのオブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む、本発明の要素によって実現されるいくつかのプロセスは、コンピュータによって実施されてもよい。したがって、かかる要素は、完全にハードウェアによる実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアによる実施形態、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形式を取り得る。これらはすべてここでは概して「回路」、「モジュール」または「システム」と呼ぶ。さらに、そのような要素は、媒体に組み込まれたコンピュータ使用可能プログラムコードを有する表現の任意の有形媒体に具体化されたコンピュータプログラム製品の形式を取ることができる。

本発明の要素はソフトウェアで実施することができるので、本発明は、任意の適切なキャリア媒体上のプログラム可能な装置に提供するためのコンピュータ可読コードとして実施することができる。有形のキャリア媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置または固体メモリ装置などのような記憶媒体を含むことができる。過渡キャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、例えばマイクロ波またはＲＦ信号などの信号を含むことができる。

ここで、以下の図面を参照して、例として、本発明の実施形態を説明する。
プレノプティックカメラを示す概略図である。 マルチアレイカメラを示す図である。 本発明の一実施形態によるライトフィールドカメラを示す機能図である。 本発明の一実施形態によるライトフィールドフォーマッタとライトフィールドプロセッサとを示す機能図である。 フォトセンサアレイ上に形成された２Ｄライトフィールドイメージの一例を示す図である。 カメラまたは光学撮影システムの光学系のオプジェクト空間において、光線のセットにより占められたボリュームを示す図である。 一葉の双曲面を示す図である。 本発明の一以上の実施形態によるライトフィールドデータのパラメータ化のための基準面の使用を図式的に示す図である。 本発明の一以上の実施形態によるライトフィールドデータのパラメータ化のための基準面の使用を図式的に示す図である。 本発明の複数の実施形態による基準面に対するライトフィールド光線を示す概略図である。 本発明の一以上の実施形態による方法のステップを示すフローチャートである。 本発明の一以上の実施形態によるライトデータフォーマットを提供するデバイスのモジュールを示す機能ブロック図である。 本発明の複数の実施形態によるライトフィールド光線を示すパラメータを示す概略図である。 本発明の複数の実施形態による交点データをグラフィカルに示す２Ｄ光線図である。 本発明の複数の実施形態に従って生成されたデジタルライン（ａ ｄｉｇｉｔａｌ ｌｉｎｅ）を図式的に示す図である。 本発明の複数の実施形態に従って生成されたデジタルライン（ｄｉｇｉｔａｌｓ ｌｉｎｅ）を図式的に示す図である。 本発明の複数の実施形態によるデジタルラインを適用したＲａｄｏｎ変換を図式的に示す図である。 本発明の複数の実施形態によるデジタルラインを適用したＲａｄｏｎ変換を図式的に示す図である。 本発明の複数の実施形態によるデジタルラインを適用したＲａｄｏｎ変換を図式的に示す図である。 本発明の複数の実施形態による複数のカメラの交点データをグラフィカルに示す２Ｄ光線図である。 本発明の一以上の実施形態による方法のステップを示すフローチャートである。 本発明の一以上の実施形態による方法のステップを示すフローチャートである。 ガウシアンビームの幾何学的形状を示す図である。

本技術分野の当業者には言うまでもないが、本原理の諸態様はシステム、方法、またはコンピュータ読み取り可能媒体として実施され得る。したがって、本原理の諸態様は、完全にハードウェアによる実施形態、完全にソフトウェアによる実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなど）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形式を取り得る。これらはここでは概して「回路」、「モジュール」または「システム」と呼ぶ。さらにまた、本原理の諸態様はコンピュータ読み取り可能記憶媒体の形式を取り得る。一以上のコンピュータ読み取り可能記憶媒体の任意の組み合わせを利用できる。

本発明の実施形態は、フォーマット変換、リフォーカス、視点変更および３Ｄ画像生成などのさらなる処理アプリケーションのためのライトフィールドデータのフォーマットを提供する。

図２Ａ本発明の一実施形態によるライトフィールドカメラデバイスを示すブロック図である。 ライトフィールドカメラは、図１Ａのライトフィールドカメラにしたがって、アパーチャ／シャッタ２０２、メイン（対物）レンズ２０１、マイクロレンズアレイ２１０、およびフォトセンサアレイ２２０を備える。いくつかの実施形態では、ライトフィールドカメラは、被写体またはシーンのライトフィールド画像を取得するように作動するシャッターレリーズ（ｓｈｕｔｔｅｒ ｒｅｌｅａｓｅ）を含む。言うまでもなく、機能的特徴はまた、図１Ｂのライトフィールドカメラにも適用され得る。

フォトセンサアレイ２２０は、ライトフィールドデータフォーマットモジュール２５０によるライトフィールドデータフォーマットの生成、および／またはライトフィールドデータプロセッサ２５５による処理のために、ＬＦデータ取得モジュール２４０によって取得されるライトフィールド画像データを提供する。ライトフィールドデータは、取得後および処理後に、生データフォーマットで、サブアパーチャ画像または焦点スタックとして、または本発明の実施形態によるライトフィールドデータフォーマットで、メモリ２９０に格納することができる。

図示した例では、ライトフィールドデータフォーマッティングモジュール１５０およびライトフィールドデータプロセッサ２５５は、ライトフィールドカメラ２００内に配置されるか、または一体化される。本発明の他の実施形態では、ライトフィールドデータフォーマットモジュール２５０および／またはライトフィールドデータプロセッサ２５５は、ライトフィールドキャプチャカメラの外部の別個のコンポーネントに設けられてもよい。別個のコンポーネントは、ライトフィールド画像キャプチャデバイスに対してローカルであってもリモートであってもよい。言うまでもなく、任意の好適な有線または無線のプロトコルを用いて、ライトフィールド画像データをフォーマッティングモジュール２５０やライトフィールドデータプロセッサ２５５に送信してもよい。例えばライトフィールドデータプロセッサは、キャプチャされたライトフィールド画像データおよび／またはその他のデータを、インターネット、セルラデータネットワーク、ＷｉＦｉネットワーク、ＢｌｕｅＴｏｏｔｈ（登録商標）通信プロトコル、および／またはその他の任意の適切な手段を介して転送してもよい。

ライトフィールドデータフォーマッティングモジュール２５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成される。ライトフィールドデータフォーマッティングモジュール２５０は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施することができる。

ライトフィールドデータプロセッサ２５５は、ＬＦデータ取得モジュール２４０から直接受け取った生のライトフィールド画像データに対して作用して、例えば、本発明の実施形態による焦点スタックまたはビューマトリックスを生成するように構成される。キャプチャされたシーンの静止画像、２Ｄビデオストリームなどの出力データを生成することができる。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施することができる。

少なくとも１つの実施形態では、ライトフィールドカメラ２００は、ユーザがコントローラ２７０によるカメラ１００の動作を制御するためのユーザ入力を提供することを可能にするユーザインターフェース２６０を含むこともできる。カメラの制御は、シャッタ速度のようなカメラの光学的パラメータの制御、または調整可能なライトフィールドカメラの場合には、マイクロレンズアレイとフォトセンサとの間の相対的距離や対物レンズとマイクロレンズアレイとの間の相対的距離の制御のうち一以上を含み得る。いくつかの実施形態では、ライトフィールドカメラの光学素子間の相対的距離を手動で調整することができる。カメラの制御は、カメラのその他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマッティングパラメータ、またはライトフィールド処理パラメータの制御を含んでいてもよい。ユーザインターフェース２６０は、タッチスクリーン、ボタン、キーボード、ポインティングデバイスなどの任意の適切なユーザ入力デバイスを含むことができる。このようにして、ユーザインターフェースによって受信された入力を用いて、データフォーマットを制御するＬＦデータフォーマッティングモジュール２５０、取得されたライトフィールドデータの処理を制御するＬＦデータプロセッサ２５５、およびライトフィールドカメラ２００を制御するコントローラ２７０を制御および／または設定できる。

ライトフィールドカメラは、一以上の交換可能または再充電可能なバッテリなどの電源２８０を含む。ライトフィールドカメラは、キャプチャされたライトフィールドデータおよび／またはレンダリングされた最終画像、または本発明の複数の実施形態の方法を実施するソフトウェアのようなその他のデータを記憶するためのメモリ２９０を備える。メモリは、外部メモリおよび／または内部メモリを含むことができる。少なくとも１つの実施形態では、メモリは、カメラ２００とは別のデバイスおよび／またはカメラ２００から離れた位置に設けることができる。一実施形態では、メモリは、メモリスティックのような取外し可能／交換可能な記憶デバイスを含む。

また、ライトフィールドカメラは、キャプチャする前にカメラの前のシーンを視るための、および／または事前にキャプチャされたおよび／またはレンダリングされた画像を見るためのディスプレイユニット２６５（例えば、ＬＣＤスクリーン）を含むことができる。また、スクリーン２６５を用いて、一以上のメニューまたはその他の情報をユーザに表示してもよい。ライトフィールドカメラは、さらに、ＦｉｒｅＷｉｒｅやユニバーサルシリアルバス（ＵＳＢ）インターフェースなどの一以上のＩ／Ｏインターフェース２９５、またはインターネット、セルラデータネットワーク、ＷｉＦｉネットワーク、ＢｌｕｅＴｏｏｔｈ通信プロトコル、および／または任意の他の適切な手段を解してデータ通信するための有線または無線通信インターフェースを含むことができる。Ｉ／Ｏインターフェース２９５を使用して、本発明の実施形態によるＬＦデータフォーマッティングモジュールによって生成されたライトフィールド代表データ、及び生のライトフィールドデータまたはＬＦデータプロセッサ２５５により処理されたデータなどのライトフィールドデータを、コンピュータシステムまたはディスプレイユニットなどの外部デバイスとの間で、アプリケーションをレンダリングするために、転送できる。

図２Ｂは、ライトフィールドデータフォーマッティングモジュール２５０およびライトフィールドデータプロセッサ２５３の潜在的な実装の実施形態を示すブロック図である。

回路２０００は、メモリ２０９０、メモリコントローラ２０４５、および一以上の処理ユニット（ＣＰＵ）を含む処理回路２０４０を含む。一以上の処理ユニット２０４０は、メモリ２０９０に格納された様々なソフトウェアプログラムおよび／または命令のセットを実行して、ライトフィールドデータフォーマッティングおよびライトフィールドデータ処理を含む様々な機能を実行するように構成される。メモリに格納されたソフトウェアコンポーネントは、本発明の複数の実施形態による取得されたライトデータを表すデータを生成するデータフォーマッティングモジュール（または命令セット）２０５０と、本発明の複数の実施形態によるライトフィールドデータを処理するライトフィールドデータ処理モジュール（または命令セット）２０５５とを含む。ライトフィールドカメラデバイスのアプリケーション用のその他のモジュールがメモリに含まれてもよい。例えば、一般的なシステムタスク（例えば、電力管理、メモリ管理）を制御し、及び、デバイス２０００の様々なハードウェアおよびソフトウェアのコンポーネント間の通信を容易にするオペレーティングシステムモジュール２０５１、及びＩ／Ｏインターフェースポートを介して他のデバイスとの通信を制御および管理するインターフェースモジュール２０５２が含まれてもよい。

図３は、図１Ａのフォトセンサアレイ１０４または図１Ｂのフォトセンサアレイ１１４上に形成された２Ｄ画像の例を示す。２Ｄ画像は、生４Ｄライトフィールド画像と呼ばれることも多いが、マイクロ画像アレイＭＩから構成され、各マイクロ画像は、マイクロレンズアレイ１０２，１１２のそれぞれのマイクロレンズ（ｉ，ｊ）によって生成される。マイクロ画像は、軸ｉおよびｊによって確定される矩形格子構造中の配列内に配置される。マイクロレンズ画像は、それぞれのマイクロレンズ座標（ｉ，ｊ）によって参照されてもよい。フォトセンサ１０４，１１４のピクセルＰＩは、その空間座標（ｘ，ｙ）によって参照されてもよい。所与のピクセルに関連する４Ｄライトフィールドデータは、（ｘ，ｙ，ｉ，ｊ）として参照されてもよい。

４Ｄライトフィールド画像を表現する（または定義する）いくつかの方法がある。例えば、４Ｄライトフィールド画像は、図３を参照して先に説明したようなマイクロレンズ画像の集まりによって表すことができる。４Ｄライトフィールド画像は、プレノプティックカメラによって記録されたときに、サブアパーチャ画像のセットによって表現することもできる。各サブアパーチャ画像は、各マイクロレンズ画像から選択された同じ位置のピクセルから構成される。さらに、４Ｄのライトフィールド画像は、ピクセルビームの場合ではないエピポーラ画像（ｅｐｉｐｏｌａｒ ｉｍａｇｅｓ）のセットによって表されてもよい。

本発明の実施形態は、ピクセルビームの概念に基づいてライトフィールドデータの表現を提供する。このようにして、フォーマットやライトフィールドデバイスの多様性を考慮に入れることができる。実際、光線ベースのフォーマットの１つの欠点は、ピクセルフォーマットおよびサイズを反映するためにパラメータ化平面をサンプリングする必要があることである。したがって、物理的に意味のある情報を回復するためには、他のデータに沿ってサンプリングを定義する必要がある。

ピクセルビーム４０は、図４に示すように、カメラの光学系４１のオブジェクト空間内の光線のセットによって占められるボリュームを表す。

光線のセットは、光学系４１の瞳４４を通ってカメラのセンサ４３のピクセル４２によって感知される。光線とは対照的に、ピクセルビーム４０は、それ自体が「ｅｔｅｎｄｕｅ」を伝達するので、物理的な光線のセクション間のエネルギーの保存に対応する。

光学系の瞳は、前記光学系、すなわち前記アパーチャ絞りに先行するカメラのレンズを通して見たアパーチャ絞りの像として定義される。アパーチャ絞りは、カメラの光学系を通る光の量を制限するアパーチャである。例えば、カメラレンズの前面近くに配置された調節可能な絞りは、レンズのアパーチャ絞りである。絞りを通って入る光の量は、カメラのユーザが受けることを望む光の量に応じて適合させ得る絞りアパーチャの直径によって制御される。例えば、絞りを小さくすると、絞りを通して入る光の量は減少するが、焦点深度は増加する。ストップの有効サイズは、レンズの屈折作用のために、物理的サイズより大きい、または小さくてもよい。正式には、瞳は、カメラの光学系を通るアパーチャ絞りの像である。

ピクセルビーム４０は、入射瞳４４を介して光学系４１を伝播するときに、所与のピクセル４２に到達する光線の光線バンドルとして定義される。光が自由空間の直線上を移動するとき、そのようなピクセルビーム４０の形状は、２つの部分によって画定することができる。１つはピクセル４２の共役４５であり、もう１つは入射瞳４４である。ピクセル４２は、その非ヌル面とその感度マップによって定められる。

したがって、ピクセルビームは、図５に示すように、瞳５４およびカメラのオブジェクト空間内のピクセル４２の共役５５の２つの要素によって支持される、一葉の双曲面５０によって表される。

一様の双曲面は、光線バンドルの概念を支持し、物理的光線の「ｅｔｅｎｄｕｅ」という概念と互換性のある線織面である。

一様の双曲面は、ガウシアンビームの幾何学的形状に対応する。実際、光学的には、ガウシアンビームは、その横方向の磁場および電場の振幅プロファイルがガウス関数によって与えられる単色電磁放射のビームであり、これはまた、ガウス強度プロファイルを示唆する。この基本的な横方向のガウスモードは、このような光ビームは最も集中したスポットに集バンドルさせることができるので、ほとんどのレーザの意図された出力を表す。

以下の式は、ｚのすべての値において円形の断面を有するビームを仮定する。これは、単一の横方向寸法ｒが現れることに気付くことによって見ることができる。
（焦点から測られた）ビームに沿った位置ｚにおいて、スポットサイズパラメータｗは、

により与えられる。ここで、ｗ_０はｗａｉｓｔサイズである。

図１６に示されるように、ｗａｉｓｔからの距離はｚ_Ｒに等しく、ビームの幅ｗは√２ｗ_０に等しい。

ガウス関数のテールは実際にはゼロにはならないが。これは、ｗａｉｓｔから遠いと、ビーム「エッジ」がコーン形状であることを意味する。そのコーンに沿った線（ｒ＝ｗ（ｚ））とビームの中心軸（ｒ＝０）との間の角度は、ビームの発散と呼ばれる。

ｗａｉｓｔから遠いビームの全角度広がりは、Θ＝２θで与えられる。本発明の一実施形態では、ピクセルビーム４０，５０は、４つの独立したパラメータ、すなわち、瞳４４，５４の前のピクセル共役４５，５５の位置およびサイズを定めるｚ_ｐ、θ_ｘ、θ_ｙ、ａによって定義される。
ピクセルビームを表す一葉の双曲面は、以下の式

によって定義することができる。ここで、ｔ_ｘ＝ｔａｎθ_ｘ、ｔ_ｙ＝ｔａｎθ_ｙである。

ピクセルビーム４０，５０のパラメータが定義される座標系（ｘ，ｙ，ｚ）の原点Ｏは、図４に示すピクセルの共役の中心に対応する。ａ，ｂ，ｃはそれぞれＯ_ｘ，Ｏ_ｙ，Ｏ_ｚに沿った半軸（ｓｅｍｉ−ａｘｅｓ）の長さと同相である。ここで、ａは、Ｏ_ｘに沿ったｗａｉｓｔの半径を表し、ｂは、Ｏ_ｙに沿ったｗａｉｓｔの半径を表し、ｃは、ピクセルビームの各アパーチャを定める。本発明のいくつかの実施形態では、ａとｂは、同一の値を有するが、これらの場合、ｗａｉｓｔは円形の形状を有する。

パラメータθ_ｘ、θ_ｙは、瞳４４の中心の入口に対する主光線方向を規定する。それらは、センサ４３上のピクセル４２と、光学系４１の光学素子とに依存する。より正確には、パラメータθ_ｘ、θ_ｙは、瞳４４の中心からのピクセル４２の共役４５の方向を定める剪断角度を表す。

パラメータｚ_ｐは、ｚ軸に沿った、ピクセルビーム４０，５０のｗａｉｓｔ５５の距離、またはピクセル４２の共役４５の距離を表す。

パラメータａは、ピクセルビーム４０，５０のｗａｉｓｔ５５の半径を表し、ｃは、以下の式

によって与えられる。ここで、ｒは瞳４４，５４の半径である。

パラメータｚ_ｐ、ａ、ｃの値の計算は、カメラの較正フェーズ中にそのカメラの各ピクセルビームについて実現される。この較正段階は、例えば、カメラの光学系を通る光線の伝搬をモデル化することができるプログラムを実行することからなる。そのようなプログラムは、例えば、Ｚｅｍａｘ、ＡＳＡＰまたはＣｏｄｅ Ｖのような光学設計プログラムである。光学設計プログラムは、光学系を設計および分析するために使用される。光学設計プログラムは、光学系を通る光線の伝播をモデル化し、単純なレンズ、非球面レンズ、屈折率分布型レンズ、ミラー、回折光学素子等の光学素子の効果をモデル化することができる。

したがって、ピクセルビーム４０，５０は、その主光線およびパラメータｚｐ、ａ及びｃにより定められる。

しかしながら、ピクセルビーム４０，５０のそのような表現は、光線を保存するための古典的なファイルフォーマットが３Ｄ空間内の位置および方向を記憶することにあるので、大量の記憶空間を占める。

より少ない記憶空間だけで済む光線を保存するためのファイルフォーマットを提案するために、ライトフィールド輝度の４つの次元をパラメータ化する方法は、図６Ａに示す立方体を参照する。立方体の６つの面はすべて、ライトフィールドをパラメータ化するために使用される。方向をパラメータ化するために、立方体面に平行な平面の第２のセットを追加することができる。このようにして、ライトフィールドは、軸方向ｉ^→、−ｉ^→、ｊ^→、−ｊ^→、ｋ^→、−ｋ^→（訳注：上付き「→」は、本来はその前の記号の上に付き、その記号がベクトルであることを示す）に沿った法線を有する６つの平面ペアに関して定義され得る。

図６Ｂは、互いに平行に配置され、既知の深度ｚ_１およびｚ_２にそれぞれ位置する、パラメータ化に使用される２つの基準面Ｐ１およびＰ２を通過するライトフィールド光線を示す。ライトフィールド光線は交点（ｘ_１、ｙ_１）で深さｚ_１で第１の基準平面Ｐ１と交差し、交点（ｘ_２、ｙ_２）で深さｚ２で第２の基準平面Ｐ_２と交差する。このようにして、ライトフィールド光線は４つの座標（ｘ_１、ｙ_１、ｘ_２、ｙ_２）によって識別することができる。このようにして、ライトフィールドは、パラメータ化平面とも呼ばれるパラメータ化のための基準面Ｐ_１、Ｐ_２のペアによってパラメータ化することができ、各ライトフィールド光線４Ｄ光線空間内の点（ｘ_１、ｙ_１，ｘ_２，ｘ_２）∈Ｒ^４として表される。

例えば、基準座標系の原点は、座標軸系ｉ_１ ^→、ｊ_１ ^→の基底ベクトルによって生成された平面Ｐ_１の中心に置くことができる。ｋ^→軸は、生成された平面Ｐ_１に対して垂直であり、第２の平面Ｐ_２は、単純化のため、平面Ｐ_１からｋ^→軸に沿って距離ｚ＝Δに配置することができる。６つの異なる伝搬方向を考慮に入れるために、ライトフィールド全体は、そのような平面の６つのペアによって特徴付けられてもよい。ライトスラブ（ｌｉｇｈｔ ｓｌａｂ）と呼ばれることが多い一対の面は、伝搬方向に沿ってライトフィールドカメラのセンサまたはセンサアレイと相互作用するライトフィールドを特徴付ける。

パラメータ化のための基準面の位置は、ｘ_０ ^→＝ｄｎ^→ように与えられる。ここで、ｎ^→は法線であり、ｄはその法線の方向に沿った３Ｄ座標系の原点からのオフセットである。

パラメータ化のための基準面のカーテシアン方程式は、ｎ^→｛ｘ^→−ｘ_０ ^→｝＝０のように与えられる。

ライトフィールドは既知の位置ｘ_ｉ ^→（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と、規格化された伝搬ベクトルｕ^→（ｕ_１，ｕ_２，ｕ_３）とを有する場合、３次元における光線の一般的な伝搬方程式は、ｘ^→＝ｔｕ^→＋ｘ_ｉ ^→で与えられる。

ライトフィールド光線と基準面との間の交点ｘ_１ ^→の座標は、

で与えられる。

以下の条件（ｘ_１ ^→−ｘ_０ ^→）ｕ^→＞０が満たされない場合、ライトフィールド光線と基準パラメータ化との間に交点は存在しない。

ライトフィールドをパラメータ化するために使用される一対の基準平面の、系の軸の１つとの直交性により、光線交差の成分の１つは各平面に対して常に一定である。したがって、ライトフィールド光線の第１の基準面との交点ｘ１^→と、第２の基準面との前記ファイトフィールドとの交点ｘ２^→とがある場合、４つの座標が変化し、方程式Ａを使用して、ライトフィールドの４つのパラメータを計算することができる。これらの４つのパラメータを使用して、ライトフィールドの４Ｄ図を構成することができる。

２つのパラメータ化基準平面を参照して、ライトフィールドのパラメータ化を仮定すると、ライトフィールドを表すデータは、以下のように得られる。図７に示すように基準系が設定されている場合、第１のパラメータ化平面Ｐ１はｚ＝ｚ_１でｚ軸に垂直であり、第２のパラメータ化平面Ｐ２はｚ＝ｚ_２でｚ軸に垂直に配置され、ライトフィールドパラメータがＬ（ｘ_１；ｙ_１；ｘ_２；ｙ_２）である光線は、ライトフィールドカメラのフォトセンサアレイが配置されている位置ｚ＝ｚ_３にレンダリングされる。式（Ａ）から：

上の式を展開すると、

両方の式のセットは、新しい場所にレンダリングされたライトフィールド光線と同じ点ｘ_３ ^→となる必要がある。ｕ_ｘ；ｕ_ｙ；ｕ_ｚをｘ_１ ^→とｘ_２ ^→の関数として対応する式で置き換えることによって、前のブロックからの第２の式のセットが使用され、ｘ_３とｙ_３が一緒に加算される場合、

次の式

が得られる。

添え字３の座標は、ライトフィールドがレンダリングされる既知の点（ｘ_３、ｙ_３、ｚ_３）に関する。すべての深さ座標ｚｉは既知である。パラメータ化平面は、伝播またはレンダリングの方向にある。ライトフィールドデータパラメータＬは、（ｘ_１、ｙ_１、ｘ_２、ｙ_２）である。

点（ｘ_３、ｙ_３、ｚ_３）で像を形成するライトフィールド光線は、Ｒ^４の超平面を規定する式（Ｂ）によってリンクされる。
これは、２面のパラメータ化されたライトフィールドから画像をレンダリングする場合、超平面近傍の光線のみをレンダリングすればよいので、トレースする必要がないことを意味する。図８Ａは、本発明の１つ以上の実施形態による、ライトフィールドを表すデータを生成する方法のステップを示すフローチャートである。図８Ｂは、本発明の１つ以上の実施形態によるライトフィールドを表すデータを生成するシステムの主要モジュールを概略的に示すブロック図である。

方法の予備ステップＳ８０１では、カメラのセンサのピクセルに関連付けられた異なるピクセルビームを規定するパラメータが、カメラを較正することによって、またはリモートサーバまたはカメラのメモリ２９０やカメラに接続されたフラッシュディスクのようなローカルストレージに格納されたデータファイルから、このようなパラメータを読み出すことによって、取得される。

そのようなパラメータは、異なるピクセルビームの主光線の座標であり、カメラの較正中に各ピクセルビームについて得られる瞳の前にあるピクセル共役の位置およびサイズを規定するパラメータｚｐとａである。ピクセルビームの主光線は、ｗａｉｓｔの中心とピクセルビームを支持する瞳の中心を通る直線である。別の予備的なステップＳ８０２において、ライトフィールドカメラ８０１によって生ライトフィールドデータが取得される。生ライトフィールドデータは、例えば、図３を参照して説明したようなミクロ画像の形式であってもよい。ライトフィールドカメラは、図１Ａ又は図１Ｂ及び図２Ａ及び図２Ｂに示すようなライトフィールドカメラ装置であってもよい。

ステップＳ８０３において、取得されたライトフィールドデータは、光線パラメータモジュール８０２によって処理され、ピクセルビーム４０，５０の主光線に対応する、それぞれの深度ｚ_１、ｚ_２におけるパラメータ化Ｐ_１、Ｐ_２のための一対の基準面との、取得された光線の交点を確定する交点データ（ｘ_１、ｙ_１、ｘ_２、ｙ_２）を提供する。

カメラの較正から、次のパラメータ：投影中心（ｘ_３、ｙ_３、ｚ_３）、カメラの光軸の向き、およびカメラのピンホールからフォトセンサの平面までの距離ｆを決定することができる。ライトフィールドカメラパラメータを図９に示す。フォトセンサ平面は深さｚ_ｐに位置する。フォトセンサのピクセル出力は、ライトフィールド光線の幾何学的表現に変換される。２つの基準平面Ｐ_１およびＰ２を含むライトスラブは、カメラのフォトセンサへの投影中心の他方の側で、それぞれｚ_３を越えて深さｚ_１およびｚ_２に配置される。光線に三角原理を適用することによって、マイクロレンズのアレイから投影された光を記録するピクセル座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）を、次の式

を適用することにより光線パラメータに、すなわち基準面交点（ｘ_１、ｙ_１、ｘ_２、ｙ_２）にマッピングできる。

上記の計算は、異なる組のトリプレット（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）（ｘ_３、ｙ_３、ｚ_３）を有する複数のカメラに拡張することができる。

プレノプティックカメラの場合、アパーチャを有するカメラモデルを用いて、ライトフィールド光線を、位相空間において原点（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）および方向（ｘ'_３、ｙ'_３、１）を有するものとして記述する。深度ｚ_３の平面（ｘ_３、ｙ_３）への伝播は、行列変換として記述することができる。レンズは、光線を屈折させるＡＢＣＤマトリックスとして作用し、別のＡＢＣＤ伝播マトリックスは、光線をライトスラブ基準面Ｐ_１およびＰ_２上にもたらす。

このステップから、基準面Ｐ_１、Ｐ_２とのライトフィールド光線の交点を幾何学的に規定する交点データ（ｘ_１、ｙ_１、ｘ_２、ｙ_２）が得られる。

ステップＳ８０４において、２Ｄ線は、光線図生成モジュール８０３によって交点データ（ｘ_１、ｙ_１、ｘ_２、ｙ_２）をグラフィック表示する光線図を得る。

図１０は、位置ｘ_３＝２および深さｚ_３＝２にあるアパーチャ｜Ａ｜＜０．５のカメラによって取得されたライトフィールド光線の交点データ（ｘ_１、ｘ_２）をグラフ的に表す２Ｄ光線図である。パラメータ化に使用される光線図のデータ線は、２５６×２５６ピクセルの画像を提供する２５６個のセルによってサンプリングされる。

図１０に示す光線図を行列として解釈する場合、それはスパース（ｓｐａｒｓｅｌｙ ｐｏｐｕｌａｔｅｄ）であることがわかる。光線を、４Ｄ位相空間行列ではなく、ファイルに個別に保存する場合は、これは、角光線について、各位置ｘ_ｉまたはｘ_３について少なくとも２バイト（ｉｎｔ１６）、色に対ついてさらに３バイトを保存する必要があり、つまり２Ｄスライスライトフィールドの場合は光線あたり７バイト、フル４Ｄ表示の場合は光線あたり１１バイトを保存する必要がある。それでも、光線はファイル内にランダムに格納され、これは表現を操作する必要があるアプリケーションには適していない可能性がある。本発明の発明者らは、光線図マトリックスから代表データのみを抽出し、そのデータを構造化された方法でファイルに格納する方法を見いだした。

ライトフィールド光線は２Ｄ光線図のデータ線に沿ってマッピングされるので、線の値そのものではなくデータ線を確定するパラメータを格納する方が効率的である。例えば、傾斜を定めるパラメータｓおよび軸切片ｄのようなデータラインを確定するパラメータを、そのデータラインに属する一組のライトフィールド光線とともに記憶してもよい。

これには、例えば、傾斜パラメータｓのために２バイト、切片パラメータｄのために２バイト、次にレイのために３バイトしか必要としない可能性がある。行列セルを介してラインを設定するために、いわゆる線が最小誤差で近似するデジタルラインが生成される。

データ線の位置を突き止め、パラメータｓおよび交点パラメータｄを得るために、ステップＳ８０５において、ステップＳ８０４において生成された光線図上の光線検出モジュール８０４によってラドン変換が実行される。

得られた傾斜パラメータｓおよび切片パラメータｄから、ステップＳ８０６において、デジタルライン生成モジュール８０５によって代表デジタルラインが生成される。このステップでは、例えば、Ｂｒｅｓｅｎｈａｍアルゴリズムを適用することによって、解析線をその最も近い格子点に近似することによって、デジタル線が生成される。事実、Ｂｒｅｓｅｎｈａｍアルゴリズムは、最小限の演算でデジタルラインを提供する方法を提供する。他の方法は、高速離散ラドン変換計算を適用することができる。Ｂｒｅｓｅｎｈａｍアプリケーションの一例は、次のリファレンスから受け入れたものである：ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｈｅｌｓｉｎｋｉ．ｆｉ／ｇｒｏｕｐ／ｇｏａ／ｍａｌｌｉｎｎｕｓ／ｌｉｎｅｓ／ｂｒｅｓｅｎｈ．ｈｔｍｌ。

デジタルフォーマットは、グリッド（０、ｄ）と（Ｎ−１、ｓ）の２点でデータラインを確定する。ｄは、ｘ_１＝０のときのｘ_２の値に対応する切片であり、ｓは、ｘ_１＝Ｎ−１のときのｘ_２の値に対応する傾斜パラメータである。生成されたデジタルフォーマットから、個々のラインの傾斜ａが、

の関数として表される。ここで、ｓ∈｛０，１，．．．，Ｎ−１｝及びｄ∈｛０，１，．．．，Ｎ−１｝である。

図１１は、Ｂｒｅｓｅｎｈａｍアルゴリズムの適用によって生成されるデジタルラインの例を示す。

図１２は、同じ傾斜ａ（またはｓ−ｄ）を有するが、異なる切片ｄを有するデジタルラインのグループを示し、データラインのグループは連続している。データラインのグループは、本明細書ではラインのバンドルと呼ばれ、カメラが理想的なピンポイントではないことに起因するビームに対応する。各ラインは異なるピクセルをアドレス指定する。言い換えれば、１つのピクセルは、同じ傾きを持ち、異なる切片を持つバンドルのユニークな線にのみ属する。軸の切片ｄの上下の境界はそれぞれｄ_ｍａｘとｄ_ｍｉｎとして与えられる。

サンプリングされた（２Ｄの）線のペアによりパラメータ化された、１つのカメラに属する光線データは、データを表すために使用される位相空間内のデジタル線（ビーム）のファミリーに属する。ビームのヘッダは、傾きａと、軸の切片の上下の境界ｄ_ｍａｘ−ｄ_ｍｉｎにより確定されるビームの厚さを単純に含めることができる。光線値は、ヘッダがｄおよびｓのデジタル線に沿ってＲＧＢ色として格納される。サンプリングされた空間内の光線図の空洞は保存する必要はない。光線の座標ｘ_１；ｘ_２は、パラメータｄ、ｓおよびデジタルラインに沿ったセルの位置から導き出すことができる。
ライトフィールドまたはカメラのジオメトリから推定されるパラメータは、傾斜ａと、デジタルライン（ｄ_ｉ，ｓ_ｉ）である。離散ラドン変換は、既に光線図（ｒａｙ ｄｉａｇｒａｍ）内のライトフィールドのサポート位置を測定するツールとして説明した。

図１３Ｂは、図１３Ａのデータラインのデジタルラインパラメータ空間（ｄ，ｓ）における離散ラドン変換（ｄｉｓｃｒｅｔｅ Ｒａｄｏｎ ｔｒａｎｓｆｏｒｍ）を示す。図１３Ｃは、図１２Ｂに含まれる関心領域のズームである。デジタルラインのビームは、最大値パラメータの探索によって位置付けられる。ＤＲＴの幾何学的対称中心と画像コンテンツによる最大の実際の位置との間に、ある程度のオフセットが存在することがあり、後で、最大値ではなく対称中心をピンポイントするアルゴリズムが使用される。次に、図１３Ｃに示すビーム変換のｗａｉｓｔは、値（ｄ_ｍｉｎ，ｄ_ｍａｘ）を与えることを見ることは容易である。点（ｄ_ｍｉｎ＝７４，ｓ＝２０１）は、図１２Ａからのデジタルラインのビームの下側エンベロープであり、点（ｄ_ｍａｘ＝８１，ｓ＝２０８）は、デジタルラインのビームの上側エンベロープである。

方程式Ｂからの２つの直交する２Ｄスライス空間の方程式は、

で与えられる。

ｘ_ｉ座標の２Ｄスライスをとると、（ｘ_３，ｙ_３，ｚ_３）においてサイズＡのアパーチャを通る光線データがマップされる線のビームの方程式は、

で与えられる。

同様に、ｙｉ座標に対して２Ｄスライスが撮られると、

前に説明したように、ｍおよびｄ_ｍａｘｘ、ｄ_ｍｉｎｘ、ｄ_ｍａｘｙ、ｄ_ｍｉｎｙの値は、離散領域で評価されて、前述のフォーマットによって定義されたライトフィールドの特性を定位することができ、４Ｄ離散ラドン変換を実行する必要はない。２つの直交する２Ｄ ＤＲＴが得られれば、ハイパープレーンの傾きｍと、４Ｄ光線図にすべてのデータが集中するデジタルハイパープレーンのビーム幅との測定を行うことができます。

このより単純な位置手順は、円形入射瞳Ａを仮定して、ｄ_ｍａｘｘ、ｄ_ｍｉｎｘ、ｄ_ｍａｘｙ、ｄ_ｍｉｎｙがすべてのハイパープレーン切片を包含するように、フォーマットに書かれたいくつかの値は値を含まない。

２Ｄの場合に提案されたものと同様の４Ｄの場合のフォーマットを得ることは興味深い。そうするため、Π（ｘ_１，ｘ_２）平面上にある２Ｄ線を、Π（ｙ_１，ｙ_２）で見つかった線、すなわち、対応するハイパープレーンとΠ（ｘ_１，ｘ_２）とΠ（ｙ_１、ｙ_２）の２つの直交するスライスとの交差の結果である線とを関連付けることは興味深い。式ＤおよびＥから、対応するラインは同じ傾きｍを有することが知られている。これは、カメラのある深度にあるΠ（ｘ_１，ｘ_２）中の線を、Π（ｙ_１，ｙ_２）中の線と関連付ける第１のパラメータである。同じ深度に複数のカメラがある場合（すなわち、図１３Ａの場合）、Π（ｘ_１，ｘ_２）には３つのラインがあり、Π（ｙ_１，ｙ_２）には３つのラインがあり、推定された傾きｍは同じである。次に、これらの２つのプレーン内のライン間のラインオフセットにおける対応関係が決定される。これを行うために、式ＤおよびＥにおける線の定式化が利用される。特に、

とすると、オフセットは

及び

の通りである。

この連立方程式はｋ、ｘ_３及びｙ_３について解くことができる。（ｘ_３，ｙ_３，ｚ_３）はカメラの座標、すなわち、言いかえると、対応する光バンドルが半径Ａの円に集バンドルされるボクセルに対応することに留意されたい。ｚ_３に位置する平面上のアパーチャは円形であり、そのためｄ_ｍａｘｘ−ｄ_ｍｉｎｘ＝ｄ_ｍａｘｙ−ｄ_ｍｉｎｙ＝２ｋＡであり、上記の連立方程式を解くと

となる。

デジタルラインは前述の通り、Ｂｒｅｓｅｎｈａｍデジタルラインを用いて、Π（ｘ_１，ｘ_２）上でスキャンできる。各（ｘ_１，ｘ_２）の値について、ライトフィールドにおいて取得される対応する（ｙ_１、ｙ_２）の値が格納される。かかる値を見いだすため、式Ｃを利用する。以下はすべて式Ｆ及びＧ、ｘ_３；ｙ_３；ｚ_３；ｚ_１；ｚ_２から知られているか、推定される。

Π（ｘ_１，ｘ_２）の各ラインから動かして、各（ｘ_１ ^ｑ、ｘ_２ ^ｑ）について、（ｙ_１，ｙ_２）の次の関係

が得られる。

Π（ｘ_１，ｘ_２）の各点に対して、Π（ｙ_１，ｙ_２）のラインの集まりが保存される。ｄ_ｏｆｆは（ｘ_１ ^ｑ、ｘ_２ ^ｑ）についてスキャン及び保存されたラインのオフセットに対応する。留意点として、

である
図１２を参照して、各四角形は（ｘ_１ ^ｑ、ｘ_２ ^ｑ）ポイントであり、これらのポイントのそれぞれについて、式

により規定されるデジタルバンドルに沿って、図示したデータラインに垂直な、しかし４Ｄ空間における、図の平面から出る一組のＢｒｅｓｅｎｈａｍデジタルラインがある。

カメラごとのデータラインのバンドルの例示的データフォーマットを表１に示す。

第１に、４Ｄ空間の一般的メタデータが提供される。これは４軸ｘ_１、ｘ_２，ｙ_１，ｙ_２の境界と対応するそれらのサンプリングとを含む。カメラ（バンドル）の数も提供される。各カメラｊについて、次のパラメータが保存される：
アパーチャサイズ：Ａ_ｊ、これはピクセルビームの瞳の直径に対応する、
カメラの焦点：ｃａｍ_ｊ； ｆｏｃｕｓＰｏｉｎｔ＝（ｕ_３，ｕ_３，ｗ_３）
（ｘ１_ｘ，２）＝ｄ_ｊにおける最低ｄ切片
傾き＝ｍ_ｊ
（ｘ_１，ｘ_２）＝ｌ_ｊ ^ｘにおけるデジタルライン数
（ｘ_１，ｘ_２）＝ｌ_ｊ ^ｘｙにおけるデジタルライン数
各カメラで、各（ｘ^ｑ _１；ｘ^ｑ _２）に対して、Ｂｒｅｓｅｎｈａｍデジタルラインを使用して式（Ｋ）に対して（ｙ_１、ｙ_２）で走査が開始され、各ライトフィールド光線のＲＧＢ値が保存される。特にｙ_３ ^＊−Ａないしｙ_３ ^＊＋Ａおよび対応するｄ_ｏｆｆは、式（Ｋ）に従って計算される。

ライトフィールド光線はピクセルビームの主光線に対応するので、与えられたピクセルビームのパラメータｚ_ｐ、ａの値は、対応するライトフィールド光線のＲＧＢ値と並んで、表１に示すように格納される。これらの２つのパラメータは浮動小数点数として格納されるため、カメラごとのデータラインのバンドルのデータフォーマットがはるかに大きくなる。実際、表１において、各光線は３バイトを占め、パラメータｚ_ｐ、ａはそれぞれ４バイトを占める。よって、パラメータｚ_ｐ、ａは、グローバルファイルサイズに大きく影響する。

記憶スペースの量を減らすために、これらの２つのパラメータｚ_ｐ、ａは、例えば、ライトフィールドデータフォーマッティングモジュール２５０によって実行され、図１５Ａおよび１５Ｂに表される以下の方法に従って符号化される。

浮動小数点数は仮数とも呼ばれる有効桁と、指数を使用するスケールとで表され、浮動項は、仮数中で浮動できる基数またはカンマ記号からできている。

従って、表１に示すように、カメラ毎のデータラインのバンドルのデータフォーマットに格納された浮動小数の数を減少させるために、開始値を基準にして数値のインクリメントを符号化することが提案される。正または負のいずれかの数の変動は、−２５４から＋２５５まで、例えば５１２レベルで符号化される。本発明の他の実施形態では、数の変化を２５６または１２８レベルで符号化することができる。インクリメントの値は、パラメータの値および変動に応じて調整される。

したがって、ステップＳ１５０において、初めの浮動小数点数が基準として使用され、これは、例えば、カメラのピクセルビームの集まりのうち第１のピクセルビームのパラメータｚｐの第１の値である。

本発明の一実施形態では、ステップＳ１５１の間に、ピクセルビームの集まりにおける別のピクセルビームのｚｐパラメータの第２の値を表す第２の浮動小数点数と、パラメータｚｐの第１の値との差分が計算される。パラメータｚｐの第２の値と第１の値とは、ライトフィールドを表すデータストリームにおける連続的な浮動小数である。この差は、テーブル１に、パラメータｚｐの第２の値の代わりに記憶される。ピクセルビームを規定するパラメータが順次的な空間的角度的な方法で（ａｎ ｏｒｄｅｒｅｄ ｓｐａｔｉｏ−ａｎｇｕｌａｒ ｍａｎｎｅｒ）記憶されるので、同じパラメータの２つの連続する値は非常に少量だけ変化する。

ステップＳ１５２の間に、ピクセルビームの集まりにおける別のピクセルビームのｚ_ｐパラメータの第３の値を表す第３の浮動小数点数と、パラメータｚ_ｐの第２の値との差分が計算される。本発明の一実施形態では、パラメータｚ_ｐの第３の値および第２の値は、ライトフィールドを表すデータストリーム内の連続する浮動小数である。すなわち、例えば同じパラメータの異なる値が、例えば、ＲＧＢ、ＲＧＢ、．．．、ｚ、ｚ、．．．、ａ、ａ、．．．．．などのデータストリームにグループ分けされる。本発明のこの実施形態では、「収縮（ｄｅｆｌａｔｅ）」と呼ばれる方法を使用してデータを圧縮する方が簡単であり、その例はｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＤＥＦＬＡＴＥに記載されている。この差は、テーブル１に、パラメータｚｐの第３の値の代わりに記憶される。

これらのステップＳ１５１、Ｓ１５２は、カメラのピクセルビームの集まりを表すパラメータｚｐの値に対して実行される。パラメータａの値の同じステップが実行される。

データストリームを同期させ、異なるパラメータの符号化された値がピクセルビームを表すことを確実にするために、ステップＳ１５３において、ｚ_ｐパラメータの第４の値が、２つの連続する値の間の差としてではなく、浮動小数として格納される。ステップＳ１５３は、例えば１００個の浮動小数点数数ごとに実行される。

本発明の他の実施形態では、ステップＳ２５０において、初めの浮動小数点数が基準として使用され、これは、例えば、カメラのピクセルビームの集まりのうち第１のピクセルビームのパラメータｚ_ｐの第１の値である。

ステップＳ２５１の間に、ピクセルビームの集まりにおける別のピクセルビームのｚ_ｐパラメータの第２の値を表す第２の浮動小数と、パラメータｚ_ｐの第１の値との差分が計算される。本発明の一実施形態では、パラメータｚ_ｐの第２の値および第１の値は、ライトフィールドを表すデータストリーム内の連続する浮動小数である。すなわち、例えば同じパラメータの異なる値が、例えば、ＲＧＢ、ＲＧＢ、．．．、ｚ、ｚ、．．．、ａ、ａ、．．．．．などのデータストリームにグループ分けされる。本発明のこの実施形態では、「収縮（ｄｅｆｌａｔｅ）」と呼ばれる方法を使用してデータを圧縮する方が簡単であり、その例はｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＤＥＦＬＡＴＥに記載されている。この差は、テーブル１に、パラメータｚｐの第２の値の代わりに記憶される。

ステップＳ２５２の間に、ピクセルビームの集まりにおける別のピクセルビームのｚ_ｐパラメータの第３の値を表す第３の浮動小数点数と、パラメータｚ_ｐの第１の値との差分が計算される。この差は、テーブル１に、パラメータｚｐの第３の値の代わりに記憶される。

これらのステップＳ２５１、Ｓ２５２は、カメラのピクセルビームの集まりを表すパラメータｚｐの値に対して実行される。したがって、パラメータｚｐの各値に対して、基準値であるパラメータｚｐの第１の値との差が計算され、表１に格納される。パラメータａの値の同じステップが実行される。

データストリームを同期させ、ピクセルビームを表す異なるパラメータの符号化された値が信頼できることを確実にするために、ステップＳ２５３において、ｚ_ｐパラメータの第４の値が、パラメータｚｐの２つの連続する値の間の差分としてではなく、浮動小数として格納され、パラメータｚ_ｐの対応する値の代わりに表１に格納される差分を計算するための新しい基準とみなされる。ステップＳ２５３は、例えば１００個の浮動小数点数ごとに実行される。

この方法は、連続する２つの浮動小数点数の変化が小さいという主張、Ｆｔ＋１＝Ｆｔ＋εという主張に依存する。この小さな差εは８ビットで符号化される。本発明の他の実施形態では、差分は、４ビット、１２ビットまたは１６ビットで符号化することができる。これにより、デバイスおよびネットワーク帯域幅に使用されるメモリを最適化できる。

同じ計算が、格納されたメタデータを使用する復号化ステップにおいて実行される。特に、式（Ｈ）を用いてｋを求める。従って、フォーマットはコンパクトなままである。システム内の各光線のために４つのインデックスを格納したり、ピクセルビームを確定するパラメータのために２つの浮動小数点数を格納したりする必要はなし。上のハイパープレーンのサンプリングは、４Ｄ光線空間のサンプリングであり、従って、ｘ１；ｙ１；ｘ２；ｙ２の位置はどれもミスできないことに留意されたい。これは、すべてのデータを非常にコンパクトな形で保存するための４Ｄ光線空間の系統的スキャンの一例に過ぎない。もちろん、他のプロセスを適用してもよい。パラメトリック形式は、交互的空間探査を可能にするため、ハイパープレーンを探索するように適応されているようである。

複数のカメラが、いくつかのハイパープレーンバンドル（複数のカメラなのでラドン変換にはいくつかの最大値がある）を含むデータを処理する場合、より複雑なアルゴリズムを使用することができる。前処理ステップとして、Π（ｘ１，ｘ２）のラドン変換のすべてのピークについてパラメータ（ｍ、ｋ）を求め、１つのセットに入れる。同じことが（ｙ１、ｙ２）のピークに対して行われ、パラメータは別のセットに入れられる。グリーディアルゴリズムの各反復では、（ｘ_１、ｘ_２）の２Ｄラドン変換において最大ピーク強度が見出され、以前に見つかったパラメータ（ｍ、ｋ）をマッチングすることによって、（ｙ_１、ｙ_２）における対応するピークが見いだされる。最後のセクションで述べたようにデータを保存した後、これらのピークはラドン変換から消去され、次の反復が開始され、ライトフィールドには意味があるものが残っていなくなるまで続けられる。
本発明を特定の実施形態を参照して上で説明してきたが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲内にある当業者には明らかである。

当業者は、前記の例示的な実施形態を参照すれば、さらに別の多数の修正や変更に想到
するだろう。実施形態は、本発明の範囲を限定することを意図したものではなく、単に例
示的なものである。本発明の範囲は、添付の請求項のみにより決まる。特に、適切であれ
ば、異なる実施形態の異なる特徴を交換し得る。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成する、コンピュータにより実施される方法であって、光線のセットにより占められるボリュームはピクセルビームと呼ばれ、方法は、
光線の集まりを取得するステップであって、集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータがピクセルの共役を確定する、ステップと、
ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得するステップであって、基準面は互いに平行であり、オブジェクト空間における異なる深度に対応する、ステップと、
２次元光線図において交点データの図式的表現を規定する光線図パラメータを取得するステップと、
光線図パラメータを、ピクセルの共役を確定する少なくとも１つのパラメータと関連付け、ピクセルビームを表すデータを提供するステップとを含む、
方法。
（付記２）
ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化するステップであって、差分は光線図パラメータに関連付けられ、ピクセルビームを表すデータを提供する、ステップをさらに含む、
付記１に記載の方法。
（付記３）
ピクセルビームを表す光線に対応する交点データは、光線図においてデータラインとして図式的に表現され、光線図パラメータは、
データラインの傾斜、及び
データラインの、前記光線図の軸との切片
のうち少なくとも１つを表すデータを含む、
付記２に記載の方法。
（付記４）
データラインは、ラドン変換を適用することにより、２次元光線図において検出される、
付記３に記載の方法。
（付記５）
図式的表現はデジタルデータラインを提供するセルのマトリックスとして提供され、各デジタルデータラインフォーマットは、データラインの軸との交点を表す少なくとも１つの第１のセルと、データラインの傾斜を決定する少なくとも１つの第２のセルとである複数のセルにより確定される、
付記３または４に記載の方法。
（付記６）
各デジタルデータラインはＢｒｅｓｅｎｈａｍアルゴリズムの適用により生成される、 付記５に記載の方法。
（付記７）
ピクセルビームを表すデータは、さらに、ピクセルビームを表す対応する光線の色を表す色データを含む、
付記１ないし６いずれか一項に記載の方法。
（付記８）
ピクセルビームを表すデータはメタデータとして提供され、メタデータのヘッダは、２次元光線図における交点データの図式的表現を確定する光線図パラメータを含み、メタデータのボディは、光線の色を表すデータと、オブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む、
付記７に記載の方法。
（付記９）
光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成するデバイスであって、光線のセットにより占められるボリュームはピクセルビームと呼ばれ、デバイスはプロセッサを有し、プロセッサは、
光線の集まりを取得し、集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータがピクセルの共役を確定し、
ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得し、基準面は互いに平行であり、オブジェクト空間における異なる深度に対応し、
２次元光線図において交点データの図式的表現を規定する光線図パラメータを取得し、
光線図パラメータを、ピクセルの共役を確定する少なくとも１つのパラメータと関連付け、ピクセルビームを表すデータを提供する、
デバイス。
（付記１０）
プロセッサは、さらに、
ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化し、差分は光線図パラメータに関連付けられ、ピクセルビームを表すデータを提供する、
付記９に記載のデバイス。
（付記１１）
規則的な格子構造で構成されたマイクロレンズアレイと、
マイクロレンズアレイから投影された光をキャプチャするように構成されたフォトセンサであって、複数のピクセルのセットを有し、各ピクセルセットはマイクロレンズアレイのそれぞれのマイクロレンズに光学的に関連付けられている、フォトセンサと、
付記９に記載のメタデータを提供するデバイスとを有する、
ライトフィールドイメージングデバイス。
（付記１２）
付記１ないし８いずれか一項に記載の方法により取得されたライトフィールドデータから画像をレンダリングするデバイス。
（付記１３）
光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを含むデジタルファイルであって、光線のセットにより占められるボリュームはピクセルビームと呼ばれ、データは、
ピクセルビームを表す光線の交点データの２次元光線図における図式的表現を確定する光線図パラメータであって、交点データはピクセルビームを表すライトフィールド光線の、複数の基準面との交点を確定し、基準面は互いに平行であり、オブジェクト空間における異なる深度に対応する、光線図パラメータと、
ピクセルビームを表すライトフィールド光線の色を確定する色データと、
光学的撮像システムのオブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む、
デジタルファイル。
（付記１４）
付記１ないし８いずれか一項に記載の方法により得られた、付記１３に記載のデジタルファイル。
（付記１５）
プログラマブル装置のコンピュータプログラムであって、プログラマブル装置にロードされ実行されたとき、付記１ないし８いずれか一項に記載の方法を実施する命令シーケンスを含む、コンピュータプログラム。

Claims (15)

1. 光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成する、コンピュータにより実施される方法であって、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記方法は、
   光線の集まりを取得することであって、前記集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータが前記ピクセルの共役を確定する、ことと、
   前記ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得することであって、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応する、ことと、
   ２次元光線図において前記交点データの図式的表現を規定する光線図パラメータを取得することと、
   前記光線図パラメータを、ピクセルの共役を確定する前記少なくとも第１のパラメータと関連付け、前記ピクセルビームを表すデータを提供することとを含む、
   方法。
2. 前記ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化することであって、前記差分は前記光線図パラメータに関連付けられ、前記ピクセルビームを表すデータを提供する、ことをさらに含む、
   請求項１に記載の方法。
3. 前記ピクセルビームを表す光線に対応する交点データは、光線図においてデータラインとして図式的に表現され、前記光線図パラメータは、
   データラインの傾斜、及び
   データラインの、前記光線図の軸との切片
   のうち少なくとも１つを表すデータを含む、
   請求項２に記載の方法。
4. 前記データラインは、ラドン変換を適用することにより、前記２次元光線図において検出される、
   請求項３に記載の方法。
5. 前記図式的表現はデジタルデータラインを提供するセルのマトリックスとして提供され、各デジタルデータラインフォーマットは、前記データラインの軸との交点を表す少なくとも１つの第１のセルと、前記データラインの傾斜を決定する少なくとも１つの第２のセルとである複数のセルにより確定される、
   請求項３または４に記載の方法。
6. 各デジタルデータラインはＢｒｅｓｅｎｈａｍアルゴリズムの適用により生成される、 請求項５に記載の方法。
7. 前記ピクセルビームを表すデータは、さらに、前記ピクセルビームを表す対応する光線の色を表す色データを含む、
   請求項１ないし６のうち何れか一項に記載の方法。
8. 前記ピクセルビームを表すデータはメタデータとして提供され、前記メタデータのヘッダは、２次元光線図における交点データの図式的表現を確定する光線図パラメータを含み、前記メタデータのボディは、光線の色を表すデータと、前記オブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む、
   請求項７に記載の方法。
9. 光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成するデバイスであって、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記デバイスはプロセッサを有し、該プロセッサは、
   光線の集まりを取得し、前記集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータが前記ピクセルの共役を確定し、
   前記ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得し、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応し、
   ２次元光線図において前記交点データの図式的表現を規定する光線図パラメータを取得し、
   前記光線図パラメータを、ピクセルの共役を確定する前記少なくとも第１のパラメータと関連付け、前記ピクセルビームを表すデータを提供する、
   デバイス。
10. 前記プロセッサは、さらに、
    前記ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化し、前記差分は前記光線図パラメータに関連付けられ、前記ピクセルビームを表すデータを提供する、
    請求項９に記載のデバイス。
11. 規則的な格子構造で構成されたマイクロレンズアレイと、
    前記マイクロレンズアレイから投影された光をキャプチャするように構成されたフォトセンサであって、複数のピクセルのセットを有し、各ピクセルセットは前記マイクロレンズアレイのそれぞれのマイクロレンズに光学的に関連付けられている、フォトセンサと、
    請求項９に記載のメタデータを提供するデバイスと、を有する、
    ライトフィールドイメージングデバイス。
12. 請求項１ないし８のうち何れか一項に記載の方法により取得されたライトフィールドデータから画像をレンダリングするデバイス。
13. 光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを含むデジタルファイルを生成するように構成されたデバイスであって、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記デバイスは、
    ピクセルビームを表す光線の交点データの２次元光線図における図式的表現を確定する光線図パラメータであって、前記交点データは前記ピクセルビームを表すライトフィールド光線の、複数の基準面との交点を確定し、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応する、光線図パラメータと、
    前記ピクセルビームを表すライトフィールド光線の色を確定する色データと、
    前記光学的撮像システムのオブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを生成するように構成されている、デバイス。
14. 請求項１ないし８のうち何れか一項に記載の方法により前記デジタルファイルを生成するように構成されている、請求項１３に記載のデバイス。
15. プログラマブル装置のコンピュータプログラムであって、前記プログラマブル装置にロードされ実行されたとき、請求項１ないし８のうち何れか一項に記載の方法を実施する命令シーケンスを含む、コンピュータプログラム。