JP6001526B2 - ホログラムシステムにおける透過オブジェクトを含む３次元シーンを符号化する方法及び装置 - Google Patents

Description

本発明は、透過オブジェクトを含む３次元シーンのオブジェクト点の符号化値の計算方法に関する。また本発明は、該方法が実装された計算ユニットに関する。

方法は、ホログラム表示システムあるいはホログラム製品（ハードコピー）用の、コンピュータにより生成されたホログラムの計算に適用されうる。また、体積ディスプレイのような、オブジェクト点が空間内に交互に配置されて表示される、他の３次元表示システムに用いられうる。

一般的に、本発明は可視スペクトル範囲よりも、他の波長範囲に用いられうる。常に少なくとも２つのアンテナが、放射電磁波が互いに干渉しうる干渉性放射を行うようなアンテナアレイとともに、例えば電波望遠鏡により受信された宇宙線の空間解析との関連で、電磁スペクトルをシミュレート及び再現するために方法は用いられうる。このようなシミュレーションや再現において用いられるスペクトル範囲は、解析されるスペクトル範囲に対応する必要はないが、変換を経て該範囲に具現されうる。

また本発明は、電磁スペクトルよりも、例えば音波のような他のメディアに適用されうる。常に少なくとも２つの音声生成手段が、放射された音波が互いに干渉しうる干渉波を放出するように制御される音声生成手段のアレイとともに、３次元音場をシミュレート及び再現するために用いられてよい。本発明は、可聴音声周波数範囲に限定されるべきではない。音場は吸音特性を有するオブジェクトを含む３次元シーンの音声値の、空間的及び時間的な変更を含む。方法及び計算装置は、小規模空間に限らず、大規模環境におけるノイズを低減するための逆位相音声を生成するために用いられうる。

方法は、非光学的性質の他の空間分布の表示及び解析に用いられうる。物理的な及びその他のパラメータの３次元分布は、透過値、３次元オブジェクト、及び光源（着色像化）に具現化される。例えば様々なトモグラフィー手法、３Ｄ超音波検査、あるいはワークピース内の機械的応力分布の視覚化あるいは解析にも可能であることが好ましい。

本特許明細書に係るホログラム表示システムは（以下単純にホログラムシステムとしても示される）は、再現されるシーンの３次元オブジェクトデータが再現されるシーンの回折パターンの形式で符号化された３次元オブジェクトデータのための表示装置である。特に、回折パターンの計算は、ここでは符号化として説明され、このような多くの符号化方法は既知である。

符号化は、全てのオブジェクト点の情報の集合ホログラムを生成することにより実現されるが、このことは特に高解像度表示システムにおいては、高い計算負荷を容易に引き起こしうる。

更なる方法によれば、ホログラムは計算負荷を最小化するために、同サイズの隣接している領域（ホゲル（hogels））の各々に分割される。故に、各領域は、使用される空間光変調器（ＳＬＭ）の同一数のセルと対応する。各ホゲルは、多数のオブジェクト点及び多数の回折角（ホゲルベクトル）の情報を有する。単純化は、あらかじめ計算された回折パターンが、ホゲルを計算する際にルックアップテーブル（ＬＵＴ）から取得されることで実現される。

あるいは、計算はサブホログラムの形式で、個々のオブジェ句点について独立して実行されうる。サブホログラムの各々は、再現に用いられる光学的光変調器（または空間光変調器ＳＬＭ）の変調面のサブ領域にのみ書き込まれる。個々のサブホログラムは、オブジェクト点の位置に応じて、変調面において一部がまたは完全に重複しうる。方法は、特に好ましくは、少なくとも１つの手段が１以上の観察者の眼球の動きに割り当てられた１以上の複数の視認領域の追跡を行う、小さい可視領域についてのみホログラムが符号化される場合に適用される。このようなホログラム表示装置は、例えば独国特許発明第１０３５３４３９号明細書、及び国際特許出願第２００６／０６６９１９号明細書において、出願人により開示されている。サブホログラムは、変調面から所望の距離の地点において、所望の輝度、あるいは所望の輝度及び色を有する所望のオブジェクト点に合焦する回折レンズに対応する。凸面レンズの機能は、変調面の前のオブジェクト点の生成に用いられる。凸面レンズの機能は、変調面の後ろの仮想オブジェクト点の生成に用いられる。変調面にあるオブジェクト点は、直接生成される。またレンズ機能は、予め計算され、ルックアップテーブルに格納されうる。回折パターンを符号化する場合、例えばＳＬＭの使用される変調領域の透過性能を考慮しうる追加のパラメータ、光源、及び光軸上の他の光学部品が考慮されうる。またこれは、反転を低減しようとする技術を含む。

多くのディスプレイでは、個々のピクセルは平面ＳＬＭ面に再現されるため、ピクセル化された２Ｄ画像、あるいは少なくとも２つの異なる２Ｄ画像（３Ｄ表示）を有する立体３Ｄ再現は、多くの適用労力を必要とせずに、これらのディスプレイに直接示されうる。必要な適用は主に、表示パネルの解像度に再現される領域をスケーリングすること、及び輝度及び色の表示パネルの階調への適用に関する。３Ｄディスプレイでは、立体再現の複数の視点は、使用される方法に応じて、変調面において時間的及び／または空間的に符号化されなければならない。２Ｄベクトルグラフィック画像は、表示されるよりも前にラスタグラフィック画像に変換されなければならない。

３次元シーンが２Ｄディスプレイあるいは３Ｄディスプレイに再現される前に、あるいはホログラムディスプレイにおいて再現が符号化される前に、視点はシーンのオブジェクトを特性を用いて記述する３次元データレコードから生成されなければならない。これについて、シーン記述の種類、視点及び方向の所望の品質が異なる多くの方法が知られており、これらの視点は実際に生成される。

例えば、３Ｄ ＣＡＤモデルはオブジェクトの幾何学的記述を含み、それは３次元座標系を含む。また、多くの他の物理特性が、不透明オブジェクトの反射性及び放射率、及び透明オブジェクトの屈折率及び吸収率等の光学特性を含むオブジェクトの材質を記述するように定義されうる。一様なオブジェクトについて、これらのパラメータは、境界面についてのみ定義されるのみで十分である。一般的に、これらの特性は空間勾配のみを示すものではなく、波長及び偏光のような１以上の他のパラメータに依ってもよい。

またデータは、体積ピクセルデータの形状で既に存在してもよい。これは、例えば医療応用の場合にしばしば起こる。３Ｄシーンは、既に生成されている場合、個々の空間点や小空間領域（ボクセル）に分割される。

例えば、３Ｄシーンは深度マップを有するピクセル化された２Ｄデータから生成されることも可能である。各ピクセルの参照面への距離は、深度マップに格納される。このようなデータフォーマットは、例えば２Ｄモニタ及び様々な３Ｄ表示装置の両方において提示されるべき動画データに用いられる。しかしながら、追加のデータは、遮蔽オブジェクトを考慮可能なように提供されなければならない。

画像合成の開始において、シーンにおけるオブジェクトの位置を記述するために提供される３次元座標系において生成される各視点について、シーンを記録したカメラ（仮想カメラ）の位置に対応する位置が選択されなければならない。また、画像生成に用いられるＳＬＭの活性化された変調面のシーンにおける仮想位置及び仮想サイズが定義されなければならない。例えばスキャン装置あるいは投影装置が使用される場合、活性化された変調面の仮想サイズは、実際のサイズとは異なり得る。仮想カメラの位置は、観察者の眼球がシーンを知覚する位置及び方向を定義する。該位置は、オブジェクト間あるいはオブジェクト内にあってもよい。焦点距離や視角等の仮想カメラの特性は、仮想倍率において表示される部位を決定する。視覚は、仮想カメラに関するＳＬＭの仮想領域及びその位置により決定される。仮想カメラの位置にいて発生し、ＳＬＭの仮想領域の境界を通過する光束は、視認領域を示す空間を定義する。このピラミッドの外にあるシーンの部位は、表示されない。２Ｄディスプレイにおいて、同様の視点は、透視図のみが可能なように、観察者の眼球の一方について生成される。観察者の一方の眼球に同期して仮想カメラを移動することにより、観察者は画像シーケンス中、シーンを仮想的に動き回ることができ、観察者はディスプレイの前で物理的に移動する必要はない。ディスプレイの前における観察者の眼球の動きがセンサにより検出される場合、仮想カメラの移動はこの情報に基づいて制御されてもよい。さらに、像形成手段は、仮想変調面と観察者の眼球の間に配置されてもよい。これらの像形成手段は、仮想変調面の範囲に含まれてもよい、及び／または仮想カメラの特性で考慮されてもよい。

ホログラムディスプレイにおいて、正しい深度情報は、回折パターンにより生成されうる。これは観察者に、再現を変更する必要なく、再現されたシーンの様々な深度面に合焦する能力（調整）を耐える。故に、ホログラムディスプレイに照らして、仮想カメラよりもむしろ、仮想観察者位置が好ましい。

画像合成の更なる過程において、視認領域内にあるシーンの部位、及び例えばシーンの他の部位の後ろに隠されない、実際に視認可能な部位が決定される。これは、とられる労力が多い、より複雑なシーンあるいはより現実的な所望再現の多段過程であってもよい。シーンにおける光源の材質特性及び位置に応じて、見える、隠れる及び／または視認領域の外に存在するシーンの部位により生成される更なる可視仮想オブジェクト、面、または点を順にもたらしうる、反射、回折、屈折、及び散乱を考慮可能である。

シーンにおける面の外観は、オブジェクトの材質特性（シェーディング）を考慮して計算されうる。これは、例えばオブジェクトの面に対するテクスチャの具現（テクスチャマッピング）を含む。画像合成は非常に複雑な処理であるため、オブジェクト、面、及び個々の像点の外観は、画像合成中に何回か変更しうる。

シーンが構造化された光源を含む場合、面の外観を適用することにより考慮されうる。つまり、計算負荷を最小化するためにしばしば簡易的な照明が用いられる。面の反射性は、しばしば双方向反射分布関数（ＢＲＤＦ：bidirectional reflectance distribution function）を用いて計算される。

再帰的レイトレーシング手法が、シーンの実際の視点を生成するために用いられる。このことは、表示ピクセル及び仮想カメラの位置により定義される光の個々の光路が影響を受けることを意味する。まず、光線がぶつかるオブジェクトの非隠面を貫通する全ての点は、仮想カメラとの距離により決定され、ソートされる。そして集合データは、全ての可視点の外観が取り込まれることを考慮する、対応表示ピクセルの位置において提示される視点を記述するように生成される。集合データが生成されると、取り込まれた全ての透明点、及び存在するなら不透明点の透過特性が次々に考慮される。透過特性は、例えば透過性を決定する材質特性、及び物質における光線により遮蔽される光路長を考慮して決定されうる。これらの材質特性のスペクトル及びスペクトル分布も考慮されうる。

このような方法は、米国特許第７０３０８８７号明細書に開示される。深度情報が格納される複数の深度バッファを用いて、相互に重なり合う透過ピクセルは深度によってソートされる。これは、不透明ピクセルに最も近いピクセルを発見することを可能にする。そして不透明ピクセルに関する該ピクセルの透過効果が計算される。そして、前の透過ピクセルに隣接する透過ピクセルが存在するか否かが判明する。該ピクセルの透過効果は、既に計算された透過効果に関連して計算される。この処理は、全ての重なっている透過ピクセルが考慮されるまで繰り返される。該方法は、１つの輝度値、あるいは１つの輝度値及び１つの色値のみが、表示パネルにおけるピクセルに対応する取り込まれた光線の各々について決定されるという不利点を有する。

音響及び幾何学特性（オーラライゼーション）を考慮して、室内の音場をシミュレートする際も同様の問題がある。このようなシミュレーションは、幾何学モデルにおいて大規模な測定を回避する用途に役立つ。従って、様々な位置、移動、極性パターン、及び音量を有する音源の相互関係、及び室内音響が試験されうる。さらに特定の位置及び形状を有する、空間内の個々のオブジェクトあるいは聴覚情景のオブジェクトも波長特異吸収及び拡散を示す。部屋の音響特性は、再帰的レイトレーシング手法も用いられる多段処理において判明する。また、例えば反射、拡散、及び回折により引き起こされるような仮想音源を考慮することも可能である。計算された聴覚情景は、一般にステレオイヤフォンを介して仮想聴取者の位置において提供される。このとき、東部伝達関数（ＨＲＴＦ）が現実的な聴覚情景について考慮されなければならない。ここでは、イヤフォンを介して提供される集合信号のみが不利点である。仮想部屋における周遊は、聴取者の変更された位置についての聴覚情景を再計算する場合に可能ではあるが、頭部移動後の音声信号の再建さんを行わない現実的な聴覚情景は不可能である。

ホログラムディスプレイあるいは体積ディスプレイにおける、透過オブジェクトを含む３次元シーンを再現する場合の不都合は、請求項１に規定される方法の特徴により、本発明に従って解決される。音響の分野に関しては、請求項８に規定される方法の特徴により、本発明に従って解決される。

本発明に依れば、発明の方法は、請求項１０に規定される特徴を計算する計算ユニットにおいて実現されうる。

また、本発明の好ましい実施形態及び改良は、従属請求項において定義される。

発明に係る方法は、特に透過特性を有するオブジェクトを含む３次元シーン再現用のホログラムシステムの光学的光変調器（ＳＬＭ）について、観察者の少なくとも１つの眼球に対するホログラム符号化値を計算するために用いられうる。方法は、以下の工程を有する。
ａ）３次元シーンを個々のオブジェクト点に分割され、これらのオブジェクト点の座標が決定される。これらの座標について、工程ｄに係るソートが実行されうる、あるいはオブジェクト点の座標はホログラム符号化値の計算において他の目的で用いられてもよい。
ｂ）仮想観察者位置が、３次元シーンが明らかに知覚される、選択された観察者の眼球の位置に対応して決定される。
ｃ）仮想観察者位置から見た際に他のオブジェクトにより完全に遮蔽されない全てのオブジェクトが決定され、符号化される。
ｄ）仮想観察者位置から同一の視角に見える、符号化される全ての可視オブジェクト点が、仮想観察者位置との距離によりソートされる。
ｅ）各可視オブジェクト点の実際の輝度が、仮想観察者位置からの視角における、これらのオブジェクト点の位置でのシーンの全ての現実及び仮想光源の位置及び明度を可能な限り考慮することで、該現実及び仮想光源を含むオブジェクトの物理特性を考慮して決定される。
ｆ）符号化される各可視オブジェクト点について、仮想観察者一で知覚されるオブジェクト点が有する見かけの輝度値が、実際の位置における実際の輝度、仮想観察者位置との距離、及び全てのオブジェクトあるいは可視オブジェクト点と仮想観察者位置との間にあるオブジェクト点の透過特性を考慮して決定される。
ｇ）各オブジェクト点は、ホログラムシステムにおいて可能な限りその位置で輝度値が再現され、不透明及び透明なオブジェクト点が独立してそれぞれの位置で知覚されるように、各輝度値を有して独立して符号化される。

なお、ホログラム符号化値は、ホログラムデータあるいは単純にホログラムとも呼ばれる。

ホログラムディスプレイが使用する、あるいは例えば１つの仮想観察者ウィンドウが観察者の眼球の各々に適用される国際特許出願２００６／０６６９１９号明細書に開示されるようなホログラムシステムのような小さい仮想観察者ウィンドウを用いて構成される場合、ホログラム符号化値の計算は、少なくとも、観察者の眼球が位置する仮想観察者ウィンドウの各々について実行されるべきである。ホログラムシステムが観察者の眼球の実際の位置に関する仮想観察者ウィンドウの追跡機能を有する場合、シーンの内容または仮想観察者ウィンドウの位置が変更されると、オブジェクト点の実際の及び見かけの輝度値のみが再計算される必要がある。しかしながら、ホログラム符号化値の符号化が仮想観察者ウィンドウの新たな位置が適応される場合、追跡手段及び／または像形成手段の不備、及び観察者の眼球の新たな位置についてのオブジェクト点の符号化に用いられる光学的光変調器の局所特性が考慮されてもよい。

なお、仮想鑑賞ウィンドウとも呼ばれる、上述したような仮想観察者ウィンドウについて、物理的な絞り、物理的なフレーム、あるいは他の組み込まれる光学要素は存在しない。本発明に係る仮想観察者ウィンドウは、ホログラムシステムにより再現される３次元シーンを見ることができる空間である。故に、観察者の眼球は、仮想観察者ウィンドウにあるいはその近辺に配置される。

ホログラムシステムが大きな仮想観察者ウィンドウを有する場合、各オブジェクト点についての実際の及び見かけの輝度値の計算は、仮想観察者ウィンドウから見た単一の方向について独立して実行されうる。通常、鑑賞ウィンドウが円形である場合、観察者ウィンドウは直径約１０〜２０ｍｍのサイズを有する。鑑賞ウィンドウが矩形である場合、仮想観察者ウィンドウのサイズは通常、矩形の辺の長さが１０〜２０ｍｍとなる。しかしながら、仮想観察者ウィンドウが通常よりも大きいサイズを有する場合、大きな仮想観察者ウィンドウは単一角度部分において走査されうる。ホログラム符号化値の計算は、このような場合、全ての単一角度部分について実行される。必要であれば、値間または補間値間において、既知の補間方法を用いて計算されてよい。各角度部分についての計算が実行されると、符号化値の符号化は独立して実行される。仮想観察者ウィンドウの最大サイズは、最大可能回折角を含む光学的光変調器の特性により決定される。仮想観察者ウィンドウの最大サイズに応じて、必要な増加がその中で生じる。光学的光変調器と相互作用する光の回折に関与する効果的構造特性は、符号化の種類（例えばバルクハルド符号化（Burkhardt-encoding）、二相符号化）と光学的光変調器の形式とに依る。光学光変調器の複数の変調セルまたはピクセルは、複雑な符号化値の振幅及び位相値の符号化に用いられる。そして、これらの複数の変調セルは光学的光変調器の効果的な構造サイズ及び回折を定義する。例えば、二相符号化は、位相値が位相変調器として具体化される光学的光変調器の２つの隣接するピクセルにおいて符号化されるように実行される。そして、これらの２つの符号化された位相値は、複雑な符号化値を符号化する。例えば光学アドレス可能な空間光変調器（ＯＡＳＬＭ）のように非格子または標準回折構造を有する光学的光変調器が用いられる場合、最小実効構造サイズはプログラム手段の書き込みに依存する。

本発明に係る方法は、体積表示装置に適応されてもよい。これは、体積ディスプレイにより表示される３次元シーンを観察する観察者の位置が、追跡手段により観察者の実際の位置が追跡されることで変化される場合に、特に正確である。このような表示装置を用いると、１つのオブジェクト点が視点の様々なまたは単一の方向について様々な回折パターンを有して符号化されるホログラムシステムまたはホログラム表示装置によりこれが可能なようには、様々な方向における様々な輝度値は符号化できない。

単一オブジェクト点についての回折パターンは、空間内、光学的光変調器の制限された範囲内、あるいはホログラムシステム内の光変調器の完全な範囲で、１つのオブジェクト点について生成されうるため、光学的光変調器の効率的な格子または回折パターンとは異なる格子または回折パターンが用いられうる。

本発明に係る方法は、例えば３次元Ｘ線写真（コンピュータトモグラフィー、ＣＲＴ）の生成、可視化、及び解析について適応されうる。物質、特に生体物質のＸ線の透過及び吸収特性が診断の目的で調査され、表示される。

多くの応用例において、３次元シーンは輝度値または明度値によって記述されるに限らず、３次元シーンの外観は、３次元シーン内の単一要素またはオブジェクトの放射、吸収、及び／または屈折特性によってもよい。

好ましい実施形態において、符号化される各オブジェクト点について、見かけの輝度値に加え、仮想観察者位置において知覚されるオブジェクト点が有する見かけの色値が、その位置における実際の色値、及び全てのオブジェクト、あるいは可視オブジェクト点及び仮想観察者位置の間にあるオブジェクト点の透過特性を考慮して決定される。各オブジェクト点は、ホログラムシステムにおいて可能な限りその現実あるいは仮想位置で該閾値が再現され、不透明及び透明オブジェクト点が独立してそれぞれの位置で知覚されるように、各色値を有して独立して符号化される。

本実施形態に係る方法は、再現されるシーンが符号化される適用色モデル及び適用色深度に適応されうる。一般的な色モデルは、例えばこの場所によく適応されうる下方的な赤、緑、青モデル（ＲＧＢ色モデル）である。該色モデルを用いると、光を放射あるいは伝送する赤、緑、青の３つのサブピクセルを用いて色が生成される。オブジェクト点の輝度値及び色値は、それぞれ赤、緑、及び青を示す３つの階調値チャネルに格納される。階調値の最大可能数は、可能な色深度を決定する。１つのオブジェクト点の透過特性は、通常αチャネルと呼ばれる別のチャネルに格納される。他の色モデルは、例えば各色の色値、彩度、及び輝度値（色相、彩度、及び、値のＨＳＶモデル、あるいは色相、彩度、及び輝度のＨＳＢモデル）を使用する。さらに、例えばテレビフォーマットＮＴＳＣやＰＡＬに用いられているＹＵＶモデルのような、特定表示装置またはフォーマット用の色モデルが適用されたものも存在する。特に印刷技術や反射モードにおいて動作する光変調器において、原色モデルが用いられる。例えば、シアン、マゼンタ、イエローモデル（ＣＭＹ）や、シアン、マゼンタ、イエロー、黒を示すキー（ＣＭＹＫ）等。このようなモデルは、印刷技術に適用するハードコピーのホログラムの生成に適している。

追加の仮想オブジェクト点は、少なくとも１つの仮想または現実光源の光と、再現される３次元シーンのオブジェクトのオブジェクト点との間の相互作用の結果として生じる反射、放射、あるいは散乱に応じて仮想的に生成されることで計算される。オブジェクト及び仮想または現実光源の空間特性が考慮されうる。仮想観測者位置における見かけの輝度値、あるいは見かけの輝度値及び色値は、現実オブジェクト点についてのように、仮想オブジェクト点について計算される。それらは、各々の値を有して独立して符号化される。

現実光源は、再現される３次元シーンにおける指向性光を明らかに生成する光源である。仮想光源は、例えばオブジェクトの面における、現実光源により生成された光の反射により適用されてもよい。このような仮想光源はさらに、例えばホログラム符号化値の計算方法を適用する場合に考慮される複数の反射により生成されうる。このような複数の反射は、通常画像合成の多段処理を必要とする。

好適な実施形態において、オブジェクト点の位置は、必要であればオブジェクト、あるいは仮想観察者位置と補正されるオブジェクト点との間にあるオブジェクト点における反射、屈折、あるいは回折のような光学特性に応じて、仮想観測者位置について計算される。見かけの輝度値、あるいは見かけの輝度値及び色値は、これらの補正された位置について計算される。オブジェクト点は、各値を有して独立して符号化される。

これは、水槽のような複雑なオブジェクトについて、ミラーのような反射面を有するオブジェクトを含む３次元シーンに適用されうる。例えば魚や石のような、このような水槽内のオブジェクトの現在の位置を可視化するために、屈折側が適用されなければならない。

仮想観察者位置についてのオブジェクト点の位置の補正が、透過オブジェクトを含まない３次元シーンにおいて実行されうることは、同一の技術分野に属する当業者であれば容易に理解されよう。従って、本発明に係る方法は、 再現される３次元シーンにおける存在しない特定のケースにおいて、透過オブジェクトに関する手法の工程を無視する方法で変形されうる。

仮想観察者位置におけるオブジェクト点の見かけの輝度値、あるいは見かけの輝度値及び色値は、オブジェクトあるいはオブジェクト点と仮想観察者位置の間にあるオブジェクト点の空間透過分布を考慮することにより計算される。空間相互依存性は考慮されうる。

３次元シーンのオブジェクトは、単一の相対透過値τを有してもよい。該透過値τは、透明度Ｔ及び物質の厚さＤの割合である。故に、オブジェクトの透明度は、該オブジェクトにおける光が伝播する光路長に依存する。一般的に、オブジェクトの透過値τは、位置の関数（輝度関数）や輝度及び色の関数（色関数）であってよい。透明度Ｔは、光路に沿って光がオブジェクト内を伝播されている相対透明度値分布における、空間依存関係の統合により計算されうる。オブジェクトが屈折率の空間分布を含む場合、このような光路は非線形となりうる。

透明なオブジェクトが、例えば拡散スクリーンやすりガラスのような散乱特性を有する場合、該散乱物体を直接通過する光のみが、最前のオブジェクト点の後ろにあるオブジェクト点の見かけの輝度、あるいは見かけの輝度及び色を決定する。散乱光は、このようなオブジェクトの見かけの輝度に貢献する。また、このようなオブジェクトは半透明オブジェクトと呼ばれる。

好ましくは、仮想観察者位置におけるオブジェクト点の見かけの輝度値あるいは見かけの輝度値及び色値は、確率的手法と、透過、反射、拡散、回折、及び／または屈折オブジェクトやそのオブジェクト点と仮想観察者位置との間にあるオブジェクトの、吸収、散乱、反射及び回折可能性とにより計算される。これらのスペクトル相互依存性が考慮されうる。

これは、画像合成の更なる部分が、例えばモンテカルロ法のような確率論的方法で実行される場合に特に便利である。例えば吸収、反射、回折、あるいは散乱のような物理効果は、係数により記述されるのではなく、確率論的手法が適用された際のこのような物理高価から導かれる可能性により記述される。例えば、３次元シーンを通過する複数の単一光子は、追跡され、評価されうる。このような光子の放出の可能性を考慮して、講師は現実光源により生成されうる。このような光源の、例えば光子が放出された位置等の放出可能性、波長、及び必要であれば放出された光の極性と他の光子または光波の放出の位相関係などの放射特性を、これらのパラメータが考慮される必要がある場合に決定する。各光インタフェースについて、光子が反射、屈折、回折、散乱、あるいは吸収されるか否かが、均一に分布した乱数により決定されうる。一様分布した乱数は、通常、０〜１の間にスケーリングされる。このような決定は、吸収、透過、散乱、反射、及び／または回折に関する可能性に基づいて、波長や極性のような物理パラメータの依存性を考慮してなされうる。例えば、複屈折材料に関連して発生する極性の効果や、物質の透過分布に依存する波長が考慮されうる。オブジェクト点から放射により直接生成された全ての光子、あるいはオブジェクトの面において拡散反射を介して仮想観測者ウィンドウの方向に向かって送信される光子が計数され、全ての生成された光子の総量に関して適切なスケーリングを行った後、これはオブジェクト点の実際の輝度、あるいは実際の輝度及び色を決定する。

透過度あるいは媒体または簡易化されたモデル内を通過する強度率である透過率Ｔ、オブジェクトの面、及び入射強度は、例えば透過可能性として解釈されうる。入射光子の媒体またはオブジェクトに入った場合、正規化された乱数Ｚが生成される。ＺがＴ以下である場合、光子は媒体あるいはオブジェクトの面を通過する。ＺがＴより大きい場合、光子は吸収され、見かけの輝度に寄与しない。

例えばオブジェクトの面における反射が考慮可能である、より洗練されたモデルに適用可能である。面または光インタフェース上に光子が発生する場合、新たな乱数が生成され、該乱数に応じて、反射可能性Ｒが生じる、または生じない。反射が生じる場合、光子は伝播方向を反射法則に従って偏光する。拡散反射または散乱反射が生じる場合、光子の新たな伝播方向は、他の乱数セットを用いて決定されうる。例えば、光子の偏向についての可能性は、オブジェクトの反射分布から決定されうる。反射が生じない場合、光子の吸収可能性に割り当てられた他の乱数が決定され、該更なる乱数仁王次手、光子は媒体やオブジェクトから吸収される、あるいは光子はオブジェクトの出口インタフェース上に伝播し続ける。出口面／光インタフェースにおける反射が生じる、あるいは光子が通過する場合、オブジェクトの出口インタフェースにおいてそれは分析される。反射方向の追跡や元の入射方向を考慮することにより位置が決定される仮想オブジェクト点の場合、指向性の反射光を生成する。これらの仮想オブジェクト点のみが、光子が仮想観察者ウィンドウに伝搬されるように、即ち見かけの輝度値が０ではない、あるいは光子が再現体積を超えないように、考慮される必要がある。このような位置が再現体積の外側にある場合、再現される再現体積の境界を拡張した線の交点の領域、しかしながら遠近の歪みをもたらすかもしれない領域内で、仮想オブジェクト点は生成されうる。もちろん、これは再現体積の外側にある現実のオブジェクト点についても可能である。この結果、これらのオブジェクト点は再現体積の背後に投影あるいは像形成される。それぞれの方向に光子が屈折される場合、このことは、対応するオブジェクト点の見かけが異なる位置をもたらす。オブジェクト点の新たな位置も、屈折された光束の追跡、あるいは光子が伝搬される光路により決定されうる。通常、放射（透過光源）によりオブジェクト点から仮想観察者位置の方向に生成される光子、あるいは媒体またはオブジェクトの面において散乱されて仮想観察者位置の方向に屈折された光子のみが、オブジェクト点の実際の輝度のために考慮される。その他のオブジェクトや媒体がこのようなオブジェクト点と仮想観察者位置の間にない場合、仮想観察者位置に接近する光子の数は、このようなオブジェクト点の見かけの輝度を表す。

可能な限り、透明オブジェクト点は不透明オブジェクト点として、同じ方向に仮想オブジェクト点を生成しうる。

また、透明オブジェクトの見かけの輝度は、オブジェクトにおける光の散乱や回折の影響を受けうる。これらの効果は、透明オブジェクトを検討する際に、本発明の方法を用いて行われるように、好ましくはアナログな方法で考慮される。

特に再現される３次元シーンが高分解能及び計算しなければならない多数の光子を有する場合、このような確率的手法の実施は、多分な計算時間及びコンピュータメモリを必要とする。故に、このような確率的手法は、リアルタイムに実行されることができない。しかしながら、困難なまたは複雑なシーンを有する場合であっても、単純なアルゴリズムが適用可能であり、光子の計算は並行処理により実行可能である。従って、静的なシーンやホログラム映像が実行される必要がある場合は、このような方法は特に適用可能である。故に、ハードコピーの生成やマスタの生成についても同様である。

好ましい実施形態では、オブジェクト点と仮想観察者位置の間にある少なくとも１つの単一オブジェクトについての少なくとも１つの透明度の値は、該点の視認性を改良または低減するために、個々のオブジェクト点の見かけの輝度値、あるいは見かけの輝度値及び色値の計算において、増幅するまたは弱める形で考慮される。

シーンの範囲または領域は、シーンの該領域または範囲の自然な外観に比べて、様々な見かけの輝度及び／または様々な見かけの色を有して再現されてもよい。故に、このような範囲の視認性は、増幅させる、弱める、または抑圧される、及び／またはそれらの外観における偏光を可能にしうる。従って、シーンの完全な再計算をすることなく、シーンの変更された範囲のみが変更されるように、（例えばコンピュータメモリに）一時的に格納される、外観における変更や操作がなされるシーンの範囲を可能にする、本発明に係る方法で実現されうる。本発明に係る方法が国際特許公開２００６／０６６９１９号明細書に開示されるようなホログラム符号化値を計算するためのサブホログラムに適用される場合、サブホログラムの足し合わせが生成された際に、操作の前にシーンの各範囲のオブジェクト点についてのサブホログラムのみが取り除かれ、操作の後に変更されたオブジェクト点のサブホログラムは、サブホログラムの足し合わせに加えられうる。操作の制御は、例えば少なくとも１人の観察者との相互作用の結果として実行されうる。再現される３次元シーンの単一の範囲についての外観の操作は、医療実施において、器官の可視化における病気の範囲を強調するために、例えばシーンの単一のオブジェクトや範囲の透過特性を変更することにより、変更されうる。

発明の更なる態様において、発明の方法は、音響再現システムとの関連で使用される符号化値の計算に適用されうる。音響再現システムは少なくとも２つの音声発生手段を有し、３次元シーンの音声値を空間的及び時間的に変更することを含む、３次元音場の再現に音響再現システムは用いられる。３次元シーンは、吸音特性を有するオブジェクトを含む。３次元音場の再現は、聴取者の少なくとも１つの耳に知覚されるようになされる。方法は以下の工程を含む：
ｈ）３次元シーンは、個々のオブジェクト点に分割される。個々のオブジェクト点は、音声に影響を及ぼすことが可能である。これらのオブジェクト点の座標が決定される。
ｉ）仮想聴取者位置が、３次元シーンを聴覚的に見かけ上知覚する、選択された聴取者の耳の位置に対応するように決定される。
ｊ）全てのオブジェクト点が、仮想聴取者位置の方向において、他の完全な吸音オブジェクト点により完全に遮蔽されないように決定される。
ｋ）仮想聴取者位置からの方向にある全てのオブジェクト点が、仮想聴取者位置との距離でソートされる。
ｌ）音声に影響を及ぼす各オブジェクト点の位置における実際の音量、ピッチ、及び音声通過時間が、仮想聴取者位置から知覚される角度での、これらのオブジェクト点の位置における、シーンの全ての現実及び仮想音源の位置及び明度を可能な限り考慮することで、現実及び仮想音源を含むオブジェクトの物理特性を考慮して決定する。
ｍ）音声に影響を及ぼしうる各オブジェクト点について、仮想聴取者位置において知覚されるオブジェクト点が有する見かけの音量、ピッチ、及び音声通過時間が、音声に影響を及ぼしうるオブジェクト点の位置における実際の音量、ピッチ及び音声通過時間と、仮想聴取者位置までの距離と、全てのオブジェクトあるいはオブジェクト点と仮想聴取者位置の間にあるオブジェクト点の吸収特性とに基づいて決定される。
ｎ）該音量、ピッチ、及び音声通過時間を有する各音声値が、音声再現システムを用いた再現が、仮想聴取者位置において該見かけの音量、ピッチ、及び音声通過時間で知覚されるように独立して符号化される。

音源と聴取者の耳との間にあるシーンの吸収オブジェクトは、実際の該音源や音響源よりも、観察者の耳の位置において小さく知覚されるように、音量を低下させる。音声反射面またはオブジェクトは、追加の仮想音源を生成しうる。反射されたこのような音声は、聴取者の耳において、音源から直接（即ち、反射なしに）音声が到達する場合に比べて、遅くなり（即ち、異なる位相、異なる音声通過時間、あるいは方向）、これにより、ホール効果やエコー効果をもたらす。音声や音声通過時間のこの位相遅延は、吸音媒体における音速に影響される。振動や発振可能なシーンのオブジェクトは、入力音により振動／発振するように誘導されることで、仮想音源がもたらされる。

音声の現実的な知覚のために、観察者の左耳と右耳には、音声部分の独立した計算及び符号化が、本発明の好ましい実施形態において実行される。

３次元シーンのための符号化された音声分布の再現は、分解能が非常に高く、位相関係性に同期して制御可能な個々の音声生成手段により実行されうる。さらに、音声発生手段は、生成可能な音声について、非常に高い周波数スペクトルを有するべきである。それぞれの、または少なくとも１つの音声生成手段の音声生成特性は、音声生成手段についての符号化値の計算が実行される際に、音声が生成される、音声再現システムの音響特性と体積が独立して考慮されうる。

従って、請求項１乃至７に例えば記載されるように、光学知覚、即ち３次元シーンの見かけの輝度、あるいは見かけの輝度値及び色値について、３次元シーンの計算、符号化、及び再現を組み合わせることが、特に好ましい。それに加えて、このような３次元シーンの音声再現は、同時に計算され、符号化され、及び／または再現される。換言すれば、仮想の音量、ピッチ、及び音声通過時間は、請求項１乃至７のいずれか１項に係る見かけの輝度、あるいは見かけの輝度値及び色値の計算及び符号化に加えて、請求項８に従って計算及び符号化される。

例えばホログラム投影装置のようなホログラムシステム、及び音声生成手段のフィールドあるいは装置が使用される。例えば、観察者が移動可能な体積において、仮想シーンを生成することを可能にする。観察者が該体積内のどの位置においても再現された３次元シーンを現実的に見る及び聴くことが可能なように、体積内の観察者の移動に従って再現は追跡される、あるいは観察者の移動する空間についてシーンが計算されて再現される。

本発明に係る方法は、実際のまたは見かけの輝度値、あるいは実際のまたは見かけの色値、及び／または実際のまたは見かけの音量、ピッチ、及び音声通過時間が決定される場合に、光線のレイトレーシングあるいは計算に限定されない。また、該方法を実行するための解析は、光の波動性または有限要素法（ＦＥＭ）を考慮する方法を含みうる。有限要素法の方法は、３次元分布の再現が偽色可視化で実行される、例えば３次元物理処理のシミュレーション、温度分布、機械張力分布、あるいは機械応力分布について、有利に適用されうる。

請求項１乃至９のいずれか１項に係る方法を実行するために、計算手段は最適な方法で、単一方法ステップを実行するように構成される。故に、本発明にしたって、光学光変調器（ＳＬＭ）の符号化値を計算するための計算手段、及び／またはホログラムシステム及び／または音声再現システムの音声生成手段の各々が、３次元シーンの再現のために提供される。３次元シーンは、透過光学特性及び／または吸音性質を有するオブジェクトを含み、観察者の少なくとも１つの眼球、及び／または聴取者の少なくとも１つの耳について再現される。計算手段は、請求項１乃至９の少なくともいずれか１項の方法を実行する。

このような計算手段は、少なくとも１つのプログラム可能なプロセッサコア、少なくとも１つの任意の種類のプログラム可能論理回路（ＰＬＤ）、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、及び／または少なくとも１つのデジタル信号プロセッサ（ＤＳＰ）を含みうる。これらの装置の少なくとも２つが、１つの集積回路に組み合わせられていてもよい。

計算手段は、例えばプログラムコード及び／またはデータを格納する手段、電源、制御、及び動作状態及び／または計算結果の可視化を行う手段のような更なる構成要素を含みうる。

該計算手段は、例えば、ホログラムディスプレイ、ホログラム３Ｄテレビ装置、３Ｄゲーム装置、ホログラムデータの可視化／再現する移動端末、及び／または３次元音声分布／音場を再現する装置のような、３次元シーンの再現用ディスプレイのシステムコントローラの一部であってよい。計算手段は、電子計算装置や３Ｄシーンを受信、生成、及び／または格納する他の装置と、ホログラム表示装置及び／または３次元音場を再生するシステムとの間に接続される、独立したユニットとして提供されうる。

該計算手段は、３次元シーンの計算に用いられる一般的なコンピューティングシステムの一部であってもよい。

計算手段は、例えば光学的手法を用いて動作する計算手段（例えば量子コンピュータ、及び電子的に実行される計算に基づくコンピュータユニット）のような様々な技術の一部を含んでもよい。このような計算手段が並列処理手段として動作される多数の算出手段を含む場合に特に有用である。

発明のオブジェクト、技術、及び構造の完全な理解のために、参照は以下の詳細な説明及び添付の図面についてなされるべきである。

３Ｄ立体視／ホログラムと裸眼視／ホログラムとの違いを示した図 従来のホログラムの原理を示した図 従来の手法を用いることにより生成された広い鑑賞ゾーンを示した図 サブホログラムを用いることにより生成された鑑賞ゾーンを示した図 サブホログラムを用いることにより低減された鑑賞ゾーンである鑑賞ウィンドウを示した図 我々のホログラム処理パイプラインの一般的な概要を示した図 カメラ設置の概略図と結果再現を示した図 眼球とディスプレイ間の１つの直線上の異なる深度に配置された複数のシーン点の再現を説明する図 複数のコンテンツデータ層を用いることにより、ホログラム面において同一の位置であるが異なる深度を有する複数の３Ｄシーン点の再現を説明するための図 映像フレームの一般的な割り付け例を示した図 ＧＰＵ処理パイプラインの概要を示した図 ＦＰＧＡ処理パイプラインの概要を示した図 実生活／実情における不透明オブジェクトと透明オブジェクトの状態を示した図 本発明に係る３次元シーン再現の計算／生成を説明するための図 不透明及び透明オブジェクトを含む単純な３次元シーンの概略図

不透明及び透明オブジェクトを含む単純な３次元シーンが、図１２の概略図に示される。ホログラムシステムまたはホログラム表示装置（不図示）を用いて再現される３次元シーンは、不透明オブジェクト２００及び透明オブジェクト３００を含む。２つのオブジェクト２００及び３００は、（図１２には示されない）複数のオブジェクト点に分割されうる。白色拡散光源（不図示）は、全ての方向から均一に３次元シーンを照射する。光源の光線１０１から１１０までが、図１２に概略的に示される。３次元シーンは、観察者の眼球４００について再現される。観察者の眼球４００が３次元シーンを明確に知覚する、シーン内の位置は、参照番号４００で示される仮想観察者位置であると判断される。仮想観察者位置４００についてオブジェクト２００のそらし側（averted side）にある（即ち、仮想観察者位置４００からみてオブジェクト２００の裏側にある）オブジェクトは、オブジェクト２００の可視化に貢献せず、故に計算または符号化される必要がない。図１２に示されるこの単純なシーンは、反射面を有するオブジェクトを含まず、またシーンは指向性光放射特性を有する光源を含まない。従って、仮想オブジェクトまたは仮想光源はシーン内に発生しない。白色光の３次元シーンの拡散照明により、オブジェクト２００、３００は、実際の位置にいる観察者によって、オブジェクト２００、３００の材質特性に関係する色値に従って知覚される。図１２の例ではオブジェクト２００は黄色を有する。白色光の青色成分の光強度は、オブジェクト２００により吸収される。白色光の赤色光及び緑色光は、全ての方向に完全に再放射される。不透明オブジェクト３００が３次元シーン内に存在しない場合、不透明オブジェクト２００の可視オブジェクト点は、仮想観察者位置において、黄色はＩＡｏ＝ＩＡｏ＿ｒ＋ＩＡｏ＿ｇｒで実際の強度５１０を有して知覚される。ＩＡｏ＿ｒ及びＩＡｏ＿ｇｒは、不透明オブジェクト２００のオブジェクト点から仮想観察者位置４００に向かう指向性光の見かけの強度または実際の色値である。青色についての強度部分または色値ＩＡ＿ｏは０に等しい。また、実際の強度の絶対値は、拡散照明の輝度から決定される。図１２の３次元シーンにおいて存在する透明オブジェクト３００は、透過率がそれぞれＴｒ＝０．５、Ｔｂ＝０．５である赤色光及び青色光を含む。緑色光の強度成分は、透明オブジェクト３００により完全に吸収される。即ち、緑色光の透過率はＴｇｒ＝０である。青色光の５０％及び赤色光の５０％が透明オブジェクト３００により吸収され、青色光及び赤色光の５０％が透過される。従って、仮想観察者位置４００の位置において不透明オブジェクト２００のオブジェクト点が知覚される際の見かけの強度ＩＳｏ５２０は、ＩＳｏ＝Ｔｒ＊ＩＡｏ＿ｒ＋Ｔｇｒ＊ＩＡｏ＿ｇｒ＋Ｔｂ＊ＩＡｏ＿ｂ＝０．５＊ＩＡｏ＿ｂである。図１２の例では、不透明オブジェクト２００の観察されるオブジェクト点は、仮想位置４００において、赤色成分が半分の強度を有するものとして知覚される。このようなオブジェクト点は、３次元シーンのホログラム再現の間、強度値が計算されて符号化される。

透明オブジェクト３００のオブジェクト点は、仮想観察者位置４００の方向から見た場合、紫色を含む。実際の強度ＩＡｔ５３０は、拡散白色光源の赤色、緑色、及び青色光の３つの強度成分Ｉｒ、Ｉｇｒ、及びＩｂを用いて、ＩＡｔ＝０．５＊Ｉｒ＋０．０＊Ｉｇｒ＋０．５＊Ｉｂで計算されうる。透過オブジェクト３００と仮想観察者位置４００（ＩＡｔ＝ＩＳｔ）との間には、他の透明オブジェクトは存在しない。従って、透明オブジェクト３００の実際の輝度も見かけの輝度である。透明オブジェクト３００のオブジェクト点は、３次元シーンの再現においてこれらの輝度値を用いて計算及び符号化される。図１２に係る単純な例では、オブジェクトの光インタフェースにおける反射はないものとされている。さらに、媒体内の光路に依存する透過率の振動も除外されている。

なお、このような不透明オブジェクトはシーンにおいて光源の光を遮断または遮蔽しうるため、不透明オブジェクト点は、仮想観察者位置に向かう方向にある透明オブジェクトの、実際の及び見かけの輝度及び／または実際の及び見かけの色に影響を及ぼす。

より正確な物理的効果が画像合成を実行しながら考慮され、３次元シーンのより現実的な視点が生成されうる。

特に再現される３次元シーンの３次元知覚を可能にするために、観察者の全ての眼球について異なる視点が生成される。再現されたホログラムが、広い視野角で同時に見える場合、異なる仮想観察者位置について例えばハードコピーや複数の視点が計算され、中間地点についての視点を隣接する視点から補間可能である。このようにすることで、３次元シーンのコンテンツが、仮想観察者位置について変更可能である（複数ホログラム）。単一視点の計算は、順次及び／または好ましくは並行して実行されうる。観察者の１つの眼球についての仮想観察者位置は、観察者位置が変化した場合に、観察者の移動に適応されうる。

不透明オブジェクト２００及び透明オブジェクト３００の可視オブジェクト点は独立して符号化されるため、観察者は各単一オブジェクト２００、３００の各々に焦点を合わせることが可能であり、従って、３次元シーンのオブジェクトを見た場合に、眼球の輻輳と調節の間で不整合が生じないため、ほとんど眼精疲労を起こすことなく、再現された３次元シーンを観察できる。従って、観察者は歪みなく、自然な眼球の動きで再現された３次元シーンを観察可能である。

本発明に係る３次元シーンの計算を実行する際、既知のプログラムライブラリがこのようなシーンの計算に用いられてもよい。このようなプログラムライブラリは、例えばＯｐｅｎＧＬ、Ｄｉｒｅｃｔ３Ｄ、あるいはＸＮＡフレームワークである。例えばルックアップテーブル（ＬＵＴ）の予め計算された値へのアクセスや中間値の補間等の既知の数学的手法を用いることもできる。

本発明は、特定の実施形態とともに開示されたが、同一の技術分野に属する当業者にとって、多くの代替、改変、及び変形が、上記の説明に照らして同一の技術分野に属する当業者には明らかであることは理解される。従って、本発明は、添付の特許請求の範囲内にある全ての代替、改変、及び変形を包含ことを意図する。

［付録］
以下の開示は、上述した本発明に関するさらなる情報開示のために提供される。情報が上述の記載になく、付録のみに提供される場合であっても、付録は本発明の一部を構成することを強調する。

［ホログラムディスプレイのコンテンツのリアルタイム生成、符号化、及び提示］
既製ハードウェアと組み合わせてＳｅｅＲｅａｌのサブホログラム技術を用いることにより、リアルタイムにインタラクティブコンテンツあるいは映像コンテンツを有するホログラムディスプレイを駆動するためのソリューションについて説明する。コンテンツ側とホログラム側の双方から、ホログラムにおける透過率に関する態様を含む複雑なコンテンツを正確に作成するためのガイドラインが示される。コンピュータ生成されたホログラムを生成する従来の手法が、急激に計算能力を削減する、サブホログラムを用いる我々のソリューションと比較して説明される。最後にコンピュータプラットフォームと我々の２０インチ直視型ホログラムプロトタイプの仕様が示されるだろう。

《１．導入》
ＣＧＨ（コンピュータ生成ホログラム）を生成する従来の手法は、計算能力を大量消費するため、インタラクティブなアプリケーションに適していない。このため、これらを使用することにより、単に静止画や計算済みの動画は実現される。３Ｄステレオに比べて３Ｄホログラムの重要な利点を実現するために、インタラクティブなコンテンツ−これは３Ｄホログラムの快適な鑑賞を与える、専門家による設計、３Ｄゲーム、あるいは３Ｄ−ＴＶのような典型的な３次元アプリケーションを組み合わせるためのロードマップを提供する−が不可欠である。従って、高性能コンピュータハードウェアを必要とせずに、リアルタイムのホログラム計算のためのソリューションが要求される。

本付録では、魅力的なインタラクティブホログラムアプリケーションを作成するためのいくつかの背景を示す。さらに、我々の新しいサブホログラム技術の適応は、リアルタイムでのホログラム計算を可能にする、効果的なグラフィックス処理ユニットを利用可能にする、あるいはフィールド・プログラマブル・ゲート・アレイが説明される。

《２．リアルタイムホログラフィ》
本章では、ホログラフィの概要を与え、特に、リアルタイムで大規模なホログラムを計算するための基礎である、ＳｅｅＲｅａｌの新たなサブホログラム技術について従来の手法を比較する。
〈２．１ なぜホログラフィなのか？〉
３Ｄステレオと比較して、ホログラフィは、深度−焦点と輻輳の間の、奥行き手がかりにおける不整合の問題を解決する。これは、わずかな位置の損失が発生した場合でさえも疲労や頭痛を引き起こす、所謂調節と輻輳の不整合であり、このため３Ｄステレオの場合、わずか深度範囲のみが実現されなければならず、休みなしで３Ｄステレオに夢中にさせられる時間も非常に制限されるべきであった［２］。

対照的にホログラフィは、非常に広い深度範囲を可能にする、自然な立体視のようであり、オブジェクトの観察において眼球の合焦と輻輳の両方を可能にするため、悪影響がない。ホログラムを見た場合、現実世界のように、合焦されたオブジェクトはシャープに見え、異なる距離にある他のオブジェクトはぼやけて見えるだろう。３Ｄステレオにおいて、眼球はオブジェクトに輻輳するが、ディスプレイ自体に合焦していることになるため、上述したような（図１Ａ参照）効果を導く不整合が発生する。

多くのアプリケーション分野、即ち専門の３Ｄ設計、３Ｄゲーム、及び３Ｄテレビに対するより良いオプションであるため、ホログラムが近年急速に発展する３Ｄステレオ市場における次の大きなステップであろう理由がこれである。

次節では、ＳｅｅＲｅａｌの新たなソリューションを用いてサブホログラムと呼ばれるホログラムを作成するために、従来の手法との比較を行う。サブホログラムの使用は、既製のハードウェア部品を用いたホログラムディスプレイにおいてインタラクティブコンテンツを実現可能にする、広く深いホログラムをリアルタイムに計算可能にする。

図１を参照する。図１Ａは、３Ｄステレオと裸眼視／ホログラフィの違い：深度においてオブジェクトに両眼が輻輳するが、表示面に合焦する３Ｄステレオと、合焦も輻輳も同一である裸眼視及びホログラフィとの違い。図１Ｂは、従来のホログラフィの原理：コヒーレント光源により照射された場合に、複数の広く重なり合う回折パターンが複数のシーン点を再現する−再現は定義された鑑賞ゾーンにおいて見ることができる。

〈２．２ 従来の手法 対 サブホログラム〉
ホログラムは、一般的に複雑な回折パターンである。コヒーレント光源で照射された際に、シーン点で構成される３次元シーンは空間内の定義された範囲（図１Ｂを参照）で鑑賞可能なように再現される。

コンピュータ生成ホログラム（ＣＧＨ）を計算する従来の手法は、概して以下の動作に基づく：ホログラムの各画素は、再現された各シーン点に貢献する。これは、シーンの各シーン点に対して、完全なホログラムのサイズを有する回折パターンが計算されなければならないことを意味する。これらの個々のホログラムは、完全なシーンを提示するホログラムを生成するために、−複雑な重ね合わせにより−全て１つに足し合わされる。

図２を参照する。図２Ａには、従来の手法を用いる場合に、広い鑑賞ゾーンが生成されるが、観察者の眼球の位置では実際は小さい部分のみが必要とされる−計算された情報の大部分は無駄となることが示される。図２Ｂは、サブホログラムを用いる場合、必須の情報のみが計算されることを示す。さらに、ホログラムディスプレイの解像度は、今日の生産能力において容易で十分可能である。

一方で、これらの従来のホログラムは、非常に広い鑑賞ゾーンを提供するが、再現するために非常に小さい画素ピッチ（即ち、約１μｍ）が必要である（図２Ａ参照）。ホログラフィの基本原理、回折光の干渉により、鑑賞ゾーンのサイズは画素ピッチにより直接定義される。鑑賞ゾーンが十分に広い場合、両眼は自動的に別の視点を知覚するため、複数のユーザが独立して３Ｄシーンの再現を見ている場合でも同一の点において合焦及び輻輳する。

従来のホログラムでは、各シーン点を計算するための画素数は莫大である。有益なディスプレイサイズにおいて小さなピッチを提供するディスプレイ技術不足に加え、信じられないほどの演算能力を必要とするだろう。さらに、このような大量のデータの取り扱いは、データ転送レートやメモリ等に関する多くの問題につながる。これは、従来の手法を用いるリアルタイムホログラフィが予見可能な将来において商業的に実現可能に思えなかった主な理由である。これらの技術的限界故に、ハードコピーや化学フィルムのようなただの静止画は、デスクトップやＴＶのようなアプリケーションについての適切なサイズにおいて、今日に至るまでのスケーラブル技術を用いて実現されうる。

図２Ｂを参照すると、眼球が実際に見ることができる情報のみが本来必要となるため、従来のホログラムにおける計算された情報の多くが無駄となっている。完全な鑑賞ゾーンの計算の代わりに、観察者の眼球の位置において特定の３Ｄシーン点を再現する役割があるホログラムの一部のみ（サブホログラム（ＳＨ））が計算が必要になる。この低減された鑑賞ゾーンは、所謂鑑賞ウィンドウ（ＶＷ：Viewing-Window）である（図３参照）。

該鑑賞ゾーンのサイズの低減は、画素ピッチ増加させることによりなされる−画素ピッチと他のパラメータが鑑賞ゾーンのサイズを定義する。異なるシーン点のＳＨを重複させる（加算や重ね合わせ）ことにより、緻密なシーン点を有するホログラム３ＤシーンがＶＷの位置において再現され、視認可能となる（図３参照）。

一方、増加した画素ピッチは、他の動機として、今日のディスプレイ技術の使用で可能な、画素数の劇的な低減を導く。しかしながら、小さなＶＷの使用も、観察者の眼球運動に応じてＶＷを移動させる、高速で、信頼性があり、かつ非常に正確な眼球追跡システムの必要性も暗示する。このような眼球追跡システムは既に開発されているが、現在ＳｅｅＲｅａｌは、ＳＩＤ、ＦＰＤ横浜、及びファインテックのような公のイベントにおいてＳｅｅＲｅａｌにより既に展示されたホログラフィックプロトタイプにおいて実装された独自の眼球追跡ソリューションを用いている。

ホログラムの小さい部分のみ−サブホログラム−が低減された鑑賞ゾーン（鑑賞ウィンドウ）における１つの単一シーン点の再現に必要であることを示す図３を参照する。複数のサブホログラムの重ね合わせにより、シーン全体を提示するホログラムが、空間内の鑑賞ウィンドウにおいて生成され、再現される。

演算能力の節約がどれほど大規模であるかを例示するために、例示的な状況を用いて一般的に両方の手法を比較する。

４０インチのＳＬＭ（８００ｍｍ×６００ｍｍ）を有し、１人の観察者がディスプレイから２メートル離れた位置で観察しており、鑑賞ゾーンが水平及び垂直方向に±１０°で、コンテンツが前方１ｍの範囲からホログラムの後ろには無制限の範囲内に配置され、ホログラムはＨＤＴＶ解像度（１９２０×１０８０シーン点）を有するシーンを再現し、波長が５００ｎｍであり、特定される状況が管理されなければならないものとする。

ここで、従来の手法について、２５６ステップのシーン点について深度量子化が行われると想定されるため、計算はこのような大規模なホログラムに最も効率的な手法を適用するフーリエ変換［１］に基づく。ＳＨ手法について、２つの独立したホログラムは、各眼球について１つ計算される必要がある。

結論として、双方の手法は、個々の観察者の位置について同一の結果を提供するが、光変調器の分解能に関しての有意差は、フレームサイズと演算能力について顕著に現れる。

さらに演算能力を低減するために、ＳＨのサイズ及びホログラム視差が１次元に低減される、所謂単一視差ホログラムが用いられうる。これは、垂直または水平方向について可能である−所謂水平視差のみ（ＨＰＯ：horizontal-parallax-only）または垂直視差のみ（ＶＰＯ：vertical-parallax-only）のホログラム［３］。例えば垂直ホログラム視差や水平両眼視差のような各眼球について異なる視点を有する半視差ＳＨの合成により、計算必要性が低いリアルタイム映像ホログラムが生成されうる［８］。十分に理解されてホログラフィックコンテンツに組み込まれる場合、単一視差再現の知覚限界を観察者は見ることができない。

表１：従来手法とサブホログラム手法との比較

しかしながら、完全視差ＳＨを提供するホログラムでさえも、十分な演算能力を提供する、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）やグラフィック処理ユニット（ＧＰＵ）のような今日の最先端技術を用いるＳｅｅＲｅａｌのアルゴリズムにより処理可能である。このことは、以下の説で説明される。

《３．ＳｅｅＲｅａｌｎｏホログラフィック処理パイプライン》
以下の４節は、上記で説明したようにサブホログラムを用いることによりホログラム３Ｄディスプレイにおいてリアルタイム３Ｄコンテンツを示すための重要なステップの概要を示す。

我々のホログラフィック処理パイプラインの一般的な概要を示す図４を参照する。図４に示される手順は、以下のモジュールに分割される、我々のホログラフィックソフトウェア・パイプラインを定義する：コンテンツ生成に始まり、コンテンツ生成器により生成されたデータが、複素数値ホログラムが計算されるホログラム合成器に引き渡される。そしてホログラム符号化器は、複素数値ホログラムを使用される空間光変調器（ＳＬＭ）、ホログラムディスプレイに適合する表現に変換する。最後に、後処理器は、表示形式に依存する３つの色成分及び２以上の視点について異なるホログラムを合成し、最後にその結果のフレームがＳＬＭに提示可能となる。

《４．ステップＩ：コンテンツ生成》
ホログラムディスプレイについて、２つの主要形式のコンテンツが区別可能である。まず１つは、３Ｄゲームや３Ｄアプリケーションのようなコンピュータでリアルタイムに生成された（ＣＧ）３Ｄコンテンツである。２つ目は、３Ｄカメラ、３Ｄ−ＴＶ放送チャネル、３Ｄ映像ファイル、ブルーレイ（登録商標）、あるいは他の媒体から得られるライブ映像であってよい、実生活や生命活動の映像コンテンツである。

３Ｄゲームや３ＤアプリケーションのようなリアルタイムＣＧコンテンツの多くについて、グラフィックス処理ユニット（ＧＰＵ）を利用する現在の３Ｄ描画ＡＰＩは使い勝手がよい。最も重要なものは、マイクロソフト（登録商標）のＤｉｒｅｃｔ３ＤやＯｐｅｎＧＬ−ＡＰＩである。

シーンを生成及び描画する場合、各画素がその２Ｄ位置と共に色を提供する、各視点について画素を有する２Ｄマップ（３Ｄ描画ＡＰＩにおけるテクスチャ）が生成される。各画素は、対応する３次元シーンのシーン点として見ることが可能である。これが、両方のＡＰＩが、ＳｅｅＲｅａｌのホログラフィック処理パイプラインで処理されるように、一般的にコンテンツの生成に非常に適している理由である。

〈４．１ 視点、色、及び深度情報〉
ＳｅｅＲｅａｌの手法では、各観察者に対して、各眼球について１つ、つまり２つの視点が作成される。３Ｄステレオとの違いは、各視点についての正確な深度情報の追加が必要なことである−通常はカラーマップに結び付けられる所謂深度マップやｚマップが提供される。各観察者についての２つの視点は、各眼球が見ることを期待する適切な遠近感を提供するために不可欠である。これらは共に輻輳情報を提供する。各視点の深度マップで提供される深度情報は、適切な深度におけるシーン点の再現のために用いられ、結果、空間における正しい位置に各３Ｄシーン点が生成され、裸眼３Ｄシーンの正しい合焦情報をユーザの眼球が提供される。視点は、独立して、ユーザの位置、及び各観察者の眼球の位置に順に配置される異なるＶＷについての３Ｄシーンに従って再現される。

提供される深度情報は、深度マップにおいてシーン点の深度が与えられ、該深度情報が相関のある２つの視点の視差により提供されるため、非常に正確でなければならない。これは、ホログラムディスプレイの鑑賞体積における正しい位置にシーン点が再現されるために必要不可欠であり、合焦と輻輳はこれにより整合する。深度情報は、眼球が正しい輻輳点に合焦可能な、正しい回折パターン、サブホログラムを生成するために後に使用される。

〈４．２ 仮想カメラ〉
また、３Ｄステレオに適用されるが、コンテンツ制作者によりしばしば過小評価される重要なポイントは、両眼用の視点が取得される正しい３Ｄカメラ設置（リアルタイム３Ｄコンテンツのための現実のカメラや仮想カメラ）である。

カメラ設置と結果の再現の概略図を示す図５を参照する。ＦＯＶ（視野）及びＣＤ（カメラ距離）とＣＰＤ（輻輳面の距離）の関係の両方は、ＥＤ／ＯＤ（眼球距離／観察者距離）の設定とほぼ等しい場合、ホログラムディスプレイは、１対１再現を提供する。

観察者が自分の眼球で知覚するように、（仮想）カメラは、輻輳情報が記録されている場所から、理想的には同じセットアップである必要がある。これは、カメラが表示面での輻輳を有する眼球位置に配置されるべきであることを意味する。そして、オリジナルのシーンを記録することが可能であり、１：１再現となるだろう。一般的に、カメラ設定のためのパラメータ間の関係は、ホログラムディスプレイが提供するセットアップとほぼ同じである必要がある−ＣＤ／ＣＰＤはほぼＥＤ／ＯＤ（図５参照）となるべきである。カメラの視野は、表示面から観察者の眼球に渡って、ほぼ同じ角度領域を提供すべきである。これらの制限を考慮することによってのみ、シーンは「そこに実際にあるように」再現され、見ることができる。でなければ、シーンは類似するが、わずかに変更された遠近感やサイズを有する場合、いずれかのパラメータに依存することは理想的ではない。パラメータが適切なジオメトリからあまりにも異なっている場合、強力な遠近法の不整合が発生しうる。

仮想カメラが配置され、仮想空間内を自由にモデル化されることが可能であるので、これらの制限は、リアルタイムのコンピュータ生成３Ｄコンテンツについて容易に考慮されうる。このような仮想カメラは、一般的に３Ｄ描画ＡＰＩについて、所謂視点マトリクス及び射影マトリクスにより表される。現実世界（３Ｄカメラ）またはコンピュータ生成されたオフラインのコンテンツ（すなわち、コンピュータアニメーション動画）については、一度画像を撮影しているので、上記の制限は、カメラの設定が後で変更することができないことを、留意すべきである。譲歩は、要求された全ての視点が生成される色と深度情報を含む１つの中心の視点から必要なすべての視点の自動生成することであってよい［１０］。しかし、品質の損失が、主に遮蔽情報が欠落しているため、考慮されなければならない。１つの視点のみが利用可能なため、オブジェクトが中心視において遮蔽されているという重要な視点情報は他の視点では使用できない。にもかかわらず、実施形態は、データストリームの一部として遮蔽データを含めることができる。

リアルタイムコンピュータ生成３Ｄコンテンツについて、ユーザ追跡を行うホログラムディスプレイの前での実際の観察者位置が、仮想カメラの適切な位置決めのために用いられうる。鑑賞ウィンドウ内の情報のみを有するＳｅｅＲｅａｌのホログラム３Ｄディスプレイでは、眼球座標の知識は、元のシーンの完全な鑑賞範囲（「見て回る」効果）を提供するように、観察者の位置や動きに対応する仮想カメラの位置決めのために使用することができる。このことは、静止オブジェクトを見て回る際に、現実のように同一の位置でシーンが固定されているように見えることを意味する。また、長時間の３Ｄ視聴を快適にするための現実の全ての奥行手がかりを提供するために、これは同一の広い鑑賞ゾーンを生成し、従来の超高解像度ホログラムが本質的に提供する。さらに、該特徴は、仮想カメラのセットアップを完全にするために、観察者の眼球位置に応じて仮想カメラの距離を適切に設定するために用いられる。見て回る効果は、すべての３Ｄコンテンツについては望ましくないであろう任意の（スイッチＯＮ／ＯＦＦ）特徴である。

〈４．３ 透過率〉
ＳｅｅＲｅａｌのホログラフィック処理パイプラインのユニークな特徴である、興味深い効果は、（半）透明オブジェクトを含むシーンの再現である。ガラスや煙のような現実における透明オブジェクトは、強度、方向、または波長について、光源からの光に影響を与える。自然界では、眼球は、透明オブジェクト、またはその部分で透明なオブジェクトであるかもしれない、背後のオブジェクトの両方に合焦することができる。

このような再現は、ホログラフィにＳｅｅＲｅａｌのソリューションを使用して達成することができ、表示例は以下のように実現される：眼球とディスプレイとを結ぶ１つの直線状において異なる深度に配置された複数のシーン点は、順に再現される。これは、ホログラムの同一の位置における異なる深度及び色を有する３Ｄシーン点について複数のＳＨを重ね合わせ、個々の深度で異なるシーン点に眼球が合焦可能であることを意味する（図６Ａを参照）。観察者の眼球の合焦距離にあるシーン点は、シャープに見え、その間前後ではぼやけるだろう。あいにく、再現された３Ｄシーン点は、自然界において透明オブジェクトが光波を通過する物理的な振る舞いを実現できない。この振る舞いは、色フィルタや減衰のような効果を実現することに応じて、シーン点の色を操作することによりシミュレートされなければならない。

コンテンツ制作側からみれば、この透過効果は既存の色及び深度地の他に、各シーン点についてアルファ値を追加することにより制御されうる。シーン点がアルファ値０．０（完全に透明）を有する場合、それは再現されず、ＳＨは生成されない。アルファ値１．０は、完全に不透明なシーン点を意味し、これについて単一のＳＨが生成されるだろう−背後にある全てのシーン点は見えなくなり、ＳＨはそれらについて生成されない。０．０〜１．０の値は、シーン点が部分的に透過することを示し、アルファ値は透過度を示し、そして透明シーン点とその後ろあるいは前のシーン点について、サブホログラムが生成されるだろう。

Ｄｉｒｅｃｔ３ＤやＯｐｅｎＧＬのような現在のリアルタイム３Ｄ描画ＡＰＩは、描画したシーンを格納するために、一般に１つの色マップと１つの深度マップのみが同時に用いられるため、１画素につき１つの深度値のみを提供する。透過効果の描画は、既に色マップに描画された他のオブジェクトに対して、深度順に全ての透明オブジェクトをブレンドすることにより、一般にマルチパスが実行される。これらのブレンディングパスについて、深度値の生成は一般に破棄される。深度マップにおける各画素の最終の深度値は、通常全ての透明オブジェクトの背後にある画素に対応する。故に、一方でこの既存技術の３Ｄ描画ＡＰＩを使用し、他方で全ての透明オブジェクトについて深度値を生成するように、ソリューションはＳｅａＲｅａｌにより開発された。

ホログラム面において同一の位置にあるが、異なる深度値を有する複数の３Ｄシーン点についてのＳｅｅＲｅａｌの生成原理は、複数のコンテンツデータレイヤの使用に基づく（図６Ｂを参照）。各レイヤは、個々の色、深度、及びアルファ情報を有するシーン点を含む。これらのレイヤは順序づけられた深度レイヤのように見え、各レイヤは透過率を有する、または有さない１以上のオブジェクトを含む。要求されるそうレイヤ数は、３Ｄシーンにおける透明３Ｄシーン点を重ね合わせる最大数に対応する。この方式は、２Ｄ及び立体３Ｄディスプレイについて透明効果を生成する手法と互換性がある。一方の違いは、既存の色を上書きする代わりに、適切なレイヤの色マップにブレンディングパスの結果を方向付けることである。他方の違いは、生成された深度値が、それらを廃棄する代わりに、レイヤの深度マップに格納されることである。

図６を参照する。図６Ａは、眼球とディスプレイとを結ぶ１つの直線上の封数のシーン点が、連続して再現され、透過効果を可能にするように用いられうることを示す。図６（ｂ）は、透明シーン点を扱うために、１つの追加レイヤ（より多いレイヤであってもよい）を有する例示的なシーンを示す。透明シーン点は、第１のレイヤにおいて格納され、背景オブジェクトは背景レイヤに含まれる。

最終的に、レイヤは、与えられたアルファ値に応じて全てのシーン点の色を変換するように前処理される必要があり、背後の他のシーン点からの影響を受ける。１つの例では、２つのオブジェクトがあり、後方の１つは１００％赤色かつ不透明であり、前方の１つは１００％白色かつ光のちょうど５０％を削ぐ半透明（５０％透過率、アルファ＝０．５）である。処理後、背景オブジェクトは削がれ、新たな色は５０％赤色となり、前景オブジェクトは５０％のみ不透明で、最終的な色は５０％白色となる。このような再現を見る場合、前景において半透明白色オブジェクトにより遮蔽された場合に、背景オブジェクトは暗く見えるが、双方は見ることも合焦することも可能である。

アルファ値の処理が完了した後、ホログラム合成において扱われるデータは、各々が色及び深度値のみを有するシーン点を含む、複数のレイヤを有する複数の視点を含む。後に、ＳＨは有効なシーン点のみについて生成される−実際に用いられる透過レイヤの部分のみが処理される。

換言すれば、透明オブジェクトの再現は、以下の方法で実現されうる。

透明オブジェクトを含む、コンピュータ生成シーンからのホログラムの計算は直接行うことはできない。透明オブジェクトは、例えばガラス、水、切り、塵粒子等であってよい。通常、透明オブジェクトについての深度値は生成されないが、１以上の透明オブジェクトの背後にある不透明オブジェクトについてのみ生成される。ホログラムを用いて再現する場合、オブジェクトは深度値を有する必要がある。

１人の観察者から見て、少なくとも一部が互いに陰に配置される２以上のオブジェクトについてホログラムが生成される場合、これらのオブジェクトはそれぞれの距離（または深度座標に）に再現され、全て可視化する。他のオブジェクトの前にあるオブジェクトは、該オブジェクトの背後にある他のオブジェクトの外観に影響を与えない。しかしながら、これは他のオブジェクトの前にある透明オブジェクトとは異なる。例えば、赤色透明ガラス版の背後にあるオブジェクトからの光伝播の赤色成分が、ガラス版を通過しうる。

発明の１つの実施形態において、方法は複数のステージを有する。第１のステージでは、再現される完全な３次元シーンの深度値が、３次元シーンの透明オブジェクトなしに生成される。第２のステージでは、３次元シーンの全ての透明オブジェクトの深度値が独立して生成される。ホログラム（またはホログラムディスプレイ／ＳＬＭ（空間光変調器）に符号化されるホログラムデータ）は、複数のステージにおいて同様に生成される。第１に、不透明オブジェクトあるいは不透明オブジェクト点は、サブホログラムを生成し、それらを加算することにより処理される。第２に、透明オブジェクトあるいは透明オブジェクト点は、サブホログラムを生成し、それらを加算することにより処理される。

透明オブジェクトによって操作される、または影響を受ける不透明オブジェクトの色値は、以下の現実的な低次または再現のために処理される：不透明オブジェクトから観察者の眼球への方向において伝播する光の波長の操作に代えて、不透明オブジェクトからの光の波長または色は、−不透明オブジェクトの位置において−不透明オブジェクトの前にある透明オブジェクトの特性に従って、操作あるいは変更される。

ホログラムは、複数ステージの処理において、（不透明オブジェクトの背後にある場合は）操作された色／波長データを有する不透明オブジェクトのオブジェクト点の情報／データと、透明オブジェクトのオブジェクト点の情報／データとで構築される。全てのオブジェクト−透明及び／または不透明オブジェクト−は、正しい深度及び色で再現される。

普通の２次元ディスプレイまたは立体ディスプレイを用いて３次元シーンの可視化を行う場合に比べて、ホログラム再現についての、同一のｘ−ｙ座標（横位置）を有するが、異なるｚ座標（深度）を有する追加のシーン点が、空間内に生成されうる。あるいは、追加のシーン点は、例えば霧や水のように、深度によって密度を実現するように生成されてもよい。鑑賞方向における１つの直線上にある（該直線上で異なる深度値を有する）、あるいはオブジェクト点がない横位置を有するこれらの追加のシーン点は、既に計算されている。これは、１つの追加のサブホログラムのみが、追加のオブジェクト点の生成に必要であり、該サブホログラムが再現された３次元シーンに追加のオブジェクト点を生成するために他の全てのサブホログラムに加算される必要があるからである。

方法は、非常に効率的で、かつ少ない追加の演算能力のみで実現可能である。それは、ホログラムの計算を含む、リアルタイムまたは疑似リアルタイムの近代のグラフィックボードにおいて実行されうる。

図１０は、実世界／自然界において不透明オブジェクト及び透明オブジェクトがある状況を示している。図１１は、発明に係る３次元シーンの再現を計算／生成するために用いられる状況を示している。

〈４．４ ホログラフィック映像フォーマット〉
ホログラフィック映像を再生するために２つの方法がある：既に計算されたホログラムを直接読み込んで提示する方法、あるいは生のシーン点を読み出し、リアルタイムにホログラムを計算する方法がある。

第１のオブションは、１つの多大な不利益がある：ホログラムフレームのデータは、映像コーデックのような圧縮方法により操作されてはならず、ロスレス手法のみが適用可能である。非常にランダムな自然界のホログラフィックデータについて、ロスレス圧縮技術は、ＩＰネットワーク上のストリーミングは言うまでもなく、ハードドライブや光メディアからストリーミングを実現するためのデータ容量を大いに低減する効果はない。

これを解決するために、ＳｅｅＲｅａｌは上述したように異なる視点／レイヤに格納されたオリジナルのシーン点を用いることを提案する。これとＳｅｅＲｅａｌのリアルタイムホログラム計算を組み合わせることで、使用されるビットレートに依存してより多いまたはより少ない損失を示すが、好適な圧縮レートを示す、Ｈ．２６４やＭＰＥＧ４のような既存の映像圧縮技術を用いることが可能になる。損失は、再現の品質に直接影響を与える深度情報に関して特に厳密に制御される必要がある。しかし、高ビットレートが選択された場合に、最小で約１：１０の圧縮レートであるが許容可能である損失とすることが可能である。

ＳｅｅＲｅａｌはホログラムディスプレイにおいて色及び透過率を含む映像フレームを再現するために、全ての重要なデータを格納する単純な映像フレームフォーマットを開発し、用いている。この柔軟なフォーマットは、映像フレームにおいて配置されるサブフレームのような色、アルファ値及び深度値を格納する、全ての必要な視点及び視点についてのレイヤを含む（図７を参照）。ｘｍｌ文書に格納される、あるいは映像コンテナに付加される追加のメタ情報は、ホログラム映像再生装置が適切なホログラムの生成に必要な、映像フレームのレイアウト及びパラメータを含む。例えば該情報は、サブフレームがどの形式で付加されるか、その位置、及びオリジナルのカメラセットアップ、特に、ホログラムディスプレイの３Ｄ座標系にそれらをマッピングするために格納された深度値をどのように解釈するかの情報を含む。

映像フレームについての一般的な例示レイアウトを示す図７を参照する。サブフレームは映像フレーム内に自由に配置可能であり−独立したメタ情報レコードは、どのサブフレームが付加され、映像フレームにおけるその位置の情報を提供する。

該手法によりＳｅｅＲｅａｌは、ホログラムディスプレイにおける透過効果を有する３Ｄ有色映像のり合うタイム再現を可能にしている。メタ情報は、再生装置がホログラムを生成するために必要な全てのパラメータを提供する。映像が、カメラセットアップに準拠し、３Ｄシーン情報の完全性（即ち深度が利用可能である）を検証することを担保してもよい。

《５．ステップ２：ホログラム合成》
ホログラム合成は、各々が色、横位置、及び深度により特徴づけられる複数のシーン点の、ホログラムへの変換を行う。該処理は、全ての利用可能なレイヤについて反復しながら、各視点及び独立した色成分についてなされる−独立したホログラムは、各視点及び各色成分について計算される。

利用可能なレイヤの各シーン点について、サブホログラムＳＨは計算され、所謂ホログラムセルまたはセルである、各ホログラム画素について複素数値で構成されるホログラムＨに堆積される。可視シーン点のみが強度／輝度ｂ（ｂ＞０）を用いて変換されるため、このことは特にしばしば一部分のみが埋められた透過レイヤについての計算時間を節約する。

ＳＬＭが水平／垂直ピッチｐ_ｘ／ｐ_ｙ、ホログラム面と観察者との観察者距離がｏｄ、及びレイヤにおける各シーン点は、その位置（ｏｘ，ｏｙ）（ホログラムにおけるサブホログラム位置も）、その深度ｄ、及び波長λ（現在処理されている色成分に従う）における輝度ｂを提供する場合を考える。

まず、表示面（ホログラム面）におけるサブホログラムの位置
が計算される。そして、ＳＨ内の不連続のセル位置（ｘ，ｙ）にいおて各セルＳＨ（ｘ，ｙ）について、複素数値
が計算される。ここで位相φ（ｘ，ｙ）及び振幅Ａは以下のように与えられる。

このようなＳＨは、符号化された距離ｄにおける任意のシーン点を再現するための、焦点距離
を有するホログラフィックレンズを記述する。φ_０（０≦φ_０≦２π）項は、各シーン点についてユニークな初期位相であり、一般的にランダムである。算出されたＳＨは、最終的にホログラムＨのＳＨ位置（ｏｘ，ｏｙ）におけるホログラムＨに加算される。位置（ｏｘ，ｏｙ）は、ホログラム／表示面を横断し、ＶＷにおいて開始し、空間内のシーン点の位置を通過する直線により定義され、レイヤにおけるシーン点の２Ｄ位置に対応する、ホログラムＨにおけるサブホログラムＳＨの中央位置である。今、Ｈは我々の３Ｄシーンを再現するであろう破面を提示する。

次のステップにおいて、複素数値を表示可能な実数値に変換する、ホログラム符号化器はＳＬＭにホログラムを書き込み可能なように実行される。

《６．ステップ３：ホログラム符号化》
符号化は、ＳＬＭ、ホログラフィックディスプレイに書き込まれるホログラムを準備する処理である。ＳＬＭは、通常複素数値を直接表示することができず、このことは、１つの単一画素における光波を同時に変調及び位相シフトできないことを意味する。しかしながら、振幅変調表示及び位相変調表示を組み合わせることにより、コヒーレント光波の変調が実現されうる。各ＳＬＭ画素の変調は、ホログラムにおいて複素数値（セル）により制御される。ＳＬＭをコヒーレント光で照射することにより、合成されたシーンの破面は、シーンを再現するためにＶＷに伝播される、ホログラム面に生成される。

様々な種類のＳＬＭが、ホログラムの生成に用いられうる、例えば：１つの複素数値のために３つの振幅値が用いられる振幅限定変調（迂回位相変調）ＳＬＭ［４］、２つの位相を組み合わせることによる位相限定変調ＳＬＭ［５］、あるいは１つの振幅画素と１つの位相画素を組み合わせることによる振幅変調及び位相変調を組み合わせたＳＬＭがある。最後のＳＬＭは、位相と振幅パネルの挟み込みにより実現されうる［６］。

そして、ＳＬＭの形式に応じて、我々のホログラムの位相振幅、位相のみ、振幅のみの提示が要求される。ホログラムにおける各セルは、適切な提示に変換される必要がある。ＳＬＭへの符号化されたホログラムの書き込み後、各ＳＬＭ画素は、位相及び振幅により通過光波を変調する。

《７．ステップ４：後処理》
連鎖処理の最後のステップは、色成分及び視点について異なるホログラムの合成を実行し、観察者にホログラムフレームを提示する。ホログラムディスプレイに色及び視点を提示する様々な方法がある。

１つの方法は、完全な時間系列提示（完全な時分割）である。ここで、全ての色及び視点は、マルチユーザシステムで様々な観察者である場合でも、次々に提示される。現在提示されている視点に同期した正しい位置におけるＶＷの配置制御、及びλについて符号化された、現在提示されているホログラムに従って、正しい時間におけるλについての最適な光源の切り替えにより、全ての観察者は、３Ｄシーンの再現を見ることができる。他の方法は、２００７年のロングビーチでのＳＩＤにおいてＳｅｅＲｅａｌにより既に発表されたシステムのように、視点の独立提示及び２つの異なるＳＬＭを用いた色の時分割である。

我々の現在のプロトタイプに実装された２つの更なる方法は、１つの単一フレームへの色と視点の合成、あるいは１つの単一フレームにおける視点の合成及び色の連続提示に基づく［８］。両方について、垂直方向の単一視差ホログラム（ＶＰＯ）が用いられるとともに、水平方向において様々な視点（及び色）が垂直インタレースを用いて多重化される。

また、全ての観察者について、色及び視点を提示する、他の多くの方法及び手法がある。一般に、後処理器は、観察者に提示されるホログラムフレームの形式を整える役割を担う。

《８．実装》
上述した全ての処理ステップは、ソフトウェアシステムを参照するＳｅｅＲｅａｌのホログラフィを内蔵する総合ソフトウェアモジュールとして実装される。様々なプロトタイプについて、必要な符号化パスは、既製のＰＣハードウェア及びＳｅｅＲｅａｌの専用ＦＰＧＡプラットホームにおいて実行される、ＧＰＵコンピューティング及びＦＰＧＡコンピューティングに最適化される。両プラットホームは以下に示されるが、まず２０インチ直視型ホログラフィックプロトタイプの使用が示される。

〈８．１ ＳｅｅＲｅａｌの直視型ホログラフィックプロトタイプ〉
ＳｅｅＲｅａｌの２０インチ直視型プロトタイプは、１Ｄの垂直符号化（ＶＰＯ）を用いるフルカラーホログラフィック３Ｄディスプレイである。最大４人の観察者の３Ｄ眼球位置を、毎秒６０回、±２．５ｍｍの精度で伝送する、正確かつ高速な眼球追跡システムを用いることにより、鑑賞ウィンドウの追跡が提供される。しかしながら、本ホログラフィックプロトタイプは、１人の観察者のみについて設計されてもよい。眼球追跡ソフトウェアは、標準的なＰＣにおいて実行され、ＤＳＰ／ＦＰＧＡ内蔵のソリューションを用いるディスプレイに完全に統合される。

ホログラムパネルは、２０４８ｘ７６８０の解像度を有する振幅変調が祖を有し、６０Ｈｚで動作する。観察者距離は、既製のＬＣＤに対して相対的に粗い画素ピッチ（ホログラフィ用）に関して、現在約２ｍに設定されている。迂回位相符号化［４］を用いることにより、１つの複素ピクセル（セル）のピッチは１５６×１５６μｍである−このことは垂直方向において８ｍｍの対応するＶＷを導く。水平方向において、両方の眼球についてのホログラムは、空間的に分離される。固定光学系は、各眼球について、観察者の移動に応じて水平方向において移動される、３２．５ｍｍ幅の水平スイートスポットを生成する。故に、観察者は、水平視を失うことなく、水平及び垂直方向における頭部の自由な移動が可能である。左眼及び右眼についてのホログラムは、表示されたフレームに空間多重化されるとともに、色が順次提示される。各色成分（赤、緑、青）について、適切な波長について異なるフレームが示される。

レイヤについて５１２×２５６０のシーン点が再現可能であるが、観察者距離が２ｍの位置では、人間の眼球は２０インチディスプレイにおいて５１２×２５６０の解像度の３Ｄシーンを解像することはできない。従って、３Ｄシーン解像度は、レイヤについて５１２×６４０のシーン点に任意に制限される−またこのことはより一般的な形式（３：４）を提供する。より大きいＬＣＤについて、３Ｄシーン解像度は、フルＨＤやそれ以上に容易にスケールされうる。３Ｄシーンの深度範囲は、通常ホログラムディスプレイの前方約１ｍから始まり、ディスプレイの後方には無限大となる。

〈８．２ ＰＣにおけるリアルタイムホログラフィ〉
ホログラムディスプレイを動作させるためにＰＣを用いる動機は様々である：ＤＶＩを用いてＳＬＭを動作させる、より大きな解像度のサポートが必要な、標準的なグラフィックボードが使用される。さらに、急速なペースで次々と改良される、様々な既製部品も使用可能である。リアルタイム３Ｄコンテンツの制作は、ＯｐｅｎＧＬやマイクロソフトウィンドウズ（登録商標）プラットホームのＤｉｒｅｃｔ３Ｄ等の幅広く規定された３Ｄ描画ＡＰＩを用いて処理することは容易である。また、３Ｄモデル及び映像についてのフォーマット及びコーデックを提供する、便利なＳＤＫやソフトウェアライブラリが、提供され、容易にアクセス可能である。

ホログラフィック計算を行うＰＣを用いた場合、メインプロセッサは全く強力でない。最新のＣＰＵ、即ち約５０ＧＦｌｏｐ／ｓを実現するインテル（登録商標）Ｃｏｒｅ ｉ７［９］であっても、高解像度のリアルタイム３Ｄホログラムの計算を十分に早く行うことはできない。より強力な部品を使用することは明らかである−オーバーヘッドや非柔軟性にもかかわらず、大規模なメモリ帯域幅及び強力な処理能力であるため、グラフィック処理ユニット（ＧＰＵ）が最も魅力的である。利点として、プログラム可能性、柔軟性、及び処理能力は、近年明らかに改良されてきている。

〈８．３ ＧＰＵを用いたリアルタイム・ホログラフィ〉
マイクロソフト社のＤｉｒｅｃｔ３Ｄ ９に基づいて、上記で示したような完全なホログラフィック処理パイプラインが、魅力的なインタラクティブなアプリケーションとともに実装されている。ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ２８５ ＧＴＸを備えるＰＣ上で全てが動作しており、我々の２０”直視型ホログラフィック３Ｄプロトタイプを駆動している。ほぼ全ての計算が、グラフィクス処理ユニット（ＧＰＵ）上で行われ、ＣＰＵは、プログラム・フローを制御するため、及び計算用のパラメータを提供するためのみに用いられる。複数のステップの大部分については、空間画素（special pixel）プログラムと頂点シェーダ（vertex-shader）プログラムが実装されており、それらは適切なアルゴリズムを実行するようにステップ単位で切り替えられる。シェーダ・プログラムは、Ｃ類似の言語（即ち、Ｄｉｒｅｃｔ３Ｄを用いる際のＨＬＳＬ）で書かれた、複数の小規模なコードの断片である。実行用にコンパイルされてＧＰＵにアップロードされた場合、それらは、ＧＰＵに含まれる複数のシェーダ・コア内部で並列に動作することで、グラフィクス・パイプライン内部の頂点（vertex）または断片／画素を処理する。最新のＧＰＵは、典型的には２００個を上回るシェーダ・コアを備えており、それぞれが、約１ＧＨｚの高周波数で、典型的な４次元ベクトル演算を実行可能である。

ＣＵＤＡのような他のＧＰＧＰＵ（general purpose computation on graphics processing units、ＧＰＵによる汎目的計算）技術に対するＤｉｒｅｃｔ３Ｄの直接使用が選択された理由は、ＧＰＵが提供するあらゆる特徴を使用するための、より大幅な柔軟性と、アプリケーションモジュールによってリアルタイムに作成される３Ｄコンテンツに対する直接的なインタフェースである。

ＧＰＵを利用する我々のソリューションは、非常に柔軟性があり、かつ、パラメータ化可能である。Ｗｉｎｄｏｗｓ（登録商標）−ＳＤＫが、ホログラフィック計算のあらゆる側面をカプセル化する簡易なＡＰＩを提供しているＳｅｅＲｅａｌによって開発されているため、あらゆるアプリケーション設計者は、コンテンツ自体に焦点を合わせるだけでよい。特定のホログラフィック・ディスプレイ用の、仮想カメラに関連するあらゆる事項、ホログラム合成、ホログラム符号化及び後処理は、ソフトウェアシステムによって秘匿されるとともに自動的に処理される。図８は、ＧＰＵベースの処理パイプラインの概要を与える。

ＳｅｅＲｅａｌの２０”直視型ホログラフィック３Ｄプロトタイプ用に使用されるＧＰＵソリューションは、以下のように機能する。第１のモジュール、即ち、コンテンツ作成（ホログラフィック・アプリケーションの一部）では、２つのビューが作成され、それぞれが４個以下のレイヤから成り、各レイヤは、５１２×６４０個のシーン点（scene-points）を格納しており、各シーン点は、カラー、深度（depth）及びアルファ情報を提供する。ホログラフィック・アプリケーションは、Ｄｉｒｅｃｔ３Ｄ−ＡＰＩが提供する全ての機能及び特徴（例えば、それ特有のシェーダ・プログラム）を使用してもよい。生成されたデータ（ＧＰＵメモリにおける１６個以下のテクスチャ、レイヤごとに２個が深度及びカラーをアルファに提供する）は、次のインスタンスにわたって処理される。これは、アプリケーション設計者が作成及び実装しなければならない唯一のモジュールであり、他の全ての部分はＳＤＫによって提供される。

我々のＧＰＵソリューションにおけるデータフローの概要を示す、図８を参照する。

次のモジュール、即ち、ホログラム合成は、アルファ値によって与えられる透過効果（transparency-effects）を適用するために各レイヤを処理するとともに、異なるレイヤ間の深度がアプリケーションによってソートされていないケースについて、深度ソート（depth-sorting）を実行する。次に、各レイヤにおける３Ｄシーン点ごとに、サブホログラムが生成され、頂点シェーダ・プログラムを用いて位置付けられる）。各サブホログラムは、上述のように、ホログラム・セル（複素数値）ごとに位相及び振幅の計算を実行する画素シェーダ・プログラムによって処理される。計算された各セルは、次に、結果として生じる複素数値ホログラムに対して蓄積される。この複素数値ホログラムは、ＧＰＵメモリにおいて、１つが実数部で１つが虚数部の、２つの浮動小数点テクスチャを用いて実装される。

２００７年のＳＩＤにおいて示した我々の第１のプロトタイプ・バージョンでは、標準化されたサブホログラムが、２５６個の離散的な深度ステップ（depth-steps）のそれぞれについて予め計算された、ルックアップテーブル・アプローチが用いられた。これは、現時点におけるＧＰＵ（即ち、ＮＶＩＤＩＡ ７９００ ＧＴＸ）の、限られた処理能力を克服するために行われた。これまでのところ、グラフィクス処理ユニットは、急速に改良されているものの、計算能力の方向ではメモリ帯域幅よりも大きい。現在では、改良されたＧＰＵと最適化されたＳｅｅＲｅａｌアルゴリズムとの組み合わせによって、サブホログラムの直接計算が、より高い品質、柔軟性及び効率（動的なサブホログラム・サイズ）で可能となり、直接計算は、より効率的な計算をもたらし、ＧＰＵによって提供される無限に近い深度解像度（典型的には２４ビット）が、再現において（特に、大きな深度範囲について）より細かい深度解像度を提供するために、現在使用されており、メモリ帯域幅は、もはや計算を制限することはない。

第３のステップ、即ち、ホログラム符号化では、迂回位相変調（detour-phase modulation）を用いて、最終的なＳＬＭ準拠（SLM-compatible）の表現を作成するために、複素数値が、エンコーディングされ、これは、画素シェーダ・プログラムの別のセットを使用しても行われる。

最終的に、２つのビューがそれぞれ（カラー成分ごとに）３つのホログラムを有する、６つのホログラムが、ＳＬＭ上の表現のために多重化される。カラー成分ごとに１つの、３つのＳＬＭフレームが、垂直インタレースを使用してカラー成分ごとに２つのビューを１つのフレームに多重化することによって作成される。その後、これら３つのフレームは、順に表示される。

〈８．４ ＦＰＧＡを用いたリアルタイム・ホログラフィ〉
ホログラフィック３ＤソリューションについてのＳｅｅＲｅａｌの開発における別のステップは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）への移植のためにソフトウェアを最適化していた。その動機は、あらゆるディスプレイにも統合される、自律的なシステムを実現することである。ＣＰＵまたはＧＰＵに対するＦＰＧＡの利点は、それら両方の世界の最善の融合であり、ＧＰよりも大きなプログラミングの柔軟性と統合された、ＣＰＵよりも大幅に良好な並列度である。それでもなお、ＦＰＧＡソリューションの複雑なプログラミング・モデルは、ＰＣベースの開発と比較して、より長い開発サイクルをもたらす。

アプリケーション側では、その両方のソリューションは、既に上述したコンテンツ作成モジュールのようなものを使用して、コンテンツを作成するために、ＰＣを使用する。

しかし、このソリューションでは、生成されたデータは、単一ＤＶＩフレーム内部の両方のビューごとにカラー及び深度情報をパッキングすることによって、ＧＰＵメモリ内部のテクスチャの代わりにＤＶＩフレームを使用して、ＦＰＧＡボードに転送される。

このため、セットトップボックスまたはゲーム用コンソールも、コンテンツ・ソースとして使用するのに適することになろう。２つ以上の透過レイヤの処理は、上述の、提案した映像フレームフォーマットと同様に、４つ以下のレイヤについての情報を含むように、ＤＶＩフレームサイズを拡張することによって実現される。

我々のＦＰＧＡソリューションにおけるデータフローの概要を示す、図９を参照する。

後処理だけでなく、サブホログラムの計算、蓄積及びエンコーディングのためのモジュールは、ＶＨＤＬを用いて実装されている。今日では、このソリューションは、レイヤについての未定のサポートを除き、ＳｅｅＲｅａｌのＧＰＵバージョンと同様の機能性を提供する。ＦＰＧＡボードは、フレームを提示するためのＬＶＤＳインタフェースを使用して（図９を参照）、ＳＬＭを直接的に駆動する。

〈８．５ アプリケーション〉
ＦＰＧＡだけでなくＧＰＵ上で利用可能なソリューションによって、ＳｅｅＲｅａｌは、映像復号用の標準規格ＭＰＥＧ−４のコーデックを用いてＰＣのハードドライブからフレームごとにストリーミングされる、６０Ｈｚという完全表示フレームレートの、ライブ符号化された（live-encoded）高解像度のライフ・アクション（life action）３Ｄ映像を、表示することが可能である。各フレームは、大きく（heavily）利用される２つのビュー及び４つのレイヤ（背景プラス３つの透過レイヤ）ごと、ローカラー（raw color）、深度及びアルファ情報を含んでいる。利用可能な全てのシーン点のうちの８０％を上回るシーン点が、有意義な負荷比較のために透過レイヤにおいて使用される。

更に、標準規格フォーマットと、詳細にわたる３Ｄ環境における複数のモデルから成る、複雑かつインタラクティブな３Ｄシーンとに基づいて、コンピュータで生成された３Ｄモデルを表示するリアルタイム・アプリケーションが、開発及び実証されている。ユーザ・エクスペリエンスを向上させるとともに、インタラクションを簡易化するために、３Ｄ空間マウス及び任天堂（登録商標）Ｗｉｉコントローラのような、選択された最新のヒューマン・マシーン・インタフェースが、統合されている。

《９．結果》
ホログラフィック３Ｄディスプレイ用のＳｅｅＲｅａｌの原理と、それに対応する独自仕様のアルゴリズムとに基づいて、ＧＰＵ及びＦＰＧＡの両ソリューションは、空間ビュー及びシーケンシャル・カラー多重を使用して、６０ＨｚというフルＳＬＭ周波数で、ＳｅｅＲｅａｌの２０インチ・ホログラフィック３Ｄダイレクト・ビュー・プロトタイプを駆動することが可能である。更に、また、既に今日では、当該ソリューションは、スケールアップされた（より高いＳＬＭ解像度、より大きなサイズの）ディスプレイ・ハードウェアを、それに応じて増加した画素品質（pixel quality）で、駆動することが可能である。

高い解像度、フル・フレームレートのＧＰＵソリューションが、単一のＮＶＩＤＩＡ ＧＴＸ ２８５を備えるＰＣ上で動作し、ＳｅｅＲｅａｌのＦＰＧＡソリューションは、全てのホログラフィック計算を実行するために、１つのＡｌｔｅｒａ Ｓｔｒａｔｉｘ IIIを使用する。複雑な３Ｄシーン及び３Ｄ映像内部の透過効果がサポートされる。４つの全てのレイヤを利用する、複雑な高解像度３Ｄコンテンツであっても、フレームレートは、絶えず６０Ｈｚを上回る。ＰＣによってコンテンツが提供されうるとともに、特にＦＰＧＡソリューションについては、通常の２Ｄまたは３Ｄディスプレイを駆動するような、セットトップボックス、ゲーム用コンソール等によってコンテンツが提供されうる。

両ソリューションは、より多くのかつより大きなサブホログラム用の能力、特に、両方の次元（フル視差ホログラフィ）に広がっているサブホログラム用の能力を既に組み込んだ、非常に拡張性のある設計を有する。現在のソリューションによっても、リアルタイムのフル視差カラー・ホログラムの計算は達成可能であるとともに、内部で試験されている。３Ｄシーンの複雑度（complexity）に依存して、利用可能な計算能力による、より小さな深度範囲には、ある程度の制約がある。既に今日では、複数のＧＰＵ（ＮＶＩＤＩＡ ＳＬＩまたはＡＭＤ ＣｒｏｓｓＦｉｒｅ）を使用することによって、または、複数のＦＰＧＡを結び付けることによって、計算性能を、十分かつ容易に増大させることが可能である。一例として、ＮＶＩＤＩＡ ＳＬＩは、ホログラム計算フレームレートを１．９倍増加した、２つのＧｅＦｏｒｃｅ ２８５ ＧＴＸ ＧＰＵを接続するために適用されており、それにより、このソリューションについての良好な拡張性を提供している。

これらのソリューションは、ＳｅｅＲｅａｌが、全てがオンザフライで（on-the-fly）ホログラフィックにエンコーディングされた、複雑なインタラクティブ３Ｄシーンだけでなく複雑な３Ｄ映像を表示することを可能にしている。これにより、技術それ自体よりも、ストリーミング、ゲームまたはホログラフィックＴＶ用に適したフォーマットとともに、ホログラフィック・コンテンツ及びアプリケーションの開発に、重点的に取り組むことを可能にしている。

《１０． 結論及び更なる発展》
本稿では、複雑かつインタラクティブな３Ｄコンテンツを表示するホログラフィック・ディスプレイを駆動するためのＧＰＵまたはＦＰＧＡハードウェアに適合された場合に、リアルタイムのホログラムの計算を可能にする、新たなサブホログラム・アプローチを用いた我々のソリューションを提示した。

更なる発展では、ＳｅｅＲｅａｌのＧＰＵソリューションの効率及び柔軟性を向上させるために、新たに導入された、Ｃｏｍｐｕｔｅ−Ｓｈａｄｅｒｓ及びＯｐｅｎＣＬと組み合わされたＯｐｅｎＧＬ ３／４を用いる、Ｄｉｒｅｃｔ３Ｄ １１のようなＧＰＵの領域における新たな技術に焦点を合わせる予定である。複数の透過レイヤのサポートを含む、ＳｅｅＲｅａｌのＦＰＧＡソリューションは、２０１０年に完了する予定である。更に、ＶＨＤＬ設計は、専用のホログラフィックＡＳＩＣの開発用に最適化される予定である。

既存のゲームエンジンまたはアプリケーションエンジンへのＳｅｅＲｅａｌ技術の統合とともに、ホログラフィック・映像（３Ｄ−ＴＶ）及び３Ｄコンテンツのストリーミング用に適したフォーマットの開発またはアダプテーションについては、別に焦点を当てる予定である。

［引用文献］
［１］Goodman, J.W., [Introduction to Fourier Optics], 2nd edn, McGraw-Hill, New York (1996).
［２］Hoffman, D. M., Girshick, A. R., Akeley, K. & Banks, M. S., “Vergence-accommodation conflicts hinder visual performance and cause visual fatigue,” J. Vis. 8(3), 1-30 (2008).
http://journalofvision.org/8/3/33/
［３］St-Hilaire, P., Benton, S. A., Lucente, M. E., Sutter, J. D. & Plesniak, W. J., “Advances in holographic video,” Proc. SPIE 1914, pp. 188-196 (1993).
http://link.aip.org/link/?PSI/1914/188/1
［４］Burckhardt, C. B., “A Simplification of Lee’s Method of Generating Holograms by Computer,” Appl. Opt. 9(8), 1949-1949 (1970).
http://ao.osa.org/abstract.cfm?URI=ao-9-8-1949
［５］Hsueh, C. K. & Sawchuk, A. A., “Computer-generated double-phase holograms,” Appl. Opt. 17(24), 3874-3883 (1978).
http://ao.osa.org/abstract.cfm?URI=ao-17-24-3874
［６］Gregory, D. A., Kirsch, J. C. & Tam, E. C., “Full complex modulation using liquidcrystal televisions,” Appl. Opt. 31(2), 163-165 (1992).
http://ao.osa.org/abstract.cfm?URI=ao-31-2-163
［７］N. Leister, A. Schwerdtner, G. Futterer, S. Buschbeck, J.-C. Olaya and S. Flon, "Full-color interactive holographic projection system for large 3D scene reconstruction," Proc. SPIE 6911, 69110V (2008).
http://dx.doi.org/10.1117/12.761713
［８］Haussler, R., Reichelt, S., Leister, N., Zschau, E., Missbach, R. & Schwerdtner, A., “Large real-time holographic displays: from prototypes to a consumer product,” Proc. SPIE 7237, p. 72370S (2009).
http://link.aip.org/link/?PSI/7237/72370S/1
［９］http://www.intel.com/support/processors/sb/cs-023143.htm
［１０］http://www.business-sites.philips.com/3dsolutions/home/index.page
［１１］http://en.wikipedia.org/wiki/Shader
［１２］http://www.nvidia.com/object/cuda_home_new.html
［１３］http://gpgpu.org/about

Claims (9)

1. 不透明オブジェクト（２００）と透過特性を有するオブジェクト（３００）とを含む３次元シーン再現用ホログラムシステムの光学的光変調器（ＳＬＭ）について、観察者の少なくとも１つの眼球に対するホログラム符号化値の計算方法であって、
   前記３次元シーンを個別のオブジェクト点に分割して、該オブジェクト点の座標を決定し、
   選択された観察者の眼球位置に対応する、前記３次元シーンが知覚される仮想観察者位置（４００）を決定し、
   現実または仮想オブジェクト点を含む全ての前記オブジェクト点のうち、前記仮想観察者位置（４００）から見た際に、他の不透明オブジェクト点（２００）により完全に遮蔽されないオブジェクト点を、符号化される可視オブジェクト点として決定し、
   前記仮想観察者位置（４００）からの同一の角度において見られる全ての前記可視オブジェクト点を前記仮想観察者位置（４００）からの距離に応じてソートし、
   前記可視オブジェクト点の各々の実際の輝度（５１０）を、前記不透明オブジェクト（２００）及び透過特性を有するオブジェクト（３００）及び該シーン内の実光源の材質特性に基づいて、前記仮想観察者位置（４００）における視角での、該可視オブジェクト点の位置における、前記シーン内の実光源の位置及び明度を考慮して決定し、
   前記可視オブジェクト点の各々について、前記仮想観察者位置（４００）において知覚される該可視オブジェクト点が有する見かけの輝度値（５２０）を、該可視オブジェクト点について定められた実際の輝度（５１０）、該可視オブジェクト点と前記仮想観察者位置（４００）との距離、及び前記透過特性を有するオブジェクト（３００）あるいは該可視オブジェクト点と前記仮想観察者位置（４００）との間に存在するオブジェクト点の材質特性に基づく透過特性を考慮して決定し、
   前記可視オブジェクト点の各々について、前記見かけの輝度値（５２０）に加え、前記仮想観察者位置（４００）で知覚される該可視オブジェクト点が有する見かけの色値を、該可視オブジェクト点について定められた実際の色値、及び前記透過特性を有するオブジェクト（３００）あるいは該可視オブジェクト点と前記仮想観察者位置（４００）との間に存在するオブジェクト点の材質特性に基づく透過特性を考慮して決定し、
   前記可視オブジェクト点の各々について、前記ホログラムシステムにおいて再現可能な範囲内の該可視オブジェクト点に対応する位置において前記見かけの輝度値及び色値が再現され、不透明及び透明な前記可視オブジェクト点が独立してそれぞれの位置で知覚されるように、前記見かけの輝度値及び色値を用いて該可視オブジェクト点の符号化値をサブホログラムとして独立して計算する方法であって、
   前記仮想観察者位置（４００）において知覚される、前記可視オブジェクト点の前記見かけの輝度値（５２０）及び色値を、前記透過特性を有するオブジェクト（３００）の透過特性、あるいは該可視オブジェクト点と前記仮想観察者位置（４００）との間に存在するオブジェクト点の透過特性に基づく空間透過分布を考慮することで、空間相互依存性を考慮して計算する
   ことを特徴とする方法。
2. 少なくとも１つの実光源の光と、再現される前記透過特性を有するオブジェクト（３００）のオブジェクト点との相互作用の結果としての反射、放射、あるいは散乱に応じて仮想的に生成される、前記可視オブジェクト点のうちの仮想の可視オブジェクト点の前記実際の輝度を、前記透過特性を有するオブジェクト（３００）及び実光源のスペクトル特性を考慮して計算し、
   前記仮想観察者位置（４００）において知覚される前記見かけの輝度値（５２０）及び色値を、現実の可視オブジェクト点についての計算と同様に、該仮想の可視オブジェクト点について計算し、
   該見かけの値を用いて該仮想の可視オブジェクト点の符号化値をサブホログラムとして独立して計算する
   ことを特徴とする請求項１に記載の方法。
3. 前記可視オブジェクト点の位置を、前記透過特性を有するオブジェクト（３００）あるいは前記仮想観察者位置（４００）と補正される該可視オブジェクト点との間に存在するオブジェクト点における反射、屈折、あるいは回折を含む光学特性に応じて、前記仮想観察者位置（４００）に基づいて補正し、
   補正された該可視オブジェクト点の前記見かけの輝度値（５２０）及び色値を、該補正された位置に応じて計算し、
   前記オブジェクト点は前記見かけの値を用いて補正された該可視オブジェクト点の符号化値をサブホログラムとして独立して計算する
   ことを特徴とする請求項１または２に記載の方法。
4. 前記仮想観察者位置（４００）における前記可視オブジェクト点の前記見かけの輝度値（５２０）及び色値を、前記透過特性を有するオブジェクトのうちの、透過オブジェクト、反射オブジェクト、拡散オブジェクト、回折オブジェクト、及び屈折オブジェクトの少なくともいずれかのオブジェクト、あるいは該可視オブジェクト点と前記仮想観察者位置（４００）との間に存在するオブジェクト点についての吸収、拡散、反射、及び回折可能性に基づく確率的解析手法を用いることで、空間相互依存性を考慮して計算することを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記可視オブジェクト点の各々と前記仮想観察者位置（４００）の間にある少なくとも１つの前記透過特性を有する単体オブジェクト（３００）の少なくとも１つの透過特性を、該可視オブジェクト点の視認性を強化あるいは低減するために、該可視オブジェクト点の前記見かけの輝度値（５２０）及び色値の計算において考慮することを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 透過特性を有するオブジェクト（３００）を含む３次元シーンを再現するホログラムシステムの光学的光変調器（ＳＬＭ）について、少なくとも、観察者の少なくとも１つの眼球に対する符号化値を計算する計算ユニットであって、
   請求項１乃至５のいずれか１項に記載の方法を実行する
   ことを特徴とする計算ユニット。
7. 少なくとも１つのプログラム可能なプロセッサコア、任意の形式の少なくとも１つのプログラム可能論理回路（ＰＬＤ）、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、及び少なくとも１つのデジタル信号プロセッサ（ＤＳＰ）のうち、少なくとも２つの装置が１つの集積回路に組み合わされて実現されることを特徴とする請求項６に記載の計算ユニット。
8. ３次元シーン再現用のディスプレイのシステムコントローラの一部であることを特徴とする請求項６または７に記載の計算ユニット。
9. ３次元シーンの計算に用いられるコンピュータシステムであることを特徴とする請求項６乃至８のいずれか１項に記載の計算ユニット。