JP7474726B2

JP7474726B2 - 計算機合成ホログラム生成装置及びプログラム

Info

Publication number: JP7474726B2
Application number: JP2021082787A
Authority: JP
Inventors: 敬介野中; 良亮渡邊
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2021-05-14
Filing date: 2021-05-14
Publication date: 2024-04-25
Anticipated expiration: 2041-05-14
Also published as: JP2022175960A

Description

本発明は、計算機合成ホログラムを生成する計算機合成ホログラム生成装置及びプログラムに関する。

ホログラフィは光の干渉・回折現象に基づいて、物体からの光（物体光）を記録・再生する立体表示技術である。ホログラフィ技術では、物体から放たれる光の波と、レーザー等の光源から照射される参照光を干渉させ、ホログラム面上に干渉縞（ホログラム）として物体光を記録する。この干渉縞に再生照明光を当てることで、記録時の光を再現することができる。物体から放たれる光を忠実に再現できることから、人の３次元知覚の生理的要因を全て満たす理想的な３次元表示技術とされている。

このホログラフィ技術の中で、計算機合成ホログラム（Computer-Generated Hologram：CGH）は、ホログラムの計算のために必要となる光波の伝搬や干渉などの計算を計算機内部で光波シミュレーションし、干渉縞を画像に代表される電子データとして出力する技術である。写真乾板などに記録するアナログのホログラムと比較すると、撮影のための複雑な光学系が不要であることや、空間光変調器（SLM：Spatial Light Modulator）に表示するCGHを次々と切り替えていくことで動画化が容易に行えるなどの利点が存在するため、次世代のテレビや、VR/AR（仮想現実／拡張現実）を始めとするXR（VR/AR等の総称）デバイスなどに適用されることが期待されている。

一方、CGHの課題として、計算のための処理時間が膨大であるという問題が存在している。特にCGHの計算法として、記録する物体を多数の点光源の集合（3D点群データ）で定義し、この各点光源から放出される光の伝搬を計算して物体光波を記録する「点光源法」が著名であるが、多数の点群からの光波伝搬シミュレーションを行う必要があるため、この計算処理時間は膨大である。また、ホログラフィの再生時に十分な視域を得るためには可視光の波長に近い約1μm程度の画素ピッチのSLMが必要とされている。例えば1μmのオーダーで1cm×1cmの液晶を実現するために必要となるピクセル数は10000×10000ピクセルとなる。さらに液晶の大型化が成されることも想定すると、将来的には数百K～数千Kレベルの液晶が必要となる。点光源法の計算時間は一般に"点光源数×ホログラム面の画素数"であることを鑑みれば、膨大な点数を入力にリアルタイム計算を行うことは困難である。

特開2021-012338号公報

R. Watanabe, T. Nakamura, M. Mitobe, Y. Sakamoto, and S. Naito, "Fast calculation method for viewpoint movements in computer-generated holograms using a Fourier transform optical system," Appl. Opt. 58, G71-G83 (2019)

非特許文献1（及びこれと同様の特許文献１）においては、XR応用などを目的に、着用者がわずかに視点の位置や向きを動かしたときに、その状況に合わせた干渉縞を移動前のフレームの物体光波分布に変換を加えることで高速に計算する手法が開示されている。これによるとホログラム面上の物体光波分布を画素シフトさせることにより、再生像を画素シフトさせた方向に動かすことができるため、視聴者の視点が、ホログラム面に対して平行に移動した際の再生像を再生することができる。この平行移動の特性は、例えばHMD（Head Mounted Display）型のホログラフィ視聴が可能なXRデバイスなどにおいて、様々な瞳孔間距離を持つユーザに対して、微妙に異なる視点位置からの再生像を掲示したい場合などに有用である。つまり、あるリファレンスとなる物体光波分布を一枚記録しておき、他の瞳孔間距離のユーザに対しては物体光波分布を平行移動させて物体光波分布を作り出すことにより、リファレンス１枚だけを計算しておくだけで様々なユーザの瞳孔間距離に適応したCGHを高速に作り出すことができる。

また、非特許文献1においては平行移動だけではなく、ホログラム面の回転移動と前後移動に関しても高速計算法が開示されている。回転移動に関しては、ホログラム面上の各画素に回転によって生じる光路差を計算し、この光路差を生み出す位相を各画素に付与することで、近似的に再生像を回転しているように見せている。また、視点の前後移動に関してはホログラム面上の物体光波分布を拡大、ないし縮小することによって実現している。非特許文献1では、この「平行移動」「回転移動」「前後移動」を組み合わせることで、視聴者の任意の視点移動に対して、参照フレーム（前のフレームなど）を再利用して高速に生成を行うことが可能であるとしている。

非特許文献1にて開示されている参照フレームの再利用による高速化には以下（１）、（２）のような点で改良の余地を有していた。

（１） HMD型のデバイスの自然な視聴においては、視聴者の視点移動に対して極めて高速に映像を表示することが求められる。一般にこの応答速度は20msec以下が必要といわれており、非特許文献1によって参照フレームの情報を用いた場合においても十分な速度で処理できない場合が想定される。具体的には、HMDの移動量が大きい場合において、参照フレームの再利用可能な領域が小さくなることにより、再利用なしでCGHを生成する場合に比べて大幅な高速化が見込めない。

（２）非特許文献1の参照フレームの再利用という操作を長時間の連続する複数フレームに対して単純に適用した場合、再利用の繰り返しによる誤差の蓄積（再生像の品質劣化）が起こる。

なお、以上の改良を実現するために、HMDの取りうるすべての位置姿勢をCGHとしてあらかじめ生成しておくという方法は、極めて膨大な数の場合分けが必要となり、処理時間およびメモリ資源の観点から現実的ではない。

上記従来技術の課題に鑑み、本発明は、効率的な計算機合成ホログラム生成装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、ホログラム面上における物体光と参照光との干渉計算を行うことによって、計算機合成ホログラムを生成する計算機合成ホログラム生成装置であって、生成対象となる物体を構成する３次元点群を取得する３次元点群取得部と、前記ホログラム面の位置姿勢を各時刻において取得する位置姿勢取得部と、前記取得されている位置姿勢の現在時刻までの履歴より未来の位置姿勢を予測する位置姿勢予測部と、前記位置姿勢予測部が過去時刻において現在時刻の位置姿勢を予測した結果に基づいて再利用物体光を判定する再利用光判定部と、前記再利用光判定部での判定に応じて、計算に利用する物体光及びホログラム領域を決定する光波算出方式決定部と、前記光波算出方式決定部の決定に応じて現時刻の物体光を計算する光波伝搬計算部と、前記光波伝搬計算部で得られた現在時刻の物体光と、参照光との干渉計算を行うことで、現在時刻における計算機合成ホログラムを生成する干渉計算部と、を備え、前記光波伝搬計算部はさらに、前記位置姿勢予測部が予測した未来の位置姿勢に関して物体光を予め計算しておき、前記再利用光判定部は、位置姿勢予測部が過去時刻において現在時刻の位置姿勢を予測した結果における予測精度が高いと判定される場合に、当該過去時刻において現在時刻を対象として前記光波伝搬計算部が前記予め計算しておいた物体光を、現在時刻の前記再利用物体光に該当するものとして判定し、当該予測精度が低いと判定される場合に、当該過去時刻において当該過去時刻について前記光波伝搬計算部が計算した物体光を現在時刻の前記再利用物体光に該当するものとして判定し、前記光波伝搬計算部は、前記判定された再利用物体光を補正して現在時刻の物体光を計算することを特徴とする。また、コンピュータを前記計算機合成ホログラム生成装置として機能させるプログラムであることを特徴とする。

本発明によれば、光波伝搬計算部は再利用光波として設定されうるものに対する投機的処理として未来時刻の予測位置姿勢についての物体光を予め計算しておき、現時刻の実際の位置姿勢が判明することにより、過去時刻において現在時刻を未来時刻として予測された予測位置姿勢の予測精度に応じて再利用光波を設定して当該再利用光波の補正により物体光を算出するので、効率的に計算機合成ホログラムを生成することが可能となる。

一実施形態に係る計算機合成ホログラム生成装置（CGH生成装置）の機能ブロック図である。一実施形態に係るCGH生成装置の動作のフローチャートである。計算機合成ホログラム生成装置10が実現するリアルタイムの各時刻でのホログラフィ表示の模式例を示す図である。ホログラム面上で物体光波分布を画素シフトさせて視点の平行移動を模擬する例を示した図である。ホログラム面上で回転によって生じる光路差が生み出す位相を各画素に付与することで視点の回転を模擬する例を示した図である。ホログラム面上で物体光波分布を拡縮させて視点の前後移動を模擬する例を示した図である。ホログラム面に対して各場合による物体光波の計算の仕方の区別を模式的に示す図である。一般的なコンピュータにおけるハードウェア構成を示す図である。

図１は、一実施形態に係る計算機合成ホログラム生成装置（CGH生成装置）10の機能ブロック図である。CGH生成装置10は、3D点群取得部11、再利用光波判定部12、光波算出方式決定部13、光波伝搬計算部14、干渉計算部15、表示部16、位置姿勢取得部21、位置姿勢予測部22及び予測光波記録部23を備える。

図２は、一実施形態に係るCGH生成装置10の動作のフローチャートである。図２では、リアルタイムの各時刻t=1,2,…においてCGH生成装置10が行うステップ群SG(t)（繰り返される各時刻tで共通のステップ群SG(t)）としてのステップS1～S6が示されている。

図３は、CGH生成装置10が実現するリアルタイムの各時刻t=1,2,…でのホログラフィ表示HL(t)の模式例を示す図である。視聴者としてのユーザは、ホログラフィ表示面としての表示部16を有するHMDデバイスDを頭部に装着することで所望の位置姿勢p_t（ユーザの頭部とHMDデバイスDとで連動する位置姿勢p_t）を取っており、点群データPG(t)として構成される3次元モデルが、当該位置姿勢p_tを仮想カメラ位置として仮想空間VSP内におけるホログラフィ表示HL(t)としてユーザに対して表示されることとなる。（なお、p_t=p(t)であるが、後述の数式表記のためp_tと表記する。）ここで、ユーザの位置姿勢p_tと、ホログラフィ表示される3Dモデルである点群データPG(t)との両方が、リアルタイムの各時刻tにおいて移動可能である。ユーザがHMDデバイスDを装着して現実世界内で顔の位置及び向きを変化させているのに連動したものとして、仮想空間VSP内での位置姿勢p_tが得られる。点群データPG(t)については、仮想空間VSP内で動き回る人物モデル等として用意しておいてもよいし、仮想空間VSP内で静止している静止オブジェクトとして用意しておいてもよい。

以下、図２の各ステップを説明しながら、図１の各機能ブロックの処理の詳細について説明する。

（ステップS1）
ステップS1では、以下の（１）～（３）の処理を行ってからステップS2へと進む。
（１） 3D点群取得部11が現時刻tの点群PG(t)を取得して再利用光波判定部12へと出力する。
（２）位置姿勢取得部21が現時刻tのユーザの頭部の位置姿勢p_t（図３で説明した通り、ユーザ頭部に装着されるHMDデバイスDの位置姿勢p_tと同一であって、仮想カメラの位置姿勢p_tとなるもの）を取得して位置姿勢予測部22並びに再利用光波判定部12、光波算出方式決定部13及び光波伝搬計算部14（以下、各部12,13,14とする）へと出力する。
（３）位置姿勢予測部22が、当該現時刻tまでの位置姿勢p_tの履歴{p_k|k=t,t-1,t-2,t-3,…}より未来時刻t+m(m>0)の位置姿勢p_t+mを予測し、当該予測位置姿勢を予測光波記録部23並びに各部12,13,14へと出力する。

<<3D点群取得部11>> …ステップS1
ホログラフィで再生したいシーンの3D点群を計算機内で扱うために、3D点群PG(t)を装置に入力するのが3D点群取得部11である。この3D点群は、例えばPLYファイルなどの汎用フォーマットとして入力される。本実施形態では各点p_iは位置情報（X_i, Y_i, Z_i）と輝度情報（A_i）を持つものとする。ここでiは点のインデックスを表す。輝度情報はRGBなどのカラーで入力されてもよいが、一般的なCGHの生成手法においてカラー化を行う場合は、赤の波長、緑の波長、青の波長でそれぞれ干渉縞を独立に生成するため、一般的には同じ処理を3回繰り返すのみで、単色とカラーにおけるフローの違いはないことから、ここでは単色の輝度情報（A_i）を持つものとして説明を続ける。また、この3D点群取得部11の前処理として、計算時間を減らす観点から入力3D点群の位置に対して、八分木（Octree）などを用いて位置を量子化し、同じ位置に重複する点については輝度を平均化して1点として扱うようなダウンサンプリングを行うことや、あるいは特定視点位置から見た際に前方の点に隠されて見えない位置の点を予め除去してもよい。

また、3D点群データではなく、ポリゴンモデルを入力してもよく、ホログラフィ向けに3Dポリゴンモデルから運動視差を保ちつつ3D点群データを得る手段として、以下の非特許文献2に示されるレイトレーシング法に基づく3D点群取得手法が提案されている。よって、このような手法に基づきポリゴンモデルを入力し、点群に変換してもよい。
[非特許文献2] T. Ichikawa, T. Yoneyama, and Y. Sakamoto, "CGH calculation with the ray tracing method for the Fourier transform optical system," Opt. Express 21, 32019-32031 (2013).

以上の3D点群またはポリゴンは、仮想空間VSP内の各時刻tで動く3Dモデル（特別な場合として常に静止している場合も含む）のコンテンツとして予め用意しておき、3D点群取得部11においてこのコンテンツを取得すればよい。あるいは、多視点映像に視体積交差法等を適用してリアルタイムで得られる3D点群PG(t)を3D点群取得部11において取得するようにしてもよい。

<<位置姿勢取得部21>> …ステップS1
本機能ブロックはある時刻tの視聴者（ユーザ）の位置姿勢を入力する機能をもつ。ここで、HMDの位置姿勢情報はp_t=（x_t,y_t,z_t,φx_t,φy_t,φz_t）として表現される。このとき（x_t,y_t,z_t）はHMD視聴対象の3次元空間における3次元座標を示しており、（φx_t,φy_t,φz_t）は（x_t,y_t,z_t）を中心とした座標系におけるHMDのx軸、y軸、z軸周りの傾き（姿勢）を示している。なお、以後では単に位置姿勢と記述した場合は、上記視聴者の位置姿勢を指すものとする。実際には、多くのHMDにおいてこの位置姿勢を算出するモジュールが搭載されており、API（アプリケーションプログラミングインタフェース）として利用可能な形態をとる。（例えば、HMDに備わるジャイロセンサ、加速度センサ、カメラ等のハードウェア計測結果からこの位置姿勢を算出するAPIが既存手法として提供されているので、位置姿勢取得部21ではこの既存手法で位置姿勢を取得すればよい。）また、現在の時刻に限らず過去の時刻の位置姿勢を入力する機能を有していてもよい。

<<位置姿勢予測部22>> …ステップS1
位置姿勢取得部21によって入力・保持された時刻t-(n-1)～tのnフレームの時刻の位置姿勢（現時刻tまでのnフレーム分の位置姿勢の履歴）を用いて、現在時刻からmフレーム後（m>0）の未来の時刻t+mの位置姿勢を推定する。この機能は学習部と推論部からなり、これら学習および推論には時系列データを扱う既存技術である機械学習手法リカレントニューラルネットワーク（RNN）を用いることができる。具体的には、あらかじめ事前に計測しておいた位置姿勢情報を用いて、nフレームの連続的な時系列位置姿勢データを入力した際のmフレーム後の位置姿勢を正解データとして学習しておく。この際の学習データセットの事前計測においてはコンテンツの制限はないが、最終的にユーザが体験する対象アプリケーション（HMDを用いてホログラム表示するアプリケーション）を3DCG等で模擬したものを用いることで実際のアプリケーション体験に近いHMDの移動を学習することが可能である。

実際にユーザがホログラム表示を伴う対象アプリケーションを体験した際には、上記学習済みRNNに対して現時刻および連続する過去の位置姿勢データを入力し、未来の時刻の位置姿勢を推定する。なお、この推定には時系列データを入力として推定を行う他のニューラルネットワーク（LSTMなど）を用いてもよい。また、mフレーム後といった未来時刻における1フレームの位置姿勢だけでなく、時刻t+mから時刻t+k（k>m>0）までのk-m+1個の各時刻のように複数フレームを予測位置姿勢データとして出力してもよい。ここで、予測された位置姿勢（予測位置姿勢）は、データベースである予測光波記録部23に保持されるとともに、各部12,13,14に入力される。

（ステップS2）
ステップS2では、再利用光波判定部12がデータベースである予測光波記録部23を参照し、現時刻tの予測光波データが存在するか否かを判定し、存在すればステップS3へと進み、存在しなければステップS4へと進む。

（ステップS3）
ステップS3では、再利用光波判定部12（ステップS3に至った場合、ステップS2は肯定判定であった）がさらに、現時刻の位置姿勢p_tからみた過去時刻（例えば１つ前の過去時刻t-1）の位置姿勢p_t-1の変位D(p_t-1,p_t)と予測位置姿勢q_tの変位D(q_t,p_t)を比較して、その大小関係が以下であったか否かを判定し、肯定判定であればステップS31へと進み、否定判定であればステップS32へと進む。
「D(p_t-1,p_t) ≧ D(q_t,p_t)」が真の場合 …ステップS31へと進む。
上記が偽の場合（すなわち、「D(p_t-1,p_t)<D(q_t,p_t)」の場合） …ステップS32へ進む。

なお、上記真となる場合は、過去時刻において現在時刻tについて予測された位置姿勢q_tの予測精度が高いと判定された場合に該当し、偽となる場合は、当該予測された位置姿勢qtの予測精度が低いと判定された場合に該当する。

（ステップS31,S32）
ステップS31では、再利用光波判定部12が過去時刻において現時刻tについて（位置姿勢q_tを）予測した際に算出した光波である予測光波を再利用光波として選択して光波算出方式決定部13へと出力してからステップS33へと進み、ステップS32では、再利用光波判定部12が過去時刻p_t-1の光波を現時刻tの再利用光波として選択して光波算出方式決定部13へと出力してからステップS33へと進む。

<<予測光波記録部23>> …ステップS2以降の各ステップで参照される
予測光波記録部23はハードウェアとしては記憶装置であり、過去に算出された予測位置姿勢とそれに対応する光波伝搬のデータを保持する。具体的には、後述のCase-3を可能とすべく、位置姿勢予測部22によって算出された未来時刻の位置姿勢と、光波伝搬計算部14により算出された当該未来時刻の位置姿勢に対応する光波（予測光波）を紐づけて保持する。なお、予測対象の未来時刻が時間の経過とともに過去の時刻となった場合、後述するステップS6において予測光波記録部23は対象のデータを破棄することにより、保持データ量が増大し続けることを防止する。同様に、後述のCase-2で必要な物体光波及び位置姿勢も必要な期間だけ記録する。

<<再利用光波判定部12>> …ステップS2,S3,S31,S32
再利用光波判定部12では、位置姿勢取得部21による実測値としての現在の位置姿勢及び過去の位置姿勢と、位置姿勢予測部22による予測値として予測光波記録部23に保持されている過去時刻に算出された予測位置姿勢とを用いて、物体光波の生成における参照元の光波（再利用光波）を決定する。

なお、図２のフローのステップS2,S3において前述の通り、ステップS2では当該参照元として利用できる再利用光波の有無を判定し、肯定の場合（再利用光波があると判定された場合）にステップS3の判定（再利用光波としていずれを用いるかの判定）を行うが、まず、このステップS3の判定から説明する。

ここでは簡単のために過去時刻をひとつ前のフレームとして説明する。現在の位置姿勢p_t、前フレームの位置姿勢p_t-1、時刻t-1において予測された現在時刻の予測位置姿勢をq_tとする。これら位置姿勢を用いて次の式(1a)のように二つ位置姿勢の類似度を評価するための指標として現時刻の位置姿勢p_tからみた前フレームの位置姿勢p_t-1の変位D(p_t-1,p_t)を算出する。（なお、非負の値となる変位が大きいほど類似度が小さい。）同様にして、式(1a)の前フレームの位置姿勢p_t-1を予測位置姿勢q_tに置換することにより、現時刻の位置姿勢p_tからみた予測位置姿勢q_tの変位D(q_t,p_t)も式(1b)のように算出する。

式(1a)で、p_k(x,y,z)およびp_k(φ)はそれぞれ当該時刻k(k=t-1,t)の位置姿勢における位置(x,y,z)および姿勢(φx,φy,φz)を返す関数であり、cos(,)は二つの姿勢ベクトルのコサイン類似度を返す関数である。γは位置の変位と姿勢の変位の重みを決定するユーザ設定の変数である。式(1b)も同様であり、q_t(x,y,z)およびq_t(φ)は当該現時刻tに対する予測位置姿勢における位置(x,y,z)および姿勢(φx,φy,φz)を返す関数である。

この変位Dに従い、D(p_t-1,p_t)<D(q_t,p_t)の場合は、フローに関して前述の通り、過去時刻の位置姿勢p_t-1を再利用位置姿勢として選択して出力（ステップS32）し、そうでない場合はq_tを再利用位置姿勢として選択し出力（ステップS31）する。また、ステップS32,S31において当該位置姿勢に対応する物体光波を再利用光波として出力する。（すなわち、ステップS32でp_t-1を選択する場合は前フレームで表示した光波（表示部16でホログラフィ表示HL(t-1)として表示された光波）を、q_tを選択する場合は予測光波記録部23に保存された光波を選択する。）

なお、現時刻に対応する複数の予測位置姿勢を予測光波記録部23に保持している場合は、変位D(,)の値が最も小さい予測位置姿勢を再利用位置姿勢とする。（複数の予測位置姿勢がある場合は以下においても同様である。）

（変形例１）変形例１として、上記変位Dの大小を用いた判定以外にも、連続で過去フレームを参照した際の誤差の蓄積を押さえるために、ステップS3においてp_t-1をk回連続で選択した場合（時刻t,t-1,…,t-k+1のステップS3においてそれぞれp_t-1,p_t-2,…,p_t-kが選択され、ステップS32へ進む判定がk回連続した場合）は、ステップS3における判定において強制的にq_tを選択する（ステップS3からステップS31へと進む）ようにしてもよい。後述する処理によって過去フレームを参照する場合は近似計算により高速計算が可能となるが、これを連続して繰り返すと誤差が蓄積するため、強制的にq_tを選択することでこの蓄積を防止できる。

（変形例２）また、変形例２として次のようにしてもよい。3Dコンテンツとしての対象空間の3D点群PG(t)が動きを伴う場合は、前フレームの光波に比べて予測光波の再利用が望ましい可能性が高い。従って、このように3Dコンテンツが構成されている場合には、以下の（１）、（２）の判定・処理を行うことで、点群が動きを伴うと判定されるホログラム面全体又はホログラム面の領域については変位Dの大小による判定によらず強制的に、予測位置姿勢q_tによる再利用光波を採用するものとして決定するようにしてよい。

（１）現在時刻のホログラム面HL(t)からみた際に、動きを伴う点群の寄与するホログラム面の領域（動的ホログラム領域）を算出する。本処理は粗い点群などを用いて大まかに領域を特定すればよい。（この際、3D点群PG(t)の動きと、位置姿勢p_tの動き（直前時刻の位置姿勢p_t-1等からの動き）とから、位置姿勢p_tに対して相対的に動いている領域を算出すればよい。領域の動きの有無はブロック単位等で判定すればよい。）

（２）以下のいずれかの処理を行う。
（２－１）ホログラム面全体のうちx%以上を動的ホログラム領域が占める場合、q_tを再利用位置姿勢として選択し再利用光波を得る。ここでxはユーザ設定の閾値である。
（２－２）ホログラム面を小領域H_i（i=1,2,…,N；Nは分割数）に分割し、小領域H_iごとに動的ホログラム領域が面積のx%以上であるかを判定する。x%以上の領域については、q_tに対応する再利用光波を選択し、そうでない場合は、前記変位Dによる判定に基づきp_t-1,q_tのいずれを選択するかを判定する。

なお、以上では予測位置姿勢が存在する前提での説明であったが、予測位置姿勢が存在しない場合（すなわち、図２のフローを開始した初期時刻t=1の場合、あるいはこれ以降の所定期間であって過去時刻の位置姿勢の実績値の蓄積が少ないため位置姿勢予測部22において予測を行うことができない場合、または予測精度が低いと考えられる場合）においては、単純にp_t-1およびその位置姿勢に対応する光波を出力する。すなわち、ステップS3からステップS32へと進む。

加えて、過去の位置姿勢p_t-1も存在しない場合（すなわち、図２のフローを開始した初期時刻t=1の場合）には、「再利用光波なし」として出力する。すなわち、図２のフローを開始した初期時刻t=1においては、ステップS2で否定判定を得てステップS4へと進む。これよりも後の各時刻t=2,3,…においてはステップS2で肯定判定を得てステップS3へと進む。

（ステップS33）
ステップS33では、光算出方式決定部13が、最終的なホログラフィ表示HL(t)（ホログラム面HL(t)）を生成するための領域を、再利用光波判定部12の判定結果に従った再利用方式を採用する再利用領域HL(t)_[再利用]と、再利用方式を利用しない非再利用領域HL(t)_{[非再利用]}とに２分割し、その結果（再利用面HL(t)_[再利用]については算出方式の情報も含む）を光伝搬計算部14へと出力してから、ステップS4へと進む。
HL(t)= HL(t)_[再利用]∪HL(t)_{[非再利用]}
HL(t)_[再利用]∩HL(t)_{[非再利用]}=φ（空集合）

<<光波算出方式決定部13>> …ステップS33
本機能ブロックにおいては、再利用光波判定部12において選択された再利用位置姿勢を用いて、最終的な物体光波の算出方法を決定する。この決定において、再利用位置姿勢が過去位置姿勢p_t-1である場合と予測位置姿勢q_tである場合とのいずれにおいても、非特許文献１（及び特許文献１）に記載の再利用光波を利用した物体光波の生成技術による3つの補正方式を選択肢とすることができる。

具体的には、現在の位置姿勢p_tと参照位置姿勢（p_t-1またはq_t）とを比較し、それらの変位量d=（dx_t,t-1,dy_t,t-1,dz_t,t-1,dφx_t,t-1,dφy_t,t-1,dφz_t,t-1）（この変位量dは、前述の式(1a)又は(1b)の重みづけ和によりその大きさを評価した変位Dを、大きさではなくベクトル成分として直接に表現したものに相当する）をもとに、回転および前後左右（左右の場合は平行）の移動ベクトルを算出する。この移動ベクトルを基に3つの補正方式のうちいずれ（もしくは組合せ）が必要であるかを判定する（3つの補正方式は図４～６に対応）。例えば、d=(dx, dy, 0, 0, 0, 0)であった場合は、xy平面の平行移動として、上（または下）と左（または右）に再利用光波をずらす再計算モードを設定する。その他、z軸の変位には前後移動、(φx、φy、φz)の変位には回転を用いて対応するように光波算出方式を選択する。

図４～図６は、非特許文献１における3つの補正方式（各種の変位量の場合に、物体光波分布を再度算出するのではなく、模擬的な補正計算で近似算出する手法）を模式的に示す図である。

図４に示すように変位量dが視点の平行移動となる場合は、物体光波分布u (x, y)に対して画素シフトを行うことで、再利用領域HL(t)_[再利用]を構成することができる。図５に示すように変位量dが視点の回転移動となる場合は、物体光波分布u(x, y)に対して回転によって生じる光路差が生み出す位相を積として付与することで再利用領域HL(t)_[再利用]を構成することができる。図６に示すように変位量dが視点の前後移動となる場合は、物体光波分布u (x, y)を拡大または縮小することで再利用領域HL(t)_[再利用]を構成することができる。

なお、以上のような再利用領域HL(t)_[再利用]における物体光波分布の算出を実際に行うのは、この光波算出方式決定部13ではなく後段側の光波伝搬計算部14となる。光波算出方式決定部13では、算出方式の割り当てのみを行う。

加えて、光波算出方式決定部13では、図４～６の再利用光波で補間できないホログラム面の領域である非再利用領域HL(t)_{[非再利用]}（非再利用ホロ面）をあらかじめ算出する。例えば上記平行移動の場合、参照光波のカバーできない領域（図４における「再利用可能」と記載されていない領域）を後段の処理で新たに再計算する必要がある。このような再計算領域を算出し、出力する機能をもつ。なお、この非再利用領域HL(t)_{[非再利用]}は、図４～６でも模式的に示されるように再利用光波の移動（幾何変形）によって算出できるため、光波伝搬のような複雑な計算を必要としない。

（ステップS4及びS34）
ステップS4及びS34では、光波伝搬計算部14が、現時刻の位置姿勢ptに応じたホログラム面の物体光波u(x,y)（なお、ステップS32を経由した場合は、過去時刻t-mのステップS34で予測位置姿勢q_t=q_(t-m)+mに関して計算済みであるため計算不要となる）と予測姿勢q_t+mに応じたホログラム面の物体光波u(x,y)を計算して干渉計算部15及び予測光波記録部23へ出力してから、ステップS5へと進む。

<<光波伝搬計算部14>> …ステップS4,S34
光波伝搬計算部14においては、従来手法である点光源法に基づいて、当該時刻tの3D点群PG(t)からホログラム面までの物体光波の伝搬計算を行い、得られた物体光波u(x,y)を干渉計算部15及び予測光波記録部23へと出力する。ステップS4に至った場合（Case-1）と、ステップS32を経由してステップS34に至った場合（Case-2）と、ステップS31を経由してステップS34に至った場合（Case-3）と、で光波伝搬計算部14はそれぞれ以下のような計算を行う。また、Case-1,2,3のいずれの場合においても、以下の（共通処理）の計算を行う。

（Case-1）まず再利用光波判定部12において「再利用光波なし」とされた場合（ステップS4の場合の光波伝搬計算部14）について、計算式は以下の式(2),(3)で表される。

ここで(x,y)は光波が伝搬されるホログラム面上の画素位置を示しており、s_i(x,y)は各点光源c_i∈PG(t)から伝搬されるホログラム面上の光波分布である。A_iはc_iの輝度で、r_iは点光源c_iとホログラム面上の画素(x,y)との距離を表している。また、kは光の波長から計算される波数を表す。

（Case-2）次に、ステップS32を経由してステップS34に至った場合における、過去の位置姿勢p_t-1の再利用光波（過去時刻t-1において現時刻tと同様に「S32→S33→S34」の経緯で計算された物体光波）を用いる場合においては、模式図としての図４～６で示した通りの非特許文献1に開示されている手法により、上記物体光波u(x,y)（過去時刻t-1において光波伝搬計算部14で計算され予測光波記録部23に記録されているもの）に光波算出方式決定部13にて判定されたモードに従い、再利用領域HL(t)_[再利用]に関して再利用光波の補正を行い、補正後再利用光波を得る。すなわち、平行移動や前後移動に伴う補正により再利用領域HL(t)_[再利用]における物体光波を得る。

一方で、光波算出方式判定部13にて補正後再利用光波を利用しないとされた非再利用ホロ面（非再利用領域HL(t)_{[非再利用]}）においては、Case-1と同様に点光源法により上記の式(2),(3)に従い計算を行う。最終的には、非再利用領域HL(t)_{[非再利用]}において点群から計算された物体光波と、再利用領域HL(t)_[再利用]での補正再利用光波を結合し、現在時刻の物体光波u(x,y)として出力する。

（Case-3）ステップS31を経由して現時刻tのステップS34に至った場合においては、既に説明した通り、Case-2と同様の処理を、過去の位置姿勢p_t-1ではなく、過去時刻t-mで現在時刻tについて予測されている予測位置姿勢q_tにおいて計算された物体光波（過去時刻t-mでステップS31→S33→S34の経緯で計算された物体光波）、光波算出方式決定部13にて判定されたモードに従い、再利用領域HL(t)_[再利用]に関して再利用光波の補正を行い、補正後再利用光波を得る。同様に、光波算出方式判定部13にて補正後再利用光波を利用しないとされた非再利用ホロ面（非再利用領域HL(t)_{[非再利用]}）においては、Case-1と同様に点光源法により上記の式(2),(3)に従い計算を行う。最終的には、非再利用領域HL(t)_{[非再利用]}において点群から計算された物体光波と、再利用領域HL(t)_[再利用]での補正再利用光波を結合し、現在時刻の物体光波u(x,y)として出力する。

すなわち、Case-2とCase-3は、再利用領域HL(t)_[再利用]の物体光波を補正で計算するために用いる再利用光波が、過去の位置姿勢p_t-1における物体光波であるか、予測位置姿勢q_tにおける物体光波であるか、という点のみが異なる。

図７は、ホログラム面HL(t)に対して以上のCase-1,Case-2,Case-3による物体光波の計算の仕方の区別を模式的に示す図であり、Case-1ではホログラム面HL(t)の全体を点充填法で計算し、Case-2及びCase-3ではホログラム面HL(t)の全体のうち非再利用領域HL(t)_{[非再利用]}を点充填法で計算し、再利用領域HL(t)_{[非再利用]}を、再利用光波としてそれぞれ過去時刻t-1の位置姿勢p_t-1（さらに過去のt-2等でもよい）について計算済みの物体光波と、過去時刻t-mの予測位置姿勢q_tについて計算済みの物体光波と、を用いて、この際利用光波を補正して計算することができる。

なお、Case-3では、再利用光波として用いる過去時刻t-mの予測位置姿勢q_tについて計算済みの物体光波は、ホログラム面の全体について以下の（共通処理）により点充填法により計算されているため、これを補正することにより若干の誤差は生じるものの、Case-2の場合と比べて誤差を小さくできる。Case-2が一定期間に渡って連続して適用されると、補正の連続適用によって誤差が蓄積しうるが、前述の変形例１によりCase-3を強制的に適用することで、この誤差の蓄積を防止することができる。

（共通処理）一方で、以上のCase-1,2,3のいずれの場合においても光波伝搬計算部14はさらに、現在時刻tの光波伝搬の算出（Case-1,2）と並行して、位置姿勢予測部22にて算出された未来時刻t+m(m>0)の位置姿勢q_t+mに対する「再利用光波を用いない」光波伝搬を式(2),(3)を用いて点光源法により計算し、予測位置姿勢q_t+mに対する物体光波として予測光波記録部23に保存する。

この共通処理は、当該現在時刻tの光波伝搬とは独立した処理であり並列化が可能であり、本実施形態において当該未来時刻における物体光波を投機的に計算・保存しておく処理に相当する。また、複数の未来時刻t+m(m>0)に対する予測位置姿勢が入力された場合は、それらに対応する光波伝搬を同様に計算し、予測光波記録部23に保存する。

（ステップS5）
ステップS5では、干渉計算部15が干渉縞を計算して表示部16へと出力してから、ステップS6へ進む。

（ステップS6）
ステップS6では、ステップS5で得られた現時刻tの干渉縞を表示部16がホログラム面HL(t)として表示することによりホログラム再生を行い、且つ、予測光波記録部23の記録を更新（保存されている予測光波のうち、過去時刻に該当するものとなってしまったものを削除することで更新）し、当該図２のフローは終了する。

<<干渉計算部15>> …ステップS5
光波伝搬計算部14にて出力されたホログラム面上の物体光波u(x,y)に対して、計算機上のシミュレーションとして参照光波を差し込むことで、干渉計算を行う機能を有する。本実施例の参照光は、非特許文献1にて開示されている再生光学系のレンズの焦点距離fの位置に収束する収束球面参照光波を用いるようにしてよい。この収束球面参照光波が、ホログラム面上に伝搬されたときの光波の複素振幅分布R(x,y)は以下の式(4)（あるいは別の実施形態としての式(5)又は(6)）で表わされる。

ここでR_oは参照光の強度であり、rは参照光の位置から、ホログラム面上の位置(x,y)までの距離を表している。なお、参照光の位置は、非特許文献1と同様、本実施形態ではレンズ拡大光学系を構成するレンズの焦点位置(X,Y,Z)=（0,0,f）に配置することとした。（なお、この座標系(X,Y,Z)は、図４，５等に示されるように、原点(0,0,0)を中心としてXY平面上にホログラム面が配置される座標系であり、Z軸方向がこのホログラム面の法線方向となるものである。）ここでfはレンズの焦点距離である。

なお、上記の通り本実施形態の参照光は式(4)に限定されず、式(5)のような単なる球面波参照光でもよいし、式(6)のような平行光参照光でもよい。ただし式(6)のφは参照光のホログラム面への入射角度である。

以上計算してさらに、光波伝搬計算部14この参照光波と物体光波の干渉を示す以下の式(7)の計算を行う。

ここで、I(x,y)はCGHの輝度分布である。最後に本実施形態の光波伝搬計算部14では、この、I(x,y)を0-255（8ビット範囲）等の所定レンジに正規化して、HMDに搭載されたSLM（空間光変調器）として構成される表示部15に画像として出力し、ホログラム面HL(t)の表示を実現する。

以上、本発明の実施形態によれば、HMDデバイスでのホログラム表示において、高速な視点移動などを伴う場合においても誤差の蓄積などを抑制しながら高品質なホログラム表示が可能となる。

すなわち、位置姿勢推定部21において現時刻tのHMDの位置姿勢（動き）情報p_tから未来時刻t+mのHMDの位置姿勢q_t+mを推定し、それに基づき光波伝搬計算部14において前記「共通処理」として当該未来時刻t+mにおける物体光波を投機的に計算・保存しておき、再利用光波判定部12において現時刻tに適した光波を利用するように判定することで、高速なHMDの位置姿勢の変化に対応する手段をとる。また、上記の投機的処理に加えて、再利用光波判定部12での前記「変形例１」により、過去の物体光波の再利用における繰り返し回数を限定することで、当該繰り返しによる誤差の蓄積を回避することもできる。

以下、種々の補足例、追加例、変形例などに関して説明する。

（１）本発明の実施形態によれば、その応用例としてリアルタイム生成される３次元モデルのホログラム再生により、遠隔地に存在する対象（例えばスポーツ試合中の選手）を自由視点映像として、臨場感を持って視聴することが可能となる。これにより、遠隔地への実際の移動を必ずしも必須とせずに、スポーツ試合等のコンテンツを視聴したり、あるいは、遠隔コミュニケーションの表示インタフェースとして用いて遠隔地の対象についてのアドバイス（例えばスポーツ上達のアドバイス）を行ったりすることが可能となり、ユーザ移動に必要となるエネルギー資源を節約することで二酸化炭素排出量を抑制できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標１３「気候変動とその影響に立ち向かうため、緊急対策を取る」に貢献することが可能となる。

（２）図８は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。計算機合成ホログラム生成装置10は、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で計算機合成ホログラム生成装置10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ78と、これらの間でデータを授受するためのバスBSと、を備える。

計算機合成ホログラム生成装置10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。ディスプレイ76はSLM（空間光変調器）として構成されることで表示部16を実現するものの他、通常の液晶ディスプレイ等として構成されるものも追加で存在することにより、当該液晶ディスプレイ等を介して計算機合成ホログラム生成装置10における処理の途中結果の表示等を行うようにしてもよい。

10…計算機合成ホログラム生成装置、11…3D点群取得部、12…再利用光波判定部、13…光波算出方式決定部、14…光波伝搬計算部、15…干渉計算部、16…表示部、21…位置姿勢取得部、22…位置姿勢予測部、23…予測光波記録部

Claims

ホログラム面上における物体光と参照光との干渉計算を行うことによって、計算機合成ホログラムを生成する計算機合成ホログラム生成装置であって、
生成対象となる物体を構成する３次元点群を取得する３次元点群取得部と、
前記ホログラム面の位置姿勢を各時刻において取得する位置姿勢取得部と、
前記取得されている位置姿勢の現在時刻までの履歴より未来の位置姿勢を予測する位置姿勢予測部と、
前記位置姿勢予測部が過去時刻において現在時刻の位置姿勢を予測した結果に基づいて再利用物体光を判定する再利用光判定部と、
前記再利用光判定部での判定に応じて、計算に利用する物体光及びホログラム領域を決定する光波算出方式決定部と、
前記光波算出方式決定部の決定に応じて、前記３次元点群より、現在時刻の物体光を計算する光波伝搬計算部と、
前記光波伝搬計算部で得られた現在時刻の物体光と、参照光との干渉計算を行うことで、現時刻における計算機合成ホログラムを生成する干渉計算部と、を備え、
前記光波伝搬計算部はさらに、前記位置姿勢予測部が予測した未来の位置姿勢に関して物体光を予め計算しておき、
前記再利用光判定部は、前記位置姿勢予測部が過去時刻において現在時刻の位置姿勢を予測した結果における予測精度が高いと判定される場合に、当該過去時刻において現在時刻を対象として前記光波伝搬計算部が前記予め計算しておいた物体光を、現在時刻の前記再利用物体光に該当するものとして判定し、当該予測精度が低いと判定される場合に、当該過去時刻において当該過去時刻について前記光波伝搬計算部が計算した物体光を現在時刻の前記再利用物体光に該当するものとして判定し、
前記光波伝搬計算部は、前記判定された再利用物体光を補正して現在時刻の物体光を計算することを特徴とする計算機合成ホログラム生成装置。
前記位置姿勢予測部では、事前に取得しておいた位置姿勢の時系列データ群を学習した機械学習手法により前記予測することを特徴とする請求項１に記載の計算機合成ホログラム生成装置。
前記再利用光判定部は、
当該現時刻の位置姿勢を前記位置姿勢取得部が取得した実際の値と当該過去時刻の位置姿勢を前記位置姿勢取得部が取得した実際の値との第１差分と、
前記位置姿勢予測部が過去時刻において現在時刻の位置姿勢を予測した結果と当該現在時刻の位置姿勢を前記位置姿勢取得部が取得した実際の値との第２差分と、を比較し、
前記第１差分の方が前記第２差分よりも大きいと判定される場合に前記予測精度が高いものとして判定することを特徴とする請求項１または２に記載の計算機合成ホログラム生成装置。
前記再利用光判定部は、前記第１差分及び前記第２差分を、当該差分を取る対象となる２つの位置姿勢における座標の差分と方向の差分との重みづけ和として評価することを特徴とする請求項３に記載の計算機合成ホログラム生成装置。
前記光波伝搬計算部は、前記再利用物体光を補正することで、当該補正して計算したホログラム領域における点光源法の計算を省略することを特徴とする請求項１ないし４のいずれかに記載の計算機合成ホログラム生成装置。
前記光波伝搬計算部は、前記位置姿勢取得部が取得した現在時刻までの位置姿勢の変化に応じたホログラム面の平行移動、前後移動及び回転移動のいずれかまたはこれら移動の組み合わせに応じた演算により、前記既に得られている再利用物体光を補正することを特徴とする請求項５に記載の計算機合成ホログラム生成装置。
前記光波伝搬計算部は、前記再利用物体光を補正して計算することができないホログラム領域について、点光源法で計算することを特徴とする請求項１ないし６のいずれかに記載の計算機合成ホログラム生成装置。
前記再利用光判定部は、一定期間に渡って連続して前記予測精度が低いと判定された場合には、
当該現在時刻において強制的に当該予測精度が高いものとして判定することで、当該過去時刻において現在時刻を対象として前記光波伝搬計算部が前記予め計算しておいた物体光を、現在時刻の前記再利用物体光に該当するものとして判定することを特徴とする請求項１ないし７のいずれかに記載の計算機合成ホログラム生成装置。
前記再利用光判定部は、ホログラム面のうち前記生成対象となる物体を構成する３次元点群の動きがあると判定される領域について、
当該現在時刻において強制的に当該予測精度が高いものとして判定することで、当該過去時刻において現在時刻を対象として前記光波伝搬計算部が前記予め計算しておいた物体光を、現在時刻の前記再利用物体光に該当するものとして判定することを特徴とする請求項１ないし８のいずれかに記載の計算機合成ホログラム生成装置。
コンピュータを請求項１ないし９のいずれかに記載の計算機合成ホログラム生成装置として機能させるプログラムであることを特徴とするプログラム。