JP5219197B2 - ホログラム生成装置およびそのプログラム - Google Patents

ホログラム生成装置およびそのプログラム Download PDF

Info

Publication number
JP5219197B2
JP5219197B2 JP2008141873A JP2008141873A JP5219197B2 JP 5219197 B2 JP5219197 B2 JP 5219197B2 JP 2008141873 A JP2008141873 A JP 2008141873A JP 2008141873 A JP2008141873 A JP 2008141873A JP 5219197 B2 JP5219197 B2 JP 5219197B2
Authority
JP
Japan
Prior art keywords
hologram
light
target pixel
subject
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008141873A
Other languages
English (en)
Other versions
JP2009288575A (ja
Inventor
孝憲 妹尾
健詞 山本
隆太朗 大井
智之 三科
誠人 奥井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2008141873A priority Critical patent/JP5219197B2/ja
Publication of JP2009288575A publication Critical patent/JP2009288575A/ja
Application granted granted Critical
Publication of JP5219197B2 publication Critical patent/JP5219197B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Holo Graphy (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、電子ホログラフィにより立体像を表示するためのホログラムを生成するホログラム生成装置およびそのプログラムに関する。
近年、電子ホログラフィにより立体像を表示するためのホログラムを、コンピュータ上で生成する計算機合成ホログラム(CGH:Computer Generated Hologram)の技術が進んでいる(例えば、特許文献1参照)。以下、図14を参照して、従来のコンピュータグラフィックスにおける計算機合成ホログラムの生成手法について概要を説明する。図14は、従来の計算機合成ホログラムの生成手法を説明するための説明図である。
従来の計算機合成ホログラム(以下、単にホログラムという)の生成手法は、図14に示すように、3次元の被写体空間をボクセルVという微小空間に分割したボクセル空間Sとして設定し、ホログラムHの画素Pごとに、ボクセルVから出射される光の量(光量)を加算して、ホログラムHの画素Pの値(ホログラム値)を求めることで、ホログラムHを生成している。
すなわち、従来のホログラム生成手法は、ホログラムHのある画素Pからボクセル空間Sを見たときのすべての視線方向に存在するボクセル(例えば、図14中、V,V等)から出射される光の量を加算することで、画素Pの画素値を求めている。そして、従来のホログラム生成手法は、ホログラムHの各画素で同様の計算を行うことで、ホログラムHを生成している。
特開平10−171782号公報
前記した従来のホログラム生成手法において、図14で説明したように、視線方向に存在するボクセルVから出射される光の量を加算すると、ホログラムHに対して前景であるボクセルVから出射される光Lの光量と、背景であるボクセルVから出射される光Lの光量とが、同一の画素Pの画素値として加算されることになる。すなわち、従来の手法では、背景から出射される光の量を前景から出射される光の量に加算してホログラムを生成してしまう。このため、従来の手法により生成されたホログラムを再生すると、前景の被写体が透けて背景の被写体が見えてしまう現象(ファントム現象)が発生してしまうという問題がある。
本発明は、以上のような問題を解決するためになされたものであり、背景の被写体が前景に透けて見えるファントム現象を防止し、従来よりも高品質な立体像を再生することが可能なホログラムを生成するホログラム生成装置およびそのプログラムを提供することを目的とする。
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のホログラム生成装置は、被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを被写体の前景側で生成するホログラム生成装置であって、オクルージョンマップ生成手段と、記憶手段と、光加算手段と、を備え、光加算手段が、光量加算対象画素決定手段と、光方向算出手段と、オクルージョン判定手段と、光量加算手段と、オクルージョンマップ更新手段と、を備える構成とした。
かかる構成において、ホログラム生成装置は、オクルージョンマップ生成手段によって、オクルージョンマップを生成し、記憶手段に記憶する。このオクルージョンマップは、ホログラムの生成対象画素から3次元空間に仮想配置された被写体への方向を示す所定の微小角度範囲ごとに、被写体までの奥行きを示す奥行値を対応付けたマップであって、当該微小角度範囲における最前景の被写体の奥行きを示すことになる。なお、オクルージョンマップ生成手段は、オクルージョンマップを生成する際に、奥行値で最も奥側を示す初期値によって初期化して生成する。また、微小角度範囲は、3次元空間に仮想配置された被写体を構成する画素が識別できる程度の角度が望ましいが、それより大きくてもよい。
そして、ホログラム生成装置は、光加算手段によって、被写体から生成対象画素に入射する光量を加算することで、生成対象画素のホログラム値を算出する。このとき、光加算手段は、光量加算対象画素決定手段によって、ホログラム面に対して生成対象画素から垂直な方向に対応する被写体画像の画素を中心とし、被写体画像において中心から周辺に向かって光量の加算対象となる加算対象画素を順次決定する。これによって、光加算手段は、被写体画像の加算対象画素を順次周辺にずらしていき、すでに加算対象となった画素と同一の光軸上に存在する背景の画素が加算対象となった場合であっても、すでに前景の画素を加算対象としているため、背景側の画素の光量を加算することを防ぐことができる。
そして、光加算手段は、光方向算出手段によって、加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から生成対象画素の3次元座標位置までの方向を算出する。そして、光加算手段は、オクルージョン判定手段によって、加算対象画素の奥行値が、光方向算出手段で算出された方向に対応したオクルージョンマップの奥行値よりも前景側を示す値であるか否かを判定する。そして、光加算手段は、光量加算手段によって、オクルージョン判定手段で加算対象画素の奥行値が前景側であると判定された場合に、当該加算対象画素の色情報に対応した光量を生成対象画素のホログラム値として加算する。これによって、生成するホログラムの画素にホログラム値が順次加算されることになる。
さらに、光加算手段は、オクルージョンマップ更新手段によって、光方向算出手段で算出された方向に対応した記憶手段に記憶されているオクルージョンマップの奥行値を、光量加算手段で光量を加算した加算対象画素の奥行値よりも所定量だけ奥側の値を設定して更新する。これによって、光量加算手段は、同一の微小角度範囲で加算対象とすべき画素が複数存在する場合であっても、すでに加算された画素よりも所定量だけ奥側の奥行値を設定することで、すべての加算すべき画素の光量をホログラム値として加算することができる。
ここで、オクルージョンマップ更新手段がオクルージョンマップを更新する際に、加算対象画素の奥行値よりも所定量だけ奥側の値で更新するのは以下の理由による。
すなわち、同一の微小角度範囲内の光であって、奥行値の差が所定量よりも大きく奥側を示す場合は、加算対象画素が大きくずれた位置からの光であるため、ファントム現象を発生させる光となるので、加算を禁止する必要がある。しかし、同一の微小角度範囲内の複数の光のうちで互いの奥行距離の近い近接光は、ほぼ同一位置の被写体の光であるため、多少奥側の被写体からの光であってもファントム現象を発生させる光とはならず、光量を加算した方がより精度の高いホログラム値を求めることができるからである。
また、請求項に記載のホログラム生成装置は、被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを前記被写体の背景側で生成するホログラム生成装置であって、オクルージョンマップ生成手段と、記憶手段と、光加算手段と、を備え、光加算手段が、光量加算対象画素決定手段と、光方向算出手段と、オクルージョン判定手段と、光量加算手段と、オクルージョンマップ更新手段と、を備える構成とした。
ここで、ホログラム生成装置は、ホログラムを被写体の背景側で生成する場合に、光加算手段の光量加算対象画素決定手段が、ホログラム面に対して生成対象画素から垂直な方向に対応する被写体画像の画素を中心とし、被写体画像において周辺から中心に向かって加算対象画素を順次決定することを特徴とする。
かかる構成において、ホログラム生成装置は、光加算手段によって、被写体画像において周辺から中心に向かって順次光量を加算する。これによって、光加算手段は、被写体画像の加算対象画素を順次中心にずらしていき、すでに加算対象となった画素と同一の光軸上に存在する背景の画素が加算対象となった場合には、すでに前景の画素を加算対象としているため、背景側の画素の光量を加算することを防ぐことができる。
さらに、請求項に記載のホログラム生成装置は、被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、オクルージョンマップ生成手段と、記憶手段と、光加算手段と、を備え、光加算手段が、光量加算対象画素決定手段と、光方向算出手段と、オクルージョン判定手段と、光量加算手段と、オクルージョンマップ更新手段と、を備える構成とした。
ここで、ホログラム生成装置は、ホログラムを被写体に対して任意の位置で生成する場合に、光加算手段の光量加算対象画素決定手段が、ホログラム面に対して生成対象画素から垂直な方向に対応する被写体画像の画素を中心とし、ホログラムよりも前景側に位置する被写体に対応する被写体画像の画素について、被写体画像の周辺から中心に向かって加算対象画素を順次決定した後、ホログラムよりも背景側に位置する被写体に対応する被写体画像の画素について、被写体画像の中心から周辺に向かって加算対象画素を順次決定することを特徴とする。
かかる構成において、ホログラム生成装置は、光加算手段によって、ホログラムよりも前景側に存在する被写体について先に光量を加算し、その後、ホログラムよりも背景側に存在する被写体について光量を加算する。このとき、光加算手段は、ホログラムよりも前景側に存在する被写体について光量を加算する際に、被写体画像の加算対象画素を順次周辺から中心にずらしていき、すでに加算対象となった画素と同一の光軸上に存在する背景の画素が加算対象となった場合には、すでに前景の画素を加算対象としているため、背景側の画素の光量を加算することを防ぐことができる。また、光加算手段は、ホログラムよりも背景側に存在する被写体について光量を加算する際に、被写体画像の加算対象画素を順次中心から周辺にずらしていき、すでに加算対象となった画素と同一の光軸上に存在する背景の画素が加算対象となった場合には、すでに前景の画素を加算対象としているため、背景側の画素の光量を加算することを防ぐことができる。
また、請求項に記載のホログラム生成装置は、被写体空間を微小空間に分割した、3次元座標位置と当該位置における色情報および透明度とを含んだボクセルのデータに基づいて、被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、オクルージョンマップ生成手段と、記憶手段と、光加算手段と、を備え、光加算手段が、光量加算対象画素決定手段と、光方向算出手段と、オクルージョン判定手段と、光量加算手段と、オクルージョンマップ更新手段と、を備える構成とした。
ここで、ホログラム生成装置は、光加算手段の光量加算対象画素決定手段が、被写体の前景側から背景側に向かって順次、透明度に基づいて透明でないと判定されるボクセルを光量の加算対象となる加算対象ボクセルとして決定することを特徴とする。
かかる構成において、ホログラム生成装置は、ボクセルが有する位置情報を被写体の位置として特定し、ボクセルが有する色情報を被写体の色情報として特定する。そして、ホログラム生成装置は、光加算手段によって、オクルージョンマップの微小角度範囲に入射される光が複数存在する場合であっても、最も前景の画素であるボクセルが最初に探索されることになり、最も前景の光量がホログラム値に加算されることになる。
さらに、請求項に記載のホログラム生成プログラムは、被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを生成するために、コンピュータを、オクルージョンマップ生成手段、光量加算対象画素決定手段、光方向算出手段、オクルージョン判定手段、光量加算手段、オクルージョンマップ更新手段、として機能させる構成とした。
かかる構成において、ホログラム生成プログラムは、オクルージョンマップ生成手段によって、オクルージョンマップを生成し、記憶手段に記憶する。なお、オクルージョンマップ生成手段は、オクルージョンマップを生成する際に、奥行値で最も奥側を示す初期値によって初期化して生成する。そして、ホログラム生成プログラムは、光量加算対象画素決定手段によって、ホログラム面に対して生成対象画素から垂直な方向に対応する被写体画像の画素を中心とし、ホログラムよりも前景側に位置する被写体に対応する被写体画像の画素について、被写体画像の周辺から中心に向かって光量の加算対象となる加算対象画素を順次決定した後に、ホログラムよりも背景側に位置する被写体に対応する被写体画像の画素について、被写体画像の中心から周辺に向かって加算対象画素を順次決定する。
そして、ホログラム生成プログラムは、光方向算出手段によって、加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から生成対象画素の3次元座標位置までの方向を算出する。そして、ホログラム生成プログラムは、オクルージョン判定手段によって、加算対象画素の奥行値が、光方向算出手段で算出された方向に対応したオクルージョンマップの奥行値よりも前景側を示す値であるか否かを判定する。
そして、ホログラム生成プログラムは、光量加算手段によって、オクルージョン判定手段で加算対象画素の奥行値が前景側であると判定された場合に、当該加算対象画素の色情報に対応した光量を生成対象画素のホログラム値として加算する。これによって、生成するホログラムの画素にホログラム値が順次加算されることになる。そして、ホログラム生成プログラムは、オクルージョンマップ更新手段によって、光方向算出手段で算出された方向に対応した記憶手段に記憶されているオクルージョンマップの奥行値を、光量加算手段で光量を加算した加算対象画素の奥行値よりも所定量だけ奥側の値を設定して更新する。
また、請求項に記載のホログラム生成装置は、被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、オクルージョンマップ生成手段と、記憶手段と、光加算手段と、を備え、光加算手段が、光量加算対象画素決定手段と、光方向算出手段と、オクルージョン判定手段と、光量加算手段と、オクルージョンマップ更新手段と、を備える構成とした。
かかる構成において、ホログラム生成装置は、オクルージョンマップ生成手段によって、オクルージョンマップを生成し、記憶手段に記憶する。このオクルージョンマップは、ホログラムの生成対象画素から3次元空間に仮想配置された被写体への方向を示す所定の微小角度範囲ごとに、被写体の光量を加算したことを示すフラグを対応付けたマップである。なお、オクルージョンマップ生成手段は、オクルージョンマップを生成する際に、光量を加算していないことを示す初期値によって初期化して生成する。また、微小角度範囲は、被写体を構成する画素が識別できる程度の角度が望ましいが、それより大きくてもよい。
そして、ホログラム生成装置は、光加算手段によって、被写体から生成対象画素に入射する光量を加算することで、生成対象画素のホログラム値を算出する。このとき、光加算手段は、光量加算対象画素決定手段によって、ホログラム面に対して生成対象画素から垂直な方向に対応する被写体画像の画素を中心とし、ホログラムよりも前景側に位置する被写体に対応する被写体画像の画素について、被写体画像の周辺から中心に向かって光量の加算対象となる加算対象画素を順次決定した後に、ホログラムよりも背景側に位置する被写体に対応する被写体画像の画素について、被写体画像の中心から周辺に向かって加算対象画素を順次決定する。
そして、光加算手段は、光方向算出手段によって、加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から生成対象画素の3次元座標位置までの方向を算出する。そして、光加算手段は、オクルージョン判定手段によって、光方向算出手段で算出された方向に対応したオクルージョンマップのフラグに基づいて、加算対象画素の光量を加算するか否かを判定する。そして、光加算手段は、光量加算手段によって、オクルージョン判定手段で、フラグが未設定であることにより加算対象画素の光量を加算すると判定された場合に、当該加算対象画素の色情報に対応した光量を生成対象画素のホログラム値として加算する。これによって、生成するホログラムの画素にホログラム値が順次加算されることになる。
さらに、光加算手段は、オクルージョンマップ更新手段によって、光方向算出手段で算出された方向に対応した記憶手段に記憶されているオクルージョンマップに、光量加算手段で光量を加算したことを示すフラグを設定して更新する。このように、オクルージョンマップが更新されることで、光量加算手段が、オクルージョンマップにフラグが設定された以降は、当該微小角度範囲を通過する光量をホログラム値として加算することがない。
さらに、請求項に記載のホログラム生成プログラムは、被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを生成するために、コンピュータを、オクルージョンマップ生成手段、光量加算対象画素決定手段、光方向算出手段、オクルージョン判定手段、光量加算手段、オクルージョンマップ更新手段、として機能させる構成とした。
かかる構成において、ホログラム生成プログラムは、オクルージョンマップ生成手段によって、オクルージョンマップを生成し、記憶手段に記憶する。そして、ホログラム生成プログラムは、光量加算対象画素決定手段によって、ホログラム面に対して生成対象画素から垂直な方向に対応する被写体画像の画素を中心とし、ホログラムよりも前景側に位置する被写体に対応する被写体画像の画素について、被写体画像の周辺から中心に向かって光量の加算対象となる加算対象画素を順次決定した後に、ホログラムよりも背景側に位置する被写体に対応する被写体画像の画素について、被写体画像の中心から周辺に向かって加算対象画素を順次決定する。
そして、ホログラム生成プログラムは、光方向算出手段によって、加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から生成対象画素の3次元座標位置までの方向を算出する。そして、ホログラム生成プログラムは、オクルージョン判定手段によって、光方向算出手段で算出された方向に対応したオクルージョンマップのフラグに基づいて、加算対象画素の光量を加算するか否かを判定する。
そして、ホログラム生成プログラムは、光量加算手段によって、オクルージョン判定手段で、フラグが未設定であることにより加算対象画素の光量を加算すると判定された場合に、当該加算対象画素の色情報に対応した光量を生成対象画素のホログラム値として加算する。これによって、生成するホログラムの画素にホログラム値が順次加算されることになる。そして、ホログラム生成プログラムは、オクルージョンマップ更新手段によって、光方向算出手段で算出された方向に対応した記憶手段に記憶されているオクルージョンマップに、光量加算手段で光量を加算したことを示すフラグを設定して更新する。
本発明は、以下に示す優れた効果を奏するものである。
請求項1〜3,5に記載の発明によれば、オクルージョンマップの微小角度範囲ごとに被写体光の光量の加算制御を行うため、微小角度範囲内で重なる光は、少なくとも微小角度範囲に入射される奥行値のあまり違わない被写体から出る近接光の光量のみが加算されることになり、近接光ではない大きく奥行値が異なる背景側の光を加算することがない。これによって、本発明は、背景側の光を加算することがないため、前景の被写体が透けて背景の被写体が見えてしまうファントム現象を防止することができる。
また、請求項1〜3,5に記載の発明によれば、ホログラムの仮想配置位置に応じて、光量の加算順序を制御することで、最も前景の光の方向が重ならない画素のみを光量の加算対象とすることができる。また、本発明によれば、オクルージョンマップの微小角度範囲ごとに、光量を加算した後に、奥行値を設定するため、当該奥行値の設定量より奥側の画素を光量の加算対象とすることがなく、最も前景の画素のみの光量を一意的に加算することが可能となり前景に隠れる背景からの光量の加算を行うことがなく、演算量を抑え高速にホログラムを生成することができる。さらに、本発明によれば、被写体の情報として、被写体画像と奥行画像とを用いることで、カメラで撮影された実写映像からホログラムを生成することができる。
請求項に記載の発明によれば、被写体の情報として、ボクセルを用いることができるため、コンピュータグラフィックスで生成した被写体から、ファントム現象を防止した高精度のホログラムを一意的かつ高速に生成することができる。
請求項6,7に記載の発明によれば、オクルージョンマップの微小角度範囲ごとにフラグに基づいて被写体光の光量の加算制御を行うため、フラグが設定された微小角度範囲への被写体光は光量の加算対象とはならず、前景の被写体が透けて背景の被写体が見えてしまうファントム現象を少ないメモリ量で防止することができる。
以下、本発明の実施の形態について図面を参照して説明する。
[ホログラム生成手法の概要:第1実施形態]
まず、図1を参照して、本発明の第1実施形態に係るホログラム生成装置におけるホログラム生成手法の概要について説明する。図1は、本発明の第1実施形態に係るホログラム生成装置におけるホログラム生成手法の概要を模式的に示した概念図である。
図1に示すように、本発明のホログラム生成手法(以下、本手法という)は、被写体の情報として、被写体画像Fと、奥行画像(奥行情報)Dとから、電子ホログラフィにより立体像を表示するためのホログラムHを生成する。
本手法は、生成するホログラムHの画素Pごとに、所定の入射範囲Iで画素Pに入射される被写体の光を加算して、ホログラムHを生成する。なお、被写体の光は、画素Pに入射される光の方向に対応する被写体画像Fの位置(x,y)と奥行画像Dの奥行値(Z)とで表される3次元位置における被写体画像Fの色(R,G,B)で特定することができる。
このとき、本手法は、被写体の光が画素Pに入射する範囲(入射範囲I)をカバーするサイズのオクルージョンマップMによって被写体のオクルージョン(重なり)状態を判定し、前景によって隠れている背景の被写体の光量を加算しないようにする。このオクルージョンマップMは、画素Pへの光の入射範囲Iを微小な角度範囲(微小角度範囲)で分割したある微小窓Wにおいて、すでに前景の光量を加算した場合、加算したときの被写体の奥行値を保持するマップである。本手法は、このオクルージョンマップMを適宜更新、参照することで、後に同一の微小窓Wに対応する加算対象となる背景の光量をホログラムに加算することを防止する。例えば、微小窓Wを通過する、画素Pに入射される前景の被写体点Pからの光Lと背景の被写体点Pからの光Lとにおいて、前景の光 の光量を加算した後は、背景の光Lの光量を加算しないようにしている。
なお、本手法は、画素Pにおける光量の加算順序を予め定めた順序で行うことで、必ず微小窓Wにおいて、前景の被写体の光量から先に加算する。これによって、本手法は、微小窓W単位で、被写体の前景の光と不要な背景の光とを同時に加算することがなく、前景の被写体が透けて背景の被写体が見えてしまうファントム現象の発生を防止することができる。以下、このホログラム生成手法を実現するためのホログラム生成装置の構成および動作について、順次説明を行う。
[ホログラム生成装置の構成:第1実施形態]
まず、図2を参照して、本発明の第1実施形態に係るホログラム生成装置の構成について説明する。図2は、本発明の第1実施形態に係るホログラム生成装置の全体構成を示すブロック図である。
ホログラム生成装置1は、被写体の情報である被写体画像Fと奥行画像(奥行情報)Dとに基づいて、被写体の立体像を再生するためのホログラム(計算機合成ホログラム)Hを生成するものである。なお、ここでは、被写体画像Fおよび奥行画像Dは、外部から入力されるものとする。
被写体画像Fは、被写体の3次元空間を2次元座標に投影した画像であって、2次元座標位置(x,y)に対応する画素に色情報(ここでは、一例として、RGB値を用いる)を対応付けたものである。例えば、被写体画像Fには、カメラで撮影した画像を用いることができる。
奥行画像Dは、被写体画像Fに対応した被写体の3次元空間の奥行きを示す情報であって、被写体画像Fの2次元座標の位置(x、y)に奥行値(Z)を対応付けたものである。例えば、奥行画像Dは、被写体画像Fを撮影したカメラからの距離を奥行値で表した画像を用いることができる。なお、奥行画像は、カメラから照射する赤外線等が被写体に反射して戻ってくるまでの時間を計測することで求めたり、2台のカメラで撮影した2枚のカメラ画像のずれ量(視差)により求めたりすることができる。
また、被写体画像Fや奥行画像Dは、カメラにより撮影した実写画像を用いることとしてもよいし、コンピュータグラフィックスにより生成したCG画像を用いることとしてもよい。
ここでは、ホログラム生成装置1は、オクルージョンマップ生成手段10と、記憶手段20と、光加算手段30と、を備えている。
オクルージョンマップ生成手段10は、ホログラムの生成対象画素から被写体への方向を示す所定角度範囲ごとに、被写体の光量を当該生成対象画素のホログラムの画素値として加算した際の被写体の奥行値を対応付けたオクルージョンマップMを生成するものである。このオクルージョンマップ生成手段10で生成されたオクルージョンマップMは、記憶手段20に記憶される。また、オクルージョンマップ生成手段10は、オクルージョンマップMを生成した段階で、奥行値を、当該奥行値の最も奥側を示す値で初期化しておくこととする。
なお、オクルージョンマップ生成手段10は、後記する光加算手段30によって、ホログラムの生成対象画素の画素値が算出された後に、光加算手段30からの指示(オクルージョンマップ生成指示)により、順次、他の生成対象画素の画素値を算出するためにオクルージョンマップを初期化することとする。
ここで、図3を参照して、オクルージョンマップ生成手段10が生成するオクルージョンマップMについて説明する。図3は、オクルージョンマップを模式的に示した図である。図3に示すように、オクルージョンマップMは、生成するホログラムの中心画素位置から所定の広がり角度の光をカバーするサイズの大きさで、各光の加算時の奥行値を示すマップである。なお、所定の広がり角度θは、例えば、ホログラムの表示を行う表示装置の画面の画素サイズpと、これから立体像を再生するレーザ光の波長λとで定まる回折限界角度として以下の(1)式で定めることができる。
Figure 0005219197
すなわち、オクルージョンマップMは、生成するホログラムの中心画素位置から、−θ〜θまでの水平角度および垂直角度に対応する大きさとする。
そして、ここでは、オクルージョンマップMを、水平角度θと垂直角度θとの2次元の軸によって表現し、所定の微小な角度範囲で分割された微小窓(微小角度範囲)ごとに、入射する光の光量を加算した際の被写体の奥行値を記憶する。
具体的には、オクルージョンマップ生成手段10は、微小窓単位の水平角度および垂直角度をインデックスとする2次元配列を生成する。そして、オクルージョンマップ生成手段10は、オクルージョンマップを生成した際に、配列要素(微小窓Wの値)を、被写体の奥行値として存在しない初期値によって初期化することとする。例えば、奥行値を“0”以上の正数としたとき、初期値として、“−1”等の負数を初期値として設定する。
なお、微小窓(微小角度範囲)の大きさは、ホログラムを表示した際に被写体を構成する画素が識別できる程度の大きさ以上とし、例えば、0.1〜0.2度程度とする。
このようなオクルージョンマップMを用いることで、ホログラム生成装置1は、ホログラムの生成対象画素において、微小窓Wごとに、どの奥行値におけるどの方向からの光量を加算したかを判定することができる。図2に戻って、ホログラム生成装置1の構成について説明を続ける。
記憶手段20は、オクルージョンマップ生成手段10で生成されたオクルージョンマップMや、順次生成されるホログラムHを記憶するもので、メモリ等の一般的な記憶媒体である。この記憶手段20に記憶されたオクルージョンマップMは、光加算手段30によって、参照され、更新される。また、生成されたホログラムHは、図示を省略した読み出し手段を介して、外部に出力される。
光加算手段30は、ホログラムHの生成対象画素ごとに、当該生成対象画素に仮想的に入射される被写体光の光量(被写体画像の画素ごとの光量)を加算することで、ホログラムHを生成するものである。なお、光加算手段30は、図示を省略した入力手段を介して、生成するホログラムHの大きさ、3次元空間上の位置等が入力されるものとする。
この光加算手段30は、記憶手段20に記憶されているオクルージョンマップMを参照し、ホログラムHの生成対象画素ごとに、オクルージョンマップMの微小窓を通過して入射される被写体光の光量を加算することで、当該画素の値を算出し、光量を加算した微小窓については、そのときの被写体の奥行値(奥行画像の奥行値Z)を設定する。
また、光加算手段30は、生成するホログラムHの位置(3次元座標位置)が、被写体(被写体画像と奥行画像とで表される3次元空間上の被写体)の前景側(手前側)に位置する場合、被写体画像の中心から周辺に向かって光量の加算を行い、背景側(奥側)に位置する場合、被写体画像の周辺から中心に向かって光量の加算を行うこととする。なお、ここで被写体画像の中心は、ホログラム面に対して生成対象画素から垂直な方向に対応する被写体画像Fの画素とする。
ここで、光加算手段30の詳細な構成について説明する前に、図4〜図6を参照(適宜図2参照)して、光加算手段30が行う光量の加算順序についてその概念を説明する。図4は、ホログラムの位置が、被写体よりも前景側(手前側)にある場合のホログラムと被写体との配置関係を示す仮想配置図であって、(a)はホログラムの画素に垂直に光が入射する被写体画像の画素が周辺の画素よりも前景である状態、(b)はホログラムの画素に垂直に光が入射する被写体画像の画素が周辺の画素よりも背景である状態をそれぞれ示している。
また、図5は、ホログラムの位置が、被写体よりも背景側(奥側)にある場合のホログラムと被写体との配置関係を示す仮想配置図であって、(a)はホログラムの画素に垂直に光が入射する被写体画像の画素が周辺の画素よりも前景である状態、(b)はホログラムの画素に垂直に光が入射する被写体画像の画素が周辺の画素よりも背景である状態をそれぞれ示している。
また、図6は、ホログラムの位置が、被写体の前景と背景との間にある場合のホログラムと被写体との配置関係を示す仮想配置図である。以下、それぞれの配置関係における光量の加算順序について説明する。
(ホログラムが被写体の前景側〔手前側〕にある場合)
図4に示したように、ホログラムHを被写体よりも前景側(手前側)の位置に配置した場合、光加算手段30は、被写体画像Fの中心から周辺に向かって光量の加算を行う。
ここで、図4(a)に示した配置の場合、被写体画像Fの前景は、背景よりもホログラムHに近い位置に存在するため、被写体画像Fの中心から周辺に向かって光量の加算を行うと、前景側から被写体の光(光量)が加算されることになり、同一方向から入射される被写体の光L,Lが存在する場合であっても、前景の被写体点Pが背景の被写体点Pよりも先に光量の加算対象となる。これによって、光加算手段30は、前景の被写体点Pの光量を加算した段階で、光L,Lの方向に対応するオクルージョンマップに被写体点Pの奥行値を設定し、背景の被写体点Pを光量の加算対象から除外することで、ファントム現象を防止することができる。
また、図4(b)に示した配置の場合、被写体画像Fの前景から入射する光の角度は、背景から入射する光の角度よりも常に大きいため、前景からの光と背景からの光とが重なることはなくファントム現象は発生しない。
このように、ホログラムHが被写体よりも前景側(手前側)にある場合、光加算手段30は、被写体画像Fの中心から周辺に向かって光量を加算することで、オクルージョンが発生した背景の被写体について光量を加算することがなく、ファントム現象を防止することができる。
(ホログラムが被写体の背景側〔奥側〕に位置する場合)
図5に示したように、ホログラムHを被写体よりも背景側(奥側)の位置に配置した場合、光加算手段30は、被写体画像Fの周辺から中心に向かって光量の加算を行う。
ここで、図5(a)に示した配置の場合、被写体画像Fの前景から入射する光の角度は、背景から入射する光の角度よりも常に小さいため、前景からの光と背景からの光とが重なることはなくファントム現象は発生しない。
また、図5(b)に示した配置の場合、被写体画像Fの背景は、前景よりもホログラムHに近い位置に存在するため、被写体画像Fの周辺から中心に向かって光量の加算を行うと、前景側から被写体の光(光量)が加算されることになり、同一方向から入射される被写体の光L,Lが存在する場合であっても、前景の被写体点Pが背景の被写体点Pよりも先に光量の加算対象となる。これによって、光加算手段30は、前景の被写体点Pの光量を加算した段階で、光L,Lの方向に対応するオクルージョンマップに被写体点Pの奥行値を設定し、背景の被写体点Pを光量の加算対象から除外することで、ファントム現象を防止することができる。
このように、ホログラムHが被写体よりも背景側(奥側)にある場合、光加算手段30は被写体画像Fの周辺から中心に向かって光量を加算することで、オクルージョンが発生した背景の被写体について光量を加算することがなく、ファントム現象を防止することができる。
(ホログラムが被写体の前景と背景との間に位置する場合)
図6に示したように、ホログラムHを被写体の前景と背景との間に配置した場合、光加算手段30は、先にホログラムHの前景側に位置する被写体について被写体画像Fの周辺から中心に向かって光量の加算を行い、その後にホログラムHの背景側に位置する被写体について被写体画像Fの中心から周辺に向かって光量の加算を行う。
図6に示した配置の場合、先に被写体画像Fの前景について光量を加算するため、前景の被写体点Pから入射される光Lと、背景の被写体点Pから入射される光Lとが同軸の光であっても、前景の被写体点Pが背景の被写体点Pよりも先に光量の加算対象となる。これによって、光加算手段30は、前景の被写体点Pの光量を加算した段階で、光L,Lの方向に対応するオクルージョンマップに被写体点Pの奥行値を設定し、背景の被写体点Pを光量の加算対象から除外することで、ファントム現象を防止することができる。
以上説明したように、光加算手段30は、先に、生成対象となるホログラムHよりも前景側に位置する被写体については、被写体画像Fの周辺から中心に向かって光量を加算し、その後に、背景側に位置する被写体について、被写体画像Fの中心から周辺に向かって光量を加算することで、オクルージョンマップの微小窓を通過する光を前景の光のみに限定して光量を加算することができる。
(光加算手段の構成)
以下、図2を参照して、光加算手段30の詳細な構成について説明する。ここでは、光加算手段30は、光量加算対象画素決定手段31と、光量算出手段32と、光方向算出手段33と、オクルージョン判定手段34と、光量加算手段35と、オクルージョンマップ更新手段36と、を備えている。
光量加算対象画素決定手段31は、ホログラムHの生成対象画素に入射される光の範囲に対応する被写体画像Fにおいて、予め定めた加算順序に基づいて、光量の加算対象となる被写体画像の画素(加算対象画素)を決定するものである。なお、生成対象画素に入射される光の範囲(入射範囲)は、前記(1)式で示した広がり角度θとする。
この光量加算対象画素決定手段31は、ホログラムHの生成対象画素ごとに、光の入射範囲内における被写体画像Fの周辺から中心に加算対象となる被写体画像の画素(加算対象画素)を決定し、以下の各手段によって光量の加算が行われた後に、さらに、光の入射範囲内における被写体画像Fの中心から周辺に加算対象となる被写体画像Fの画素を決定する。
また、このとき、光量加算対象画素決定手段31は、周辺から中心に加算対象となる画素を決定する場合、当該画素の奥行きが、生成するホログラムの奥行きの位置よりも前景側にある場合にのみ当該画素を加算対象画素として決定する。一方、光量加算対象画素決定手段31は、中心から周辺に加算対象となる画素を決定する場合、当該画素の奥行きが、生成するホログラムの奥行きの位置よりも背景側にある場合にのみ当該画素を加算対象画素として決定する。
なお、光量加算対象画素決定手段31は、光の入射範囲内における被写体画像の周辺から中心に被写体画像の画素を決定するには、入射範囲内の最大角度で特定される被写体画像Fの周辺画素から中心に向かって螺旋状に決定することとしてもよいし、矩形形状の被写体画像の4つの角からそれぞれ中心の画素に向かってジグザグスキャンすることで決定してもよい。
光量算出手段32は、ホログラムHの生成対象画素に入射する光に対応する被写体画像の画素ごとに、被写体の色情報(被写体画像Fの画素値)に基づいて、ホログラムHを生成するための被写体からの光量を算出するものである。なお、ホログラムHを生成するには、被写体光がホログラムHの画素に入射するときの位相を含めて、光量を加算する必要がある。そこで、ここでは、光量算出手段32は、画素ごとに色の波長を考慮して光量を算出する。
ここで、図7を参照(適宜図2参照)して、光量算出手段32が行うホログラムHの画素の光量の算出手法について説明する。図7は、被写体とホログラムとの配置関係を示す仮想配置図である。図7では、ホログラムHの生成対象となる画素Pを基準に、被写体画像Fを奥行画像Dの奥行値Zに対応付けて3次元(x,y,z)の仮想空間上に配置することで、被写体とホログラムとの配置関係を示している。
例えば、被写体上の点である被写体点Pからの光Lの量(光量)をホログラムH上の画素Pの画素値として加算する場合、光の加算を行う範囲の2次元(x,y)座標の中心(0,0)から、加算を行う被写体点P、すなわち被写体画像F上の被写体点Pの水平、垂直方向のずれ量を(dX,dY)とし、被写体点PのホログラムHからのz方向の距離Zを奥行画像Dの奥行値から得る。
このとき、被写体点Pの明るさをJ、光の波長をλとすると、画素Pに入射する光の値(光量)Lは、以下の(2)式で算出することができる。
Figure 0005219197
なお、光量算出手段32は、被写体画像Fの色がRGBで表される場合、例えば、それぞれの色が、8ビットの値(“0”〜“255”)で表される場合、色ごとに光量を加算する。例えば、R(赤)の光量を加算する場合、光量算出手段32は、光の明るさJとしてRの値を用い、光の波長λとして、例えば、Rの波長である690ナノメートル(nm)を用いて、前記(2)式により、ホログラムH上の画素Pの光量を算出する。また、光量算出手段32は、G(緑),B(青)についても同様に、各色の画素値を光の明るさJとし、各色の波長(例えば、Gの場合は550nm、Bの場合は480nm)を用いて光量を算出する。図2に戻って、光加算手段30の構成について説明を続ける。
光方向算出手段33は、ホログラムHの生成対象画素に入射する光に対応する被写体画像の画素ごとに、被写体の情報(被写体画像の画素の2次元座標位置と当該画素に対応する奥行値)に基づいて、被写体からの光の方向(入射角度)を算出するものである。ここでは、光方向算出手段33は、被写体画像の各画素の奥行値で定められる3次元位置から、ホログラムHの画素に入射するときの方向(水平角度、垂直角度)を算出する。
ここで、図7を参照(適宜図2参照)して、光方向算出手段33が行う光の方向の算出手法について説明する。なお、図7の被写体とホログラムとの配置関係は、光量算出手段32で前記(2)式を説明した際の配置と同様であるため、説明を省略する。
図7に示すように、被写体点Pから、ホログラムH上の生成対象となる画素Pへの光Lの方向(角度θx,y)において、x成分の角度(水平角度)をθ、y成分の角度(垂直角度)をθとしたとき、それぞれの角度は以下の(3)式で算出することができる。
Figure 0005219197
なお、現在の電子ホログラフィにおいては、光の拡散角が十分小さいため、θ=dX/Z、θ=dY/Zとして計算しても問題がなく、光方向の計算を高速に行うことができる。図2に戻って、光加算手段30の構成について説明を続ける。
オクルージョン判定手段34は、オクルージョンマップMに記述されている奥行値に基づいて、光方向算出手段33で算出された方向に対応するオクルージョンの発生の有無を判定するものである。すなわち、オクルージョン判定手段34は、記憶手段20に記憶されているオクルージョンマップMを参照し、微小窓W(図3参照)に対応する配列要素に設定されている奥行値の大小に基づいて、同一の微小窓Wを介して入射される光に対応する被写体点のオクルージョンの有無、すなわち、入射光が背景側(奥側)の光であるのか、前景側(手前側)の光であるのかを判定する。
光量加算手段35は、オクルージョン判定手段34で前景側(手前側)の被写体点からの光であると判定された光について、光方向算出手段33で算出された方向に対応して、光量算出手段32で算出された被写体の光量をホログラムHの生成対象画素の画素値に加算するものである。
オクルージョンマップ更新手段36は、光量加算手段35で加算した光量に対応する光方向算出手段33で算出された方向におけるオクルージョンマップMの奥行値を、当該方向に対応する被写体の奥行値で更新するものである。このように、オクルージョンマップの奥行値を最前景の奥行値で更新することで、光量加算手段35で光量を加算する際に、背景側からの光量を加算することを防止することができる。
なお、オクルージョンマップMは、光の入射角度に対応付けて生成されているため、例えば、図8に示すように、同一の微小窓Wに前景の被写体点Pからの被写体光Lが入射された後に、背景の被写体点Pからの被写体光Lが前景のわきを通って入射されることがある。この場合、オクルージョンマップの微小窓Wが十分小さければ、背景からの被写体光Lは前景に近接する重ならない光であるため、ファントム現象を発生させる光ではなく、すべて加算してもよい光であることが、それぞれの光が通る微小窓が異なることで分かる。しかし、微小窓Wが大きい場合、これらの光をすべて加算すると、同じ窓を通った光であっても、奥行きが大きくずれた位置からの光であることがあるため、背景光がファントム現象を発生させる光として加算されてしまう不都合が生じる。そこで、オクルージョンマップ更新手段36は、微小窓が比較的大きい場合は、オクルージョンマップMの奥行値を予め定めた量だけ奥側の値に設定することとする。なお、微小窓が人間の肉眼で識別することができない程度に十分小さい場合は、この予め定めた量を“0”とする。
例えば、図8に示すように、被写体画像Fの中心から周辺に向かって光量の加算を行う場合、図8中、z方向を光の方向とし、その原点をホログラム面上に置くと、被写体点P、PのZ座標値が負数となり、オクルージョンマップ更新手段36は、実際に光量を加算した際の被写体の奥行値Zに“1.1”を乗算した値をオクルージョンマップに設定する。また、逆に、図示は省略するが、被写体画像Fの周辺から中心に向かって光量の加算を行う場合、被写体点P、PのZ座標値が正数となり、オクルージョンマップ更新手段36は、実際に光量を加算した際の被写体の奥行値Zに“0.9”を乗算した値をオクルージョンマップに設定する。なお、ここでは、奥行値に係数を乗算して奥行値を奥側に設定することとしたが、被写体空間の大きさに応じて、予め定めた値を奥行値に対して加減算することとしてもよい。このように、オクルージョンマップ更新手段36は、実際に光量を加算した際の被写体の奥行値よりも少し奥側に奥行値を設定することで、少し奥側から来る光であっても、ファントム現象を発生させることがない光量を確実に加算することができる。
なお、ホログラム生成装置1は、以上説明した光加算手段30において、前記した各手段を、順次、ホログラムHの生成対象画素ごとに動作させることで、ホログラムH全体を生成する。
以上のようにホログラム生成装置1を構成することで、ホログラム生成装置1は、オクルージョンマップMによって、同一方向から入射される被写体光のうちで背景から入射される不要な被写体光については、ホログラムHの画素値として加算されることがなく、背景が透過して見えてしまうファントム現象の発生を防止することができる。
また、ここでは、ホログラム生成装置1は、被写体に対して任意の位置でホログラムHを生成することが可能な構成としたが、被写体に対して前景側に固定してホログラムを生成したり、背景側に固定してホログラムを生成したりする構成としてもよい。
例えば、被写体に対して前景側に固定したホログラムHを生成する場合、ホログラム生成装置1の光加算手段30(より具体的には光量加算対象画素決定手段31)は、被写体画像の中心から周辺に向かって被写体の光量を加算し、被写体画像の周辺から中心に向かっての光量の加算動作を行わずに省略する。
また、例えば、被写体に対して背景側に固定したホログラムHを生成する場合、ホログラム生成装置1の光加算手段30(より具体的には光量加算対象画素決定手段31)は、被写体画像の周辺から中心に向かって被写体の光量を加算し、被写体画像の中心から周辺に向かっての光量の加算動作を行わずに省略する。
また、ここでは、ホログラム生成装置1は、光量算出手段32によって、被写体画像の色情報から光量を算出する構成としたが、被写体画像の情報として輝度情報のみが与えられている場合は、この輝度情報から光量を算出してもよい。
また、ここでは、ホログラム生成装置1は、オクルージョンマップMに奥行値を設定することとしたが、奥行値の替わりに、オクルージョンマップMに各方向からの光の光量が加算されたか否かを示すフラグを設定することとしてもよい。
すなわち、オクルージョンマップMとして各方向に対応付けたフラグを用いる場合、ホログラム生成装置1は、オクルージョンマップ生成手段10によって、オクルージョンマップMを生成する際に、初期値として、光量が加算されていないことを示す値(例えば、値“0”)でオクルージョンマップMを初期化する。そして、光量加算手段35によって、生成対象のホログラムHの画素値に光量が加算された段階で、加算した被写体光の方向に対応するオクルージョンマップMのフラグを設定(例えば、値“1”)する。そして、ホログラム生成装置1は、オクルージョン判定手段34によって、フラグが設定されているか否かを判定し、フラグが未設定の場合にのみ、光量加算手段35によって光量を加算する。
このようにオクルージョンマップにフラグを用いる場合、図8に示したように、同一の微小窓に前景の被写体点Pからの光Lが入射された後に、背景の被写体点Pからの光Lが入射され、背景からの光量が加算されないことがあるが、オクルージョンマップが十分細かく設定されていれば、両者の光は非常に接近した光であるため、被写体点Pからの被写体光Lは、加算されなくても、視覚的に無視することができる。
なお、ホログラム生成装置1は、一般的なコンピュータを、前記した各手段として機能させるホログラム生成プログラムによって動作させることができる。また、このホログラム生成プログラムは、通信回線を介して配布したり、CD−ROM等の記録媒体に記録して配布したりすることも可能である。
[ホログラム生成装置の動作:第1実施形態]
次に、図9および図10を参照(適宜図2参照)して、本発明の第1実施形態に係るホログラム生成装置の動作について説明する。図9および図10は、本発明の第1実施形態に係るホログラム生成装置において、被写体画像および奥行画像からホログラムを生成する動作を示すフローチャートである。
まず、ホログラム生成装置1は、オクルージョンマップ生成手段10によって、所定角度範囲ごとに被写体までの距離(奥行値)を示したオクルージョンマップMを記憶手段20上に生成する(ステップS1)。なお、このとき、オクルージョンマップ生成手段10は、すべての奥行値を、奥行値としては存在しない値(ここでは、最大の負数)で初期化しておく。そして、ホログラム生成装置1は、光加算手段30の光量加算対象画素決定手段31によって、ホログラムの生成対象画素を中心として、当該画素に入射される光の範囲に対応する被写体画像において、周辺から中心の方向に加算対象となる被写体画像の画素(加算対象画素)を決定する(ステップS2)。
そして、ホログラム生成装置1は、このステップS2で決定された加算対象画素の奥行値(奥行画像の奥行値Z)が、ホログラムHの生成対象画素よりも前景側(手前側)を示す値であるか否かを判定し(ステップS3)、背景側を示す値である場合(ステップS3でNo)は、ステップS2に戻って、次の加算対象画素を決定する。
一方、ステップS2で決定された加算対象画素の奥行値が、ホログラムHの生成対象画素よりも前景側を示す値である場合(ステップS3でYes)、ホログラム生成装置1は、光方向算出手段33によって、ステップS2で決定された加算対象画素について、被写体光の方向(角度)を算出する(ステップS4)。
そして、ホログラム生成装置1は、オクルージョン判定手段34によって、ステップS4で算出された方向(角度)に対応する被写体の奥行値が、ステップS4で算出された方向(角度)に対応するオクルージョンマップMの奥行値よりも前景側を示す値であるか否かを判定する(ステップS5)。そして、オクルージョンマップMの奥行値よりも背景側を示す値である場合(ステップS5でNo)、ホログラム生成装置1は、ステップS2に戻って、次の加算対象画素を決定する。
一方、オクルージョンマップMの奥行値よりも前景側を示す値である場合(ステップS5でYes)、ホログラム生成装置1は、光量算出手段32によって、加算対象画素の色情報(画素値)から光量を算出し、光量加算手段35によって、その光量をホログラムHの生成対象画素の画素値に加算する(ステップS6)。
そして、ホログラム生成装置1は、オクルージョンマップ更新手段36によって、ステップS4で算出された方向(角度)に対応するオクルージョンマップMに被写体の奥行値を設定することで、オクルージョンマップMを更新する(ステップS7)。なお、このとき、オクルージョンマップ更新手段36は、被写体の奥行値よりも所定量だけ奥側の値をオクルージョンマップMに設定する。
そして、ホログラム生成装置1は、光量加算対象画素決定手段31によって、被写体光の入射範囲内における被写体画像Fのすべての画素について、光量の加算処理を完了したか否かを判定し(ステップS8)、まだ、完了していない場合(ステップS8でNo)、ステップ2に戻って動作を継続する。
そして、被写体光の入射範囲内における被写体画像Fのすべての画素について、光量の加算処理が完了した場合(ステップS8でYes)、ホログラム生成装置1は、図10に示すステップS9以降の動作を実行する。なお、ホログラム生成装置1は、このステップS8までの動作によって、ホログラムHの位置よりも前景側に位置する被写体についてのホログラムHを生成したことになる。
次に、ホログラム生成装置1は、光量加算対象画素決定手段31によって、ホログラムの生成対象画素を中心として、当該画素に入射される光の範囲に対応する被写体画像において、中心から周辺の方向に加算対象となる被写体画像の画素(加算対象画素)を決定する(ステップS9)。
そして、ホログラム生成装置1は、このステップS9で決定された加算対象画素の奥行値(奥行画像の奥行値Z)が、ホログラムHの生成対象画素よりも背景側(奥側)を占めす値であるか否かを判定し(ステップS10)、前景側を示す値である場合(ステップS10でNo)は、ステップS9に戻って、次の加算対象画素を決定する。
一方、ステップS9で決定された加算対象画素の奥行値が、ホログラムHの生成対象画素よりも背景側を示す値である場合(ステップS10でYes)、ホログラム生成装置1は、光方向算出手段33によって、ステップS9で決定された加算対象画素について、被写体光の方向(角度)を算出する(ステップS11)。
なお、以降のステップS12〜S15の動作は、図9で説明したステップS5〜S8までの動作と同様であって、戻りのステップ番号が、ステップS2かステップS9かの違いのみであるため、説明を省略する。
以上の動作によって、ホログラム生成装置1は、ホログラムHの生成対象画素について、被写体光を加算してホログラムHを形成する画素値を求めることができる。なお、本動作は、ホログラムHの1画素についての生成手順であり、本動作をホログラムHの全画素について行うことで、ホログラムHを生成することができる。
また、ここでは、被写体に対して任意の位置でホログラムを生成することが可能な動作としたが、被写体に対して背景側に固定したホログラムを生成する場合、ホログラム生成装置1は、図9のステップS1〜S8の動作のみを実行すればよい。また、被写体に対して前景側に固定してホログラムを生成する場合、ホログラム生成装置1は、図9のステップS2〜S8までの動作を省略して実行すればよい。
[ホログラム生成手法の概要:第2実施形態]
次に、図11を参照して、本発明の第2実施形態に係るホログラム生成装置におけるホログラム生成手法の概要について説明する。図11は、本発明の第2実施形態に係るホログラム生成装置におけるホログラム生成手法の概要を模式的に示した概念図である。
図11に示すように、本発明のホログラム生成手法(以下、本手法という)は、被写体の情報として、ボクセル空間(被写体空間)Sを表現した要素であるボクセルVから、電子ホログラフィにより立体像を表示するためのホログラムHを生成する。
本手法は、図1で説明した手法と基本的には同じであるが、被写体の情報として、被写体画像Fと奥行画像Dの替わりにボクセルVを用いる点が異なっている。すなわち、本手法は、奥行画像Dの奥行値の代わりのボクセルVの奥行方向の座標値(ここではz方向の座標値)を用いる。そして、本手法は、ホログラムHの画素Pにおける光量の加算順序を、ボクセル空間Sの最も前景側のボクセルから順に行う。これによって、本手法は、微小窓W単位で、被写体の前景の光Lと背景の光Lとを同時に加算することがなく、前景の被写体が透けて背景の被写体が見えてしまうファントム現象の発生を防止することができる。以下、このホログラム生成手法を実現するためのホログラム生成装置の構成および動作について、順次説明を行う。
[ホログラム生成装置の構成:第2実施形態]
まず、図12を参照して、本発明の第2実施形態に係るホログラム生成装置の構成について説明する。図12は、本発明の第2実施形態に係るホログラム生成装置の全体構成を示すブロック図である。
ホログラム生成装置1Bは、被写体の情報であるボクセルVに基づいて、被写体の立体像を再生するためのホログラム(計算機合成ホログラム)を生成するものである。なお、ここでは、ボクセルVは、外部から入力されるものとする。
ボクセルVは、3次元の被写体空間を微小な空間に分割し、3次元座標位置(x,y,z)と、当該位置における色情報(例えば、RGB値)と、透明度(透過率)tとを含んだデータである。このボクセルVは、コンピュータグラフィックスにより仮想的に生成されたデータであってもよいし、被写体を周辺から複数のカメラで撮影した周辺画像に基づいて、被写体周辺の3次元位置における色情報を対応付けて生成されたものであってもよい。
ここでは、ホログラム生成装置1Bは、オクルージョンマップ生成手段10と、記憶手段20と、光加算手段30Bと、を備え、光加算手段30Bは、光量加算対象画素決定手段31Bと、光量算出手段32と、光方向算出手段33と、オクルージョン判定手段34と、光量加算手段35と、オクルージョンマップ更新手段36と、を備えている。なお、光加算手段30Bの光量加算対象画素決定手段31B以外の構成は、図2で説明したホログラム生成装置1と同様の構成であるため、同一の符号を付して説明を省略する。
光加算手段30Bは、ホログラムHの生成対象画素ごとに、当該生成対象画素に仮想的に入射される被写体光の光量(ボクセルごとの光量)を加算することで、ホログラムHを生成するものである。なお、光加算手段30Bは、図示を省略した入力手段を介して、生成するホログラムHの大きさ、3次元空間上の位置等が入力されるものとする。
光量加算対象画素決定手段31Bは、ホログラムHの生成対象画素を中心として、当該画素に入射される光の範囲に対応するボクセルにおいて、予め定めた加算順序に基づいて、光量の加算対象となるボクセル(加算対象ボクセル)を決定するものである。なお、生成対象画素に入射される光の範囲(入射範囲)は、前記(1)式で示した広がり角度θとする。
この光量加算対象画素決定手段31Bは、ホログラムHの生成対象画素ごとに、入射範囲内におけるボクセルVの最も前景(ボクセル空間Sの最大z座標)のボクセルVから、順に加算対象となるボクセルVを決定する。なお、同一z座標のボクセルVについては、特に順序を定める必要はないが、ここでは、光量加算対象画素決定手段31Bは、例えば、同一z座標のxy平面における中心から周辺に向かってボクセルVを決定する。また、ここでは、ボクセルVの透明度によって、ボクセルVが被写体の情報を含んだデータであるか否かを判定することとする。
これによって、ホログラム生成装置1Bは、前景側のボクセルVの光量が、ホログラムHの画素Pの画素値として加算された場合、同一の微小窓Wを通過するボクセルVの背景側のボクセルVの光量が加算されることがなく、ファントム現象を防止することができる。
なお、ホログラム生成装置1Bは、一般的なコンピュータを、前記した各手段として機能させるホログラム生成プログラムによって動作させることができる。また、このホログラム生成プログラムは、通信回線を介して配布したり、CD−ROM等の記録媒体に記録して配布したりすることも可能である。
[ホログラム生成装置の動作:第2実施形態]
次に、図13を参照(適宜図12参照)して、本発明の第2実施形態に係るホログラム生成装置の動作について説明する。図13は、本発明の第2実施形態に係るホログラム生成装置において、ボクセルからホログラムを生成する動作を示すフローチャートである。
まず、ホログラム生成装置1Bは、オクルージョンマップ生成手段10によって、所定角度範囲ごとに被写体までの距離(奥行値)を示したオクルージョンマップを記憶手段20上に生成する(ステップS21)。なお、このとき、オクルージョンマップ生成手段10は、すべての奥行値を、奥行値としては存在しない値(ここでは、最大の負数)で初期化しておく。
そして、ホログラム生成装置1Bは、光加算手段30Bの光量加算対象画素決定手段31Bによって、ボクセルVの最も前景(手前)側のz座標を、加算対象画素の探索用のxy面のz座標(探索z座標)として設定する(ステップS22)。そして、ホログラム生成装置1Bは、光量加算対象画素決定手段31Bによって、ホログラムHの生成対象画素を中心として、当該画素に入射される光の範囲に対応する探索z座標に存在するボクセルVにおいて、中心から周辺の方向に加算対象となるボクセル(加算対象ボクセル)Vを決定する(ステップS23)。なお、このステップS23においては、同一z座標において、探索z座標の周辺から中心の方向に加算対象ボクセルを決定することとしてもよい。
そして、ホログラム生成装置1Bは、このステップS23で決定された加算対象ボクセルの透明度に基づいて、当該ボクセルが透明であるか否かを判定し(ステップS24)、透明である場合(ステップS24でYes)は、ステップS23に戻って、次の加算対象ボクセルを決定する。
一方、ステップS24で決定された加算対象ボクセルが透明でない場合(ステップS24でNo)、ホログラム生成装置1Bは、光方向算出手段33によって、ステップS23で決定された加算対象ボクセルについて、被写体からの光の方向(角度)を算出する(ステップS25)。
そして、ホログラム生成装置1Bは、オクルージョン判定手段34によって、ステップS25で算出された方向に対応する被写体の奥行値が、ステップS25で算出された角度に対応するオクルージョンマップMの奥行値よりも前景側を示す値であるか否かを判定する(ステップS26)。そして、オクルージョンマップMの奥行値よりも背景側を示す値である場合(ステップS26でNo)、ホログラム生成装置1は、ステップS23に戻って、次の加算対象ボクセルを決定する。
一方、オクルージョンマップMの奥行値よりも前景側を示す値である場合(ステップS26でYes)、ホログラム生成装置1Bは、光量算出手段32によって、加算対象ボクセルの色情報(画素値)から光量を算出し、光量加算手段35によって、その光量をホログラムHの生成対象画素の画素値に加算する(ステップS27)。
そして、ホログラム生成装置1Bは、オクルージョンマップ更新手段36によって、ステップS25で算出された方向(角度)に対応するオクルージョンマップMに被写体の奥行値を設定することで、オクルージョンマップMを更新する(ステップS28)。なお、このとき、オクルージョンマップ更新手段36は、被写体の奥行値よりも所定量だけ奥側の値をオクルージョンマップMに設定する。
そして、ホログラム生成装置1Bは、光量加算対象画素決定手段31Bによって、設定されたz座標の入射範囲内におけるすべてのボクセルVについて、光量の加算処理を完了したか否かを判定し(ステップS29)、まだ、完了していない場合(ステップS29でNo)、ステップ23に戻って動作を継続する。
そして、ホログラム生成装置1は、光量加算対象画素決定手段31Bによって、被写体空間(ボクセル空間)のすべてのz座標を探索したか否かを判定する(ステップS30)。ここで、まだ、すべてのz座標について探索を完了していない場合(ステップS30でNo)、ホログラム生成装置1Bは、光量加算対象画素決定手段31Bによって、z座標を背景側(奥側)に座標単位分移動させることで探索z座標を更新し(ステップS31)、ステップ23に戻って動作を継続する。一方、すべてのz座標について探索が完了した場合(ステップS30でYes)、ホログラムHの生成対象画素の画素値を算出する動作を終了する。
以上の動作によって、ホログラム生成装置1Bは、ボクセルVから、ホログラムHの生成対象画素について、前景に重なる背景からの光の加算を行うことなくファントム現象を防止しながら、被写体光を加算してホログラムHを形成する画素値を求めることができる。なお、本動作は、ホログラムHの1画素についての生成手順であり、本動作をホログラムHの全画素について行うことで、ホログラムHを生成することができる。
なお、オクルージョンマップに書き込む値は、奥行値の代わりに光の加算を行ったことを示すフラグでもよい。
本発明の第1実施形態に係るホログラム生成装置におけるホログラム生成手法の概要を模式的に示した概念図である。 本発明の第1実施形態に係るホログラム生成装置の全体構成を示すブロック図である。 オクルージョンマップを模式的に示した図である。 ホログラムの位置が、被写体よりも前景側(手前側)にある場合のホログラムと被写体との配置関係を示す仮想配置図である。 ホログラムの位置が、被写体よりも背景側(奥側)にある場合のホログラムと被写体との配置関係を示す仮想配置図である。 ホログラムの位置が、被写体の前景と背景との間にある場合のホログラムと被写体との配置関係を示す仮想配置図である。 光量および光の方向の算出手法を説明するために仮想的に配置した被写体とホログラムとの配置関係を示す仮想配置図である。 同一微小窓に2つの光が入射する例を示す図である。 本発明の第1実施形態に係るホログラム生成装置において、被写体画像および奥行画像からホログラムを生成する動作を示すフローチャート(1/2)である。 本発明の第1実施形態に係るホログラム生成装置において、被写体画像および奥行画像からホログラムを生成する動作を示すフローチャート(2/2)である。 本発明の第2実施形態に係るホログラム生成装置におけるホログラム生成手法の概要を模式的に示した概念図である。 本発明の第2実施形態に係るホログラム生成装置の全体構成を示すブロック図である。 本発明の第2実施形態に係るホログラム生成装置において、ボクセルからホログラムを生成する動作を示すフローチャートである。 従来のホログラムの生成手法を説明するための説明図である。
符号の説明
1 ホログラム生成装置
10 オクルージョンマップ生成手段
20 記憶手段
30 光加算手段
31 光量加算画素決定手段
32 光量算出手段
33 光方向算出手段
34 オクルージョン判定手段
35 光量加算手段
36 オクルージョンマップ更新手段
F 被写体画像
D 奥行画像
V ボクセル
M オクルージョンマップ
H ホログラム
W 微小窓(微小角度範囲)

Claims (7)

  1. 被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを前記被写体の前景側で生成するホログラム生成装置であって、
    前記ホログラムの生成対象画素から3次元空間に仮想配置された前記被写体への方向を示す所定の微小角度範囲ごとに、前記被写体までの奥行値を対応付けたオクルージョンマップを、前記奥行値で最も奥側を示す初期値によって初期化して生成するオクルージョンマップ生成手段と、
    このオクルージョンマップ生成手段で生成されたオクルージョンマップを記憶する記憶手段と、
    前記被写体から前記生成対象画素に仮想的に入射される光量を加算することで、前記生成対象画素のホログラム値を算出する光加算手段と、を備え、
    前記光加算手段は、
    ホログラム面に対して前記生成対象画素から垂直な方向に対応する前記被写体画像の画素を中心とし、前記被写体画像において前記中心から周辺に向かって前記光量の加算対象となる加算対象画素を順次決定する光量加算対象画素決定手段と、
    前記加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から前記生成対象画素の3次元座標位置までの方向を算出する光方向算出手段と、
    前記加算対象画素の奥行値が、前記光方向算出手段で算出された方向に対応した前記オクルージョンマップの奥行値よりも前景側を示す値であるか否かを判定するオクルージョン判定手段と、
    このオクルージョン判定手段で前記加算対象画素の奥行値が前景側であると判定された場合に、当該加算対象画素の色情報に対応した光量を前記生成対象画素のホログラム値として加算する光量加算手段と、
    前記光方向算出手段で算出された方向に対応した前記記憶手段に記憶されているオクルージョンマップの奥行値を、前記光量加算手段で光量を加算した前記加算対象画素の奥行値よりも所定量だけ奥側の値を設定して更新するオクルージョンマップ更新手段と、
    を備えることを特徴とするホログラム生成装置。
  2. 被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを前記被写体の背景側で生成するホログラム生成装置であって、
    前記ホログラムの生成対象画素から3次元空間に仮想配置された前記被写体への方向を示す所定の微小角度範囲ごとに、前記被写体までの奥行値を対応付けたオクルージョンマップを、前記奥行値で最も奥側を示す初期値によって初期化して生成するオクルージョンマップ生成手段と、
    このオクルージョンマップ生成手段で生成されたオクルージョンマップを記憶する記憶手段と、
    前記被写体から前記生成対象画素に仮想的に入射される光量を加算することで、前記生成対象画素のホログラム値を算出する光加算手段と、を備え、
    前記光加算手段は、
    ホログラム面に対して前記生成対象画素から垂直な方向に対応する前記被写体画像の画素を中心とし、前記被写体画像において周辺から前記中心に向かって前記光量の加算対象となる加算対象画素を順次決定する光量加算対象画素決定手段と、
    前記加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から前記生成対象画素の3次元座標位置までの方向を算出する光方向算出手段と、
    前記加算対象画素の奥行値が、前記光方向算出手段で算出された方向に対応した前記オクルージョンマップの奥行値よりも前景側を示す値であるか否かを判定するオクルージョン判定手段と、
    このオクルージョン判定手段で前記加算対象画素の奥行値が前景側であると判定された場合に、当該加算対象画素の色情報に対応した光量を前記生成対象画素のホログラム値として加算する光量加算手段と、
    前記光方向算出手段で算出された方向に対応した前記記憶手段に記憶されているオクルージョンマップの奥行値を、前記光量加算手段で光量を加算した前記加算対象画素の奥行値よりも所定量だけ奥側の値を設定して更新するオクルージョンマップ更新手段と、
    を備えることを特徴とするホログラム生成装置。
  3. 被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、
    前記ホログラムの生成対象画素から3次元空間に仮想配置された前記被写体への方向を示す所定の微小角度範囲ごとに、前記被写体までの奥行値を対応付けたオクルージョンマップを、前記奥行値で最も奥側を示す初期値によって初期化して生成するオクルージョンマップ生成手段と、
    このオクルージョンマップ生成手段で生成されたオクルージョンマップを記憶する記憶手段と、
    前記被写体から前記生成対象画素に仮想的に入射される光量を加算することで、前記生成対象画素のホログラム値を算出する光加算手段と、を備え、
    前記光加算手段は、
    ホログラム面に対して前記生成対象画素から垂直な方向に対応する前記被写体画像の画素を中心とし、前記ホログラムよりも前景側に位置する前記被写体に対応する前記被写体画像の画素について、前記被写体画像の周辺から前記中心に向かって前記光量の加算対象となる加算対象画素を順次決定した後に、前記ホログラムよりも背景側に位置する前記被写体に対応する前記被写体画像の画素について、前記被写体画像の前記中心から周辺に向かって前記加算対象画素を順次決定する光量加算対象画素決定手段と、
    前記加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から前記生成対象画素の3次元座標位置までの方向を算出する光方向算出手段と、
    前記加算対象画素の奥行値が、前記光方向算出手段で算出された方向に対応した前記オクルージョンマップの奥行値よりも前景側を示す値であるか否かを判定するオクルージョン判定手段と、
    このオクルージョン判定手段で前記加算対象画素の奥行値が前景側であると判定された場合に、当該加算対象画素の色情報に対応した光量を前記生成対象画素のホログラム値として加算する光量加算手段と、
    前記光方向算出手段で算出された方向に対応した前記記憶手段に記憶されているオクルージョンマップの奥行値を、前記光量加算手段で光量を加算した前記加算対象画素の奥行値よりも所定量だけ奥側の値を設定して更新するオクルージョンマップ更新手段と、
    を備えることを特徴とするホログラム生成装置。
  4. 被写体空間を微小空間に分割した、3次元座標位置と当該位置における色情報および透明度とを含んだボクセルのデータに基づいて、被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、
    前記ホログラムの生成対象画素から3次元空間に仮想配置された前記被写体への方向を示す所定の微小角度範囲ごとに、前記被写体までの奥行値を対応付けたオクルージョンマップを、前記奥行値で最も奥側を示す初期値によって初期化して生成するオクルージョンマップ生成手段と、
    このオクルージョンマップ生成手段で生成されたオクルージョンマップを記憶する記憶手段と、
    前記被写体から前記生成対象画素に仮想的に入射される光量を加算することで、前記生成対象画素のホログラム値を算出する光加算手段と、を備え、
    前記光加算手段は、
    前記被写体の前景側から背景側に向かって順次、前記透明度に基づいて透明でないと判定されるボクセルを前記光量の加算対象となる加算対象ボクセルとして決定する光量加算対象画素決定手段と、
    前記加算対象ボクセルの3次元座標位置から前記生成対象画素の3次元座標位置までの方向を算出する光方向算出手段と、
    前記加算対象ボクセルの奥行値が、前記光方向算出手段で算出された方向に対応した前記オクルージョンマップの奥行値よりも前景側を示す値であるか否かを判定するオクルージョン判定手段と、
    このオクルージョン判定手段で前記加算対象ボクセルの奥行値が前景側であると判定された場合に、当該加算対象ボクセルの前記色情報に対応した光量を前記生成対象画素のホログラム値として加算する光量加算手段と、
    前記光方向算出手段で算出された方向に対応した前記記憶手段に記憶されているオクルージョンマップの奥行値を、前記光量加算手段で光量を加算した前記加算対象ボクセルの奥行値よりも所定量だけ奥側の値を設定して更新するオクルージョンマップ更新手段と、
    を備えることを特徴とするホログラム生成装置。
  5. 被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを生成するために、コンピュータを、
    前記ホログラムの生成対象画素から3次元空間に仮想配置された前記被写体への方向を示す所定角度範囲ごとに、前記被写体までの奥行値を対応付けたオクルージョンマップを、前記奥行値で最も奥側を示す初期値によって初期化して生成し、記憶手段に記憶するオクルージョンマップ生成手段、
    ホログラム面に対して前記生成対象画素から垂直な方向に対応する前記被写体画像の画素を中心とし、前記ホログラムよりも前景側に位置する前記被写体に対応する前記被写体画像の画素について、前記被写体画像の周辺から前記中心に向かって光量の加算対象となる加算対象画素を順次決定した後に、前記ホログラムよりも背景側に位置する前記被写体に対応する前記被写体画像の画素について、前記被写体画像の前記中心から周辺に向かって前記加算対象画素を順次決定する光量加算対象画素決定手段、
    前記加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から前記生成対象画素の3次元座標位置までの方向を算出する光方向算出手段、
    前記加算対象画素の奥行値が、前記光方向算出手段で算出された方向に対応した前記オクルージョンマップの奥行値よりも前景側を示す値であるか否かを判定するオクルージョン判定手段、
    このオクルージョン判定手段で前記加算対象画素の奥行値が前景側であると判定された場合に、当該加算対象画素の色情報に対応した光量を前記生成対象画素のホログラム値として加算する光量加算手段、
    前記光方向算出手段で算出された方向に対応した前記記憶手段に記憶されているオクルージョンマップの奥行値を、前記光量加算手段で光量を加算した前記加算対象画素の奥行値よりも所定量だけ奥側の値を設定して更新するオクルージョンマップ更新手段、
    として機能させることを特徴とするホログラム生成プログラム。
  6. 被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、
    前記ホログラムの生成対象画素から3次元空間に仮想配置された前記被写体への方向を示す所定角度範囲ごとに、前記被写体の光量を加算したことを示すフラグを対応付けたオクルージョンマップを、前記光量を加算していないことを示す初期値によって初期化して生成するオクルージョンマップ生成手段と、
    このオクルージョンマップ生成手段で生成されたオクルージョンマップを記憶する記憶手段と、
    前記被写体から前記生成対象画素に仮想的に入射される光量を加算することで、前記生成対象画素のホログラム値を算出する光加算手段と、を備え、
    前記光加算手段は、
    ホログラム面に対して前記生成対象画素から垂直な方向に対応する前記被写体画像の画素を中心とし、前記ホログラムよりも前景側に位置する前記被写体に対応する前記被写体画像の画素について、前記被写体画像の周辺から前記中心に向かって前記光量の加算対象となる加算対象画素を順次決定した後に、前記ホログラムよりも背景側に位置する前記被写体に対応する前記被写体画像の画素について、前記被写体画像の前記中心から周辺に向かって前記加算対象画素を順次決定する光量加算対象画素決定手段と、
    前記加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から前記生成対象画素の3次元座標位置までの方向を算出する光方向算出手段と、
    この光方向算出手段で算出された方向に対応した前記オクルージョンマップのフラグに基づいて、前記加算対象画素の光量を加算するか否かを判定するオクルージョン判定手段と、
    このオクルージョン判定手段で、前記フラグが未設定であることにより前記加算対象画素の光量を加算すると判定された場合に、当該加算対象画素の色情報に対応した光量を前記生成対象画素のホログラム値として加算する光量加算手段と、
    前記光方向算出手段で算出された方向に対応した前記記憶手段に記憶されているオクルージョンマップに、前記光量加算手段で光量を加算したことを示すフラグを設定して更新するオクルージョンマップ更新手段と、
    を備えることを特徴とするホログラム生成装置。
  7. 被写体を撮影した被写体画像と当該被写体画像に対応した奥行値を示す奥行画像とに基づいて、被写体の立体像を再生するためのホログラムを生成するために、コンピュータを、
    前記ホログラムの生成対象画素から3次元空間に仮想配置された前記被写体への方向を示す所定角度範囲ごとに、前記被写体の光量を加算したことを示すフラグを対応付けたオクルージョンマップを、前記光量を加算していないことを示す初期値によって初期化して生成し、記憶手段に記憶するオクルージョンマップ生成手段、
    ホログラム面に対して前記生成対象画素から垂直な方向に対応する前記被写体画像の画素を中心とし、前記ホログラムよりも前景側に位置する前記被写体に対応する前記被写体画像の画素について、前記被写体画像の周辺から前記中心に向かって前記光量の加算対象となる加算対象画素を順次決定した後に、前記ホログラムよりも背景側に位置する前記被写体に対応する前記被写体画像の画素について、前記被写体画像の前記中心から周辺に向かって前記加算対象画素を順次決定する光量加算対象画素決定手段、
    前記加算対象画素の2次元座標位置と当該画素に対応する奥行値とで定められる3次元座標位置から前記生成対象画素の3次元座標位置までの方向を算出する光方向算出手段、
    この光方向算出手段で算出された方向に対応した前記オクルージョンマップのフラグに基づいて、前記加算対象画素の光量を加算するか否かを判定するオクルージョン判定手段、
    このオクルージョン判定手段で、前記フラグが未設定であることにより前記加算対象画素の光量を加算すると判定された場合に、当該加算対象画素の色情報に対応した光量を前記生成対象画素のホログラム値として加算する光量加算手段、
    前記光方向算出手段で算出された方向に対応した前記記憶手段に記憶されているオクルージョンマップに、前記光量加算手段で光量を加算したことを示すフラグを設定して更新するオクルージョンマップ更新手段、
    として機能させることを特徴とするホログラム生成プログラム。
JP2008141873A 2008-05-30 2008-05-30 ホログラム生成装置およびそのプログラム Expired - Fee Related JP5219197B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008141873A JP5219197B2 (ja) 2008-05-30 2008-05-30 ホログラム生成装置およびそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008141873A JP5219197B2 (ja) 2008-05-30 2008-05-30 ホログラム生成装置およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2009288575A JP2009288575A (ja) 2009-12-10
JP5219197B2 true JP5219197B2 (ja) 2013-06-26

Family

ID=41457833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008141873A Expired - Fee Related JP5219197B2 (ja) 2008-05-30 2008-05-30 ホログラム生成装置およびそのプログラム

Country Status (1)

Country Link
JP (1) JP5219197B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215547A (ja) * 2013-04-26 2014-11-17 東芝アルパイン・オートモティブテクノロジー株式会社 計算機ホログラムのデータ作成装置及びそのデータ作成方法
CN107976888B (zh) * 2017-12-18 2020-05-19 苏州大学 能够表示再现像遮挡关系的计算全息三维显示方法及系统
US20230089872A1 (en) * 2020-03-13 2023-03-23 Sony Group Corporation Information processing device, information processing method, and information processing program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3268625B2 (ja) * 1995-08-11 2002-03-25 シャープ株式会社 3次元画像表示装置
JPH10288939A (ja) * 1997-04-16 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> デプスバッファ利用による計算機ホログラム生成方法並びに装置
JP2002215008A (ja) * 2001-01-15 2002-07-31 Victor Co Of Japan Ltd 計算機ホログラムデータ生成方法
JP2003228270A (ja) * 2001-11-30 2003-08-15 Dainippon Printing Co Ltd 真贋判定情報が記録されたホログラム
JP2005157337A (ja) * 2003-11-04 2005-06-16 Dainippon Printing Co Ltd 可視化断面を有する3次元物体が記録された計算機ホログラム、ホログラフィックステレオグラムの作成方法及び可視化断面を有する3次元物体が記録された計算機ホログラム、ホログラフィックステレオグラム
JP2007128118A (ja) * 2007-02-23 2007-05-24 Toppan Printing Co Ltd 計算機ホログラムおよびその作製方法

Also Published As

Publication number Publication date
JP2009288575A (ja) 2009-12-10

Similar Documents

Publication Publication Date Title
US5570208A (en) Stereoscopic display method of hologram and its forming method and stereoscopic display apparatus
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
JP5366547B2 (ja) 立体視表示装置
KR20160021968A (ko) 영상 처리 방법 및 장치
KR20080071475A (ko) 3차원 디스플레이용 컴퓨터 그래픽스 화상 생성장치 및생성방법
IL290142B1 (en) A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
RU2453922C2 (ru) Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты)
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
JP2009080578A (ja) 多視点データ生成装置、方法及びプログラム
JP7227095B2 (ja) ホログラム生成装置およびホログラム生成方法
JP7479729B2 (ja) 三次元表現方法及び表現装置
JP2012050032A (ja) 画像処理装置、表示装置、再生装置、記録装置、画像処理装置の制御方法、情報記録媒体、画像処理装置の制御プログラム及びコンピュータ読取可能な記録媒体
US20230328400A1 (en) Auxiliary focusing method, apparatus, and system
EP4165450A1 (en) Camera intrinsic calibration
JP5219197B2 (ja) ホログラム生成装置およびそのプログラム
US5513020A (en) Stereoscopic display apparatus use a holographic phase distribution formed from two-dimensional images
CN112802170A (zh) 光照图像生成方法、装置、设备和介质
JP3144637B2 (ja) 3次元レンダリング方法
CN115280788A (zh) 多视图风格转换的系统和方法
Klug Display applications of large-scale digital holography
US20240168436A1 (en) Information processing apparatus, information processing method, and recording medium
JP3851887B2 (ja) ステレオ写真方式による立体視地図表示装置および方法
CN116363219B (zh) 一种双目火源图像合成方法、装置及可读存储介质
US11593993B1 (en) Method for image processing of image data for image and visual effects on a two-dimensional display wall
Mandl et al. Neural Bokeh: Learning Lens Blur for Computational Videography and Out-of-Focus Mixed Reality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130301

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5219197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees