JP6406853B2 - 光フィールド映像を生成する方法及び装置 - Google Patents

Description

以下の実施形態は光フィールド映像を生成する方法及び装置に関する。

３次元ディスプレイ技術は、映画プロジェクター、ＴＶ、携帯電話などの様々な映像ディスプレイ分野に適用されている。３次元ディスプレイの究極的な目的は、人がリアル環境で経験するような立体感を仮想環境で感じさせるものとして、ステレオ方式、多視点方式などの数多い種類の技術が研究されている。そのうち、光フィールド（Ｌｉｇｈｔ Ｆｉｅｌｄ）方式は、ステレオ方式または多視点方式に比べて３次元空間情報をより正確に再現することができる。

本発明の一実施形態によると、レンダリングカメラの視点をプロジェクター視点に移してレンダリングすることで、迅速かつ正確に光フィールドを生成する。

また、本発明の一実施形態によると、グラフィックオブジェクトの頂点を遠い境界面に投影することによって、グラフィックオブジェクトの後面で前面を撮影するような表現を可能にする。

３Ｄディスプレイにおいて、観察位置に位置するレンダリングカメラ位置及び投射位置に位置するディスプレイプロジェクターの位置が異なる場合、キャプチャーされた光フィールドを再構成するように変更される。

したがって、変換は投射位置にレンダリングカメラを位置付けることによって回避され得る。このような配置は、後方位置で物体の正面をキャプチャーし、視聴者の観測位置でイメージ調整を招く。

一実施形態によると、光フィールド映像を生成する方法は、グラフィックオブジェクトの頂点を受信するステップと、前記グラフィックオブジェクトの頂点を光フィールドが再現されるスクリーン方向の遠い境界面に投影するステップと、前記グラフィックオブジェクトの投影された頂点を用いて前記グラフィックオブジェクトに対する光フィールド映像を生成するステップとを含む。

前記グラフィックオブジェクトの頂点を前記遠い境界面に投影するステップは、前記グラフィックオブジェクトの頂点のうち少なくとも１つのカメラから第１距離に位置するグラフィックオブジェクトの少なくとも１つの頂点を前記少なくとも１つのカメラから第２距離に位置するように変換するステップと、前記グラフィックオブジェクトの頂点のうち少なくとも１つのカメラから第２距離に位置するグラフィックオブジェクトの少なくとも１つの頂点を前記少なくとも１つのカメラから第１距離に位置するように変換するステップとを含んでもよい。

前記グラフィックオブジェクトの頂点を前記遠い境界面に投影するステップは、少なくとも１つのカメラに対する前記グラフィックオブジェクトの少なくとも１つの頂点を前記遠い境界面に投影するマトリックス演算を行うステップと、前記演算結果を用いて前記遠い境界面に投影された前記グラフィックオブジェクトの座標値を決定するステップとを含んでもよい。

前記グラフィックオブジェクトを投影するスクリーンの上／下段位置、左／右側位置、前記スクリーン方向の第１距離及び第２距離が入力されるステップをさらに含んでもよい。

前記第１距離は、前記グラフィックオブジェクトが完全に表現される画面方向に前記カメラの位置から遠い位置に対応し、前記第２距離は、前記グラフィックオブジェクトが完全に表現される最も近い位置に対応してもよい。

一実施形態によると、光フィールド映像を生成する方法は、光フィールドを表現する少なくとも１つのプロジェクターそれぞれの視点位置または方向のうち少なくとも１つと同一の視点位置または方向を有する少なくとも１つのカメラを用いて、グラフィックオブジェクトに対する光フィールド撮影を行うことで光フィールド情報を生成するステップと、前記光フィールド情報を視聴者の観測位置に基づいて変換するステップと、前記少なくとも１つのプロジェクターに前記変換された光フィールド情報を提供して光フィールド映像を生成するステップとを含む。

前記視聴者の観測位置は、前記視聴者の観測高さを含んでもよい。

前記光フィールド情報を視聴者の観測位置に基づいて変換するステップは、前記光フィールド情報を視聴者方向に位置する第１平面での視聴者の観測位置に基づいて変換するステップを含んでもよい。

前記光フィールド情報を視聴者方向に位置する第１平面での視聴者の観測高さに基づいて変換するステップは、前記少なくとも１つのカメラで前記グラフィックオブジェクトのいずれか１つの頂点に連結する直線が前記第１平面と合う第１座標を決定するステップと、前記第１座標を視聴者の観測高さの第２座標に移動させるステップと、前記第２座標から前記グラフィックオブジェクトのいずれか１つの頂点を経過した直線が光フィールドの再現されるスクリーン方向に位置する第２平面と合う第３座標を決定するステップと、前記第３座標を用いて前記光フィールド情報を変換するステップとを含んでもよい。

前記少なくとも１つのカメラの位置、前記第１平面の位置、及び前記第２平面の位置を含む情報を受信するステップをさらに含んでもよい。

前記光フィールド映像を生成するステップは、前記変換された光フィールド情報を光フィールドが再現されるスクリーン方向の第１距離に対応する遠い境界面に投影するステップと、前記遠い境界面に投影された変換された光フィールド情報を少なくとも１つのプロジェクターに提供して光フィールド映像を生成するステップとを含んでもよい。

前記変換された光フィールド情報を前記遠い境界面に投影するステップは、前記変換された光フィールド情報のうち、前記少なくとも１つのカメラから第１距離に位置する光フィールド情報を前記少なくとも１つのカメラから第２距離に位置するように変換するステップと、前記変換された光フィールド情報のうち、少なくとも１つのカメラから第２距離に位置する光フィールド情報を前記少なくとも１つのカメラから第１距離に位置するように変換するステップとを含んでもよい。

前記変換された光フィールド情報を前記遠い境界面に投影するステップは、少なくとも１つのカメラで前記変換された光フィールド情報を前記遠い境界面に投影するマトリックス演算を行うステップと、前記演算結果を用いて前記遠い境界面に投影された前記変換された光フィールド情報の座標値を決定するステップとを含んでもよい。

前記グラフィックオブジェクトを投影するスクリーンの上／下段位置、左／右側位置、前記スクリーン方向の第１距離及び第２距離を受信するステップをさらに含んでもよい。

一実施形態によると、光フィールド映像を生成する装置は、光フィールドを表現する少なくとも１つのプロジェクターそれぞれの視点位置または方向のうち少なくとも１つと同一の視点位置または方向を有する少なくとも１つのカメラを用いて、グラフィックオブジェクトに対する光フィールド撮影を行うことによって光フィールド情報を生成する光フィールド情報生成部と、前記光フィールド情報を視聴者方向に位置する第１平面での視聴者の観測位置に基づいて変換する変換部と、前記少なくとも１つのプロジェクターに前記変換された光フィールド情報を提供して光フィールド映像を生成する映像生成部とを含む。

前記変換部は、前記少なくとも１つのカメラで前記グラフィックオブジェクトのいずれか１つの頂点に連結する直線が前記第１平面と合う第１座標を決定する第１決定部と、前記第１座標を視聴者の観測位置である第２座標に移動させる移動部と、前記第２座標から前記グラフィックオブジェクトのいずれか１つの頂点を経過した直線が光フィールドの再現されるスクリーン方向に位置する第２平面と合う第３座標を決定する第２決定部とを含み、前記第３座標を用いて前記光フィールド情報を変換してもよい。

前記映像生成部は、前記変換された光フィールド情報を光フィールドが再現されるスクリーン方向の第１距離に対応する遠い境界面に投影する投影部と、前記少なくとも１つのプロジェクターに前記遠い境界面に投影された前記変換された光フィールド情報を提供して前記光フィールド映像を生成する生成部とを備えてもよい。

前記投影部は、少なくとも１つのカメラで前記変換された光フィールド情報を前記遠い境界面に投影するマトリックス演算を行う演算部と、前記演算結果を用いて前記遠い境界面に投影された前記変換された光フィールド情報の座標値を決定する決定部とを備えてもよい。

一実施形態によると、３次元オブジェクトをスクリーンに投影する方法は、ディスプレイプロジェクターが光フィールドを生成する位置に位置するレンダリングカメラを用いて前記オブジェクトの光フィールドをキャプチャーするステップと、前記オブジェクトの前記キャプチャーされた光フィールドを投影するステップとを含み、前記キャプチャーされた光フィールドは、ディスプレイプロジェクターが前記光フィールドを再生成する位置に対応する前記オブジェクトの後方位置からキャプチャーされたオブジェクトの前面部に対応する。

本発明の一実施形態によると、コンピュータグラフィックレンダリングによって光フィールド映像を生成するとき、レンダリングカメラの視点を視聴視点ではないプロジェクター視点に移してレンダリングすることによって、迅速かつ正確に光フィールドを生成することができる。

また、本発明の一実施形態によると、グラフィックオブジェクトの頂点を近い境界面ではなく遠い境界面に投影することによって、グラフィックオブジェクトの後面で前面を撮影するような表現を可能にすることができる。

一実施形態に係る光フィールド映像を生成する方法によって、カメラ視点をプロジェクター視点に変換する概念を説明するための図である。 一実施形態に係る光フィールド映像を生成する方法によって、後面視点の光フィールドを取得する概念図である。 一実施形態に係る光フィールド映像を生成する方法を用いて、グラフィックオブジェクトの頂点を処理する過程を示す図である。 一実施形態に係る光フィールド映像を生成する方法を示すフローチャートである。 一実施形態に係る光フィールド映像を生成する方法でグラフィックオブジェクトの頂点を遠い境界面に投影する方法を示すフローチャートである。 一実施形態に係る光フィールド映像を生成する方法によって、グラフィックオブジェクトの頂点を遠い境界面に投影する方法を説明するための図である。 一実施形態に係る光フィールド映像を生成する方法によって、グラフィックオブジェクトの頂点を遠い境界面に投影した結果を示す図である。 他の実施形態に係る光フィールド映像を生成する方法を示すフローチャートである。 一実施形態に係る水平方向光フィールドディスプレイのためのビューポート変換を考慮して光フィールド映像を生成する方法を示すフローチャートである。 図９において、光フィールド情報を視聴者の観測高さに基づいて変換する方法を示すフローチャートである。 図９に示す光フィールド映像を生成する方法を説明するための図である。 実施形態に係る水平方向光フィールドディスプレイのためのビューポート変換を考慮して光フィールド映像を生成する方法を示すフローチャートである。 実施形態に係る水平方向光フィールドディスプレイのためのビューポート変換を考慮して光フィールド映像を生成する方法を示すフローチャートである。 一実施形態に係る光フィールド映像を生成する装置のブロック図である。 一実施形態に係る水平方向光フィールドディスプレイのためのビューポート変換を考慮して光フィールド映像を生成する装置のブロック図である。

以下、実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が一実施形態によって制限されたり限定されることはない。また、各図面に提示された同一の参照符号は同一の部材を示す。

以下、「光フィールド（Ｌｉｇｈｔ Ｆｉｅｌｄ）」は、光が空間上で分布する状態を光線分布を用いて表現する概念である。この概念を用いると、事物から反射したり発生した光は空間中を直進して人の目に映るものと定義し、３次元空間は数え切れない多くの光フィールドから構成される。

個別的な光フィールドを数学的に表現するためには、例えば、５次元プレノプティック（ｐｌｅｎｏｐｔｉｃ）関数が用いられるが、空間上の特定平面上で光線が平面を経過する点の３次元空間座標ｘ、ｙ、ｚと光線が向かう空間方向角のθ、φに対する輝度のように表記してもよい。

光フィールドは、前述した特定平面を経過する光のプレノプティック関数値を情報化することで取得してもよい。すなわち、光フィールドは、一定領域ｘ、ｙ、ｚの座標それぞれに対してθ、φごとの輝度値によって取得されてもよい。

光フィールドカメラは光フィールド取得を目的とするカメラとして、２Ｄカメラが空間上の特定の１つの点（＝視点）に対してθ、φごとの輝度値を記録することに比べて、光フィールドカメラは一定領域内の全ての座標値に対してθ、φごとの輝度値を記録する。

図１は、一実施形態に係る光フィールド映像を生成する方法によって、カメラ視点をプロジェクター視点に変換する概念を説明するための図である。

図１を参照すると、視聴者が視聴者平面１１０の右側下段から左側上段方向にスクリーンを見つめる場合、立体映像を撮影する複数のカメラ１０５はユーザの視聴方向と同一に、視聴者平面１１０の右側下段から左側上段の方向を見つめてグラフィックオブジェクト１７０を撮影する。

たとえ、図１においてカメラは水平ラインのように図示されているが、一実施形態はこのような構成に限定されることなく、カメラは視聴者平面１１０の任意の位置に配置してもよい。例えば、カメラは垂直ライン、アングルライン（ａｎｇｌｅｄ ｌｉｎｅ）、または視聴者平面１１０でジグザグパターンに配列されてもよい。

光フィールドの取得には一般的に複数のカメラ１０５を用いるが、各カメラ１０５の視点で発生する光フィールド情報を取得してもよい。

一方、光フィールドを表現するとき、図１に示すように複数のプロジェクター１５５をスクリーン平面１３０の後方ソース平面１５０に配置し、後面投射（ｒｅａｌ ｐｒｏｊｅｃｔｉｏｎ）方式を用いる場合、プロジェクター１５５ごとに発生する光フィールド情報はカメラ１０５ごとに取得された光フィールド情報と互いに異なることがある。

したがって、これを解決するためには、複数のカメラ１０５で取得された光フィールド情報をプロジェクター１５５ごとの光フィールド情報に変換する過程が求められる。

２Ｄ映像は３次元空間情報を２次元に投射した映像情報を取得して表現するため、取得視点と表現視点とが異なっても問題にならない。しかし、３次元空間の光フィールドを取得して表現する場合、光フィールド取得のためのカメラ視点と光フィールド表現のためのプロジェクター視点とが異なると、カメラで撮影した映像情報を直接プロジェクターで使用することができない。

したがって、一実施形態では、コンピュータグラフィックレンダリングによって光フィールド映像を生成するとき、レンダリングカメラの視点を視聴者平面１１０の視聴視点ではないソース平面１５０のプロジェクター視点に移してレンダリングを行うことで、プロジェクターが取得した光フィールド情報を変換することなく用いることで、迅速かつ正確に光フィールドを生成することができる。

図２は、一実施形態に係る光フィールド映像を生成する方法によって、後面視点の光フィールドを取得する概念図である。

図２を参照して、後面視点光フィールド取得のためのコンピュータグラフィックのカメラ配置によってカメラ視点を及び方向をプロジェクター位置に変換する概念を説明する。

実際に立体映像を再現する光フィールドはプロジェクターで発生するため、カメラ視点をプロジェクター視点に変更して光フィールド情報を取得すると、追加的な変換なくても取得された光フィールド情報をプロジェクターの入力として用いてもよい。

コンピュータグラフィック映像の場合、算出によって所望する地点の光フィールド情報を抽出できるため、カメラが事物の後方に位置するものの、事物の前面に対する光フィールド情報を取得することができる。したがって、このような方法により追加的な変換過程なしで直接プロジェクターの入力となる光フィールド情報を取得することができる。

このような実施形態は、カメラ２０５の位置を視聴者の視聴位置ではない光フィールドを表現するプロジェクターの位置、言い換えれば、ソース平面２１０に一致させて光フィールドを撮影してもよい。これによって、カメラ２０５が撮影したグラフィックオブジェクト２５０に対する光フィールド情報はそのままプロジェクターで再生してスクリーン２３０に表現される。

カメラ２０５の位置をプロジェクターの位置に一致させて光フィールドを撮影する場合、次の２種類が考慮される。

第１に、被写体の後面で被写体の前面を撮影しなければならず、第２に、水平視差（Ｈｏｒｉｚｏｎｔａｌ Ｐａｒａｌｌａｘ Ｏｎｌｙ；ＨＰＯ）の表現特性を実現しなければならない。

以下、被写体の後面で被写体の前面を撮影する表現方法については図４〜図８を参照して説明し、水平視差の表現特性を実現する方法については図９〜図１２を参照して説明する。

図３は、一実施形態に係る光フィールド映像を生成する方法を用いてグラフィックオブジェクトの頂点（ｖｅｒｔｅｘ）を処理する過程を示す図である。

図３を参照すると、一実施形態に係る光フィールド映像を生成する装置（以下、「生成装置」）は、入力されたグラフィックオブジェクトの頂点ｘ、ｙ、ｚ、ｗに対してモデル変換３１０を行う。

モデル変換３１０の過程で、生成装置はグラフィックオブジェクトの頂点ｘ、ｙ、ｚ、ｗから構成された３次元メッシュモデルに対する移動（ｓｈｉｆｔ）、回転（ｒｏｔａｔｉｏｎ）、大きさ変換（ｓｃａｌｅ ｔｒａｎｓｌａｔｉｏｎ）などを行い、３次元メッシュモデルの位置、姿勢、大きさ変換などに対する結果を格納する。モデル変換３１０の過程でカメラの位置は固定されてもよい。

生成装置は、モデル変換３１０の過程で取得した情報を用いてビューポート変換（Ｖｉｅｗｐｏｒｔ Ｔｒａｎｓｆｏｒｍ）３３０を行ってもよい。ここで、ビューポートは、画像を生成するレンダリング過程で投影変換した図形を実際に表示する長方形の領域を示す。一般的にスクリーンの座標は論理的な算出のみを行うが、ビューポートは、実際に図形を表示して示すディスプレイなどの座標系と合致しなければならない。したがって、スクリーンの座標系で算出された図形を表示するために、ビューポート変換処理による座標変換の算出を行ってもよい。

ビューポート変換３３０の過程で、生成装置はカメラの位置を移動させたりカメラを回転させるなど、カメラに動きを与えることで取得される光フィールド方向などを決定してもよい。

生成装置は、ビューポート変換３３０の過程を経た結果を用いてプロジェクション変換３５０を行ってもよい。プロジェクション変換３５０の過程で、生成装置はカメラの視野を考慮してカメラ座標系における変形を反映してもよい。生成装置は、プロジェクション変換３５０の過程によって被写体の後面情報を表現してもよい。

実施形態に係る生成装置はビューポート変換３３０を省略し、プロジェクション変換３５０のみを行ってもよい。例えば、プロジェクターがスクリーンの後方に位置し、ディスプレイが垂直、水平方向を表現できれば、生成装置はプロジェクション変換３５０の過程のみを行ってもよい。

図４は、一実施形態に係る光フィールド映像を生成する方法を示すフローチャートである。

図４を参照すると、一実施形態に係る生成装置はグラフィックオブジェクトの頂点が入力される（Ｓ４１０）。

生成装置は、グラフィックオブジェクトの頂点を遠い境界面（ｆａｒ ｐｌａｎｅ）に投影する（Ｓ４３０）。ここで、遠い境界面は、光フィールドが再現されるスクリーン方向の第１距離に対応する平面であってもよい。

ステップＳ４３０において、生成装置は、グラフィックオブジェクトの頂点のうち少なくとも１つのカメラから最も遠い第１距離に位置するグラフィックオブジェクトの少なくとも１つの頂点を、少なくとも１つのカメラから最も近い第２距離に位置するよう変換してもよい。そして、生成装置は、グラフィックオブジェクトの頂点のうち、少なくとも１つのカメラから最も近い第２距離に位置するグラフィックオブジェクトの少なくとも１つの頂点を、少なくとも１つのカメラから最も遠い第１距離に位置するよう変換してもよい。

ここで、第１距離は、プロジェクターの位置（あるいは、カメラの位置）からスクリーン方向にグラフィックオブジェクトが全て表現され得る最も遠い位置に該当する距離であり、第２距離は、グラフィックオブジェクトが全て表現され得る最も近い位置に該当する距離であってもよい。第１距離及び第２距離は、グラフィックオブジェクトを投影するスクリーンの上／下段の位置、左／右側の位置などと共にユーザから入力されてもよい。

その他に、生成装置がグラフィックオブジェクトの頂点を遠い境界面に投影する方法については図５を参照して詳細に説明する。

生成装置は、遠い境界面に投影されたグラフィックオブジェクトの頂点を用いてグラフィックオブジェクトに対する光フィールド映像を生成する（Ｓ４５０）。

図５は、一実施形態に係る光フィールド映像を生成する方法でグラフィックオブジェクトの頂点を遠い境界面に投影する方法を示すフローチャートである。

図５を参照すると、一実施形態に係る生成装置は、少なくとも１つのカメラに対するグラフィックオブジェクトの少なくとも１つの頂点を遠い境界面に投影するマトリックス演算を行う（Ｓ５１０）。ここで、グラフィックオブジェクトの少なくとも１つの頂点を遠い境界面に投影するマトリックスは、例えば、下記の数式（１）のような形態を有してもよい。

ここで、ｆはスクリーンに投影する空間（ｆｒｕｓｔｕｍ）の遠い距離であり、ｎはスクリーンに投影する空間の近い距離を示す。また、ｒ_ｆはスクリーンに投影する空間の遠い距離での右側位置を示し、ｌ_ｆはスクリーンに投影する空間の遠い距離での左側位置を示す。また、ｔ_ｆはスクリーンに投影する空間の遠い距離での上側（ｔｏｐ）位置を示し、ｂ_ｆはスクリーンに投影する空間の遠い距離での底（ｂｏｔｔｏｍ）位置を示す。

マトリックスは、ステップｓ５１０の演算結果を用いて遠い境界面に投影されたグラフィックオブジェクトの座標値を出力する（Ｓ５３０）。

図６は、一実施形態に係る光フィールド映像を生成する方法によって、グラフィックオブジェクトの頂点を遠い境界面に投影する方法を説明するための図である。

図６を参照すると、プロジェクターの位置に設定されたカメラ６１０から最も近い第２距離（ｚ＝ｎ）に対応する近い境界面６３０及びカメラ６１０から最も遠い第１距離（ｚ＝ｆ）に対応する遠い境界面６５０について説明する。

一実施形態に係る光フィールド映像を生成する方法では、グラフィックオブジェクト６０５の頂点Ｖを近い境界面６３０ではなく遠い境界面６５０に投影することで、グラフィックオブジェクトの後面で前面を撮影するように表現できる。

ここで、第１距離（ｚ＝ｆ）及び第２距離（ｚ＝ｎ）は、グラフィックオブジェクトを投影するスクリーンの上段位置（ｔｏｐ＿ｆ、ｔｏｐ＿ｎ）、下段位置（ｂｏｔｔｏｍ＿ｆ、ｂｏｔｔｏｍ＿ｎ）、左側位置（ｌｅｆｔ＿ｆ、ｌｅｆｔ＿ｎ）、右側位置（ｒｉｇｈｔ＿ｆ、ｒｉｇｈｔ＿ｎ）などのようにユーザから入力されてもよい。

図７は、一実施形態に係る光フィールド映像を生成する方法によって、グラフィックオブジェクトの頂点を遠い境界面に投影した結果を示す図である。図７を参照すると、一実施形態に係る光フィールド映像を生成する方法によりグラフィックオブジェクトの頂点を遠い境界面に投影して後面視点で光フィールドを生成する場合、カメラ７１０から近い側の面に位置する点７０１は遠い境界面に投影されて７３１のように表現され、カメラから遠い側の面に位置する点７０５は近い境界面に投影されて７３５のように近く表現されてもよい。

図８は、他の実施形態に係る光フィールド映像を生成する方法を示すフローチャートである。図８を参照すると、一実施形態に係る生成装置は、スクリーンに投影する空間の上段位置（ｔ）、下段位置（ｂ）、左側位置（ｌ）、右側位置（ｒ）、近い距離（ｎ）、遠い距離（ｆ）が入力される（Ｓ８１０）。

生成装置は、複数のカメラのいずれか１つのカメラ（例えば、第１カメラ）を選択し（Ｓ８２０）、選択されたカメラに対してグラフィックオブジェクトの頂点値が入力される（Ｓ８３０）。

生成装置はステップＳ８２０において、選択されたカメラに対するグラフィックオブジェクトの少なくとも１つの頂点を遠い境界面に投影するマトリックス演算を行う（Ｓ８４０）。

生成装置は、ステップＳ８４０の演算結果を用いて遠い境界面に投影されたグラフィックオブジェクトの座標値を出力する（Ｓ８５０）。

生成装置は、選択されたカメラに対するグラフィックオブジェクトの全ての頂点に対して遠い境界面に投影した座標値が求められるかを判断する（Ｓ８６０）。

ステップＳ８６０の判断結果、遠い境界面に投影した座標値が求められていない頂点がある場合、生成装置はステップＳ８３０〜ステップＳ８５０の過程を繰り返してもよい。

一方、全ての頂点に対して遠い境界面に投影した座標値が求められた場合、生成装置は複数のカメラのうち第１カメラの次のカメラ（例えば、第２カメラ）を選択する（Ｓ８７０）。

生成装置は、ステップＳ８７０において、選択されたカメラに対してステップＳ８２０〜ステップＳ８６０の過程を繰り返し、複数のカメラ全てに対してグラフィックオブジェクトの全ての頂点を遠い境界面に投影した座標値を求めるまで当該動作を繰り返す（Ｓ８８０）。

図９は、一実施形態に係る水平方向光フィールドディスプレイのためのビューポート変換を考慮して光フィールド映像を生成する方法を示すフローチャートである。図９を参照すると、一実施形態に係る生成装置は、少なくとも１つのカメラを用いてグラフィックオブジェクトに対する光フィールド撮影を行うことで光フィールド情報を生成する（Ｓ９１０）。ここで、少なくとも１つのカメラは、光フィールドを表現する少なくとも１つのプロジェクターそれぞれの視点位置または方向のうち少なくとも１つと同一の視点位置または方向を有してもよい。光フィールド情報は、プロジェクターから入力される入力映像のピクセルがスクリーンのどの地点で投射されるかに関する情報、または入力映像のピクセル及びピクセルのスクリーン上の投射地点の間の関係に対する情報などを含んでもよい。

生成装置は、光フィールド情報を視聴者の観測高さに基づいて変換する（Ｓ９３０）。ステップＳ９３０において、生成装置は光フィールド情報を視聴者方向に位置する第１平面（例えば、図１１に示す参照番号１１１０）での視聴者の観測高さに基づいて変換してもよい。生成装置が光フィールド情報を視聴者の観測高さに基づいて変換する方法については図１０を参照して説明する。

生成装置は、少なくとも１つのプロジェクターにステップＳ９３０で変換された光フィールド情報を提供して光フィールド映像を生成する（Ｓ９５０）。

図１０は、図９に示す光フィールド情報を視聴者の観測高さに基づいて変換する方法を示すフローチャートである。図１０を参照すると、一実施形態に係る生成装置は、少なくとも１つのカメラでグラフィックオブジェクトのいずれか１つの頂点に連結する直線が第１平面と合う第１座標を決定する（Ｓ１０１０）。

生成装置は、ステップＳ１０１０で決定した第１座標を視聴者の観測高さの第２座標に移動させる（Ｓ１０３０）。

生成装置は、第２座標からグラフィックオブジェクトのいずれか１つの頂点を経過した直線が光フィールドの再現されるスクリーン方向に位置する第２平面と合う第３座標を決定する（Ｓ１０５０）。

生成装置は、ステップＳ１０５０において、決定した第３座標を用いて光フィールド情報を変換する（Ｓ１０７０）。

図１１は、図９に示す光フィールド映像を生成する方法を説明するための図である。図１１において、カメラ位置はプロジェクターの位置と一致し、スクリーン平面１１３０でｚ_ａ＝ｚ_ａ’＝０であり、視聴者平面１１１０でｚ値はｚ_ｂである。

一実施形態において、複数のカメラそれぞれは光フィールドを表現する複数のプロジェクターが位置するソース平面１１５０に位置し、複数のプロジェクターと同一の視点位置及び方向を有してもよい。複数のカメラのうち、第１カメラ中心（Ｃ）の位置Ｃ（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）でグラフィックオブジェクト１１７０のいずれか１つの頂点Ｖ（ｘ_ｖ、ｙ_ｖ、ｚ_ｖ）に連結する直線は第１平面１１１０と合う第１座標Ｂ（ｘ_ｂ、ｙ_ｂ、ｚ_ｂ）を決定してもよい（〔１〕）。ここで、第１平面１１１０は、例えば、視聴者がみる視聴者平面、あるいは、視聴平面であってもよい。

ここで、第１カメラ中心ＣのＣ（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）でグラフィックオブジェクト１１７０のいずれか１つの頂点Ｖ（ｘ_ｖ、ｙ_ｖ、ｚ_ｖ）に連結する直線が光フィールドの再現されるスクリーン方向に位置するスクリーン平面１１３０を通過する位置はＡ（ｘ_ａ、ｙ_ａ、ｚ_ａ）であってもよい。ここで、Ａ（ｘ_ａ、ｙ_ａ、ｚ_ａ）はユーザの目の高さを考慮しない場合、グラフィックオブジェクト１１７０がスクリーン平面１１３０に投影される映像１１３５の位置を示してもよい。

ここで、〔１〕過程で各頂点の間には次の数式（２）の関係が成立つ。

生成装置は、第１座標Ｂ（ｘ_ｂ、ｙ_ｂ、ｚ_ｂ）を視聴者の観測高さの第２座標Ｂ’（ｘ_ｂ、０、ｚ_ｂ）に移動させる（〔２〕）。

生成装置は、第２座標Ｂ’（ｘ_ｂ、０、ｚ_ｂ）からグラフィックオブジェクトのいずれか１つの頂点Ｖ（ｘ_ｖ、ｙ_ｖ、ｚ_ｖ）を経過した直線が光フィールドの再現されるスクリーン方向に位置する第２平面１１３０と合う第３座標Ａ’（ｘ_ａ’、ｙ_ａ’、ｚ_ａ’）を決定する（〔３〕）。

ここで、〔３〕過程で各頂点の間には次の数式（３）のような関係が成立つ。

その後、生成装置は、第３座標Ａ’（ｘ_ａ’、ｙ_ａ’、ｚ_ａ’）を第１カメラ位置に投影（〔４〕）して光フィールド情報を変換する。

図１２は、他の実施形態に係る水平方向光フィールドディスプレイのためのビューポート変換を考慮して光フィールド映像を生成する方法を示すフローチャートである。図１２を参照すると、一実施形態に係る生成装置は、少なくとも１つのカメラの位置、第１平面（視聴者平面）の位置、及び第２平面（スクリーン平面）の位置を示すパラメータなどを含む情報が入力される（Ｓ１２１０）。

生成装置は、複数のカメラのいずれか１つのカメラ（例えば、第１カメラ）を選択し（Ｓ１２１５）、選択されたカメラに対してグラフィックオブジェクトの頂点値が入力される（Ｓ１２２０）。

生成装置は、ステップＳ１２１５で選択されたカメラの中心でグラフィックオブジェクトの頂点（Ｖ）を連結する直線が第１平面（視聴者平面）と合う点Ｂを決定する（Ｓ１２２５）。

生成装置は、点Ｂを視聴者の観測高さに移動させた点Ｂ’を決定（Ｓ１２３０）し、点Ｂ’でオブジェクトを経過する直線がスクリーン平面と合う点Ａ’を決定する（Ｓ１２３５）。ここで、Ａ’とは、Ａを視聴者の観測高さを考慮して変換した値である。

生成装置は、変換された点Ａ’の値を出力する（Ｓ１２４０）。生成装置は、グラフィックオブジェクトの全ての頂点に対して視聴者の観測高さを変換された値を判断する（Ｓ１２４５）。

ステップＳ１２４５の判断結果、視聴者の観測高さを変換されていない頂点がある場合、生成装置はステップＳ１２２０〜ステップＳ１２４０の過程を繰り返す。

一方、全ての頂点に対して視聴者の観測高さを変換が完了した場合、生成装置は他のカメラを選択する（Ｓ１２５０）。

生成装置は、ステップＳ１２５０で選択されたカメラに対してステップＳ１２２０〜ステップＳ１２４０の過程を繰り返し、複数のカメラ全てに対してグラフィックオブジェクトの全ての頂点を視聴者の観測高さに変換するまで当該動作を繰り返す（Ｓ１２５５）。

図１３は、更なる実施形態に係る水平方向光フィールドディスプレイのためのビューポート変換を考慮して光フィールド映像を生成する方法を示すフローチャートである。図１３を参照すると、一実施形態に係る生成装置は、少なくとも１つのカメラを用いてグラフィックオブジェクトに対する光フィールド撮影を行うことによって光フィールド情報を生成する（Ｓ１３１０）。ここで、少なくとも１つのカメラは、光フィールドを表現する少なくとも１つのプロジェクターそれぞれの視点位置または方向のうち少なくとも１つと同一の視点位置または方向を有してもよい。

生成装置は、光フィールド情報を視聴者の観測高さに基づいて変換する（Ｓ１３３０）。

生成装置は、ステップＳ１３３０で変換された光フィールド情報を光フィールドが再現されるスクリーン方向の第１距離に対応する遠い境界面に投影する（Ｓ１３５０）。

生成装置は、ステップＳ１３５０で遠い境界面に投影された変換された光フィールド情報を少なくとも１つのプロジェクターに提供して光フィールド映像を生成する（Ｓ１３７０）。

図１４は、一実施形態に係る光フィールド映像を生成する装置のブロック図である。図１４を参照すると、一実施形態に係る光フィールド映像を生成する装置（以下、生成装置）１４００は、入力部１４１０、投影部１４３０及び生成部１４５０を備える。

入力部１４１０は、グラフィックオブジェクトの頂点が入力される。投影部１４３０は、グラフィックオブジェクトの頂点を光フィールドが再現されるスクリーン方向の第１距離に対応する遠い境界面に投影する。

投影部１４３０は、グラフィックオブジェクトの頂点のうち少なくとも１つのカメラで最も遠い第１距離に位置するグラフィックオブジェクトの少なくとも１つの頂点を、少なくとも１つのカメラで最も近い第２距離に位置するように変換する変換部（図示せず）を備えてもよい。また、変換部は、グラフィックオブジェクトの頂点のうち少なくとも１つのカメラで最も近い第２距離に位置するグラフィックオブジェクトの少なくとも１つの頂点を、少なくとも１つのカメラで最も遠い第１距離に位置するように変換してもよい。

投影部１４３０は、演算部１４３３及び決定部１４３６を備える。演算部１４３３は、１つのカメラでグラフィックオブジェクトの少なくとも１つの頂点を遠い境界面に投影するマトリックス演算を行う。決定部１４３６は、演算部１４３３の演算結果を用いて遠い境界面に投影されたグラフィックオブジェクトの座標値を決定する。

生成部１４５０は、遠い境界面に投影されたグラフィックオブジェクトの頂点を用いて光フィールド映像を生成する。

図１５は、一実施形態に係る水平方向光フィールドディスプレイのためのビューポート変換を考慮して光フィールド映像を生成する装置のブロック図である。図１５を参照すると、一実施形態に係る光フィールド映像を生成する装置（以下、「生成装置」）１５００は、光フィールド情報生成部１５１０、変換部１５３０、及び映像生成部１５５０を備える。

光フィールド情報生成部１５１０は、光フィールドを表現する少なくとも１つのプロジェクターそれぞれの視点位置、方向のうち少なくとも１つと同一の視点位置、または方向を有する少なくとも１つのカメラを用いてグラフィックオブジェクトに対する光フィールド撮影を行うことで光フィールド情報を生成する。

変換部１５３０は、光フィールド情報を視聴者方向に位置する第１平面での視聴者の観測高さに基づいて変換する。変換部１５３０は、第１決定部１５３１、移動部１５３３、及び第２決定部１５３５を備える。

第１決定部１５３１は、少なくとも１つのカメラでグラフィックオブジェクトのいずれか１つの頂点に連結する直線が第１平面と合う第１座標を決定する。

移動部１５３３は、第１座標を視聴者の観測高さの第２座標に移動させる。第２決定部１５３５は、第２座標からグラフィックオブジェクトのいずれか１つの頂点を経過した直線が光フィールドの再現されるスクリーン方向に位置する第２平面と合う第３座標を決定する。

変換部１５３０は、第３座標を用いて光フィールド情報を変換する。映像生成部１５５０は、少なくとも１つのプロジェクターに変換された光フィールド情報を提供して光フィールド映像を生成する。映像生成部１５５０は、投影部１５５１及び生成部１５５３を備える。

投影部１５５１は、変換された光フィールド情報を光フィールドが再現されるスクリーン方向の第１距離に対応する遠い境界面に投影する。投影部１５５１は、演算部（図示せず）及び決定部（図示せず）を備えてもよい。

演算部は、少なくとも１つのカメラでグラフィックオブジェクトの少なくとも１つの頂点を遠い境界面に投影するマトリックス演算を行う。

決定部は、演算部の演算結果を用いて遠い境界面に投影された変換された光フィールド情報の座標値を決定する。

生成部１５５３は、少なくとも１つのプロジェクターに遠い境界面に投影された変換された光フィールド情報を提供して光フィールド映像を生成する。

本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１０５：カメラ
１１０：視聴者平面（Ｃａｐｔｕｒｅ Ｐｌａｎｅ）
１３０：スクリーン平面（Ｓｃｒｅｅｎ Ｐｌａｎｅ）
１５０：ソース平面（Ｓｏｕｒｃｅ Ｐｌａｎｅ）
１５５：プロジェクター
１７０：３次元グラフィックオブジェクト

Claims (16)

1. グラフィックオブジェクトの頂点を受信するステップと、
   前記グラフィックオブジェクトの頂点を光フィールドが再現されるスクリーン方向の遠い境界面に投影するステップと、
   前記グラフィックオブジェクトの投影された頂点を用いて前記グラフィックオブジェクトに対する光フィールド映像を生成するステップと、
   を含み、
   前記グラフィックオブジェクトの頂点を前記遠い境界面に投影するステップは、
   前記グラフィックオブジェクトの頂点のうち少なくとも１つのカメラから第１距離に位置するグラフィックオブジェクトの少なくとも１つの頂点を前記少なくとも１つのカメラから第２距離に位置するように変換するステップと、
   前記グラフィックオブジェクトの頂点のうち少なくとも１つのカメラから第２距離に位置するグラフィックオブジェクトの少なくとも１つの頂点を前記少なくとも１つのカメラから第１距離に位置するように変換するステップと、
   を含む、
   ことを特徴とする光フィールド映像を生成する方法。
2. 前記グラフィックオブジェクトの頂点を前記遠い境界面に投影するステップは、
   少なくとも１つのカメラに対する前記グラフィックオブジェクトの少なくとも１つの頂点を前記遠い境界面に投影するマトリックス演算を行うステップと、
   前記演算結果を用いて前記遠い境界面に投影された前記グラフィックオブジェクトの座標値を決定するステップと、
   を含むことを特徴とする請求項１に記載の光フィールド映像を生成する方法。
3. 前記方法は、さらに、
   前記グラフィックオブジェクトを投影するスクリーンの上／下段位置、左／右側位置、前記スクリーン方向の第１距離及び第２距離が入力されるステップを含む
   ことを特徴とする請求項１または２に記載の光フィールド映像を生成する方法。
4. 前記第１距離は、前記グラフィックオブジェクトが完全に表現される画面方向に前記カメラの位置から遠い位置に対応し、
   前記第２距離は、前記グラフィックオブジェクトが完全に表現される最も近い位置に対応する
   ことを特徴とする請求項３に記載の光フィールド映像を生成する方法。
5. 光フィールドを表現する少なくとも１つのプロジェクターそれぞれの視点位置または方向のうち少なくとも１つと同一の視点位置または方向を有する少なくとも１つのカメラを用いて、グラフィックオブジェクトに対する光フィールド撮影を行うことで光フィールド情報を生成するステップと、
   前記光フィールド情報を視聴者の観測位置に基づいて変換するステップと、
   前記少なくとも１つのプロジェクターに前記変換された光フィールド情報を提供して光フィールド映像を生成するステップと、
   を含み、
   前記光フィールド情報を視聴者の観測位置に基づいて変換するステップは、
   前記光フィールド情報を視聴者方向に位置する第１平面での視聴者の観測位置に基づいて変換するステップ、を含み、
   前記光フィールド情報を視聴者方向に位置する第１平面での視聴者の観測高さに基づいて変換するステップは、
   前記少なくとも１つのカメラで前記グラフィックオブジェクトのいずれか１つの頂点に連結する直線が前記第１平面と合う第１座標を決定するステップと、
   前記第１座標を視聴者の観測高さの第２座標に移動させるステップと、
   前記第２座標から前記グラフィックオブジェクトのいずれか１つの頂点を経過した直線が光フィールドの再現されるスクリーン方向に位置する第２平面と合う第３座標を決定するステップと、
   前記第３座標を用いて前記光フィールド情報を変換するステップと、
   を含む、
   ことを特徴とする光フィールド映像を生成する方法。
6. 前記視聴者の観測位置は、前記視聴者の観測高さを含む
   ことを特徴とする請求項５に記載の光フィールド映像を生成する方法。
7. 前記少なくとも１つのカメラの位置、前記第１平面の位置、及び前記第２平面の位置を含む情報を受信するステップをさらに含む
   ことを特徴とする請求項５または６に記載の光フィールド映像を生成する方法。
8. 前記光フィールド映像を生成するステップは、
   前記変換された光フィールド情報を光フィールドが再現されるスクリーン方向の第１距離に対応する遠い境界面に投影するステップと、
   前記遠い境界面に投影された変換された光フィールド情報を少なくとも１つのプロジェクターに提供して光フィールド映像を生成するステップと、
   を含むことを特徴とする請求項５乃至７のいずれか一項に記載の光フィールド映像を生成する方法。
9. 前記変換された光フィールド情報を前記遠い境界面に投影するステップは、
   前記変換された光フィールド情報のうち、前記少なくとも１つのカメラから第１距離に位置する光フィールド情報を前記少なくとも１つのカメラから第２距離に位置するように変換するステップと、
   前記変換された光フィールド情報のうち、少なくとも１つのカメラから第２距離に位置する光フィールド情報を前記少なくとも１つのカメラから第１距離に位置するように変換するステップと、 を含む
   ことを特徴とする請求項８に記載の光フィールド映像を生成する方法。
10. 前記変換された光フィールド情報を前記遠い境界面に投影するステップは、
    少なくとも１つのカメラで前記変換された光フィールド情報を前記遠い境界面に投影するマトリックス演算を行うステップと、
    前記演算結果を用いて前記遠い境界面に投影された前記変換された光フィールド情報の座標値を決定するステップと、
    を含む
    ことを特徴とする請求項８または９に記載の光フィールド映像を生成する方法。
11. 前記方法は、さらに、
    前記グラフィックオブジェクトを投影するスクリーンの上／下段位置、左／右側位置、前記スクリーン方向の第１距離及び第２距離を受信するステップを含む
    ことを特徴とする請求項８乃至１０のいずれか一項に記載の光フィールド映像を生成する方法。
12. プログラムが記録されたコンピュータで読み出し可能な記録媒体であって、
    プロセッサによって前記プログラムが実行されると、請求項１〜請求項１１のいずれか１項に記載の方法を実施する、
    コンピュータで読み出し可能な記録媒体。
13. 光フィールドを表現する少なくとも１つのプロジェクターそれぞれの視点位置または方向のうち少なくとも１つと同一の視点位置または方向を有する少なくとも１つのカメラを用いて、グラフィックオブジェクトに対する光フィールド撮影を行うことによって光フィールド情報を生成する光フィールド情報生成部と、
    前記光フィールド情報を視聴者方向に位置する第１平面での視聴者の観測位置に基づいて変換する変換部と、
    前記少なくとも１つのプロジェクターに前記変換された光フィールド情報を提供して光フィールド映像を生成する映像生成部と、
    を含み、
    前記変換部は、
    前記少なくとも１つのカメラで前記グラフィックオブジェクトのいずれか１つの頂点に連結する直線が前記第１平面と合う第１座標を決定する第１決定部と、
    前記第１座標を視聴者の観測位置である第２座標に移動させる移動部と、
    前記第２座標から前記グラフィックオブジェクトのいずれか１つの頂点を経過した直線が光フィールドの再現されるスクリーン方向に位置する第２平面と合う第３座標を決定する第２決定部と、を含み、
    前記第３座標を用いて前記光フィールド情報を変換する、
    ことを特徴とする光フィールド映像を生成する装置。
14. 前記映像生成部は、
    前記変換された光フィールド情報を光フィールドが再現されるスクリーン方向の第１距離に対応する遠い境界面に投影する投影部と、
    前記少なくとも１つのプロジェクターに前記遠い境界面に投影された前記変換された光フィールド情報を提供して前記光フィールド映像を生成する生成部と、
    を備えることを特徴とする請求項１３に記載の光フィールド映像を生成する装置。
15. 前記投影部は、
    少なくとも１つのカメラで前記変換された光フィールド情報を前記遠い境界面に投影するマトリックス演算を行う演算部と、
    前記演算結果を用いて前記遠い境界面に投影された前記変換された光フィールド情報の座標値を決定する決定部と、
    を備えることを特徴とする請求項１４に記載の光フィールド映像を生成する装置。
16. ３次元オブジェクトをスクリーンに投影する方法において、
    ディスプレイプロジェクターが光フィールドを生成する位置に位置するレンダリングカメラを用いて前記オブジェクトの光フィールドをキャプチャーするステップと、
    前記オブジェクトの前記キャプチャーされた光フィールドを投影するステップと、
    を含み、
    前記キャプチャーされた光フィールドは、ディスプレイプロジェクターが前記光フィールドを再生成する位置に対応する前記オブジェクトの後方位置からキャプチャーされたオブジェクトの前面部に対応することを特徴とする３次元オブジェクトをスクリーンに投影する方法。

Images