JP7328942B2 - ３ｄモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム - Google Patents

Description

本発明は、被写体の3Dモデルを生成し、さらに仮想視点映像を生成する際に、引きカメラと寄りカメラとが混在する環境でも3Dモデルを消失させることなく違和感のない仮想視点映像を提供できる3Dモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラムに関する。

自由視点（仮想視点）映像技術は、複数台のカメラ映像を取得し、カメラが存在しない視点も含めた任意の視点からの映像視聴を可能とする技術である。自由視点映像を実現する一手法として、非特許文献１が開示する視体積交差法に基づく3Dモデルベースの自由視点映像生成手法が存在する。

視体積交差法は、図11に示すように各カメラ映像から被写体の部分だけを抽出した2値のシルエット画像を3D空間に投影し、その積集合となる部分のみを3DCGのモデルとして残すことによって3Dモデルを生成する手法である。

視体積交差法は、特許文献1が開示するフルモデル方式自由視点（3Dモデルの形状を忠実に表現する方式）や、非特許文献2が開示するビルボード方式自由視点（3Dモデルをビルボードと呼ばれる板の形状で制作し、近いカメラからのテクスチャをビルボードにマッピングする方式）を実現する上での基礎技術として利用されている。

非特許文献1が開示する自由視点制作では、まず自由視点映像を制作したい3D空間を立方体の格子で区切ったボクセルグリッドで埋め尽くす。次いで、各ボクセルグリッドの3次元位置を各カメラのシルエット画像上に逆投影し、対応する位置のシルエット画像を参照する。そして、多くのカメラでシルエットが白（被写体が存在する）と判定されたボクセルグリッドがモデル化される。

このような自由視点映像は、リアルタイムでインタラクティブに任意の視点からスポーツを視聴して楽しむような用途や、任意の視点の映像を作り出せるという特徴を利用して、決定されたカメラワークに基づいて臨場感のあるリプレイ動画を作ることなどを目的に利用されてきた。

特開2018-063635号公報

Laurentini, A. "The visual hull concept for silhouette based image understanding.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 150-162, (1994). H. Sankoh, S. Naito, K. Nonaka, H. Sabirin, J. Chen, "Robust Billboard-based, Free-viewpoint Video Synthesis Algorithm to Overcome Occlusions under Challenging Outdoor Sport Scenes", Proceedings of the 26th ACM international conference on Multimedia, pp. 1724-1732, (2018) J. Chen, R. Watanabe, K. Nonaka, T. Konno, H. Sankoh, S. Naito, "A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019), WeAT17.2, (2019). Qiang Yao, Hiroshi Sankoh, Nonaka Keisuke, Sei Naito. "Automatic camera self-calibration for immersive navigation of free viewpoint sports video," 2016 IEEE 18th International Workshop on Multimedia Signal Processing (MMSP), 1-6, 2016. C. Stauffer and W. E. L. Grimson, "Adaptive background mixture models for real-time tracking," 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 246-252 Vol. 2 (1999).

自由視点映像の制作ではカメラの配置が重要となる。例えば、大きく被写体に寄ったカメラがある場合には引きカメラの画角をスタートに当該寄りカメラをゴールとするようなカメラワークを作ることで、徐々に被写体に近付いていくようなワークを高い鮮明度を持ったテクスチャで実現することが可能である。

カメラが被写体に近ければ近いほど鮮明なテクスチャが得られる一方、カメラが被写体に近づくほどカメラに映りこむスタジアム上の領域が小さくなってしまう。特に、特定のカメラだけが大きく被写体に近づいているようなケースでは、寄りカメラの画角範囲外にある被写体が3Dモデル形成されずに消失してしまう。

図12は、全てのカメラが引きカメラの場合[同図(a)]と寄りカメラを一つ含む場合[同図(b)]との積集合の形成される範囲を比較した図であり、同図(b)では同図(a)に比べて積集合の範囲が小さくなり、寄りカメラの画角範囲外にある被写体の3Dモデルが形成されずに消失し得ることが解る。

このような技術課題は、カメラがN台ある環境でN-1台から見えている部分は3Dモデル化するなど、3Dモデル生成に関するカメラ台数の閾値を変更することで解決できる。しかしながら、台数を少なくするほど本来被写体ではないところが3Dモデル化されてしまうというノイズの増加が問題となるため、安易に閾値を変更すると品質の悪化に繋がる可能性がある。

また、上記のカメラ台数の閾値を制御することで3Dモデルが生成されたとしても、寄りカメラに写っている被写体は寄りカメラから、引きカメラにしか映っていない被写体は引きカメラから、それぞれマッピングするようなレンダリングプロセスが必要になる。加えて、寄りカメラと引きカメラとの画角境界に存在する被写体では、図13に示したように、各カメラの解像度の差やマッピングするカメラの違いが原因で画角境界に切れ目がはっきりと目立ってしまい、視聴品質に違和感が生まれるという課題があった。

本発明の目的は、引きカメラと寄りカメラとが混在する環境で3Dモデルを制作し、さらに仮想視点映像を生成するにあたり、画角範囲外に関して寄りカメラは被写体が存在するものとして扱う一方、引きカメラは被写体が存在しないものとして処理することで、寄りカメラの画角範囲外の3Dモデルを消失させない3Dモデル生成装置ならびに自由視点映像生成装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、被写体を複数の視点で撮影したカメラ映像に基づいて3Dモデルを生成する3Dモデル生成装置において、以下の構成を具備した。

(1) 各カメラを寄りカメラまたは引きカメラに分類する手段と、寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成する手段とを具備し、前記3Dモデルを生成する手段は、寄りカメラの画角範囲外に被写体が存在するとみなすようにした。

また、本発明は被写体を複数の視点で撮影したカメラ映像に基づいて仮想視点映像を生成する仮想視点映像生成装置において、以下の構成を具備した。

(2) 各カメラを寄りカメラまたは引きカメラに分類する手段と、寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成する手段と、前記3Dモデルに各カメラ映像のテクスチャをマッピングして仮想視点映像を合成する手段とを具備し、前記3Dモデルを生成する手段は、寄りカメラの画角範囲外に被写体が存在するとみなすようにした。

(3) 被写体の各3Dモデルが寄りカメラの画角境界上に存在するか否かを判定する手段をさらに具備し、画角境界上に存在する3Dモデルに対しては、寄りカメラの画角内を含めて引きカメラのカメラ映像からテクスチャマッピングを行うようにした。

(1) 本発明の3Dモデル生成装置は、寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成する際に、寄りカメラの画角範囲外に被写体が存在するとみなすようにしたので、引きカメラの画角内であって寄りカメラの画角外に存在する被写体3Dモデルの喪失を防止できるようになる。

(2) 本発明の仮想視点映像生成装置は、寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成する際に、寄りカメラの画角範囲外に被写体が存在するとようにしたので、引きカメラの画角内であって寄りカメラの画角外に存在する被写体の仮想視点映像が合成されなくなることを防止できるようになる。

(3) 本発明の仮想視点映像生成装置は、寄りカメラの画角境界上に存在する3Dモデルに対しては、寄りカメラの画角内を含めて引きカメラのカメラ映像からテクスチャマッピングを行うようにしたので、一つの3Dモデルに寄りカメラおよび引きカメラの双方からテクスチャがマッピングされることで生じ得る品質低下を防止できるようになる。

本発明の第1実施形態に係る3Dモデル生成装置の機能ブロック図である。 引きカメラと寄りカメラとで画角範囲外に参照が発生した場合の取り扱いを異ならせる例を示した図である。 本発明の第2実施形態に係る3Dモデル生成装置の機能ブロック図である。 カメラパラメータの例を示した図である。 本発明の第3実施形態に係る仮想視点映像生成装置の機能ブロック図である。 3Dモデルをバウンディングボックスにより被写体ごとに分割する例を示した図である。 各3Dモデルへのテクスチャマッピングを画角に応じたカメラ映像から行う方法を示した図である。 本発明の第4実施形態に係る仮想視点映像生成装置の機能ブロック図である。 本発明の第5実施形態に係る仮想視点映像生成装置の機能ブロック図である。 オクルージョン情報を境界判定の結果に基づいて書き替える例を示した図である。 視体積交差法による3Dモデルの生成方法を示した図である。 寄りカメラの画角範囲外にある被写体が3Dモデル形成されずに消失される例を示した図である。 一つの3Dモデルに対して寄りカメラおよび引きカメラからテクスチャがマッピングされることで映像品質が低下する例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る3Dモデル制作サーバ10の主要部の構成を示した機能ブロック図であり、ここではスポーツシーンをN台のカメラCam1～CamNで撮影し、その一部が寄りカメラ、残りが引きカメラである場合を例にして説明する。

シルエット画像取得部101は、寄りカメラおよび引きカメラの各カメラ映像から視体積交差法による3Dモデル生成に用いるシルエット画像をシルエット画像データベース30から取得する。視体積交差法により3Dモデルを生成するためには3台以上のカメラからシルエット画像を取得することが望ましい。シルエット画像は3Dモデルを生成する被写体領域を白（=1）、それ以外の領域を黒（=0）で表した2値のマスク画像の形式で与えられる。このようなシルエット画像の生成には、非特許文献5に開示された背景差分法に代表される任意の既存手法を利用できる。

3Dモデル生成部102は、シルエット画像取得部101が取得したシルエット画像および別途に与えられるカメラ分類情報に基づいて、N枚のシルエット画像を用いた視体積交差法により被写体の3Dボクセルモデルを計算する。ここで、カメラ分類情報とは各カメラが寄りカメラおよび引きカメラのいずれであるかを識別する情報である。

視体積交差法は、N枚のシルエット画像を3次元ワールド座標に投影した際の視錐体の共通部分を視体積（Visual Hull）VH(I)として獲得するものであり、次式(1)で示される。ここで、集合Iは各カメラのシルエット画像の集合であり、Viはi番目のカメラから得られるシルエット画像から計算される視錐体である。

視体積交差法では、各カメラから得られるシルエット画像を同等に扱うことが通常であるが、本実施形態ではカメラ分類情報に基づいて、寄りカメラのシルエット画像と引きカメラのシルエット画像との扱いを異ならせている。

具体的には図2に示すように、3D空間に配置した各ボクセルグリッドをモデル化するか否かを各シルエット画像の対応画素を参照して判定する際、画角範囲外（ボクセルグリッドがカメラに映っていない領域）に参照が発生すると、引きカメラの場合は被写体が存在しない（シルエット画像上は黒）とみなす一方、寄りカメラの場合は被写体が存在する（シルエット画像上は白）とみなすことで、寄りカメラの画角範囲外について引きカメラでの参照結果に応じてモデル化の余地を残すようにしている。

なお、本実施形態によれば寄りカメラの画角範囲外に被写体が実際に存在するか否かを問わず、被写体が存在するとみなすが、被写体が実際には存在しない領域については、引きカメラでの参照結果が否定となるので、被写体が実際に存在していたボクセルグリッドのみがモデル化される。したがって、寄りカメラと引きカメラとが混在する環境下でも被写体の正確な3Dモデル生成が可能となる。

こうして生成されたボクセルモデルは、ボクセルのままで扱われてもよいが、マーチンキューブ法などに基づいてポリゴンモデルに変換されてもよい。ここではポリゴンモデルに変換されるものとして説明を続ける。

なお、上記の第1実施形態ではカメラ分類情報が別途に与えられるものとして説明したが、本発明はこれのみに限定されるものではなく、図3に示した第2実施形態のように、カメラパラメータに基づいてカメラ分類情報を出力するカメラ分類部103を設け、ズーム操作等により変化する焦点距離に応じて適応的に分類結果が変化するようにしても良い。

カメラ分類部103は、次式(2)で与えられるカメラパラメータを利用することでN台のカメラを寄りカメラまたは引きカメラに自動で分類する。

カメラパラメータは、ワールド座標上の点(X, Y, Z)をカメラ映像上の2Dの点(u, v)に変換するために用いられ、r₁₁～r₃₃はカメラの向きを示す回転行列、t₁～t₃はカメラの位置を表す並進行列であり、二つを合わせてカメラの外部パラメータと呼ばれる。

f_x，f_yはズーム具合を示すピクセル単位の焦点距離、c_x，c_yは画像の主点であり、通常は画像中心となることが多い。この焦点距離や主点などのパラメータはカメラの内部パラメータと呼ばれる（歪補正に関するパラメータを含むことも多いが、ここでは簡単のため省略する）。

sは[u, v, 1]とするためのスケーリングに用いる変数である。このカメラパラメータは事前に非特許文献4が開示する技術を使って計算できる。実際に入力されるカメラパラメータの例を図4に示す。

ここで、f_x，f_yはズーム具合を示すピクセル単位の焦点距離であるから、この値が大きいカメラは大きくズームされている可能性が高い。よって、カメラ分類部103はf_xおよびf_yをチェックすることで自動的に寄りカメラを分類できる。

寄りカメラへの分類数は1台に限定されず、f_x，f_yが一定の値より大きい数台（≦N台）のカメラを全て寄りカメラへ分類しても良いし、f_x，f_yが大きい方からM台（≦N台）を寄りカメラに分類しても良い。さらに、f_x，f_yが大きい方から優先的に全カメラ台数のL%（Lは0～100の任意の定数）のカメラを寄りカメラに分類しても良い。さらにはf_x，f_yではなく外部パラメータから計算されるカメラの位置に基づいて分類が行われるようにしても良い。

あるいは、前のフレームで制作した被写体3Dモデルや、事前に用意されたゴールポストなどの汎用3Dモデルが各カメラに映りこむサイズを計測することで各カメラを分類しても良い。例えば、寄りカメラを含めた全カメラが捉える領域に、事前に用意された3Dモデルを配置し、この3Dモデルをカメラ方向に逆投影したときに現れるシルエットの大きさに基づいて分類することができる。

なお、仮想視点映像の制作中にカメラの故障などが原因でカメラ台数が大幅に変わってしまうと、例えば引きカメラの台数が極端に少なくなり、ほとんどのカメラが寄りカメラとなってしまう可能性がある。このような場合、本実施形態では寄りカメラの画角範囲外のシルエットは全て被写体があるとみなすことから、寄りカメラの画角の外側の領域に、本来モデル化されるべきではない3Dモデルが生成されてしまう可能性がある。

このような事態を避けるためには、寄りカメラの台数あるいは全体のカメラに占める寄りカメラの比率が高くなった場合には、3Dモデル生成部102の「寄りカメラのシルエット画像の画角範囲外には被写体が存在するものとみなす」という機能を不動化し、従来技術と同様に画角範囲外には被写体が存在しないものとして処理するようにしても良い。

本実施形態によれば、寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成する際に、寄りカメラの画角範囲外に被写体が存在するとみなすようにしたので、引きカメラの画角内であって寄りカメラの画角外に存在する被写体3Dモデルの喪失を防止できるようになる。

図5は、本発明の第3実施形態に係る仮想視点映像生成装置1の主要部の構成を示した機能ブロック図であり、3Dモデル制作サーバ10およびレンダリングサーバ20を主要な構成としている。

3Dモデル制作サーバ10は、第1または第2実施形態と同様にシルエット画像取得部101、3Dモデル生成部102およびカメラ分類部103を含み、寄りカメラの画角範囲外に被写体が実際に存在するか否かを問わず、被写体が存在するとみなし、そのシルエット画像の画角範囲外を被写体が存在する白色として扱って3Dモデルを生成する。

境界判定部104は、3Dモデル生成部102が生成した3Dモデルが寄りカメラの画角境界上に存在するか否かを判定する。本実施形態では、図6に示したように独立した各3Dモデルの塊を内包する3Dバウンディングボックスを定義し、当該3Dバウンディングボックス単位で3Dモデルが画角境界上に存在するか否かを判定する。

3Dバウンディングボックスを対象とした判定では、その8頂点全てが寄りカメラの画角範囲内あるいは8頂点全てが寄りカメラの画角範囲外であれば、当該3Dバウンディングボックスは画角境界上に存在しないと判定する。バウンディングボックス単位での判定によれば8頂点のチェックで済むため非常に高速な判定が可能になる。

一方、3Dバウンディングボックスは3Dモデルの形状と厳密には同一ではない。このため内包された3Dモデルは寄りカメラの画角内に収まっているにも関わらず3Dバウンディングボックスの頂点だけが寄りカメラの画角外に漏れていると境界判定にミスが発生し得る。

精度面を考慮すれば3Dバウンディングボックス単位ではなく、3Dバウンディングボックスに内包されているボクセルモデルを使って判定することが望ましい。例えば、ボクセルモデル内の全てのボクセルの中心点を寄りカメラ方向に逆投影し、寄りカメラの画角内に収まる中心点と収まらない中心点とが存在すれば、この被写体は境界領域に存在するものとして判定を行う。境界判定の結果は、寄りカメラが複数台であれば被写体数×寄りカメラ数だけ計算されてもよい。

レンダリングサーバ20は、3Dモデル制作サーバ10が制作した被写体3Dモデルの形状情報と各カメラ映像（テクスチャ）とを用いて仮想視点から見た合成映像をレンダリングする。本実施例では、フルモデルでの自由視点レンダリングを行う。

なお、レンダリングサーバ20は3Dモデル制作サーバ10と同一の計算機上に構成されても良いし、別々のサーバで構成しても良い。一般に、3Dモデルは特定のフレームに対して1回計算されればよいのでハイエンドなPCなどで高速に計算を行って保存しておき、この3Dモデルを、レンダリング機能を備えた仮想視点視聴端末に配信するように構成することで、ハイエンドなPC1台と低スペック端末も含む多端末への映像配信を実現することができる。

レンダリングサーバ20において、仮想視点選択部201は、作業者による視点選択操作を検知して仮想視点p_vの位置および向きを取得する。境界依存マッピング部202は、仮想視点p_vおよび境界判定の結果に基づいて、3Dモデルの各ポリゴンへ各カメラ映像からテクスチャをマッピングする。仮想視点映像出力部203は、レンダリングされた合成映像を仮想視点映像として出力する。

図7は、境界依存マッピング部202によるテクスチャのマッピング方法を模式的に示した図である。画角境界を跨がずに寄りカメラの画角内に収まっていると判定された3Dモデルに対しては、寄りカメラのカメラ映像から抽出したテクスチャのみがマッピングされる。また、画角境界を跨がずに引きカメラの画角内に収まっていると判定された3Dモデルに対しては、引きカメラのカメラ映像から抽出したテクスチャのみがマッピングされる。

なお、画角境界を跨がずに引きカメラの画角内に収まっていると判定された3Dモデルのうち寄りカメラの画角内にも収まっている3Dモデルに対しては、寄りカメラのみからテクスチャがマッピングされるようにしても良い。

これに対して、寄りカメラの画角境界上にあると判定された3Dモデルに対しては、寄りカメラの画角内に収まっている領域も含めて引きカメラのカメラ映像から抽出したテクスチャのみがマッピングされる。これにより画角境界上の3Dモデルに対して、寄りカメラおよび引きカメラの双方のテクスチャがマッピングされることにより生じ得る映像品質の劣化を防止できるようになる。

図8は、本発明の第4実施形態に係る仮想視点映像生成装置1の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、3Dモデル生成部102が低解像ボクセルモデル生成部102aおよび高解像ボクセルモデル生成部102bを具備し、低解像ボクセルモデルに基づいて境界判定が行われるようにした点に特徴がある。

低解像ボクセルモデル生成部102aは、単位ボクセルサイズがMの粗いボクセルグリッドを対象にボクセルモデルを生成する。単位ボクセルサイズMは高解像ボクセル生成部102bにおける単位ボクセルサイズLよりも大きな値であり、例えばM=5cmなどに設定される。本実施形態では、3Dモデル生成の対象範囲（例えば、スポーツ映像なら当該スポーツが行われるフィールド等）に単位ボクセルサイズMでボクセルグリッドを配置しておき、このボクセルグリッドを対象に3Dモデルを形成するか否かを視体積交差法に基づき判定する。

次いで、形成された粗いボクセルモデルを対象に、連結しているボクセルは同一の被写体であるとみなす作業を繰り返すことで粗いボクセルモデルの塊ごとにラベリング処理が行われる。

次いで、こうして得られた塊に対して、それを内包するような形で3Dバウンディングボックスを定義し、この3Dバウンディングボックスの内部のみに単位ボクセルサイズLのボクセルグリッドを生成し、上記と同様にして細かいボクセル生成を行う。このような2段階のボクセル生成手法は非特許文献3に開示されている。前記境界判定部104は、低解像度ボクセルモデル生成部102aが生成した3Dバウンディングボックス単位で境界判定を行う。
このように、低解像度ボクセルモデルの時点で判定を行うようにすれば、高解像度ボクセルモデル生成の結果を待たずに並列して境界判定を行うことができるため、高速に処理を動作させることができる。ただし、本発明は高解像度ボクセルモデルに基づいて境界判定を行うことを妨げるものはない。このように、高解像度ボクセルモデルを用いて境界判定を行えば、低解像度ボクセルモデルを用いる場合よりも精緻なモデル形状が得られることから、境界判定をより正確に実施できるようになる。

図9は、本発明の第5実施形態に係る仮想視点映像生成装置1の主要部の構成を示した機能ブロック図であり、第4実施形態と同一の符号は同一または同等部分を表しているので、その説明は省略する。

本実施形態は、3Dモデル制作サーバ10がオクルージョン情報生成部105を具備し、前記境界判定部104による判定結果に基づいてオクルージョン情報を書き替え、レンダリングサーバ20の境界依存マッピング部202が書き替え後のオクルージョン情報に基づいてテクスチャをマッピングを行うようにした点に特徴がある。

オクルージョン情報生成部105は、3Dモデルの各頂点を可視のカメラと不可視のカメラとに分別するオクルージョン情報を生成する。本実施形態のようにN台のカメラが存在する環境では、3Dモデルの頂点ごとにN個のオクルージョン情報が計算され、可視のカメラには「1」、不可視のカメラには「0」などの情報が記録される。

サッカーの競技シーンで選手が二人重なり、あるカメラ映像において選手Aが選手Bを覆い隠す場合、選手Bの3Dモデルに選手Aのテクスチャが映り込まないようにテクスチャをマッピングする必要がある。このような場合、選手Bの3Dモデルの遮蔽される部分の頂点に関しては、当該カメラに関するオクルージョン情報が「不可視」として記録されている。このオクルージョン情報は、例えば特許文献1のようなデプスマップを用いた手法等を用いて計算される。

前記境界依存マッピング部202は、境界判別の結果に応じて仮想視点近傍の2台のカメラ（c_1, c_2）を選択し、これらのカメラ映像を3Dモデルのポリゴンgにマッピングする。すなわち、マッピング対象の3Dモデルが画角境界上になく、その全てが寄りカメラの画角内に収まっていれば、寄りカメラを対象に仮想視点近傍の2台のカメラが選択される。これに対して、マッピング対象の3Dモデルが画角境界上にあるか、あるいはその全てが引きカメラの画角内に収まっていれば、引きカメラを対象に仮想視点近傍の2台のカメラが選択される。

なお、本実施形態ではその前処理として、あるポリゴンgを構成する3頂点のオクルージョン情報を用いて当該ポリゴンの可視判定を行う（3頂点は3Dモデルが三角ポリゴンで形成される場合であり、実際にはそれぞれのポリゴンを構成する頂点数に依存する）。

例えば、カメラc_1に対するポリゴンgの可視判定フラグをg_(c_1 )と表現する場合、ポリゴンgを構成する3頂点すべてが可視であればg_(c_1 )は可視、3頂点のうちいずれかでも不可視であればg_(c_1 )は不可視と設定する。本実施形態では、このようなカメラごとのポリゴンの可視判定の結果に応じて、以下のようにテクスチャマッピングを行う。

ケース1：ポリゴンgに関するカメラc₁，c₂の可視判定フラグg_c1，g_c2がいずれも「可視」の場合
次式(3)に基づいてアルファブレンドによるマッピングを行う。

ここで、texture_c1(g)，texture_c2(g)はポリゴンgがカメラc₁，c₂において対応するカメラ映像領域を示し、texture(g)は当該ポリゴンにマッピングされるテクスチャを示す。アルファブレンドの比率aは仮想視点p_vと各カメラ位置p_(c_1 ), p_(c_2 )との距離（アングル）の比に応じて算出される。

ケース2：可視判定フラグg_c1，g_c2の一方のみが可視の場合
ポリゴンgを可視であるカメラのテクスチャのみを用いてレンダリングを行う。すなわち上式(3)において、可視であるカメラのtexture_(c_i )に対応する比率aの値を1とする。あるいは仮想視点p_vからみて次に近い第3のカメラc_3を不可視である一方のカメラの代わりに参照し、ケース1の場合と同様に上式(3)に基づくアルファブレンドによりマッピングを行う。

ケース3：可視判定フラグg_c1，g_c2のいずれもが不可視の場合
仮想視点p_v近傍（一般には、アングルが近いもの）の他のカメラを選択することを、少なくとも一方の可視判定フラグが可視となるまで繰り返し、各カメラ映像の参照画素位置のテクスチャを、ケース1の場合と同様に上式(3)に基づくアルファブレンドによりポリゴンgにマッピングする。

なお、上記の実施形態では初期参照する近傍カメラ台数を2台としているが、ユーザ設定により変更してもよい。その際は、初期参照カメラ台数bに応じて、上式(1)はb台のカメラの線形和（重みの総和が1）とする拡張が行われる。また、すべてのカメラにおいて不可視となったポリゴンについてはテクスチャをマッピングしない。

本実施形態では、前記境界依存マッピング部202がオクルージョン情報を参照するのみで、オクルージョンおよび境界条件に基づいて適正なカメラ映像からテクスチャをマッピングできるように、オクルージョン情報が前記境界判定部104の判定結果に応じて書き替えられるようにしている。

図10は、オクルージョン情報の書き換え例を示した図であり、ここでは寄りカメラの可視／不可視（遮蔽）が最下位ビットに割り当てられており、境界上に位置する3Dモデルを構成する各ポリゴンについては、各頂点が可視／不可視（遮蔽）のいずれであるかを問わず、常に遮蔽状態を示す「0」に書き換えられる。

1…仮想視点映像生成装置，10…3Dモデル制作サーバ，20…レンダリングサーバ，101…シルエット画像取得部，102…3Dモデル生成部，102a…低解像ボクセルモデル生成部，102b…高解像ボクセルモデル生成部，103…カメラ分類部，104…境界判定部，105…オクルージョン情報生成部，201…仮想視点選択部，202…境界依存マッピング部，203…仮想視点映像出力部

Claims (15)

1. 被写体を複数の視点で撮影したカメラ映像に基づいて3Dモデルを生成する3Dモデル生成装置において、
   各カメラを寄りカメラまたは引きカメラに分類する手段と、
   寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成する手段とを具備し、
   前記3Dモデルを生成する手段は、寄りカメラの画角範囲外に被写体が存在するとみなすことを特徴とする3Dモデル生成装置。
2. 前記寄りカメラおよび引きカメラのカメラ映像からシルエット画像を生成する手段を具備し、
   前記3Dモデルを生成する手段は、寄りカメラの画角範囲外に被写体のシルエットが存在するとみなしてボクセルモデルを構築することを特徴とする請求項１に記載の3Dモデル生成装置。
3. 前記分類する手段は、各カメラをカメラパラメータに基づいて寄りカメラまたは引きカメラに分類することを特徴とする請求項１または２に記載の3Dモデル生成装置。
4. 被写体を複数の視点で撮影したカメラ映像に基づいて仮想視点映像を生成する仮想視点映像生成装置において、
   各カメラを寄りカメラまたは引きカメラに分類する手段と、
   寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成する手段と、
   前記3Dモデルに各カメラ映像のテクスチャをマッピングして仮想視点映像を合成する手段とを具備し、
   前記3Dモデルを生成する手段は、寄りカメラの画角範囲外に被写体が存在するとみなすことを特徴とする仮想視点映像生成装置。
5. 前記寄りカメラおよび引きカメラの各カメラ映像からシルエット画像を生成する手段を具備し、
   前記3Dモデルを生成する手段は、寄りカメラの画角範囲外に被写体のシルエットが存在するとみなしてボクセルモデルを構築することを特徴とする請求項４に記載の仮想視点映像生成装置。
6. 前記分類する手段は、各カメラをカメラパラメータに基づいて寄りカメラまたは引きカメラに分類することを特徴とする請求項４または５に記載の仮想視点映像生成装置。
7. 被写体の各3Dモデルが寄りカメラの画角境界上に存在するか否かを判定する手段をさらに具備し、
   画角境界上に存在する3Dモデルに対しては、寄りカメラの画角内を含めて引きカメラのカメラ映像からテクスチャマッピングを行うことを特徴とする請求項４ないし６のいずれかに記載の仮想視点映像生成装置。
8. 前記判定する手段は、各3Dモデルを内包する3Dバウンディングボックスが寄りカメラの画角境界上に存在するか否かを判定することを特徴とする請求項７に記載の仮想視点映像生成装置。
9. 前記3Dモデルを生成する手段は、
   被写体のシルエットに基づいて低解像ボクセルモデルを構築する手段と、
   被写体のシルエットに基づいて低解像ボクセルモデルの領域に高解像ボクセルモデルを構築する手段とを具備し、
   前記判定する手段は、3Dモデルごとに、その低解像ボクセルモデルが寄りカメラの画角境界上に存在するか否かを判定することを特徴とする請求項４ないし８のいずれかに記載の仮想視点映像生成装置。
10. 前記3Dモデルを生成する手段は、各低解像ボクセルモデルを内包する3Dバウンディングボックスが寄りカメラの画角境界上に存在するか否かを判定することを特徴とする請求項９に記載の仮想視点映像生成装置。
11. 前記3Dモデルがポリゴンモデルであり、
    各3Dモデルの各ポリゴンが各カメラから可視／不可視のいずれであるかを記録したオクルージョン情報を生成する手段を具備し、
    前記仮想視点映像を合成する手段は、各ポリゴンに当該ポリゴンが可視のカメラからテクスチャをマッピングし、
    前記画角境界上に存在する3Dモデルのポリゴンに関する寄りカメラのオクルージョン情報を不可視に書き替えることを特徴とする請求項４ないし１０のいずれかに記載の仮想視点映像生成装置。
12. コンピュータが、被写体を複数の視点で撮影したカメラ映像に基づいて仮想視点映像を生成する仮想視点映像生成方法において、
    各カメラを寄りカメラまたは引きカメラに分類し、
    寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成し、
    前記3Dモデルに各カメラ映像のテクスチャをマッピングして仮想視点映像を合成し、
    前記3Dモデルを生成する際は、寄りカメラの画角範囲外に被写体が存在するとみなすことを特徴とする仮想視点映像生成方法。
13. 被写体の各3Dモデルが寄りカメラの画角境界上に存在するか否かを判定し、
    画角境界上に存在する3Dモデルに対しては、寄りカメラの画角内を含めて引きカメラのカメラ映像からテクスチャマッピングを行うことを特徴とする請求項１２に記載の仮想視点映像生成方法。
14. 被写体を複数の視点で撮影したカメラ映像に基づいて仮想視点映像を生成する仮想視点映像生成プログラムにおいて、
    各カメラを寄りカメラまたは引きカメラに分類する手順と、
    寄りカメラおよび引きカメラのカメラ映像に基づく視体積交差法により被写体の3Dモデルを生成する手順と、
    前記3Dモデルに各カメラ映像のテクスチャをマッピングして仮想視点映像を合成する手順とをコンピュータに実行させ、
    前記3Dモデルを生成する手順では、寄りカメラの画角範囲外に被写体が存在するとみなすことを特徴とする仮想視点映像生成プログラム。
15. 被写体の各3Dモデルが寄りカメラの画角境界上に存在するか否かを判定する手順をさらに含み、
    画角境界上に存在する3Dモデルに対しては、寄りカメラの画角内を含めて引きカメラのカメラ映像からテクスチャマッピングを行うことを特徴とする請求項１４に記載の仮想視点映像生成プログラム。

Images