JP4464773B2 - ３次元モデル表示装置及び３次元モデル表示プログラム - Google Patents

Description

本発明は、３次元モデル表示装置及び３次元モデル表示プログラムに係り、特に、高精細にテクスチャマッピングされた３次元モデルを表示するための３次元モデル表示装置及び３次元モデル表示プログラムに関する。

従来、画面に表示される３次元モデルの描画については、予め立体形状からなる対象物（実体）を複数の撮影点から撮影し、撮影した画像を用いて３次元モデルの表面にテクスチャマッピングすることにより３次元モデルを描画する。この手法は、一般的には人間が目視の判断に基づいて、対象物を複数の撮影点で撮影した画像を３次元モデルの表面に貼り付ける手法が用いられる。

なお、適切なテクスチャデータを複数の画像から自動的に選択するため、３次元モデル表面を構成する面の法線ベクトルと、予め対象物を撮影した複数の画像の撮影点の視線方向のベクトルとを比較し、撮影点の光軸ベクトルが面の表面ベクトルに対して平行に近い撮影点から撮影した画像のテクスチャをモデル表面の面に貼り付ける手法が提案されている（例えば、特許文献１参照）。

また、予め３次元モデル表面に特定のカメラ画像（例えば、顔・服の模様等の被写体において特徴的な領域が最も良く写っている画像等）からテクスチャを与える手法（視点独立型テクスチャマッピング）も提案されている（例えば、非特許文献１参照。）。
特開平９−１３４４４９号公報 冨山，片山，岩舘，"多視点画像を用いた高精細３次元モデルの高速生成手法，"、ＭＩＲＵ２００４，Ｖｏｌ．II，ＰＰ．８５−９０，Ｊｕｌ．２００４．

しかしながら、上述した一般的なテクスチャマッピング手法は、３次元モデル表面の各頂点及び各面へマッピングするテクスチャ画像の選択や位置合わせを人間の判断と手作業で行っているため、多くの制作時間やコストが必要になる。

また、上述の特許文献１に記載されている３次元モデル表面の各頂点及び各面へマッピングするテクスチャ画像を選択する手法は、３次元モデルを表示する視点の３次元位置又は視点方向によっては必ずしも適切なテクスチャ画像が選択されず、どのような状況においても高画質な３次元モデルを表示できるとは限らない。

また、非特許文献１に記載されている視点独立型テクスチャマッピング手法は、
一度モデル表面に固有のテクスチャを与えてしまえば、それを基に３次元動オブジェクトを表示することができる。しかしながら、テクスチャ画像を与えたカメラ視点と異なる任意の視点から表示した際にテクスチャ境界やテクスチャのずれが生じる恐れがある。

そこで、テクスチャマッピングの手法としては、表示視点に近い撮影点から撮影した画像をテクスチャ画像として、このテクスチャ画像により３次元モデル表面にマッピングする視点依存型テクスチャマッピングが好ましいが、例えば表示視点からは可視（Ｖｉｓｉｂｌｅ）であるが、テクスチャ画像からは不可視（Ｏｃｃｌｕｓｉｏｎ）であるような場合に、３次元モデルの表面に誤ったテクスチャ画像がマッピングされ、部分的に対象物とは異なる３次元モデルが表示されてしまったり、画質の劣化した３次元モデルが表示されてしまう恐れがある。

本発明は、上述した問題点に鑑みなされたものであり、高精細にテクスチャマッピングされた３次元モデルを表示するための３次元モデル表示装置及び３次元モデル表示プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、立体形状である対象物の３次元モデルにテクスチャマッピングして表示する３次元モデル表示装置において、複数の撮影点から撮影されたテクスチャ画像の各撮影点における３次元位置及び視線方向と、前記３次元モデルが表示される表示視点の３次元位置及び視線方向とに基づいて、前記テクスチャ画像の優先順位を付与し出力するテクスチャ画像を選択するテクスチャ画像選択手段と、前記テクスチャ画像選択手段により得られるテクスチャ画像の優先順位と、前記撮影点からの可視領域情報とに基づいて、前記３次元モデルにテクスチャマッピングを行うテクスチャマッピング手段と、前記テクスチャマッピング手段により得られる３次元モデルを表示する表示出力手段とを有し、前記テクスチャ画像選択手段は、前記３次元モデルにおける重心の３次元位置及び前記表示視点の３次元位置から得られる視線ベクトルと、前記重心の３次元位置及び前記複数の撮影点の３次元位置から得られる撮影ベクトルとの内積の小さい順にテクスチャ画像の優先順位を付与することを特徴とする。

請求項１記載の発明によれば、対象物を撮影した複数の撮影点の３次元位置及び視線方向と、３次元モデルを表示する際の表示視点の３次元位置及び視線方向を比較し、テクスチャ画像に優先順位を付与して出力することで、高精細にテクスチャマッピングされた３次元モデルを表示することができる。また、適切なテクスチャ画像を選択することができる。

請求項２に記載された発明は、前記テクスチャ画像選択手段は、前記優先順位の高いテクスチャ画像から順に１又は複数のテクスチャ画像を選択することを特徴とする。

請求項２記載の発明によれば、優先順位を付与することで、必要なテクスチャ画像のみを選択して出力することができる。これにより、処理効率を向上させることができる。また、３次元モデルに対して高精細なテクスチャマッピングを行うことができる。

請求項３に記載された発明は、前記テクスチャマッピング手段は、前記３次元モデルに対する可視部分の表面頂点又は面について、テクスチャマッピングされていない可視部分のマッピングを行うことを特徴とする。

請求項３記載の発明によれば、撮影点からの可視部分のみのテクスチャマッピングを行うことで、高精細な３次元モデルを表示することができる。また、既にテクスチャマッピングされている部分には、テクスチャマッピングを行わないため、効率的に高精細なテクスチャマッピングを実現することができる。

請求項４に記載された発明は、前記テクスチャマッピング手段により、マッピングされた３次元モデルにおいて、テクスチャ画像が存在せずマッピングされていない領域が存在する場合、前記領域の周囲にマッピングされているテクスチャ画像情報及び／又は前記領域の部分情報に基づいて前記領域に画像情報を内挿する内挿手段を有し、前記表示出力手段は、前記内挿手段により得られる３次元モデルを表示することを特徴とする。

請求項４記載の発明によれば、テクスチャ画像が存在せずマッピングされていない領域に画像情報を内挿することで、どの表示視点においても描画された３次元モデルを表示することができる。

請求項５に記載された発明は、前記テスクチャ画像選択手段は、所定時間が経過した場合、又は前記表示視点の位置が所定の距離分移動した場合に、前記テクスチャ画像を再選択することを特徴とする。

請求項５記載の発明によれば、時間経過や３次元モデルの表示視点の移動に追従して、テクスチャ画像を再選択し、再選択されたテクスチャ画像を利用してテクスチャマッピングを再実行することで、時間経過により表示視点が移動した際もその時刻での表示視点において高精細にテクスチャがマッピングされた３次元モデルを表示することができる。

請求項６に記載された発明は、前記テスクチャ画像選択手段は、前記対象物が所定の距離分移動した場合に、前記テクスチャ画像を再選択することを特徴とする。

請求項６記載の発明によれば、人間や動物等の動く対象物の３次元モデルを動画表示する場合にも高精細にテクスチャマッピングされた３次元モデルを表示することができる。

請求項７に記載された発明は、前記テクスチャ画像選択手段は、前記表示視点と前記３次元モデルとが相対的に所定の距離分移動した場合に、前記テクスチャ画像を再選択することを特徴とする。

請求項７記載の発明によれば、表示視点と３次元モデルとが相対的に移動した場合にのみテクスチャ画像を再選択し、再選択されたテクスチャ画像を利用してテクスチャマッピングを再実行することになるため、効率的にテクスチャマッピングされた３次元モデルを表示することができる。

請求項８に記載された発明は、立体形状である対象物の３次元モデルにテクスチャマッピングして表示する処理をコンピュータに実行させるための３次元モデル表示プログラムにおいて、前記コンピュータを、複数の撮影点から撮影されたテクスチャ画像の各撮影点における３次元位置及び視線方向と、前記３次元モデルが表示される表示視点の３次元位置及び視線方向とに基づいて、前記テクスチャ画像の優先順位を付与し出力するテクスチャ画像を選択するテクスチャ画像選択手段、前記テクスチャ画像選択手段により得られるテクスチャ画像の優先順位と、前記撮影点からの可視領域情報とに基づいて、前記３次元モデルにテクスチャマッピングを行うテクスチャマッピング手段、及び、前記テクスチャマッピング手段により得られる３次元モデルを表示する表示出力手段として機能させ、前記テクスチャ画像選択手段は、前記３次元モデルにおける重心の３次元位置及び前記表示視点の３次元位置から得られる視線ベクトルと、前記重心の３次元位置及び前記複数の撮影点の３次元位置から得られる撮影ベクトルとの内積の小さい順にテクスチャ画像の優先順位を付与することを特徴とする。

請求項８記載の発明によれば、対象物を撮影した複数の撮影点の３次元位置及び視線方向と、３次元モデルを表示する際の表示視点の３次元位置及び視線方向を比較し、テクスチャ画像に優先順位を付与して出力することで、高精細にテクスチャマッピングされた３次元モデルを表示することができる。また、適切なテクスチャ画像を選択することができる。また、特別な装置構成を必要とせず、低コストで３次元モデル表示処理を実現することができる。更に、プログラムをインストールすることにより、容易に３次元モデル表示処理を実現することができる。

本発明によれば、高精細にテクスチャ画像がマッピングされた３次元モデルを表示することができる。

＜本発明の概要＞
本発明は、３次元モデルの表示視点及びテクスチャ画像を撮影した撮影点の３次元位置又は視線方向を利用して、３次元モデル表面の各部分へマッピングするテクスチャ画像を選択し、３次元モデル表面に高精細なテクスチャマッピングを実現する。

以下に、本発明における３次元モデル表示装置及び３次元モデル表示プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

＜実施形態＞
図１は、３次元モデル表示システムの第１の実施形態の概要構成例を示す図である。図１に示す３次元モデル表示システム１０は、撮像装置としてのカメラ１１−１〜１１−ｎと、可視領域抽出装置１２と、３次元モデル表示装置１３とを有するよう構成されている。また、３次元モデル表示装置１３は、テクスチャ画像選択手段１４と、テクスチャマッピング手段１５と、表示視点映像出力手段１６とを有するよう構成されている。

複数のカメラ１１−１〜１１−ｎは、それぞれが異なる撮影点から対象物（実体）を撮影する。図２は、複数のカメラにより対象物を撮影する様子を説明するための一例の図である。なお、図２以降の図に示すカメラの台数は４台としているが、本発明におけるカメラの設置台数についてはこの限りではない。

図２に示すように、カメラ１１−１〜１１−４は、それぞれの撮影点から対象物（実体）２１について同期させて撮影を行い、撮影された多視点画像２２−１〜２２−４を取得する。このとき、カメラ１１−１〜１１−４の各撮影点における３次元位置（図２では、ＸＹＺ軸からなる３次元座標）の情報及びカメラ１１−１〜１１−４の視線方向も取得する。また、予めカメラに記録されているカメラレンズの焦点距離やＣＣＤを使用している場合はその大きさ等の内部パラメータからなる構造情報も取得する。

次に、可視領域抽出装置１２は、図２に示すカメラ１１−１〜１１−４の撮影等から得られる対象物の３次元モデルと、複数の撮影点から対象物を撮影したテクスチャ画像と、テクスチャ画像を撮影した撮影点の３次元座標及び視線方向と、対象物を撮影した各カメラ１１−１〜１１−４の構造情報とに基づいて、撮影点毎に３次元モデルの可視部分の領域を構成する頂点又は面を求めることで、テクスチャ画像に対して撮影点からの３次元モデルの可視部分の領域情報（可視領域情報）を取得する。

ここで、上述した３次元モデルは、例えば視体積交差法や非特許文献１に示されているように視体積交差法とステレオマッチング法を併用した手法等を用いることで３次元モデルを生成することができる。このとき生成される３次元モデルは、モデル表面を三角パッチ等からなるポリゴンによって構成され、具体的には、表面に含まれる３次元格子点の頂点座標と頂点間の接続情報からなる。

また、可視領域抽出装置１２において、３次元モデルの可視部分の領域を構成する頂点又は面を求める方法についても、例えば非特許文献１に示されている手法等を用いることができる。具体的には、モデルの表面頂点をカメラに向かって光学直線上に変位させ、変位させた頂点がモデルの内側に入っている場合は、不可視（Ｏｃｃｌｕｓｉｏｎ）であると判定し、モデルの外側に入っている場合は可視（Ｖｉｓｉｂｌｉｔｙ）であると判定する。

これにより、撮影したテクスチャ画面のモデル表面に対して可視、不可視部分を設定する。この手法を用いて、３次元モデル表面の各ポリゴンがそれぞれのカメラ画像から可視か、不可視かを設定する。

３次元モデル表示装置１３におけるテクスチャ画像選択手段は、表示視点の３次元位置及び視線方向等からなる表示視点情報と、複数の撮影点の３次元位置及び視線方向とを比較し、複数の撮影点から撮影した画像の中で優先順位を付与したテクスチャ画像を出力する。

優先順位を付与する手法としては、例えば複数の撮影点から撮影した画像の中から撮影点の３次元座標と、表示視点の３次元座標とで距離が近い順番に優先順位を与える。または、撮影点の視線方向を比較して表示視点の視線方向と平行に近い順にテクスチャマッピングの優先順位を与える。なお、上述の３次元座標により優先順位を付与する方法と視線方向により優先順位を付与する方法を組み合わせてもよい。

ここで、表示視点について図を用いて説明する。図３は、表示視点を説明するための一例の図である。図３は、図２において対象物を撮影した対象物２１に対応する３次元モデルをディスプレイ等の表示装置の画面上に表示する際の視点を示すものである。つまり、表示視点３２は、再生時のユーザの設定によりＸＹＺ軸のどの方向にも移動することができる。このとき、対象物を撮影したカメラ１１−１〜１１−４の位置は、図２に示す対象物２１を撮影した位置情報を画面上に投影した３次元位置に存在することになる。

テクスチャ画像選択手段１４は、優先順位を付与したテクスチャ画像に基づいてテクスチャ画像を選択し、その画像を撮影したカメラのＩＤ等のカメラ情報やテクスチャ画像等のテクスチャ画像情報をテクスチャマッピング手段１５に出力する。なお、付与された優先順位に基づいて、優先順位の低いテクスチャ画像は出力しないようにしたり、表示視点に対して必要なテクスチャ画像のみを選択して出力することにより、以降の処理における処理効率を向上させることができる。

図４は、図２にて撮影されたテクスチャ画像の優先順位を示す一例の図である。テクスチャ画像選択手段１４は、図４に示すように表示視点とカメラとの３次元座標や視線方向等から得られる優先順位に基づいてテクスチャ画像２２−１〜２２−４に優先順位が付与され、そのテクスチャ画像情報がテクスチャマッピング手段１５に出力される。

ここで、表示視点の３次元座標及び視線方向は、例えば、ＯｐｅｎＧＬ等の３次元プログラミング言語等を用いて求めることができる。また、複数の撮影点の３次元座標及び視線方向は、例えば撮影時に実空間の位置と、画像上の仮想空間の位置との対応を取るカメラキャリブレーション等を実施することにより取得することができる。

テクスチャマッピング手段１５は、テクスチャ画像選択手段１４から得られるテクスチャマッピングに用いられる優先順位が付与されたテクスチャ画像情報と、対象物の３次元モデルと、テクスチャ画像に対する可視領域情報を入力して、優先順位の高いテクスチャ画像から順番に、テクスチャ画像に対して可視部分の領域に存在する３次元モデルの表面の各頂点又は各面にテクスチャマッピングを行う。

ここで、本発明においてテクスチャマッピング手段１５では、再生時の視点位置に応じてモデル表面にテクスチャを与える視点依存型の面テクスチャマッピング手法を用いる。なお、面テクスチャマッピング手法については後述する。また、テクスチャマッピング手段１５は、テクスチャマッピングされた３次元モデルを生成し、表示視点映像出力手段１６に出力する。

表示視点映像出力手段１６は、テクスチャマッピングされた３次元モデルと表示視点の３次元座標及び視線方向等からなる表示視点情報とを入力して、表示視点から見た３次元モデルを表示出力する。これにより、高精細にテクスチャ画像がマッピングされた３次元モデルを表示することができる。

＜視点依存型面テクスチャマッピング＞
ここで、テクスチャマッピング手段１５における視点依存型の面テクスチャマッピング手法について具体的に説明する。図５は、視点依存型面テクスチャマッピングを説明するための一例の図である。

視点依存型の面テクスチャマッピング手法は、３次元モデルの表示視点からの３次元位置及び視線方向において、相対的に近いカメラで撮影した画像から３次元モデル表面のポリゴンにテクスチャを与える。

まず、図５に示すように３次元モデル３１の重心（所定の点）５１と実際に対象物を撮影した複数台のカメラ１１−１〜１１−４とを結ぶカメラ（撮影）ベクトル（図５において、点線矢印）を求める。更に、重心と表示視点とを結ぶ視線ベクトル（図５において、実線矢印）を求める。

次に、視線ベクトルに対して内積の小さいカメラベクトルを有する撮影点において撮影されたテクスチャ画像から順に優先順位を付与し、付与されたテクスチャ画像の可視部分の領域情報に基づいて３次元モデルの表面にテクスチャマッピングを行う。なお、上述では３次元モデルにおける所定の位置を重心としたが、本発明においてはこの限りではなく他の点を設定してもよい。

図６は、可視領域情報とテクスチャマッピングについて説明するための図である。なお、図６に示すテクスチャマッピング時の優先順位は、図４に示す順位に基づくものとする。図６に示すように、最初に優先順位の高いテクスチャ画像２２−４の可視部分（図６（ａ）において、３次元モデル３１の斜線部分）についてテクスチャマッピングが行われる。その後、次の優先順位であるテクスチャ画像２２−１の可視部分（図６（ｂ）において、３次元モデル３１の斜線部分）から既にテクスチャマッピングされた部分を除いた可視部分についてテクスチャマッピングを行う。なお、マッピングについては、具体的にはあるカメラ画像に対してポリゴン（三角パッチ）を構成する３頂点が全て可視（ｖｉｓｉｂｌｅ）である場合に、該当する可視なポリゴンのみを描画し、例えばＯｐｅｎＧＬのテクスチャ座標自動生成機能（ＧｌｇｅｎＴｅｘ）等を用いて描画されたポリゴンのみにテクスチャマッピングを行う。

このようにして、残りのテクスチャ画像に対しても優先順位に基づいて描画されてない部分のマッピングを行う。これにより、高精細なテクスチャマッピングを実現することができる。

ここで、カメラで対象物を撮影する位置又は表示視点の位置においては、テクスチャ画像では描画できない部分（例えば、図３等に示す３次元モデル３１の足の裏等）がある。その場合は、テクスチャマッピングされていない領域の所定の周囲にある既にテクスチャマッピングされた領域の画像情報及び／又はテクスチャマッピングされていない領域が３次元モデルのどの部分（例えば足の裏等）であるかを示す部分情報等に基づいて、マッピングされていない領域に画像情報（色情報）を埋め込む処理（内挿）を行う。ここで、上述の内容について図を用いて説明する。

図７は、３次元モデル表示システムの第２の実施形態の概要構成例を示す図である。なお、図７においては、図１に示した３次元モデル表示システム１０の略同様の機能を有する構成については、同一構成名及び番号で示している。図７に示すように、３次元モデル表示装置７３は、上述したテクスチャ画像選択手段１４、テクスチャマッピング手段１５、及び表示視点映像出力装置１６と、内挿手段７１とを有するよう構成されている。

内挿手段７１は、テクスチャマッピング手段１５によりテクスチャマッピングされた３次元モデルについて、マッピングされていない部分が存在する場合に、例えば、所定の周囲にある既にテクスチャマッピングされた領域の画像と同一の画像または均一化した画像を埋め込んだり、部分情報毎に予め設定された画像情報を埋め込むことで画像の埋め込み処理を行う。また、内挿手段７１は、画像情報が内挿された３次元モデルを表示視点映像出力手段１６に出力する。

このように、テクスチャ画像が存在せずマッピングされていない領域に画像情報を内挿することで、どの表示視点においても描画された３次元モデルを表示することができる。

＜動画像への対応＞
上述にて説明した３次元モデル表示装置は、視点依存型面テクスチャマッピング手法を用いるため、表示視点が移動する場合や、対象物が移動する場合等においても、高精細な３次元モデルの表示を実現することができる。

この場合には、所定の時間が経過した場合や表示視点の所定距離分の変化等に伴う表示視点の移動に追従して、テクスチャ画像選択手段１４にてテクスチャ画像を再選択する。また、可視領域抽出装置においても表面頂点群又は面群を再度求めて３次元モデルの可視領域情報を取得する。更に、これらの情報を用いてテクスチャマッピング手段１５にて再テクスチャマッピングを行うことで、動画像にも対応することができる。

なお、上述の追従については、表示視点の移動に限定されず、例えば人や動物等のように対象物が移動する場合についても同様に対応することができる。これにより、人間や動物等の動く対象物の３次元モデルを動画表示する場合にも高精細にテクスチャマッピングされた３次元モデルを表示することができる。

また、表示視点と３次元モデルとの位置が相対的に所定の距離分移動した場合に、上述したようにテクスチャ画像の再選択等を行ってもよい。なお、この場合に３次元モデルの位置として、例えば重心等を基準にする。

これにより、表示視点と３次元モデルとが相対的に移動した場合にのみテクスチャ画像を再選択し、再選択されたテクスチャ画像を利用してテクスチャマッピングを再実行することになるため、効率的にテクスチャマッピングされた３次元モデルを表示することができる。

ここで、本発明における３次元モデル表示装置の各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における３次元モデル表示を実現することができる。

＜ハードウェア構成＞
ここで、本発明における３次元モデル表示処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図８は、本発明における３次元モデル表示処理が実現可能なハードウェア構成の一例を示す図である。

図８おけるコンピュータ本体には、入力装置８１と、出力装置８２と、ドライブ装置８３と、補助記憶装置８４と、メモリ装置８５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８６と、ネットワーク接続装置８７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置８１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置８２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ８６が有する制御プログラムによりプログラムの実行経過や３次元モデル表示処理の結果等を表示することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体８８等により提供される。プログラムを記録した記録媒体８８は、ドライブ装置８３にセット可能であり、記録媒体８８に含まれる実行プログラムが、記録媒体８８からドライブ装置８３を介して補助記憶装置８４にインストールされる。

補助記憶装置８４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

ＣＰＵ８６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置８５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、３次元モデル表示における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置８４から取得することができ、また格納することもできる。

ネットワーク接続装置８７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで３次元モデル表示処理を実現することができる。また、プログラムをインストールすることにより、容易に３次元モデル表示処理を実現することができる。

＜３次元モデル表示処理＞
次に、本発明における３次元モデル表示処理について説明する。図９は、本発明における３次元モデル表示を実現するための一例のフローチャートである。

まず、複数のカメラにより同期して撮影されたテクスチャ画像、撮影したカメラの撮影点の３次元座標及び視線方向、及び表示視点の３次元座標及び視線方向（表示視点情報）を入力する（Ｓ０１）。次に、Ｓ０１にて取得した各情報に基づいてテクスチャ画像の優先順位を付与する（Ｓ０２）。ここで、優先順位を付与する手法としては、例えば複数の撮影点から撮影した画像の中から撮影点の３次元座標と、表示視点の３次元座標とで距離が近い順番に優先順位を与える。または、撮影点の視線方向を比較して表示視点の視線方向と平行に近い順にテクスチャマッピングの優先順位を与える。なお、上述の３次元座標により優先順位を付与する方法と視線方向により優先順位を付与する方法を組み合わせてもよい。

次に、優先順位が付与されたテクスチャ画像情報、テクスチャ画像の可視（Ｖｉｓｉｂｉｌｉｔｙ）領域情報、及び３次元モデルに基づいてテクスチャマッピングを行う（Ｓ０３）。

ここで、Ｓ０３の処理後、テクスチャマッピングされた３次元モデルにおいてテクスチャマッピングされていない領域が存在する場合、その周囲のマッピングされた画像情報又はマッピングされていない領域の部分情報に基づいて、画像情報の内挿処理を行う（Ｓ０４）。その後、表示視点映像を出力する（Ｓ０５）。

次に、３次元モデル（対象物）と表示視点との位置が相対的に所定の距離分移動したかを判断する（Ｓ０６）。表示視点と３次元モデルとの位置が相対的に移動した場合（Ｓ０６において、ＹＥＳ）、Ｓ０１に戻り、テクスチャ画像の選択（Ｓ０２）、テクスチャマッピング（Ｓ０３）、内挿（Ｓ０４）を再び行い、表示視点映像を出力する。

また、表示視点と３次元モデルとの位置が相対的に移動していない場合（Ｓ０６において、ＮＯ）、３次元モデルの表示を終了するかを判断する（Ｓ０７）。３次元モデルの表示を終了しない場合（Ｓ０７において、ＮＯ）、Ｓ０６に戻り３次元モデルと表示視点との位置が相対的に移動するかの判断を繰り返す。また、３次元モデルの表示を終了する場合（Ｓ０７においてＹＥＳ）、３次元モデル表示処理を終了する。

このように、３次元モデル表示処理をコンピュータで実行することにより、
高精細にテクスチャマッピングされた３次元モデルを表示することができる。また、特別な装置構成を必要とせず、汎用をコンピュータに実行プログラムをインストールして上述の３次元モデル表示処理を実行させることで、低コストで３次元モデル表示処理を実現することができる。

上述したように本発明によれば、高精細にテクスチャマッピングされた３次元モデルを表示することができる。これにより、手作業でテクスチャマッピングを実行している制作者側の負担を軽減することができる。

具体的には、本発明では立体形状を持つ対象物の３次元モデルを、予め対象物を複数の撮影点から撮影した画像を用いてテクスチャマッピングして表示する際に、３次元モデルの表示視点に対応して適切なテクスチャマッピングを行うことができる。また、表示視点等に追従したテクスチャマッピングを実行することで、高精細な映像を出力することができる。

また、本発明では、表示する際の表示視点位置に対応してモデル表面にテクスチャを与える視点依存型の面テクスチャマッピング手法を用いることにより、高精細な３次元モデルのマッピングを実現し、更に動画像についても同様の効果を得ることができる。

なお、本発明は、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の生成、表示技術で用いることができ、一般的なテクスチャマッピング技術、レンダリング技術に適用することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

３次元モデル表示システムの第１の実施形態の概要構成例を示す図である。 複数のカメラにより対象物を撮影する様子を説明するための一例の図である。 表示視点を説明するための一例の図である。 図２にて撮影されたテクスチャ画像の優先順位を示す一例の図である。 視点依存型面テクスチャマッピングを説明するための一例の図である。 可視領域情報とテクスチャマッピングについて説明するための図である。 ３次元モデル表示システムの第２の実施形態の概要構成例を示す図である。 本発明における３次元モデル表示処理が実現可能なハードウェア構成の一例を示す図である。 本発明における３次元モデル表示を実現するための一例のフローチャートである。

符号の説明

１０ ３次元モデル表示システム
１１ カメラ
１２ 可視領域抽出装置
１３，７３ ３次元モデル表示装置
１４ テクスチャ画像選択手段
１５ テクスチャマッピング手段
１６ 表示視点映像出力手段
２１ 対象物（実体）
２２ テクスチャ画像
３１ ３次元モデル
３２ 表示視点
５１ 重心
７１ 内挿手段
８１ 入力装置
８２ 出力装置
８３ ドライブ装置
８４ 補助記憶装置
８５ メモリ装置
８６ ＣＰＵ
８７ ネットワーク接続装置
８８ 記録媒体

Claims (8)

1. 立体形状である対象物の３次元モデルにテクスチャマッピングして表示する３次元モデル表示装置において、
   複数の撮影点から撮影されたテクスチャ画像の各撮影点における３次元位置及び視線方向と、前記３次元モデルが表示される表示視点の３次元位置及び視線方向とに基づいて、前記テクスチャ画像の優先順位を付与し出力するテクスチャ画像を選択するテクスチャ画像選択手段と、
   前記テクスチャ画像選択手段により得られるテクスチャ画像の優先順位と、前記撮影点からの可視領域情報とに基づいて、前記３次元モデルにテクスチャマッピングを行うテクスチャマッピング手段と、
   前記テクスチャマッピング手段により得られる３次元モデルを表示する表示出力手段とを有し、
   前記テクスチャ画像選択手段は、
   前記３次元モデルにおける重心の３次元位置及び前記表示視点の３次元位置から得られる視線ベクトルと、前記重心の３次元位置及び前記複数の撮影点の３次元位置から得られる撮影ベクトルとの内積の小さい順にテクスチャ画像の優先順位を付与することを特徴とする３次元モデル表示装置。
2. 前記テクスチャ画像選択手段は、
   前記優先順位の高いテクスチャ画像から順に１又は複数のテクスチャ画像を選択することを特徴とする請求項１に記載の３次元モデル表示装置。
3. 前記テクスチャマッピング手段は、
   前記３次元モデルに対する可視部分の表面頂点又は面について、テクスチャマッピングされていない可視部分のマッピングを行うことを特徴とする請求項１又は２に記載の３次元モデル表示装置。
4. 前記テクスチャマッピング手段により、マッピングされた３次元モデルにおいて、テクスチャ画像が存在せずマッピングされていない領域が存在する場合、前記領域の周囲にマッピングされているテクスチャ画像情報及び／又は前記領域の部分情報に基づいて前記領域に画像情報を内挿する内挿手段を有し、
   前記表示出力手段は、前記内挿手段により得られる３次元モデルを表示することを特徴とする請求項１乃至３の何れか１項に記載の３次元モデル生成装置。
5. 前記テスクチャ画像選択手段は、
   所定時間が経過した場合、又は前記表示視点の位置が所定の距離分移動した場合に、前記テクスチャ画像を再選択することを特徴とする請求項１乃至４の何れか1項に記載の３次元モデル表示装置。
6. 前記テスクチャ画像選択手段は、
   前記対象物が所定の距離分移動した場合に、前記テクスチャ画像を再選択することを特徴とする請求項１乃至５の何れか1項に記載の３次元モデル表示装置。
7. 前記テクスチャ画像選択手段は、
   前記表示視点と前記３次元モデルとが相対的に所定の距離分移動した場合に、前記テクスチャ画像を再選択することを特徴とする請求項１乃至６の何れか1項に記載の３次元モデル表示装置。
8. 立体形状である対象物の３次元モデルにテクスチャマッピングして表示する処理をコンピュータに実行させるための３次元モデル表示プログラムにおいて、
   前記コンピュータを、
   複数の撮影点から撮影されたテクスチャ画像の各撮影点における３次元位置及び視線方向と、前記３次元モデルが表示される表示視点の３次元位置及び視線方向とに基づいて、前記テクスチャ画像の優先順位を付与し出力するテクスチャ画像を選択するテクスチャ画像選択手段、
   前記テクスチャ画像選択手段により得られるテクスチャ画像の優先順位と、前記撮影点からの可視領域情報とに基づいて、前記３次元モデルにテクスチャマッピングを行うテクスチャマッピング手段、及び、
   前記テクスチャマッピング手段により得られる３次元モデルを表示する表示出力手段として機能させ、
   前記テクスチャ画像選択手段は、
   前記３次元モデルにおける重心の３次元位置及び前記表示視点の３次元位置から得られる視線ベクトルと、前記重心の３次元位置及び前記複数の撮影点の３次元位置から得られる撮影ベクトルとの内積の小さい順にテクスチャ画像の優先順位を付与することを特徴とする３次元モデル表示プログラム。