JP5011224B2 - 任意視点映像生成装置及び任意視点映像生成プログラム - Google Patents

Description

本発明は、任意視点映像生成装置及び任意視点映像生成プログラムに関し、特に、立体形状である対象物を複数の撮影点から撮影して得られたテクスチャ画像を用いて、指定された任意の仮想視点から見える映像を生成する任意視点映像生成装置及び任意視点映像生成プログラムに関する。

従来から、ユーザが指定した任意の視点（以下、「仮想視点」という。）から視認した立体形状の実体を有する対象物の映像を表示するにあたっては、対象物を複数の撮影点から撮影し、撮影した画像を用いて３次元モデルの表面にテクスチャマッピングすることにより、映像を生成・表示する手法が提案されている。

かかる手法において、テクスチャマッピングで用いるテクスチャデータの選択を、目視による作業に依存せず、適切なテクスチャデータを自動的に選択でき、鮮明でリアルな立体モデルを得るため、３次元モデルの表面を構成する面の法線ベクトルと撮影点の視線方向のベクトルを比較し、撮影点の光軸ベクトルが面の表面ベクトルに対して平行に近い撮影点から撮影した画像のテクスチャをモデル表面の面に張り付ける手法が提案されている（例えば、特許文献１参照）。

また、高精細にテクスチャマッピングされた３次元モデルを表示するため、表示視点からの視線方向のベクトル（表示ベクトル）と撮影ベクトルとが平行に近いカメラ映像に優先を与え、優先順位の高いカメラのうち、各頂点から可視状態（Visibility）なカメラの映像をマッピングする視点依存型テクスチャマッピングも提案されている（例えば、特許文献２参照）。
特開平９−１３４４４９号公報 特開２００６−７２８０５号公報

しかしながら、上述した一般的なテクスチャマッピング手法は、撮影点の３次元位置や視線方向などのパラメータを正確に取得できなかったり、３次元モデルの正確な形状を生成することができなかったりして、マッピングされるテクスチャの位置がずれ、不自然な任意視点映像が生成されてしまうという問題があった。

また、上述の特許文献１に記載されている３次元モデル表面の各頂点及び各面へマッピングするテクスチャ画像データを選択する手法は、３次元モデルを表示する視点の３次元位置及び視点方向によっては、必ずしも適切なテクスチャ画像データが選択されず、状況によって高画質な３次元モデルを表示できるとは必ずしも限らないという問題があった。

また、特許文献２に記載されている視点依存型テクスチャマッピング手法は、３次元モデルの表面の場所によって、各カメラの可視状態が異なるため、マッピングするテクスチャ画像も異なり、マッピングされるテクスチャ画像が異なる部分の境界付近において不連続なテクスチャが生成されてしまう。また視点を移動させると、視点の位置に応じて可視状態が変更されるため、マッピングされるテクスチャ画像もまた変更されてしまい、ちらつきのような現象が生じてしまうという問題があった。更に、この手法で動画を表示する場合には、同じような位置にある３次元モデル上の表面の、ある一部においても、時間の経過に伴って各カメラの可視状態が変わるため、マッピングされる画像も切り替わり、時間軸方向への連続性が薄くなって、やはりちらつきなどの現象が生じてしまうという問題があった。

本発明は、上述した問題点に鑑みなされたものであり、高品位な内挿映像を生成することができる任意視点映像生成装置及び任意視点映像生成プログラムを提供することを目的とする。

上記目的を達成するため、第１の発明に係る任意視点映像生成装置は、立体形状である対象物を複数の撮影点から撮影して得られたテクスチャ画像を用いて、指定された任意の仮想視点から見える映像を生成する任意視点映像生成装置であって、
前記テクスチャ画像の各撮影点の３次元位置及び視線方向と、前記仮想視点の３次元位置及び視線方向とに基づいて、各テクスチャ画像に優先順位を付与し、該優先順位に従って混合する複数のテクスチャ画像を選択するブレンドテクスチャ画像選択手段と、
該ブレンドテクスチャ画像選択手段により選択された前記複数のテクスチャ画像の各撮影点における３次元位置及び視線方向と、前記仮想視点の３次元位置及び視線方向とに基づいて、混合する各テクスチャ画像のブレンド率を決定し、該ブレンド率に従って前記複数のテクスチャ画像を混合してブレンドテクスチャ画像を生成するブレンドテクスチャ画像生成手段と、
該ブレンドテクスチャ画像生成手段により生成された前記ブレンドテクスチャ画像を３次元モデルにテクスチャマッピングし、前記仮想視点から見える前記対象物の２次元の内挿映像を生成する内挿映像生成手段と、を有することを特徴とする。

これにより、撮影したカメラの３次元位置や視線方向などのカメラパラメータに誤差が生じたり、また３次元モデルに誤差が生じたりしても、３次元モデルにマッピングされるテクスチャ画像は、複数のテクスチャをブレンドすることで生成されているため、誤差によって生じるテクスチャの不連続性が顕著に現れない。また、仮想視点とカメラとの３次元位置及び視線方向の関係に応じたブレンド率となっているため、高品位な内挿映像を生成することができる。

第２の発明は、第１の発明に係る任意視点映像生成装置において、
前記ブレンドテクスチャ画像選択手段は、前記各撮影点の３次元位置と前記仮想視点の３次元位置との距離が近い順に前記優先順位を付与するか、又は前記各撮影点の視線方向が前記仮想視点の視線方向に近い順に前記優先順位を付与することを特徴とする。

これにより、仮想視点から距離的に近い、もしくは仮想視点方向に近い撮影点から撮影されたテクスチャが優先的に選択され、適切なテクスチャ画像を選択することができる。また、高品位に内挿された映像を生成・表示することができる。

第３の発明は、第１又は第２の発明に係る任意視点映像生成装置において、
前記ブレンドテクスチャ画像生成手段は、前記撮影点の３次元位置と前記仮想視点の３次元位置との距離が近い程、又は前記撮影点の視線方向が前記仮想視点の視線方向に近い程、混合率を高く決定することを特徴とする。

これにより、仮想視点から距離的に近い、又は仮想視点の方向に近い撮影点から撮影されたテクスチャ画像ほど高い重み付けでブレンドテクスチャ画像に反映されるように混合されるため、信頼度が高くより高品位な内挿映像を生成できる。

第４の発明は、第１〜３のいずれかの発明に係る任意視点映像生成装置において、
前記ブレンドテクスチャ画像選択手段は、所定時間が経過するか、又は前記仮想視点の位置が所定距離以上移動したときに、前記ブレンドテクスチャ画像を再選択することを特徴とする。

これにより、時間経過や仮想視点の移動に追従して、ブレンドテクスチャ画像を再選択し、再選択されたブレンドテクスチャ画像を利用してテクスチャマッピングを再実行することで、時間経過により仮想視点が移動した際も、その時刻での仮想視点において高品位に内挿された２次元映像を生成することができる。

第５の発明は、第１〜４のいずれかの発明に係る任意視点映像生成装置において、
前記ブレンドテクスチャ画像選択手段は、前記対象物が所定距離以上移動したときに、前記ブレンドテクスチャ画像を再選択することを特徴とする。

これにより、人間や動物等の動く対象物の任意視点映像を生成して動画表示する場合にも高品位に内挿された動画を生成して表示することができる。

第６の発明は、第１〜５のいずれかの発明に係る任意視点映像生成装置において、
前記ブレンドテクスチャ画像選択手段は、前記仮想視点と前記３次元モデルが相対的に所定距離以上移動したときに、前記ブレンドテクスチャ画像を再選択することを特徴とする。

これにより、仮想視点と対象物とが相対的に移動した場合にブレンドテクスチャ画像を再選択し、再選択されたブレンドテクスチャ画像を利用してテクスチャマッピングを再実行するため、仮想視点又は対象物の単独移動自体は小さくても、相対的に大きく移動している場合には適切に再選択を行うことができる。また、仮想視点と対象物とが相対的に移動した場合にのみブレンドテクスチャ画像を再選択し、再選択されたブレンドテクスチャ画像を利用してテクスチャマッピングを実行するようにすれば、効率的に内挿映像を生成することができる。

第７の発明は、第１〜６のいずれかの発明に係る任意視点映像生成装置において、
前記３次元モデルを構成する面のテクスチャ描画単位毎に、撮影点からの可視領域を取得する可視領域抽出手段を更に備え、
前記ブレンドテクスチャ画像選択手段は、前記優先順位の高い順から所定数のテクスチャ画像を選択するように設定されており、前記可視領域抽出手段により取得された前記可視領域に含まれるテクスチャ画像の中から前記所定数を選択することを特徴とする。

これにより、マッピングするポリゴンから可視状態にある（Visibilityがある）撮影点から撮影されたテクスチャ画像のみを、ポリゴン毎に選択して混合を行うことができ、適切で有効性の高いテクスチャ画像のみを選択して混合することにより、確実に高品位な内挿映像を生成することができる。

第８の発明は、第１〜６のいずれかの発明に係る任意視点映像生成装置において、
前記３次元モデルを構成する面のテクスチャ描画単位毎に、撮影点からの可視領域を取得する可視領域抽出手段を更に備え、
前記ブレンドテクスチャ画像生成手段は、選択された前記複数のテクスチャ画像に、前記可視領域抽出手段により取得された前記可視領域内にないテクスチャ画像が含まれているときには、該テクスチャ画像を排除してから前記ブレンド率を決定することを特徴とする。

これにより、選択したテクスチャ画像に、マッピングするポリゴンから可視状態にない撮影点から撮影されたテクスチャ画像が含まれていた場合には、これを排除し、可視状態にあるテクスチャ画像のみからブレンド率を決定することができ、適切なテクスチャ画像のみを用いてテクスチャ画像の混合を行い、高品位な任意視点映像を取得することができる。

第９の発明に係る任意視点映像生成プログラムは、立体形状である対象物を複数の撮影点から撮影して得られたテクスチャ画像を用いて、指定された任意の仮想視点から見える映像を生成する処理をコンピュータに実行させるための任意視点映像生成プログラムであって、
前記テクスチャ画像の各撮影点の３次元位置及び視線方向と、前記仮想視点の３次元位置及び視線方向とに基づいて、各テクスチャ画像に優先順位を付与し、該優先順位に従って混合する複数のテクスチャ画像を選択するブレンドテクスチャ選択処理と、
該ブレンドテクスチャ選択処理により選択された前記複数のテクスチャ画像の各撮影点における３次元位置及び視線方向と、前記仮想視点の３次元位置及び視線方向とに基づいて、混合する各テクスチャ画像のブレンド率を決定し、該ブレンド率に従って前記複数のテクスチャ画像を混合してブレンドテクスチャ画像を生成するブレンドテクスチャ画像生成処理と、
該ブレンドテクスチャ画像生成処理により生成された前記ブレンドテクスチャ画像を３次元モデルにテクスチャマッピングし、前記仮想視点から見える前記対象物の２次元の内挿映像を生成する内挿映像生成処理と、をコンピュータに実行させることを特徴とする。

これにより、対象物を撮影した複数の撮影点の３次元位置及び視線方向と、仮想視点の３次元位置及び視線方向を比較し、テクスチャ画像に優先順位を付与した上でブレンドの対象となるテクスチャ画像を出力し、それらのテクスチャをブレンド率に応じてブレンドしたブレンドテクスチャ画像を前記３次元モデルにテクスチャマッピングすることで、高品位に内挿された映像を表示することができる。また、特別な装置構成を必要とせず、低コストで内挿映像生成処理を実現することができる。更に、プログラムをインストールすることにより、容易に内挿映像生成処理を実現することができる。

本発明によれば、複数の撮影点から撮影された画像を用いて、指定された任意の視点からの映像を内挿によって高品位に生成することができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明を適用した実施例に係る任意視点映像生成装置及び任意視点映像プログラムにおけるカメラ配置の一例を示した図である。図１において、複数台のカメラＣａｍが、立体形状を有する対象物８０の周囲を囲むように配置されている。カメラＣａｍは、図１においては、４０台のカメラＣａｍが対象物８０の周囲に配置されている。

本実施例に係る任意視点映像生成装置及び任意視点映像生成プログラムは、このような、複数のカメラＣａｍが立体形状を有する対象物８０の周囲に配置され、各カメラＣａｍ１〜Ｃａｍ４０が対象物８０を各々撮影したテクスチャ画像を用いて、対象物８０を立体的に再現する画像を生成する。その際、画像を視認するユーザは、対象物８０を視認する視点を自由に、任意の３次元位置に仮想視点として選択することができる。本実施例に係る任意視点映像生成装置及び任意視点映像表示プログラムは、例えば図１に示したような多数配置されたカメラＣａｍを用いて、対象物８０の映像を様々な角度から撮影し、テクスチャ画像として取得する。そして、テクスチャ画像を、対象物８０を再現したポリゴンに貼り付け、立体的な画像を取得する。対象物８０は、実体を有し、様々な立体形状を有する３次元の物体を対象物８０とすることができ、その形状や形態は問わない。また、図１においては、４０台のカメラＣａｍのうち、Ｃａｍ１〜Ｃａｍ２４が対象物８０を環状に水平に囲み、その上下にも対象物８０を取り囲むように配置された例を示しているが、カメラＣａｍの数はもっと多くても少なくてもよいし、カメラＣａｍの配置も、対象物８０の映像を種々の角度から取得できれば、様々な形態とすることができる。

図２は、本発明を適用した実施例に係る任意視点映像生成装置７０を含む任意視点映像生成システムの実施形態の概要構成例を示す図である。図２において、任意視点映像生成システムは、撮像装置としての複数のカメラＣａｍと、可視視点情報取得手段１０と、可視領域抽出装置３０と、３次元形状生成装置２０と、任意視点映像生成装置７０とを有する。また、任意視点映像生成装置７０は、ブレンドテクスチャ画像選択手段４０とブレンドテクスチャ画像生成手段５０と内挿映像生成手段６０とを有するよう構成されている。なお、可視領域抽出手段３０は、任意視点映像生成装置７０の一部に含まれて構成されてもよい。

複数のカメラＣａｍは、それぞれが異なる撮影点から対象物（実体）８０を撮影する撮像手段である。対象物８０を撮影できれば、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ、アナログカメラ等の種々のカメラを適用することができる。

図３は、複数のカメラＣａｍにより対象物８０を撮影する様子を説明するための一例の図である。なお、図３以降、図中に示すカメラＣａｍの台数は、説明の容易のために４台としているが、上述のように、本実施例に係る任意視点映像生成装置７０に適用されるカメラの設置台数については、更に多くのカメラＣａｍを設けるようにしてよい。

図３に示すように、複数のカメラＣａｍ１〜Ｃａｍ４は、それぞれの撮影点ＣＳ１〜ＣＳ４から対象物（実体）８０について同期させて撮影を行い、撮影された多視点画像を取得する。図３においては、カメラＣａｍ１が設けられた撮影点ＣＳ１からは、猫の対象物８０の正面視映像が取得され、カメラＣａｍ２が設けられた撮影点ＣＳ２からは、対象物８０の左側面視映像が取得されている。同様に、カメラＣａｍ３が配置された撮影点ＣＳ３からは、対象物８０の背面視映像が撮影され、カメラＣａｍ４が配置された撮影点ＣＳ４からは、対象物８０である猫の右側面視映像が撮影されている。

このように、多視点から対象物８０の画像を撮像取得するが、このとき、複数のカメラＣａｍ１〜Ｃａｍ４の各撮影点ＣＳ１〜ＣＳ４（以下、総称して「ＣＳ」と標記する。）における３次元位置（図３では、ＸＹＺ軸からなる３次元座標）の情報及び複数カメラＣａｍ１〜Ｃａｍ４の視線方向も取得する。また、予めカメラＣａｍ１〜Ｃａｍ４に記録されているカメラレンズの焦点距離や、ＣＣＤカメラを使用している場合には、その大きさ等の内部パラメータからなる構造情報も取得する。

図２に戻る。仮想視点情報取得手段１０は、ユーザにより選択される仮想視点の情報を取得する手段であり、具体的には、仮想視点の３次元位置及び視線方向を含む情報を取得する。仮想視点情報取得手段１０は、例えば、ユーザが仮想視点の入力が可能な画面のコントローラや、マウスやポインタ等の入力手段に接続され、ユーザの入力操作から、仮想視点の３次元位置や視線方向等の情報を取得するようにしてよい。

３次元形状生成装置２０は、複数のカメラＣａｍ１、Ｃａｍ２…、Ｃａｍｎ（以下、総称して「Ｃａｍ」と標記する。）の撮影から得られる対象物８０の画像から、３次元モデルを生成する。例えば、視体積交差法や、特許文献１に示されているように、視体積交差法とステレオマッチング法を併用した手法等の公知の手法を用いることで生成することができる。

ここで、視体積交差法は、物体の撮影画像から物体領域を抽出した複数のシルエット画像を、元の３次元空間に逆投影し、それぞれの視体積の交差部分を求めることにより、物体の３次元形状データを得る手法である。また、ステレオマッチング法は、左右に配置された２台のカメラで撮影された２枚１組の画像を用いて、左のカメラで撮影された画像が、右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元位置を推測する手法である。本実施例に係る任意視点映像生成システムの３次元形状生成装置は、例えば、このような、公知の手法を用いて、３次元モデルを生成するようにしてよい。なお、３次元モデルは、ＸＹＺ座標等を用いて生成されてよい。

可視領域抽出装置３０は、複数のカメラＣａｍの撮影等から得られる対象物８０の３次元モデルと、複数の撮影点ＣＳから対象物８０を撮影したテクスチャ画像と、テクスチャ画像を撮影した撮影点ＣＳの３次元位置及び視線方向と、対象物８０を撮影した各カメラＣａｍの構造情報に基づいて、撮影点ＣＳ毎に３次元モデルの可視部分の領域を構成する頂点又は面を求め、テクスチャ画像に対して撮影点ＣＳからの３次元モデルの可視部分の領域情報（可視領域情報）を取得する手段である。可視領域抽出装置３０による可視領域の抽出は、例えば、特許文献２などに示された公知の手法を用いることで取得できる。

図２において、可視領域抽出装置３０は、可視領域抽出装置３０は、ブレンドテクスチャ画像選定手段４０とブレンドテクスチャ画像生成手段５０の双方に抽出結果が送られるように示されているが、いずれか一方に送るようにしてもよいし、双方に送れるように構成してもよい。

任意視点映像生成装置７０におけるブレンドテクスチャ画像選択手段４０は、はじめに、仮想視点情報取得手段１０で取得された仮想視点の３次元位置及び視線方向からなる仮想視点情報と、複数の撮影点ＣＳの３次元位置及び視線方向とを比較し、複数の撮影点ＣＳから撮影したテクスチャ画像の中で優先順位を付与する手段である。

優先順位を付与する方法としては、例えば複数の撮影点ＣＳから撮影したテクスチャ画像の中から、撮影点ＣＳの３次元座標と仮想視点の３次元座標とで距離が近い順番に優先順位を与えるようにしてもよい。この場合には、撮影点ＣＳの３次元座標と、仮想視点の３次元座標との距離を各撮影点ＣＳに対して算出することにより、優先順位を定めることができる。

また、撮影点ＣＳの視線方向を比較して、仮想視点の視線方向と平行に近い順にテクスチャマッピングの優先順位を与えるようにしてもよい。この場合、撮影点ＣＳの３次元座標と、３次元モデルに含まれる重心等の所定の点とから、撮影点ＣＳからの視線ベクトルを求めるとともに、仮想視点の３次元座標と、３次元モデルに含まれる重心等の所定の点とから、仮想視点からの視線ベクトルを求め、両者の視線ベクトルの内積を算出し、内積の小さい順に優先順位を定めるようにしてもよい。また、例えば、重心を用いる他、キャリブレーションから各カメラＣａｍの撮影方向を算出し、これを視線ベクトルとしてもよい。このように、撮影点ＣＳからの視線方向の算出及び比較は、種々の方法を用いて行うことができる。

更に、上述の３次元座標により優先順位を付与する方法と、視線方向により優先順位を付与する方法を組み合わせてもよい。さらに付与されたテクスチャ画像から優先順位の高い２枚以上のテクスチャ画像を選出する。

ここで、図４を用いて、仮想視点について説明する。図４は、仮想視点ＶＰを説明するための一例の図である。図４は、図３において対象物８０を撮影した複数の画像から生成した３次元モデル９０を、ディスプレイ等の表示装置の画面上に表示する際の視点を示すものである。つまり、仮想視点ＶＰは、再生時のユーザの設定によりＸＹＺ軸のどの方向にも移動することができる。

図２に戻る。ブレンドテクスチャ画像生成手段５０は、ブレンドテクスチャ画像選択手段４０から出力された複数のテクスチャ画像を、撮影点ＣＳの３次元位置及び視線方向や仮想視点ＶＰの３次元位置及び視線方向から算出するブレンド率にしたがって混合し、ブレンドテクスチャ画像を生成して出力する手段である。

ブレンド率を付与する手法としては、例えば仮想視点ＶＰの３次元座標と撮影点ＣＳの３次元座標との距離が近いほど、ブレンド率を高く付与し、影響度を高めるような手法がある。

図５は、ブレンド率を仮想視点ＶＰとの距離に基づいて定める方法の一例を示した図である。例えば、図５に示すように、優先順位の高い２つの撮影点ＣＳ１、ＣＳ２のカメラＣａｍ１、Ｃａｍ２と対象物８０の重心Ｇとで構成される平面Ｐへ仮想視点ＶＰから垂線Ｖ１を下ろし、平面Ｐと交わった点ａを算出する。なお、図５において、仮想視点ＶＰに対応して、仮想カメラＶＣａｍを示している。次に、平面Ｐ上で対象物８０の重心Ｇと点ａとを通る直線Ｌ１を伸ばし、２つの撮影点ＣＳ１、ＣＳ２のカメラＣａｍ１、Ｃａｍ２を結んだ直線Ｌ２と交わる点ｂを算出する。２つの撮影点ＣＳ１、ＣＳ２のカメラＣａｍ１、Ｃａｍ２から点ｂまでの距離ｄ１、ｄ２をブレンド率として算出することができる。選出された２枚のテクスチャ画像を距離ｄ１、ｄ２のブレンド率から下記の（１）式に従って混合することで、ブレンドテクスチャ画像を取得することができる。

（１）式から、カメラＣａｍ１が仮想視点ＶＰに接近する程、ｄ１は小さくなるので、カメラＣａｍ１の係数（１−ｄ１／（ｄ１＋ｄ２））は大きくなり、カメラＣａｍ１によるテクスチャ画像の混合比率が高くなることが分かる。同様に、カメラＣａｍ２の方が仮想視点ＶＰに接近した場合には、ｄ１が大きくなるので、カメラＣａｍ２の係数（ｄ１／（ｄ１＋ｄ２））が大きくなり、カメラＣａｍ２によるテクスチャ画像の混合比率が高くなることが分かる。

このように、ブレンド率決定の方法としては、優先順位の高いカメラＣａｍ１、Ｃａｍ２を複数選択した後、それらの仮想視点ＶＰとの距離に応じて、仮想視点ＶＰにより近い撮影点ＣＳ１、ＣＳ２のカメラＣａｍ１、Ｃａｍ２の方のテクスチャ画像の混合比率が高くなるようにブレンド率を定めるようにしてよい。これにより、仮想視点ＶＰからの実際の視認状態に、より近い映像を生成することができる。

次に、図６を用いて、図５とは異なるブレンド率の決定方法について説明する。図６は、図５とは異なる、仮想視点方向と撮影方向のなす角に応じたブレンド率の算出方法の一例を説明するための図である。

図６において、優先順位の高い２つの撮影点ＣＳ１、ＣＳ２のカメラＣａｍ１、Ｃａｍ２と対象物８０の重心Ｇとで構成される平面Ｑへ、仮想カメラＶＣａｍが設けられた仮想視点ＶＰから垂線Ｖ２を下ろし、平面Ｑと交わる点ｃが算出されている。次に、平面Ｑ上で対象物８０の重心Ｇと点ｃとを結ぶ直線Ｌ３を考え、重心Ｇと各撮影点ＣＳ１、ＣＳ２のカメラＣａｍ１、Ｃａｍ２とを結ぶ直線Ｌ４、Ｌ５となす角度φ1、φ2をブレンド率とすることができる。混合にあたっては、下記の（２）式により、ブレンドテクスチャ画像を取得する。

（２）式においても、図５の場合と同様に、仮想視点ＶＰと視線方向が平行に近く、角度φ１、φ２のより小さい方のテクスチャ画像の混合比率が高くなるような式となっている。つまり、カメラＣａｍ１の視線方向が仮想視点ＶＰの視線方法により近く、角度φ１がより小さくなる程、カメラＣａｍ１の係数（１−φ１／（φ１＋φ２））は大きくなり、カメラＣａｍ１によるテクスチャ画像の混合比率が高まる。同様に、カメラＣａｍ２の視線方向が仮想視点ＶＰにより近くなると、角度φ２が小さくなり、角度φ１が大きくなるので、カメラＣａｍ２のテクスチャ画像の混合比率がより高まることになる。

このように、ブレンド率の算出は、仮想視点ＶＰの視線方向と、選択された優先順位の高い撮影点ＣＳ１、ＣＳ２のカメラＣａｍ１、Ｃａｍ２の視線方向との関係に基づいて行うようにしてもよい。これにより、仮想視点ＶＰの視線方向に近い方の撮影点ＣＳ１、ＣＳ２のカメラＣａｍ１、Ｃａｍ２の混合比率を高めることができ、より仮想視点ＶＰからの視認状態に近いブレンド画像を生成することができる。

図５及び図６においては、ブレンドテクスチャ選定手段４０で２枚の優先順位の高いテクスチャ画像が選択され、２枚のテクスチャ画像を混合する例について説明したが、次に図７を用いて、３枚のテクスチャ画像を混合する場合について説明する。

図７は、３枚のテクスチャ画像を混合する場合のブレンド率の算出方法の一例について説明するための図である。図７において、仮想視点ＶＰに距離的に近い、又は視線方向が近い優先順位の高い撮影点ＣＳ１、ＣＳ２、ＣＳ３のカメラＣａｍ１、Ｃａｍ２、Ｃａｍ３が３台選択されている。

本ブレンド率の算出方法においては、図７に示されるように、優先順位の高い３つの撮影点ＣＳ１、ＣＳ２、ＣＳ３のカメラＣａｍ１、Ｃａｍ２、Ｃａｍ３で構成される平面Ｒに対して、仮想カメラＶＣａｍが設けられた仮想視点ＶＰから垂線Ｖ３を下ろし、平面Ｒと交わる点Ｏを算出する。

点Ｏから各撮影点Ｃａｍ１、Ｃａｍ２、Ｃａｍ３同士を結んだ辺Ｌ６、Ｌ７、Ｌ８に対して垂線を下ろし、それぞれの長さｄ１、ｄ２、ｄ３をブレンド率とすることができる。これらのブレンド率に従い、下記の（３）式を用いてブレンドテクスチャ画像を取得することができる。

（３）式においても、例えば仮想視点ＶＰが撮影点ＣＳ１のカメラＣａｍ１に接近すれば、対角のｄ１が大きくなり、撮影点ＣＳ１のカメラＣａｍ１におけるテクスチャ画像の混合比率が高くなるような式となっている。これは、図７において、仮想視点ＶＰから最も離れて距離の大きい撮影点ＣＳ２のカメラＣａｍ２の対角のｄ２が小さくなっていることからも理解できる。

このように、選択する複数の撮影点ＣＳは、複数であれば、２つであってもよいし、３つであってもよく、用途に応じて所定数に設定することができる。図５乃至図７においては、選択する撮影点ＣＳの数が２つの場合と３つの場合のみを挙げて説明しているが、例えば、４つであってもよいし、４つ以上であってもよい。いずれの場合においても、仮想視点ＶＰに距離が接近又は視線方向が近くなる撮影点ＣＳほど、混合比率が高くなるようにブレンド率を算出すれば、ちらつきの少ない滑らかなブレンドテクスチャ画像を生成することができる。

ここで、図２で説明した可視領域抽出装置３０を用いることで、高品位なブレンドテクスチャ画像を取得することができる。はじめに、仮想カメラから上述の優先順位により、Ｎ台のカメラＣａｍを選択する。次に、テクスチャ画像の最小構成単位であるポリゴン毎にブレンドする上位Ｍ台のカメラＣａｍを、ブレンドテクスチャ選定手段４０の優先順位に従って選出する。ただし、このとき当該ポリゴンから可視状態（Visible）でないカメラＣａｍは排除する。選出されたＭ台のテクスチャ画像を、上述のブレンド手法により混合し、ブレンドテクスチャ画像を生成する。

なお、可視状態でないカメラＣａｍのテクスチャ画像の排除は、ブレンドテクスチャ画像選択手段４０でブレンドテクスチャ画像を選択するときに行ってもよいし、ブレンドテクスチャ画像生成手段５０でブレンドテクスチャ画像を生成する直前に行ってもよい。ブレンドテクスチャ画像選択手段４０で不可視状態のカメラＣａｍによるテクスチャ画像を排除する場合には、可視状態にあるテクスチャ画像の中から上位Ｍ台を選択するようにする。この場合には、Ｍ台のカメラＣａｍは総て可視状態にあるが、ポリゴン毎にカメラの組み合わせが異なる場合が有り得る。一方、ブレンドテクスチャ画像生成手段５０で不可視状態のカメラＣａｍによるテクスチャ画像を排除する場合には、選択されたＭ台の優先順位の高いカメラＣａｍのテクスチャ画像から、不可視状態のカメラによるテクスチャ画像を排除するようにする。これにより、ポリゴン毎に用いるテクスチャ画像の数が異なる場合が有り得るが、カメラの組み合わせは同じとなる。これらは、用途に応じて適宜適切な手法を採用するようにしてよい。

ここで、仮想視点ＶＰの３次元座標及び視線方向は、例えば、ＯｐｅｎＧＬ（Open Graphics Library）等の３次元プログラミング言語等を用いて求めることができる。また、複数の撮影点ＣＳの３次元座標及び視線方向は、例えば撮影時に実空間の位置と、画像上の仮想空間の位置との対応を取るカメラキャリブレーション等を実施することにより取得することができる。

内挿映像生成装置６０は、ブレンドテクスチャ画像と３次元モデル９０と仮想視点ＶＰの３次元座標及び視線方向等からなる仮想視点情報とを入力とし、ブレンドテクスチャ画像を３次元モデル９０にテクスチャマッピングし、仮想視点ＶＰから見える３次元モデル９０を生成する。これにより、カメラの設置されていない仮想視点ＶＰからの映像を高品位に生成することができる。

次に、動画像への対応方法について説明する。上述のように説明した任意視点映像生成装置７０は、仮想視点ＶＰに依存して内挿映像を生成するので、仮想視点ＶＰが移動する場合や対象物８０が移動する場合等においても、高品位な内挿映像を生成することができる。

この場合には、所定の時間が経過した場合や、仮想視点ＶＰが所定距離分の変化等に伴う仮想視点ＶＰの移動に追従して、可視領域抽出装置３０においても、表面頂点群または面群を再度求めて３次元モデル９０の可視領域情報を取得する。また、ブレンドテクスチャ画像選択手段４０にてテクスチャ画像を再選択し、ブレンドテクスチャ画像生成手段５０でブレンド率を再計算した上で、ブレンドテクスチャ画像を生成する。更に、これらの情報を用いてブレンドテクスチャ画像生成手段５０にて、新たにブレンドテクスチャ画像を生成した上で、内挿映像生成装置６０にて３次元モデル９０にテクスチャマッピングすることによって、動画像にも対応することができる。

なお、上述の追従については、仮想視点ＶＰの移動に限定されず、例えば人や動物等のように、対象物８０が移動する場合についても同様に対応することができる。これにより、人間や動物等の動く対象物８０の３次元モデル９０を動画表示する場合にも、高品位に内挿された内挿映像を生成することができる。

また、仮想視点ＶＰと３次元モデル９０とが相対的に移動した場合にのみテクスチャ画像を再選択し、ブレンド率を更新して、ブレンドテクスチャ画像を生成してもよい。なお、この場合に、３次元モデル９０の位置として、例えば重心等の所定位置を基準にするようにしてよい。

これにより、仮想視点ＶＰと３次元モデル９０とが相対的に移動した場合にのみテクスチャ画像を再選出し、再選出されたテクスチャを新たなブレンド率に従ってブレンドテクスチャのテクスチャマッピングを再実行することになるため、効率的に内挿された映像を生成することができる。

ここで、本発明における内挿映像生成装置６０の各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明において生成された内挿映像の表示を実現することができる。

次に、本実施例に係る任意視点映像生成装置７０の内挿映像生成処理を実行可能なコンピュータのハードウェア構成例について、図８を用いて説明する。図８は、本発明を適用した実施例に係る任意視点映像生成装置７０の内挿映像生成処理を実現可能なハードウェア構成の一例を示す図である。

図８におけるコンピュータ本体には、入力装置１１０と出力装置１２０とドライブ装置１３０と補助記録装置１４０とメモリ装置１５０と各種制御を行うＣＰＵ(Central Processing Unit)１６０と、ネットワーク接続装置１７０とを有するよう構成されており、これらはシステムバス１８０で相互に接続されている。

入力装置１１０は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置１２０は、本実施例における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ１６０が有する制御プログラムにより、プログラムの実行経過や内挿映像生成結果等を表示することができる。

ここで、本実施例においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体１００等により提供される。プログラムを記録した記録媒体１００は、ドライブ装置１３０にセット可能であり、記録媒体１００に含まれる実行プログラムが、記録媒体１００からドライブ装置１３０を介して補助記憶装置１４０にインストールされる。よって、図２に示した任意視点映像生成装置７０のブレンドテクスチャ画像選定手段４０、ブレンドテクスチャ画像生成手段５０、内挿映像生成手段６０で実行する処理を、コンピュータプログラムとして記録媒体１００に記録しておけば、本実施例に係る任意視点映像生成装置７０の機能を、本実施例に係る任意視点映像生成プログラムとして図８に示したコンピュータに実行させることができる。この場合には、任意視点映像生成プログラムは、ブレンドテクスチャ画像選定処理、ブレンドテクスチャ画像生成処理及び内挿映像生成処理を順次コンピュータに実行させるプログラムを構成することになる。

補助記憶装置１４０は、ハードディスク等のストレージ手段であり、本実施例における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

ＣＰＵ１６０は、ＯＳ(Operating System)等の制御プログラム、及びメモリ装置１５０により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、内挿映像生成表示における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置１４０から取得することができ、また格納することもできる。

ネットワーク接続装置１７０は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本実施例における実行プログラム自体を他の端末等に提供したりすることができる。

図８に示したハードウェア構成により、特別な装置構成を必要とせず、低コストで内挿映像の生成・表示処理を実現することができる。また、任意視点映像生成プログラムをインストールすることにより、容易に内挿映像生成・表示処理を実現することができる。

次に、図９を用いて、本実施例に係る任意視点映像生成装置７０及び任意視点映像生成システムで実行される内挿映像生成・表示処理の処理フローについて説明する。図９は、本実施例に係る任意視点映像生成装置７０及び任意視点映像生成プログラムで実行される内挿映像生成・表示処理を実現するための一例のフローチャートである。なお、本実施例に係る任意視点映像生成装置７０及び任意視点映像生成プログラムにおいては、テクスチャ画像を取得してから、内挿映像の生成までの処理を行うが、図９の処理フローにおいては、その前に行われるテクスチャ画像の取得と、その後に行われる内挿映像の表示処理を含めて示している。

ステップ２００では、複数のカメラＣａｍにより同期して撮影されたテクスチャ画像、撮影したカメラＣａｍｎの撮影点ＣＳの３次元座標及び視線方向、及び仮想視点ＶＰの３次元座標及び視線方向（仮想視点情報）が入力される。

ステップ２１０では、ステップ２００で取得した各情報に基づいて、ブレンドテクスチャ画像選択手段４０又はブレンドテクスチャ画像選択処理においてブレンドテクスチャ画像を選択する。ステップ２１０においては、複数のテクスチャ画像をブレンドしてブレンドテクスチャを生成するため、ブレンドするテクスチャ画像の候補をまず定める。ブレンド対象となる撮影点ＣＳのテクスチャ画像を選択するにあたっては、例えば、仮想視点ＶＰの３次元座標に撮影点ＣＳの３次元座標の距離が近い順番に、撮影点ＣＳに優先順位を与えてもよい。または、仮想視線の方向と各撮影点ＣＳの撮影方向の視線方向とを比較して、仮想視線の方向と平行に近い順に撮影点ＣＳに優先順位を与えてもよい。また、上述の３次元位置により優先順位を付与する方法と、と視線方向により優先順位を付与する方法を組み合わせてもよい。このようにして付与された優先順位に基づいて、ブレンドする複数のテクスチャ画像を選出する。

なお、選出にあたっては、可視領域抽出装置３０によりポリゴン毎に各撮影点ＣＳの可視状態を算出し、不可視状態の撮影点ＣＳは選出の対象としない手法を用いると、より高品位な内挿映像を生成することが可能である。優先順位の高い候補に不可視状態の撮影点ＣＳが存在する場合には、その撮影点ＣＳのテクスチャ画像は破棄して排除し、優先順位の高いもう一つの撮影点ＣＳを追加して選出する。したがって、この手法を用いる場合、ポリゴン毎にブレンドするテクスチャカメラＣａｍｎの構成は異なる場合があり得る。

ステップ２２０では、ブレンドテクスチャ画像生成手段５０又はブレンドテクスチャ画像生成処理により、ブレンドするにあたっての各テクスチャ画像のブレンド率（重みづけ）を算出する。ブレンド率は、撮影点ＣＳの３次元座標と、仮想視点ＶＰの３次元座標とで距離に応じて決める。または、仮想視線の方向と撮影方向の視線方向とを比較して、撮影方向の視線方向が仮想視線の方向に平行に近い度合いに応じて決める。また、上述の３次元位置によりブレンド率を付与する方法と視線方向によりブレンド率を付与する方法とを組み合わせてもよい。このようにして与えられたブレンド率に基づいてテクスチャをブレンドしてブレンドテクスチャを生成し、出力する。

なお、ステップ２１０において行った可視領域抽出装置３０による可視状態の算出結果の反映は、ステップ２２０で行うようにしてもよい。つまり、ブレンド対象として選択されたテクスチャ画像に、不可視状態の撮影点ＣＳのテクスチャ画像が含まれている場合には、この段階で、不可視状態の撮影点ＣＳのテクスチャ画像を破棄して排除し、残りのテクスチャ画像を用いてブレンド率を算出してもよい。この手法を用いる場合には、ポリゴン毎にブレンドするテクスチャカメラＣａｍｎの構成は同じとなる。よって、用途に応じて、ステップ２１０の段階で可視領域情報に基づく不可視状態の撮影点ＣＳのテクスチャ画像の削除を行うか、ステップ２２０の段階で不可視状態の撮影点ＣＳのテクスチャ画像の排除を行うかを定めるようにしてよい。なお、いずれの場合においても、可視領域抽出装置３０による可視領域の抽出は必須ではなく、必要に応じて可視領域抽出装置３０を設け、可視領域抽出を行うようにしてよい。

ステップ２３０では、内挿映像生成手段６０又は内挿映像生成処理において、各ブレンドテクスチャを３次元モデル９０に貼り付けるテクスチャマッピングを行った上で、仮想視点ＶＰからの映像を出力する。これにより、テクスチャ間の画像変化が滑らかで、ちらつきの少ない内挿映像を生成して表示することができる。

ステップ２４０では、３次元モデル９０と仮想視点ＶＰとの位置が相対的に所定の距離以上移動したかを判断する。仮想視点ＶＰと３次元モデル９０との位置が相対的に移動した場合、ステップ２１０に戻り、ブレンドテクスチャの選択及び生成を再び行い、移動後の内挿映像を生成・表示する。

なお、３次元モデル９０及び仮想視点ＶＰの位置の移動の有無の判定は、両者の相対移動のみでなく、各々の移動自体で行うようにしてもよい。例えば、３次元モデル９０が固定状態に近く、仮想視点ＶＰのみ大きな移動が予想される場合には、仮想視点ＶＰが所定の距離以上移動したか否かを判定し、所定の距離以上移動した場合に、ブレンドテクスチャ画像の生成を再び行うようにしてもよい。逆に、仮想視点ＶＰの移動が少なく、３次元モデル９０の大きな移動が予想される場合には、３次元モデル９０が所定の距離以上移動したか否かを判定し、所定の距離以上移動した場合に、ブレンドテクスチャ画像の生成を再度行うようにしてもよい。また、これらの移動閾値を、仮想視点単独、３次元モデル９０単独及び両者の相対移動の総てに対して設定するようにしてもよい。更に、位置の移動以外に、所定時間以上経過したら、ブレンドテクスチャ画像の再選択及び再生成を行うようにしてもよい。これらの移動や時間経過に伴うブレンドテクスチャ画像の再生成の場合も、総てのブレンドテクスチャ画像が適切なブレンド率で混合された画像間での再生性なので、滑らかに画像移動を行うことができる。

ステップ２４０において、仮想視点ＶＰと３次元モデル９０との位置が相対的に又は単独でも移動していないと判定された場合、ステップ２５０に進む。

ステップ２５０では、内挿映像生成・表示を終了するかを判断する。内挿映像生成・表示を終了しない場合、ステップ２４０に戻り、３次元モデル９０と仮想視点ＶＰとの位置が相対的に移動するかの判断を繰り返す。また、内挿映像生成・表示を終了する場合、任意視点映像生成・表示処理を終了する。

このように、任意視点映像生成・表示処理を任意視点映像システム又はコンピュータで実行することにより、高品位に内挿された任意視点映像を表示することができる。また、特別な装置構成を必要とせず、汎用のコンピュータに実行プログラムをインストールして上述の任意視点映像生成・表示処理を実行させることで、低コストで任意視点生成・表示処理を実現することができる。

上述したように本実施例によれば、高品位にテクスチャマッピングされた３次元モデル９０を表示することができる。これにより、手作業でテクスチャマッピングを実行している制作者側の負担が軽減できるだけでなく、ブレンドされている効果として、撮影点ＣＳや取得した３次元モデル９０に誤差があっても、ポリゴンの境目に顕著なテクスチャの不連続領域が発生しない。また、視点を移動させたり、動体の対象物を表示させたりしてもちらつきが顕著でない効果を得ることができる。

具体的には、本実施例では立体形状を持つ対象物を複数の撮影点ＣＳから撮影し、撮影された画像をもとに３次元モデル９０を作成し、複数撮影点ＣＳから撮影されたテクスチャを作成した３次元モデル９０にテクスチャマッピングする際に、テクスチャを仮想視点ＶＰに依存して選別し、それらをブレンドすることによって仮想視点ＶＰに対応した適切な内挿映像を生成することができる。また、仮想視点ＶＰ等に追従したブレンドテクスチャマッピングを実行することで高品位な任意視点映像を出力することができる。

また、本実施例では、表示する際の仮想視点位置に対応して、モデル表面にテクスチャを与える視点依存型の面テクスチャマッピング手法を行う際に、マッピングするテクスチャを複数のテクスチャをブレンドして生成することで高品位な任意視点映像を出力することができる。

なお、本実施例は、３次元ＣＧ(Computer Graphics)の生成、表示技術で用いることができ、一般的なテクスチャマッピング技術、レンダリング技術に適用することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

本実施例に係る任意視点映像生成装置及び任意視点映像表示プログラムにおけるカメラ配置の一例を示した図である。 本実施例に係る任意視点映像生成装置７０を含む任意視点映像生成システムの概要構成例を示す図である。 複数のカメラＣａｍにより対象物８０を撮影する様子を説明する図の一例である。 仮想視点ＶＰを説明するための図の一例である。 ブレンド率を仮想視点ＶＰとの距離により定める方法の一例を示した図である。 仮想視点方向と撮影方向のなす角に応じたブレンド率の算出方法の一例を説明するための図である。 ３枚のテクスチャを混合するブレンド率の算出方法の一例を説明する図である。 本実施例に係る内挿映像生成表示処理を実現するハードウェア構成の一例を示した図である。 本実施例に係る任意視点映像生成装置７０及び任意視点映像生成プログラムで実行される内挿映像生成処理を実現するフローチャートの一例である。

符号の説明

１０ 仮想視点情報取得手段
２０ ３次元形状生成装置
３０ 可視領域抽出装置
４０ ブレンドテクスチャ画像選定手段
５０ ブレンドテクスチャ画像生成手段
６０ 内挿映像生成手段
７０ 任意視点映像生成装置
８０ 対象物
９０ ３次元モデル
１００ 記録媒体
１１０ 入力装置
１２０ 出力装置
１３０ ドライブ装置
１４０ 補助記録装置
１５０ メモリ装置
１６０ ＣＰＵ
１７０ ネットワーク接続装置
Ｃａｍ カメラ
ＶＣａｍ 仮想カメラ
ＣＳ 撮影点
ＶＰ 仮想視点

Claims (7)

1. 立体形状である対象物を複数の撮影点から撮影して得られたテクスチャ画像を用いて、指定された任意の仮想視点から見える映像を生成する任意視点映像生成装置であって、
   前記テクスチャ画像の各撮影点の視線方向と前記仮想視点の視線方向との間でなされる角度が小さい順に各テクスチャ画像に優先順位を付与し、該優先順位に従って混合する複数のテクスチャ画像を選択するブレンドテクスチャ画像選択手段と、
   該ブレンドテクスチャ画像選択手段により選択された前記複数のテクスチャ画像の各撮影点における前記角度が小さい程混合率が高くなるように各テクスチャ画像の各ブレンド率を決定し、該各ブレンド率に従って前記複数のテクスチャ画像を混合してブレンドテクスチャ画像を生成するブレンドテクスチャ画像生成手段と、
   該ブレンドテクスチャ画像生成手段により生成された前記ブレンドテクスチャ画像を３次元モデルにテクスチャマッピングし、前記仮想視点から見える前記対象物の２次元の内挿映像を生成する内挿映像生成手段と、を有することを特徴とする任意視点映像生成装置。
2. 前記ブレンドテクスチャ画像選択手段は、所定時間が経過するか、又は前記仮想視点の位置が所定距離以上移動したときに、前記ブレンドテクスチャ画像を再選択することを特徴とする請求項１に記載の任意視点映像生成装置。
3. 前記ブレンドテクスチャ画像選択手段は、前記対象物が所定距離以上移動したときに、前記ブレンドテクスチャ画像を再選択することを特徴とする請求項１又は２に記載の任意視点映像生成装置。
4. 前記ブレンドテクスチャ画像選択手段は、前記仮想視点と前記３次元モデルが相対的に所定距離以上移動したときに、前記ブレンドテクスチャ画像を再選択することを特徴とする請求項１乃至３のいずれか一項に記載の任意視点映像生成装置。
5. 前記３次元モデルを構成する面のテクスチャ描画単位毎に、撮影点からの可視領域を取得する可視領域抽出手段を更に備え、
   前記ブレンドテクスチャ画像選択手段は、前記優先順位の高い順から所定数のテクスチャ画像を選択するように設定されており、前記可視領域抽出手段により取得された前記可視領域に含まれるテクスチャ画像の中から前記所定数を選択することを特徴とする請求項１乃至４のいずれか一項に記載の任意視点映像生成装置。
6. 前記３次元モデルを構成する面のテクスチャ描画単位毎に、撮影点からの可視領域を取得する可視領域抽出手段を更に備え、
   前記ブレンドテクスチャ画像生成手段は、選択された前記複数のテクスチャ画像に、前記可視領域抽出手段により取得された前記可視領域内にないテクスチャ画像が含まれているときには、該テクスチャ画像を排除してから前記ブレンド率を決定することを特徴とする請求項１乃至５のいずれか一項に記載の任意視点映像生成装置。
7. 立体形状である対象物を複数の撮影点から撮影して得られたテクスチャ画像を用いて、指定された任意の仮想視点から見える映像を生成する処理をコンピュータに実行させるための任意視点映像生成プログラムであって、
   前記テクスチャ画像の各撮影点の視線方向と前記仮想視点の視線方向との間でなされる角度が小さい順に各テクスチャ画像に優先順位を付与し、該優先順位に従って混合する複数のテクスチャ画像を選択するブレンドテクスチャ選択処理と、
   該ブレンドテクスチャ選択処理により選択された前記複数のテクスチャ画像の各撮影点における前記角度が小さい程混合率が高くなるように各テクスチャ画像の各ブレンド率を決定し、該各ブレンド率に従って前記複数のテクスチャ画像を混合してブレンドテクスチャ画像を生成するブレンドテクスチャ画像生成処理と、
   該ブレンドテクスチャ画像生成処理により生成された前記ブレンドテクスチャ画像を３次元モデルにテクスチャマッピングし、前記仮想視点から見える前記対象物の２次元の内挿映像を生成する内挿映像生成処理と、をコンピュータに実行させることを特徴とする任意視点映像生成プログラム。

Images