JP3850080B2 - 画像生成表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元画像を２次元画像に置き換えて画像生成しかつその表示を行う画像生成表示装置に関し、特に、計算機援用設計（ＣＡＤ）や科学技術シミュレーション，さらにはビデオゲーム機等の分野において、コンピュータグラフィックスや実写映像を編集したものに変形処理を加えて画面表示を行うための画像生成表示装置に関するものである。
【０００２】
【従来の技術】
近年、画像生成表示装置は写実的な画面表示を用いて、計算機と人間のコミュニケーションを図る道具として、種々の設計やシミュレーション、ゲーム機等に利用されている。
【０００３】
以下図面を参照しながら、上述した従来の画像生成表示装置の一例について説明する。
【０００４】
図２０は従来の画像生成表示装置の構成を示すものである。
【０００５】
図２０において、９９１は内包面作成部、９９２は内包面投影部、９９３は投影画像保存部、９９４はカメラ指定部、９９５はテクスチャマッピング部、９９６は生成画像表示部である。
【０００６】
次に動作について説明する。
【０００７】
まず、内包面作成部９９１において、表示対象物体を包み込むような曲面を作成する。
【０００８】
このような曲面としては、例えば、物体を内包したり物体に外接したりする球面や円筒面があるが、実際にはこのような球面や円筒面はポリゴンで作成する。
【０００９】
次に、内包面投影部９９２において、物体の表面の模様を上記曲面を構成する１つの面に投影する。
【００１０】
この投影には、例えば、上記曲面内部の点を始点とし表示対象物体表面上の任意の点を通る半直線と上記曲面との交点を算出し、この交点に物体表面の任意の点の輝度，色調を写映するなどの方法がある。
【００１１】
それから、投影画像保存部９９３において、上記曲面に投影した模様を展開し２次元画像として保存する。
【００１２】
一方、カメラ指定部９９４において、表示対象物体を仮りにカメラで見たとした場合にそのカメラの位置や視線の方向を指定する。
【００１３】
即ち、このカメラ指定部９９４は表示対象物体が画面表示される際にどの位置からどの面を見た表示とするかを指定するものである。
【００１４】
次に、テクスチャマッピング部９９５において、上記カメラから見た投影面を平面に張りつける，いわゆるテクスチャマッピング手法を用いて画像生成を実行する。
【００１５】
最後に、生成画像表示部９９６において、上記生成画像を，上記カメラから見た表示対象物体の画像として画面表示する。
【００１６】
【発明が解決しようとする課題】
しかしながら、上記のような構成では、表示対象物体に対し視線変更、即ちカメラの位置や方向に変更を加えた場合に相当する画像を生成してその表示を行おうとする場合に、その視線変更を連続的にかつ緩やかに行う場合、空間的な撮影間隔をおいてサンプルしたサンプル画像の画像数が少ないと、その動きがコマ落ちしたような不自然なものになってしまい、動きの滑らかな動画表示を行うことが非常に困難であるという課題を有していた。
【００１７】
図２１はこのサンプル画像の撮影方法の一例を示すもので、球面上から被写体を撮影する場合を示すものである。この図２１に示すように、表示対象物体（被写体）ａを覆う球面上から撮影をする際に、ある間隔で配置された撮影位置，つまり被写体を覆う球面に一定間隔で形成した経度ｃと緯度ｄの交叉点ｂ、から撮影を行うが、その経度ｃと緯度ｄの交叉点ｂから撮影した画像であるサンプル画像の画像数が少ない場合、上述のように、動きの滑らかな動画表示を行うことが非常に困難になってしまう。
【００１８】
本発明は、上記課題に鑑み、カメラの位置や方向を連続的でかつ緩やかに変更する場合に相当する画像を得る際にも、動きの滑らかな写実的な動画像を容易に生成表示することができる画像生成表示装置を提供せんとするものである。
【００１９】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１の画像生成表示装置は、表示対象を内包する仮想的な球面上に所定間隔で形成された緯線と経線の交点の位置をサンプル位置として保存するサンプル位置保存部と、前記サンプル位置から表示対象の画像を平面に投影した画像であるサンプル画像を制作するサンプル画像制作部と、前記表示対象の表面上の任意の点を特徴点候補として選択し、前記サンプル位置を、前記表示対象を描画する仮想的なカメラの位置（以下、仮想カメラ位置と称す）として前記特徴点候補を含む特徴点候補画像を生成する特徴点候補生成部と、前記生成された特徴点候補画像を保存する特徴点候補画像保存部から構成される特徴点候補画像制作部と、互いに隣接する複数のサンプル位置から見える前記特徴点候補のなかから特徴点を前記サンプル画像及び前記特徴点候補画像上に対して指定する特徴点指定部と、前記仮想的な球面上の任意の点を前記仮想カメラ位置として指定するカメラ位置入力部と、前記仮想カメラ位置に隣接する複数のサンプル位置を算出する隣接サンプル位置算出部と、前記カメラ位置入力部で指定したカメラ位置をＭ（φ，θ）とし、前記隣接サンプル位置算出部で算出した隣接するサンプル位置Ａ〜Ｄの座標をそれぞれ、Ａ（φ１，θ１）、Ｂ（φ１，θ２）、Ｃ（φ２，θ１）、Ｄ（φ２，θ２）とした場合に（但し、θ１≦θ＜θ２、φ１≦φ＜φ２）、Ａ（Ｕ _ea ，Ｖ _ea ）、Ｂ（Ｕ _eb ，Ｖ _eb ）、Ｃ（Ｕ _ec ，Ｖ _ec ）、Ｄ（Ｕ _ed ，Ｖ _ed ）とすると、変形後の、サンプル位置Ａ〜Ｄに対応する特徴点のテクスチャ座標Ｅ（Ｕ _e ，Ｖ _e ）はＵ _e ＝（１−α）（１−β）Ｕ _ea ＋α（１−β）Ｕ _eb ＋（１−α）βＵ _ec ＋αβＵ _ed Ｖ _e ＝（１−α）（１−β）Ｖ _ea ＋α（１−β）Ｖ _eb ＋（１−α）βＶ _ec ＋αβＶ _ed としてサンプル画像を変形するサンプル画像変形部と、前記変形したサンプル画像を、前記仮想カメラ位置と当該サンプル画像が位置するサンプル位置との距離を重みとする加重平均により合成することにより、前記仮想カメラ位置から見た前記表示対象画像としての合成画像を得るサンプル画像合成部と、前記合成画像を、前記仮想カメラ位置から見える表示対象を２次元平面に投影した画像として画面表示する合成画像表示部とを備えるようにしたものである。
但し、α＝（θ−θ１）／（θ２−θ１）、β＝（φ−φ１）／（φ２−φ１）である。
【００３２】
【発明の実施の形態】
実施の形態１．
以下、本発明の実施の形態１における画像生成表示装置について、図面を参照しながら説明する。
【００３３】
図１は本発明の実施の形態１における画像生成表示装置の構成図である。
【００３４】
図１において、１はカメラ位置入力部、２はサンプル位置保存部、３はサンプル画像制作部、４は特徴点候補画像制作部、５は隣接サンプル位置算出部、６は特徴点指定部、７はサンプル画像変形部、８はサンプル画像合成部、９は合成画像表示部である。
【００３５】
以上のように構成された画像生成表示装置について、以下、図１ないし図１８を用いてその動作を説明する。
【００３６】
まず、図１のサンプル位置保存部２において、実在する物体あるいはコンピュータグラフィックス（ＣＧ）表示のための仮想物体を内包する仮想的な球面上に，一定間隔で形成された緯線と経線の交点の位置をそのサンプル位置として保存する。
【００３７】
これは、例えば実写で静止画（サンプル画像）を作成する場合には、図１４のようなドームｅを実際に作り、その３次元空間上の撮影位置を保存することになる。
【００３８】
また、コンピュータグラフィックスで静止画（サンプル画像）を作成する場合には、物体，空間，カメラもすべて仮想的なものであるから、上記のようなドームを仮想的にコンピュータの内部に作り、撮影位置をその仮想空間の３次元位置によって記憶することになる。
【００３９】
なお、コンピュータグラフィックスでは、被写体はまだ画像生成されたものではなく、強いて言うならば被写体ｇ全体を１つの座標系（被写体を作成する際の座標系）ｈで表わし、その座標系ｈが上記のようなドームを定義している３次元座標系ｆのどの位置に配置するかだけを情報として持っている。
【００４０】
そしてその被写体（仮想物体）ｇの各頂点の座標値は、座標系ｆで示されており、その値は、図３のサンプル画像制作部３内の物体モデル保存部３１に保存される。
【００４１】
図７は本発明の実施の形態１における画像生成表示装置の視点位置の概念図である。図７において、７１は表示対象物体（被写体）、７２は座標軸、７３は表示対象物体を内包する仮想的な曲面である球面（以下、仮想球と称す）、７４は仮想球７３の中心である。
【００４２】
この表示対象物体を撮影するサンプル位置の例として、表示対象物体７１の重心、即ち、その境界線により周囲の空間から仕切られた箱状の空間（バウンダリボックス）の重心をその中心とするような仮想球７３の表面上の点Ａ〜Ｄがある。この点Ａ〜Ｄは点ＡとＢとが同じ緯度に位置し、点ＣとＤとが点ＡとＢとは別の，同じ緯度に位置し、点ＡとＣとが同じ経度に位置し、さらに点ＢとＤとが点ＡとＣとは別の，同じ経度に位置するものである。
【００４３】
次に、図１のサンプル画像制作部３において、サンプル画像、即ち、上記サンプル位置から見た表示対象物体を平面に投影した画像を制作する。ここで、視線ベクトルは上記サンプル位置を始点とし、仮想球７３の中心７４を終点とする。
【００４４】
図８は本発明の実施の形態１における画像生成表示装置のサンプル画像の概念図である。図８において、８１〜８４はサンプル画像である。
【００４５】
このサンプル画像８１〜８４はそれぞれ図７のサンプル位置Ａ〜Ｄから表示対象画像を撮像して得られたサンプル画像の例である。
【００４６】
図２は図１に示された，本発明の実施の形態１における画像生成表示装置のサンプル画像制作部３の第１の構成例を示す図であり、この構成例は表示対象が実在する物体、即ち、実写映像である場合にそのサンプル画像を制作する場合を示している。図２において、２１は物体撮影部、２２はサンプル画像保存部である。
【００４７】
このサンプル画像制作部３においては、まず、物体撮影部２１において、各サンプル位置から表示対象物体をカメラにより撮影しこれを２次元画像に変換する。
【００４８】
次に、サンプル画像保存部２２において、上記２次元画像をサンプル画像として保存する。これにより、静止画を用いて動画を生成するのに必要な，多視点から撮影した静止画をサンプル画像として得ることができる。
【００４９】
図３は図１に示された，本発明の実施の形態１における画像生成表示装置のサンプル画像制作部の第２の構成例を示す図であり、この構成例は表示対象がコンピュータグラフィックス（ＣＧ）映像である場合にそのサンプル画像を制作する場合を示している。図３において、３１は物体モデル保存部、３２はサンプル画像生成部、３３はサンプル画像保存部である。
【００５０】
このサンプル画像制作部３においては、まず、物体モデル保存部３１において、表示対象物体の形状及び属性データからなる物体モデルを保存する。
【００５１】
なお、この物体モデルは、コンピュータグラフィックス映像ではなく仮想物体であり、物体を定義する際の座標系での物体を構成する頂点座標値，どの頂点を結んで平面（ポリゴン）を形成しているかの情報等からなる形状データと、その平面に張りつけるテクスチャの種類，そのテクスチャ自身の持つ座標値，透明度等の属性データから構成されている。
【００５２】
図１５はこの物体モデル内に存在する１つのポリゴンｉとテクスチャの座標系ｊとの対応関係を示す。
【００５３】
次に、図３のサンプル画像生成部３２において、上記各サンプル位置を仮想的なカメラの位置として上記物体モデルを見た場合の物体モデルを画像生成する。
【００５４】
なお、この画像生成処理は、レイトレーシング（光線追跡法）やＺバッファ法の手法によってその順序が異なるが、一般的には図１６に示すような順序でその処理を行う。
【００５５】
図１６において、３２１は世界座標変換手段、３２２は視点座標変換手段、３２３はクリッピング処理手段、３２４は透視変換手段、３２５は輝度計算手段、３２６はテクスチャマッピング手段、３２７は隠れ面処理手段である。
【００５６】
まず、世界座標変換手段３２１によりポリゴンとテクスチャとの間で世界座標の変換を行い、次に視点座標変換手段３２２により視点座標の変換を行う。そして、クリッピング処理手段３２３によりクリッピング処理を行い、透視変換手段３２４により透視変換を行う。そして、輝度計算手段３２５によりテクスチャの輝度計算を行い、テクスチャマッピング手段３２６によりテクスチャマッピング（テクスチャの張りつけ）を行う。そして、最後に隠れ面処理手段３２７により隠れ面処理を行う。なお、本発明の画像生成処理はこの手順や手法に限られるものではない。
【００５７】
最後に、図３のサンプル画像保存部３３において、サンプル画像生成部３２で生成した画像をサンプル画像として保存する。
【００５８】
そして、図１の特徴点候補画像制作部４において、物体表面上の点を，上記２次元画像を投影する平面上に投影した画像からなる特徴点候補画像を制作する。
【００５９】
図４は本発明の実施の形態１における画像生成表示装置の特徴点候補画像制作部の第１の構成例を示す図であり、この構成例は実写映像を生成表示する場合にその特徴点候補画像を制作する場合を示している。図４において、４１は特徴点候補、４２は特徴点候補撮影部、４３は特徴点候補画像保存部である。
【００６０】
まず、表示対象物体の表面に特徴点候補４１となる目印を、人手によるマーキング等によって付加する。
【００６１】
次に、特徴点候補撮影部４２において、サンプル位置から上記目印を付加した表示対象物体をカメラで撮影しこれを２次元画像に変換する。
【００６２】
最後に、特徴点画像保存部４３において、上記２次元画像を特徴点候補画像、即ち特徴点となる可能性のある物体表面上の点を含む画像、として保存する。この特徴点候補画像は、例えば、モーションキャプチャをカメラで撮影した画像がこれにあたる。なお、特徴点とは、例えばモーションキャプチャをカメラで撮影した場合、そのマーカがこれに相当する。そしてこの場合、マーカやそれ以外にもさまざまなものが映っているが、これらが特徴点候補画像に該当する。
【００６３】
図５は本発明の実施の形態１における画像生成表示装置の特徴点候補画像制作部の第２の構成例を示す図であり、この構成例はコンピュータグラフィック（ＣＧ）映像を生成表示する場合にその特徴点候補画像を制作する場合を示している。図５において、５１は特徴点候補位置保存部、５２は特徴点候補生成部、５３は特徴点候補画像保存部である。
【００６４】
まず、特徴点候補位置保存部５１において、表示対象物体の表面上の任意の点を特徴点候補モデルとしてその３次元位置を保存する。
【００６５】
この特徴点候補は物体の頂点やエッジ，色や明るさが急激に変化する点等を基準として選択する。
【００６６】
その手法としては、形状モデルが既知であるので、オペレータが特徴点候補を数値的に入力する方法があり、また、形状モデルとテクスチャ等の属性データをもとに、既に述べたような画像生成の手法で実際に描画を行い、特徴点候補を画面上で指定し、３次元位置を保存する方法等がある。
【００６７】
図１７はこの３次元位置の保存方法を示す。図１７において、５１１は物体モデルを描画するステップ、５１２は特徴点候補を選択するステップ、５１３は仮想カメラの視点とマーカを結ぶ半直線と物体データとの交点の３次元座標を得るステップ、５１４は物体座標系の３次元位置に変換するステップ、５１５は複数の特徴点を求めたか否かを判定するステップ、５１６は仮想カメラの位置を変更したか否かを判定するステップ、５１７は仮想カメラの位置を変更するステップである。
【００６８】
この３次元位置の保存方法は以下のようになる。
【００６９】
即ち、
(1) 仮想カメラ位置と視線方向を選び、その位置から見た物体モデルを画像生成の手法を用いて実際に描画する（ステップ５１１）。
【００７０】
(2) 特徴点候補としたい位置（点）を描画された画面上でマウス等を使って指定し、描画画面上にマーカを付ける（ステップ５１２）。
【００７１】
(3) 仮想カメラの視点位置から描画画面上の指定された点（マーカ）を通る半直線を３次元空間上で引き、３次元空間上に配置されている形状データとの交点の３次元空間位置を算出する（ステップ５１３）。
【００７２】
(4) 交点の３次元位置は視点座標系での値なので、物体座標系での３次元位置に変換する（ステップ５１４）。
【００７３】
(5) (2) 〜(4) を繰り返し、複数の特徴点候補を求める（ステップ５１５）。
【００７４】
(6) (1) に戻り、異なる位置に仮想カメラを配置し（ステップ５１６，５１７）、(2) 〜(4) を繰り返す。
【００７５】
次に、図５の特徴点候補生成部５２において、サンプル位置を仮想的なカメラの位置として上記特徴点候補モデルを画像生成する。
【００７６】
その処理は、適切なサンプル位置に仮想カメラを配置し、３次元空間位置の特徴点候補を画像生成手法により描画する。そしてその特徴点候補はマーカ等で明示することになる。
【００７７】
最後に、特徴点候補画像保存部５３において、上記特徴点候補生成部で生成した画像を特徴点候補画像として保存する。
【００７８】
図９は本発明の実施の形態１における画像生成表示装置の特徴点候補の概念図である。図９において、９１〜９４はサンプル画像であり、このサンプル画像９１〜９４は図７のサンプル位置Ａ〜Ｄに対応する特徴点の候補画像の例である。また、Ｅ〜Ｋはそのサンプル画像の特徴点候補である。
【００７９】
次に、図１の特徴点指定部６において、隣接する複数のサンプル位置から見える物体表面上の点を特徴点として上記サンプル画像及び特徴点候補画像上に指定する。
【００８０】
図６は本発明の実施の形態１における画像生成表示装置の特徴点指定部の構成図である。図６において、６１は画像合成表示部、６２は特徴点選択部、６３は特徴点保存部である。
【００８１】
まず、画像合成表示部６１において、サンプル画像と特徴点候補画像を任意の割合でアルファ合成し、画面表示する。
【００８２】
図１８はこのアルファ合成を行う手段の構成例を示す。図１８において、６１１は特徴点候補画像に対しα（αは合成比率であり、０≦α≦１を満たす任意の値）を掛ける乗算器、６１２はサンプル画像に対し（１−α）を掛ける乗算器、６１３はこれら乗算器６１１，６１２の出力の和をとり合成画像を出力する加算器である。
【００８３】
このアルファ合成は２つの映像の加重平均をとるものであるが、このアルファ合成を行う理由は、ＣＧ映像の場合、サンプル画像と特徴点候補画像を合成しないと、どの特徴点候補を特徴点として選択すればよいかが判明しないからである。なお、実写映像の場合は、特徴点候補画像にも表示対象物体が映っているので、必ずしもアルファ合成を行う必要はない。
【００８４】
次に、図６の特徴点選択部６２において、上記合成画像の特徴点候補から特徴点のみからなる特徴点画像を、対話的にあるいは画像認識により自動的に選択する。
【００８５】
この特徴点選択部６２によって、特徴点候補のなかから特徴点を選択することにより、ノイズのような特徴点を除去するだけでなく、特徴点の数をできるだけ少なくし、これ以降の処理における演算量を削減することができる。
【００８６】
そしてその際、選択する特徴点としては、画像の輝度や色彩が急激に変化する部分、即ち、画像の輪郭部や角部を選択するのが一般的である。
【００８７】
また、画像認識により特徴点を自動的に選択する手法は、例えば次のようなものがある。
【００８８】
(1) ｎ×ｎ画素からなる重み付けされたブロックをサンプル画像上で移動させ、各画像データと重みを掛け算してその和をとるようなフィルタ処理により、不要な特徴点候補を除去する。
【００８９】
(2) ある輝度値以下の値をもつ特徴点候補の画素は除去する。
【００９０】
但し、コンピュータグラフィックスで求めた特徴点候補については、以上の手法を使用できないため、手動で特徴点候補を選び、最終的な特徴点も手動で選ばざるを得なくなる。
【００９１】
そして、図６の特徴点保存部６３において、上記特徴点の２次元位置を保存する。
【００９２】
次に、図１のカメラ位置入力部１において、上記球面上の任意の点を仮想的なカメラの位置に指定する。
【００９３】
そして、隣接サンプル位置算出部５において、上記カメラ位置に隣接するサンプル位置を算出する。
【００９４】
さらに、サンプル画像変形部７において、上記サンプル位置から撮影して得られたサンプル画像をそれぞれの特徴点が一致するように変形する。
【００９５】
図１０は本発明の実施の形態１における画像生成表示装置の画像変形の概念図である。図１０において、１０１〜１０４は変形後のサンプル画像である。
【００９６】
図１１は本発明の実施の形態における画像生成表示装置のテクスチャ座標の概念図である。図１１において、１１１はテクスチャ座標軸、１１２はサンプル画像である。
【００９８】
まず、カメラ位置入力部１で指定したカメラ位置Ｍと、隣接サンプル位置算出部５で算出した隣接するサンプル位置Ａ〜Ｄの仮想球７３上の座標をそれぞれ、Ｍ（φ，θ）、Ａ（φ１，θ１），Ｂ（φ１，θ２），Ｃ（φ２，θ１），Ｄ（φ２，θ２）とする。
【００９９】
ここで、θおよびφはそれぞれ次式を満たすものとする。
【０１００】
θ１≦θ＜θ２
φ１≦φ＜φ２
変形前のサンプル位置Ａ〜Ｄの特徴点Ｅのテクスチャ画像をそれぞれ、
Ａ（Ｕ_ea，Ｖ_ea），Ｂ（Ｕ_eb，Ｖ_eb），Ｃ（Ｕ_ec，Ｖ_ec），Ｄ（Ｕ_ed，Ｖ_ed）とすると、変形後のサンプル位置Ａ〜Ｄの特徴点Ｅのテクスチャ座標Ｅ（Ｕ_e ，Ｖ_e ）は次式で算出する。
【０１０１】
Ｕ_e ＝Ｗ_a ・Ｕ_ea＋Ｗ_b ・Ｕ_eb＋Ｗ_c ・Ｕ_ec＋Ｗ_d ・Ｕ_ed
Ｖ_e ＝Ｗ_a ・Ｖ_ea＋Ｗ_b ・Ｖ_eb＋Ｗ_c ・Ｖ_ec＋Ｗ_d ・Ｖ_ed
ここで、Ｗ_a ，Ｗ_b ，Ｗ_c ，Ｗ_d は次式を満たすものとする。
【０１０２】
Ｗ_a ＝（１−α）（１−β）
Ｗ_b ＝α（１−β）
Ｗ_c＝（１−α）β
Ｗ_d ＝αβ
α＝（θ−θ１）／（θ２−θ１）
β＝（φ−φ１）／（φ２−φ１）
同様にして、変形前のサンプル位置Ａ〜Ｄの特徴点Ｆ〜Ｋのテクスチャ座標を用いて変形後のサンプル位置Ａ〜Ｄの特徴点Ｆ〜Ｋのテクスチャ座標を算出することで、サンプル画像の変形を行う。
【０１０３】
次に、図１のサンプル画像合成部８において、変形した上記サンプル画像をカメラ位置とサンプル位置との距離を重みとする加重平均により合成画像を作成する。
【０１０４】
以下、図１２，図１３を用いてその変形方法を説明する。
【０１０５】
図１２は本発明の実施の形態１における画像生成表示装置の合成画像の概念図である。図１２において、１２１は変形後の合成画像、１２２は合成画像である。
【０１０６】
図１３は本発明の実施の形態１における画像生成表示装置の加重平均の概念図である。図１３において、Ａ〜Ｄはサンプルの視点位置、Ｍは視点位置である。
【０１０７】
加重平均の重みＷ_a ，Ｗ_b ，Ｗ_c ，Ｗ_d は次式で算出する。
【０１０８】
Ｗ_a ＝（１−α）（１−β）
Ｗ_b ＝α（１−β）
Ｗ_c ＝（１−α）β
Ｗ_d ＝αβ
ここでαおよびβは次式を満たすものとする。
【０１０９】
α＝（θ−θ１）／（θ２−θ１）
β＝（φ−φ１）／（φ２−φ１）
そして、画像の輝度についても、以上で説明した座標と同様のアルゴリズムによりこれを合成する。
【０１１０】
最後に、合成画像表示部９において、上記合成画像を上記カメラ位置から見える表示対象物体を２次元平面に投影した画像として画面表示する。
【０１１１】
これにより、実写あるいはコンピュータグラフィックスにより生成したサンプル画像を用いて、サンプル位置ではない仮想カメラ位置からの映像を、その複数のサンプル画像のうちの現在仮想カメラで撮影したい仮想カメラ位置の近傍にあるカメラ位置から撮影（または生成）したサンプル画像を補間してこれを生成し、表示することができ、カメラの位置や方向を連続的でかつ緩やかに変更した場合に相当する画像を生成する場合に、そのサンプル画像が少ない場合でも、動きの滑らかな写実的な動画像を複雑な演算を用いることなく容易に生成表示することができる。
【０１１２】
このため、任意の仮想カメラ位置からの映像を全てコンピュータグラフィックス映像により作り出すのに要する処理時間よりも遙かに短い処理時間で、緩やかに視線変更を行った場合に相当する動画像を、容易にかつ滑らかに生成表示することができる。
【０１１３】
このように、本実施の形態１の装置によれば、サンプル画像を用いて任意のカメラ位置から見た表示対象を生成し、これを表示するようにしたので、カメラの位置や方向を連続的でかつ緩やかに変更した場合に相当する画像を生成する場合に、そのサンプル画像が少ない場合でも、動きの滑らかな写実的な動画像を容易にかつ短時間に生成してこれを表示することができる。
【０１１４】
実施の形態２．
以下、本発明の実施の形態２における生成表示画像編集装置および画像生成表示装置について、図面を参照しながら説明する。
【０１１５】
この実施の形態２は実施の形態１における画像生成表示装置を、その生成表示の準備段階である編集を行う生成表示画像編集装置と本来の画像の生成表示を行う画像生成表示装置とに分割し、これらを別個の装置として実現したものである。
【０１１６】
図１９は本発明の実施の形態２における生成表示画像編集装置および画像生成表示装置の構成図である。
【０１１７】
図において、２００は生成表示画像編集装置、３００は画像生成表示装置である。
【０１１８】
生成表示画像編集装置２００は、サンプル位置保存部２，サンプル画像制作部３，特徴点候補画像制作部４，特徴点指定部６からなり、表示対象に関するサンプル画像を生成するとともに、これに関する特徴点を指定する。
【０１１９】
また、画像生成表示装置３００はカメラ位置入力部１，隣接サンプル位置算出部５，サンプル画像変形部７，サンプル画像合成部８，合成画像表示部９からなり、生成表示画像編集装置２００により得られたサンプル画像および特徴点に基づき、カメラ位置入力部１により得られた視線情報を用いてサンプル画像を変形し、これを表示する。
【０１２０】
このように、本実施の形態２の装置によれば、装置が画像生成表示の準備段階である編集を行う生成表示画像編集装置と本来の画像の生成表示を行う画像生成表示装置とに分離されているので、ビデオゲーム機等，専ら画像の生成表示を行い、中央演算処理装置の処理能力にあまり期待ができない画像生成表示装置に対して、その画像生成表示に必要なサンプル画像および特徴点の情報を予め生成して、これに提供しておくことができる。
【０１２１】
従って、このような生成表示画像編集装置を用いることによって、画像生成表示装置の中央演算処理装置にあまり負荷をかけることなく、カメラの位置や方向を連続的でかつ緩やかに変更する場合に相当する，動きの滑らかな写実的な動画像を容易に生成表示することができる。
【０１２２】
【発明の効果】
以上のように、本発明の請求項１の画像生成表示装置によれば、表示対象を内包する仮想的な球面上に所定間隔で形成された緯線と経線の交点の位置をサンプル位置として保存するサンプル位置保存部と、前記サンプル位置から表示対象の画像を平面に投影した画像であるサンプル画像を制作するサンプル画像制作部と、前記表示対象の表面上の任意の点を特徴点候補として選択し、前記サンプル位置を、前記表示対象を描画する仮想的なカメラの位置（以下、仮想カメラ位置と称す）として前記特徴点候補を含む特徴点候補画像を生成する特徴点候補生成部と、前記生成された特徴点候補画像を保存する特徴点候補画像保存部から構成される特徴点候補画像制作部と、互いに隣接する複数のサンプル位置から見える前記特徴点候補のなかから特徴点を前記サンプル画像及び前記特徴点候補画像上に対して指定する特徴点指定部と、前記仮想的な球面上の任意の点を前記仮想カメラ位置として指定するカメラ位置入力部と、前記仮想カメラ位置に隣接する複数のサンプル位置を算出する隣接サンプル位置算出部と、前記カメラ位置入力部で指定したカメラ位置をＭ（φ，θ）とし、前記隣接サンプル位置算出部で算出した隣接するサンプル位置Ａ〜Ｄの座標をそれぞれ、Ａ（φ１，θ１）、Ｂ（φ１，θ２）、Ｃ（φ２，θ１）、Ｄ（φ２，θ２）とした場合に（但し、θ１≦θ＜θ２、φ１≦φ＜φ２）、変形前の、サンプル位置Ａ〜Ｄに対応する特徴点のテクスチャ画像をそれぞれ、Ａ（Ｕ _ea ，Ｖ _ea ）、Ｂ（Ｕ _eb ，Ｖ _eb ）、Ｃ（Ｕ _ec ，Ｖ _ec ）、Ｄ（Ｕ _ed ，Ｖ _ed ）とすると、変形後の、サンプル位置Ａ〜Ｄに対応する特徴点のテクスチャ座標Ｅ（Ｕ _e ，Ｖ _e ）はＵ _e ＝（１−α）（１−β）Ｕ _ea ＋α（１−β）Ｕ _eb ＋（１−α）βＵ _ec ＋αβＵ _ed Ｖ _e ＝（１−α）（１−β）Ｖ _ea ＋α（１−β）Ｖ _eb ＋（１−α）βＶ _ec ＋αβＶ _ed としてサンプル画像を変形するサンプル画像変形部と、
前記変形したサンプル画像を、前記仮想カメラ位置と当該サンプル画像が位置するサンプル位置との距離を重みとする加重平均により合成することにより、前記仮想カメラ位置から見た前記表示対象画像としての合成画像を得るサンプル画像合成部と、前記合成画像を、前記仮想カメラ位置から見える表示対象を２次元平面に投影した画像として画面表示する合成画像表示部とを備えるようにしたので（但し、α＝（θ−θ１）／（θ２−θ１）、β＝（φ−φ１）／（φ２−φ１）である。）、連続的で緩やかなカメラの位置や方向の変更に即した動きの滑らかな写実的な動画像を、複雑な演算を用いることなく生成表示することができるとともに、サンプル画像変形部は、変形前のサンプル位置の特徴点のテクスチャ画像を用いて、複雑な演算処理を行うことなく、変形後のサンプル位置の特徴点のテクスチャ座標を算出できる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像生成表示装置の構成図である。
【図２】本発明の実施の形態１における画像生成表示装置のサンプル画像制作部の第１の実施例における構成図である。
【図３】本発明の実施の形態１における画像生成表示装置のサンプル画像制作部の第２の実施例における構成図である。
【図４】本発明の実施の形態１における画像生成表示装置の特徴点候補画像制作部の第１の実施例における構成図である。
【図５】本発明の実施の形態１における画像生成表示装置の特徴点候補画像制作部の第２の実施例における構成図である。
【図６】本発明の実施の形態１における画像生成表示装置の特徴点指定部の構成図である。
【図７】本発明の実施の形態１における画像生成表示装置の視点位置の概念図である。
【図８】本発明の実施の形態１における画像生成表示装置のサンプル画像の概念図である。
【図９】本発明の実施の形態１における画像生成表示装置の特徴点候補の概念図である。
【図１０】本発明の実施の形態１における画像生成表示装置の画像変形の概念図である。
【図１１】本発明の実施の形態１における画像生成表示装置のテクスチャ座標の概念図である。
【図１２】本発明の実施の形態１における画像生成表示装置の合成画像の概念図である。
【図１３】本発明の実施の形態１における画像生成表示装置の加重平均の概念図である。
【図１４】ドームの座標系と仮想物体を作成する際の座標系との関係を示す図である。
【図１５】物体モデル内に存在する１つのポリゴンとテクスチャの座標系との対応関係を示す図である。
【図１６】一般的な画像生成処理手法の順序を示す図である。
【図１７】３次元位置の保存方法を示すフローチャート図である。
【図１８】アルファ合成を行う手段の構成例を示す図である。
【図１９】本発明の実施の形態２における生成表示画像編集装置および画像生成表示装置の構成図である。
【図２０】画像生成表示装置の従来例の構成図である。
【図２１】サンプル画像の撮影方法の一例を示す図である。
【符号の説明】
１ … カメラ位置入力部
２ … サンプル位置保存部
３ … サンプル画像制作部
４ … 特徴点候補画像制作部
５ … 隣接サンプル位置算出部
６ … 特徴点指定部
７ … サンプル画像変形部
８ … サンプル画像合成部
９ … 合成画像表示部
２１ … 物体撮影部
２２ … サンプル画像保存部
３１ … 物体モデル保存部
３２ … サンプル画像生成部
３３ … サンプル画像保存部
４１ … 特徴点候補
４２ … 特徴点候補撮影部
４３ … 特徴点候補画像保存部
５１ … 特徴点候補位置保存部
５２ … 特徴点候補生成部
５３ … 特徴点候補画像保存部
６１ … 画像合成表示部
６２ … 特徴点選択部
６３ … 特徴点保存部
７１ … 表示対象物体
７２ … 座標軸
７３ … 仮想球
８１，８２，８３，８４ … サンプル画像
９１，９２，９３，９４ … サンプル画像
１０１，１０２，１０３，１０４ … 変形後のサンプル画像
１１１ … テクスチャ座標軸
１１２ … サンプル画像
１２１ … 変形後の合成画像
１２２ … 合成画像
Ａ，Ｂ，Ｃ，Ｄ … サンプルの視点位置
Ｍ … 視点位置

Claims (1)

1. 表示対象を内包する仮想的な球面上に所定間隔で形成された緯線と経線の交点の位置をサンプル位置として保存するサンプル位置保存部と、
   前記サンプル位置から表示対象の画像を平面に投影した画像であるサンプル画像を制作するサンプル画像制作部と、
   前記表示対象の表面上の任意の点を特徴点候補として選択し、前記サンプル位置を、前記表示対象を描画する仮想的なカメラの位置（以下、仮想カメラ位置と称す）として前記特徴点候補を含む特徴点候補画像を生成する特徴点候補生成部と、前記生成された特徴点候補画像を保存する特徴点候補画像保存部から構成される特徴点候補画像制作部と、
   互いに隣接する複数のサンプル位置から見える前記特徴点候補のなかから特徴点を前記サンプル画像及び前記特徴点候補画像上に対して指定する特徴点指定部と、
   前記仮想的な球面上の任意の点を前記仮想カメラ位置として指定するカメラ位置入力部と、
   前記仮想カメラ位置に隣接する複数のサンプル位置を算出する隣接サンプル位置算出部と、
   前記カメラ位置入力部で指定したカメラ位置をＭ（φ，θ）とし、
   前記隣接サンプル位置算出部で算出した隣接するサンプル位置Ａ〜Ｄの座標をそれぞれ、
   Ａ（φ１，θ１）、Ｂ（φ１，θ２）、Ｃ（φ２，θ１）、Ｄ（φ２，θ２）とした場合に（但し、θ１≦θ＜θ２、φ１≦φ＜φ２）、
   変形前の、サンプル位置Ａ〜Ｄに対応する特徴点のテクスチャ画像をそれぞれ、
   Ａ（Ｕ _ea ，Ｖ _ea ）、Ｂ（Ｕ _eb ，Ｖ _eb ）、Ｃ（Ｕ _ec ，Ｖ _ec ）、Ｄ（Ｕ _ed ，Ｖ _ed ）とすると、変形後の、サンプル位置Ａ〜Ｄに対応する特徴点のテクスチャ座標Ｅ（Ｕ _e ，Ｖ _e ）は
   Ｕ _e ＝（１−α）（１−β）Ｕ _ea ＋α（１−β）Ｕ _eb ＋（１−α）βＵ _ec ＋αβＵ _ed
   Ｖ _e ＝（１−α）（１−β）Ｖ _ea ＋α（１−β）Ｖ _eb ＋（１−α）βＶ _ec ＋αβＶ _ed
   としてサンプル画像を変形するサンプル画像変形部と、
   前記変形したサンプル画像を、前記仮想カメラ位置と当該サンプル画像が位置するサンプル位置との距離を重みとする加重平均により合成することにより、前記仮想カメラ位置から見た前記表示対象画像としての合成画像を得るサンプル画像合成部と、
   前記合成画像を、前記仮想カメラ位置から見える表示対象を２次元平面に投影した画像として画面表示する合成画像表示部とを備えたことを特徴とする画像生成表示装置。
   但し、α＝（θ−θ１）／（θ２−θ１）、β＝（φ−φ１）／（φ２−φ１）である。

Images