JP3648099B2 - 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 - Google Patents
画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3648099B2 JP3648099B2 JP21080999A JP21080999A JP3648099B2 JP 3648099 B2 JP3648099 B2 JP 3648099B2 JP 21080999 A JP21080999 A JP 21080999A JP 21080999 A JP21080999 A JP 21080999A JP 3648099 B2 JP3648099 B2 JP 3648099B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- sight
- unit
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元コンピュータグラフィックスにおいて、実写画像を用いて物体を表示する画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
本明細書において、３次元コンピュータグラフィックス（以下、３次元ＣＧと記す）とは、３次元仮想空間中の物体を透視投影変換して得られる２次元画像をコンピュータを用いて、ディスプレイに表示することを意味する。
【０００３】
３次元ＣＧにおける物体（オブジェクトと呼ぶこともある）のモデリングでは、物体の形状をポリゴンの集合で表し、物体の色をテクスチャマッピングなどによって与える手法が通常よく用いられている。
【０００４】
一方、３次元ＣＧにおいて物体をよりリアルに表示するために、ディジタルカメラ等を用いて取得した実写画像を用いる手法が最近注目されている。
【０００５】
実写画像を用いる手法として最も単純なものは次のような方法である。まず、表示したい物体を直方体で近似する。次に、直方体の各面の正面にあたる方向からディジタルカメラ等で物体の画像を撮影し、得られた画像をテクスチャとしてそれぞれの面にマッピングする。このようにして作成されたモデルは、物体の形状が直方体に近ければかなりのリアリティを持つ。
【０００６】
【発明が解決しようとする課題】
前者の場合、複雑な形状の物体を忠実にポリゴンで再現しようとすると、必要なポリゴンの数が膨大なものとなり、ポリゴンデータ、すなわちジオメトリデータも膨大なものとなる。現状ではこのような作業を自動的に行なう手法が確立されていないため、モデリングは人手を介した大変な労力を要する作業になる。また、３次元ＣＧにおいては、視点や視線が変化するたびにジオメトリデータの変換を行なう必要があるため、ジオメトリデータ変換処理にかかる負担が非常に大きくなってしまうという問題がある。
【０００７】
また後者の実写画像を用いた単純な手法では、元の物体の形状が直方体から少しずれている場合、斜め方向から見たときに不自然な歪みが生ずる。例えば、図１のような、直方体の表面に若干の凹凸がある物体にこの手法を用いた場合について考える。斜め方向からこの物体を見たときに、本来であれば図２のように見えるはずであるが、この手法を用いると図３のように表示され、凹凸が再現されない。
【０００８】
また、元の物体の形状が直方体から大きくずれている場合にこの手法を用いると、斜め方向から見たときの不自然さはいっそう増す。例えば、図４のような湯のみに対してこの手法を用いた場合について考える。斜め方向からこの湯のみを見たとき、図５のように本来ならば見えないはずの背景が見えてしまい、かなり不自然な表示となる。
【０００９】
以上述べた通り、この手法はモデリングが非常に簡単であるという利点はあるが、視点の位置や視線の方向を様々に変化させたときに表示が不自然になってしまうという欠点がある。この不自然さを解消しようとすると、湯飲みの形状を忠実にポリゴンで再現することが必要になり、この場合のジオメトリデータの増大やモデリングにかかる膨大な手間の問題は前述したとおりである。
【００１０】
以上述べたような現状を踏まえ、本発明の目的は、
１つには、モデリングが簡単に行なえ、
次に、３次元仮想空間レイアウトシステムへの応用を考慮して物体の操作や衝突検出が可能であるようにし、
更に、３次元ＣＧの重要な応用例であるウォークスルーを実現するために視点や視線の変化を自由に行なうことができ、
また隠面消去を行なうことができるような、充分なリアリティを持つ、実写画像を利用した画像合成表示手法を提供することである。
【００１１】
【課題を解決するための手段】
上記目的を達成するための方法として、３次元ＣＧデータとして、一つの物体について、物体の操作や衝突検出のためのジオメトリデータと、表示のための画像データとをそれぞれ独立に持つ構成をとる。ジオメトリデータとしては、物体の概形を表す仮オブジェクトをあらかじめ用意しておく。画像データは、表示対象物体をいくつかの方向から撮影したものをあらかじめ用意し、表示対象物体を抽出しておき、ピクセル毎に奥行き値を与えておく、視点や視線の変化に対して仮オブジェクトの形状が変化するので、それに適合するように実写画像に対する適切な変換を行ない、仮オブジェクトの位置に、奥行き値を考慮して合成し表示する。
【００１２】
従来では、実写画像をテクスチャとして、ポリゴンに対してテクスチャマッピングを行なった上で表示を行なっていた。このような手法では、物体の見え方はポリゴン分割の詳細度に依存する。一方、本発明では、仮オブジェクトによって物体の表示される位置と形状とを決め、それに合わせて実写画像を奥行き値を考慮して合成し表示する。したがって、物体の見え方はポリゴン分割の詳細度に依存しない。本発明のように、テクスチャマッピングを行なわずに実写画像を用いて奥行き値を考慮して合成し物体を表示する方法であって、しかも物体の操作や衝突検出が可能であるものは従来存在しなかった。
【００１３】
上記課題を解決するための手段として、仮オブジェクト作成手段と、画像撮影手段と、物体抽出手段と、奥行き値付与手段と、カメラパラメータ抽出手段と、仮オブジェクト配置手段と、画像選択手段と、画像変換手段と、画像合成手段と、画像表示手段とを設ける。
【００１４】
仮オブジェクト作成手段により作成された仮オブジェクトは、物体の概略の形状（以下概形という）を表すとともに、物体の位置と占有範囲とを表す。したがって、仮オブジェクト配置手段を用いて物体を所望の位置に配置した後、回転や移動などの操作を行なうことができ、また、衝突検出を行なうことができる。仮オブジェクトは物体の概形を表すのみであるので多数のポリゴンを用いる必要がなく、ジオメトリデータの作成を簡単に行なうことができる。
【００１５】
実写画像は画像撮影手段によって取得される。次に、取得された実写画像から、物体抽出手段によって表示対象の物体のみをあらかじめ抽出しておく。抽出された部分について、奥行き値付与手段によって、ピクセル毎に奥行き値を持たせる。この奥行き値を用いることにより隠面消去が可能となる。
【００１６】
また、カメラパラメータ抽出手段によって、後の画像変換に必要なカメラパラメータを抽出しておく。
【００１７】
また、３次元仮想空間中の視点や視線の変化に対して、あらかじめ用意された実写画像の中から画像選択手段によって適切な画像が選択される。
【００１８】
選択された画像は、撮影時のカメラの方向や３次元仮想空間中の視点や視線などの情報を用いて、画像変換手段により適切な形に変形される。
【００１９】
変形された画像を用いて、画像合成手段によって、表示される大きさを調整し、奥行き値を考慮して表示すべき画像を合成する。
【００２０】
最終的に、画像表示手段によって、合成された画像が仮オブジェクトの位置に表示される。
【００２１】
以上のようにして、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、隠面消去を行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【００２２】
【発明の実施の形態】
〔実施例１〕
図６は本発明の第１の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、５はカメラパラメータ抽出部、６は仮オブジェクト配置部、７は画像選択部、８は画像変換部、９は画像補正部、１０は画像再投影部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１６はカメラパラメータ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【００２３】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【００２４】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ。このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【００２５】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。この様子を図８に示す。図８の左側の物体を右側のように近似する。
【００２６】
このときの近似の程度によって、衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【００２７】
仮オブジェクトを作成したのち、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【００２８】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【００２９】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。この様子を図９に示す。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【００３０】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【００３１】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表すマスクデータを作成する。マスクデータは以下のようなものである。
【００３２】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【００３３】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【００３４】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方はいくつかの方法が考えられ、目的に応じて適当なものを採用する。
【００３５】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【００３６】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【００３７】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【００３８】
以上、画像撮影部２において作成された画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【００３９】
カメラパラメータ抽出部
カメラパラメータ抽出部５では、カメラパラメータ抽出手段を用いてカメラの内部パラメータを抽出する。パラメータは、撮影に用いたカメラの仕様から見積もり、カメラパラメータ格納部１６に格納しておく。なおカメラの内部パラメータは、後述するカメラ内部行列で示される。
【００４０】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【００４１】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【００４２】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【００４３】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を一枚選択する。具体的な手順は以下の通りである。
【００４４】
【数１】
【００４５】
画像変換部
画像変換部８では、画像変換手段を用いて、画像選択部７で選択された画像を変換する。画像変換部は、画像補正部９と画像再投影部１０とから構成される。画像補正部では、仮想視線ベクトルと撮影時の視線ベクトルとのずれに応じて画像の補正を行ない、画像再投影部では、３次元仮想空間における視線（表示時視線）ベクトルと仮想視線ベクトルとのずれを補正する。
【００４６】
ここで、画像補正部９および画像再投影部１０において用いられる画像再投影法について説明する。
【００４７】
【数２】
【００４８】
透視投影変換は以下の式で表される。
【００４９】
【数３】
【００５０】
例として、光学中心をワールド座標系の原点に置き、光軸をＺ軸方向に向けて、焦点距離をｆに設定したカメラを考える。このときの様子を図１０に示す。透視投影変換は以下の式で表される。
【００５１】
【数４】
【００５２】
【数５】
【００５３】
に再投影する変換を表す行列である。いいかえれば、ある注目点について、ワールド座標系における３次元空間中の位置が判らなくても、透視投影変換を表す行列と、その変換により投影されたスクリーン上の座標とが判っていれば、適当な３行３列の行列を与えることによって、視線の方向を変化させた時のスクリーン上の位置を求めることができる。
【００５４】
次に、具体的な行列の形を求める。１枚の画像およびカメラパラメータが与えられているとする。画像はディジタル画像座標系で表現されているとする。まず、この画像について、ディジタル画像座標系から正規化画像座標系への変換を行なう。正規化画像座標系とは、正規化カメラによって得られる画像座標系であり、正規化カメラとは、光学中心からスクリーン面までの距離が単位長であるようなカメラである。
【００５５】
ディジタル画像座標系と正規化画像座標系との間の関係は図１１のように表される。画面
【００５６】
【数６】
【００５７】
はカメラ内部行列であり、ｆは焦点距離、ｋu 、ｋv はそれぞれ正規化画像座標を基準とした時のｕ、ｖ軸の単位、θはｕとｖ軸のなす角度、ｕ0 、ｖ0 はディジタル画像座標系における正規化画像座標原点の座標である。また、αu ＝ｆｋu 、αv ＝ｆｋv である。
【００５８】
以下、正規化画像座標系を用いて考える。基準となる画像に対して、正規化画像座標系の座標軸とワールド座標系の座標軸とが一致していると考えて一般性を失わない。この場合、カメラの光学中心はワールド座標系の原点にあり、カメラの向きはワールド座標系のＺ軸方向と一致している。すなわち、
【００５９】
【数７】
【００６０】
である。カメラの向きを変えた時の注目点のスクリーン上の位置を求めるには、正規化画像座標系の座標変換をあらわす行列を求めれば良い。
【００６１】
正規化画像座標系のＸ軸の回りにカメラを角度φだけ回転させるような正規化画像座標系の座標変換（図１２参照）を表す行列を
【００６２】
【数８】
【００６３】
である。同様に、正規化画像座標系のＹ軸の回りにカメラを角度θだけ回転させるような正規化画像座標系の座標変換をあらわす行列を
【００６４】
【数９】
【００６５】
であり、正規化画像座標系のＺ軸の回りにカメラを角度ψだけ回転させるような正規化画像座標系の座標変換をあらわす行列を
【００６６】
【数１０】
【００６７】
である。したがって、カメラを正規化画像座標系のＸ軸、Ｙ軸、Ｚ軸の回りにそれぞれ角度φ、θ、ψだけ回転させる操作をこの順序にしたがって行なったとすると、
【００６８】
【数１１】
【００６９】
以上の説明では、座標変換をＸ軸、Ｙ軸、Ｚ軸に関して順を追って行なったが、これを回転軸とそのまわりの回転角度とを与えて一段階で行なうこともできる。
【００７０】
【数１２】
【００７１】
画像補正部
画像補正部９では、画像再投影法を用いて近似的な画像を得る。具体的な手順は以下の通りである。
【００７２】
【数１３】
【００７３】
以上で求まった
【００７４】
【数１４】
【００７５】
を用いて、画像再投影法を適用すると、撮影時の視線ベクトルと仮想視線ベクトルとのずれを補正した、近似的な画像を得ることができる。
【００７６】
画像再投影部
画像再投影部１０では、画像補正部９で得られた画像について、さらに画像再投影法によってスクリーン座標系の視線（表示時視線）ベクトルと仮想視線ベクトルとのずれを補正する。具体的な手順は以下の通りである。
【００７７】
【数１５】
【００７８】
以上で求まった
【００７９】
【数１６】
【００８０】
を用いて、画像再投影法を適用すると、撮影時の視線ベクトルに垂直なスクリーン面に投影された画像を、スクリーン座標系のスクリーン面に再投影することができる。
【００８１】
画像合成部
画像合成部１１では、画像合成手段によって表示される画像の合成を行なう。具体的な手順は以下の通りである。
【００８２】
まず、画像変換部８で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像変換部８で得られた画像の輪郭とは一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、仮オブジェクトのサイズと画面上に表示されるサイズを一致させ、実際に描画するサイズの画像を生成する。また、仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【００８３】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって、奥行き値を考慮した画像の合成が行なわれる。
【００８４】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【００８５】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【００８６】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。
【００８７】
以下、図１８ないし図２１を参照して実施例１の場合の要部の処理を記述する。
【００８８】
図１８は、図６に示す実施例１におけるジオメトリデータ作成のためのフローチャートを示す。
ステップ（Ｓ１）：バウンディングボックスを生成する。
ステップ（Ｓ２）：直方体を生成する。
ステップ（Ｓ３）：直方体を配置する。
ステップ（Ｓ４）：近似が十分であるか否かを調べる。
ステップ（Ｓ５）：仮オブジェクトジオメトリデータを生成する。
【００８９】
図１９は、図６に示す実施例１における画像データ作成のためのフローチャートを示す。
ステップ（Ｓ６）：画像ファイルの読み込みを行う。
ステップ（Ｓ７）：表示対象部分を切り出す。
ステップ（Ｓ８）：マスクデータを生成する。
ステップ（Ｓ９）：奥行き値データを生成する。
【００９０】
図２０は、図６に示す実施例１におけるカメラパラメータ抽出のためのフローチャートを示す。
ステップ（Ｓ１０）：カメラパラメータを抽出する。
【００９１】
図２１は、図６に示す実施例１におけるレンダリング部のフローチャートを示す。
ステップ（Ｓ１１）：視点と視線とに関する情報が入力される。
ステップ（Ｓ１２）：仮オブジェクトデータを読込む。
ステップ（Ｓ１３）：仮オブジェクトを配置する。
ステップ（Ｓ１４）：画像ファイルを選択する。
ステップ（Ｓ１５）：撮影時視線ベクトルと仮想視線ベクトルとのずれを補正する。
ステップ（Ｓ１６）：視線（表示時視線）ベクトルと仮想視線ベクトルとのずれを補正する。
ステップ（Ｓ１７）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ１８）：画像を拡大または縮小する。
ステップ（Ｓ１９）：描画位置を決定する。
ステップ（Ｓ２０）：画素毎の奥行き値を比較する。
ステップ（Ｓ２１）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ２２）：描画すべき部分については描画する。
ステップ（Ｓ２３）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ２４）：画面表示を行う。
【００９２】
〔実施例２〕
図１３は本発明の第２の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、５はカメラパラメータ抽出部、６は仮オブジェクト配置部、７は画像選択部、８は画像変換部、９は画像補正部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１６はカメラパラメータ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【００９３】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【００９４】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ、このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【００９５】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。この様子を図８に示す。図８の左側の物体を右側のように近似する。
【００９６】
このときの近似の程度によって、衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【００９７】
仮オブジェクトを作成したのち、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【００９８】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【００９９】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。この様子を図９に示す。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【０１００】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【０１０１】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表すマスクデータを作成する。マスクデータは以下のようなものである。
【０１０２】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【０１０３】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【０１０４】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方にはいくつかの方法が考えられ、目的に応じて適当なものを採用する。
【０１０５】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【０１０６】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【０１０７】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【０１０８】
以上、画像撮影部２において作成される画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【０１０９】
カメラパラメータ抽出部
カメラパラメータ抽出部５では、カメラパラメータ抽出手段を用いてカメラの内部パラメータを抽出する。パラメータは、撮影に用いたカメラの仕様から見積もり、カメラパラメータ格納部１６に格納しておく。
【０１１０】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【０１１１】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【０１１２】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【０１１３】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を一枚選択する。具体的な手順は以下の通りである。
【０１１４】
【数１７】
【０１１５】
画像変換部
画像変換部８では、画像変換手段を用いて、画像選択部７で選択された画像を変換する。
【０１１６】
画像変換部は、画像補正部９から構成される。画像補正部では、仮想視線ベクトルと撮影時の視線ベクトルのずれに応じて画像の補正を行なう。この画像変換部８での処理が実施例１の場合と異なる。
【０１１７】
画像補正部
画像補正部９では、実施例１において説明した画像再投影法を用いて近似的な画像を得る。具体的な手順は以下の通りである。
【０１１８】
画像選択部７において選択された画像の撮影時の視線ベクトル
【０１１９】
【数１８】
【０１２０】
以上で求まった
【０１２１】
【数１９】
【０１２２】
を用いて、画像再投影法を適用すると、撮影時の視線ベクトルと仮想視線ベクトルのずれを補正した、近似的な画像を得ることができる。
【０１２３】
画像合成部
画像合成部１１では、画像合成手段によって表示される画像の合成を行なう。具体的な手順は以下の通りである。
【０１２４】
まず、画像変換部８で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像変換部８で得られた画像の輪郭とは一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、仮オブジェクトのサイズと画面上に表示されるサイズを一致させ、実際に描画するサイズの画像を生成する。また、仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【０１２５】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって、奥行き値を考慮した画像の合成が行なわれる。
【０１２６】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【０１２７】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【０１２８】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。実施例１と比較すると、画像再投影部における処理を省略しているため、近似の程度は粗くなるが、その分高度な処理を行なうことができる。
【０１２９】
図２２は、実施例２の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。なお相違点は、図２１におけるステップ（Ｓ１６）に相当するステップが省略されている点である。
ステップ（Ｓ２５）：視点と視線とに関する情報が入力される。
ステップ（Ｓ２６）：仮オブジェクトデータを読込む。
ステップ（Ｓ２７）：仮オブジェクトを配置する。
ステップ（Ｓ２８）：画像ファイルを選択する。
ステップ（Ｓ２９）：撮影時視線ベクトルと仮想視線ベクトルとのずれを補正する。
ステップ（Ｓ３０）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ３１）：画像を拡大または縮小する。
ステップ（Ｓ３２）：描画位置を決定する。
ステップ（Ｓ３３）：画素毎の奥行き値を比較する。
ステップ（Ｓ３４）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ３５）：描画すべき部分については描画する。
ステップ（Ｓ３６）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ３７）：画面表示を行う。
【０１３０】
〔実施例３〕
図１４は本発明の第３の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、５はカメラパラメータ抽出部、６は仮オブジェクト配置部、７は画像選択部、８は画像変換部、１０は画像再投影部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１６はカメラパラメータ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【０１３１】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【０１３２】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ。このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【０１３３】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。この様子を図８に示す。図８の左側の物体を右側のように近似する。
【０１３４】
このときの近似の程度によって、衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【０１３５】
仮オブジェクトを作成したのち、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【０１３６】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【０１３７】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。この様子を図９に示す。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【０１３８】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【０１３９】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表すマスクデータを作成する。マスクデータは以下のようなものである。
【０１４０】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【０１４１】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【０１４２】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方にはいくつかの方法が考えられ、目的に応じて適当なものを採用する。
【０１４３】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【０１４４】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【０１４５】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【０１４６】
以上、画像撮影部２において作成された画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【０１４７】
カメラパラメータ抽出部
カメラパラメータ抽出部５では、カメラパラメータ抽出手段を用いてカメラの内部パラメータを抽出する。パラメータは、撮影に用いたカメラの仕様から見積もり、カメラパラメータ格納部１６に格納しておく。
【０１４８】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【０１４９】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【０１５０】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【０１５１】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を一枚選択する。具体的な手順は以下の通りである。
【０１５２】
【数２０】
【０１５３】
画像変換部
画像変換部８では、画像変換手段を用いて、画像選択部７で選択された画像を変換する。
【０１５４】
画像変換部は、画像再投影部１０から構成される。画像変換部８での処理が実施例１や実施例２の場合と異なる。
【０１５５】
画像再投影部
画像再投影部１０では、画像選択部７で選択された画像について、画像再投影法によってスクリーン座標系の視線（表示時視線）ベクトルと仮想視線ベクトルのずれを補正する。具体的な手順は以下の通りである。
【０１５６】
【数２１】
【０１５７】
以上で求まった
【０１５８】
【数２２】
【０１５９】
を用いて、画像再投影法を適用すると、撮影時の視線ベクトルに垂直なスクリーン面に投影された画像を、スクリーン座標系のスクリーン面に再投影することができる。
【０１６０】
画像合成部
画像合成部１１では、画像合成手段によって表示される画像の合成を行なう。具体的な手順は以下の通りである。
【０１６１】
まず、画像変換部８で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像変換部８で得られた画像の輪郭とは一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、仮オブジェクトのサイズと画面上に表示されるサイズを一致させ、実際に描画するサイズの画像を生成する。また、仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【０１６２】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって、奥行き値を考慮した画像の合成が行なわれる。
【０１６３】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【０１６４】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【０１６５】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。実施例１と比較すると、画像補正部における処理を省略しているため、近似の程度は粗くなるが、その分高速な処理を行なうことができる。
【０１６６】
図２３は、実施例３の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。なお、相違点は、図２１におけるステップ（Ｓ１５）に相当するステップが省略されている点である。
ステップ（Ｓ３８）：視点と視線とに関する情報が入力される。
ステップ（Ｓ３９）：仮オブジェクトデータを読込む。
ステップ（Ｓ４０）：仮オブジェクトを配置する。
ステップ（Ｓ４１）：画像ファイルを選択する。
ステップ（Ｓ４２）：視線（表示時視線）ベクトルと仮想視線ベクトルとのずれを補正する。
ステップ（Ｓ４３）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ４４）：画像を拡大または縮小する。
ステップ（Ｓ４５）：描画位置を決定する。
ステップ（Ｓ４６）：画素毎の奥行き値を比較する。
ステップ（Ｓ４７）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ４８）：描画すべき部分については描画する。
ステップ（Ｓ４９）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ５０）：画面表示を行う。
【０１６７】
〔実施例４〕
図１５は本発明の第４の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、６は仮オブジェクト配置部、７は画像選択部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【０１６８】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【０１６９】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ、このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【０１７０】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。この様子を図８に示す。図８の左側の物体を右側のように近似する。
【０１７１】
このときの近似の程度によって、衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【０１７２】
仮オブジェクトを作成したのち、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【０１７３】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【０１７４】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。この様子を図９に示す。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【０１７５】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【０１７６】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表すマスクデータを作成する。マスクデータは以下のようなものである。
【０１７７】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【０１７８】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【０１７９】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方にはいくつかの方法が考えられ、目的に応じて適当なものを採用する。
【０１８０】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【０１８１】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【０１８２】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【０１８３】
以上、画像撮影部２において作成された画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【０１８４】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【０１８５】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【０１８６】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【０１８７】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を一枚選択する。具体的な手順は以下の通りである。
【０１８８】
【数２３】
【０１８９】
画像合成部
画像合成部１１では、画像合成手段によって表示される画像の合成を行なう。具体的な手順は以下の通りである。この処理が、実施例１や実施例２や実施例３とは異なる。
【０１９０】
まず、画像選択部７で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像選択部７で得られた画像の輪郭とは一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、仮オブジェクトのサイズと画面上に表示されるサイズを一致させ、実際に描画するサイズの画像を生成する。また、仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【０１９１】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって、奥行き値を考慮した画像の合成が行なわれる。
【０１９２】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【０１９３】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【０１９４】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。実施例１および実施例２、実施例３と比較すると、画像変換部における処理を省略しているため、近似の程度はさらに粗くなるが、その分さらに高速な処理を行なうことができる。
【０１９５】
図２４は、実施例４の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。なお、相違点は、図２１におけるステップ（Ｓ１５）とステップ（Ｓ１６）とに相当するステップが省略されている点である。
ステップ（Ｓ５１）：視点と視線とに関する情報が入力される。
ステップ（Ｓ５２）：仮オブジェクトデータを読込む。
ステップ（Ｓ５３）：仮オブジェクトを配置する。
ステップ（Ｓ５４）：画像ファイルを選択する。
ステップ（Ｓ５５）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ５６）：画像を拡大または縮小する。
ステップ（Ｓ５７）：描画位置を決定する。
ステップ（Ｓ５８）：画素毎の奥行き値を比較する。
ステップ（Ｓ５９）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ６０）：描画すべき部分については描画する。
ステップ（Ｓ６１）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ６２）：画面表示を行う。
【０１９６】
〔実施例５〕
図１６は本発明の第５の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、６は仮オブジェクト配置部、７は画像選択部、８は画像変換部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【０１９７】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【０１９８】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ、このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【０１９９】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。
【０２００】
このときの近似の程度によって、後に衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【０２０１】
仮オブジェクトを作成したら、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【０２０２】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【０２０３】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【０２０４】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【０２０５】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表示するマスクデータを作成する。マスクデータは以下のようなものである。
【０２０６】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【０２０７】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【０２０８】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方には、いくつかのやり方が考えられる。
【０２０９】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【０２１０】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【０２１１】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【０２１２】
以上、画像撮影部２において作成された画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【０２１３】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【０２１４】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【０２１５】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【０２１６】
画像選択部および画像変換部
画像選択部７および画像変換部８では、以下に説明する手法を用いて画像選択処理および画像変換処理を行なう。具体的な処理の内容は、手法の説明の後に記述する。この処理が実施例１ないし実施例４と異なる。
【０２１７】
視点の位置や視線の方向を様々に変化させたときの画像を得る手段の一つとして、複数枚の画像を用いて仮想的な視点から見た画像を生成する手法が、「S.M.Seitz and C.R.Dyer,"View Morphing",Proc SIGGRAPH 96,In Computer Graphics(1996),pp.21-30 」において提案されている。以下図１７を用いてこの文献で提案されている手法（以下、ビューモーフィング法と記す）について概要を説明する。
【０２１８】
まず、１つの物体について２か所から撮影された２枚の画像Ｉ0 、Ｉ1 を用意する。画像はそれぞれ光学中心Ｃ0 、Ｃ1 と視線ベクトル
【０２１９】
【数２４】
【０２２０】
を持っている。それぞれの画像の光学中心を結んだ線分を一般にベースラインと呼ぶ。
【０２２１】
（ステップ１）：それぞれの視線ベクトルが平行かつベースラインに垂直になるように視線ベクトルの向きを変え、さらにスクリーン面までの距離が単位長になるようにオリジナルの画像を変形する。このとき、視線ベクトルはそれぞれ
【０２２２】
【数２５】
【０２２３】
となる。変形して得られた画像をそれぞれＩ′0 、Ｉ′1 とする。この操作を、文献中ではprewarp と呼んでいる。
【０２２４】
（ステップ２）：ベースライン上に仮想的な視点Ｃs を設定する。そして、変形された各々の画像の全ての画素について対応点を探索し、仮想視点の位置に応じて、それぞれの対応点について線形補間を行なう。以上の操作で、prewarp された視線ベクトルの方向
【０２２５】
【数２６】
【０２２６】
に仮想視点から見た画像Ｉ′s を得ることができる。
【０２２７】
（ステップ３）：得られた画像について、視線ベクトル
【０２２８】
【数２７】
【０２２９】
が所望の方向を向き、所望のスクリーン面までの距離を持つように変形を行ない、仮想視点から見た画像Ｉs を得る。この操作を、文献中ではpostwarpと呼んでいる。
【０２３０】
以上のステップ１からステップ３までの操作を行なうことにより、仮想的な視点から見た画像を２枚の実写画像から得ることができる。
【０２３１】
元の文献には記述されていないが、この手法を自然に拡張すれば、撮影点を３点に増やすことにより、この３点を頂点に持つ三角形に囲まれた任意の視点から見た物体の画像を合成することが可能となることは自明である。要するに、ビューモーフィング法を繰り返して実行すれば良い。したがって、任意の視点に対して、必ずその視点を囲むような、３つの撮影点からなる三角形が存在するように、あらかじめ画像を撮影しておけば良い。これが可能であることは、物体を囲む正２０面体を想像すれば明らかである。
【０２３２】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を複数枚選択する。具体的な手順は以下の通りである。
【０２３３】
【数２８】
【０２３４】
この時点で、視点が撮影点を結んだ線分上に存在すれば画像の選択を終了する。そうでない場合、撮影点をもう一つ選択して、三つの撮影点から構成される三角形が視点を囲むようにする必要がある。したがって、内積の値が３番目に大きい撮影点から順番に、前述の条件を満たすかどうか判定し、条件を満たすような撮影点がみつかったところでその撮影点に対応する画像ファイルを選択し、画像の選択を終了する。
【０２３５】
画像変換部
画像変換部８では、画像変換手段を用いて、画像選択部７で選択された画像を変換する。画像変換手段には、前述のビューモーフィング法を用いる。
【０２３６】
画像合成部
画像合成部１１では、画像合成手段によって表示されるべき画像の合成を行なう。具体的な手順は以下の通りである。
【０２３７】
まず、画像変換部８で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像変換部８で得られた画像の輪郭は一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、画面上に表示される大きさを調整し、実際に描画する画像を生成する。また仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【０２３８】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって奥行き値を考慮した画像の合成が行なわれる。
【０２３９】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【０２４０】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【０２４１】
図２５は、実施例５の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。なお、相違点は、図２１におけるステップ（Ｓ１５）とステップ（Ｓ１６）とに代わって、ステップ（Ｓ６７）が用いられている点である。
ステップ（Ｓ６３）：視点と視線とに関する情報が入力される。
ステップ（Ｓ６４）：仮オブジェクトデータを読込む。
ステップ（Ｓ６５）：仮オブジェクトを配置する。
ステップ（Ｓ６６）：画像ファイルを選択する。
ステップ（Ｓ６７）：ビューモーフィング法によっての画像変換を行う。
ステップ（Ｓ６８）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ６９）：画像を拡大または縮小する。
ステップ（Ｓ７０）：描画位置を決定する。
ステップ（Ｓ７１）：画素毎の奥行き値を比較する。
ステップ（Ｓ７２）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ７３）：描画すべき部分については描画する。
ステップ（Ｓ７４）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ７５）：画面表示を行う。
【０２４２】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。実施例１および実施例２、実施例３、実施例４と比較すると、画像変換部における処理にビューモーフィング法を用いているため、画像変換処理の負担は増加するが、高品質の画像表示を行なうことができる。
【０２４３】
上記において、画像合成表示方法ならびにそのための装置について説明したが、当該画像合成表示はデータ処理装置が、プログラムを実行する形で記述することが可能であり、プログラムの形で記録保存することが可能である。このことから本願発明は当該プログラムを記録した記録媒体をも本願発明の権利範囲に属するものである。
【０２４４】
【発明の効果】
以上説明したように、本発明によれば、以下のような利点を兼ね備えた、充分なリアリティを持つ、実写画像を用いた画像合成表示手法を提供することができるという効果がある。
【０２４５】
まず第一に、本発明では物体の概略形状を表す仮オブジェクトと、いくつかの方向から物体を撮影した実写画像を用いてモデリングを行ない、物体の詳細な形状を多数のポリゴンで表現する必要がないため、モデリングが簡単に行なえる利点がある。
【０２４６】
次に、仮オブジェクトが物体の概略形状情報を持っているため、回転や平行移動など、物体の操作を行なうことができ、また、衝突検出を行なうことができるという効果がある。この効果によって、本発明を３次元仮想空間レイアウトシステムに応用することができるという利点がある。
【０２４７】
また、視点や視線の変化を自由に行なうことができ、隠面消去を行なうことができる効果がある。この効果によって、３次元ＣＧの重要な応用例であるウォークスルーを実現することができるという利点がある。
【０２４８】
さらに、本発明の方法は特殊な装置を必要としないため、ポリゴンとテクスチャマッピングを用いた従来の３次元ＣＧ手法と組み合わせて用いることができる。したがって、既存の３次元ＣＧ装置に、本発明の方法を実現する装置を組み込むことにより、既存の３次元ＣＧ装置の表示のリアリティを増すことができるという利点がある。
【図面の簡単な説明】
【図１】凹凸のある物体を第三角法によって描いたものである。
【図２】図１に示された物体を斜め上方から見た場合の実際の見え方を表すものである。
【図３】図１に示された物体を斜め上方から見た場合に、従来の手法を用いた表示したものを表すものである。
【図４】湯のみを表すものである。
【図５】図４に示された湯のみを、従来の手法を用いて表示したものを表すものである。
【図６】本発明の第１の実施例を説明するブロック図である。
【図７】バウンディングボックスとオブジェクト座標系との関係を表すものである。
【図８】物体を仮オブジェクトで近似する様子を表すものである。左側の図が実際の物体、右側の図が仮オブジェクトをそれぞれ表している。
【図９】物体の撮影の様子を説明するための模型図である。
【図１０】ワールド座標系の原点に光学中心を持ち、焦点距離がｆであるようなピンホールカメラによる透視投影変換の様子を表すものである。
【図１１】ディジタル画像座標系と正規化画像座標系の間の関係を表すものである。
【図１２】正規化画像座標系のＸ軸の回りにカメラを角度φだけ回転させるような正規化画像座標系の座標変換の様子を表すものである。Ｘ軸は、紙面から手前の方向を正として、ＹＺ−平面に垂直に伸びているものとする。
【図１３】本発明の第２の実施例を説明するブロック図である。
【図１４】本発明の第３の実施例を説明するブロック図である。
【図１５】本発明の第４の実施例を説明するブロック図である。
【図１６】本発明の第５の実施例を説明するブロック図である。
【図１７】 View Morphing の手法を説明するための模型図である。
【図１８】図６に示す実施例１におけるジオメトリデータ作成のためのフローチャートを示す。
【図１９】図６に示す実施例１における画像データ作成のためのフローチャートを示す。
【図２０】図６に示す実施例１におけるカメラパラメータ抽出のためのフローチャートを示す。
【図２１】図６に示す実施例１におけるレンダリング部のフローチャートを示す。
【図２２】実施例２の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。
【図２３】実施例３の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。
【図２４】実施例４の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。
【図２５】実施例５の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。
【符号の説明】
１ 仮オブジェクト作成部
２ 画像撮影部
３ 物体抽出部
４ 奥行き値付与部
５ カメラパラメータ抽出部
６ 仮オブジェクト配置部
７ 画像選択部
８ 画像変換部
９ 画像補正部
１０ 画像再投影部
１１ 画像合成部
１２ 画像表示部
１３ 視点情報・視線情報入力部
１４ ジオメトリデータ格納部
１５ 画像データ格納部
１６ カメラパラメータ格納部
１７ モデリング部
１８ レンダリング部
１９ モデルデータ格納部
２０ 画像合成表示装置
【発明の属する技術分野】
本発明は、３次元コンピュータグラフィックスにおいて、実写画像を用いて物体を表示する画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
本明細書において、３次元コンピュータグラフィックス（以下、３次元ＣＧと記す）とは、３次元仮想空間中の物体を透視投影変換して得られる２次元画像をコンピュータを用いて、ディスプレイに表示することを意味する。
【０００３】
３次元ＣＧにおける物体（オブジェクトと呼ぶこともある）のモデリングでは、物体の形状をポリゴンの集合で表し、物体の色をテクスチャマッピングなどによって与える手法が通常よく用いられている。
【０００４】
一方、３次元ＣＧにおいて物体をよりリアルに表示するために、ディジタルカメラ等を用いて取得した実写画像を用いる手法が最近注目されている。
【０００５】
実写画像を用いる手法として最も単純なものは次のような方法である。まず、表示したい物体を直方体で近似する。次に、直方体の各面の正面にあたる方向からディジタルカメラ等で物体の画像を撮影し、得られた画像をテクスチャとしてそれぞれの面にマッピングする。このようにして作成されたモデルは、物体の形状が直方体に近ければかなりのリアリティを持つ。
【０００６】
【発明が解決しようとする課題】
前者の場合、複雑な形状の物体を忠実にポリゴンで再現しようとすると、必要なポリゴンの数が膨大なものとなり、ポリゴンデータ、すなわちジオメトリデータも膨大なものとなる。現状ではこのような作業を自動的に行なう手法が確立されていないため、モデリングは人手を介した大変な労力を要する作業になる。また、３次元ＣＧにおいては、視点や視線が変化するたびにジオメトリデータの変換を行なう必要があるため、ジオメトリデータ変換処理にかかる負担が非常に大きくなってしまうという問題がある。
【０００７】
また後者の実写画像を用いた単純な手法では、元の物体の形状が直方体から少しずれている場合、斜め方向から見たときに不自然な歪みが生ずる。例えば、図１のような、直方体の表面に若干の凹凸がある物体にこの手法を用いた場合について考える。斜め方向からこの物体を見たときに、本来であれば図２のように見えるはずであるが、この手法を用いると図３のように表示され、凹凸が再現されない。
【０００８】
また、元の物体の形状が直方体から大きくずれている場合にこの手法を用いると、斜め方向から見たときの不自然さはいっそう増す。例えば、図４のような湯のみに対してこの手法を用いた場合について考える。斜め方向からこの湯のみを見たとき、図５のように本来ならば見えないはずの背景が見えてしまい、かなり不自然な表示となる。
【０００９】
以上述べた通り、この手法はモデリングが非常に簡単であるという利点はあるが、視点の位置や視線の方向を様々に変化させたときに表示が不自然になってしまうという欠点がある。この不自然さを解消しようとすると、湯飲みの形状を忠実にポリゴンで再現することが必要になり、この場合のジオメトリデータの増大やモデリングにかかる膨大な手間の問題は前述したとおりである。
【００１０】
以上述べたような現状を踏まえ、本発明の目的は、
１つには、モデリングが簡単に行なえ、
次に、３次元仮想空間レイアウトシステムへの応用を考慮して物体の操作や衝突検出が可能であるようにし、
更に、３次元ＣＧの重要な応用例であるウォークスルーを実現するために視点や視線の変化を自由に行なうことができ、
また隠面消去を行なうことができるような、充分なリアリティを持つ、実写画像を利用した画像合成表示手法を提供することである。
【００１１】
【課題を解決するための手段】
上記目的を達成するための方法として、３次元ＣＧデータとして、一つの物体について、物体の操作や衝突検出のためのジオメトリデータと、表示のための画像データとをそれぞれ独立に持つ構成をとる。ジオメトリデータとしては、物体の概形を表す仮オブジェクトをあらかじめ用意しておく。画像データは、表示対象物体をいくつかの方向から撮影したものをあらかじめ用意し、表示対象物体を抽出しておき、ピクセル毎に奥行き値を与えておく、視点や視線の変化に対して仮オブジェクトの形状が変化するので、それに適合するように実写画像に対する適切な変換を行ない、仮オブジェクトの位置に、奥行き値を考慮して合成し表示する。
【００１２】
従来では、実写画像をテクスチャとして、ポリゴンに対してテクスチャマッピングを行なった上で表示を行なっていた。このような手法では、物体の見え方はポリゴン分割の詳細度に依存する。一方、本発明では、仮オブジェクトによって物体の表示される位置と形状とを決め、それに合わせて実写画像を奥行き値を考慮して合成し表示する。したがって、物体の見え方はポリゴン分割の詳細度に依存しない。本発明のように、テクスチャマッピングを行なわずに実写画像を用いて奥行き値を考慮して合成し物体を表示する方法であって、しかも物体の操作や衝突検出が可能であるものは従来存在しなかった。
【００１３】
上記課題を解決するための手段として、仮オブジェクト作成手段と、画像撮影手段と、物体抽出手段と、奥行き値付与手段と、カメラパラメータ抽出手段と、仮オブジェクト配置手段と、画像選択手段と、画像変換手段と、画像合成手段と、画像表示手段とを設ける。
【００１４】
仮オブジェクト作成手段により作成された仮オブジェクトは、物体の概略の形状（以下概形という）を表すとともに、物体の位置と占有範囲とを表す。したがって、仮オブジェクト配置手段を用いて物体を所望の位置に配置した後、回転や移動などの操作を行なうことができ、また、衝突検出を行なうことができる。仮オブジェクトは物体の概形を表すのみであるので多数のポリゴンを用いる必要がなく、ジオメトリデータの作成を簡単に行なうことができる。
【００１５】
実写画像は画像撮影手段によって取得される。次に、取得された実写画像から、物体抽出手段によって表示対象の物体のみをあらかじめ抽出しておく。抽出された部分について、奥行き値付与手段によって、ピクセル毎に奥行き値を持たせる。この奥行き値を用いることにより隠面消去が可能となる。
【００１６】
また、カメラパラメータ抽出手段によって、後の画像変換に必要なカメラパラメータを抽出しておく。
【００１７】
また、３次元仮想空間中の視点や視線の変化に対して、あらかじめ用意された実写画像の中から画像選択手段によって適切な画像が選択される。
【００１８】
選択された画像は、撮影時のカメラの方向や３次元仮想空間中の視点や視線などの情報を用いて、画像変換手段により適切な形に変形される。
【００１９】
変形された画像を用いて、画像合成手段によって、表示される大きさを調整し、奥行き値を考慮して表示すべき画像を合成する。
【００２０】
最終的に、画像表示手段によって、合成された画像が仮オブジェクトの位置に表示される。
【００２１】
以上のようにして、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、隠面消去を行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【００２２】
【発明の実施の形態】
〔実施例１〕
図６は本発明の第１の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、５はカメラパラメータ抽出部、６は仮オブジェクト配置部、７は画像選択部、８は画像変換部、９は画像補正部、１０は画像再投影部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１６はカメラパラメータ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【００２３】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【００２４】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ。このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【００２５】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。この様子を図８に示す。図８の左側の物体を右側のように近似する。
【００２６】
このときの近似の程度によって、衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【００２７】
仮オブジェクトを作成したのち、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【００２８】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【００２９】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。この様子を図９に示す。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【００３０】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【００３１】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表すマスクデータを作成する。マスクデータは以下のようなものである。
【００３２】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【００３３】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【００３４】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方はいくつかの方法が考えられ、目的に応じて適当なものを採用する。
【００３５】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【００３６】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【００３７】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【００３８】
以上、画像撮影部２において作成された画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【００３９】
カメラパラメータ抽出部
カメラパラメータ抽出部５では、カメラパラメータ抽出手段を用いてカメラの内部パラメータを抽出する。パラメータは、撮影に用いたカメラの仕様から見積もり、カメラパラメータ格納部１６に格納しておく。なおカメラの内部パラメータは、後述するカメラ内部行列で示される。
【００４０】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【００４１】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【００４２】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【００４３】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を一枚選択する。具体的な手順は以下の通りである。
【００４４】
【数１】
画像変換部
画像変換部８では、画像変換手段を用いて、画像選択部７で選択された画像を変換する。画像変換部は、画像補正部９と画像再投影部１０とから構成される。画像補正部では、仮想視線ベクトルと撮影時の視線ベクトルとのずれに応じて画像の補正を行ない、画像再投影部では、３次元仮想空間における視線（表示時視線）ベクトルと仮想視線ベクトルとのずれを補正する。
【００４６】
ここで、画像補正部９および画像再投影部１０において用いられる画像再投影法について説明する。
【００４７】
【数２】
透視投影変換は以下の式で表される。
【００４９】
【数３】
例として、光学中心をワールド座標系の原点に置き、光軸をＺ軸方向に向けて、焦点距離をｆに設定したカメラを考える。このときの様子を図１０に示す。透視投影変換は以下の式で表される。
【００５１】
【数４】
【数５】
に再投影する変換を表す行列である。いいかえれば、ある注目点について、ワールド座標系における３次元空間中の位置が判らなくても、透視投影変換を表す行列と、その変換により投影されたスクリーン上の座標とが判っていれば、適当な３行３列の行列を与えることによって、視線の方向を変化させた時のスクリーン上の位置を求めることができる。
【００５４】
次に、具体的な行列の形を求める。１枚の画像およびカメラパラメータが与えられているとする。画像はディジタル画像座標系で表現されているとする。まず、この画像について、ディジタル画像座標系から正規化画像座標系への変換を行なう。正規化画像座標系とは、正規化カメラによって得られる画像座標系であり、正規化カメラとは、光学中心からスクリーン面までの距離が単位長であるようなカメラである。
【００５５】
ディジタル画像座標系と正規化画像座標系との間の関係は図１１のように表される。画面
【００５６】
【数６】
はカメラ内部行列であり、ｆは焦点距離、ｋu 、ｋv はそれぞれ正規化画像座標を基準とした時のｕ、ｖ軸の単位、θはｕとｖ軸のなす角度、ｕ0 、ｖ0 はディジタル画像座標系における正規化画像座標原点の座標である。また、αu ＝ｆｋu 、αv ＝ｆｋv である。
【００５８】
以下、正規化画像座標系を用いて考える。基準となる画像に対して、正規化画像座標系の座標軸とワールド座標系の座標軸とが一致していると考えて一般性を失わない。この場合、カメラの光学中心はワールド座標系の原点にあり、カメラの向きはワールド座標系のＺ軸方向と一致している。すなわち、
【００５９】
【数７】
である。カメラの向きを変えた時の注目点のスクリーン上の位置を求めるには、正規化画像座標系の座標変換をあらわす行列を求めれば良い。
【００６１】
正規化画像座標系のＸ軸の回りにカメラを角度φだけ回転させるような正規化画像座標系の座標変換（図１２参照）を表す行列を
【００６２】
【数８】
である。同様に、正規化画像座標系のＹ軸の回りにカメラを角度θだけ回転させるような正規化画像座標系の座標変換をあらわす行列を
【００６４】
【数９】
であり、正規化画像座標系のＺ軸の回りにカメラを角度ψだけ回転させるような正規化画像座標系の座標変換をあらわす行列を
【００６６】
【数１０】
である。したがって、カメラを正規化画像座標系のＸ軸、Ｙ軸、Ｚ軸の回りにそれぞれ角度φ、θ、ψだけ回転させる操作をこの順序にしたがって行なったとすると、
【００６８】
【数１１】
以上の説明では、座標変換をＸ軸、Ｙ軸、Ｚ軸に関して順を追って行なったが、これを回転軸とそのまわりの回転角度とを与えて一段階で行なうこともできる。
【００７０】
【数１２】
画像補正部
画像補正部９では、画像再投影法を用いて近似的な画像を得る。具体的な手順は以下の通りである。
【００７２】
【数１３】
以上で求まった
【００７４】
【数１４】
を用いて、画像再投影法を適用すると、撮影時の視線ベクトルと仮想視線ベクトルとのずれを補正した、近似的な画像を得ることができる。
【００７６】
画像再投影部
画像再投影部１０では、画像補正部９で得られた画像について、さらに画像再投影法によってスクリーン座標系の視線（表示時視線）ベクトルと仮想視線ベクトルとのずれを補正する。具体的な手順は以下の通りである。
【００７７】
【数１５】
以上で求まった
【００７９】
【数１６】
を用いて、画像再投影法を適用すると、撮影時の視線ベクトルに垂直なスクリーン面に投影された画像を、スクリーン座標系のスクリーン面に再投影することができる。
【００８１】
画像合成部
画像合成部１１では、画像合成手段によって表示される画像の合成を行なう。具体的な手順は以下の通りである。
【００８２】
まず、画像変換部８で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像変換部８で得られた画像の輪郭とは一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、仮オブジェクトのサイズと画面上に表示されるサイズを一致させ、実際に描画するサイズの画像を生成する。また、仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【００８３】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって、奥行き値を考慮した画像の合成が行なわれる。
【００８４】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【００８５】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【００８６】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。
【００８７】
以下、図１８ないし図２１を参照して実施例１の場合の要部の処理を記述する。
【００８８】
図１８は、図６に示す実施例１におけるジオメトリデータ作成のためのフローチャートを示す。
ステップ（Ｓ１）：バウンディングボックスを生成する。
ステップ（Ｓ２）：直方体を生成する。
ステップ（Ｓ３）：直方体を配置する。
ステップ（Ｓ４）：近似が十分であるか否かを調べる。
ステップ（Ｓ５）：仮オブジェクトジオメトリデータを生成する。
【００８９】
図１９は、図６に示す実施例１における画像データ作成のためのフローチャートを示す。
ステップ（Ｓ６）：画像ファイルの読み込みを行う。
ステップ（Ｓ７）：表示対象部分を切り出す。
ステップ（Ｓ８）：マスクデータを生成する。
ステップ（Ｓ９）：奥行き値データを生成する。
【００９０】
図２０は、図６に示す実施例１におけるカメラパラメータ抽出のためのフローチャートを示す。
ステップ（Ｓ１０）：カメラパラメータを抽出する。
【００９１】
図２１は、図６に示す実施例１におけるレンダリング部のフローチャートを示す。
ステップ（Ｓ１１）：視点と視線とに関する情報が入力される。
ステップ（Ｓ１２）：仮オブジェクトデータを読込む。
ステップ（Ｓ１３）：仮オブジェクトを配置する。
ステップ（Ｓ１４）：画像ファイルを選択する。
ステップ（Ｓ１５）：撮影時視線ベクトルと仮想視線ベクトルとのずれを補正する。
ステップ（Ｓ１６）：視線（表示時視線）ベクトルと仮想視線ベクトルとのずれを補正する。
ステップ（Ｓ１７）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ１８）：画像を拡大または縮小する。
ステップ（Ｓ１９）：描画位置を決定する。
ステップ（Ｓ２０）：画素毎の奥行き値を比較する。
ステップ（Ｓ２１）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ２２）：描画すべき部分については描画する。
ステップ（Ｓ２３）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ２４）：画面表示を行う。
【００９２】
〔実施例２〕
図１３は本発明の第２の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、５はカメラパラメータ抽出部、６は仮オブジェクト配置部、７は画像選択部、８は画像変換部、９は画像補正部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１６はカメラパラメータ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【００９３】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【００９４】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ、このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【００９５】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。この様子を図８に示す。図８の左側の物体を右側のように近似する。
【００９６】
このときの近似の程度によって、衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【００９７】
仮オブジェクトを作成したのち、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【００９８】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【００９９】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。この様子を図９に示す。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【０１００】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【０１０１】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表すマスクデータを作成する。マスクデータは以下のようなものである。
【０１０２】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【０１０３】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【０１０４】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方にはいくつかの方法が考えられ、目的に応じて適当なものを採用する。
【０１０５】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【０１０６】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【０１０７】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【０１０８】
以上、画像撮影部２において作成される画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【０１０９】
カメラパラメータ抽出部
カメラパラメータ抽出部５では、カメラパラメータ抽出手段を用いてカメラの内部パラメータを抽出する。パラメータは、撮影に用いたカメラの仕様から見積もり、カメラパラメータ格納部１６に格納しておく。
【０１１０】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【０１１１】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【０１１２】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【０１１３】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を一枚選択する。具体的な手順は以下の通りである。
【０１１４】
【数１７】
画像変換部
画像変換部８では、画像変換手段を用いて、画像選択部７で選択された画像を変換する。
【０１１６】
画像変換部は、画像補正部９から構成される。画像補正部では、仮想視線ベクトルと撮影時の視線ベクトルのずれに応じて画像の補正を行なう。この画像変換部８での処理が実施例１の場合と異なる。
【０１１７】
画像補正部
画像補正部９では、実施例１において説明した画像再投影法を用いて近似的な画像を得る。具体的な手順は以下の通りである。
【０１１８】
画像選択部７において選択された画像の撮影時の視線ベクトル
【０１１９】
【数１８】
以上で求まった
【０１２１】
【数１９】
を用いて、画像再投影法を適用すると、撮影時の視線ベクトルと仮想視線ベクトルのずれを補正した、近似的な画像を得ることができる。
【０１２３】
画像合成部
画像合成部１１では、画像合成手段によって表示される画像の合成を行なう。具体的な手順は以下の通りである。
【０１２４】
まず、画像変換部８で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像変換部８で得られた画像の輪郭とは一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、仮オブジェクトのサイズと画面上に表示されるサイズを一致させ、実際に描画するサイズの画像を生成する。また、仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【０１２５】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって、奥行き値を考慮した画像の合成が行なわれる。
【０１２６】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【０１２７】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【０１２８】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。実施例１と比較すると、画像再投影部における処理を省略しているため、近似の程度は粗くなるが、その分高度な処理を行なうことができる。
【０１２９】
図２２は、実施例２の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。なお相違点は、図２１におけるステップ（Ｓ１６）に相当するステップが省略されている点である。
ステップ（Ｓ２５）：視点と視線とに関する情報が入力される。
ステップ（Ｓ２６）：仮オブジェクトデータを読込む。
ステップ（Ｓ２７）：仮オブジェクトを配置する。
ステップ（Ｓ２８）：画像ファイルを選択する。
ステップ（Ｓ２９）：撮影時視線ベクトルと仮想視線ベクトルとのずれを補正する。
ステップ（Ｓ３０）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ３１）：画像を拡大または縮小する。
ステップ（Ｓ３２）：描画位置を決定する。
ステップ（Ｓ３３）：画素毎の奥行き値を比較する。
ステップ（Ｓ３４）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ３５）：描画すべき部分については描画する。
ステップ（Ｓ３６）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ３７）：画面表示を行う。
【０１３０】
〔実施例３〕
図１４は本発明の第３の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、５はカメラパラメータ抽出部、６は仮オブジェクト配置部、７は画像選択部、８は画像変換部、１０は画像再投影部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１６はカメラパラメータ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【０１３１】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【０１３２】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ。このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【０１３３】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。この様子を図８に示す。図８の左側の物体を右側のように近似する。
【０１３４】
このときの近似の程度によって、衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【０１３５】
仮オブジェクトを作成したのち、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【０１３６】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【０１３７】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。この様子を図９に示す。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【０１３８】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【０１３９】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表すマスクデータを作成する。マスクデータは以下のようなものである。
【０１４０】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【０１４１】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【０１４２】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方にはいくつかの方法が考えられ、目的に応じて適当なものを採用する。
【０１４３】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【０１４４】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【０１４５】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【０１４６】
以上、画像撮影部２において作成された画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【０１４７】
カメラパラメータ抽出部
カメラパラメータ抽出部５では、カメラパラメータ抽出手段を用いてカメラの内部パラメータを抽出する。パラメータは、撮影に用いたカメラの仕様から見積もり、カメラパラメータ格納部１６に格納しておく。
【０１４８】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【０１４９】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【０１５０】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【０１５１】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を一枚選択する。具体的な手順は以下の通りである。
【０１５２】
【数２０】
画像変換部
画像変換部８では、画像変換手段を用いて、画像選択部７で選択された画像を変換する。
【０１５４】
画像変換部は、画像再投影部１０から構成される。画像変換部８での処理が実施例１や実施例２の場合と異なる。
【０１５５】
画像再投影部
画像再投影部１０では、画像選択部７で選択された画像について、画像再投影法によってスクリーン座標系の視線（表示時視線）ベクトルと仮想視線ベクトルのずれを補正する。具体的な手順は以下の通りである。
【０１５６】
【数２１】
以上で求まった
【０１５８】
【数２２】
を用いて、画像再投影法を適用すると、撮影時の視線ベクトルに垂直なスクリーン面に投影された画像を、スクリーン座標系のスクリーン面に再投影することができる。
【０１６０】
画像合成部
画像合成部１１では、画像合成手段によって表示される画像の合成を行なう。具体的な手順は以下の通りである。
【０１６１】
まず、画像変換部８で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像変換部８で得られた画像の輪郭とは一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、仮オブジェクトのサイズと画面上に表示されるサイズを一致させ、実際に描画するサイズの画像を生成する。また、仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【０１６２】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって、奥行き値を考慮した画像の合成が行なわれる。
【０１６３】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【０１６４】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【０１６５】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。実施例１と比較すると、画像補正部における処理を省略しているため、近似の程度は粗くなるが、その分高速な処理を行なうことができる。
【０１６６】
図２３は、実施例３の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。なお、相違点は、図２１におけるステップ（Ｓ１５）に相当するステップが省略されている点である。
ステップ（Ｓ３８）：視点と視線とに関する情報が入力される。
ステップ（Ｓ３９）：仮オブジェクトデータを読込む。
ステップ（Ｓ４０）：仮オブジェクトを配置する。
ステップ（Ｓ４１）：画像ファイルを選択する。
ステップ（Ｓ４２）：視線（表示時視線）ベクトルと仮想視線ベクトルとのずれを補正する。
ステップ（Ｓ４３）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ４４）：画像を拡大または縮小する。
ステップ（Ｓ４５）：描画位置を決定する。
ステップ（Ｓ４６）：画素毎の奥行き値を比較する。
ステップ（Ｓ４７）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ４８）：描画すべき部分については描画する。
ステップ（Ｓ４９）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ５０）：画面表示を行う。
【０１６７】
〔実施例４〕
図１５は本発明の第４の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、６は仮オブジェクト配置部、７は画像選択部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【０１６８】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【０１６９】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ、このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【０１７０】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。この様子を図８に示す。図８の左側の物体を右側のように近似する。
【０１７１】
このときの近似の程度によって、衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【０１７２】
仮オブジェクトを作成したのち、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【０１７３】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【０１７４】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。この様子を図９に示す。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【０１７５】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【０１７６】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表すマスクデータを作成する。マスクデータは以下のようなものである。
【０１７７】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【０１７８】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【０１７９】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方にはいくつかの方法が考えられ、目的に応じて適当なものを採用する。
【０１８０】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【０１８１】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【０１８２】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【０１８３】
以上、画像撮影部２において作成された画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【０１８４】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【０１８５】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【０１８６】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【０１８７】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を一枚選択する。具体的な手順は以下の通りである。
【０１８８】
【数２３】
画像合成部
画像合成部１１では、画像合成手段によって表示される画像の合成を行なう。具体的な手順は以下の通りである。この処理が、実施例１や実施例２や実施例３とは異なる。
【０１９０】
まず、画像選択部７で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像選択部７で得られた画像の輪郭とは一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、仮オブジェクトのサイズと画面上に表示されるサイズを一致させ、実際に描画するサイズの画像を生成する。また、仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【０１９１】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって、奥行き値を考慮した画像の合成が行なわれる。
【０１９２】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【０１９３】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【０１９４】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。実施例１および実施例２、実施例３と比較すると、画像変換部における処理を省略しているため、近似の程度はさらに粗くなるが、その分さらに高速な処理を行なうことができる。
【０１９５】
図２４は、実施例４の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。なお、相違点は、図２１におけるステップ（Ｓ１５）とステップ（Ｓ１６）とに相当するステップが省略されている点である。
ステップ（Ｓ５１）：視点と視線とに関する情報が入力される。
ステップ（Ｓ５２）：仮オブジェクトデータを読込む。
ステップ（Ｓ５３）：仮オブジェクトを配置する。
ステップ（Ｓ５４）：画像ファイルを選択する。
ステップ（Ｓ５５）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ５６）：画像を拡大または縮小する。
ステップ（Ｓ５７）：描画位置を決定する。
ステップ（Ｓ５８）：画素毎の奥行き値を比較する。
ステップ（Ｓ５９）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ６０）：描画すべき部分については描画する。
ステップ（Ｓ６１）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ６２）：画面表示を行う。
【０１９６】
〔実施例５〕
図１６は本発明の第５の実施例を説明する図であって、１は仮オブジェクト作成部、２は画像撮影部、３は物体抽出部、４は奥行き値付与部、６は仮オブジェクト配置部、７は画像選択部、８は画像変換部、１１は画像合成部、１２は画像表示部、１３は視点情報・視線情報入力部、１４はジオメトリデータ格納部、１５は画像データ格納部、１７はモデリング部、１８はレンダリング部、１９はモデルデータ格納部、２０は画像合成表示装置である。
【０１９７】
仮オブジェクト作成部
仮オブジェクト作成部１では、仮オブジェクト作成手段によって仮オブジェクトのジオメトリデータを作成する。具体的には以下のような手順を実行する。
【０１９８】
まず、物体に外接するような直方体を一つ作成する。この直方体をバウンディングボックスと呼ぶ、このとき、バウンディングボックスの中心が原点となり、座標軸が直方体の各面の中心と交わるような座標系を定義し、これをオブジェクト座標系とする。物体の正面方向に伸びる座標軸をオブジェクト座標系のＸ軸とし、物体の上方向に伸びる座標軸をオブジェクト座標系のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系をなすような方向に決める。この様子を図７に示す。
【０１９９】
次に、物体の形状を直方体の組合せで近似する。具体的には、バウンディングボックスからはみださないように適当な直方体を置いていき、物体の形状を再現する。
【０２００】
このときの近似の程度によって、後に衝突検出の精度が左右される。したがって、どの程度の近似が必要かは、衝突検出の精度がどの程度必要かによる。より正確な衝突判定を行なう必要があれば、たくさんの細かな直方体を組み合わせて仮オブジェクトを作成する。逆に、それほど厳密な衝突判定が必要でなければ、少数の直方体を組み合わせて仮オブジェクトを作成すればよい。バウンディングボックスそのものを仮オブジェクトとしても十分な場合もある。
【０２０１】
仮オブジェクトを作成したら、バウンディングボックスの頂点の座標と、仮オブジェクトを構成する直方体の頂点の座標を、ジオメトリデータ格納部１４に格納する。
【０２０２】
画像撮影部
画像撮影部２では、画像撮影手段によって物体の画像を撮影する。具体的な手順は以下の通りである。
【０２０３】
ディジタルカメラを用いて、光軸がバウンディングボックスの中心を通るようにして画像を撮影する。このとき、光軸の、オブジェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの仰角φを記録しておく。また、バウンディングボックスの中心（すなわち、オブジェクト座標系の原点）から撮像面までの距離は一定に保っておく。
【０２０４】
このようにして、物体を囲む複数の点から画像を撮影し、画像ファイルを得る。また、θおよびφと画像ファイルに対する対応とを表すテーブルを作成しておく。また、後の物体抽出部における処理のため、背景を単一色に設定しておく。
【０２０５】
物体抽出部
物体抽出部３では、画像撮影部２で撮影された画像から、物体抽出手段によって、表示の対象となる物体を抽出する。抽出にはクロマキーを用いる。そして、表示対象部分を表示するマスクデータを作成する。マスクデータは以下のようなものである。
【０２０６】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、マスクデータはＵ×Ｖの２次元配列であって、その要素は「０」または「１」である。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、（ｕ、ｖ）の要素は「１」であり、そうでなければ「０」である。このようなマスクデータを、各画像データに対して一つ作成する。
【０２０７】
奥行き値付与部
奥行き値付与部４では、奥行き値付与手段によって、奥行き値データを作成する。奥行き値データは以下のようなものである。
【０２０８】
画像データのサイズがＵ×Ｖ（ピクセル）であるとする。このとき、奥行き値データはＵ×Ｖの２次元配列であって、その要素は奥行き値を表す。奥行き値は、オブジェクト座標系の原点を通り、かつ光軸に垂直な平面からの、符号つきの距離とする。奥行き値付与手段による奥行き値の与え方には、いくつかのやり方が考えられる。
【０２０９】
一番単純な方法は、バウンディングボックスの中心の値を奥行き値として採用する方法である。この場合、画面全体の奥行き値は一様にゼロになる。
【０２１０】
次に考えられる方法は、仮オブジェクトの面の位置を奥行き値として採用する方法である。この場合、画像データと仮オブジェクトとを同時に画面上に表示して、仮オブジェクトの直方体の面を選択し、画像データにおいてそれに対応する範囲を指定することによって各ピクセル毎の奥行き値を与えることができる。
【０２１１】
最も詳細な方法は、画像データの各ピクセル毎に実際の奥行き値を与える方法である。この方法を実現する手段としては、レンジファインダにより生成された距離画像を用いる方法が考えられる。
【０２１２】
以上、画像撮影部２において作成された画像ファイル、および物体抽出部３において作成されたマスクデータ、および奥行き値付与部４において作成された奥行き値データは、画像データ格納部１５に格納しておく。
【０２１３】
仮オブジェクト配置部
仮オブジェクト配置部６では、仮オブジェクト配置手段を用いて、仮オブジェクトを３次元仮想空間中に配置する。具体的には以下の手順を実行する。
【０２１４】
３次元仮想空間の基準となる座標系、すなわちワールド座標系を定義する。そして、ワールド座標系における仮オブジェクトの位置と方向を決めることによって、オブジェクト座標系からワールド座標系への変換が定義される。この変換を用いて、仮オブジェクトのジオメトリデータをワールド座標系で表現し、メモリに記憶しておく。
【０２１５】
一方、視点情報・視線情報入力部１３において視点情報および視線情報が入力されると、ワールド座標系からスクリーン座標系への変換が定義される。この変換を用いて、ワールド座標系で表現された仮オブジェクトのジオメトリデータをスクリーン座標系で表現し、これもメモリに記憶しておく。
【０２１６】
画像選択部および画像変換部
画像選択部７および画像変換部８では、以下に説明する手法を用いて画像選択処理および画像変換処理を行なう。具体的な処理の内容は、手法の説明の後に記述する。この処理が実施例１ないし実施例４と異なる。
【０２１７】
視点の位置や視線の方向を様々に変化させたときの画像を得る手段の一つとして、複数枚の画像を用いて仮想的な視点から見た画像を生成する手法が、「S.M.Seitz and C.R.Dyer,"View Morphing",Proc SIGGRAPH 96,In Computer Graphics(1996),pp.21-30 」において提案されている。以下図１７を用いてこの文献で提案されている手法（以下、ビューモーフィング法と記す）について概要を説明する。
【０２１８】
まず、１つの物体について２か所から撮影された２枚の画像Ｉ0 、Ｉ1 を用意する。画像はそれぞれ光学中心Ｃ0 、Ｃ1 と視線ベクトル
【０２１９】
【数２４】
を持っている。それぞれの画像の光学中心を結んだ線分を一般にベースラインと呼ぶ。
【０２２１】
（ステップ１）：それぞれの視線ベクトルが平行かつベースラインに垂直になるように視線ベクトルの向きを変え、さらにスクリーン面までの距離が単位長になるようにオリジナルの画像を変形する。このとき、視線ベクトルはそれぞれ
【０２２２】
【数２５】
となる。変形して得られた画像をそれぞれＩ′0 、Ｉ′1 とする。この操作を、文献中ではprewarp と呼んでいる。
【０２２４】
（ステップ２）：ベースライン上に仮想的な視点Ｃs を設定する。そして、変形された各々の画像の全ての画素について対応点を探索し、仮想視点の位置に応じて、それぞれの対応点について線形補間を行なう。以上の操作で、prewarp された視線ベクトルの方向
【０２２５】
【数２６】
に仮想視点から見た画像Ｉ′s を得ることができる。
【０２２７】
（ステップ３）：得られた画像について、視線ベクトル
【０２２８】
【数２７】
が所望の方向を向き、所望のスクリーン面までの距離を持つように変形を行ない、仮想視点から見た画像Ｉs を得る。この操作を、文献中ではpostwarpと呼んでいる。
【０２３０】
以上のステップ１からステップ３までの操作を行なうことにより、仮想的な視点から見た画像を２枚の実写画像から得ることができる。
【０２３１】
元の文献には記述されていないが、この手法を自然に拡張すれば、撮影点を３点に増やすことにより、この３点を頂点に持つ三角形に囲まれた任意の視点から見た物体の画像を合成することが可能となることは自明である。要するに、ビューモーフィング法を繰り返して実行すれば良い。したがって、任意の視点に対して、必ずその視点を囲むような、３つの撮影点からなる三角形が存在するように、あらかじめ画像を撮影しておけば良い。これが可能であることは、物体を囲む正２０面体を想像すれば明らかである。
【０２３２】
画像選択部
画像選択部７では、画像選択手段を用いて、画像データ格納部１５から適切な画像を複数枚選択する。具体的な手順は以下の通りである。
【０２３３】
【数２８】
この時点で、視点が撮影点を結んだ線分上に存在すれば画像の選択を終了する。そうでない場合、撮影点をもう一つ選択して、三つの撮影点から構成される三角形が視点を囲むようにする必要がある。したがって、内積の値が３番目に大きい撮影点から順番に、前述の条件を満たすかどうか判定し、条件を満たすような撮影点がみつかったところでその撮影点に対応する画像ファイルを選択し、画像の選択を終了する。
【０２３５】
画像変換部
画像変換部８では、画像変換手段を用いて、画像選択部７で選択された画像を変換する。画像変換手段には、前述のビューモーフィング法を用いる。
【０２３６】
画像合成部
画像合成部１１では、画像合成手段によって表示されるべき画像の合成を行なう。具体的な手順は以下の通りである。
【０２３７】
まず、画像変換部８で得られた画像について、縦横比を保ったまま、仮オブジェクトの大きさに合わせて拡大または縮小を行なう。一般に、仮オブジェクトの形状と画像変換部８で得られた画像の輪郭は一致するとは限らないので、縦方向あるいは横方向のいずれかを選択して、画面上に表示される大きさを調整し、実際に描画する画像を生成する。また仮オブジェクトの位置に合わせて、描画される画像の位置を決定する。
【０２３８】
つづいて、描画する画像の各画素の持つ奥行き値を、既に描かれている画像の奥行き値と比較し、奥行き値の小さい方を描画する画素として選択する。
以上の手順によって奥行き値を考慮した画像の合成が行なわれる。
【０２３９】
画像表示部
画像表示部１２では、画像合成部１１によって合成された画像をディスプレイ上に表示する。
【０２４０】
以上のような作用により、モデリングが簡単に行なえ、物体の操作や衝突検出が可能であり、視点や視線の変化を自由に行なうことができ、充分なリアリティを持った、実写画像を利用した画像合成表示手法を提供することができる。
【０２４１】
図２５は、実施例５の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。なお、相違点は、図２１におけるステップ（Ｓ１５）とステップ（Ｓ１６）とに代わって、ステップ（Ｓ６７）が用いられている点である。
ステップ（Ｓ６３）：視点と視線とに関する情報が入力される。
ステップ（Ｓ６４）：仮オブジェクトデータを読込む。
ステップ（Ｓ６５）：仮オブジェクトを配置する。
ステップ（Ｓ６６）：画像ファイルを選択する。
ステップ（Ｓ６７）：ビューモーフィング法によっての画像変換を行う。
ステップ（Ｓ６８）：拡大または縮小の基準方向を選択する。
ステップ（Ｓ６９）：画像を拡大または縮小する。
ステップ（Ｓ７０）：描画位置を決定する。
ステップ（Ｓ７１）：画素毎の奥行き値を比較する。
ステップ（Ｓ７２）：影にかくれた部分などの描画すべきでない部分か否かを調べる。
ステップ（Ｓ７３）：描画すべき部分については描画する。
ステップ（Ｓ７４）：全ての画素について処理したか否かを調べる。
ステップ（Ｓ７５）：画面表示を行う。
【０２４２】
その効果として、ポリゴン分割の詳細度に依存しない、充分な品質を持った、物体の表示を行なうことができる。実施例１および実施例２、実施例３、実施例４と比較すると、画像変換部における処理にビューモーフィング法を用いているため、画像変換処理の負担は増加するが、高品質の画像表示を行なうことができる。
【０２４３】
上記において、画像合成表示方法ならびにそのための装置について説明したが、当該画像合成表示はデータ処理装置が、プログラムを実行する形で記述することが可能であり、プログラムの形で記録保存することが可能である。このことから本願発明は当該プログラムを記録した記録媒体をも本願発明の権利範囲に属するものである。
【０２４４】
【発明の効果】
以上説明したように、本発明によれば、以下のような利点を兼ね備えた、充分なリアリティを持つ、実写画像を用いた画像合成表示手法を提供することができるという効果がある。
【０２４５】
まず第一に、本発明では物体の概略形状を表す仮オブジェクトと、いくつかの方向から物体を撮影した実写画像を用いてモデリングを行ない、物体の詳細な形状を多数のポリゴンで表現する必要がないため、モデリングが簡単に行なえる利点がある。
【０２４６】
次に、仮オブジェクトが物体の概略形状情報を持っているため、回転や平行移動など、物体の操作を行なうことができ、また、衝突検出を行なうことができるという効果がある。この効果によって、本発明を３次元仮想空間レイアウトシステムに応用することができるという利点がある。
【０２４７】
また、視点や視線の変化を自由に行なうことができ、隠面消去を行なうことができる効果がある。この効果によって、３次元ＣＧの重要な応用例であるウォークスルーを実現することができるという利点がある。
【０２４８】
さらに、本発明の方法は特殊な装置を必要としないため、ポリゴンとテクスチャマッピングを用いた従来の３次元ＣＧ手法と組み合わせて用いることができる。したがって、既存の３次元ＣＧ装置に、本発明の方法を実現する装置を組み込むことにより、既存の３次元ＣＧ装置の表示のリアリティを増すことができるという利点がある。
【図面の簡単な説明】
【図１】凹凸のある物体を第三角法によって描いたものである。
【図２】図１に示された物体を斜め上方から見た場合の実際の見え方を表すものである。
【図３】図１に示された物体を斜め上方から見た場合に、従来の手法を用いた表示したものを表すものである。
【図４】湯のみを表すものである。
【図５】図４に示された湯のみを、従来の手法を用いて表示したものを表すものである。
【図６】本発明の第１の実施例を説明するブロック図である。
【図７】バウンディングボックスとオブジェクト座標系との関係を表すものである。
【図８】物体を仮オブジェクトで近似する様子を表すものである。左側の図が実際の物体、右側の図が仮オブジェクトをそれぞれ表している。
【図９】物体の撮影の様子を説明するための模型図である。
【図１０】ワールド座標系の原点に光学中心を持ち、焦点距離がｆであるようなピンホールカメラによる透視投影変換の様子を表すものである。
【図１１】ディジタル画像座標系と正規化画像座標系の間の関係を表すものである。
【図１２】正規化画像座標系のＸ軸の回りにカメラを角度φだけ回転させるような正規化画像座標系の座標変換の様子を表すものである。Ｘ軸は、紙面から手前の方向を正として、ＹＺ−平面に垂直に伸びているものとする。
【図１３】本発明の第２の実施例を説明するブロック図である。
【図１４】本発明の第３の実施例を説明するブロック図である。
【図１５】本発明の第４の実施例を説明するブロック図である。
【図１６】本発明の第５の実施例を説明するブロック図である。
【図１７】 View Morphing の手法を説明するための模型図である。
【図１８】図６に示す実施例１におけるジオメトリデータ作成のためのフローチャートを示す。
【図１９】図６に示す実施例１における画像データ作成のためのフローチャートを示す。
【図２０】図６に示す実施例１におけるカメラパラメータ抽出のためのフローチャートを示す。
【図２１】図６に示す実施例１におけるレンダリング部のフローチャートを示す。
【図２２】実施例２の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。
【図２３】実施例３の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。
【図２４】実施例４の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。
【図２５】実施例５の場合における、実施例１との相違部分であるレンダリング部についてのフローチャートを示す。
【符号の説明】
１ 仮オブジェクト作成部
２ 画像撮影部
３ 物体抽出部
４ 奥行き値付与部
５ カメラパラメータ抽出部
６ 仮オブジェクト配置部
７ 画像選択部
８ 画像変換部
９ 画像補正部
１０ 画像再投影部
１１ 画像合成部
１２ 画像表示部
１３ 視点情報・視線情報入力部
１４ ジオメトリデータ格納部
１５ 画像データ格納部
１６ カメラパラメータ格納部
１７ モデリング部
１８ レンダリング部
１９ モデルデータ格納部
２０ 画像合成表示装置
Claims (11)
- 物体の３次元コンピュータグラフィックスの画像合成表示方法において、
前記物体の概形と位置と占有範囲を表す仮オブジェクトを用いて、画像の表示位置と当該画像の表示の大きさとを決定する第１の段階と、
投影中心から物体へ向かう方向と撮影時視線の方向とが最も近いような前記物体のみを抽出した実写画像を選択する第２の段階と、
上記第２の段階で選択された実写画像を、投影中心から物体へ向かう方向と表示時視線の方向とのずれに応じて変形する第３の段階と、
上記第１の段階により決定された表示位置と表示の大きさとに合わせて、上記第３の段階により変形された実写画像を表示する第４の段階と
を有する
ことを特徴とする画像合成表示方法。 - 請求項１記載の画像合成表示方法において、
選択された実写画像を投影中心から物体へ向かう方向と表示時視線の方向とのずれに応じて変形するに当って画像再投影を行う
ことを特徴とする画像合成表示方法。 - 物体の３次元コンピュータグラフィックスの画像合成表示方法において、
前記物体の概形と位置と占有範囲を表す仮オブジェクトを用いて、画像の表示位置と当該画像の表示の大きさとを決定する第１の段階と、
投影中心から物体へ向かう方向と撮影時視線の方向とが最も近いような前記物体のみを抽出した実写画像を選択する第２の段階と、
上記第２の段階で選択された実写画像を、投影中心から物体へ向かう方向と撮影時視線の方向とのずれに応じて変形する第３の段階と、
上記第３の段階で変形された実写画像を、さらに投影中心から物体へ向かう方向と表示時視線の方向とのずれに応じて変形する第４の段階と、
上記第１の段階により決定された表示位置と表示の大きさとに合わせて、上記第４の段階により変形された実写画像を表示する第５の段階と
を有する
ことを特徴とする画像合成表示方法。 - 請求項３記載の画像合成表示方法において、
選択された実写画像を投影中心から物体へ向かう方向と撮影時視線の方向とのずれに応じて変形する第３の段階においておよび投影中心から物体へ向かう方向と表示時視線の方向とのずれに応じて変形する第４の段階において画像再投影を行う
ことを特徴とする画像合成表示方法。 - 物体の概形と位置と占有範囲を表す仮オブジェクトを３次元仮想空間中に配置する仮オブジェクト配置手段と、
前記仮オブジェクトを用いて決定した画像の表示位置と当該画像の表示の大きさに合わせて、物体を複数方向から撮影し前記物体のみを抽出した実写画像を選択する画像選択手段と、
上記画像選択手段により選択された実写画像を、視点情報及び視線情報に基づき、変換する画像変換手段と、
上記の変換された画像を奥行き値を考慮して合成する画像合成手段と、
上記画像合成手段によって合成された画像を画面に表示する画像表示手段と
を備え、
上記画像変換手段が、投影中心から表示物体に向かう方向と表示時視線方向とのずれを補正する画像再投影手段を備える
ことを特徴とする画像合成表示装置。 - 物体の概形と位置と占有範囲を表す仮オブジェクトを３次元仮想空間 中に配置する仮オブジェクト配置手段と、
前記仮オブジェクトを用いて決定した画像の表示位置と当該画像の表示の大きさに合わせて、物体を複数方向から撮影し前記物体のみを抽出した実写画像を選択する画像選択手段と、
上記画像選択手段により選択された実写画像を、視点情報及び視線情報に基づき、変換する画像変換手段と、
上記の変換された画像を奥行き値を考慮して合成する画像合成手段と、
上記画像合成手段によって合成された画像を画面に表示する画像表示手段と
を備え、
上記画像変換手段が、
上記画像選択手段により選択された画像の撮影時の視線の方向と投影中心から表示物体に向かう方向とのずれを補正する画像補正手段と、
投影中心から表示物体に向かう方向と表示時視線方向とのずれを補正する画像再投影手段と
を備える
ことを特徴とする画像合成表示装置。 - 物体の３次元コンピュータグラフィックスの画像合成表示装置において、
物体の概形と位置と占有範囲を表す仮オブジェクトを作成する仮オブジェクト作成手段と、表示対象物体の実写画像を取得する画像撮影手段と、上記実写画像から表示対象物体を抽出する物体抽出手段と、上記実写画像中の表示対象物体の奥行き値を付与する奥行き値付与手段と、上記実写画像の取得に用いたカメラのカメラパラメータを抽出するカメラパラメータ抽出手段とを有するモデリング装置を備えると共に、
前記仮オブジェクトを用いて決定した画像の表示位置と当該画像の表示の大きさに合わせて、物体を複数方向から撮影し前記物体のみを抽出した実写画像を選択する画像選択手段と、上記画像選択手段により選択された実写画像を、視点情報及び視線情報に基づき、変換する画像変換手段とを備え、
上記画像変換手段が、上記画像選択手段により選択された画像の撮影時の視線の方向と投影中心から表示物体に向かう方向とのずれを補正する画像補正手段と、投影中心から表示物体に向かう方向と表示時視線方向とのずれを補正する画像再投影手段とを有する画像合成表示装置と、
ジオメトリデータを格納するジオメトリデータ格納手段と、
画像データを格納する画像データ格納手段と、
カメラパラメータを格納するカメラパラメータ格納手段と
を備える
ことを特徴とする画像合成表示装置。 - 物体の概形と位置と占有範囲を表す仮オブジェクトを用いて、画像の表示位置と当該画像の表示の大きさとを決定する第１の段階と、
投影中心から物体へ向かう方向と撮影時視線の方向とが最も近いような前記物体のみを抽出した実写画像を選択する第２の段階と、
上記第２の段階で選択された実写画像を、投影中心から物体へ向かう方向と表示時視線の方向とのずれに応じて変形する第３の段階と、
上記第１の段階により決定された表示位置と表示の大きさとに合わせて、上記第３の段階により変形された実写画像を表示する第４の段階と
を有する３次元コンピュータグラフィックスの画像合成表示方法に関し、
当該画像合成表示方法を記述した画像合成表示プログラムを記録した記録媒体。 - 請求項８に記載された画像合成表示方法において、選択された実写画像を投影中心から物体へ向かう方向と表示時視線の方向とのずれに応じて変形するに当って画像再投影を行うようにした
３次元コンピュータグラフィックスの画像合成表示方法に関し、
当該画像合成表示方法を記述した請求項８記載の画像合成表示プログラムを記録した記録媒体。 - 物体の概形と位置と占有範囲を表す仮オブジェクトを用いて、画像の表示位置と当該画像の表示の大きさとを決定する第１の段階と、
投影中心から物体へ向かう方向と撮影時視線の方向とが最も近いような前記物体のみを抽出した実写画像を選択する第２の段階と、
上記第２の段階で選択された実写画像を、投影中心から物体へ向かう方向と撮影時視線の方向とのずれに応じて変形する第３の段階と、
上記第３の段階で変形された実写画像を、さらに投影中心から物体へ向かう方向と表示時視線の方向とのずれに応じて変形する第４の段階と、
上記第１の段階により決定された表示位置と表示の大きさとに合わせて、上記第４の段階により変形された実写画像を表示する第５の段階と
を有する３次元コンピュータグラフィックスの画像合成表示方法に関し、
当該画像合成表示方法を記述した画像合成表示プログラムを記録した記録媒体。 - 請求項１０に記載された画像合成表示方法において、選択された実写画像を投影中心から物体へ向かう方向と撮影時視線の方向とのずれに応じて変形する第３の段階においておよび投影中心から物体へ向かう方向と表示時視線の方向とのずれに応じて変形する第４の段階において画像再投影を行うようにした
３次元コンピュータグラフィックスの画像合成表示方法に関し、
当該画像合成表示方法を記述した請求項１０記載の画像合成表示プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21080999A JP3648099B2 (ja) | 1999-07-26 | 1999-07-26 | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21080999A JP3648099B2 (ja) | 1999-07-26 | 1999-07-26 | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001034788A JP2001034788A (ja) | 2001-02-09 |
| JP3648099B2 true JP3648099B2 (ja) | 2005-05-18 |
Family
ID=16595500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21080999A Expired - Lifetime JP3648099B2 (ja) | 1999-07-26 | 1999-07-26 | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3648099B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4595313B2 (ja) * | 2003-11-14 | 2010-12-08 | ソニー株式会社 | 撮像表示装置及び方法、画像送受信システム |
| CN113536467A (zh) * | 2021-07-24 | 2021-10-22 | 深圳市北斗云信息技术有限公司 | 一种无人机远程操作显示系统 |
-
1999
- 1999-07-26 JP JP21080999A patent/JP3648099B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001034788A (ja) | 2001-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2215326C2 (ru) | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта | |
| JP4947593B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
| JP3030485B2 (ja) | ３次元形状抽出方法及び装置 | |
| JP6201476B2 (ja) | 自由視点画像撮像装置およびその方法 | |
| US7903111B2 (en) | Depth image-based modeling method and apparatus | |
| JP4803594B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
| US20150358612A1 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
| JP4065488B2 (ja) | ３次元画像生成装置、３次元画像生成方法及び記憶媒体 | |
| US20020113865A1 (en) | Image processing method and apparatus | |
| KR101642975B1 (ko) | 객체를 관찰하기 위한 파노라마 공간 모델링 방법 | |
| WO2002013144A1 (en) | 3d facial modeling system and modeling method | |
| JP3855053B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| KR100317138B1 (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| JP3643511B2 (ja) | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 | |
| US5793372A (en) | Methods and apparatus for rapidly rendering photo-realistic surfaces on 3-dimensional wire frames automatically using user defined points | |
| JP4108171B2 (ja) | 画像合成装置 | |
| JP2002092625A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP3648099B2 (ja) | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 | |
| JP2005063041A (ja) | ３次元モデリング装置、方法、及びプログラム | |
| JPH10208074A (ja) | 画像生成方法 | |
| JP2010152529A (ja) | 頂点テクスチャマッピング装置及びプログラム | |
| JP7394566B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| US6633291B1 (en) | Method and apparatus for displaying an image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3648099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |