JPH08153213A

JPH08153213A - 画像合成表示方法

Info

Publication number: JPH08153213A
Application number: JP7250995A
Authority: JP
Inventors: Toshiyuki Yuasa; 俊之湯浅; Haruo Takeda; 晴夫武田; Makoto Kato; 誠加藤; Toshio Moriya; 俊夫守屋; Hideo Noyama; 英郎野山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-09-29
Filing date: 1995-09-28
Publication date: 1996-06-11

Abstract

(57)【要約】【課題】２次元実写動画像に、動きを伴う３次元ＣＧを
合成して、立体感、現実感のある動画像を作成し表示す
る。【解決手段】コマンドと記憶装置１４０内の情報とを用
いてプロセッサ１３０で合成画像を作成してフレームバ
ッファ１５０に書き込み、画像表示装置１１０に表示す
る、という処理を実時間で連続的に行ない、動画像を表
示する。合成画像作成時には描画と同時にＺバッファ１
６０に奥行き値を書き込み、この奥行き値を参照して隠
面処理を行なう。記憶装置１４０内には実写動画像デー
タとその各フレームに対応する視点情報と実写画像内に
撮影されている物体の３次元情報と、選択可能なＣＧデ
ータが格納されており、視点情報と撮影物体の３次元情
報と選択されたＣＧデータからＣＧ画像を作成し、選択
されたＣＧに対応する部分以外の部分を実写画像で置き
換えることにより、上記合成画像を作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成表示方法
に関わり、特にビデオカメラで撮影した実写画像と計算
機上で作成したＣＧ画像を合成して表示する方法に関す
る。

【０００２】

【従来の技術】ＣＧ（コンピュータグラフィックス）技
術の進展により、ワークステーション、パーソナルコン
ピュータや一般の公共端末などにおいて繊細かつ美しい
ＣＧ画像が高速に作成表示できるようになってきてお
り、自然物のＣＧ表示も実写画像に近いものが得られる
までに至っている。これに伴い、カメラ等で撮影した実
写画像とＣＧ画像を合成して表示するという応用が拡大
している。このような応用としては実写静止画像に２次
元ＣＧや３次元ＣＧを合成して表示するというものだけ
でなく、実写動画像に３次元ＣＧを合成して表示すると
いうものも提案されている。例えば、電子情報通信学会
論文誌Ｖｏｌ．Ｊ７６−Ｄ−IIの４０頁から４９頁に掲
載されている、「動画像解析に基づく動画像合成法と景
観シミュレーションへの応用」と題する論文では、路上
を走る車上から景観をビデオカメラで撮影し、得られた
動画像に３次元モデルをもつ建築物のＣＧを合成すると
いう例が示されている。合成の際には、動画像を撮影し
た視点から、該建築物が２次元的にどのように見えるか
を計算によって求め（レンダリング）、さらに、擬似的
な奥行き値を手入力で与えることにより、該建築物のど
の部分が山などの実写撮影された物体に隠れるかを判断
し、表示している。これにより、合成動画像を現実感の
あるものにしている。

【０００３】

【発明が解決しようとする課題】ただし、上記の例では
合成するＣＧとして構造建築物のような景観内で静止し
ているものを想定している。このため、人間、動物、乗
り物など景観内で動く可能性のあるものをＣＧで作成し
て合成しようとすると、奥行き値が手入力による擬似的
なものにとどまっているため、ＣＧのどの部分が実写画
像内の物体に隠れる部分かを判定する際に精度が悪くな
るという問題がある。

【０００４】これに関して、カメラからの入力画像に基
づいて、実写物体の奥行き値を距離計測回路により求
め、この奥行き値を画像生成回路により生成された画像
の奥行き値と比較して、両者の前後関係を求めるもの
が、特開平４―３７２０７９号公報に開示されている。
しかし、この技術では、視点の変更については考慮され
ておらず、視点を変えた場合には、その視点毎に被写体
の奥行き値を計測しなければならない。

【０００５】また、特開平５―１７４１２９号公報に
は、実写背景に３次元ＣＧモデルの像を、その不透明部
分を指示するキー信号に基づいて、合成する技術が示さ
れている。この技術は、ＣＧモデルが前景であることが
前提とされており、ＣＧモデルが背景物体の背後にかく
れるような場合に対処が困難である。

【０００６】また、特開平６―２８４４９号公報には、
実写画像と計算による生成画像を、被写体と３次元モデ
ルの奥行き値の比較や、被写体位置や撮像入力によるキ
ー信号に基づいて、合成する技術が開示されている。こ
の技術では、ズーム／アイリスなどの撮影条件をも考慮
して生成画像が計算されているが、実写画像と生成画像
のおのおのが作成されたのち、画素ごとに両者のうちの
いずれかが選択されているため、実写画像の影が生成画
像に落ちたり、生成画像の影が実写画像に落ちたりする
ことがない。さらに、本公知例には、上記のような合成
を実現する方式については記載されているが、合成を実
現する具体的構成装置と実現アルゴリズムおよびデータ
構造が不明である。

【０００７】また、上記のいずれの従来技術も、ＣＧの
物体と実写物体の相互の干渉や衝突に関して考慮されて
いないという点で、なお、現実感、立体感に問題があ
る。

【０００８】本発明の目的は、２次元実写画像に、動き
を伴うような３次元ＣＧを合成して、立体感、現実感の
ある画像を作成し表示することができる画像合成表示方
法を提供することにある。

【０００９】

【課題を解決するための手段】上記のような問題を解決
するために、本発明による画像合成表示方法は、画像表
示装置とコマンド入力手段とプロセッサと記憶装置とを
備えた計算機システムにおける画像合成表示方法であっ
て、上記記憶装置にディジタル形式の実写画像のデータ
と該実写画像の少なくとも視点位置を表す視点情報と該
実写画像に写された物体の３次元情報を格納しておき、
上記コマンド入力手段より入力される情報と上記視点情
報と上記３次元情報とに基づいて、上記実写画像に合成
されるべきＣＧ画像を作成し、該作成されたＣＧ画像と
上記実写画像とを上記プロセッサで合成して上記画像表
示装置に表示することを特徴とする。

【００１０】この画像合成表示方法において、好ましく
は、上記記憶装置に複数のＣＧのデータを格納してお
き、上記コマンド入力手段により使用するＣＧの選択
と、該ＣＧの描画すべき３次元位置および向きの指定を
行ない、上記視点情報と上記実写画像に写された物体の
３次元情報から該ＣＧのどの部分が見え、どの部分が隠
れるかを算出し、見える部分のみを上記実写画像と合成
することにより表示画像を作成する。

【００１１】また、オペレータが上記コマンド入力手段
より入力するか、プロセッサが自動的に発生するか、少
なくとも一方の方法で、仮想光源の性質と３次元情報を
決定し、上記視点情報と上記実写画像に写された物体の
３次元情報を用いて、該仮想光源による影がどのように
できるか算出し、上記実写画像のディジタルデータを、
影になる部分については輝度を減少させるよう変更し、
影にならない部分についてはそのまま表示するようにし
てもよい。あるいは、上記仮想光源によってどの部分が
どのように照らされるか算出し、上記実写画像のディジ
タルデータを、照らされた度合に基づいて変化させて表
示するようにしてもよい。

【００１２】上記記憶装置に複数のＣＧのデータを格納
しておき、オペレータが上記コマンド入力手段より、使
用するＣＧの選択を行ない、上記プロセッサが該ＣＧの
データの描画すべき３次元位置および向きの新たな情報
を上記３次元情報との干渉チェックを行ないつつ自動的
に生成し、該処理を反復することにより動画像を上記画
像表示装置に表示させることも可能である。

【００１３】好ましくは、上記実写画像のデータは同一
対象を異なる方向から撮影した複数枚の実写画像のデー
タであり、視点情報は各実写画像に対応した視点情報が
格納されており、上記コマンド入力手段よりオペレータ
の視点位置が入力され、入力される視点位置にもっとも
近い視点情報と対応する実写画像が選ばれる。

【００１４】上記光源の性質は、例えば、点光源である
か面光源であるかを表す情報である。

【００１５】本発明による画像合成表示方法は、他の見
地によれば、画像表示装置とコマンド入力手段とプロセ
ッサと記憶装置とを備えた計算機システムにおける画像
合成表示方法であって、上記記憶装置にディジタル形式
の少くとも１フレーム分の実写画像のデータと、該実写
画像の少なくとも視点位置を表す視点情報と、該実写画
像に写された物体の３次元情報と、上記実写画像に合成
すべきあらかじめ定めた少くとも１つの３次元合成物体
のＣＧデータとを格納しておく第１のステップと、上記
コマンド入力手段より、あるいは上記プロセッサで自動
的に発生させることにより、上記３次元合成物体の上記
３次元空間内の位置および向きのパラメータを指定する
第２のステップと、該位置および向きのパラメータを考
慮して、上記実写画像に写された物体の３次元情報と同
一の座標系内での上記３次元合成物体の座標値を算出す
る第３のステップと、上記実写画像の視点情報に基づい
て、上記実写画像の物体を上記３次元合成物体と組み合
わせて、ＣＧ描画する第４のステップと、該ＣＧ描画結
果の上記３次元合成物体以外の部分を、該部分に対応す
る上記実写画像の部分で置き換える第５のステップと、
該置き換えた結果を上記画像表示装置に表示する第６の
ステップとを有することを特徴とする。

【００１６】この画像合成表示方法において、好ましく
は、上記第３のステップのあと、上記３次元合成物体Ｃ
Ｇと上記実写画像に写された物体との相互の干渉をチェ
ックし、干渉が検出された場合、上記３次元合成物体の
位置および向きのパラメータの少なくとも一方を変更し
て再度上記第２のステップへ戻る。

【００１７】本発明は、さらに他の見地によれば、画像
表示装置とコマンド入力手段とプロセッサと記憶装置と
を備えた計算機システムにおける画像合成表示方法であ
って、上記記憶装置にディジタル形式の少くとも１フレ
ーム分の実写画像のデータと、該実写画像の少なくとも
視点位置を含む視点情報と、該実写画像に写された３次
元物体の３次元情報と、上記実写画像に合成すべきあら
かじめ定めた少くとも１つの合成物体のＣＧデータとを
格納しておく第１のステップと、オペレータが上記コマ
ンド入力手段より入力するか、プロセッサが自動的に発
生するか、少なくとも一方の方法で、上記実写画像の３
次元空間内における上記合成物体の位置および向きのパ
ラメータを指定する第２のステップと、該位置および向
きのパラメータを考慮して、上記実写画像に写された３
次元物体の３次元情報と同一の座標系内での上記合成物
体を表わす３次元座標値群を算出する第３のステップ
と、上記実写画像の視点情報に基づいて、上記実写画像
の３次元物体をＣＧ描画する第４のステップと、該ＣＧ
描画結果に対して、ブレンド合成により、対応する上記
実写画像を合成することにより、合成画像を作成する第
５のステップと、上記第３のステップで算出された３次
元座標値群に従って、上記合成画像に対して上記合成物
体を合成描画する第６のステップと、第６のステップで
作成された合成画像を上記画像表示装置に表示する第７
のステップと、を有することを特徴とする。

【００１８】本発明では、実写画像内に撮影された物体
の３次元情報を有しており、合成する対象の３次元合成
物体（実施の形態では、うさぎのＣＧなど）のＣＧデー
タに基づいて、同一の３次元空間座標系内でこの３次元
合成物体の座標値を算出する。すなわち、実写画像内に
撮影された物体の３次元構造の中に、３次元合成物体を
埋め込むことができる。３次元情報によれば、物体の各
点の正確な奥行き値を算出でき、３次元合成物体が動き
を持つ場合でも、どの部分が撮影物体に隠れるかを正確
に特定できる。したがって、撮影された物体および３次
元合成物体の両者のＣＧ描画結果から、その３次元合成
物体以外の部分を、対応する実写画像で置き換えること
により、正確かつ容易に、実写画像への３次元ＣＧの合
成が行なえる。

【００１９】また、上記３次元情報を用いて計算するこ
とにより、仮想光源による影を作成することができた
り、どの部分がどれくらいの照度で照らされるかを計算
して、合成画像に反映させることができる。

【００２０】さらに、上記３次元情報による制約からＣ
Ｇが物体にぶつかるなどの、より現実的な動きを導きだ
すことができる。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態を詳細
に説明する。

【００２２】図１は第１の実施の形態の構成を示したも
のである。図１において、１１０は画像表示装置、１２
０はコマンド入力装置（キーボードおよびポインティン
グデバイス等を含む）、１３０はプロセッサ、１４０は
記憶装置、１５０はフレームバッファ、１６０はＺバッ
ファである。プロセッサ１３０からの描画命令でフレー
ムバッファ１５０に画像データが書き込まれ、プロセッ
サ１３０からの表示命令でフレームバッファ１５０に書
き込まれている内容が画像表示装置１１０に表示され
る。Ｚバッファ１６０には奥行きデータが書き込まれ
る。この奥行きデータは隠面処理（Ｚバッファ法）を行
なう際に用いる。記憶装置１４０内にはフレーム情報領
域１４１と３次元構造領域１４２とＣＧ領域１４３が設
けられている。

【００２３】フレーム情報領域１４１には実写画像デー
タと視点情報が各フレーム毎に格納される。実写画像デ
ータはディジタル形式で、その構造は各フレーム毎に画
素値の２次元配列となっており、例えばビデオカメラで
撮影して出力されるアナログ信号をＡＤ変換することよ
って得ることができる。ただし、本実施の形態では撮影
対象は静止しており、ビデオカメラを移動させて同一対
象を撮影するものとする。図２、図３は実写画像の例
で、机に数冊の本が置かれているという対象を、ビデオ
カメラを右側から左側へと移動させながら（すなわち視
点を変えながら）撮った画像のうちの任意の２枚のフレ
ームである。

【００２４】図１に戻り、フレーム情報領域１４１内の
視点情報は、この実写画像を撮影した際の視点の３次元
位置と、視線の方向ベクトルと、この方向ベクトルを軸
とする回転角の大きさからなる。視点情報と実写画像デ
ータはそれぞれ独立に使用することができ、１フレーム
のみの情報を取り出すこともできる。本実施の形態では
格納されるフレーム数をｆとしている。３次元構造領域
１４２には後述するように、上記実写画像に撮影されて
いる物体の全部あるいは一部について、物体の頂点等の
特徴点の３次元座標と各特徴点同士の接続関係が格納さ
れる。さらに３次元構造領域１４２には、剛体存在情報
としての「ボクセルデータ」が格納される（図６で後
述）。ＣＧ領域１４３には、いくつかのＣＧデータが格
納される。後述するようにオペレータが好みのＣＧを選
ぶことができるようになっている。なお、本実施の形態
では３個のＣＧデータを用意している。また、視点情報
と３次元構造の座標は同一空間内の座標である。

【００２５】以上が本実施の形態の構成であり、プロセ
ッサ１３０が後に詳述する処理手順に従って、オペレー
タがコマンド入力装置１２０を通じて与える情報と記憶
装置１４０に格納された情報を用いて合成画像をフレー
ムバッファ１５０に作成し、画像表示装置１１０に表示
する。コマンド入力装置１２０としてはマウス付きキー
ボードであってもよいし、他のものであってもよい。マ
ウス付きキーボードを用いる場合は、メニューを表示
し、マウスをクリックする等によりコマンド入力する。
コマンド入力に位置座標などの数値が必要な場合はキー
ボード入力、あるいはマウスポインタで位置を合わせて
クリックする等の方法を用いることができる。

【００２６】次に記憶装置１４０に格納される情報のデ
ータ構造について詳細に述べる。フレーム情報領域１４
１内に格納される実写画像データは、図４のような構造
で各画素のＲＧＢ値およびα値を要素とする２次元配列
であり、これがフレーム数ｆ個だけ区切り可能な状態で
格納される。グラフィックス用計算機において、赤色の
強さＲ、緑色の強さＧ、青色の強さＢ、およびα値の計
４個の要素でもってひとつの色を表現することが一般的
になってきている。色相だけならＲＧＢの３個の要素で
表現可能であるが、計算機上で色を生成する様々な場面
では、ＲＧＢ以外の情報を必要とすることが多いので、
この情報をα値として持たせたものである。最もよく使
われる例としては、α値を透過係数として用いるものが
挙げられる。例えば、オーバーラップさせる方のαの値
を０以上１以下の実数であるとして、（元の画像のRGB値）×α＋（オーバーラップさせる画
像のRGB値）×（１―α）として表示色を決定することにすれば、αが１のところ
では全透明、それ以外のところではαの値に応じた半透
明が表現できる。後述する影の合成の別法でもこのα値
を利用している。

【００２７】視点情報は１個のフレームに対して図５の
ように７個のパラメータを有し、最初の３個のパラメー
タ（ｘ，ｙ，ｚ）は視点（カメラ）の三次元位置、次の
３個のパラメータ（ｐ，ｑ，ｒ）は視線の向き、すなわ
ち方向ベクトル、最後のａは視線を軸とした回転角を示
している。この例では、カメラの方向ベクトル（ｐ，
ｑ，ｒ）は、位置（ｘ，ｙ，ｚ）を基準とした相対座標
とも言える。たとえば、（ｐ，ｑ，ｒ）＝（３，４，
５）、（ｘ，ｙ，ｚ）＝（０，１，２）とすると、カメ
ラの向く軸は、位置（０，１，２）、（３，５，７）を
結ぶ直線となる。

【００２８】３次元構造領域１４２に格納される情報
は、図６に示すように特徴点座標データ６１０、面情報
６２０、ボクセルデータ６３０からなる。特徴点座標デ
ータ６１０は特徴点の３次元位置座標を表わす。各特徴
点に番号付けされ、この番号が次の面情報６２０に用い
られる。面情報６２０は、例えば（１−２−３）で点１
と点２と点３を頂点とする三角形が面をなす、というこ
とを意味する。ボクセルデータ６３０は、３次元空間内
の各位置に物質がつまっているかどうかを表わす。つま
っている部分を１で、つまっていない部分を０で示して
おり、後述する干渉チェックに用いられる。すなわち、
後述するＣＧキャラクタはボクセルデータが０の部分で
のみ移動可能であり、１の部分にはぶつかったり、上に
乗ったりすることができる。

【００２９】次にプロセッサ１３０の処理手順について
詳しく説明する。図７に処理手順のフローチャートを示
す。

【００３０】まず、ステップ７００で光源情報を指定す
る。光源情報は光源の性質と光源の３次元情報からな
る。光源の性質は光源が点光源であるか平行光線（面光
源）であるかということである。点光源である場合は３
次元情報として３次元位置座標およびスポット角と減衰
度が指定され、平行光線である場合には３次元情報とし
て光源の存在方向のベクトルが指定される。これらの情
報はコマンド入力装置１２０より入力される。あるい
は、記憶装置１４０の図示しない領域に格納しておき、
それを読み出してもよい。

【００３１】次のステップ７１０では、実写画像に対し
て合成しようとする３次元ＣＧデータをコマンド入力装
置１２０より選択し、選択したＣＧを描画する位置と向
きを定める。３次元ＣＧとして何を用いるかに関しては
特に制限はないが、例としてうさぎのＣＧキャラクタ、
かえるのＣＧキャラクタ、カンガルーのＣＧキャラクタ
のデータが、それぞれＣＧデータ１、ＣＧデータ２、Ｃ
Ｇデータ３として、ＣＧ領域１４３に格納されていると
する。このとき、コマンド入力装置１２０よりＣＧデー
タ１を選択するコマンドが入力されると、うさぎのＣＧ
を用いることに決まる。うさぎのＣＧを図８に示す。さ
らに、このステップ７１０では、コマンド入力装置１２
０より、最初にうさぎのＣＧを三次元内のどこ（初期位
置）に、どのような向き（初期向き）に描くかという描
画パラメータの初期値を受け付け、次のステップへ向か
う。

【００３２】図７に戻り、次のステップ７２０からステ
ップ７９９まではループを形成する。ステップ７９９で
終了指示を受けるまでは、ステップ７２０からステップ
７８０までで表示すべき画面を生成し、ステップ７９０
で表示する、という処理を実時間で繰り返す。表示内容
が１回ごとに少しずつ変化すれば動画表示となるが、そ
の変化させるためのステップが７２０である。

【００３３】ステップ７２０では、さきほど選択された
うさぎのＣＧを３次元空間内のどこにどのような向きに
描くかというパラメータを決定する。このパラメータの
決定はプロセッサ１３０が計算により自動的に行なう
が、うさぎのＣＧを自然な動きで表示するためには、パ
ラメータの変化量は少量ずつでなければならない。この
パラメータの決定の為の計算の具体例は後述する。ま
た、１回目のループでは、ステップ７１０ですでにパラ
メータを決定しているため、ステップ７２０で新たに決
定する必要はない。

【００３４】次のステップ７３０では、ステップ７２０
で決定したＣＧの描画パラメータから、ＣＧのグローバ
ル座標系における位置を計算する。すなわち、これによ
り、３次元構造領域１４２に格納されている撮影物体の
位置座標と同一座標系でＣＧが表わされることになり、
ＣＧが撮影物体の３次元構造の中に埋め込まれる形とな
る。

【００３５】ステップ７４０ではステップ７３０で算出
されたＣＧの位置が適当であるかどうかの干渉チェック
を行なう。ここでは三次元構造領域１４２に格納されて
いるボクセルデータを用いる。前述のうさぎのＣＧの例
をとると、ステップ７３０で算出されたＣＧの位置か
ら、うさぎのＣＧの足の３次元位置や鼻先の３次元位置
等を算出できる。算出された足や鼻先の３次元座標に対
応するボクセルデータを調べ、値が０であれば干渉なし
として次のステップに進む。もし値が１であれば、これ
はうさぎのＣＧの足あるいは鼻がなにかの物体（本や
壁）にめりこんでいるということであるから、干渉あり
と判断してステップ７２０へ戻り、描画パラメータの指
定のやりなおしをする。このとき、ＣＧのどの部分が干
渉したかという情報を保存しておき、描画パラメータの
再決定に用いる。

【００３６】次のステップ７５０では、ステップ７００
で指定した光源情報を用いて、光源から光を当てた場合
にどのような影ができるかを計算する。この影の計算に
ついては、例えば文献Ｍ．Ｓｅｇａｌｅｔａｌ．，
ＦａｓｔＳｈａｄｏｗｓａｎｄＬｉｇｈｔｉｎｇＥ
ｆｆｅｃｔＵｓｉｎｇＴｅｘｔｕｒｅＭａｐｐｉｎ
ｇ，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ ’９２，ｐｐ．２４
９−２５２，１９９２に記載されているような方法を
用いればよい。この方法は、要約すれば、光源の位置を
視点として一旦描画し、このとき陰面として取り除かれ
た部分を影が生じている部分とする、という方法であ
る。本実施の形態ではステップ７００で光源として指定
された位置を視点とし、うさぎのＣＧのほか、撮影物体
をも３次元構造情報をもとにＣＧ描画する。このとき、
周知のＺ−ｂｕｆｆｅｒ法により陰面除去する。具体的
には、フレームバッファ１５０に画素のＲＧＢ濃度値を
書き込むと同時に、奥行き値をＺバッファ１６０に書き
込む。Ｚ−ｂｕｆｆｅｒ法とは、順次ＣＧを書き加えよ
うとするときにこの奥行き値を参照し、そのＣＧが参照
奥行き値より手前にある場合だけフレームバッファ１５
０とＺバッファ１６０のデータを更新するというもので
ある。そして、このＺ−ｂｕｆｆｅｒ法により陰面とし
て除かれた部分はどの面かという情報を影が生じた部分
の情報として、記憶装置１４０内の図示しない別の領域
に保存しておく。

【００３７】次のステップ７６０では、ステップ７５０
で描画した内容は破棄し、フレーム情報領域１４１内に
格納された視点情報のうち、あるフレームのものを視点
としてＣＧ描画する。ここでもうさぎのＣＧだけでなく
撮影物体をも３次元構造情報をもとにＣＧ描画する。な
お、視点情報はどのフレームのものを用いるかが問題と
なるが、一回毎に異なるフレーム（視点）を用いる例に
ついては第二の実施の形態で述べる。本実施の形態では
用いるフレームは固定とし、図３に示した実写画像のフ
レームを用いるものとする。この描画内容はまだ表示さ
れるわけではないが、表示するとすれば図９のようにな
る。図９ではうさぎのＣＧ８００を真中の本の向う側に
配置した例を示している。

【００３８】次のステップ７７０では、まずステップ７
６０で描画した内容から、表面に表れたうさぎのＣＧ以
外の部分を消去する。消去した結果が図１０である。そ
して、消去した部分のみに実写画像をフレーム情報領域
１４１から読み出して貼り付ける。ここで用いる実写画
像データはステップ７６０で用いた視点情報のフレーム
と同じフレームの実写画像データである。本実施の形態
では図３の実写画像ということになる。貼り付けた結果
を図１１に示す。このステップ７７０の具体的な処理手
順については後述する。

【００３９】次のステップ７８０ではステップ７５０で
保存した影を画面に合成する。仮に影は７０％の輝度に
することにしておくと、例えばある画素のＲＧＢ値が
（１５０、２００、１００）であり、その部分が影にな
っている場合はＲＧＢ値を（１０５、１４０、７０）に
変更する。影になっていない場合はＲＧＢ値を変更しな
い。

【００４０】次のステップ７９０では、ここまでの処理
でフレームバッファ１５０に作成された画像を画像表示
装置１１０に表示する。そしてステップ７９９で終了判
定し、終了指示があるまではステップ７２０からステッ
プ７９０までの処理を繰り返す。

【００４１】なお、ステップ７６０でうさぎのＣＧに加
えて撮影物体をもＣＧ描画すると述べたが、撮影物体の
ＣＧの部分はステップ７７０前半で消去されることにな
る。従って、実際には撮影物体のＣＧは黒（ＲＧＢ値
（０、０、０））で描いておけば、消去処理をする必要
がなくなるため、処理の簡略化ができる。さらにこのよ
うにしておけば、何も描かれていない部分も撮影物体の
ＣＧ部分も黒色になっており、ステップ７７０後半で実
写画像で置き換える部分を検出するときに、黒であるか
否かを判別するだけでよく、高速化にも効果がある。

【００４２】あるいは、陰面消去をＺ−バッファ法で行
なっているが、Ｚ−バッファ１６０だけにデータを書き
込み、フレームバッファ１５０には書き込まないという
ことにしてもよい。これはステップ７５０についても同
様に言えることで、ステップ７５０で描画したＣＧは撮
影物体のみならずうさぎのＣＧの方も消去することにな
るので初めから描画を行なわず、Ｚ−バッファにのみデ
ータを書き込めばよい。

【００４３】また、影の合成は、以下のように処理する
こともできる。ステップ７５０で計算した影を、ステッ
プ７６０のＣＧ描画の際にα値のテクスチャとして張り
付ける。ステップ７７０の撮影物体ＣＧ消去では、ＲＧ
Ｂ値のみ消去し、α値は消去しない。すなわち、影情報
は残しておく。そして、ステップ７８０とステップ７９
０を上記と同様に行なう。すなわち、α値が非０の画素
のみ前述の輝度演算を行なうような一種のαブレンディ
ング表示を行なう。この場合、α値は前述したような透
過係数ではなく、あとの処理で影を合成しなければなら
ない場所（画素）に特定のα値を与えて、一種のマーキ
ングをおこなうものである。

【００４４】実際のプログラムを以上のように組むこと
によりステップ７５０からステップ７９０が簡単に実現
できる。

【００４５】なお、本実施の形態ではステップ７５０で
影を計算しているが、仮想光源（たとえば、スポットラ
イト）によって照らされる部分を計算することにしても
よい。この場合も、上記と同様に照らされた度合をα値
として保持させておき、ステップ７６０でこのα値の度
合に応じて画素の輝度値を増減させてやればよい。この
例は後述する第３の実施の形態で説明する。

【００４６】さらにステップ７７０を詳述しておく。図
１２には、ステップ７７０の処理のフローチャートを示
す。ステップ７７１では、うさぎのＣＧ（キャラクタＣ
Ｇ）が見えている部分の画素を検出する。図９に示した
ように、うさぎが本に隠れていると、検出される部分は
うさぎのからだの一部だけとなる。ステップ７７２で
は、検出された部分の画素はそのままに残し、それ以外
の画素を消去する。消去される部分は、撮影物体（本や
机など）のＣＧが描かれた画素と、何も描かれていない
画素である。ただし、前述のように撮影物体を黒でＣＧ
描画した場合は、この消去処理は必ずしも必要ではな
い。ステップ７７３では消去した画素のそれぞれに、実
写データの対応する画素の値を読みだして、その色で描
画する。これにより、消去した部分にだけ実写が貼り付
けられる。

【００４７】次に描画パラメータの決定法の例を説明す
る。うさぎのＣＧがｘｙ平面に平行な机の上に立ってお
り、机の上を跳びはねながら前に進んでいき、壁にぶつ
かれば一定角度だけ向きをかえるという動きを想定す
る。使用するパラメータはｔとθの２個で、ｔが位置の
パラメータ、θが向きのパラメータである。θはうさぎ
のＣＧのｘｙ平面上の向きを表す。

【００４８】ステップ７２０でのパラメータの決定およ
びステップ７３０での三次元座標の計算は次のように行
なう。１回目のループでは初期値としてｔ←０，θ←θ
oと定める。干渉なしでステップ７９９からステップ７
２０に戻ってきたときはｔ←ｔ＋ｄｔ，θ←θとする。
すなわち、ｔはきざみ幅ｄｔで増加させ、θはそのまま
とする。このｔ，θを用いてうさぎのＣＧの三次元座標
（ｘ，ｙ，ｚ）をｘ←ｘo＋ｔcosθ，ｙ←ｙo＋ｔsin
θ，ｚ←ｚo−ｌｔ²＋ｍｔ，で定める。ただし、ｘo，
ｙo，ｚoはステップ７１０で定める初期値で、ｌ，ｍは
正定数である。これにより、うさぎのＣＧが放物運動す
る。また、ｌ，ｍにより運動の放物線の形が決まる。

【００４９】ステップ７４０でうさぎの足が干渉してス
テップ７２０に戻った場合は、ｔ←０，θ←θとし、ｘ
o←ｘ，ｙo←ｙ，ｚo←ｚとする。すなわちパラメータ
ｔを０に戻し（θはそのまま）、その時点の三次元座標
を新たな初期値とする。これにより、新たな放物運動が
始まり、うさぎが跳びはねたように見える。ステップ７
４０でうさぎの鼻が干渉してステップ７２０に戻ってき
た場合は、θ←θ＋ｄθとしてθを少量ｄθだけ変化さ
せて、次に干渉が生じるまでｘ，ｙの値を変更しない。
これによりうさぎが壁にぶつかりそれ以上前に進まず向
きをかえるという動きに見せることができる。すなわ
ち、うさぎの鼻が壁にぶつかるのは、跳びはねている途
中、つまり空中なので、ぶつかったあと（ｚ座標値が変
化して）足が床（または机）に接触するまでは前に進ま
ない（ｘ，ｙ座標値を変化させない）ということであ
る。

【００５０】次に第２の実施の形態について説明する。
第２の実施の形態は複数のフレームの実写画像と視点情
報を用意しておき、オペレータの視点の位置をもとに、
使用するフレームを選択する例である。すなわち、動画
の実写画像にＣＧを合成して表示する。本実施の形態で
は簡単のため、干渉チェックおよび影の合成は行なって
いない。本実施の形態の構成は図１と同様であるが、コ
マンド入力装置１２０にはオペレータの視点の位置を入
力する手段が設けられているものとする。視点位置の入
力手段としては三次元磁気センサが一般的であるが、複
数台のビデオカメラを設けてオペレータの頭部を撮影
し、画像処理により目の部分を認識し、３次元位置を計
算するという方法を用いることもできる。

【００５１】本実施の形態の処理手順のフローチャート
を図１３に示す。ステップ７１０から７３０およびステ
ップ７６０から７９９については図７で説明済みであ
る。ステップ７３０の後に挿入したステップ１３１０お
よびステップ１３２０について説明する。ステップ１３
１０では上記コマンド入力装置に設けられた視点位置入
力手段より視点の三次元位置座標を入力する。ここで、
センサと視点との相対的な位置情報が入力された場合に
は、これをグローバル座標系における位置座標に変換
し、フレーム情報領域１４１に格納された視点情報の座
標と同等に扱えるようにする。

【００５２】次のステップ１３２０では、ステップ１３
１０で得たオペレータの視点座標とフレーム情報領域１
４１に格納された各視点情報の比較を行ない、どのフレ
ームがオペレータの視点に最も近い視点情報を持つかを
判定する。これにより選び出されたフレームの視点情報
および実写画像データをあとに続くステップ７６０およ
びステップ７７０で用いる。

【００５３】以上が第２の実施の形態の説明であるが、
もちろん第１の実施の形態において説明した影の合成や
干渉チェックを、図１４に示すように、第２の実施の形
態にて実施することができる。図１４の処理は、以上の
説明から容易に類推されるので、その詳細は説明はここ
では省略する。

【００５４】次に第３の実施の形態について説明する。
第３の実施の形態はビル街を撮影した実写画像にサーチ
ライトを放つヘリコプターをＣＧとして合成し、表示さ
せるというものである。ここではヘリコプターだけでな
く、サーチライトによる明暗や光の道筋をもＣＧによっ
て合成表示する。サーチライトの光源位置は常に変化し
得るものである。なお、本例では、干渉チェックと影の
合成および３次元ＣＧの選択は、便宜上、行なわない
が、前実施の形態と同様にこれらの処理を追加すること
もできる。

【００５５】第３の実施の形態の構成は図１と同様であ
る。実写フレーム情報領域１４１には複数フレームの実
写画像データおよび視点情報が各フレームごとに独立に
読みだし可能な形で格納されている。本実施の形態にお
ける実写画像のうちのひとつのフレームを図１５に示
す。これはある街に高層ビルが建っているという風景を
空中から撮影したものである。３次元構造領域１４２に
は図１５に撮影されている物体の３次元構造が格納され
ており、そのデータ形式は図６と同様である。本例では
図１５に撮影されている中心のビルを１個の直方体で、
地面を１枚の平面（長方形）でモデル化して３次元構造
領域１４２に格納している。この３次元構造のモデルを
図で表すと、図１６のようになる。ＣＧ領域１４３には
ヘリコプターのＣＧモデルおよび円錐形のＣＧモデルを
格納しておく。後述するように、半透明の円錐形状のＣ
Ｇを重ね描きすることで、ヘリコプターが放つサーチラ
イトの光の道筋が少し明るくなる様子を疑似的に表現す
る。図１７にヘリコプターのＣＧ１７１０と円錐形のＣ
Ｇ１７２０の例を示す。

【００５６】次に、第３の実施の形態におけるプロセッ
サ１３０の処理手順について説明する。本処理手順を表
すフローチャートを図１８に示す。ステップ１８００で
は光源の性質を指定する。光源の性質とは点光源である
か、平行光線（面光源）であるかということで、点光源
である場合はスポット角と中心軸からの減衰度も指定す
る。スポット角とは図１７の円錐形の頂角、すなわち中
心軸と母線のなす角度にあたる。また、スポットライト
はその照射方向に垂直な面に当たると照射される部分は
円形になるが、その円の中心部分で最も明るく、周辺部
分で少し暗くなる。その暗くなる度合を減衰度という。
後で本例の出力結果を示すように４台のヘリコプターが
スポットライトを放つものとしており、光源としてはヘ
リコプターが放つ４つの光を、点光源でスポット角１０
°減衰度０とし、他に環境光として薄い平行光線を定義
している。

【００５７】次のステップ１８１０ではユーザ定義３次
元ＣＧ（ここではヘリコプターと円錐）をどの位置にど
のような向きに描くか、その初期パラメータを指定す
る。

【００５８】ステップ１８２０からステップ１８９０ま
で（ステップ１３１０、１３２０を含む）はループをな
す。ステップ１８２０からステップ１８７０までで描く
べき画像をフレームバッファ１５０上に生成し、ステッ
プ１８８０で表示する。ステップ１８９０の終了判定
で、終了と判定されるまではループを回り続ける。

【００５９】より具体的には、ステップ１８２０ではユ
ーザ定義３次元ＣＧの描く位置および向きのパラメータ
を決定する。ループの１回目ではステップ１８１０で指
定した初期パラメータをそのまま用いる。ループの２回
目以降は前回のループで用いた値を少しずつ変化させ
て、ユーザ定義３次元ＣＧになめらかな動きを与えるよ
うにする。

【００６０】ステップ１８３０では、ステップ１８２０
で決定したユーザ定義３次元ＣＧの描画位置向きパラメ
ータから、グローバル座標系における位置座標と向きの
方向ベクトルを算出する。すなわち、図１６のモデルと
同一の座標系でのユーザ定義３次元ＣＧの描画の位置と
向きを算出する。

【００６１】ステップ１８４０ではグローバル座標系に
おける光源の位置・向きを決定する。本例では４つのス
ポットライトはユーザ定義３次元ＣＧであるヘリコプタ
ーが放つので、ステップ１８３０で求めたヘリコプター
の位置をそのまま光源の位置とし、円錐形の中心軸の向
きをそのまま光源の向きとして決定すればよい。平行光
線の環境光は静止光とし、１回目のループで適当な値を
与え、２回目以降のループでは変更しなくてよい。

【００６２】次のステップ１３１０の視点を入力するス
テップでは、第２の実施の形態の場合と同様、コマンド
入力装置１２０に設けられた視点位置入力手段より視点
の３次元位置座標を入力する。ここで、前述のように、
センサと視点との相対的な位置情報が入力される場合に
は、これをグローバル座標系における位置座標に変換
し、フレーム情報領域１４１に格納された視点情報の座
標と同等に扱えるようにする。ステップ１３２０も第２
の実施の形態と同様で、ステップ１３１０で得たオペレ
ータの視点座標とフレーム情報領域１４１に格納された
各視点情報との比較を行ない、どのフレームがオペレー
タの視点に最も近い視点情報を持つかを判定する。

【００６３】続くステップ１８５０では、ステップ１３
２０で選び出されたフレームの視点情報、およびステッ
プ１８００で指定された性質の光源のステップ１８４０
で決定した光源情報に基づいて、撮影物体のモデルをグ
レー色でレンダリングする。ここのレンダリングではＺ
バッファ１６０を利用するＺバッファ法により隠面消去
を行ない、描画結果をフレームバッファ１５０に、奥行
き値をＺバッファ１６０に書き込む。まだ、ここでは表
示しないが、表示するとすれば描画結果は図１９のよう
になる。図１９に示すように、スポットライトのあたる
部分はモデルの３次元形状に沿って白くなり、その他の
部分はグレーのままである。

【００６４】ステップ１８６０では、ステップ１８５０
で描画された結果に、実写画像をブレンドする。ブレン
ド方法はつぎの通りである。実写画像のある画素のＲＧ
Ｂ値が（Ｒ、Ｇ、Ｂ）であり、ブレンド前のフレームバ
ッファの対応画素領域に格納されているＲＧＢ値が
（Ｘ、Ｘ、Ｘ）である（グレーなのでＲ，Ｇ，Ｂはすべ
て同じ値）とすると、（Ｒ×Ｘ／２５５、Ｇ×Ｘ／２５
５、Ｂ×Ｘ／２５５）を新しい値としてフレームバッフ
ァ１５０の対応画素領域に書き込む。したがって、図１
９の白部分には実写画像がそのまま描かれ、グレー部分
には実写画像を少し暗くして描かれる。なお、用いる実
写画像はステップ１３２０で求めたフレームの画像であ
る。また、本ステップではＺバッファ１６０に格納され
ている奥行き値は更新せず、ステップ１８５０で生成さ
れたものをそのまま保存しておく。

【００６５】ステップ１８７０ではユーザ定義３次元Ｃ
Ｇをレンダリングし描画する。ここでもＺバッファ法に
よる隠面消去を行なうが、新たに描画するわけではな
く、前ステップまでで生成されているフレームバッファ
１５０の画像データとＺバッファ１６０の奥行きデータ
に追加する形で描く。円錐形のＣＧについてはあらかじ
め０より大きく１より小さい一定の値を透過係数αとし
て定義しておき、半透明の物体として描く。すなわち、
フレームバッファに書き込む輝度の決定を、（フレームバッファの値）×α＋（円錐形の色）×（１
ーα）により行なう。

【００６６】ステップ１８８０ではステップ１８７０ま
でで得られた描画結果、すなわちフレームバッファ１５
０に生成されている画像データに基づいて、画像表示装
置１１０に表示する。図２０に表示画像例を示す。

【００６７】ステップ１８９０では終了判定を行なう。
終了しない場合はステップ１８２０に戻り、ループ処理
を続ける。

【００６８】

【発明の効果】本発明の画像合成表示方法では、実写画
像に写された物体の３次元情報を有しているので、合成
するＣＧをどの位置に配置しても、物体に隠れる部分を
正確に算出して表示できるという効果がある。

【００６９】また、合成するＣＧに動きを与える場合、
上記３次元情報から存在禁止部分がわかるので、物体に
ぶつかるなどの自然な動きをＣＧに与えることができ
る。

【００７０】さらに、上記３次元情報を用いることによ
り、２次元の画像に仮想的な光源による影や照らされる
度合を、凹凸を考慮して表示することができるので、表
示画像の立体感が増す。

【００７１】このように、実写画像に写された環境の中
をＣＧが動く様子が、実際のオペレータの視点から見る
のと同じに表示できるので、立体感、現実感が増す。

【図面の簡単な説明】

【図１】本発明の実施の形態の構成図。

【図２】第１の実施の形態における実写動画像の１フレ
ームの説明図。

【図３】図２の実写動画像の他の１フレームの説明図。

【図４】１フレームにおける実写画像データの構造の説
明図。

【図５】１フレームにおける視点情報の構造の説明図。

【図６】３次元構造データの構造の説明図。

【図７】第１の実施の形態の全体フローチャート。

【図８】第１の実施の形態のうさぎのＣＧの説明図。

【図９】第１の実施の形態の撮影物体とうさぎのＣＧ描
画結果の説明図。

【図１０】第１の実施の形態のうさぎのＣＧ以外の部分
を消去した結果の画像の説明図。

【図１１】第１の実施の形態の消去部分に実写画像をは
めこんだ結果の画像の説明図。

【図１２】図７のフローチャートの１ステップの処理を
表すフローチャート。

【図１３】第２の実施の形態の全体フローチャート。

【図１４】第１の実施の形態と第２の実施の形態をあわ
せた例の全体フローチャート。

【図１５】第３の実施の形態における実写動画像の１フ
レームの説明図。

【図１６】第３の実施の形態の撮影物体の３次元モデル
の説明図。

【図１７】第３の実施の形態のユーザ定義による３次元
合成物体ＣＧの説明図。

【図１８】第３の実施の形態の全体フローチャート。

【図１９】第３の実施の形態の撮影物体のＣＧ描画結果
の説明図。

【図２０】第３の実施の形態の合成結果の画像の説明
図。

【符号の説明】

１１０…画像表示装置、１２０…コマンド入力装置、１
３０…プロセッサ、１４０…記憶装置、１４１…フレー
ム情報領域、１４２…３次元構造領域、１４３…ＣＧ領
域、１５０…フレームバッファ、１６０…Ｚバッファ、
２００…画像表示装置の画面、６１０…特徴点座標デー
タ、６２０…特徴点の接続関係情報、６３０…ボクセル
データ、７００…影の合成のための光源情報を指定する
ステップ、７１０…３次元ＣＧを選択し描画パラメータ
の初期値を指定するステップ、７２０…３次元ＣＧの描
画パラメータを決定するステップ、７３０…グローバル
座標系における３次元ＣＧの描画位置を計算するステッ
プ、７４０…３次元ＣＧと撮影物体の３次元構造との干
渉チェックを行なうステップ、７５０…影を計算するス
テップ、７６０…撮影物体と３次元ＣＧを描画するステ
ップ、７７０…３次元ＣＧ以外の部分を実写画像で置き
換えるステップ、７７１…キャラクタＣＧが見えている
画素を検出するステップ、７７２…検出された画素以外
の画素を消去するステップ、７７３…消去したそれぞれ
の画素に実写画像データの同じ位置の画素値を読みだし
て描画するステップ、７８０…影を合成するステップ、
７９０…描画結果を表示するステップ、７９９…終了す
るかどうかを判定するステップ、８００…うさぎのＣ
Ｇ、１３１０…オペレータの視点の位置を入力するステ
ップ、１３２０…実写画像の中のどのフレームを使用す
るか決定するステップ、１７１０…ヘリコプターのＣ
Ｇ、１７２０…光の道筋をあらわすための円錐形状のＣ
Ｇ、１８００…光源の性質を指定するステップ、１８１
０…３次元ＣＧの描画パラメータの初期値を指定するス
テップ、１８２０…３次元ＣＧの描画パラメータを決定
するステップ、１８３０…グローバル座標系における３
次元ＣＧの描画位置を計算するステップ、１８４０…グ
ローバル座標系における光源の位置と向きを決定するス
テップ、１８５０…実写画像に写された物体を３次元Ｃ
Ｇでグレー色で描くステップ、１８６０…実写画像をブ
レンドによって貼り付けるステップ、１８７０…ユーザ
定義のＣＧを描画合成するステップ、１８８０…描画結
果を表示するステップ、１８９０…終了するかどうかを
判定するステップ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者守屋俊夫神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者野山英郎神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】画像表示装置とコマンド入力手段とプロセ
ッサと記憶装置とを備えた計算機システムにおける画像
合成表示方法であって、上記記憶装置にディジタル形式の実写画像のデータと該
実写画像の少なくとも視点位置を表す視点情報と該実写
画像に写された物体の３次元情報を格納しておき、上記コマンド入力手段より入力される情報と上記視点情
報と上記３次元情報とに基づいて、上記実写画像に合成
されるべきＣＧ画像を作成し、該作成されたＣＧ画像と上記実写画像とを上記プロセッ
サで合成して上記画像表示装置に表示することを特徴と
する画像合成表示方法。
【請求項２】請求項１の画像合成表示方法において、上
記記憶装置に複数のＣＧのデータを格納しておき、上記
コマンド入力手段により使用するＣＧの選択と、該ＣＧ
の描画すべき３次元位置および向きの指定を行ない、上
記視点情報と上記実写画像に写された物体の３次元情報
から該ＣＧのどの部分が見え、どの部分が隠れるかを算
出し、見える部分のみを上記実写画像と合成することに
より表示画像を作成することを特徴とする画像合成表示
方法。
【請求項３】請求項１の画像合成表示方法において、オ
ペレータが上記コマンド入力手段より入力するか、プロ
セッサが自動的に発生するか、少なくとも一方の方法
で、仮想光源の性質および３次元情報を決定し、上記視
点情報と上記実写画像に写された物体の３次元情報を用
いて、該仮想光源による影がどのようにできるか算出
し、上記実写画像のディジタルデータを、影になる部分
については輝度を減少させるよう変更し、影にならない
部分についてはそのまま表示することを特徴とする画像
合成表示方法。
【請求項４】請求項１の画像合成表示方法において、オ
ペレータが上記コマンド入力手段より入力するか、プロ
セッサが自動的に発生するか、少なくとも一方の方法
で、仮想光源の性質および３次元情報を決定し、上記視
点情報と上記実写画像に写された物体の３次元情報を用
いて、該仮想光源によってどの部分がどのように照らさ
れるか算出し、上記実写画像のディジタルデータを、照
らされた度合に基づいて変化させて表示することを特徴
とする画像合成表示方法。
【請求項５】請求項１の画像合成表示方法において、上
記記憶装置に複数のＣＧのデータを格納しておき、オペ
レータが上記コマンド入力手段より、使用するＣＧの選
択を行ない、上記プロセッサが該ＣＧのデータの描画す
べき３次元位置および向きの新たな情報を上記３次元情
報との干渉チェックを行ないつつ自動的に生成し、該処
理を反復することにより動画像を上記画像表示装置に表
示させることを特徴とする画像合成表示方法。
【請求項６】請求項１の画像合成表示方法において、実
写画像のデータは同一対象を異なる方向から撮影した複
数枚の実写画像のデータであり、視点情報は各実写画像
に対応した視点情報が格納されており、上記コマンド入
力手段よりオペレータの視点位置が入力され、入力され
る視点位置にもっとも近い視点情報と対応する実写画像
が選ばれることを特徴とする画像合成表示方法。
【請求項７】請求項３または４に記載の画像合成表示方
法において、上記光源の性質は、点光源であるか面光源
であるかを表す情報であることを特徴とする画像合成表
示方法。
【請求項８】画像表示装置とコマンド入力手段とプロセ
ッサと記憶装置とを備えた計算機システムにおける画像
合成表示方法であって、上記記憶装置にディジタル形式の少くとも１フレーム分
の実写画像のデータと、該実写画像の少なくとも視点位
置を表す視点情報と、該実写画像に写された物体の３次
元情報と、上記実写画像に合成すべきあらかじめ定めた
少くとも１つの３次元合成物体のＣＧデータとを格納し
ておく第１のステップと、上記コマンド入力手段より、あるいは上記プロセッサで
自動的に発生させることにより、上記３次元合成物体の
上記３次元空間内の位置および向きのパラメータを指定
する第２のステップと、該位置および向きのパラメータを考慮して、上記実写画
像に写された物体の３次元情報と同一の座標系内での上
記３次元合成物体の座標値を算出する第３のステップ
と、上記実写画像の視点情報に基づいて、上記実写画像の物
体を上記３次元合成物体と組み合わせて、ＣＧ描画する
第４のステップと、該ＣＧ描画結果の上記３次元合成物体以外の部分を、該
部分に対応する上記実写画像の部分で置き換える第５の
ステップと、該置き換えた結果を上記画像表示装置に表示する第６の
ステップと、を有することを特徴とする画像合成表示方法。
【請求項９】請求項８記載の画像合成表示方法におい
て、上記第３のステップのあと、上記３次元合成物体Ｃ
Ｇと上記実写画像に写された物体との相互の干渉をチェ
ックし、干渉が検出された場合、上記３次元合成物体の
位置および向きのパラメータの少なくとも一方を変更し
て再度上記第２のステップへ戻ることを特徴とする画像
合成表示方法。
【請求項１０】請求項８または９記載の画像合成表示方
法において、上記第６のステップのあと、上記第２のス
テップに戻ることを特徴とする画像合成表示方法。
【請求項１１】画像表示装置とコマンド入力手段とプロ
セッサと記憶装置とを備えた計算機システムにおける画
像合成表示方法であって、上記記憶装置にディジタル形式の少くとも１フレーム分
の実写画像のデータと、該実写画像の少なくとも視点位
置を含む視点情報と、該実写画像に写された３次元物体
の３次元情報と、上記実写画像に合成すべきあらかじめ
定めた少くとも１つの合成物体のＣＧデータとを格納し
ておく第１のステップと、オペレータが上記コマンド入力手段より入力するか、プ
ロセッサが自動的に発生するか、少なくとも一方の方法
で、上記実写画像の３次元空間内における上記合成物体
の位置および向きのパラメータを指定する第２のステッ
プと、該位置および向きのパラメータを考慮して、上記実写画
像に写された３次元物体の３次元情報と同一の座標系内
での上記合成物体を表わす３次元座標値群を算出する第
３のステップと、上記実写画像の視点情報に基づいて、上記実写画像の３
次元物体をＣＧ描画する第４のステップと、該ＣＧ描画結果に対して、ブレンド合成により、対応す
る上記実写画像を合成することにより、合成画像を作成
する第５のステップと、上記第３のステップで算出された３次元座標値群に従っ
て、上記合成画像に対して上記合成物体を合成描画する
第６のステップと、第６のステップで作成された合成画像を上記画像表示装
置に表示する第７のステップと、を有することを特徴とする画像合成表示方法。
【請求項１２】請求項１１記載の画像合成表示方法にお
いて、上記第７のステップのあと、上記第２のステップ
に戻り、第２のステップから第７のステップを反復して
行うことを特徴とする画像合成表示方法。
【請求項１３】請求項１１または１２記載の画像合成表
示方法において、オペレータが上記コマンド入力手段より入力するか、プ
ロセッサが自動的に発生するか、少なくとも一方の方法
で、上記実写画像の３次元空間内に想定された仮想光源
の性質およびその３次元情報を決定するステップと、上記視点情報と上記実写画像に写された３次元物体の３
次元情報を用いて、該仮想光源による影がどのようにで
きるか算出するステップとをさらに有し、上記表示するステップにおいて、上記実写画像のディジ
タルデータを、影になる部分については輝度を減少させ
るよう変更し、影にならない部分についてはそのまま表
示することを特徴とする画像合成表示方法。
【請求項１４】請求項１１、１２または１３記載の画像
合成表示方法において、オペレータが上記コマンド入力手段より入力するか、プ
ロセッサが自動的に発生するか、少なくとも一方の方法
で、上記実写画像の３次元空間内に想定された仮想光源
の性質およびその３次元情報を決定し、上記視点情報と上記実写画像に写された物体の３次元情
報を用いて、該仮想光源によってどの部分がどのように
照らされるか算出するステップとをさらに有し、上記表示するステップにおいて、上記実写画像のディジ
タルデータを、上記仮想光源に照らされた度合に基づい
て変化させて表示することを特徴とする画像合成表示方
法。