JPH08101924A - 画像合成方法 - Google Patents

Abstract

(57)【要約】 【目的】デジタル動画像とＣＧの合成をする際に、幾何
学的な性質と人為的な決まりによる見え方の性質を矛盾
無く満たすように合成する方法、あるいは前記規則を満
足する設置位置を自動的に求めたうえで違和感の無い合
成動画像を作成する方法を提供する。 【構成】記憶装置にデジタル化された実写の画像データ
１０と該画像データのカメラ視点情報２０と該画像に映
された物体の３次元情報３０と該物体の満たすべき条件
を記述したルール情報４０を格納しており、ＣＧ画像と
実写画像を上記ルール情報に基づいて合成する。 【効果】ＣＧで作った物体を実写画像上に置くとき、人
為的な規則を常に満たし、幾何学的にも違和感の無い合
成動画像を作り出すことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデジタル画像処理におけ
る画像合成方法に関わり、特に実写のデジタル動画像と
コンピュータグラフィックスの合成をする際に、合成に
よって、動画像に映っている特定の物体を隠すこと無く
コンピュータグラフィックスを合成する画像合成方法に
関する。

【０００２】

【従来の技術】印刷業界や放送局業界では、従来からカ
メラで撮影した複数の画像を組み合わせて新たな画像を
作るはめ込み合成や、クロマキー合成が行なわれてき
た。近年では、計算機の記憶装置の大容量化とプロセッ
サの高速処理に支えられて、複数のデジタル化された静
止画像を合成するデジタル画像処理が盛んに行なわれて
いる。

【０００３】一方、コンピュータグラフィックス（以
下、ＣＧと称す）についても、ラジオシティ法等に代表
される新たな作成技術が実用レベルに入ったことで、リ
アリティの面でも実写画像に近いものが作られるように
なってきている。このような状況のもと、自然画像とＣ
Ｇ画像を合成することで様々なシミュレーションをしよ
うという要求が高まってきている。

【０００４】静止した自然画像に対するＣＧ画像の合成
方法については、例えば「ア モンタージュ メソッ；ザ
オーバーレイイング オブ ザ コンピュータ ジェネレ
イティッド イメージ オントゥ ア バックグラウンド
フォトグラフ(A MONTAGE METHOD;THE OVERLAYING OF TH
E COMPUTER GENERATED IMAGE ONTO A BACKGROUND PHOTO
GRAPH)」と題し、シーグラフ’８６ ボリューム２０、ナ
ンバー４、１９８６(SIGGRAPH'86 Volume20,Number4,19
86)の207頁から214頁に掲載されている。（以下、従来
技術１と称する） また、実写の動画像に対するＣＧ画像の合成について
は、例えば「動画像解析に基づく動画像合成法と景観シ
ミュレーションへの応用」と題し、電気情報通信学会論
文誌Vol.1 J76-D- の40頁から49頁に掲載されている
（以下、従来技術２と称する）。これは、ビデオカメラ
で撮影した動画像に、鉄塔などのＣＧ構造物を合成する
ものである。カメラの初期位置が与えられるとき動画像
の各フレーム間で遠距離にある点と近距離にある点の動
きを解析してカメラの動きを推定し、求めたカメラパラ
メータを基に構造物のＣＧを作っている。さらに、各フ
レームにおいて構造物を隠す山並みのようなものをマス
クと呼ぶ領域で分離しておき、合成の際にマスクの上に
はＣＧを上書きしないことで、前後関係を持った現実的
な合成動画像を得ている。

【０００５】

【発明が解決しようとする課題】上述の従来技術１は、
静止画像に関するものであり、個々のフレームについて
編集する必要が有り、実際的ではない。上述の従来技術
２においては、次のような問題点がある。上記の例で
は、構造物の形状や建設位置が決まっており、未知な値
はカメラの位置や向きの情報だけであった。ＣＧの構造
物と映像の中に映っているその他の物体の位置関係は決
まっており、しかも構造物である鉄塔の足の部分が必ず
山並みに隠れるという設定である。したがって、予め山
並みの部分にマスクをかけておき、マスクの部分にはＣ
Ｇの絵を書き込まないようにすることで、違和感の無い
合成画像を作ることができた。

【０００６】しかし、ＣＧの構造物の形状や建設位置が
決まっていない場合や、ＣＧの物体が自由に位置を変え
て動きまわる場合は、このマスクを用いる方法では対応
できない。すなわち、カメラの位置とＣＧの物体の位置
が決まっていない状況では、ＣＧの物体とその他の映像
中の物体のどちらがカメラに近い側にあるかが決まらな
い。例えば物体の領域をマスクで切り出してあっても、
どちらが見えてどちらが隠れるという処理をすることが
できない。

【０００７】また、標識や看板などは、条例等による取
り決めによって、幾つかの条件を満たすように見えるこ
とが必要である。例えば、新しい標識を立てるときに既
存の標識を隠してはならないとか、ドライバーが標識を
見つけてからそれを認識し行動を起こすまでに要する時
間の間、標識が見え続けていなければならないという決
まりがある。このようなルール情報に対して、従来の手
作業や人間の感に頼る方法では精度良く設置場所を求め
ることができない。なぜなら上記ルール情報は、例えば
自動車の速度、標識の種類、標識に書かれている文字の
種類にも関係しており、複雑でかつシミュレーション前
に決められない要素を持っているからである。

【０００８】従って、本発明の第１の目的は、オペレー
タが映像を見ながら、ＣＧによる物体の合成位置を決め
るとき、どんな配置に対しても直ちに前後関係などの幾
何的性質を満足する違和感の無い合成画像を作る、画像
合成方法を提供することである。

【０００９】本発明の第２の目的は、上記標識などをＣ
Ｇでモデル化し、ビデオカメラ等で撮影した実写動画像
に合成する際に条例等の取り決めによって定められた条
件を満たすかどうかを確認する機能を持った画像合成方
法を提供することである。

【００１０】さらに、本発明の第３の目的は、条例等に
よる取り決め等、予め定めた条件を常に満足するような
ＣＧの合成位置を自動的に見つけ、さらにその見え方を
画面で確認できる機能を持った画像合成方法を提供する
ことである。

【００１１】

【発明を解決するための手段】上記第１の目的を達成す
るために、本発明では、記憶装置に、ＣＧモデルと、デ
ジタル化された実写の画像データと、該画像データのカ
メラ視点情報と、該画像に映された物体の３次元情報
と、該物体の満たすべき条件とを記述したルール情報を
格納し、プロセッサで、ＣＧモデルと、前記カメラ視点
情報と、前記３次元情報とに基づいてＣＧ画像を作成
し、該カメラ視点情報と、該３次元情報と、該ルール情
報とから、前記実写画像に映された物体と該ＣＧ画像中
の物体との前後関係を判定し、該前後関係に基づいて、
前記画像表示装置に表示する、該ＣＧ画像と前記実写画
像との合成画像を作成する手段を設けた。

【００１２】また、上記第２の目的を達成するために、
本発明では、前記記憶装置に連続的に撮影された複数の
実写画像を登録しておき、前記コマンド入力手段により
実写画像の選択と、前記ＣＧモデルを置く３次元位置と
向きの指定とを行ない、前記カメラ視点情報と前記３次
元情報とに基づいてＣＧ画像を作成し、該ＣＧ画像と前
記実写画像とを合成する際に幾何的な前後関係と前記ル
ール情報から導き出した前後関係とが矛盾しないかどう
かを判定し、矛盾が無い場合には合成画像を作成し、そ
うでない場合はメッセージを前記画像表示装置に出力
し、該処理を繰り返すことで連続的な合成画像を作成す
る手段を設けた。

【００１３】また、上記第３の目的を達成するために、
本発明では、前記記憶装置に連続的に撮影された複数の
実写画像を登録しておき、最初の実写画像について前記
コマンド入力手段により前記ＣＧモデルを置く３次元位
置と向きの指定とを行ない、前記カメラ視点情報と前記
３次元情報に基づいてＣＧ画像を作成し、該ＣＧ画像と
前記実写画像を合成する際に幾何的な前後関係と前記ル
ール情報から導き出した前後関係とが矛盾しないかどう
かを判定し、矛盾が発生する場合は前記３次元位置を移
動して該処理を矛盾が無くなるまでやり直し、矛盾が生
じない場合はその時の３次元位置を前記記憶装置に記録
してＣＧ画像を作成し、該処理をその他の実写画像に対
して反復することで連続的な合成画像を作成し、該処理
を反復しながら前記前後関係に矛盾が生じないかどうか
を常に判定し、矛盾が生じた場合は最初の実写画像に戻
って該処理をやり直す手段を設けた。

【００１４】

【作用】実写画像に映っている物体の３次元情報を保持
しているので、ＣＧで作った物体を実写画像上の任意の
位置に置いたとき、リアルタイムで前後関係を判定する
ことができる。また、カメラ視点情報と実写画像に映っ
ている物体の３次元情報とルール情報が与えられている
ので、各物体が現在見えている必要性があるかどうかの
判定をすることができる。したがって、幾何学的性質と
人為的な決まりによる見え方の両面から前後関係を決
め、見える部分だけを正確に表示することができる。

【００１５】さらに、動画像中の物体について、例えば
標識の手前何メートルから何秒間は見えていなければな
らないという条件付けすることができ、カメラの移動等
によって該条件が満足できなくなるフレームを自動的に
見つけ出すことができる。さらに、前記条件を常に満た
すように、ＣＧの物体を設置する３次元位置を求め、違
和感の無い動画合成像を作り出すことができる。なお、
上述の物体の３次元情報は、信学技報Vol.88 PRU88-88
pp.21〜28 「移動視における対応付けと３次元情報の獲
得」に記述されている方法により得ることが出来る。

【００１６】

【実施例】以下、図を用いて、本発明の実施例を詳細に
説明する。図３は、本発明を実施するためのシステム構
成である。本システムは、画像及びメッセージを表示す
る画像表示装置１００と、本発明のアルゴリズムの実行
や幾何計算等の演算を行なうプロセッサ１１０と、プロ
セッサ１１０の処理手順を記したプログラムと実写画像
に関するデータやＣＧの形状に関するデータとを記録し
ておく記憶装置１２０と、キーボード１３０やマウス１
４０に代表されるコマンド入力装置と、これらを効率的
に連結するバス１５０で構成される。画像表示装置１０
０は、画像の合成処理結果等を表示するとともに、画像
上でＣＧの配置を決めるために入力の補助装置として機
能する。

【００１７】図１は、図３に示す記憶装置に記録されて
いる実写画像に関するデータの様子を示す図である。こ
のデータは、デジタル化された実写の画像データ１０
と、該画像データのカメラ視点情報２０と、該画像に映
された物体の３次元情報３０と、該物体の満たすべき条
件を記述したルール情報４０からなる。

【００１８】画像データ１０は、ビデオカメラ等で撮影
した実写の動画像をデジタル化したものであり、１秒間
あたり３０フレーム程度の画像データになる。カメラ視
点情報２０は、動画像の１フレームに対応した視点の位
置情報であり、カメラの動きと無関係に固定されている
ワールド座標系での視点の位置や向きを記述したテーブ
ル形式のデータである。物体の３次元情報３０は、画像
に映っている物体の形状情報であり、例えば標識３２が
ワールド座標系の何処に立っていてどのような３次元構
造をしているか、道路３４の構造や縁石３６の構造はど
うなっているか等が記述してある。

【００１９】ルール情報４０は、画像に映っている物体
の種類や何秒間見え続けているべき（以後、可視と表現
する）であるといった決まりが記述されたテーブル形式
のデータである。該ルール情報４０とカメラ視点情報２
０と３次元情報３０を用いれば、実写画像に映っている
物体の１つである標識３２が、例えば第ｋフレームから
第ｎフレームまで可視であるという見え方の直接表現に
置き換えることができる。

【００２０】図２はＣＧで作った構造物の形状モデルお
よび該物体の満たすべき条件を記述したルール情報であ
る。例えば、標識などの構造物は標識面５０と支持柱等
の構成部品６０からなり、ルール情報７０は上記ルール
情報４０と同様に、それぞれのオブジェクトの種類や標
識面の文字の種類等が記述されている。本発明では、Ｃ
Ｇでモデリングした物体を３次元情報３０内に配置し、
視点位置情報２０に基づいてＣＧ画像を作成する。

【００２１】ＣＧ物体を常に表示したい場合は、実写画
像に映っている物体を無視して上書きすれば良いので、
ＣＧ物体に該ルール情報は必要でないように思われる。
しかし、本発明は幾つかのＣＧ物体を実写画像と合成す
る多重合成も考慮しており、この場合、合成画像が別の
ＣＧ物体に対しては原画像になる場合もありうる。本発
明では、全ての物体に対してルール情報を持たせること
で、常にルール情報に合った合成画像の作成を保証して
いる。

【００２２】図４は、本発明において、プロセッサ１１
０が行う処理概要を示す流れ図である。始めにステップ
２００において画像データ１０、ステップ２０５におい
てカメラの焦点距離等の視点情報２０がメモリ上に読み
込まれる。次にこの視点情報に基づいて、ＣＧ物体のモ
デリングをステップ２１０で行なう。なお、ＣＧモデル
は別プロセスで作成したものを利用しても差し支えない
が、視点情報等を記録しておいて実写画像と合成する際
に一致させなければならない。

【００２３】次に、実写画像に映っている物体の３次元
構造のデータ３０がステップ２１５でメモリに読み込ま
れる。ステップ２２０において、前記入力手段１３０、
１４０によって、実写画像に映っている物体上のどの位
置にＣＧの物体を置くかを決める。なお、画像上でＣＧ
の物体を置く３次元座標を決める方法および画像上のｘ
−ｙ座標と３次元座標Ｘ−Ｙ−Ｚとの関係は後に記載す
る。ステップ２２５において、実写画像に映っている物
体のルール情報が読み出される。なお、ルール情報の詳
細については後述する。

【００２４】次に、ステップ２３０からステップ２７０
までの処理を画像中の全画素について繰り返す。すなわ
ち、視点中心から現在スキャンしている画素を通る直線
を考え、その直線が３次元モデル３０に到達するまで延
長する。その時、最初に到達する物体がＣＧで作ったも
のであるか、それとも画像中に映っていた物体かどうか
をステップ２４０で判定し、その結果をもとに新しく作
成する合成画像の画素値を計算する。延長線の到達した
物体が実写画像中に映っていた物体である場合は、ステ
ップ２６０に進み、実写画像の画素値を合成画像の画素
値として用いる。

【００２５】延長線がＣＧモデルに到達した場合は、Ｃ
Ｇ画像を作る一般的なアルゴリズムに従い、ステップ２
８０で物体の表面属性や光源情報を用いて画素の色を計
算する。ただし、該ＣＧモデルの裏、すなわちＣＧモデ
ルを通過した延長線が到達する物体に、上記ルール情報
で可視が定義してある場合はステップ２６０に進んで画
像の画素をそのまま用いる。画像上の全ての画素につい
てスキャンが行なわれた場合は、ステップ２９０に進ん
で本発明の処理が終了する。

【００２６】本処理により、標識などのように、その性
質が複雑に決められており、さらにシミュレーションの
実行条件にその性質が影響されるものについてもルール
を定義できるので、安全性や景観の評価などを素早くす
ることができる。また、これを連続する動画像に適用す
ることで、カメラ視点中心（ドライバー）がどういった
位置に来た時に標識が見えなくなる等の検証を、実際に
道路上に出なくても実際に標識等が立てられた場所に行
ってみたかのごとく体験することができるようになる。

【００２７】図５は、ルール情報テーブルについての説
明図である。時間軸に連続な動画像データ３１０があ
り、動画像データの第１フレームの画像を３１１、最後
のフレームの画像を３１５とする。そして画像３１１と
画像３１５の間には、画像３１２、３１３、３１４等幾
つかの画像があるとする。さらに、画像３１２は第ｋフ
レーム目の画像であり、画像３１４は第ｎフレーム目の
画像であるとする。

【００２８】いま、実写画像に映っている標識３２が３
つのオブジェクトに分かれ、本標識３４０と補助標識３
５０が第ｋフレームから第ｎフレームまで連続して見え
ていて欲しい場合、列３２０にそのオブジェクトへのポ
インタを書き、列３３０に可視のフレームの番号を書い
ておく。一方、支持柱３６０など特に可視である必要の
無いオブジェクトについては、列３３０に可視フレーム
の番号を書き込まない。このように、実写画像に映って
いる物体単位に限らず、その物体を構成するオブジェク
ト単位でルールを規定すれば、より適切な評価を得るこ
とができる。

【００２９】また、列３３０に書かれている内容につい
ても、ルール情報に直接的にフレーム番号を書く必要は
ない。カメラ視点情報２０と３次元情報３０を用いて、
各オブジェクトが可視となるフレームを決める処理を行
えば、例えば標識から何メートルの場所から可視の状態
になるとか、何秒間見え続けるといった一般的な表現を
用いることが出来る。見え続けるべき距離や時間は、自
動車の速度や標識の種類、標識に書かれた文字の種類な
どによって決められる。

【００３０】図６は、実写画像に映っている物体の３次
元構造と画像との対応関係を示す説明図である。カメラ
の視点中心４００と実写画像に映っている物体の３次元
構造３０を結ぶ直線４３０上にカメラの投影面１０があ
り、該直線と該投影面の交点に対応する物体上の点が映
っている。例えば、標識３２のカメラ投影像が実写画像
中の物体４２０で表されている。いま、カメラの焦点距
離４１０がＦであるとし、画像面上の水平成分をｘ、鉛
直成分をｙとし、３次元モデルの座標系を図６に示すよ
うに画像面に平行な面上での水平方向をＸ軸、鉛直方向
をＹ軸、視点からの奥行き方向をＺ軸とする左手座標系
を考えるとき、ｘ＝Ｘ／Ｚ×Ｆ...(1)、ｙ＝Ｙ／Ｚ×
Ｆ...(2)で表される。

【００３１】また、３次元モデル３０はカメラから見え
ている物体の表面情報を持っており地面はなだらかな曲
面と仮定されるから、Ｙ＝ｆ（Ｘ，Ｚ）...(3)で表現で
きる。但し、ｆ（ａ）はａを変数とする関数を意味す
る。すると、(2)式と(3)式よりｙ＝ｆ（Ｘ，Ｚ）／Ｚ×
Ｆ...(4)となり、平面上の（ｘ，ｙ）座標が与えられた
とき(1)式と(4)式を連立して解けば、３次元位置（Ｘ，
Ｙ，Ｚ）を求めることができる。

【００３２】図７は、ルール情報を満たす３次元位置を
求めるためのフローチャートである。ステップ５００で
処理が開始され、始めにステップ５１０で最初のフレー
ムの画像データが読み出される。次にＣＧの設置位置が
決められるが、以前に設置位置の登録が行なわれている
場合はステップ５２０で該設置位置の情報が読み出さ
れ、まだ登録されていない場合はステップ２３０におい
てＣＧ物体の配置が決められる。次に図４のステップ２
３０からステップ２７０の処理に従い、ステップ５３０
において画像合成が行なわれる。ステップ５４０におい
て、先述のルール情報と不一致があるかどうかをチェッ
クする。

【００３３】図７に示すフローチャートは、自動で設定
位置を移動する場合の流れであるが、不一致が生じた場
合に、ステップ５４０で不一致が発生したことを、画像
表示装置等にメッセージとして出力することもできる。
さらに、道路のどの位置で標識が見えなくなるか、ある
いは、標識が何秒間見えるのかなどを人間に知らせるこ
とも可能になる。一方、この移動を自動的に行なう場合
で、不一致がある場合はステップ５５０でＣＧ物体の設
置位置を移動する処理を行う。不一致がある場合に人間
がキーボードやマウス等の入力装置を用いて移動先を指
定することもできる。

【００３４】移動の方法については、例えば予めＸ−Ｚ
平面上の領域が指定してあり、領域内において、最初の
指定点の周囲を一定間隔で移動していくことで可能であ
る。具体的には、Ｘ方向に１メートル移動した地点が上
記領域内であれば、ＣＧの設置位置をこの地点としてス
テップ５１０からの処理をやり直す。

【００３５】さらに、ルール情報を満たさない場合は、
−Ｚ方向に１メートル移動して上記処理を行ない、さら
にこの場合でもルールを満たさない場合は−Ｘ方向に１
メートル移動し、次にさらに−Ｘ方向に１メートル移動
し、さらにルールを満たさない場合はＺ方向に１メート
ル移動して上記処理を行ない、次にさらにＺ方向に１メ
ートル移動し、これでもルールを満たさない場合はＸ方
向に１メートル移動し、最初の指定点を渦の中心とし
て、渦の外側に向かって領域内を次第に遠くの点へ移動
するものとする。

【００３６】該ＣＧ物体の設置位置を移動した場合は、
現在処理しているフレームがどのフレームであっても、
最初のフレームに戻り、ステップ５１０から処理をやり
直す。一方、不一致が無い場合は、ステップ５６０にお
いて該ＣＧ物体の設置位置を記憶装置１２０に記録し、
ステップ５７０で現在のフレームで最後かどうかをチェ
ックし、最終フレームでない場合はステップ５８０で次
のフレームの画像データを読み込み、ステップ５２０に
進む。

【００３７】最終フレームの場合は、ステップ５９０に
進み、本処理を終了する。該アルゴリズムに従って、Ｃ
Ｇ物体の設置位置を移動すれば、処理が終了した時の設
置位置は、全てのフレームで上記ルール情報を満足して
いるといえる。すなわち、該アルゴリズムによって、法
律等の規則を満足する適切な設置位置を自動的に見つけ
ることができるようになる。一方、標識を立てたい場所
の周囲で、該アルゴリズムが終了しない場合は、標識の
形状変更や設置場所の大幅な変更が必要であると判断す
ることができる。

【００３８】なお、図３において、記憶装置１２０は、
フルカラーの動画像データを記憶しておくためには、１
分程度の映像であっても６０(秒)×３０(フレーム／秒)
×６４０(画像の横サイズ)×４８０(画像の縦サイズ)×
３(バイト／画素)=１．６Ｇバイト以上必要になる。し
かし、本発明による動画像処理は、フレーム単位での処
理が可能であり、シミュレーション時の画像データ読み
出し時間等を考えなくて良い場合は数Ｍ程度の記憶装置
でも実行可能である。

【００３９】また、上述の３次元位置の指定では、キー
ボード１３０から３次元座標値を直接入力するほかに、
以下に示すように、マウス１４０を用いて画面上で指定
することも出来る。いま、画像面に平行な面上での水平
方向をＸ軸、鉛直方向をＹ軸、視点からの奥行き方向を
Ｚ軸とする左手座標系を考えるとき、本発明では実写画
像に映っている物体の３次元情報を持っており、該物体
の上にＣＧ物体を配置するものとすれば、Ｘ−Ｚ平面上
の位置が決まればＹ成分は自動的に決まる。さらに、画
像上での水平方向をｘ軸、鉛直方向をｙ軸とするとき、
画像の視点情報も分かっているから、上述の３次元構造
と画像との関係を用いて、画面上のｘ、ｙ座標から対応
する３次元位置を求めることができる。

【００４０】すなわち、ＣＧ物体の設置位置を決めるた
めにはマウス等で画像上をクリックし、その時の座標値
を得るだけで十分である。ＣＧ物体の回転に関しても、
本来は各軸回りの自由度があるはずだが、標識のように
地面に鉛直に立てることが決まっているものについて
は、図２のようにＣＧ物体の支持柱中心をＹ軸として、
Ｙ軸回転Θyだけを考えれば良い。例えば、マウスの２
つのボタンに右ねじ方向と左ねじ方向を定義しておけば
マウスだけでも向きの指定ができる。

【００４１】以上、動画について説明したが、ある特定
の静止した場面においてのみ、ルール情報を満足してい
るかどうかのチェックを行えばよい場合は、その場面を
表わす一つのフレームについてだけ上記処理を行えばよ
い。また、合成するＣＧ画像として標識を例にあげて説
明したが、標識に限らず、あらゆる物体について本発明
を適用することができる。

【００４２】

【発明の効果】以上に述べたように、本発明によればオ
ペレータが映像を見ながらＣＧの物体を合成するべき位
置を決めるような作業をするとき、実写画像に映ってい
る物体の３次元情報を保持しているので、ＣＧで作った
物体を実写画像上のどの様な配置に対しても、直ちに前
後関係などの幾何的性質を満足したリアルな合成画像を
作ることができるようになる。このように、実写画像に
映っている物体の３次元モデルと、物体の見え方につい
てのルール情報を持たせることで、本発明ではＣＧで全
てを作るのと比較して、より自然な合成画像を高速に作
ることができる。

【００４３】また、見え方が規則づけられている標識や
看板などの物体を含んだ実写画像による計算機シミュレ
ーションにおいて、該規則を満足する合成画像を即座に
作ることができる。さらに、ＣＧで作った物体を、ビデ
オカメラで撮影した実写動画像に合成するシミュレーシ
ョン等において、法律や条例等によって決められた規則
を満たさない場合があるかどうかを即座に確かめ、カメ
ラの移動によって該規則が満足できなくなるフレームを
自動的に見つけ出すことができる。さらに、条例等によ
って定められた取り決めを常に満足するような標識の設
置場所を、動画像合成によって自動的に見つけ、さらに
標識等の見え方を映像で確認することができる。

【図面の簡単な説明】

【図１】本発明において、実写画像が持つ関連情報の説
明図である。

【図２】本発明において、ＣＧで作った構造物が持つ関
連情報の説明図である。

【図３】本発明の処理を行なうための計算機システムの
構成図である。

【図４】本発明の基本となるアルゴリズムの概要を示す
フローチャートである。

【図５】本発明で用いるルール情報を記述するための、
テーブル形式のデータについての説明図である。

【図６】本発明において、実写画像に映っている物体の
３次元構造モデルと実写画像との関係を示す説明図であ
る。

【図７】本発明において、ＣＧの物体を連続する動画像
に合成するとき、上記ルール情報を満たす合成位置を自
動的に求めるアルゴリズムのフローチャートである。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 15/70 1/00 Ｈ０４Ｎ 5/765 Ｇ０６Ｆ 15/66 ４５０ 9365−5Ｈ 15/72 ４５０ Ａ Ｈ０４Ｎ 5/91 Ｌ

Claims (10)

【特許請求の範囲】
1. 【請求項１】記憶装置に、コンピュータグラフィックス
   モデルと、デジタル化された実写の画像データと、該画
   像データのカメラ視点情報と、該実写画像に映された物
   体の３次元情報と、該物体の満たすべき条件とを記述し
   たルール情報を格納し、 プロセッサで、コンピュータグラフィックスモデルと、
   前記カメラ視点情報と、前記３次元情報とに基づいてコ
   ンピュータグラフィックス画像を作成し、 該カメラ視点情報と、該３次元情報と、該ルール情報と
   から、前記実写画像に映された物体と該コンピュータグ
   ラフィックス画像中の物体との前後関係を判定し、該前
   後関係に基づいて、画像表示装置に表示する、該コンピ
   ュータグラフィックス画像と前記実写画像との合成画像
   を作成する画像合成方法。
2. 【請求項２】前記記憶装置に複数のコンピュータグラフ
   ィックスモデルのデータを登録しておき、 前記コマンド入力手段により使用するコンピュータグラ
   フィックスモデルの選択と、該コンピュータグラフィッ
   クスモデルを置く３次元位置と向きの指定を行ない、 前記カメラ視点情報と前記３次元情報に基づいてコンピ
   ュータグラフィックス画像を作成し、 該コンピュータグラフィックス画像と前記実写画像とを
   合成する際に幾何的な前後関係と前記ルール情報から導
   き出した前後関係とが矛盾しないかどうかを判定し、 矛盾が無い場合には合成画像を作成し、矛盾が発生する
   場合にはメッセージを前記画像表示装置に出力する請求
   項１記載の画像合成方法。
3. 【請求項３】前記記憶装置に連続的に撮影された複数の
   実写画像を登録しておき、 前記コマンド入力手段により実写画像の選択と、前記コ
   ンピュータグラフィックスモデルを置く３次元位置と向
   きの指定とを行ない、 前記カメラ視点情報と前記３次元情報に基づいてコンピ
   ュータグラフィックス画像を作成し、 該コンピュータグラフィックス画像と前記実写画像とを
   合成する際に幾何的な前後関係と前記ルール情報から導
   き出した前後関係とが矛盾しないかどうかを判定し、 矛盾が無い場合には合成画像を作成し、そうでない場合
   はメッセージを前記画像表示装置に出力し、 該処理を繰り返すことで連続的な合成画像を作成する請
   求項２記載の画像合成方法。
4. 【請求項４】前記画像表示装置に前記実写画像を表示し
   ておき、 該実写画像上で前記コマンド入力手段により前記コンピ
   ュータグラフィックスモデルを置く位置と向きの指定を
   行ない、 前記カメラ視点情報と該位置と向き情報に基づいて前記
   コンピュータグラフィックスモデルを置く３次元位置と
   向きを求めてコンピュータグラフィックス画像を作成
   し、 該コンピュータグラフィックス画像と前記実写画像とを
   合成する際に幾何的な前後関係と前記ルール情報から導
   き出した前後関係とが矛盾しないかどうかを判定し、 矛盾が無い場合には合成画像を作成し、矛盾が発生する
   場合にはメッセージを前記画像表示装置に出力する請求
   項２記載の画像合成方法。
5. 【請求項５】前記記憶装置に連続的に撮影された複数の
   実写画像を登録しておき、 前記コマンド入力手段により実写画像の選択を行ない、 前記画像表示装置に選択した実写画像を表示しておき、
   該実写画像上で前記コマンド入力手段により前記コンピ
   ュータグラフィックスモデルを置く位置と向きの指定と
   を行ない、 前記カメラ視点情報と該位置と向き情報に基づいてコン
   ピュータグラフィックスモデルを置く３次元位置と向き
   を求めてコンピュータグラフィックス画像を作成し、 該コンピュータグラフィックス画像と前記実写画像とを
   合成する際に幾何的な前後関係と前記ルール情報から導
   き出した前後関係とが矛盾しないかどうかを判定し、 矛盾が無い場合には合成画像を作成し、そうでない場合
   はメッセージを前記画像表示装置に出力し、 該処理を繰り返すことで連続的な合成画像を作成する請
   求項４記載の画像合成方法。
6. 【請求項６】前記記憶装置に連続的に撮影された複数の
   実写画像を登録しておき、 最初の実写画像について前記コマンド入力手段により前
   記コンピュータグラフィックスモデルを置く３次元位置
   と向きの指定とを行ない、 前記カメラ視点情報と前記３次元情報に基づいてコンピ
   ュータグラフィックス画像を作成し、 該コンピュータグラフィックス画像と前記実写画像を合
   成する際に幾何的な前後関係と前記ルール情報から導き
   出した前後関係とが矛盾しないかどうかを判定し、 矛盾が発生する場合は前記３次元位置を移動して該処理
   を矛盾が無くなるまでやり直し、矛盾が生じない場合は
   その時の３次元位置を前記記憶装置に記録してコンピュ
   ータグラフィックス画像を作成し、 該処理をその他の実写画像に対して反復することで連続
   的な合成画像を作成し、該処理を反復しながら前記前後
   関係に矛盾が生じないかどうかを常に判定し、 矛盾が生じた場合は最初の実写画像に戻って該処理をや
   り直す請求項３または請求項５記載の画像合成方法。
7. 【請求項７】車上に固定したビデオカメラで前方の道路
   を撮影した実写画像を作成し、 該実写画像をデジタル化したデータを前記記憶装置に登
   録しておき、 前記コマンド入力手段によりコンピュータグラフィック
   スでモデリングした看板等の選択と、該看板を置く３次
   元位置と向きの指定とを行ない、 前記カメラ視点情報と前記３次元情報に基づいて看板の
   コンピュータグラフィックス画像を作成し、 前記実写画像中の標識等の物体に対し前記ルール情報と
   前記実写画像の各フレームについてのカメラ視点位置情
   報と該標識の３次元情報から、該看板との前後関係を判
   定し、 該看板と前記実写画像とを合成する際に該前後関係に従
   って、標識が見えていなければならないフレームについ
   ては実写画像の標識を表示し、標識が見えている必要性
   の無いフレームについては幾何学的な前後関係に従って
   前記コンピュータグラフィックスの看板を実写画像に合
   成し、 該処理を反復することで連続的な合成画像を作成する請
   求項３記載の画像合成方法。
8. 【請求項８】前記ルール情報に前記実写画像中の標識等
   が見え出さなければならない位置あるいは標識の見えて
   いる時間が書いてある場合、前記実写画像の各フレーム
   についてのカメラ視点位置情報と該標識の３次元情報か
   ら、標識が見える必要性のあるフレームを選択し、 該看板と前記実写画像とを合成する際に、標識が見えて
   いなければならないフレームについては実写画像の標識
   を表示し、標識が見えている必要性の無いフレームにつ
   いては幾何学的な前後関係に従って前記コンピュータグ
   ラフィックスの看板を実写画像に合成し、 該処理を反復することで連続的な合成画像を作成する請
   求項７記載の画像合成方法。
9. 【請求項９】前記ルール情報に前記実写画像中の標識等
   が見えている時間が書いてあり、撮影時の時間あたりの
   フレーム数と表示時のフレーム数が異なる場合、もしく
   は撮影したフレームを間引いて表示する場合、前記実写
   画像の各フレームについてのカメラ視点位置情報と該標
   識の３次元情報と前記フレーム数から、標識が見える必
   要性のある表示時のフレームを選択し、 該看板と前記実写画像とを合成する際に、標識が見えて
   いなければならないフレームについては実写画像の標識
   を表示し、標識が見えている必要性の無いフレームにつ
   いては幾何学的な前後関係に従って前記コンピュータグ
   ラフィックスの看板を実写画像に合成し、 該処理を反復することで連続的な合成画像を作成する請
   求項７記載の画像合成方法。
10. 【請求項１０】最初の実写画像について前記コマンド入
    力手段により前記コンピュータグラフィックスモデルの
    看板を設置する３次元位置と向きの指定とを行ない、 前記カメラ視点情報と前記３次元情報に基づいてコンピ
    ュータグラフィックス画像を作成し、 該コンピュータグラフィックス画像と前記実写画像を合
    成する際に幾何的な前後関係と前記ルール情報から導き
    出した前後関係とが矛盾しないかどうかを判定し、 矛盾が発生する場合は前記３次元位置を移動して該処理
    を矛盾が無くなるまでやり直し、矛盾が生じない場合は
    その時の３次元位置を前記記憶装置に記録して合成画像
    を作成し、 該処理をその他のフレームについても反復することで連
    続的な合成画像を作成し、該処理を反復しながら前記前
    後関係に矛盾が生じないかどうかを常に判定し、 矛盾が生じた場合は記録した設置位置を用い最初の実写
    画像に戻って該処理をやり直す請求項７ないし９いずれ
    か一に記載の画像合成方法。