JPH0923449A

JPH0923449A - 実写映像及び３次元モデル合成装置

Info

Publication number: JPH0923449A
Application number: JP7169505A
Authority: JP
Inventors: Yoshifumi Fukuda; 善文福田; Norito Watanabe; 範人渡辺; Kenichi Anjo; 健一安生; Masanori Miyoshi; 雅則三好
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-07-05
Filing date: 1995-07-05
Publication date: 1997-01-21

Abstract

(57)【要約】【目的】実写映像及び３次元モデル合成装置において実
写映像と３次元コンピュータグラフィックス画像とを表
示する場合、二つの画像の一致状態を検出することによ
り、実写映像と３次元モデルとの対応関係を容易に把握
できるように、二つの表示あるいは合成表示を制御す
る。【構成】一致状態検出部１１０が実写映像の視点パラメ
ータと、３次元コンピュータグラフィックス画像の視点
パラメータを受け取ると、その一致状態を算出し、一致
が検出された場合に二つの画像の合成を行うものであ
る。【効果】実写映像と３次元モデルとの対応の把握が容易
に行える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は実写映像と３次元モ
デルの合成及び表示装置に関し、３次元でモデリングさ
れた物体のコンピュータグラフィックス画像を生成した
り、その物体が現実に存在する風景をカメラ等で撮影す
る際に、位置，姿勢、及び画角といったパラメータを等
しくして重ね合せ、一つの画像を生成する場合に有効な
方式である。

【０００２】

【従来の技術】従来の実写映像とモデルの合成及び表示
装置、例えばプラント監視装置では、利用者はプラント
監視カメラに対して操作盤などを用いてカメラの位置，
姿勢、及び画角といったパラメータを指定して、その結
果カメラで撮影された映像をモニタを通して見ていた。
またモニタにはプラントの平面図が表示され、監視カメ
ラや撮影の対象となるプラントの位置などが示されてい
た。利用者がタッチパネルのような入力機器を用いて平
面図上のカメラ位置を指定すると、指定されたカメラで
撮影されている映像がモニタに表示される。その後利用
者は操作盤を用いて監視を行いたい部分がカメラで撮影
されるまでパラメータ指定を行う。

【０００３】また３次元コンピュータグラフィックスを
現実の風景に合成する従来技術では、センサなどを用い
て視点の位置，姿勢などのパラメータを検出しそれと常
に一致するようなパラメータを与えて生成した３次元コ
ンピュータグラフィックス画像を、実写映像に合成して
いた。

【０００４】キーボードから監視対象を選択した場合に
対応する映像とデータを表示する方法については、特開
平2−224101 号において開示されている。

【０００５】人間の視点位置と対象物の位置を検出して
現実の風景に３次元の画像を合成する従来の方法につい
ては、Improving Static and Dynamic Registration in
anOptical See-through HMD,Ronald Azuma/Gary Bisho
p，SIGGRAPH 94 ConferenceProceedings COMPUTER GRAP
HICS Annual Conference Series,１９９４,第１９７頁
から第２０４頁において論じられている。

【０００６】

【発明が解決しようとする課題】従来のプラント監視装
置では、カメラの撮影した映像が、プラントのどの部分
を示しているのか把握しづらいという問題点があった。
また、カメラの位置が固定されている場合、その他の場
所から撮影した映像を得ることができないという問題も
あった。

【０００７】同様に、上記文献Static and Dynamic Reg
istration in an Optical See-through ＨＭＤのような
ディスプレイを用いた場合も、比較的自由にカメラを移
動して現実の風景を捉え３次元モデルを合成することが
できるが、視点の固定などが行われていれば、他の位
置，姿勢、及び画角等に基づく合成画像を得ることがで
きないという問題がある。

【０００８】本発明では、このような問題を解決するた
めに、カメラによる映像を撮影するための視点パラメー
タと、３次元コンピュータグラフィックスを生成するた
めの視点パラメータとの一致状態の検出をもとに、双方
が表示可能な場合は画像を合成して表示し、一方のみが
表示可能な場合はその画像を表示する実写映像及び３次
元モデル合成装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、カメラによる映像を撮影するための視
点パラメータと、３次元コンピュータグラフィックスを
生成するための視点パラメータとの一致状態を検出する
手段を有する。

【００１０】本発明では、現実の対象物を撮影するカメ
ラの視点パラメータと、合成すべき３次元モデルから３
次元コンピュータグラフィックス画像を生成するための
視点パラメータとの一致状態を検出し、この一致状態を
もとに、カメラ映像，３次元コンピュータグラフィック
ス画像、及び二つの画像を合成した結果得られる画像と
の切り換えを行うものである。

【００１１】

【発明の実施の形態】図１において利用者は、マウス，
キーボードなどを含む入力部１０８を用いて、撮影や３
次元画像生成、一致状態検出の命令を与えたり、現実の
対象物を撮影するカメラや３次元コンピュータグラフィ
ックス画像を生成する際の視点となる仮想カメラの制御
を行ったりする。これらの情報は命令処理部１０９が受
け取る。

【００１２】命令処理部１０９では、入力部１０８から
の入力を解釈し、撮影や画像生成，一致状態検出，カメ
ラ及び仮想カメラ制御に関する命令を各部に伝達する。

【００１３】カメラ１０１は、現実の風景の中にある対
象物を撮影し、その映像を画像合成部１１１に対して送
出する。またカメラ１０１はカメラ制御部１０２によっ
てその位置や姿勢，画角といったカメラパラメータを制
御される。

【００１４】カメラ制御部１０２は、命令処理部からの
命令に基づき、カメラ１０１の持つカメラパラメータを
制御し、その結果をカメラパラメータデータベース１０
３に保持する。また命令処理部１０９からの命令に基づ
き、カメラパラメータデータベース１０３の保持するカ
メラパラメータを読み込んで一致状態検出部１１０に送
出する。

【００１５】カメラパラメータデータベース１０３は、
カメラ１０１のカメラパラメータを保持し、カメラ制御
部１０２からの要求に応じてカメラパラメータの入出力
を行う。

【００１６】３次元モデルデータベース１０４は、３次
元モデルの幾何情報を保持し、３次元画像生成部１０５
からの要求に応じて３次元モデル情報の入出力を行う。

【００１７】３次元画像生成部１０５は、命令処理部１
０９からの指示に応じて３次元モデルデータベース１０
４から３次元モデルデータを取り出し、仮想カメラ制御
部１０６によって与えられた仮想カメラパラメータに基
づく３次元コンピュータグラフィックス画像を生成す
る。またその画像を画像合成部１１１に対して送出す
る。

【００１８】仮想カメラ制御部１０６は、命令処理部か
らの命令に基づき、３次元画像生成部１０５ににおいて
３次元コンピュータグラフィックス画像を生成する際の
視点となる仮想カメラパラメータを制御し、その結果を
仮想カメラパラメータデータベース１０７に保持する。
また命令処理部１０９からの命令に基づき、仮想カメラ
パラメータデータベース１０７の保持する仮想カメラパ
ラメータを読み込んで一致状態検出部１１０に送出す
る。

【００１９】仮想カメラパラメータデータベース１０７
は、３次元画像生成部１０５における仮想カメラパラメ
ータを保持し、仮想カメラ制御部１０６からの要求に応
じて仮想カメラパラメータの入出力を行う。

【００２０】一致状態検出部１１０は、命令処理部１０
９からの命令に基づき、カメラ制御部１０２からのカメ
ラパラメータ及び仮想カメラ制御部１０６からの仮想カ
メラパラメータを読み込み、二つのパラメータの一致状
態を算出して、その結果に基づき画像合成部１１１に対
してカメラ映像及び３次元コンピュータグラフィックス
画像の合成比率を送出する。

【００２１】画像合成部１１１は、一致状態検出部１１
０から受け取った画像合成比率に基づき、カメラ１０１
及び３次元画像生成部１０５から送出された映像及び画
像を合成し、出力部１１２に対して送出する。

【００２２】出力部１１２は、画像合成部１１１におい
て合成された画像を受け取り、表示する。

【００２３】ここで、本発明における一致状態検出部１
１０における、カメラ映像と３次元コンピュータグラフ
ィックス画像との一致状態の検出処理、及び画像合成部
111に対する命令発行処理の実施例を示す。この処理に
ついて本実施例では図２のような流れで処理を行う。

【００２４】一致状態検出部１１０での処理が開始され
ると、ステップ２０１において、カメラ１０１のパラメ
ータがカメラ制御部１０２から読み込まれる。続いてス
テップ２０２では、仮想カメラ制御部１０６から仮想カ
メラのパラメータが読み込まれる。これら二つのパラメ
ータをもとに、ステップ２０３において一致状態が算出
される。この結果、二つのカメラパラメータが一致した
場合は、ステップ204の分岐を通ってステップ２０５へ
移り、二つの画像の合成及び表示を行うように画像合成
部１１１に対して命令が発行される。その後、ステップ
２０６において画像表示命令が画像合成部１１１に対し
て発行される。

【００２５】ステップ２０３の算出結果から二つの画像
が一致しないと判定された場合、ステップ２０４を通っ
てステップ２０７に処理が移る。ここでは入力部１０８
で入力された画像の選択状態が命令処理部１０９から読
み込まれる。もし入力部108においてカメラ映像を表示
するよう選択されていた場合には、ステップ２０８の分
岐を通りステップ２０９において、カメラの映像を表示
させる命令が画像合成部１１１に対して発行される。そ
の後、ステップ２０６において画像表示命令が画像合成
部１１１に対して発行される。

【００２６】ステップ２０７において読み込まれた画像
の選択状態が３次元コンピュータグラフィックス画像を
表示するように示されていた場合には、ステップ２０８
の分岐を通りステップ２１０において、３次元コンピュ
ータグラフィックス画像を表示させる命令が画像合成部
１１１に対して発行される。その後、ステップ２０６に
おいて画像表示命令が画像合成部１１１に対して発行さ
れる。

【００２７】ステップ２０３における一致状態の算出に
は、次のような計算方法を用いることが可能である。ま
ずカメラパラメータデータベース１０３や仮想カメラパ
ラメータデータベース１０７にはそれぞれのカメラの位
置，姿勢、及び画角といったパラメータを保持してお
く。ステップ２０１及びステップ２０２において読み込
まれたこれらのパラメータについてステップ２０３では
それぞれの差分をとる。この差分がすべて０であった場
合に、カメラの映像及び３次元コンピュータグラフィッ
クス画像が一致したと検出する。なお、上記のパラメー
タの一部に関して差分をとり、それをもとに画像の一致
を検出する方法もある。

【００２８】また、ステップ２０７における画像選択状
態読み込みを行わず、ステップ204からの分岐が行われ
た場合には必ずステップ２０９かステップ２１０のいず
れかのみを実行する方法もある。

【００２９】本発明における実施例として、図３のよう
な装置を考える。入力部１０８には表示画像選択手段３
０１及びカメラパラメータ操作手段３０２が備えられ、
出力部１１２には画像３０３が表示されている。表示画
像選択手段３０１は、出力部１１２に通常どの画像を表
示するかを定める。表示画像選択手段３０１はこの実施
例ではスイッチになっており、出力部１１２に対して仮
想カメラによって撮影された３次元コンピュータグラフ
ィックス画像を表示するか、あるいはカメラ１０１によ
って撮影された実写映像を表示するか選択できるような
機構を持つ。カメラパラメータ操作手段３０２は、表示
画像選択手段３０１によって選択されたカメラの位置，
姿勢、及び画角といったカメラパラメータを操作して出
力部に表示される画像を逐次更新させる機構を持つ。

【００３０】図３の装置を操作した際の画像表示の様子
を図４を用いて説明する。図４(ａ)には、出力部１１２
の画像４０１を示す。この例では、表示画像選択手段３
０１が仮想カメラの画像を表示するように選択されてい
るため、画像４０１には、３次元画像生成部１０５にお
いて生成された３次元コンピュータグラフィックス画像
が表示されている。また、画像４０１には、カメラ１０
１が現実に存在する場所と対応づけられた位置に、カメ
ラの画像４０２が表示されている。なお、カメラ１０１
の映像は図４（ｂ）の画像４０３のように撮影されてい
る。ここでカメラパラメータ操作手段３０２を操作する
ことにより、仮想カメラパラメータが変更され、３次元
画像生成部１０５において生成される３次元コンピュー
タグラフィックス画像、すなわち画像４０１の表示が更
新される。このとき、一致状態検出部１１０は、変更さ
れた仮想カメラパラメータと、カメラパラメータデータ
ベース１０３の保持するパラメータを用いて、図２に示
したような方法で一致状態検出を行う。この例では、パ
ラメータとしてカメラの位置，姿勢、及び画角の差分を
用いる。図４（ａ）では二つのパラメータは互いに別の
位置にあるため一致は検出されず、画像の合成は行われ
ない。従って、表示画像選択手段３０１の状態に基づ
き、３次元コンピュータグラフィックス画像が画像４０
１に表示される。

【００３１】続いて、カメラパラメータ操作手段３０２
を用いて二つのパラメータが一致するように、すなわち
二つのカメラの位置，姿勢、及び画角の差分が０となる
ように仮想カメラを操作した結果を図４(ｃ)に示す。こ
のとき一致状態検出部１１０は、二つのパラメータの一
致を検出するので、画像合成部１１１に対して、カメラ
映像と３次元コンピュータグラフィックス画像との合成
を行わせる命令を発行する。画像合成部１１１は二つの
画像を合成して出力部１１２に出力する。この例では二
つの画像はオーバーラップして画像４０４のように表示
される。

【００３２】次に、実写のカメラ１０１の映像を表示す
るように表示画像選択手段３０１を設定して図３の装置
を操作した際の画像表示の様子を図５を用いて説明す
る。図５（ａ）には、出力部１１２の画像５０１を示
す。この例では、画像５０１には、カメラ１０１によっ
て撮影された映像が表示されている。なお、このとき仮
想カメラのパラメータをもとに３次元画像生成部１０５
において生成された画像は図５（ｂ）の画像５０２のよ
うになっているが、出力部１１２には表示されていな
い。ここでカメラパラメータ操作手段３０２を操作する
ことにより、実写カメラパラメータが変更され、カメラ
１０１によって撮影された映像、すなわち画像５０１の
表示が更新される。このとき、一致状態検出部１１０
は、変更された実写カメラパラメータと、仮想カメラパ
ラメータデータベース１０７の保持するパラメータを用
いて、図２に示したような方法で一致状態検出を行う。
この例では、パラメータとしてカメラの位置，姿勢、及
び画角の差分を用いる。図５(ａ)では二つのパラメータ
は互いに別の位置にあるため一致は検出されず、画像の
合成は行われない。従って、表示画像選択手段３０１の
状態に基づき、カメラ１０１によって撮影された映像が
画像５０１に表示される。

【００３３】続いて、カメラパラメータ操作手段３０２
を用いて二つのパラメータが一致するように、すなわち
二つのカメラの位置，姿勢、及び画角の差分が０となる
ように仮想カメラを操作した結果を図５(ｃ)に示す。こ
のとき一致状態検出部１１０は、二つのパラメータの一
致を検出するので、画像合成部１１１に対して、カメラ
映像と３次元コンピュータグラフィックス画像との合成
を行わせる命令を発行する。画像合成部１１１は二つの
画像を合成して出力部１１２に出力する。この例では二
つの画像はオーバーラップして画像５０３のように表示
される。

【００３４】３次元コンピュータグラフィックス画像に
カメラ１０１の映像を合成する別の実施例を図６に示
す。ここでは画像合成のための重み付けをカメラ１０１
の映像側を１とするのに対して、３次元コンピュータグ
ラフィックス側を０としている。またカメラパラメータ
操作手段３０２によって、カメラ１０１のパラメータ
と、仮想カメラパラメータの双方を操作できるようにな
っている。図６（ａ）の画像６０１では、カメラ１０１
と仮想カメラのパラメータが一致しているために合成表
示が行われているが、上に示した重み付けのため、実際
に表示されているのはカメラ１０１によって撮影された
映像のみである。次にカメラパラメータ操作手段３０２
を操作することにより、カメラ１０１のパラメータ及び
仮想カメラパラメータの双方を操作する。この例では画
像６０１内に表示された対象物が見かけ上右へ移動する
ように回転の操作を行っている。このときある角度まで
回転が行われるとカメラ１０１の物理的な制約により、
カメラ１０１がそれ以上回転できなくなり、カメラパラ
メータ操作手段３０２によって設定される角度を実現で
きなくなる。そこから先へ回転させた場合は、仮想カメ
ラパラメータデータベース１０７の保持する仮想カメラ
パラメータのみが更新され、出力部１１２には３次元コ
ンピュータグラフィックス画像のみが表示される。この
ような画像の切り換えの前後における出力部１１２の画
像の様子を図６(ｂ）及び図６(ｃ）に示す。画像６０２
ではカメラ１０１の撮影した映像が表示されているが、
画像６０３では３次元コンピュータグラフィックス画像
に置き換えられている。

【００３５】現実の対象物を撮影した映像として、カメ
ラ１０１以外からの映像を用いる装置のブロック図を図
７に示す。ここでは図１のブロック図に比べて、画像デ
ータベース７０１が追加されている。画像データベース
７０１は、あらかじめ複数のカメラパラメータのもとで
撮影された映像及びそのカメラパラメータを保持してい
る。カメラ制御部１０２からの命令により、保持してい
る映像の一つを画像合成部１１１に対して送出する。

【００３６】画像データベース７０１を使用した実施例
を図８に示す。この例では、画像データベース７０１は
図８（ａ）のような映像及びその映像を撮影した際のカ
メラパラメータを保持している。この状態で利用者は、
入力部１０８に備わる表示画像選択手段３０１を仮想カ
メラ側に設定し、カメラパラメータ操作手段３０２を操
作する。

【００３７】カメラパラメータ操作手段３０２を操作し
た結果得られる出力部の画像の様子を図８（ｂ）に示
す。このとき、図８（ａ）に示した画像データベース７
０１の映像のカメラパラメータと仮想カメラパラメータ
データベース１０７の保持する仮想カメラパラメータと
の一致が、一致状態検出部１１０において検出されるた
め、画像合成の命令が発行され、図８（ａ）及び図８
（ｂ）の画像が合成され、図８（ｃ）のような画像が出
力部１１２に表示される。

【００３８】

【発明の効果】以上説明したごとく、実写映像と３次元
コンピュータグラフィックス画像との表示あるいは合成
表示の切り換えを、現在の視点を気にすることなく行
い、実写映像と３次元モデルとの対応が容易に把握でき
る。

【００３９】さらに一方の視点パラメータの設定に拘束
があって表示できない場合、他方の画像を表示させて補
うことができる。

【図面の簡単な説明】

【図１】本発明による実写映像及び３次元モデル合成装
置のブロック図である。

【図２】本発明による一致状態検出を行って画像の表示
あるいは合成表示を決定するためのフローチャートであ
る。

【図３】本発明の実施例における合成装置のモデル図で
ある。

【図４】本発明において３次元コンピュータグラフィッ
クス画像に実写映像を合成する際の画像表示の途中経過
と結果を示した図である。

【図５】本発明において実写映像に３次元コンピュータ
グラフィックス画像を合成する際の画像表示の途中経過
と結果を示した図である。

【図６】実写映像の視点パラメータを変更した際に実写
映像では撮影しきれない部分を３次元コンピュータグラ
フィックス画像で置き換える様子を示した図である。

【図７】本発明の実施例において画像データベースを付
加した実写映像及び３次元モデル合成装置のブロック図
である。

【図８】本発明において画像データベースに保持された
映像に３次元コンピュータグラフィックス画像を合成す
る際の画像表示の途中経過と結果を示した図である。

【符号の説明】

１０１…カメラ、１０２…カメラ制御部、１０３…カメ
ラパラメータデータベース、１０４…３次元モデルデー
タベース、１０５…３次元画像生成部、１０６…仮想カ
メラ制御部、１０７…仮想カメラパラメータデータベー
ス、１０８…入力部、１０９…命令処理部、１１０…一
致状態検出部、１１１…画像合成部、１１２…出力部、
３０１…表示画像選択手段、３０２…カメラパラメータ
操作手段、４０１，５０１，６０１，８０１…初期画
像、４０２…カメラモデル表示、４０３，６０２…実写
映像、４０４，５０３,６０３,８０３…合成画像、５０
２，８０２…３次元コンピュータグラフィックス画像、
７０１…画像データベース。

───────────────────────────────────────────────────── フロントページの続き (72)発明者三好雅則茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内

Claims

【特許請求の範囲】

【請求項１】現実の対象物を撮影しその映像を送出する
カメラと、カメラの撮影条件を決定する情報すなわち視点パラメー
タを制御するカメラ制御部と、カメラの持つ視点パラメータを保持し、それをカメラ制
御部の要求に応じて授受するカメラパラメータデータベ
ースと、３次元コンピュータグラフィックス画像として生成され
るモデルを保存する３次元モデルデータベースと、３次元モデルデータベースに保持されるモデルをもとに
３次元コンピュータグラフィックス画像を生成する３次
元画像生成部と、３次元コンピュータグラフィックス画像を描くもととな
る視点すなわち仮想カメラの視点パラメータを制御する
カメラ制御部と、仮想カメラの持つ視点パラメータを保持し、それを仮想
カメラ制御部の要求に応じて授受する仮想カメラパラメ
ータデータベースと、カメラ制御部及び仮想カメラ制御部へ与える視点パラメ
ータ及び一致状態検出部に与える命令を入力する入力部
と、入力部より入力された操作情報を解釈してそれぞれに対
応した命令を発行する命令処理部と、命令処理部から与えられた比率に基づいて３次元コンピ
ュータグラフィックス画像とカメラにより撮影された映
像とを合成する画像合成部と、画像合成部から出力された画像を表示する出力部とを持
つ映像合成装置において、カメラ制御部より受け取ったカメラの視点と仮想カメラ
制御部より受け取った３次元コンピュータグラフィック
ス画像の視点との一致状態を算出し、それをもとに画像
合成部に対して命令を発行する一致状態検出部を備え、３次元コンピュータグラフィックス画像の視点とカメラ
の視点との一致が検出された場合にのみ、画像合成部に
おいて３次元コンピュータグラフィックス画像とカメラ
の映像とを合成する命令を発行し、それ以外の場合に
は、３次元コンピュータグラフィックス画像とカメラの
内入力部からの要求によって選択された方の表示を行う
命令を発行する一致状態検出部を持つことを特徴とする
実写映像及び３次元モデル合成装置。
【請求項２】上記第１項において、３次元コンピュータ
グラフィックス画像の視点とカメラの視点との一致が検
出されなかった場合に、カメラの映像の表示を行う命令
を発行する一致状態検出部を持つことを特徴とする実写
映像及び３次元モデル合成装置。
【請求項３】上記第１項において、３次元コンピュータ
グラフィックス画像の視点とカメラの視点との一致が検
出されなかった場合に、３次元コンピュータグラフィッ
クス画像の表示を行う命令を発行する一致状態検出部を
持つことを特徴とする実写映像及び３次元モデル合成装
置。
【請求項４】上記第１項において、カメラ制御部より受
け取ったカメラの視点と仮想カメラ制御部より受け取っ
た３次元コンピュータグラフィックス画像の視点との一
致状態を算出する方法として、それぞれの視点の位置，
姿勢、及び画角の差分をとり、その内の全部が０となっ
た場合、または一部が０となった場合に画像合成の命令
を発行する一致状態検出部を持つことを特徴とする実写
映像及び３次元モデル合成装置。
【請求項５】上記第１項において、入力部から視点パラ
メータが与えられた場合に、カメラ及び３次元コンピュ
ータグラフィックス画像の視点パラメータを変更して、
入力部からの視点パラメータと双方とも一致した場合に
は二つの画像を合成して表示し、片方だけ一致した場合
にはその画像のみを表示し、双方とも一致しない場合に
は何も表示させない命令を画像合成部に出力する一致状
態検出部を持つことを特徴とする実写映像及び３次元モ
デル合成装置。
【請求項６】上記第１項において、複数の視点パラメー
タにおいて撮影された映像とその視点パラメータを保持
する画像データベースを備え、入力部から３次元画像生
成部に対して、生成する３次元コンピュータグラフィッ
クス画像の視点パラメータを指定した際、その値と同じ
視点パラメータに基づいて撮影された映像が画像データ
ベースに保存されていた場合にその映像を画像合成部に
対して出力し３次元コンピュータグラフィックス画像と
合成させる要求を発行するカメラ制御部及び画像データ
ベースを持つことを特徴とする実写映像及び３次元モデ
ル合成装置。