JPH09190547A

JPH09190547A - 画像合成表示装置および方法

Info

Publication number: JPH09190547A
Application number: JP285696A
Authority: JP
Inventors: Toshiyuki Yuasa; 俊之湯浅; Haruo Takeda; 晴夫武田; Hideo Noyama; 英郎野山; Takehiro Watanabe; 威裕渡辺; Hideki Tokuyama; 秀樹徳山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-01-11
Filing date: 1996-01-11
Publication date: 1997-07-22

Abstract

(57)【要約】【課題】操作者の視点に連動する高画質な合成動画像を
作成し、高度な移動体上の仮想現実感を得ることのでき
る動画像表示を行なうこと。【解決手段】実写動画像である遠景画像データ２２０を
フレーム毎に格納しておく遠景画像格納装置１５０と、
静止画像である近景画像をカラーデータとマスクデータ
の組として格納しておく近景画像格納装置１６０と、画
像の平行移動量をあらかじめ定めた規則にのっとりラン
ダムに発生させる画像ランダム移動量発生装置１７０
と、操作者の視点の位置を瞬時に計測して入力する視点
情報入力装置１８０と、プロセッサ１２０と、フレーム
バッファ１３０と、作業用メモリ１４０と、画像表示装
置１１０とを備え、オペレータから随時入力させる視点
情報と、画像ランダム移動量発生装置から得られる画像
ランダム移動量とに基づき、近景画像を変倍して平行移
動し、遠景画像データ２２０を平行移動して合成し、表
示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像合成表示装置お
よび画像合成表示方法に関わり、特に、移動体上から見
える視界の画像を表示する方法に関する。

【０００２】

【従来の技術】コンピュータ技術の進展により、実写デ
ジタル画像やコンピュータグラフィックスの高速表示が
可能となってきた。これに伴い、バーチャルリアリティ
や電子遊技が急速に発展してきた。特に、ドライブシミ
ュレータやフライトシミュレータなどは、操作者があた
かも車や飛行機などの移動体に乗っているかのように感
じさせることが可能になるほど、繊細な疑似画像を高速
に表示できるようになってきた。これにより操作者は現
実の車の走行や飛行機の飛行に近い、あるいはそれ以上
の速度感を得ることができ、ある程度の仮想現実感を得
ることができるまでになっている。

【０００３】このようなドライブシミュレーションに関
する従来の発明の例として、特開平７―９３５７９号公
報に開示されたものがある。この発明は、前景画像とし
て車の３次元モデルから視点を車内に拘束したときの２
次元画像を生成し、ガラスにあたる部分（透明部分）に
は背景となるビデオ画像をはめ込むことにより、操作者
の視点が前景に拘束されているにもかかわらず速度感を
与えることを可能とするとともに、画像作成のコスト軽
減の効果を与えている。

【０００４】

【発明が解決しようとする課題】しかし、上記発明にお
いては視点が前景（車）に対して全く動かないと仮定さ
れており、そのような仮定は実際に運転手が車を運転す
る場合に多少前後左右に頭部が揺れるという現実と差が
ある。また、車のエンジンや、路面とタイヤの摩擦から
車内に伝わってくる振動なども考慮されておらず、依然
として仮想現実感という観点から改善の余地がある。ま
た、前景と背景の合成境界における不自然さを除去する
工夫がなされていないという画質上の問題もある。

【０００５】従って、本発明の目的は、操作者の視点に
連動する高画質な合成動画像を作成し、高度な移動体上
の仮想現実感を得ることのできる動画像表示を行なう画
像合成表示装置および画像合成表示方法を提供すること
である。

【０００６】

【課題を解決するための手段】上記のような目的を達成
するために、本発明における画像合成表示装置では、実
写動画像である遠景画像をフレーム毎に格納しておく遠
景画像格納装置か３次元ＣＧモデルデータを格納してお
く３次元ＣＧモデル格納装置の少なくとも一方と、静止
画像である近景画像をカラーデータとマスクデータの組
として格納しておく近景画像格納装置と、あらかじめ定
めたランダムな数列にのっとり画像の平行移動量を発生
させる画像ランダム移動量発生装置と、操作者の視点の
位置を瞬時に計測して入力する視点情報入力装置と、プ
ロセッサと、フレームバッファと、作業用メモリと、画
像表示装置とを設けた。

【０００７】さらに、本発明における画像合成表示方法
では、遠景画像として実写動画像を用いる場合には、遠
景画像を視点情報に応じて平行移動し、３次元ＣＧモデ
ルを用いる場合には視点情報に基づいてレンダリングし
た結果を遠景画像とし、近景画像を視点情報と上記画像
ランダム移動量発生装置から発せられる値に応じて変倍
して平行移動し、上記遠景画像と変倍および平行移動さ
れた該近景画像を合成して表示するという手段を設け
た。

【０００８】また、上記遠景画像は移動体上の固定視点
から撮像した動画像または屋外物体の３次元モデルを移
動体上固定視点からレンダリングした画像であり、上記
近景画像は移動体内の一部の画像であって透明部分を持
ち、該透明部分内に上記遠景画像を描画表示させるよう
にした。また、上記近景画像におけるマスクデータは上
記透明部分の透明度に対応しており、該マスクデータを
参照して、上記近景画像と上記遠景画像の混ぜ合わせの
度合を決定するようにした。

【０００９】上記手段を採用すると、操作者の入力で視
点を実時間で変更できて画像の変倍や平行移動に反映さ
れるので、実際の視点から見るのに近い合成動画像を得
ることが可能になる。さらに、ランダムな量の画像移動
量が近景画像の平行移動に反映されるので、操作者が仮
想的に乗っている移動体の振動が近景画像のランダムな
移動として実現される。さらに、近景画像の透明部分だ
けに遠景画像が貼りこまれる結果となるので、現実の見
え方により近づく。さらに、近景画像のマスクデータを
参照して遠景画像と近景画像の混ぜ合わせの度合を決定
できるので、合成の境界部分でその混ぜ合わせの度合を
中間的な値に設定しておけば、合成境界部分のジャギが
目立たなくなる。

【００１０】

【発明の実施の形態】以下、本発明の実施例として、走
行する車の中から車外の景色を見ようとしたときの視野
を、疑似的に合成動画像として作成し、表示する例を詳
細に説明する。図１に第１の実施例の構成を示す。１１
０は画像表示装置、１２０はプロセッサ、１３０はフレ
ームバッファ、１４０は作業用メモリ、１５０は遠景画
像格納装置、１６０は近景画像格納装置、１７０は画像
ランダム移動量発生装置、１８０は視点情報入力装置で
ある。

【００１１】画像表示装置１１０は、プロセッサ１２０
から表示命令が発せられたときに、その時点でのフレー
ムバッファ１３０に書き込まれている内容に基づいて表
示をおこなう。フレームバッファ１３０には画像表示装
置１１０の表示面の各画素に対応した領域から成り、そ
の領域数は画素数に等しい。各領域には赤の輝度値Ｒ、
緑の輝度値Ｇ、青の輝度値Ｂ、透過係数α、の４個の値
を格納できるようになっている。作業用メモリ１４０は
後述する各種計算結果の一時保存や、プロセッサ１２０
を動作させるためのプログラムの格納場所として用い
る。

【００１２】遠景画像格納装置１５０には遠景画像とし
て用いる動画像データ（複数フレーム分の画像データ）
を格納しておく。以下、これを遠景画像データ２２０と
呼ぶ。遠景画像データ２２０の形式は図２のようになっ
ている。図２に示すように、複数フレームの画像データ
が１フレームごとに区切られており、各フレームにはイ
ンデックスとしてフレーム番号２１０が付されている。
このフレーム番号２１０を指定することにより、指定し
たフレームの画像データのみを取り出すことができる。
各フレームの画像データは、図３に示すように、各画素
の赤、緑、青の輝度値の組(R,G,B)の２次元配列として
格納しておく。

【００１３】近景画像格納装置１６０には近景画像とし
て用いる静止画像データ（１フレーム分の画像データ）
を格納しておく。以下、これを近景画像データ４００と
呼ぶ。近景画像データ４００の形式は図４のようになっ
ている。図に示すように、近景画像データ４００は１フ
レーム分の近景画像カラーデータ４１０と近景画像マス
クデータ４２０からなる。近景画像カラーデータ４１０
の形式は、遠景画像データ２２０の１フレーム分と同様
で、図３のように、各画素の赤、緑、青の輝度値の組
(R,G,B)の２次元配列として格納しておく。近景画像マ
スクデータ４２０の形式は、各画素に対応する透過係数
αの２次元配列とする。

【００１４】画像ランダム移動量発生装置１７０は車の
エンジン回転による振動や揺れを疑似的に作り出すため
の装置で、後述する画像ランダム移動量を発生させるも
のである。画像ランダム移動量発生装置１７０の構成を
図５に示す。２組の適当な長さのランダムな数値列を持
ち、それぞれの数値列にはポインタ５１０が付随してお
り、それぞれどれかひとつの数字を指し示している。プ
ロセッサ１２０から移動量発生要求を受けると、画像ラ
ンダム移動量発生装置１７０はその時点でポインタ５１
０が指し示している数値（図５の例では２と３）を、そ
れぞれ横方向、縦方向の画像ランダム移動量として発生
させ、プロセッサ１２０に渡す。そして、それぞれのポ
インタ５１０をひとつ右に進める。もし、ポインタ５１
０が一番右に来ていた場合にはポインタ５１０を一番左
に戻す。

【００１５】視点情報入力装置１８０としては、具体的
には３次元磁気センサを用いる。オペレータの頭部（可
能であれば眼球の近辺）に３次元磁気センサを取り付け
ておき、プロセッサ１２０からの指令によりその時点の
センサ部分の３次元位置(x,y,z)を入力し、視点情報と
して扱う。以下の実施例ではこの３次元磁気センサを用
いた例を説明するが、本発明では視点情報入力装置１８
０として３次元磁気センサに限定するわけではなく、マ
ウス（３次元マウスを含む）やジョイスティックなど、
瞬時にポイント指定でき、その時点のポイント情報を入
力できるデバイスであればよい。

【００１６】以上のような構成のもとで、プロセッサ１
２０は後述する手順に従って、オペレータから随時入力
させる視点情報と、画像ランダム移動量発生装置１７０
から得られる画像ランダム移動量とに基づき、近景画像
データ４００と遠景画像データ２２０を合成する。この
合成結果は一旦フレームバッファ１３０に書き込む。書
き込みはプロセッサ１２０からの描画命令により行う。
プロセッサ１２０からの表示命令により、その時点でフ
レームバッファ１３０に書き込まれている内容を画像表
示装置１１０に表示する。

【００１７】図６は本実施例で用いる近景画像カラーデ
ータ４１０を画像表示したものである。この近景画像カ
ラーデータ４１０は、車に乗った人が前方を見たときに
見える車内の静止画像である。この静止画像は実写画像
であっても良いし、コンピュータグラフィックスで作成
した画像であってもよい。車の内部およびフロントガラ
スが含まれていることが必要である。

【００１８】図７はこの近景画像マスクデータ４２０を
仮にモノクロで表示したものである。図７の黒部分は図
６に示す近景画像カラーデータ４１０のガラスの部分す
なわち透明部分に対応している。例えば、黒部分の画素
値を０、白部分の画素値を１としてマスク画像を保持し
ておく。図７には明確には示していないが、あとの合成
処理で違和感の少ない合成結果を得るために、白部分と
黒部分の境界にあたる画素は０より大きく１より小さい
適当な値（例えば0.5）として保持しておく。境界部分
のうちの一部を拡大してみると、各画素の近景画像マス
クデータ４２０の値は図８のようになっている。

【００１９】遠景画像データ２２０としては車上から前
方の道路を撮影した実写動画像を用いる。図９は本実施
例の遠景画像データ２２０である動画像の任意の１フレ
ームを示したものであり、道路上に他の車があり、道路
わきに標識と看板と木が並んでいる例である。

【００２０】次にプロセッサ１２０の処理手順について
説明する。図１０は本処理手順を表すフローチャートで
ある。ステップ１０２０からステップ１０９９までがル
ープをなす。まず、ステップ１０１０で使用する遠景画
像データ２２０のフレーム番号２１０を初期化する。

【００２１】ステップ１０２０で入力命令を発し、オペ
レータの視点情報を視点情報入力装置１８０から入力
し、プロセッサ１２０内に取り込む。本実施例の実行前
にあらかじめオペレータの視点（頭部の位置）の基準の
位置を設定しておき、その点を視点情報の原点とする。
入力する視点情報はその原点からの３次元移動量であ
る。この３次元移動量である視点情報を(x_v,y_v,z_v)とす
る。ただし、x_vは横方向（表示画面の横方向と同一方
向）の移動量、y_vは縦方向（表示画面の縦方向と同一方
向）の移動量、z_vは奥行きの移動量である。

【００２２】ステップ１０３０ではプロセッサ１２０は
画像ランダム移動量発生装置１７０に画像ランダム移動
量発生命令を送り、画像ランダム移動量を得る。得た画
像ランダム移動量の組を(x_r, y_r）とする。x_r， y_r は
車の振動に対応する量である。そのため、x_r, y_r は視
点の移動量 x_v, y_v に比して十分小さい値となるよう
に、あらかじめ画像ランダム移動量発生装置１７０を調
整しておく。

【００２３】ステップ１０４０では近景画像データ４０
０を視点情報の奥行き移動量z_vに基づいて拡大あるいは
縮小処理を行なう。ここでは、まず倍率 s を s ← t
の (z_v／u)乗で定める。ただし、t および u はあらか
じめ定めた正定数である。そして近景画像カラーデータ
４１０と近景画像マスクデータ４２０とを近景画像格納
装置１６０から読み出し、周知の方法によりプロセッサ
１２０で s 倍に拡大あるいは縮小する。拡大あるいは
縮小した結果の画像データは作業用メモリ１４０に格納
する。

【００２４】ステップ１０５０およびステップ１０６０
では、それぞれ近景画像カラーデータ４１０の描画位置
と遠景画像データ２２０の描画位置を、すでに得ている
視点情報と画像ランダム移動量を用いて算出決定する。

【００２５】これを図１１を用いて説明する。図１１に
おいて、１１１０は画像表示装置１１０の表示画面枠で
点Ｏがその中心、１１２０は遠景画像データ２２０の位
置、大きさを示す遠景画像枠で点(x_f, y_f)がその中心、
１１３０は近景画像データ４００の位置、大きさを示す
近景画像枠で点(x_n, y_n)がその中心であるとする。視点
があらかじめ設定した基準位置にあるとき、点(x_f,
y_f)、点(x_n, y_n)ともに点Ｏに一致するものとする。ス
テップ１０５０およびステップ１０６０では、点(x_f, y
_f)、点(x_n, y_n)をそれぞれ x_f ← a × x_v, y_f ← a ×
y_v, x_n ← −b ×x_v + x_r, y_n ← −b × y_v + y_r, で
定める。ただし、a, b は正定数である。すなわち、遠
景画像データ２２０は視点移動方向に比例移動させ、ま
た、近景画像データ４００は視点移動と逆方向に比例移
動させて振動分を加える。

【００２６】図１０に戻り、ステップ１０７０ではプロ
セッサ１２０は、使用するフレーム番号２１０の遠景画
像データ２２０を遠景画像格納装置１５０から読み出
し、それをステップ１０５０で求めた位置(x_f, y_f)を中
心として、フレームバッファ１３０に書き込む。ただ
し、図１１に示す表示画面枠１１１０からはみ出る部分
については描画する必要はない。

【００２７】ステップ１０８０では、近景画像を描く。
ステップ１０４０で拡大あるいは縮小された近景画像カ
ラーデータ４１０を、作業メモリ１４０から読み出し、
ステップ１０６０で求めた位置(x_n, y_n)が中心となるよ
うにフレームバッファ１３０に書き込む。ただし、この
とき作業メモリ１４０上に格納されている拡大あるいは
縮小された近景画像マスクデータ４２０を参照しつつ書
き込む値を決定する。

【００２８】近景画像マスクデータ４２０の画素データ
が１の部分は、すでにフレームバッファ１３０に書かれ
ている遠景画像データ２２０の対応する画素データを無
視して近景画像カラーデータ４１０を書き込み、近景画
像マスクデータ４２０の画素データが０の部分について
は遠景画素データ２２０をそのまま残して近景画像カラ
ーデータ４１０は書き込まない。境界部分は近景画像マ
スクデータ４２０の画素データの値の比率で両者を混ぜ
合わせて新たな値をフレームバッファ１３０の当該画素
部分に書き込む。例えば、近景画像マスクデータ４２０
が0.5の部分では、遠景画像データ２２０と近景画像カ
ラーデータ４１０の加算平均値を新たな値としてフレー
ムバッファ１３０に書き込む。

【００２９】一般には、近景画像マスクデータ４２０が
αのとき、[(近景画像カラーデータ４１０の画素値) ×
α ＋ (遠景画像データ２２０の画素値) ×（１ー
α）]で算出される値をフレームバッファ１３０の当該
画素の領域に書き込む。これにより境界部分がギザギザ
に見えるのを防ぎ、合成の違和感をなくす。また、ここ
でも、近景画像カラーデータ４１０の表示画面枠１１１
０からはみ出た部分については描画する必要はない。

【００３０】これで合成画像が完成し、フレームバッフ
ァ１３０に所望の画像データが書き込まれたので、ステ
ップ１０９０で図１のプロセッサ１２０は表示命令を発
し、画像表示装置１１０に表示する。表示後、ステップ
１０９５で終了判定を行ない、終了しない場合はステッ
プ１０９９でフレーム番号２１０をインクリメントさせ
てステップ１０２０へ戻る。本処理手順で生成される画
像も動画像である。その任意の１フレームを図１２に示
す。

【００３１】次に第２の実施例について述べる。図１３
は第２の実施例の構成図である。１１０、１２０、１３
０、１４０、１６０、１７０、１８０は第１の実施例の
図１と同様である。１３５０は３次元ＣＧモデル格納装
置である。３次元ＣＧモデル格納装置１３５０には道
路、標識、木など屋外に存在する物体の、３次元モデ
ル、色（材質）情報および存在する３次元位置、が格納
されている。

【００３２】このような構成のもとで、プロセッサ１２
０は後述する手順に従って、オペレータから随時入力さ
せる視点情報に基づいて３次元ＣＧモデルをレンダリン
グすることにより遠景画像を作成し、前記視点情報と、
画像ランダム移動量発生装置１７０から得られる画像ラ
ンダム移動量とに基づき、近景画像データ４００と遠景
画像データ２２０を合成する。この合成結果は一旦フレ
ームバッファ１３０に書き込む。書き込みはプロセッサ
１２０からの描画命令により行う。プロセッサ１２０か
らの表示命令により、その時点でフレームバッファ１３
０に書き込まれている内容を画像表示装置１１０に表示
する。

【００３３】図１４は第２の実施例におけるプロセッサ
１２０の処理手順を示したフローチャートである。ステ
ップ１４１０では移動体の位置を初期化する。ステップ
１４２０では視点情報入力装置１８０より視点情報(x_v,
y_v,z_v)を入力する。

【００３４】ステップ１４３０では３次元ＣＧモデルを
３次元ＣＧモデル格納装置１３５０より読み出し、レン
ダリングを行なって２次元画像を生成する。このときレ
ンダリングは、移動体の位置とステップ１４２０で入力
された視点情報から視点のグローバルな座標系における
位置を求めて、その視点のもとに行なう。このレンダリ
ング結果はフレームバッファ１３０に書き込む。

【００３５】ステップ１４４０では、プロセッサ１２０
は画像ランダム移動量発生装置１７０に画像ランダム移
動量発生命令を送り、画像ランダム移動量(x_r, y_r)を得
る。ステップ１４５０では近景画像データ４００を視点
情報の奥行き移動量z_vに基づいて拡大あるいは縮小処理
を行なう。ここでは、まず倍率 s を s ← t の (z_v／
u)乗で定める。ただし、t および u はあらかじめ定め
た正定数である。そして近景画像カラーデータ４１０と
近景画像マスクデータ４２０とを近景画像格納装置１６
０から読み出し、周知の方法によりプロセッサ１２０で
s 倍に拡大あるいは縮小する。拡大あるいは縮小した
結果の画像データは作業用メモリ１４０に格納する。

【００３６】ステップ１４６０では、近景画像カラーデ
ータ４１０の描画位置を、すでに得ている視点情報と画
像ランダム移動量を用いて算出決定する。算出方法は第
１の実施例におけるステップ１０６０と同様である。す
なわち、近景画像データ４００の中心点(x_n, y_n)を x_n
← −b × x_v + x_r, y_n ← −b × y_v + y_r で定める。
ただし、b は正定数である。すなわち、近景画像データ
４００を視点移動と逆方向に比例移動させて振動分を加
える。

【００３７】ステップ１４７０では、近景画像を描く。
ステップ１４５０で拡大あるいは縮小された近景画像カ
ラーデータ４１０を、作業メモリ１４０から読み出し、
ステップ１４６０で求めた位置(x_n, y_n)が中心となるよ
うにフレームバッファ１３０に書き込む。ただし、この
とき作業メモリ１４０に格納されている拡大あるいは縮
小された近景画像マスクデータ４２０を参照しつつ書き
込む値を決定する。書き込む値は、近景画像マスクデー
タ４２０がαのとき、[(近景画像カラーデータ４１０の
画素値) × α ＋ (遠景画像データ２２０の画素値) ×
（１ーα）]で算出される値とする。

【００３８】これで合成画像が完成し、フレームバッフ
ァ１３０に所望の画像データが書き込まれたので、ステ
ップ１４８０でプロセッサ１２０は表示命令を発し、画
像表示装置１１０に表示する。表示後、ステップ１４９
０で終了判定を行ない、終了しない場合はステップ１４
９９で移動体位置の更新を行ない、ステップ１４２０へ
戻る。本処理手順で生成される画像も動画像である。以
上が第２の実施例である。

【００３９】次に第３の実施例について説明する。図１
５に第３の実施例の構成を示す。図１５に示されている
各装置は第１の実施例あるいは第２の実施例で用いたも
のと同様である。このような構成のもとで、プロセッサ
１２０は後述する手順に従って、オペレータから随時入
力される視点情報に基づいてグローバルな座標系におけ
る視点位置を算出し、３次元ＣＧモデルをレンダリング
し、レンダリング結果と遠景画像を上記視点情報に基づ
いて合成する。

【００４０】さらにその合成結果に対して、前記視点情
報と、画像ランダム移動量発生装置１７０から得られる
画像ランダム移動量とに基づき、近景画像データ４００
をさらに合成する。この合成結果は一旦フレームバッフ
ァ１３０に書き込む。書き込みはプロセッサ１２０から
の描画命令により行う。プロセッサ１２０から表示命令
により、その時点でフレームバッファ１３０に書き込ま
れている内容を画像表示装置１１０に表示する。

【００４１】図１６は第３の実施例におけるプロセッサ
１２０の処理手順を示したフローチャートである。ステ
ップ１６１０では用いようとする動画像のフレーム番号
２１０を初期化する。ステップ１６２０では視点情報入
力装置１８０より視点情報(x_v,y_v,z_v)を入力する。ステ
ップ１６３０では３次元ＣＧモデルを３次元ＣＧモデル
格納装置１３５０より読み出し、レンダリングを行なっ
て２次元画像を生成する。このレンダリング結果は作業
メモリ１４０に書き込む。

【００４２】ステップ１６４０では、プロセッサ１２０
は画像ランダム移動量発生装置１７０に画像ランダム移
動量発生命令を送り、画像ランダム移動量(x_r, y_r)を得
る。ステップ１６５０では近景画像データ４００を視点
情報の奥行き移動量z_vに基づいて拡大あるいは縮小処理
を行なう。ここでは、まず倍率 s を s ← t の (z_v/u)
乗で定める。ただし、t および u はあらかじめ定めた
正定数である。そして近景画像カラーデータ４１０と近
景画像マスクデータ４２０とを近景画像格納装置１６０
から読み出し、周知の方法によりプロセッサ１２０で s
倍に拡大あるいは縮小する。拡大あるいは縮小した結
果の画像データは作業用メモリ１４０に格納する。

【００４３】ステップ１６６０および１６７０では、第
１の実施例と同様に、近景画像カラーデータ４１０の描
画位置と遠景画像データ２２０の描画位置を、すでに得
ている視点情報と画像ランダム移動量を用いて算出決定
する。ステップ１６８０では、遠景画像格納装置１５０
から使用するフレーム番号２１０の遠景画像データ２２
０を読み出して、ステップ１６６０で求めた位置(x_f,
y_f)が中心となるようにフレームバッファ１３０に書き
込み、さらに作業用メモリ１４０内に格納してあるＣＧ
レンダリング結果のうち必要な部分を読み出し、フレー
ムバッファ１３０の該当領域に書き込む。

【００４４】ステップ１６９０では、近景画像を描く。
ステップ１６４０で拡大あるいは縮小された近景画像カ
ラーデータ４１０を、作業メモリ１４０から読み出し、
ステップ１６７０で求めた位置(x_n, y_n)が中心となるよ
うにフレームバッファ１３０に書き込む。ただし、この
とき作業メモリ１４０上に格納されている拡大あるいは
縮小された近景画像マスクデータ４２０を参照しつつ書
き込む値を決定する。書き込む値は、近景画像マスクデ
ータ４２０がαのとき、[(近景画像カラーデータ４１０
の画素値) × α ＋ (遠景画像データ２２０の画素値)
×（１ーα）]で算出される値とする。

【００４５】これで合成画像が完成し、フレームバッフ
ァ１３０に所望の画像データが書き込まれたので、ステ
ップ１６９５でプロセッサ１２０は表示命令を発し、画
像表示装置１１０に表示する。表示後、ステップ１６９
８で終了判定を行ない、終了しない場合はステップ１６
９９でフレーム番号２１０をインクリメントし、ステッ
プ１６２０へ戻る。本処理手順で生成される画像も動画
像である。以上が第３の実施例である。

【００４６】以上述べたように、本発明によれば、操作
者の視点情報を実時間で入力でき、該視点情報に応じて
近景画像が変倍されて平行移動し、遠景画像が平行移動
あるいは変形するので、疑似的に合成された表示画像が
現実の見え方に近いという効果が得られる。また、ラン
ダムな量の平行移動により近景画像にこきざみな振動を
与えることができるので、操作者はあたかも移動体に乗
っているような現実感を得ることが可能となる。また、
近景画像マスクデータを参照して合成するので、近景画
像マスクデータに近景画像と遠景画像の混ぜ合わせの度
合を設定しておくことにより、合成境界部分のジャギを
目立たなくすることが可能になり、画質向上につなが
る。

【００４７】以上が実施例の説明であるが、これは本発
明の限られた例に過ぎず、次のようなより拡張した例を
実施することも可能である。前記実施例では近景画像と
して１枚の静止画を用いたが、複数の静止画像を用いて
もよく、水滴のＣＧなどを用意しておき、ガラス部分に
合成させて、雨が降っているような疑似画像を作ること
もできる。さらに、近景画像として動画像を用いてもよ
く、実写動画あるいはコンピュータグラフィックスによ
り、近景の中でハンドルをランダムに動かすといったこ
とも可能である。

【００４８】また、実写動画像を用いる場合、前記実施
例のようなデジタル実写動画をあらかじめ保持しておく
方法の他に、遠隔地のサーバからネットワーク経由で実
時間入力する方法、ビデオカメラで撮像して実時間でＡ
Ｄ変換して入力する方法も用いることができる。また、
画像として用いるデータをあらかじめ周知の方法により
フレーム毎に圧縮して前記各画像格納装置に格納してお
き、読み出す際に圧縮されたデータを伸長して合成に用
いるという方法を使うことも可能である。

【００４９】

【発明の効果】以上述べたように、本発明によれば、操
作者の視点に連動する高画質な合成動画像を作成できる
ので、高度な、移動体上での仮想現実感を得ることので
きる画像合成表示装置および画像合成表示方法を実現で
きる。

【図面の簡単な説明】

【図１】第１の実施例の構成図である。

【図２】遠景画像データの形式の説明図である。

【図３】１フレーム分の画像データの形式の説明図であ
る。

【図４】近景画像データの形式の説明図である。

【図５】画像ランダム移動量発生装置の摸式説明図であ
る。

【図６】近景画像例のカラーデータの説明図である。

【図７】近景画像マスクデータの一例を示す説明図であ
る。

【図８】近景画像マスクデータの拡大説明図である。

【図９】遠景画像例の任意の１フレームを表す図であ
る。

【図１０】第１の実施例のフローチャートである。

【図１１】画像描画位置の説明図である。

【図１２】第１の実施例の出力の任意の１フレームを表
す図である。

【図１３】第２の実施例の構成図である。

【図１４】第２の実施例のフローチャートである。

【図１５】第３の実施例の構成図である。

【図１６】第３の実施例のフローチャートである。

【符号の説明】

１１０…画像表示装置、１２０…プロセッサ、１３０…フレームバッファ、１４０…作業用メモリ、１５０…遠景画像格納装置、１６０…近景画像格納装置、１７０…画像ランダム移動量発生装置、１８０…視点情報入力装置、２１０…フレーム番号、２２０…遠景画像データ、４００…近景画像データ、４１０…近景画像カラーデータ、４２０…近景画像マスクデータ、５１０…ポインタ、１１１０…表示画面枠、１１２０…遠景画像枠、１１３０…近景画像枠、１３５０…３次元ＣＧモデル格納装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者渡辺威裕神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者徳山秀樹神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】実写動画像である遠景画像をフレーム毎に
格納しておく遠景画像格納装置と、静止画像である近景
画像をカラーデータとマスクデータの組として格納して
おく近景画像格納装置と、あらかじめ定めたランダムな
数列にのっとり画像の平行移動量を発生させる画像ラン
ダム移動量発生装置と、操作者の視点の位置を瞬時に計
測して入力する視点情報入力装置と、プロセッサと、フ
レームバッファと、作業用メモリと、画像表示装置とを
有することを特徴とする画像合成表示装置。
【請求項２】３次元ＣＧモデルデータを格納しておく３
次元ＣＧモデル格納装置と、静止画像である近景画像を
カラーデータとマスクデータの組として格納しておく近
景画像格納装置と、あらかじめ定めたランダムな数列に
のっとり画像の平行移動量を発生させる画像ランダム移
動量発生装置と、操作者の視点の位置を瞬時に計測して
入力する視点情報入力装置と、プロセッサと、フレーム
バッファと、作業用メモリと、画像表示装置とを有する
ことを特徴とする画像合成表示装置。
【請求項３】実写動画像である遠景画像をフレーム毎に
格納しておく遠景画像格納装置と、３次元ＣＧモデルデ
ータを格納しておく３次元ＣＧモデル格納装置と、静止
画像である近景画像をカラーデータとマスクデータの組
として格納しておく近景画像格納装置と、あらかじめ定
めたランダムな数列にのっとり画像の平行移動量を発生
させる画像ランダム移動量発生装置と、操作者の視点の
位置を瞬時に計測して入力する視点情報入力装置と、プ
ロセッサと、フレームバッファと、作業用メモリと、画
像表示装置とを有することを特徴とする画像合成表示装
置。
【請求項４】請求項１に記載の画像合成表示装置におい
て、遠景画像と近景画像と視点情報が与えられたとき、
該遠景画像を該視点情報に応じて平行移動し、該近景画
像を該視点情報と上記画像ランダム移動量発生装置から
発せられる値に応じて変倍して平行移動し、平行移動さ
れた該遠景画像と変倍および平行移動された該近景画像
を合成して表示することを特徴とする画像合成表示方
法。
【請求項５】請求項２に記載の画像合成表示装置におい
て、３次元ＣＧモデルと近景画像と視点情報が与えられ
たとき、該ＣＧモデルを該視点情報をもとにレンダリン
グして遠景画像を生成し、該近景画像を該視点情報と上
記画像ランダム移動量発生装置から発せられる値に応じ
て変倍して平行移動し、上記生成された遠景画像と変倍
および平行移動された該近景画像を合成して表示するこ
とを特徴とする画像合成表示方法。
【請求項６】請求項３に記載の画像合成表示装置におい
て、３次元ＣＧモデルと遠景画像と近景画像と視点情報
が与えられたとき、該ＣＧモデルを該視点情報をもとに
レンダリングして２次元画像を生成し、生成された２次
元画像の必要部分を上記遠景画像に合成し、さらに該近
景画像を該視点情報と上記画像ランダム移動量発生装置
から発せられる値に応じて変倍して平行移動し、上記合
成された遠景画像と変倍および平行移動された該近景画
像を合成して表示することを特徴とする画像合成表示方
法。
【請求項７】請求項４ないし６いずれか一記載の画像合
成表示方法において、上記遠景画像は移動体上の固定視
点から撮像した動画像または屋外物体の３次元モデルを
移動体上固定視点からレンダリングした画像であり、上
記近景画像は移動体内の一部の画像であって透明部分を
持ち、該透明部分内に上記遠景画像を描画表示させるこ
とを特徴とする画像合成表示方法。
【請求項８】請求項４ないし６いずれか一記載の画像合
成表示方法において、上記近景画像におけるマスクデー
タは上記透明部分の透明度に対応しており、該マスクデ
ータを参照して、上記近景画像と上記遠景画像の混ぜ合
わせの度合を決定することを特徴とする画像合成表示方
法。