JP3200163B2 - ３次元シミュレーション画像形成システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は３次元シミュレーション
のための画像形成システムに関する。

【０００２】

【従来の技術】複雑なコンピュータグラフィックスモデ
ラ（適切なコンピュータ・グラフィックス・モデリング
・ソフトウエアを搭載した汎用または特殊用途用コンピ
ュータワークステーション）は、様々な３次元構体、自
動車その他を製作するに先だって、これらを設計したり
マーケティング戦略を立案したりするために、今日広く
用いられている。コンピュータグラフィックスモデラ
は、最終生産物がどのようなものとなるかを顧客、販売
要員、スタッフに理解させるための有効な手段と認知さ
れており、それに伴ってますます多用されるようになっ
てきている。これらは、従来の青写真や最終生産物の縮
小模型にて行うのよりもはるかに多くの柔軟性を持って
いる。コンピュータグラフィックスモデラは、例えば飛
行及び運転のシミュレータにも用いられている。このよ
うに、多くの分野での３次元物体または情景の効果的な
モデリングが要求されているが、その中で自動車や飛行
機のコントロールパネルのレイアウトのシミュレーショ
ンやフライトシミュレーションなどはほんの一例にすぎ
ない。

【０００３】例えば、英国特許出願ＧＢ−Ａ−２１８１
９２９（出願人ソニー株式会社）によると、物体の表面
構造を表すビデオデータを操作して、それを物体の表面
形状と同一な面上に配置し、その物体の画像を形成する
ことが提案されている。ＧＢ−Ａ−２１８１９２９は、
例えばフライトシミュレータに用いる運動物体のシミュ
レーションと関連している。車または飛行機のコントロ
ールパネルのシミュレーションにおいては、観察者（も
しくは概念としてのカメラ）の視点は、車または操縦席
の内部に制限される。車、飛行機その他のコントロール
パネルや内装部のモデリングは、コンピュータグラフィ
ックスのワイヤフレームモデルによってたやすく達成さ
れる。しかし普通は、はるかに現実的な結果が得られる
のでレンダリングモデル（すなわち表面のみならず縁の
細部に至るまで描かれたもの）が用いられている。とこ
ろが、車のダッシュボードまたはフライトデッキの部分
の内部の景観のモデルをレンダリングする場合は、コン
ピュータによる大量の演算が必要とされており、このた
め、表示されているものの運動やモデル内の視点の変化
の表現が、コンピュータグラフィックスモデラの処理能
力によって制限を受けてしまう。通常のシステムでは、
毎秒およそ２フレームの変化が可能限度である。

【０００４】

【発明が解決しようとする課題】コンピュータグラフィ
ックスモデラは、壁、パネル構造、照明と陰影、家具そ
の他を含めて、モデルの光学的現実感を表現するものと
して認められている。ところが、細部まで詳しく描くこ
とが要求されるために、コンピュータグラフィックスモ
デラにさらに負荷がかかり、実時間にて画像を形成する
ことが不可能になっている。さらに、従来のコンピュー
タグラフィックスモデラは、考えているモデル（例えば
車の内部など）を形成するのみであった。車の制御パネ
ルの場合を考えよう。制御パネルのすぐ上はウインドス
クリーンである。車の中で制御パネルがどのように見え
るかを質感豊かに表現するために、制御パネルそのもの
のみならず、窓を通して見ることのできる情景もモデル
化することができることが望ましい。しかしながら、従
来のコンピュータグラフィックスモデラでは、背景にあ
る情景は黒く塗りつぶされているか、せいぜい静止した
背景画像であった。

【０００５】車の制御パネルのレイアウトを検討するに
あたって、例えば、車の窓を通して見ることのできる現
実感ある情景を描くことができれば有用であろう。理想
的には、車の窓から見ることのできる現実感ある情景
は、動く情景であることが望ましい。この動く情景が様
々な交通環境や一般的な道路の状況をモニタリングした
ものをシミュレートするものであれば、制御パネルのレ
イアウトを効果的に適切に評価することができるであろ
う。制御パネルの光学的に現実感あるモデリングを外部
の情景と組合せてシミュレートすると、コンピュータグ
ラフィックスモデラのハードウエアに多大な費用がかか
るだけでなく、そのモデリングにも多大な時間がかかっ
てしまう。そこで本発明の課題は、内部の情景のモデリ
ングに加えて外部の情景のモデリングを、現実的で費用
効率のよい方法にて提供することにある。

【０００６】

【課題を解決するための手段】本発明の画像形成システ
ムは、少なくとも１カ所の透明部分を含むコンピュータ
グラフィックス前景画像を形成するためのコンピュータ
グラフィックスモデラと、背景となるビデオデータの少
なくとも１組を処理し、運動が制御されたビデオ背景画
像の列を形成するデジタルビデオ効果装置と、コンピュ
ータグラフィックス前景画像を、運動が制御されたビデ
オ背景画像に対してキーイングし、前景の透明部分を通
して背景が観察できるようにしながら出力画像列を形成
するための手段とを具える。

【０００７】本発明の第２の観点による画像形成システ
ムは、このコンピュータグラフィックスモデラが、コン
ピュータグラフィックスの３次元モデルの所定の方向に
おける、所定の視点からの情景を形成するものである。
本発明の第３の観点による画像形成システムは、それぞ
れの背景ビデオデータの組が、前景における透明部分を
通して視点から観察され、３次元空間内の視線が描く各
表面上にマッピングされた少なくとも１個の静止ビデオ
画像を表すものである。本発明の第４の観点による画像
形成システムは、画像が描かれるそれぞれの表面が、３
次元空間におけるコンピュータグラフィックスモデルを
取り囲む半球面の内面の少なくとも一部となるものであ
る。本発明の第５の観点による画像形成システムは、デ
ジタルビデオ効果装置が、連続する画像のタイミングで
異なる線形スケーリング（拡大縮小）及び（又は）平行
移動の処理を背景ビデオデータの組に対して適用するこ
とによって、運動する背景ビデオ画像を形成するように
したものである。本発明の第６の観点による画像形成シ
ステムは、デジタルビデオ効果装置が、背景ビデオデー
タを一時的に記憶するためのメモリと、書き込み及び読
み出し操作時メモリに異なるアドレスを与えて、線形の
拡大または縮小の処理と平行移動の処理とを行わせるた
めのアドレス手段とを具えたものである。本発明の第７
の観点による画像形成システムは、コンピュータグラフ
ィックスモデラからの位置データに応じて、連続する画
像と同期してなされるべき処理を規定した制御データを
デジタルビデオ効果装置に対して発生する制御手段を具
えたものである。本発明の第８の観点による画像形成シ
ステムは、コンピュータグラフィックスモデラが、不透
明部分によって分割された複数の透明部分を有する前景
画像を形成し、デジタルビデオ効果装置は、複数のデジ
タルビデオ効果ユニットを具え、各ユニットはそれぞれ
の背景ビデオデータの組を処理し、構成要素となった背
景画像の組をそれぞれ形成するとともに、背景画像の構
成要素の組を組み合わせて背景画像の制御された列を形
成する手段をも具えたものである。

【０００８】本発明の第９の観点は、ユーザが操作可能
な乗り物の制御装置を含む乗り物の操縦席と、背景を透
視することが可能な少なくとも１個の開口と、少なくと
も１組の背景ビデオデータを処理し、開口内に少なくと
も１つの運動が制御されたビデオ画像の列を形成するた
めのデジタルビデオ効果装置とを具えた乗り物用シミュ
レータシステムである。

【０００９】

【作用】本発明によると、コンピュータグラフィックス
モデラを、デジタルビデオ効果装置によって処理される
ビデオデータと組み合わせることによって、視点の位置
が前景に対して拘束され、背景に対しては拘束されない
乗り物などの制御レイアウトのような対象物または構造
物を、現実感豊かに且つ費用効率よく構成することがで
きる。デジタルビデオ効果装置を用いることによって、
撮影されたビデオ画像をそのまま用いるよりも一層柔軟
性が増す。もし、撮影されたビデオ画像をそのまま用い
るとすると、シミュレーションのとき画面の速い変化や
多様な運動方向の表示を可能にするために、おびただし
い数の撮像画面とこれらを高速にて処理する機械装置と
が必要になる。線形のデジタルビデオ効果装置でさえあ
ればよいデジタルビデオ効果装置を使用することによっ
て、拡大縮小及び平行移動の処理をする撮像画像の組が
はるかに少なくて済み、速い変化や多様な運動方向を表
現することが可能になる。特定のシミュレーションに用
いられる実際の画像の数は、このシミュレーションの詳
細次第で決まる。

【００１０】

【実施例】図１は、従来のコンピュータ・グラフィック
ス・モデラ（例えば汎用または特殊用途用３次元コンピ
ュータ・グラフィックス・モデリング・ソフトウエアの
コンピュータワークステーション）によって形成される
車の内部モデルを、高精細テレビジョンの１６：９のフ
ォーマットにて描いたものである。このコンピュータグ
ラフィックスモデラは、車のモデルを形造るデータの供
給を受けている。このモデルには、３次元位置情報、表
面構造の情報、さらに照明環境などその他の要素が含ま
れている。このデータから、コンピュータグラフィック
スモデラが車の２次元の画像を形成する。図１に示すよ
うに、この２次元画像には、制御パネル１２、すなわち
車のダッシュボード、ウインドスクリーン１６及び窓１
７、１８を取り囲むフレーム１４、天井１５の内側及び
その他の内部の細部から構成されている。ところが、コ
ンピュータグラフィックスモデラは、ウインドスクリー
ン１６、側面窓１７及び１８を通して観察される情景を
細かく描くことはできない。本発明によれば、これらの
窓１６、１７、１８を通して観察される情景（ときには
動く情景）を描くことのできるシステムを提供する。

【００１１】図２は、本発明の背後にある概念を示すも
のである。更に詳しくいうと、コンピュータグラフィッ
クスモデラによって形成される図２の内側の円によって
表されるコンピュータグラフィックスモデル２０に加え
て、ビデオ画像（ときには動く画像）がマッピングさ
れ、すなわち仮想の半球面の上に投射され、場合によっ
てはその一部がモデル２０を取り囲む背景情景を形成す
るデジタルビデオ効果装置によって平面上に描かれる。
実際には、図１に示す情景に関しては、視点の位置がモ
デル２０の中にあって制約されるので、モデルの中の窓
または開口を通して見ることのできる情景の一部を形成
できさえすればよい。この概念を図３によって示す。背
景の情景１６Ｓが窓１６を通してみることができ、背景
の情景１７Ｓ、１８Ｓが窓１７、１８を通して見ること
ができるものである。図４は、これら３個の情景が、図
１に示すモデルのウインドスクリーン及び側面窓に関連
してどのように配置されるかを示したものである。

【００１２】これらの情景は、異なるカメラの３方向か
らの動く情景の一連の静止ビデオ画像を個別に撮像する
ことが望ましい。撮像された元のビデオ画像を適当なビ
ュー（観察）ポートを通してみた状態に合せるために
は、図５に示す様な装置を用いてもよい。言い換える
と、元の画像は、カメラレンズの中に現れる歪みを補正
してもよく、また非線形デジタルビデオ効果発生器２３
を用いて特定の観察スクリーン又は観察面に合せてもよ
い。もとの撮像された画像はソースビデオメモリ２２
（例えば第１ビデオレコーダ）の中に記憶されてもよ
く、その後背景画像メモリ２４（例えば第２テープレコ
ーダ）に記憶させる前に、非線形デジタルビデオ効果装
置２３によって処理してもよい。この非線形デジタルビ
デオ効果装置によってなされる処理は、コントローラ２
２によって決定される。コントローラはユーザーによっ
てプログラムが行われ、元の撮像された画像を背景の部
分の中にはめ込むための特別なマッピング教示を実行さ
せる。

【００１３】適用されるマッピングは、ウインドスクリ
ーンを通じて観察される情景とともに側面の窓を通して
観察される情景を、継目のない市松模様によって構成す
ることを可能にするために用いられる。更に、元の画像
が撮像されたとき、あらゆるレベルを除去するために色
の訂正が行われ、色は、開口の設定のしかたや太陽の角
度などによって変化をきたす。背景の分離した部分（す
なわち図１で窓の枠１４の部分）の幅が狭い場合は、外
の情景が連続しているという印象を与えるために、継目
のない市松模様を採用することが望ましい。しかしなが
ら、モデルの構造的特徴がある場合は（すなわち個々の
情景がはっきり別のものであれば）、継目のない市松模
様による画像は必要ではなく、もっと緻密さの劣る模様
でも外の情景が連続的なものであるという印象を与える
ことができる。

【００１４】図６は本発明の画像発生システムの概略ブ
ロック図である。図６に示すシステムによって、前処理
された背景のビデオ画像の連なりが、シミュレートされ
るべき動く背景を構成することができる方法を用いるこ
とによって、コンピュータグラフィックスモデルそのも
のと合体される。従来のコンピュータグラフィックスモ
デラ（例えば３次元モデリングソフトウエアを含むコン
ピュータワークステーション）は、（例えば図１におけ
る車の室内のような）物体内からの情景を表す出力画像
を形成する。コンピュータグラフィックスモデラのコン
ピュータワークステーションは、キーボード、マウス、
グラフィックスタブレット、ライトペンなどのうち１個
以上を含む通常のユーザ入力手段を具えている。このコ
ンピュータグラフィックスモデラは、通常背景情報を含
まない前景を表示するためのモニタを含んでいる。コン
ピュータグラフィックスモデラ３０からの出力は、モデ
ルの画像を作り出すのに用いられる３次元空間に於ける
位置と方向を特定するための位置情報３１を含んでい
る。画像画素データ３２はモデルの画像と関係し、キー
イングデータ３３は前景と関係を持ったモデル画像の領
域及び背景と関係をもったモデル画像の領域を特定す
る。

【００１５】原則として従来のコンピュータの支援を受
けたデザインソフトウエアパッケージまたはその他の従
来の３次元モデリングソフトウエアも、このモデル画像
を形成するために用いることができる。従来のコンピュ
ータグラフィックスモデリングソフトウエアは、３次元
空間における視点の位置と方向を表す位置情報を出力す
ることができないとき、すなわち物体のどの部分が透明
でありどの部分が透明でないかを表すキー信号を提供出
来ない場合、コンピュータグラフィックスモデリングソ
フトウエアは、これらの特徴を提供するために変形され
る必要がある。モデルの画像を提供できるどんなコンピ
ュータグラフィックスモデリングソフトウエアも、３次
元空間における視点の位置と方向を表すデータを得るこ
とができる。同様に表面のレンダリングができるコンピ
ュータグラフィックスモデリングシステムは、どの部分
が透明でどの部分が透明でないかを表すデータを得るこ
とができる。従って、これらのデータの出力を形成する
ためにコンピュータグラフィックスモデリングソウフト
ウエアをいかに変形するかは、当業者にとって明かであ
る。位置情報は制御ユニット３４に供給され、複数のデ
ジタルビデオ効果ユニット１６Ａ、１７Ａ及び１８Ａ
と、対応する背景画像メモリ１６Ｖ，１７Ｖ及び１８Ｖ
それぞれの動作を制御する。背景ビデオメモリ１６Ｖ、
１７Ｖ、１８Ｖのおのおのは、車の窓または開口を通し
て観察される元となる情景を形成するための、１つ以上
の前処理された静止画像と関連したビデオデータを含ん
でいる。ひとつの背景ビデオメモリＶ及びひとつのデジ
タルビデオ効果装置Ａが、この実施例のモデルの各透明
部分のために割り当てられていることに注意されたい。
メモリとデジタルビデオ効果装置の数は、透明な部分の
数が異なっていれば、これに合わせてもよい（例えばモ
デルに４個の窓があれば４個をそれぞれに割り当てても
よい）。背景ビデオメモリに記憶されるビデオデータ
は、図５によって説明した静止画像の前処理によって形
成できる。背景ビデオメモリのそれぞれは、例えばデジ
タルビデオテープレコーダのような形態のものでよい。
背景ビデオメモリのおのおのからの出力は、それぞれの
デジタルビデオ効果装置に入力される。

【００１６】このデジタルビデオ効果装置は、適当な窓
を通して観察される画像の適当な線形運動を構成する。
一層詳しくいうと、デジタルビデオ効果装置１６Ａ、１
７Ａ、１８Ａは、制御ユニット３４からの制御情報に応
じてそれぞれの画像メモリユニット１６Ｖ，１７Ｖ，１
８Ｖからの画像に対してスケーリングと平行移動の処理
を行い、画像が動いている状態をシミュレートする。デ
ジタルビデオ効果装置１６Ａ、１７Ａ、１８Ａからのそ
れぞれの出力は結合器３５に送られ、個別の出力情報は
背景画像の順番を形成すべく結合される。それぞれの背
景画像は背景の画像１６Ｓ，１７Ｓ，１８Ｓが図４の破
線によって示された関係によって構成されたものから成
っている。順番に並んだ各背景画像は、キーヤーとして
作用する合成器３６に交互に供給される。コンピュータ
グラフィックスモデラによってライン３３を通じて結合
器３５から供給され、前景画像のピクセルを背景画像に
関係付けるためのキー情報に応じて、この合成器３６は
作動する。表示器のための最終的な出力画像は、表示器
のためのビデオモニタに出力される。デジタルビデオ効
果装置１６Ａ、１７Ａ、１８Ａのおのおのは、画像を平
面的に拡大し、運動をシミュレートするために画像を水
平あるいは垂直に移動する。この場合、視点あるいは背
景を、背景のビデオ画像のすべてを一斉に移動すること
によって移動させることが可能であり、これによって車
の運動をシミュレートすることができるし、またコンピ
ュータグラフィックスモデラによってその他の構造体を
モデル化することも可能である。

【００１７】図７は代表的なデジタルビデオ効果装置２
３の概略ブロック図であり、図６に示すシステム中のデ
ジタルビデオ効果装置１６Ａ、１７Ａ、１８Ａのうちの
１つとして、さらに図５に示すデジタルビデオ効果発生
器２３として、使用することが可能である。また、この
デジタルビデオ効果装置は従来よりあるものなので、こ
こでは詳しく述べない。要約すると、デジタルビデオ効
果発生器は、以下のように作動する。操作のための各ソ
ース画像を表すビデオ信号はデジタルビデオ効果発生器
３２に入力される。画像データを一時的に記憶するため
のメモリ５０をアドレスするための読みだしアドレス及
び書き込みアドレスを制御することによって、デジタル
ビデオ効果装置の中においてソース画像の処理がなされ
る。図６に示すように、読みだし側からのアドレス動作
が採用されていて、これがアドレス発生器５２によって
制御される。ピクセル補間器５８は出力ピクセル値が計
算できるようにし、アドレス発生器５２は、メモリ５０
の記憶領域と出力ピクセルとの間の１対１のマッピング
を行わない。アドレス発生器５２によって形成されたア
ドレスは、メモリ５０をアドレスするための整数の部分
と、ピクセル補間器５８をアドレスするための小数の部
分とを含む。

【００１８】画像の処理にあたっては、画像の圧縮も操
作の中に含まれ、寸法の訂正を行わないときは、画像の
圧縮は出力画像の品質を低下させるエイリアシングを引
き起こす。フィルタ５４は、圧縮の作用を補償するため
に設けられている。フィルタコントローラ５６はフィル
タ５４を制御するための部分的なスケールファクタを決
定する。アドレス発生器５２は、制御ユニット３４から
の制御データに応じて行われる特定の処理に従って、メ
モリ５０からのピクセルデータをマッピングするための
アドレスを決定する。制御ユニット３４からデジタルビ
デオ効果発生器へと供給されるデータの中には、アドレ
ス発生器が適当なアドレスを発生させるのに必要なマッ
ピングの内容が含まれている。制御ユニット３４は、適
当なソフトウエアが装備されたパーソナルコンピュータ
またはコンピュータワークステーションの形態をとって
よく、デジタルビデオ効果装置の重要部分として、ある
いはハードウエアの特別な目的の部分として設けられて
よい。制御ユニット３４の機能は、コンピュータグラフ
ィックスモデラのコンピュータワークステーションの中
に統合されてもよく、これによって個別の制御ユニット
をなくしてもよい。このとき、コンピュータグラフィッ
クスモデラが、デジタルビデオ効果装置及びその他のモ
デリングシステムの構成要素に直接必要な制御信号を供
給することになる。

【００１９】３次元空間に於ける視点と方向及び背景に
対するモデルの位置と向きを決定付ける出力データを定
義すべくコンピュータグラフィクモデラをプログラミン
グすることによって、制御ユニット３４は、デジタルビ
デオ効果装置を制御する適当な制御データを発生させる
ように構成することによって、モデリングされている画
像の透明部分に表示されるべき背景の画像を形成させる
ことが可能となる。もし視点と方向及びモデルの位置と
向きが変化すると、制御ユニットは、デジタルビデオ効
果装置に作用して、（例えば車が道に沿って移動するこ
とをシミュレートするなどの）変化に応じて背景を操作
して変化させるようにする。コンピュータグラフィック
スモデルの細部（例えばモデリングされている車のダッ
シュボード上のダイヤルの位置など）は、従来の方法に
よってコンピュータグラフィックスモデラ上のモデラデ
ータを再定義することによって変更させることができ
る。

【００２０】このように、図６に示す画像発生システム
によって、コンピュータグラフィックスモデラから送ら
れて来るモデルの内部からの情景より成る２次元画像
は、デジタルビデオ効果装置によって操作されるビデオ
画像からの窓その他から観察される動く背景を伴うこと
ができ、この環境に於けるモデルを現実感豊かに描くこ
とが可能になる。典型的には１２８０個のピクセルと１
０２４本のライン、または２０４８個のピクセルと１５
６０本のラインの解像度を有する、現在の画像形成用コ
ンピュータグラフィックス発生器を用いることによっ
て、さらに典型的には１９２０個のピクセルと１０３５
本のラインによる高精細デジタルビデオ効果装置を用い
ることにより、現実世界と近似した環境においてコント
ロールパネルその他のコンピュータモデルの、現実感豊
かな実時間表示をすることが可能となる。また選択され
た視点及びこれの方向を変えることによって、実時間に
近いかたちでモデルを運動させるシミュレーションをす
ることが可能となり、モデリングシステムはこれらの変
化に応じて適当な出力画像を形成する。

【００２１】図８は乗り物、ここでは自動車をシミュレ
ートする本発明に基づくシミュレータを表している。こ
のシミュレータは、乗り物の内部の模型画像１１０を具
えている。模型画像のなかにはハンドル、変速レバー、
制御スイッチその他の制御手段の組が含まれている。シ
ミュレータの内部では、これらは、接続線１１２を介し
て制御ユニット１３４に供給されるようになっている出
力信号を形成するためのセンサと接続している。この制
御ユニット１３４は、接続線１１２に制御信号を発生
し、第１、第２、第３の背景画像メモリ１１６Ｖ、１１
７Ｖ、１１８Ｖ及びデジタルビデオ効果装置１１６Ａ、
１１７Ａ、１１８Ａを制御し、ビデオスクリーン１１６
Ｓ、１１７Ｓ、１１８Ｓ上の表示器にビデオ画像を発生
させる。上述のモデリングシステムと同様に、制御ユニ
ットは、背景画像メモリ１１６Ｖ、１１７Ｖ、及び１１
８Ｖからのビデオデータを選択し、またデジタルビデオ
効果装置１１６Ａ、１１７Ａ、１１８Ａを制御するため
に信号を発生して、メモリからのビデオデータを適当に
処理し、スクリーン１１６Ｓ、１１７Ｓ、１１８Ｓに表
示する。このビデオ表示スクリーン１１６Ｓ、１１７
Ｓ、１１８Ｓは、操縦席の模型画像である１１０の窓１
１６、１１７、１１８の各空間のところに配置される。
従って、ビデオデータに関してなされるべき特別な処理
は、窓に対するビデオ表示スクリーンの方向いかんであ
る（すなわち窓に対して平行であるのか、あるいはなん
らかの角度をなしているのかということ）ことが理解さ
れよう。本発明の先の例において、表示スクリーンは前
景画面と同一平面に存在しているが、適切な斜視効果を
作り出すために変換作業をしていることに留意された
い。

【００２２】自動車のシミュレータの場合、第１、第
２、第３の背景画像メモリユニットは、同一のビデオデ
ータ、すなわち球面にマッピングされるビデオ画像のマ
トリクスを示したビデオデータを好ましくは含んでお
り、デジタル効果装置によって処理されるべく選択され
るビデオ画像の完全なアレイを提供する。個別の背景画
像のメモリは、データの帯域ゆえに各デジタルビデオ効
果装置に提供される。もしすべてのデジタルビデオ効果
装置を支援するに十分な速度にてビデオデータを抽出す
ることのできる高周波数帯域の背景画像メモリがあれ
ば、それひとつで十分である。

【００２３】図９及び図１０は画像マトリクスの概略を
示したものである。図９は、水平座標軸ｉ−１，ｉ，ｉ
＋１，ｉ＋２などと垂直座標軸ｊ−１，ｊ，ｊ＋１，ｊ
＋２などとがおりなす交点に関して配置された画像の格
子またはマトリクスを示している。各交点に関して４つ
の画像Ｉが記憶されている。例えば交点ｉ及びｊに関し
て４個の画像Ｉi,j,w,Ｉi,j,e,Ｉi,j,n,Ｉi,j,s が記憶
されている。画像Ｉi,j,w は、交点ｉ、ｊと隣接する西
方向から観察され、撮影された画像を表している。画像
Ｉi,j,e は、交点ｉ、ｊと隣接する東方向から観察さ
れ、撮影された画像を表している。画像Ｉi,j,n は、交
点ｉ、ｊと隣接する北方向から観察され、撮影された画
像を表している。画像Ｉi,j,s は、交点ｉ、ｊと隣接す
る南方向から観察され、撮影された画像を表している。
この場合の東西南北は、単に説明の便宜上導入したもの
である。画像はこのような特定の方向から撮影される必
要はないことを理解されたい。要は４個の画像を撮影す
ることの目的が、背景画像が交点ｉ、ｊに隣接する位置
にどの方向から接近しても、この背景画像が形成される
ようにすることにある。このことは、マトリクスのそれ
ぞれの交点用に、さらに交点に隣接する画像の対のおの
おのを表す平行線と交差する短い線によって表されてい
るように、交点において画像が重なるようにするため
に、４個の画像を撮影することによって達成される。実
際には、撮影された画像は図７における背景画像メモリ
に記憶されているわけではない。そのかわり、記憶され
ている画像データは、球面または円筒面の部分にマッピ
ングされた撮像画像を表している。このことは図１０に
おいて、交点ｉ、ｊに関連した４個の画像に関してやや
拡大して示してある。このように、撮影された画像Ｉi,
j,w は、表面Ｉ’i,j,w として表面上にマッピングされ
て表される画像として記憶される。撮影された画像Ｉi,
j,s は、表面Ｉ’i,j,s として表面上にマッピングされ
て表される画像として記憶される。同様に、画像Ｉi,j,
e は、表面Ｉ’i,j,e として表面上にマッピングされて
表される画像として記憶され、画像Ｉi,j,n は、表面
Ｉ’i,j,n として表面上にマッピングされて表される画
像として記憶される。ここで表面Ｉ’i,j,e と表面Ｉ’
i,j,n は重なっていることに留意されたい。これは他の
隣接する画像についても成り立つ。このように、空間を
連続的に表現したものを発生させ、背景画像を適当に組
み合わせることによってマトリクスのどの位置において
も背景画像が形成できるようにする。運動の表現は、記
憶された背景画像の拡大縮小または移動の処理によって
行われる。このように、視点が記憶されている画像に接
近するにしたがって、必要なピクセル情報が拡大され、
観察者が画像の中に表されている対象物にあたかも近づ
いているかのように表現される。視点が画像が投影され
ている表面に実際に接触してしまう前に、この方向の次
の画像が選択されて、マトリクスを通じて連続的な運動
が表現されるようにする。

【００２４】図９では、隣接する画像が多少重複する場
合を示したが、多くの実施例ではさらに重複の度合を大
きくして、ひとつの背景画像から次の背景画像へと動く
とき、出力背景画像において動きがなめらかに表現され
るようにする。図９及び図１０に表現されるように、画
像のマトリクスの概念を３次元にまで拡張して、視点の
上下方向の移動をも扱うようにしてもよい。図９及び図
１０を参照して説明した画像のマトリクスを用いる技法
は、図６を参照して説明した画像形成システムにも適用
可能である。画像のマトリクスの使用を通じて、画像を
拡大または縮小し、あるいは水平または垂直に画像を移
動させることによって画像が撮影されるようなシミュレ
ートされた３次元空間を通じて作動するシミュレータを
構成することが可能となる。図８のシミュレータは、デ
ジタルビデオ画像効果装置によって処理されるビデオ画
像からシミュレートされる車両、飛行機、宇宙船などの
乗り物の操縦席の窓（例えばウインドスクリーン、側面
窓その他）を通して観察される動く背景画像を高い品質
にて提供することが出来る。現在の高精細デジタルビデ
オ効果装置を用いることによって、また１９２０ピクセ
ルで１０３５本のラインの解像度にて典型的には作動す
ることによって、現実世界の環境から高品位の画像をつ
くることができる。このように、乗り物におけるユーザ
ーコントロールの操作に応じて、実時間にて現実世界の
環境に近いかたちでシミュレートすることが可能とな
り、乗り物のシミュレータの窓を通して観察されるビュ
ースクリーン上のディスプレイのために適当な画像を形
成することが可能となる。

【００２５】

【発明の効果】本発明によると、コンピュータグラフィ
ックスモデラを、デジタルビデオ効果装置によって処理
されるビデオデータと組み合わせることによって、視点
は前景に対して位置が拘束され、背景に対しては位置が
拘束されていない乗り物などの制御レイアウトのような
対象物または構造物を現実感豊かにかつ費用効率よく構
成することができる。撮影されたビデオ画像をそのまま
用いるとすると、シミュレーションのとき画面の速い変
化や多様な運動の方向を可能にするために、おびただし
い数の撮像画面とこれらを高速にて処理する機械装置と
が必要になるところであるが、デジタルビデオ効果装置
を使用することによって、はるかに少ない撮像画像の組
を拡大縮小及び移動の処理をすることで済ませることが
でき、速い変化や多様な運動方向を表現することが可能
になる。

【図面の簡単な説明】

【図１】モデルのなかの特定の位置における視点から見
た情景を表す図である。

【図２】情景シミュレーションの概念を表す図である。

【図３】情景シミュレーションの概念を表す図である。

【図４】３種類の前処理されたビデオ画像の連なりが、
図１に示す情景とどのように組み合わされるかを示す図
である。

【図５】ビデオデータを前処理するための装置の概略ブ
ロック図である。

【図６】本発明のシステムの概略ブロック図である。

【図７】デジタルビデオ効果装置の概略ブロック図であ
る。

【図８】本発明による乗り物のシミュレータの概略を示
す図である。

【図９】画像のマトリクスの概略を示す図である。

【図１０】画像のマトリクスの概略を示す図である。

【符号の説明】

１２ コントロールパネル １６ ウインドウスクリーン １６Ａ、１７Ａ、１８Ａ、２３、１１６Ａ、１１７Ａ、
１１８Ａ デジタルビデオ効果装置 １６Ｖ、１７Ｖ、１８Ｖ、１１６Ｖ、１１７Ｖ、１１８
Ｖ 背景画像メモリ ２０ モデル ３０ コンピュータグラフィックスモデラ ３５ 合成器 ３６ 複合器 ５０ メモリ ５２ アドレス発生器 １３４ 制御ユニット

───────────────────────────────────────────────────── フロントページの続き (72)発明者 モーガン ウィリアム エイモス デビ ッド イギリス国 ＧＵ９ ８ＮＷ，サリー, リッジウェイ ロード ファーンハム34 (56)参考文献 特開 昭63−216169（ＪＰ，Ａ) 特開 昭63−127777（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 11/60 - 17/50 G09G 5/00 - 5/40 G06F 3/00 G06F 3/14 - 3/153 A63F 9/24 A63F 13/00 - 13/12

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 少なくとも１カ所の透明部分を含むコン
   ピュータグラフィックス前景画像を形成するためのコン
   ピュータグラフィックスモデラと、 背景ビデオデータの少なくとも１組を処理し、運動が制
   御されたビデオ背景画像の列を形成するデジタルビデオ
   効果装置と、 上記コンピュータグラフィックス前景画像を上記運動が
   制御されたビデオ背景画像に対してキーイングし、前景
   の上記透明部分を通して背景が観察できるようにしなが
   ら出力画像列を形成するための手段と、を具え上記コン
   ピュータグラフィックスモデラは、コンピュータグラフ
   ィックスの３次元モデルの所定の方向において、所定の
   視点からの情景を形成し、 上記それぞれの背景ビデオデータの組は、前景における
   透明部分を通して上記視点から、３次元空間を見るため
   に決められた各表面上にマッピングされた少なくとも１
   個の静止ビデオ画像を表すことを特徴とする画像形成シ
   ステム。
2. 【請求項２】 上記背景ビデオデータはビデオ画像のマ
   トリクスを表すことを特徴とする請求項１の画像形成シ
   ステム。
3. 【請求項３】 上記表面は、３次元空間におけるコンピ
   ュータグラフィックスモデルを取り囲む半球面の内面の
   少なくとも一部であることを特徴とする請求項１又は２
   の画像形成システム。
4. 【請求項４】 上記デジタルビデオ効果装置は、連続す
   る画像と同期させて異なる尺度で拡大縮小する処理及び
   （又は）平行移動する処理を背景ビデオデータの組に対
   して適用することによって、運動する背景ビデオ画像を
   形成することを特徴とする請求項１、２又は３の画像形
   成システム。
5. 【請求項５】 上記デジタルビデオ効果装置は、背景ビ
   デオデータを一時的に記憶するためのメモリと、書き込
   み及び読み出し操作時、メモリに異るアドレスを与え
   て、線形の拡大縮小処理及び（又は）平行移動処理を行
   わせるためのアドレス手段とを具えたことを特徴とする
   請求項４の画像形成システム。
6. 【請求項６】 上記コンピュータグラフィックスモデラ
   からの位置データに応じて、連続する画像と同期させて
   行うべき処理を規定した制御データを上記デジタルビデ
   オ効果装置に対して発生する制御手段を具えたことを特
   徴とする請求項５の画像形成システム。
7. 【請求項７】 上記コンピュータグラフィックスモデラ
   は不透明部分によって分割された複数の透明部分を有す
   る前景画像を形成し、 上記デジタルビデオ効果装置は複数のデジタルビデオ効
   果ユニットを具え、該各ユニットはそれぞれの背景ビデ
   オデータの組を処理し、構成要素となる背景画像の組を
   それぞれ形成するとともに、該背景画像の構成要素の組
   を結合して制御された背景画像の列を形成する手段をも
   具えたことを特徴とする請求項１、２又は３の画像形成
   システム。
8. 【請求項８】 上記各デジタルビデオ効果ユニットは、
   それぞれの背景ビデオデータに対し、異なる線形拡大縮
   小処理と平行移動処理を連続する画像と同期させて行う
   ことによって運動する背景画像を形成することを特徴と
   する請求項７の画像形成システム。
9. 【請求項９】 上記各ビデオ効果ユニットは、背景ビデ
   オデータを一時的に記憶するためのメモリと、書き込み
   及び読み出し処理のときメモリの異なるアドレスを発生
   して上記線形拡大縮小及び平行移動の処理を行わせるア
   ドレス手段とを具えたことを特徴とする請求項８の画像
   形成システム。
10. 【請求項１０】 上記コンピュータグラフィックスモデ
    ラからの位置データに応じて、連続する画像と同期させ
    て行うべき処理を規定した制御データを、上記各デジタ
    ルビデオ効果装置に対して発生する制御手段を具えたこ
    とを特徴とする請求項９の画像形成システム。
11. 【請求項１１】 ユーザが操作可能な乗り物の制御装置
    及び少なくとも１つの開口を含む乗り物の操縦席と、該
    開口を通して観察可能な観察スクリーンと、該スクリー
    ンに表示するため少なくとも１組の背景ビデオデータを
    処理して少なくとも１組の運動が制御されたビデオ画像
    の列を形成するためのデジタルビデオ効果装置と、を具
    え上記それぞれの背景ビデオデータの組は、上記開口を
    通して与えられる視点から３次元空間を見るために決め
    られた各表面上にマッピングされた少なくとも１個の静
    止ビデオ画像を表すことを特徴とするシミュレータシス
    テム。
12. 【請求項１２】 上記背景ビデオデータはビデオ画像の
    マトリクスを表すことを特徴とする請求項１１のシミュ
    レータシステム。
13. 【請求項１３】 上記表面は、上記乗り物の操縦席を取
    り囲む半球面の内面の少なくとも一部であることを特徴
    とする請求項１１のシミュレータシステム。
14. 【請求項１４】 上記デジタルビデオ効果装置は、連続
    する画像と同期させて異なる尺度で線形拡大縮小する処
    理及び（又は）平行移動する処理を背景ビデオデータの
    組に対して適用することによって、運動する背景ビデオ
    画像を形成することを特徴とする請求項１１、１２又は
    １３のシミュレータシステム。
15. 【請求項１５】 上記デジタルビデオ効果装置は、背景
    ビデオデータを一時的に記憶するためのメモリと、書き
    込み及び読み出し操作時、メモリに異なるアドレスを与
    えて線形の拡大または縮小の処理と平行移動の処理とを
    行わせるためのアドレス手段とを具えたことを特徴とす
    る請求項１４のシミュレータシステム。