JPH0154749B2 - - Google Patents

Description

【発明の詳細な説明】

〔発明の技術分野〕 本発明は全体としてコンピユータ制御映像発生
装置に関するものであり、更に詳しくいえば、自
然人であるオペレータまたはそれと同等のハード
ウエア／ソフトウエアによりリアルタイムまたは
ほぼリアルタイムで映像を解析するのに十分な処
理速度で、映像のライブラリから表示のために光
景の逐次流れの組立および構成を行う能力を有す
るデジタル映像処理装置に関するものである。 そのような装置の多くの用途のうちの１つの例
は、航空機のフライト・シミユレーシヨンのよう
な乗物のシミユレーシヨンの分野に関するもので
ある。そのような装置においては、航空機のフラ
イト・シミユレーシヨン装置内の視覚システムが
フライト・シミユレーシヨン・コンピユータから
飛行データを受け、定められた領域すなわち「ゲ
ーミング領域」のデータベースから地形データを
受ける。視覚システム内のデータ処理装置が飛行
データと地形データを総合して、観察者に航空機
の操縦席に居るかのようなシミユレートされた可
視表示を発生する。 たとえばヘリコプタのような乗物の乗物シミユ
レータの視覚システムは「シミユレートされた周
囲の状況を、窓を通して見る光景」を含み、その
ような周囲の状況に対する任意の希望方向に「乗
物」を誘導するための制御を行う。この装置の
「窓を通して見る光景」という用語は、たとえば
約60〜260Km²（約25〜100平方マイル）の広い地
域をカバーする地形に相当するシミユレートされ
た環境の、通常は映像の形態の、表示を意味す
る。このシミユレートされた周囲の状況のこと
を、ここでは、定められた領域またはゲーミング
領域と呼ぶことにする。 乗物制御器の動作により乗物は、ゲーミング領
域内で、ゲーミング領域の周辺で、およびゲーミ
ング領域を通つて、誘導される。そして、窓を通
して見えるもの、すなわち映像表示、が何である
かを決定するのが、乗物制御器に対しての視覚シ
ステムの応答である。「窓」を通して見えるもの
のことを視界すなわちFOV（Field of View）と
呼ぶことにする。 〔従来技術〕 「コンピユータ発生形象」（CGI、すなわち
Computer Generated Imagery）装置として知
られている従来の装置の１つは、データベースか
ら映像表示可能な形象を発生するためにコンピユ
ータ装置を利用している。CGI装置においては、
映像表示可能な光景を構成するための対象物と地
表面が、対象物と地表面との境界を定める点の形
で格納されている純粋に機械的なモデルからとり
出される。 CGI装置の強みはそれの地表面の表し方にあ
る。実際の地表面または人工的な地表面は、指定
された点（通常は一様なマス目ないし格子の交
点）において測定し高度を得ることができる。標
本の高度を結ぶことにより、地表面をコンピユー
タにより再構成できる。現実的な地表面の表現に
加えて、CGI装置はその地表面上における物体の
配置も制御する。高度データは一様な格子ごとに
与えられるのが普通であるから、他の物体の配置
は同一の格子上で指定できる。木、岩、潅木、家
屋、道路のような典型的な物体は、データベース
の格子系において定められた位置を有することが
できる。 正確な照度と斜視線もCGI装置の大きな寄与で
ある。正確な照度は、表示される各ピクセルに対
する地表面垂線を見出すことにより達成される。
この垂線は、ピクセルの輝度を計算するために、
視線、光源からの垂線および周囲の明るさととも
に用いられる。観察点から地表面の各点までの距
離がわかつているから、正確な透視像が達成され
る。この距離は透視像への変換においては重要な
変数である。 このCGI装置の弱点は現実性に欠けることであ
る。物体は正確に位置させることができ、正確に
照度で表示でき、かつ正しく斜視像を表示できる
が、物体自体は現実的に表示できない。CGI装置
での物体表示における現在の技術状態は、物体が
非常に線画的に表示されるような程度である。不
毛な地形、砂および雲などのようなある種の光景
要素は、木、草または詳細な人工物のような複雑
な物体よりは現実的に表示できる。そのような複
雑な物体は単に現実感に欠けるだけである。 別の映像発生装置は「コンピユータ合成形像」
すなわちCSI（Computer Synthesized Imagery）
と呼ばれている。CSI技術も、たとえばビデオ表
示可能な映像のような映像をデータベースから発
生するが、そのデータベースに格納されている物
体と地表面は、CGI装置におけるようなそれらの
物体などの数学的モデルではなくて、物体と地表
面の現実世界の電磁媒体を介した映像として表わ
されている。 したがつて、CGI装置は純粋に数学的なデータ
ベースから形象を発生するためにコンピユータを
用いるのに対して、CSI装置は格納されている現
実の映像を基にして光景内に物体をはめこむため
にコンピユータを用いる。CGI装置は構成および
表示すべき光景を巧妙に制御するが、忠実度は低
く、したがつて表示される光景の現実感に乏し
い。CSI装置はこれと正反対である。忠実度は極
めて高いが、光景の構成の制御は制約される。 CSI装置の強みは光景中に写真のような現実の
画像を用いることに存する。現在入手できるビデ
オ機器では写真データを容易にとりあつかえる。
文字どおりに何千という個々の写真をビデオデイ
スクに記録でき、それらの写真の呼出しは、磁気
デイスクに格納されているデジタルデータのケー
スと全く同様に、索引装置により制御できる。更
に、映像忠実度は確かであり、出力された画像は
入力されて格納されているものと同一である。 CSI装置の弱点は、それの光景が「カメラ」の
撮影点に限定されることである。すなわち、一連
の光景を初めから終りまで撮影した一連の写真を
用いない限り、その光景を動的に移動できないこ
とである。妥当な寸法の任意のゲーミング地域に
対しては初めから終りまでの一連の光景写真の数
は利用できないほどの多さである。 〔発明の概要〕 本発明により、CGI装置を新しく開発された
CSI技術に組合わせてCGSI装置を構成できる。
ここでは、本発明はCGSI（Computer Generated
Synthesized Imagery）を構成するために、２つ
の技術CGIとCSIの最も良い所を組合わせること
を含むものである。光景は、CGIまたはCSIによ
り発生された指定された地面すなわち背景上に、
通常は詳しい、高い忠実度の（CSIによる）物体
を置くことにより、構成される。CGSIの光景は
CGIの光景とほとんど同様にして作ることがで
き、地表面の高度と物体の位置は一様な格子の上
に置かれる。その光景に使用される個々の物体は
斜視のために調整され、寸法と、位置と、回転
と、ねじ曲げ（warp）および輝度を含む場所と
変換は要求に応じて各画像ごとに実行される。地
表面はCGIによる構成とすることもできれば、一
連のCSI地表面のはめこみとすることができる。
光景は、観測点すなわち光景認識装置から最も離
れている物体から始まり、最も近くの物体まで、
物体を置くことにより構成されるのが普通であ
る。CGSIは可視スペクトラム、IR（赤外線）ス
ペクトラム、MMW（ミリ波）スペクトラム、レ
ーダスペクトラムなどを含む電磁スペクトラムの
任意の部分からの形象により構成できる。 目 的 本発明の目的はコンピユータ制御映像発生装置
のための改良した斜視変換を伴うマツピング方法
を得ることである。この斜視操作マツピングは以
下の＜斜視ねじ曲げ技術＞の項に詳述されてお
り、直線的なマツピングにない利点を有するもの
である。 〔実施例〕 以下、図面を参照して本発明を詳しく説明す
る。第３７図は戦場を空中から見たものである。
その戦場のことをゲーミング領域または定められ
た領域と呼ぶことができ、実際の制約内で、約60
〜260km²（約25〜100平方マイル）をカバーする
地域が普通である。 たとえば、ヘリコプタの動作をシミユレートす
るために本発明の装置を用いるものとすると、第
３７図に示すようなシミユレートされたゲーミン
グ領域を、ヘリコプタの飛行用の環境として選択
できる。このヘリコプタ・シミユレータの視覚シ
ステムは、ゲーミング領域の「窓を通して見る光
景」を連続して表示する。その表示は、ゲーミン
グ領域に対するヘリコプタの位置と高度に対応す
る、ゲーミング領域内でパイロツトが見る光景の
流れのビデオ表示である。ヘリコプタ・シミユレ
ータには、ゲーミング領域内、ゲーミング領域の
周辺およびゲーミング領域を通る、任意の方向に
ヘリコプタを自由飛行で、誘導ないし航行させる
ための制御装置が組込まれる。視覚システムはそ
の制御装置に応答してビデオ表示される「窓」の
中に何が見えるかを決定する。 第３８Ａ図は第３７図のゲーミング領域内のど
こか、おそらくは木立ちの陰の光景を示すもので
ある。その光景は、ヘリコプタ・シミユレータの
訓練室内の、窓を模しているビデオ表示器上に、
ある時刻に現れたものである。訓練性が制御装置
を連続的に操作することにより、ゲーミング領域
内でのヘリコプタの動きが次々定められ、ビデオ
表示器で表示されている光景はヘリコプタの各瞬
時位置に従う。 第３８Ａ図、第３８Ｂ図は、本発明の原理に従
つて発生された、ゲーミング領域内の表示された
ビデオ表示光景の撮影写真の実際のコピーであ
る。それらの写真から、細部にぼけを生じさせる
いくつかの処理過程を経て光景の画像が得られた
にもかかわらず、物体の細部に見られる現実感に
注意されたい。また、物体から背景への移り変わ
りの滑らかなことは、光景がマンガ的な表現でな
く表されていることを示すものである。 第１図はCGSI装置のブロツク図である。 第３９図〜第４７図は第１図の特殊効果をはめ
込むユニツト１２で終る典型的なCGSI装置の構
成における過程を示すものである。それらの図も
表示された画像を撮影したものである。 CGSI光景の構成は地面、水面、空をまず置く
ことにより始まるのが普通である。その後で、大
きい物体と小さい物体を置く。物体としては木、
岩、家屋、かん木、道路、照明灯、乗物、ヘリコ
プタ、有翼航空機、動物、女性などがある。最後
に、希望により特殊効果を付加でき、それらの特
殊効果には煙、ほこり、雲、陰などがある。
CGSI装置がどのように機能するかを示すために、
第３９図〜第４７図を参照して例示した光景の組
立について説明する。 第３９図から始まつて、ある距陸の背景の上に
空を区分して付加する。空を区分することによ
り、頂きと谷とでこれらの図に示されているよう
な地平線を形成できる。この例においては、空を
５つに区分した。一般に、区分部分の下側縁部は
まつすぐである必要はなく、なだらかな起伏、急
な丘または山なみをシミユレートするためにわん
曲させたり、ぎざぎざにすることもできる。最低
と最高のデータを基にした仰角と、観察点とを基
にして個々の区分部分をどのようにしてねじ曲げ
る（warp）かについての説明は、後で詳しく行
う。 第４０図には前景または山のふもとの丘を形成
するために、ざらざらした地表面が区分部分とし
て付加される。山と空の間の手を加えていない部
分は、遠い光景内の山々として現われる。その後
で、地表面の多角形のスクリーン座標に適合する
ように、格納されているざらざらの地表面がねじ
曲げられて、光景に付加される。各地表面の輝度
は距離その他の希望のパラメータに応じて変える
ことができる。 第４１図は計画された道路部分を示すものであ
る。その道路部分のために、スクリーン座標に適
合するようにデータベースの地表面のライブラリ
イ内の道路表現がねじ曲げられる。地表面のライ
ブラリイは種々の道路表面と、流れおよび池のよ
うな他の特殊な地表面を含むことができる。 第４２図は計画された比較的小さい二次元２Ｄ
物体の例を示すものである。それらの物体は全ス
クリーンの所定の割合以下を占める。一実施例に
おいては光景の面積の１／16以下を占める物体は
二次元２Ｄで表される。その理由は、多数の用途
においては、木、やぶ、岩のような比較的小さい
自然物体は、現実感をほとんど失わずに一方の側
から、すなわち、二次元物体として表わすことが
できるためである。大きな建物、またはタンク、
船舶のような特別な興味をひく物体のように一方
の側から表わすことができない物体は三次元３Ｄ
物体と呼ばれ、そのように表わされる。比較的小
さい二次元２Ｄ物体は、三次元３Ｄ物体および地
表面を処理するために必要とされるものより安価
な処理用のハードウエアやソフトウエアにより処
理できる。ある光景の中で飛行中に、二次元２Ｄ
物体、それが光景の面積の予め選択された割合以
上を占めるに至つた時に、三次元３Ｄ処理へ移す
ことができる。 第４３図はマルチビユーの三次元３Ｄ物体とし
てのタンクを示す。タンクのマルチビユーは格納
され、タンクの行路、高度および観察者の視点を
基にして、光景の構成に適切な画面が用いられ
る。タンクは移動していても良く、かつ非常に大
きくても良い。 第４４図は多表面すなわち三次元３Ｄの建物の
例である家を示す。その家はいくつかの表面部分
と、いくつかの屋根部分（両側が同一であれば１
つ）と、２つの端部と、２つの側面とに分類され
る。その家の個々の表面は、スクリーン座標によ
り指示された斜視像を正規化された画面からねじ
曲げて形成することができ、その後、それらが結
び合わされる。 第４５図は大きな二次元２Ｄ物体を示す。それ
らの物体は光景の面積の所定の量以上を占めるこ
とができる。必要があれば、それらの物体は膨脹
させて、物体がスクリーンの全面より大きくする
ことができる。 第４６図は雲、ほこり、煙、陰を含む半透明な
媒体のために使用される特殊効果技術を示すもの
である。マスクが透過機能を制御し、別の入力語
が輝度と色を制御する。 第４７図は完全なCGSI装置による光景を示す
ものである。その光景は第３７図に示されている
ゲーミング領域のどこかに現われるものである。 第１図のブロツク図は次に参照する。そのブロ
ツク図のデータベース構造から特殊効果のはめ込
みまでの各項目については下に簡単に説明し、後
で詳しく説明する。 Ａ：第１図のブロツク図の諸項目の簡単な説明 ＜データベース構造＞ データベースは、物体その他のライブラリイと
ゲーミング領域データとの、非常に異なる種類の
２つのデータを有する。ライブラリイのハードウ
エアは形象を発生し、それらの形象を光デイスク
に高忠実度で格納する。ゲーミング領域データの
ハードウエアは物体（Object）と、地表面
（Surface）と、特殊効果（Special effect）との
場所をロードするために用いられる。 ライブラリイの融通性はほとんど制限がない。
ライブラリイは物体の映像と、地表面の映像と、
特殊効果の透過マスクとを含むことができる。そ
れらは多数の電磁放射スペクトラム帯の１つで表
すことができる。これにより、可視領域ばかりで
なく、検出したIR（赤外線）スペクトラム、
MMW（ミリメータ波）スペクトラム、レーダ・
スペクトラムなどを基にした入力／出力もシミユ
レーシヨンできる。 ライブラリイは二次元２Ｄ映像と三次元３Ｄ映
像の混つたものを含むこともできる。それらの映
像は昼・夜の条件、毎日の条件を表すことができ
る。可視物体のライブラリイは写真を通常含んで
いる。物体のライブラリイから高忠実度物体を構
成する際には、個々の現実世界の要素、非常に正
確なモデル、絵画、写真などの物体のライブラリ
イに格納されている物体が呼出されて「完全に近
い」映像を形成する。これは、縁部を復原し、背
景から物体を分離し、輝度と色を修正し、現実的
な色を発生し、系の基準点から物体の位置を決
め、高忠実度のCGI物体を発生し、グラフイツ
ク・データ、すなわち、光源を発生することによ
り行われる。着地点と高度基準点も加えられる。
「完全に近い」物体と、地面および特殊効果は、
高速アクセス可能で、高いデータ速度をもつ媒体
に格納される。「完全に近い」という用語は、入
力映像の品質に関する忠実度が高いことを意味す
る。 ゲーミング領域データは、物体のライブラリイ
の内容と、地表面と、特殊効果とを格子すなわち
ゲーミング領域の上に置くために必要な情報を与
える。物体はオペレータが置くこともできれば、
コンピユータによりランダムに置くこともでき
る。ライブラリイ内の物体は静止させたり、動か
したりできる。この機能の出力は光景の内容を決
定する。 ＜乗物シミユレーシヨン計算＞ 乗物シミユレーシヨン装置による計算は、乗物
の数学的モデルと制御入力を基にして、主たる乗
物の視覚装置すなわちセンサ装置の場所と見る方
向を決定する。また、副たる乗物についても、乗
物のモデルと、選択された経路とを基にして、計
算を行うことができる。この出力は観察者の場所
を決定する。 ＜通信サブシステム＞ もちろん、乗物シミユレーシヨン装置の入力／
出力すなわちＩ／Ｏと、CGSI装置のＩ／Ｏは効
率的なやり方でインターフエイスせねばならな
い。通信サブシステムは２つの装置をインターフ
エイスする双方向リンクおよびバツフアとするこ
とができる。 ＜視界（FOV）と座標変換の計算＞ 視界（FOV）処理装置は、構成中の光景中の
物体、地表面および特殊効果の存在を決定する。
変換マトリツクス（Ｖ）の出力は現実世界の座標
をスクリーンの座標に変換する。変換マトリツク
スからのこのデータにより、迅速にテストをし
て、物体の任意の部分と、地表面と、特殊効果と
の全てについてそれらが光景中に存在するか否か
を決定することができる。データベース中の全て
の物体についての存否の試験を避けるために、
「スマート」なアルゴリズムにより、光景に近接
している物体および表面だけを試験することがで
きる。視界（FOV）処理装置は、視界（FOV）
内の物体の表（リスト）と、それらの物体、地表
面または特殊効果のチヤンネル割当の表（リス
ト）とを保持する。視界（FOV）処理装置の機
能は観察者が見ることができるものを決定するこ
とである。 ＜物体、地表面、特殊効果の制御装置＞ この制御装置は視界（FOV）の計算中に発生
された制御機能を「フアンアウト」および処理す
る。処理された制御機能は物体、地表面、特殊効
果の処理チヤンネルへ送られる。制御装置により
実行される主な機能は、ゲーミング領域座標のス
クリーン座標への変換と、オペレータにより制御
される乗物から視界（FOV）内の各物体までの
距離データの処理と、距離と物体との識別を基に
した各物体の輝度の決定と、正しい映像データの
検索をライブラリイに指令することである。制御
装置の機能は、視界（FOV）データを「フアン
アウト」し、光景のための精密な制御データを発
生することである。 ＜物体、地表面および特殊効果のライブラリイ」 このライブラリイは光景の構成に用いられる映
像を格納する。制御装置は、処理チヤンネルへ送
られる映像の選択を指令する。ライブラリイの唯
一の機能は映像を格納し、正しい映像を指令に応
じて与えることである。 ＜物体、地表面および特殊効果の処理チヤンネル
＞ 個々の処理チヤンネルすなわち「パイプライン
処理装置」はチヤンネル当り１つの大きな項目
（物体、地表面または特殊効果）を通常１度に処
理する。処理チヤンネルは複数のより小さい項目
を並列に処理できる能力を有することができる。
全ての処理チヤンネルはそのような各項目につい
て同一のやり方で動作する。というのは、チヤン
ネルの機能は項目の性質で指定されるからであ
る。一実施例においては、各処理チヤンネルはラ
イブラリイからの１つの大きい項目、または16の
小さい項目を、制御機能により指定された変換に
より修正する。すなわち、物体と、地表面と、ま
たは特殊効果の処理チヤンネルは、正常なまつす
ぐに正面から見た図法で格納されている映像を、
位置と、寸法と、回転と、ねじ曲げとを変えるこ
とにより、光景の座標を基にして変換する。映像
の輝度は距離および物体の種類を基にして変えら
れる。そうすると、それらの並列パイプラインの
処理チヤンネルの機能は、与えられた光景中で用
いられる各物体、地表面および特殊効果を要求に
応じて修正することである。 ＜光景構成＞ 光景構成モジユールは各処理チヤンネルから
個々の映像をとり、その映像を背景から分離し、
距離を基にして光景を組立るものである。このよ
うにして、近い物体がより遠くの物体を掩蔽す
る。個々の映像から光景を構成することにより発
生された高周波縁部はガウス関数により滑らかに
できる。この動作は縁部と内部周波数を一致させ
る。 光景構成モジユールは２つの物体および地表面
の制御装置から距離情報を受ける。その距離は、
ある特定の物体がその光景内の他の物体の前にあ
るかまたは後にあるかを決定するために用いられ
る。ある特定の物体ピクセルがその光景内で最も
近くを占めるピクセルであるとすると、そのピク
セルが表示される。このことを「最近物占有」処
理と呼ぶ。 光景構成の機能は、視界（FOV）処理装置に
より決定された各ビデオチヤンネルと背景レベル
源からビデオ入力を受ける。この機能における出
力は、特殊効果モジユールに対するリアルタイ
ム・ビデオ信号とすることができる。 デジタルでの光景構成の機能は次のような副機
能を有する。１ 物体の処理チヤンネルの組合
せ、２ 光景全体の輝度修正のための光景値調
整、３ 物体と物体の境界および物体と背景の境
界を補償するための平滑化。 ＜特殊効果＞ 光景の発生後に半透明の特殊効果が加えられ
る。特殊効果モジユール１２は距離を基にして特
殊効果を付加するものである。煙またはほこりの
ような特殊効果は光景中の画像の前または後に発
生させることができる。ライブラリイに格納さ
れ、特殊効果処理チヤンネルで処理される輝度マ
スクが特殊効果の透過率を制御する。輝度値入力
が黒煙や白い雲のような特殊効果の輝度や色を制
御する。 Ｂ：第１図のブロツク図の諸項目の詳細な説明 ＜データベース＞ データベースのハードウエアは、データベース
自体に似て、ライブラリイのハードウエアとゲー
ミング領域データのハードウエアとの２つのサブ
システムに分離できる。ライブラリイのハードウ
エアは形象を高忠実度で発生し、それを光デイス
クに格納する。ゲーミング領域データのハードウ
エアは、物体、地表面、特殊効果などについての
場所をロードするために用いられる。かくして、
データベースのハードウエアが非実時間で動作し
て、制御されている背景上に高品質の映像を生ず
る。それらの映像は光デイスクへ送られてそこに
格納される。 ライブラリイのハードウエアはデイスク制御器
と、デイスク駆動機構と、信号調整モジユール
と、光デイスクとより成る。映像の格納のために
ビデオ（アナログ）デイスクまたはデジタル・デ
イスクのいずれも使用できる。ビデオデイスクは
約６〜８ビツト、または64〜256の階調を生ずる。
デジタル・デイスクは12ビツトまでのデータを与
えることができる。あらゆる場合において（ただ
し、解像力が非常に高いセンサの映像を除く）、
工業用の525ラインの非接触ビデオデイスクは適
切な忠実度の映像を生ずる。 ビデオデイスクの使用はよく知られている。画
像は引き続く行として走査される。それは実際に
は、後で説明するように、フレームの列走査を構
成する。後で説明するビデオデイスクの出力の第
１パスでの列の処理により、ここで説明している
ねじ曲げ処理をスタートさせるのが通常は一層効
率的だからである。この点から、第１パスでの列
の処理を容易にするためにデイスクの出力が実際
に列の形であるように、映像を90度ずらせた向き
で、ビデオデイスクに格納することがしたがつて
望ましい。 もちろん、何らかの理由で、正常の向きすなわ
ちたて向きでフレームをビデオデイスクに格納す
ることが望ましければ、容易にそうすることがで
きる。すなわち用いるねじ曲げシーケンスの処理
特性に適合させるためにバツフア内のデータを処
理チヤンネルに適切に向けさせる前処理装置を設
けることができる。 光デイスクに組合せる他の装置も当業者なら思
いつくであろうが、CGSIの概念は非常に良好に
機能することが認められており、それの実現は特
に困難でもなければ、とくに費用がかかるわけで
もない。ビデオデイスクには次のような利点があ
る。 ａ） 高密度記録：12インチデイスクの片面当り
約54000フレーム。 ｂ） データ記録費用が比較的低い。 ｃ） 優れたランダムアクセス性能：ある改良に
より工業用デイスクは60サイクル・フイールド
時間すなわち16２／３ミリ秒ごとにプラスマイナ ス50〜100フレームを容易にジヤンプできるよ
うである。実際のジヤンプは帰線消去期間中に
行われるから画像データが失われることはな
い。 ｄ） 高いデータ速度：ビデオ速度でデータを生
ずる。 ｅ） 長寿命およびデータの安全性：デイスクは
非接触であり、読出し専用であつて、ヘツドの
衝突や、オペレータの誤操作によりデータが損
われることはあり得ない。 ｆ） 複製が容易。 非実時間のデータベースのハードウエアの装置
ブロツク図を第２図に示す。この装置において
は、縁部が復原され、背景が物体から分離され、
輝度と色が修正され、現実的な色が発生され、シ
ステムの基準点に対して物体が位置させられ、非
実時間の高忠実度CGI物体が発生され、グラフイ
ツクデータ（光源）が発生される。 ＜データベース―ゲーミング領域データ＞ ゲーミング領域には、地表面、物体および特殊
効果の場所を定めるための基準点が含まれる。ゲ
ーミング領域は手動モードと自動モードの２つの
やり方のうちのいずれかで設定できる。 手動モードにおいては、オペレータは物体のラ
イブラリイをサーチし、どの物体をゲーミング領
域内に置くかを選択する。物体フアイルとしては
やぶ、木立、地面、山、道路、湖、または１つの
フアイル上の小さな物体群のような個々の物体が
ある。ゲーミング領域内に２次元（2D）物体を
置くために、オペレータはゲーミング領域の空間
内にＸ，Ｙ，Ｚの地表面基準点を選択する。ちな
みに、Ｘ，Ｙ，Ｚはそれぞれ水平軸、鉛直軸、距
離軸を表す。第２のＸ，Ｙ，Ｚ基準点が高さと位
置を決定する。したがつて、物体が真の鉛直位置
に直立しているものとすると、ＸとＺの基準は一
定に保たれ、Ｙ基準は物体の高さだけ変化する。
それらの軸の一方に物体が傾くとＸとＺの軸基準
点の少くとも一方が変化する。地表面はその四隅
にそれぞれ対応する４つのＸ，Ｙ，Ｚ基準点によ
り定めることができる。これには、たとえば家屋
の側面、湖、道路、川などが含まれる。細部を非
常に正確に表すために、方位と仰角のそれぞれで
１度の増分ごとの映像を表す一連の映像でもつて
三次元のマルチビユー物体を格納できる。それら
は、３つの基準点（すなわち、中心の着地点と、
中心の高さと、方向ペクトルすなわちボインチン
グ・ペクトル）により定めることができる。 自動モードは手動モードとほとんど同様にして
行われる。コンピユータが物体を処理し、制御し
つつ置く。これについては後で説明する。物体は
種類と密度に応じて置かれる。 ＜データベース…ライブラリイ＞ ライブラリイには映像が含まれる。それらの映
像は物体、地表面、特殊効果の基本的な３つの種
類に分類できる。 物体と地表面の場合には、固体表面の物体は二
次元、三次元で一軸、三次元で二軸および光源に
更に分類できる。物体と地表面をほぼ完全な高忠
実度で光デイスクに記録する方法を第４図および
第５図に示す。 それらの図について次に詳しく説明する。 ＜物体…二次元＞ 前記したように、岩、木、やぶ、低い木などの
ような自然界に見られるほとんどの物体は、十分
な現実感をもつて二次元で表すことができる。希
望のシミユレーシヨンで用いられる平均アスペク
ト角で物体の写真が撮影される。高度が変ると物
体は基準点間で変換され、見込み角に応じて高く
なつたり、低くなつたりする。木立およびやぶの
場合には、物体の表面は、飛行経路中ずつと観察
者に垂直なままであるが、経験上これは目立たな
いことが判明している。他の物体に対する物体の
関係と、寸法および寸法の変化に加えて、その関
係が変化する速さは奥行きを示す。二次元物体に
対しては、１つの写真を光デイスクのトラツクに
格納でき、適切な回転、寸法および位置を得るた
めにねじ曲げ操作により処理できる。 ＜物体…三次元で一軸＞ ある物体がフライオーバーされるものとする
と、その物体に対する視角は90度変化する。この
場合には、シミユレーシヨンには鉛直軸のまわり
の一連の写真を更に要することがある。 ＜物体…三次元で二軸＞ 三次元で二軸の物体すなわち表面は３種類の手
法で扱うことができる。第１に、方位と仰角の双
方で１度という小さい増分ごとの一連の写真を格
納することである。これは強力な表現技術であつ
て、物体が高い表面忠実度を要する細部を有する
時に極めてうまくゆく。ヘリコプタ、タンク、家
屋のような大きな物体のモデルを２つの非常に精
密な回転台上で回転させ、各設定ごとに物体を撮
影することにより精密な増分の写真を得ることが
できる。三次元物体を発生する第２の方法は、第
３図に示されている家のように、物体を小さな表
面に分けることにより行われる。この図に示され
ているような家はビデオ表示器では一連の光景内
で種々の斜視像で見ることができるが、コンピユ
ータを用いなければ、物体全体の映像に組合わせ
ることはできない。側面は分離され、ねじ曲げ技
術により組立てられる。このやり方により、いく
つかの写真と近似寸法から多くの物体を構成でき
る。第３の方法は丘のような大きい物体に適用で
きるもので、一連の一定の高さの所で、物体を30
度間隔のような比較的大きい間隔で全方位から写
真撮影することである。たとえば、ほとんどのシ
ミユレーシヨンに対しては１つの高度、典型的に
は15度を使用でき、物体の周囲を30度おきに撮影
した一連の写真が適切であることが見出されてい
る。 ＜物体…光源＞ 光源はメモリに格納されている一連の点から並
べられ、ねじ曲げアルゴリズムが正常な画面を乗
物から見たものへねじ曲げる。このやり方は非常
に良く機能し、実演用の着陸テープを作るために
用いられている。 ＜特殊効果＞ 特殊効果に関しては、半透明の物体または画像
に煙、霧、陰、ほこり、もやを生じさせることに
より光景に現実感が更に与えられる。それらの物
体は輪郭、形および透過率を決定するマスクとし
て格納できる。マスクは物体と特殊効果の組合せ
のバランスを決定する。他の変量が特殊効果の輝
度または色を制御する。マスクは、特殊効果と、
変量制御が固定されている間における背景との組
合せ比を決定する。この技術は、たとえば、動い
ているタンクの後に舞い上るほこりを発生させる
ために使用できる。ねじ曲げ操作は、動きを生じ
させるために用いられる一連の逐次フレームと、
特殊効果とをひずませるために加えることもでき
る。 したがつて、半透明の物体は静止させることも
できれば、動かすこともできる。特殊効果の物体
は、物体のライブラリイにおける透過マスクに関
して定められている。このことは、物体のライブ
ラリイ内のデータが、背景物体の表示のパーセン
トと、特殊効果の表示のパーセントを次式により
決定する。 ピクセル値（灰色レベル）＝（１―マスク）×｛背景
（灰色レベル）＋（マスク） ×（特殊効果値）―（灰色値）｝ 特殊効果値は特殊効果の灰色の陰を決定する。
これを第６図に示す。静止特殊効果のためのマス
クは白紙の上に灰色調のマーカーを用いて容易に
描くことができる。このようにして、多くの一般
的なまたは特殊な雲、煙、もやおよび霧を慣れな
い人でも容易に描くことができる。特殊効果の物
体は典型的には二次元2Dの物体として処理され
る。マスクの組合せをライブラリイに格納でき
る。４種類の特別の特殊効果が次のようにして実
現される。 …１ 動く煙 煙のマスクは輪郭と透過率を定めるものであつ
て、写真と、その煙の数学的な諸特性を基にして
技術者により発生される。１番上と１番下は同じ
場所になければならず、第４８図のＡに示すよう
に同じ幅でなければならない。次に一連のフレー
ム（おそらく480のフレーム）が発生される。各
ピクセルは、連続する循環ループを生ずるように
フレームが再生される時に、各ピクセルをＹ軸で
１つまたはそれ以上のピクセルずつ増すことがで
きる。これを第４８図のＢに示す。次に、各フレ
ームの煙の１番上をそぎ落して（第４８図のＣ）、
煙が大気中に拡散する様子に似せる。第４８図の
Ｃに示すようにフレームをビデオデイスクに順次
記録し、拡散に似せるために１番上を膨張させ、
風速に合わせて画像を切り、距離を基にして雲の
寸法を定め、雲を光景内に位置させるために、特
殊効果の処理チヤンネル内のねじ曲げ機能を用い
る。 最初の条件パラメータが雲の色または輝度をセ
ツトする。煙の再生速度は流れる速さを決定す
る。 …２ 動くほこり たとえば、５〜10個のほこり透過マスクを作る
ことができる。種々のマスク（１―２、１―３、
……１―10、……９―10）の間の一連の直線補間
により一連のフレームが発生される。それらのフ
レームはビデオデイスクに記録される。特殊効果
の処理チヤンネル内のねじ曲げ機能が正しい遠近
位置にマスクを置き、光景内の寸法と位置を定
め、最初の設定条件により色と輝度を決定する。
これが第４９図に示されている。 …３ 陰 陰はほこりと煙に似た半透明の物体として処理
される。陰のための透過マスクがライブラリイ内
の画面から発生される。陰の透過を決定する１つ
の灰色レベルに、物体中の全てのピクセルをセツ
トすることにより、透過マスク、陰を作ることが
できる。ゲーミング領域においては、物体の４つ
の基準点が地面に投写される。地面上の新しい点
は陰の基準点である。陰、透過マスクは、陰の基
準点を基にして光景に適合するように、ねじ曲げ
られる。この手順が第７図に示されている。 …４ 輝きときらめき 通常は、輝きときらめきは表面の正常なデータ
である。しかし、CGSI装置においては、物体が
CGI装置の節点データ（nodal data）から発生さ
れるのでない限り、表面の正常なデータは利用で
きない。輝きときらめきを生じさせるために、第
８図に関連して次の表１に示されるように、

【表】

Claims (1)

1. 【特許請求の範囲】 １ 三次元の座標系において可動のデジタルの入
   力映像にしてピクセルの輝度のマトリツクスを表
   すピクセルの列および行からなる入力映像をスク
   リーンへマツプする方法であつて、前記座標系に
   はその主軸上に観察点と、この観察点から離れて
   いて、前記主軸に直交した列および行のフオーマ
   ツトの前記スクリーンとがあり、前記座標系によ
   り前記主軸に平行で前記スクリーンに直交して延
   在する垂直基準面が定まるようになつており、 前記垂直基準面へ前記入力映像の前記列を順次
   に垂直に投影し、前記垂直基準面に第１パスのオ
   ブジエクトラインそれぞれを定めるステツプと、 前記第１パスのオブジエクトラインそれぞれへ
   前記観察点から発散する複数の発散線を投影する
   ことをもつて、少なくとも１ピクセル長の長さを
   持つ等しい線部分から成つていて中間映像の垂直
   方向に延びる列の線が前記スクリーンにおいて定
   められ、前記第１パスのオブジエクトラインそれ
   ぞれが、前記発散線との交差により、隣接の前記
   発散線で区分される前記ピクセルの数にそれぞれ
   対応した長さの第１パス線分に分割されるよう
   に、前記第１パスのオブジエクトラインそれぞれ
   に処理を加えるステツプと、 前記第１パス線分についての、前記中間映像の
   列の線を構成する前記線部分のうちの対応した線
   部分に対するピクセル比を計算するステツプと、 前記第１パス線分それぞれからピクセルを、前
   記中間映像の列の線を構成する前記線部分のうち
   の対応した線部分にマツピングするステツプと、 前記観察点から発散して、前記スクリーン上の
   少くとも１ピクセル長の相互間隔の行をそれぞれ
   通る複数の発散平面を投影することにより、この
   発散平面と前記スクリーンとの交差により出力映
   像の行の線を定め、かつ、前記発散平面と前記入
   力映像との交差で第２パスのオブジエクトライン
   が定められるように、複数の発散平面を投影する
   ステツプと、 前記発散平面ごとに、前記観察点から発散し、
   前記スクリーン上の少なくとも１ピクセル長の相
   互間隔の列をそれぞれ通る複数の第２パス発散線
   を投影することをもつて、前記第２パスのオブジ
   エクトラインそれぞれが、前記第２パス発散線と
   の交差により、隣接の前記第２パス発散線で区分
   された前記ピクセルの数にそれぞれ対応した長さ
   の第２パス線分に分割され、かつ、前記スクリー
   ンと前記第２パス発散線との交差により前記出力
   映像の水平で正しく位置された行の線が形成され
   るように、前記第２パスのオブジエクトラインそ
   れぞれに処理を加えるステツプと、 前記第２パス線分についての、前記出力映像の
   行の線を構成する対応した線部分に対するピクセ
   ル比を計算するステツプと、 前記第２パス線分それぞれからピクセルを、前
   記出力映像の行の線を構成する対応した線部分
   に、マツピングするステツプと を備えたデジタルの入力映像をスクリーンへマツ
   プする方法。 ２ 三次元の座標系において可動のデジタルの入
   力映像にしてピクセルの輝度のマトリツクスを表
   すピクセルの列および行からなる入力映像をスク
   リーンへマツプする方法であつて、前記座標系に
   はその主軸上に観察点と、この観察点から離れて
   いて、前記主軸に直交した列および行のフオーマ
   ツトのスクリーンとがあり、前記座標系により前
   記主軸に平行で前記スクリーンに直交して延在す
   る垂直基準面および水平基準面が定まるようにな
   つており、 前記垂直基準面へ前記入力映像の前記列を順次
   に垂直に投影し、前記垂直基準面に第１パスのオ
   ブジエクトラインをそれぞれ定めるステツプと、 前記第１パスのオブジエクトラインそれぞれへ
   前記観察点から発散する複数の発散線を投影する
   ことをもつて、少なくとも１ピクセル長の長さを
   持つ等しい線部分から成つていて中間映像の垂直
   方向に延びる列の線が前記スクリーンにおいて定
   められ、前記第１パスのオブジエクトラインそれ
   ぞれが、前記発散線との交差により、隣接の前記
   発散線で区分される前記ピクセルの数にそれぞれ
   対応した長さの第１パス線分に分割されるよう
   に、前記第１パスのオブジエクトラインそれぞれ
   に処理を加えるステツプと、 前記第１パス線分についての、前記中間映像の
   列の線を構成する前記線部分のうちの対応した線
   部分に対するピクセル比を計算するステツプと、 前記第１パス線分それぞれからピクセルを、前
   記中間映像の列の線を構成する前記線部分のうち
   の対応した線部分にマツピングするステツプと、 前記観察点から発散して、前記スクリーン上の
   少くとも１ピクセル長の相互間隔の行をそれぞれ
   通る複数の発散平面を投影することにより、この
   発散平面と前記スクリーンとの交差で出力映像の
   行の線を定め、かつ、前記発散平面と前記入力映
   像との交差で第２パスのオブジエクトライン形成
   用線を定めるように、複数の発散平面を投影する
   ステツプと、 前記水平基準面へ前記第２パスのオブジエクト
   ライン形成用線を順次垂直に投影して、前記水平
   基準面に第２パスのオブジエクトラインを形成す
   るステツプと、 前記観察点から発散し、前記スクリーン上の少
   なくとも１ピクセル長の相互間隔の列をそれぞれ
   通る複数の第２パス発散線を投影することをもつ
   て、前記第２パスのオブジエクトラインそれぞれ
   が、前記第２パス発散線との交差により、隣接の
   前記第２パス発散線で区分される前記ピクセルの
   数にそれぞれ対応した長さの第２パス線分に分割
   され、かつ、前記スクリーンと前記第２パス発散
   線との交差により前記出力映像の水平で正しく位
   置された行の線が形成されるように、前記第２パ
   スのオブジエクトラインそれぞれに処理を加える
   ステツプと、 前記第２パス線分についての、前記出力映像の
   行の線を構成する対応した線部分に対するピクセ
   ル比を計算するステツプと、 前記第２パス線分それぞれからピクセルを、前
   記出力映像の行の線を構成する対応した線部分
   に、マツピングするステツプと を備えたデジタルの入力映像をスクリーンへマツ
   プする方法。