JPH09506190A

JPH09506190A - 合成およびアブソリュートリアルタイム環境の生成および処理のための方法および装置

Info

Publication number: JPH09506190A
Application number: JP7511711A
Authority: JP
Inventors: ディー．レッドモンド，スコット
Original assignee: レッドモンドプロダクションズ，インコーポレイテッド
Priority date: 1990-02-22
Filing date: 1993-10-18
Publication date: 1997-06-17
Also published as: EP0724749A1; US5255211A; AU5725594A; WO1995011479A1; US5513130A

Abstract

(57)【要約】ユーザおよびそれらの生物学的な感覚とのインタラクション用の合成およびアブソリュートリアルタイムリモート環境を生成および処理するシステムは、７つのモジュールで構成されている。これらのモジュールは、データを保存、取り出し、および処理し、システムユーザの生物学的感覚とインターフェースする出力を生成する。これらのモジュールはまた、ユーザデータを追跡し、生成および処理されたモデル内にユーザを正確に配置する。視覚および音声入力装置、ならびに柔軟スキンを駆動するマトリクスアドレス指定され、電気機械的に動作されるロッドを介するインタラクティブ触覚出力を有する３次元チャンバを含むシステムユーザ感覚インターフェースの種々の実施態様が提供される。

Description

【発明の詳細な説明】合成およびアブソリュートリアルタイム環境の生成および処理のための方法および装置技術分野本発明は、一般にコンピュータで生成および処理された環境を扱い、さらに詳細には、システムユーザの生物学的感覚への３次元視覚イメージ、多次元聴覚イメージおよび触覚インプットのための合成アブソリュート環境を生成および処理をするシステムを扱う。発明の背景ハードウェアおよびソフトウェアの近年の進歩により、インタラクティブな「合成」環境分野における意識が高揚し、多くの開発の取り組みが行われている。これらの開発の取り組みのゴールは、「アブソリュートの」または実際の現実から実質上区別の付かないほど現実的な合成環境を提供することである。これらの相互に作用する合成現実のアプリケーションは多岐にわたる：フライトシミュレーション、構築前の建築レビューおよびウォークスルー、ビデオゲーム等の娯楽、分子モデリングおよびエンジニアリング、微細手術、通信、および教育上のアプリケーション。 NASAのエイムズ（Ames）研究所で、合成環境の開発が長年にわたり続けられている。NASAのVirtual Interface Environment Workstation(VIEW)では、生成された３次元イメージをシステムユーザに伝えるための頭部装着白黒液晶表示装置を使用する。他のシステム開発者は、VPL Researchである。VPL Researchでは、ユーザの指の屈曲と伸長をモニターするファイバーオプティクスと、ユーザの手の位置を３次元マトリクス内で決定するPolhemus磁気追跡装置とを使用する、DataGloveが設計された。VPL Researchは、DataGloveの技術を発展させた、人体の全体的な動きをモニターするDataSuitを提供する。VPL ResearchのEyePhone、または視覚インプット装置は、光学システムを通して見られる２つのカラー液晶モニターからなる。VPL Researchのシステムでは、各モニターは個別の計算経路によって駆動される。そして、高解像度ドットパターンが知覚される解像度を向上するために送信イメージ上に重ねられる。VPL Researchは、DataGloveの技術を発展させた、人体の全体的な動きをモニターするDataSuitを提供する。VPL Researchは、 DataGloveの技術を発展させた、人体の全体的な動きをモニターするDataSuitを提供する。 AutoDeckは、コンピュータ生成された合成現実のシステムにおける開発取り組みをこのほど発表した。AutoDeckは、AutoDeckのCAD産業における確立された地位とあいまって、主としてコンピュータ生成された合成環境の建築ウォークスルーとしてのアプリケーションに着目している。 TiNi Aloy Co.は、形状形態を有するものを触った際の感覚をシミュレートする、微小な電気的に動作するピンの触覚アレイを発表した。これらの既存のシステムは、写真のように現実的なイメージ、サウンドおよび触感覚の刺激を一つの相互作用時空間内でとらえるため、完全に集約された感覚アウトプットを提供することができない。これらの以前のシステムでの処理技術では大まかな「計算」イメージ表現のみが可能であり、計算制限のある低ポリゴン密度のために現実的でないイメージとなる。システムアーキテクチャは本来的に非効率的であり、提供されるシステム保存および処理容量が、視覚、聴覚および触覚の超現実的イメージを相互作用モードで提供するのに必要とされる計算スピードで動作するのを妨げている。本発明は、超現実的視覚イメージ、多次元的サウンドイメージおよび触覚アウトプットを生成処理するための大規模な並列処理能力を有する、完全に集約されたシステムを提供する。本システムは、コンピュータ生成された「合成」環境との組み合わせで、以下「アブソリュート」現実と定義される既存の（実際の）現実の組み込みを可能とする。本発明は、コンピュータメモリの保存および取り出しを最適化し、必要な計算を最小のコンピュートサーバ容量で実行可能とするシステムアーキテクチャを提供することで、これらの特徴を達成することができる。本発明の目的は、システムと相互作用する際にシステムユーザに超現実的な経験を提供する、システムアーキテクチャ、コンピュータによって生成された環境アウトプット信号およびコンピュータアウトプット−ヒューマンセンサインプットインターフェースの独特な組み合わせを提供することである。本発明の目的は、超現実的視覚イメージ、多次元的サウンドイメージおよびインタラクティブな触覚アウトプットの合成アブソリュート環境モデルアウトプットを生成することである。本発明の他の目的は、データ取り出しのスピードおよびデータベース量を増大させるための、保存データへの迅速なアクセスおよび制限の無い容量を可能とするイメージおよびデータバッファを使用した、データ保存および取り出しアーキテクチャを提供することである。本発明の目的は、保存されたイメージおよび現在見られているイメージを迅速に再構成することによって、データ保存および取り出し手段の効率的な使用を可能とするシステムアーキテクチャを提供することである。本発明の目的は、「アブソリュート」現実を「合成」現実と有効に組み合わせ、遠隔ロボットを含む遠隔システム操作能力を提供できるシステムを提供することである。本発明の目的は、侵入的なセンサーおよびかさばるアンビリカル無しで、ユーザの位置、動きおよび健康の送信データを提供することである。本発明の目的は、大規模コンピュートサーバ並列データ処理技術によって、ユーザの生物学的感覚インターフェースに生成処理された環境モデリングモジュールアウトプットを提供することである。本発明の目的は、単一アウトプットモードを使用して３次元視覚アウトプットを光学的に識別し、立体的イメージを得る環境モデリングモジュールを採用することである。本発明の目的は、合成およびアブソリュート環境の生成の際に、自然および公知の物理法則を事前に選択されるパラメータとして組み入れる環境モデリングモジュールを提供することである。本発明のこれらの目的および更なる目的は、以下の説明および図面を参照することで、当分野の通常の技術を有する者にとって明確となる。発明の要旨合成およびアブソリュートリアルタイム環境の生成および処理のためのシステムは、お互いに接続される６つの個別のモジュールよりなる。データ保存および取り出しモジュールは、高解像度のイメージ、サウンドおよびユーザの位置座標のデジタルデータを保存するように設計される。このモジュールの取り出し側は、保存データを瞬時に取り出すように設計される。データ保存および取り出しモジュールは以下を含む。自然対象物のイメージファイル；自然音のデジタルサウンドファイル；効率的なデータ保存および取り出しを可能とするイメージ圧縮ソフトウェア；ポリゴン、フラクタル、レイトレーシングおよび半プリミティブ存在要素等のプリミティブイメージ基本モデルファイル；生成済み合成イメージデータの保存および取り出しのためのイメージ設計前データ処理アレイ；そして、生成される合成またはアブソリュート環境におけるユーザの視野内でのユーザの身体部分に対応するイメージを生成処理する、相互に作用するスループットイメージおよびサウンド処理。第２のシステムモジュールは、少なくとも２つの個別のセンサーモードでの補助マトリクス平均によって得られるユーザの位置および動きのデータを、感知し送信するアンビリカルを持たないセンサーである。このセンサーモジュールは、ユーザの健康に関するテレメトリ（telemetry）データを検知し、環境モデリングモジュール、データ保存および取り出しモジュール、および主制御モジュールへ送信する。第３のモジュールは、事前に選択されるコマンドとパラメータとを使用する、合成およびアブソリュート環境アウトプットのリアルタイム生成および処理のための環境モデリングモジュールで、大規模マイクロコンピュートサーバ並列データ処理技術によって、ユーザが見た相互に作用するユーザの身体部分を含む、合成のイメージ、サウンド、力および動きを現実の正確さでもって描写する。第４のシステムモジュールは、ユーザ刺激モジュールであり、環境モデリング手段のアウトプットとユーザの生物学的感覚へのインプットとの間の出力／入力インターフェースに関する。このモジュールは、ユーザの目への３次元視覚インプットのための装置、ユーザの耳への多次元聴覚インプットのための装置およびユーザの手、足およびその他の身体部分への触覚インプットのための装置を含む。第５のシステムモジュールは、主制御モジュールであり、データ保存および取り出しモジュール、センサーモジュール、環境モデリングモジュールおよびユーザ刺激モジュール間のインターフェースを含む。主制御手段は、遠隔ロボットを制御するように構成される。最後のシステムモジュールはシステム内通信手段であり、ユーザに主制御モジュールへの音声通信および主制御モジュールからの音声通信を可能とする。ユーザのインタラクティブセッションに先立ち、システムユーザは合成またはアブソリュート現実環境を選択し、そのことは主制御モジュールへ伝達される。このユーザによる選択は、合成およびアブソリュート現実の生成に必要とされる計算上のパラメータの一部をプリセットし、より簡単にアクセスおよび処理できるデータライブラリーサブセットを構築する。その後、合成およびアブソリュート環境が計算され生成され、システムユーザは、システム内通信手段、センサーモジュールおよびユーザ刺激モジュールを通じて、生成された環境と相互に作用できる。ユーザ刺激モジュールの一部である３次元視覚インプットデバイスには、いくつかの実施態様がある。第１の実施態様では、視覚イメージは、ヘッドセット上に配置される二重ビジョン液晶カラーアイモニターと組み合わされ、生物学的に同期した辺縁のマイクロストロボを通じて、ユーザの目にインプットされる。視覚インプットデバイスの第２の実施態様では、２つの高品位カラーモニターからの、ファイバーオプティクス（fiber optic）が積み重ねられたアレイの二重カラーイメージが採用される。第３の実施態様では、低出力レーザーダイオードイメージングパックおよび磁気光照準フィールドによって、網膜の直接スキャンおよび他の眼内イメージ配置が達成される。視覚インプットデバイスの第４の実施態様は、ファイバーオプティクスによって導かれる高品位カラーモニターからユーザの目の表面の４分の１インチ前方に据えられる後方マイクロスクリーン上へのイメージの投影を利用する。第５の実施態様では、眼の表面の４分の１インチ前方に据えられる後方マイクロスクリーン上への一連のフレームされた高密度パックのファイバーオプティクスイメージの伸張は、ベルトに据え置かれるHDTVによって得られる。ユーザ刺激モジュールは、好ましい実施態様では、高い触覚インプットのための構成品を含む。におい、音波振動、様々な温度および様々な風速等のグロス環境条件をシミュレートするように、３次元チェンバーを改造する。このチェンバーは、長手方向軸がチェンバー壁と垂直となるように、またはチェンバー内のスタンドアローン型ユニットに配置でき得るロッドの長方形マトリックスを備える。ロッドは、システムユーザと相互作用するための形状および手触りを生成するように、電気機械的に操作される。他の実施態様では、ユーザの、チェンバー壁の知覚を変化させるために膨らましたり萎めたりでき得るブートシェービング袋がユーザに与えられる。好ましい実施態様では、チェンバーは可変抵抗トレッドミルを備える。簡単な図面の説明図１は、本発明のユーザ刺激モジュールの一実施態様の正面図である。図２は、追加の刺激装置を含む、本発明のユーザ刺激モジュールの実施態様の平面図である。図３は、従来技術と表示される、本発明に使用される高性能ワークステーションの主要構成機器のブロック図である。図４は、従来技術と表示される、高性能ワークステーションのカーネルの入出力サブシステムのブロック図である。図５は、従来技術と表示される、高性能ワークステーションのグラフィックスサブシステムのアーキテクチャのブロック図である。図６は、本発明によるインタラクティブスループットイメージおよびサウンドプロセッサのブロック図である。図７は、ビデオカメラデータ収集技術を利用したインタラクティブスループットイメージおよびサウンドプロセッサのブロック図である。図８は、本発明の環境モデリングモジュールと共に組み込むことができるユーザの位置および動きのデータを決定するのに使用できるラスターベースのセンサ方法のブロック図である。図９は、視覚インプットデバイスの第１の実施態様の側面図である。図10は、視覚インプットデバイスの第１の実施態様の模式図である。図11は、視覚インプットデバイスの第２の実施態様の模式図である。図12Ａは視覚インプットデバイスの第３の実施態様の平面図、図12Ｂは視覚インプットデバイスの第３の実施態様の側面図、そして図12Ｃは視覚インプットデバイスの第３の実施態様の模式図である。図13は、視覚インプットデバイスの第４の実施態様の模式図である。図14は、視覚インプットデバイスの第４の実施態様のオプションによる追加の詳細な側面図である。図15Ａは視覚インプットデバイスの第５の実施態様の模式図であり、図15Ｂはリボンケーブルのユーザ端の詳細図である。図16は、画素アドレッシングスキームのブロック図である。図17は、２ポート画素アドレッシングスキームのブロック図である。発明の詳細な説明本発明は、資源保護に応用でき、例えば非営利的組織および財団、研究グループ、科学界または大学関連の協会等による、可能性のある寄付者からの資金調達および更なる支援の請願に応用できる。例えば、オゾン層破壊、森林破壊の水質および空気の質のコントロールへの影響、再森林化への関心等を含むデモンストレーションを、資金提供の目的のために実施でき得る。さらには、絶滅の危機にある動植物および野生生物プログラムを開発でき得る。この技術は、実際のフィールドスタディに関わる危険無しに、動物の群の移動および習性の評価研究するのに応用でき得る。このシステムを、リサイクル、廃棄物処理管理および有害廃棄物取り扱い装置の設計のための産業システムの研究に応用しても良い。合成される環境を養子縁組の手続きに応用しても良く、可能性のある両親と子供達とが状況を下見するのを可能とする。このシステムは、例えば、外科医、看護婦およびその他のスタッフのトレーニング、および障害者および物質依存の患者のリハビリプログラム等、医学アプリケーションへの無限かつ直接の可能性を有する。地理、数学、物理、健康教育および他の多くの科目分野への、無限の教育上の応用が可能である。目撃者を保護し彼等の身元守りながらの現場の再現による犯罪捜査で、このシステムの法律の執行面で応用が可能である。システムのトレーニングモードでの使用もまた可能である。３次元合成モデルから２次元面での芸術面での応用が熟考されている。システムのこれらの多岐にわたるアプリケーションの各々は、ユーザの実際のインタラクティブセッションに先立って、所望のアプリケーションに特定のデータセットを作ることによって促進される。言い換えれば、ユーザが合成および処理された環境と実際に相互作用する前に、ユーザが、相互作用が行われる環境を選択する。そう言うわけで、例えば、ユーザが浜辺のような「自然」環境を作って相互作用したい場合、ユーザはその環境を選択し、システム技術者は、選択された浜辺環境に対応するイメージ、サウンド、臭いおよび触覚のシミュレーションを生成処理するのに必要な情報を含む一連のデータファイルを作り出す。この相互作用前の初期データ開発セッションは、より大きいシステムデータベースから特定のアプリケーションに必要とされるデータを事前分離することによって、実際のユーザインタラクティブセッション時に行わねばならない計算数を低減する。本発明は、カスケードプログラミングとして知られるプログラミング技術によって、完全に集約された合成アウトプットを提供することができる。この技術によると、感覚アウトプット（サウンド、におい、タッチ）の各々はそれらのサウンド、においおよびタッチに関連する視覚イメージデータと結び付けられ、多数の視覚イメージが一つのシーンを作り出すように共に結び付けられると同時に、これらの視覚イメージに関連する知覚の全ては、全体のシーンに容易に集約される。本発明は、６つの基本モジュールを備える：データ保存および取り出しモジュール、ユーザセンサーモジュール、環境モデリングモジュール、ユーザ刺激モジュール、主制御モジュールおよびシステム内通信モジュール。これら６つのモジュールを通じて本発明を実践する多数の異なるモデルがあり、それらは実質的にパーソナルコンピュータワークステーションのように構成されるローエンドなモデルから、ハイエンドな劇場サイズの合成環境アウトプットまである。これらのモデルの全ては６つのモジュールを含むが、各モデルはアプリケーションのアウトプット要求に応じて異なる能力を有する。以下に添えられるクレームは、これら６つののモジュールが組み込まれる特定のモデルとは無関係に、これらのモジュールを有するシステムを一般的に包含するように意図されている。これら６つの機能的に定義されるモジュールの説明においては、時としてこれらの機能的モジュールが、実際には個別のハードウェアユニットでない場合がある。例えば、データ保存および取り出しモジュール、環境モデリングモジュールおよび主制御モジュールは共通のハードウェアを共有する。図１はユーザ刺激モジュールの一つの実施態様の正面図であり、図２はユーザ刺激構成品が配置された３次元チェンバーの平面図である。これらの図面の目的は、本発明によって生成される予期されるユーザ刺激モードの広がりを示すことである。図１によると、ユーザ10は、準備室12内でシステムとのインタラクティブセッションの準備をする。モデルまたは実施態様によっては、ユーザ10は、スーツ、手袋およびブーツを含む、アプリケーション毎に特定される衣服の着用を要求されえ、ユーザの位置および動きのデータがシステムに送信され、ユーザの健康のテレメトリデータがモニターされる。システムとのユーザの感覚相互作用は、実際にはチェンバー14内で行われる。このチェンバーは、鋼鉄フレームを有するモジュラーで、６フィート正方形の立方体部分からなる。チェンバー14のサイズは予期されるアプリケーションによって規定される。チェンバー14の壁、天井および床は、様々な状況に適するように容易に加工される。図２に見られるように、チェンバー14は、様々な感覚インターフェースデバイスの設置を可能とするように十分にフレキシブルである。チェンバー14は、チェンバーによって定義される３次元マトリクス内でのユーザの位置と動きを決定するための、生物学的に安全な干渉性および非干渉性電磁スペクトラム放射線デバイスを許容し操作できるように設計される。時としてイメージポンプと呼ばれる高品位カラーテレビジョンモニター16が、チェンバー14の天井から釣り下げられている。ヘッドピース18がモニター16にファイバーオプティクスによってリンクされており、ユーザはシステムから３次元視覚インプットおよび多次元聴覚インプットを受け取ることができる。視覚インプットデバイス18の特定の実施態様は、以下のユーザ刺激モジュールのタイトルのセクションでさらに詳しく説明される。追加の刺激装置を図２に示す。これらの装置はチェンバー14内に配置される。後方投影スクリーン20とそれに伴う投影機22は、図１に示される視覚インプットデバイス18の代わりかあるいはそれとの組み合わせで使用され、視覚インプットを提供する。チェンバー14は、ユーザの触覚へのシステムアウトプットのためのデバイス24を備える。触覚インプットデバイスのこの実施態様では、壁はシステム環境モデリングモジュールによって電気機械的に駆動されるロッドのマトリクスからなる。ロッドは柔軟性のある表皮材で覆われ、連続的な表面形状と手触りインプットとをユーザの生物学的感覚に提供する。この触覚モードはシステムによって慎重に制御され、ユーザが同時に経験する視覚および聴覚イメージと対応するように設定される。プログラマ接続ブロック26は、主制御モジュールおよびその他のシステム構成機器へのオプションとしての光アンビリカルによる接続を備える。可変抵抗トレッドミル28は、チェンバー14の床に配置され、システムアウトプットとリンクされる。したがって、トレッドミル28は、ユーザ10に合成および処理された環境を実際に歩いている感覚を提供するために使用できる。チェンバー14のコーナーには、ユーザ10を受け入れるように適応した椅子30がある。ユーザは、この椅子をスタンドアローンのデモンストレーションユニットとして、あるいは肉体的疲労として、あるいはファームシステムユーザとして使用する。触覚アウトプットデバイス24の反対側のチェンバー壁には、ユーザに合成環境で乗り物に乗っているまたは乗り物を運転している感覚を提供するように設計される乗り物シミュレータ32がある。乗り物シミュレータ32は、合成環境と関連するフィーリングをさらに向上するために、安全に縦揺れ横揺れするように適応されている。ジェット空気流34がチェンバー壁に備えられ、合成環境内での移動感覚を向上するためにシステムによって制御される。本システムによって処理される環境モデリングの各レベルのこれらの概要をふまえ、本システムを構成する個々のモジュールを説明する。Ｉ．データ保存および取り出しモジュールデータ保存および取り出しモジュールのアーキテクチャデザインは、異なる種類の大量のデータを収容し、一方同時にこれらの保存情報への迅速なアクセスを提供する。このシステムアーキテクチャは、コンピュートサーバを追加することによって、無限の並列コンピューティングおよび迅速なセットアップ能力を有する。これらの能力無しでは、本発明で必要とされる超現実的な合成アウトプットの生成、連続処理は不可能である。このモジュールのデータ保存容量は、サーバから働くローカルマスストレージを有する現行の高性能ワークステーションを使用することによって得られる。Wr ite once readmany(WORM)光学ディスクおよび取り外し可能CD ROMは、ローカルマスストレージに加えて巨大な保存能力を提供する。本発明の好ましい実施態様によると、シリコングラフィクスのPOWERシリーズは、持続動作で160 MIPSおよび28 MFLOPSと、100万までをＺバッファにバッファされ４つのサイドを有しガランドシャード（Gourand shaded）されフォングライト（Phong lighted）されるインディペンデントポリゴン／秒／ユニットと、800 万ピクセル／秒のフレームバッファアクセスレートとを提供する。Ａ．CPUサブシステムハードウェアシリコングラフィクスのPOWERシリーズワークステーションの基本設計は、緻密に結合されたシンメトリック共有メモリマルチプロセシングアーキテクチャである。シリコングラフィクスの4D/210、4D/220、4D/240、および4D/280の各システムのCPUはMIPS設計されたRISCプロセッサであるR3000で、付属のR3010浮動小数点チップと結合されている。4D/120GTXおよび4D/120SのCPUは、R2000とそれに付属するR2010浮動小数点コプロセッサである。図３は、システムの主要構成機器のブロック図である。システムの重要バスのいくつかがこの図に示されている。同期バス（Sync Bus）36は、ファイングレイン並列処理をサポートする、システムの主要プロセッサ間の高速同期を提供する。プロセッサバス38は、メインプロセッサ40および42の個々の第１レベルのキャッシュからの命令およびデータへのフルスピードアクセス（待ち時間ゼロ）を可能とする。読み出しバッファ44と46および書き込みバッファ48と50は、システムのプロセッサとメインメモリ52との間の情報の効率的な流れを可能とする。第２のレベルのデータキャッシュ54と56とは、自動調和共有メモリ計算モデルをサポートするそのような高速プロセッサに必要とされる追加の帯域幅を用意している。MPリンク（MPlink）バス58は、プロセッサ、メインメモリ、入出力システム、およびグラフィックスサブシステム60間の調和したデータシェアリングおよび高速ブロックデータ転送のためのプロトコールをサポートする。１．プロセッサバス各プロセッサは、８バイト／クロック周期でのサステイン（sustained）データ転送をサポートでき得るアドレスとデータバス（プロセッサバスとして知られる）とを提供する。したがって、プロセッサを８個有するシステムでは、全部で1600メガバイト／秒のプロセッサ−キャッシュ帯域幅を有する。命令とデータとを分離する第１レベルのキャッシュ40と42とは、それぞれ64キロバイトである。命令キャッシュ62と64とは逐次命令への非常に速いアクセスを可能とするカスタム読み出しバッファによって与えられる。データキャッシュは、MPリンクバスからバッファされるカスタム読み出しバッファを通じて駆動する。これらのバッファは、プロセッサとMPリンクバス58との間の非同期インターフェースのための便利な点をも提供する。R3000プロセッサは、25Mhzで動作し、MP リンクバスとは非同期である。したがって、システムの中でのCPUスピードは、バスまたはメモリタイミングを変えることなしにオーバータイムを増加できる。このアーキテクチャは、システムの多くの部分を取り替えること無くグレードアップできることを保証する。各第２レベルのキャッシュは、256キロバイトの大きさで、それぞれ16バイトの16のラインとして構成される。（シリコングラフィクスの4D/120GTXと4D/120S の第２レベルキャッシュは64キロバイトである。4D/210Sおよび4D/210GTXは第２キャッシュを必要としない。）このキャッシュはMPリンクバスのためのブロック転送能力を提供し、個別のキャッシュ全てを調和のとれた状態に保つために必要な追加の帯域幅を提供する。第２レベルデータキャッシュ54と56とは、MPリンクバス上の全トランザクションを見守り、データをそのデータ保存に巻き込むトランザクションをチェックする。このチェックは、MPリンクバス58上の全てのアドレスを第２レベルデータキャッシュ54および56のタグ保存セクションのアドレスとマッチングさせることによって行われる。第１レベルデータキャッシュ40と42とは常に第２レベルデータキャッシュ54と56とのサブセットであり、データの一貫性は保証される。さらに、全てのキャッシュは仮想アドレスキャッシュよりもむしろ物理アドレスキャッシュであるために、異なる仮想アドレスを同じ物理アドレスにマッピングすることによるエイリアス問題は発生しない。多仮想アドレスキャッシュを扱う際に起こる異なるシステムレベル問題は、本システムでは存在しない。２．同期バス同期バス36は、マルチプロセッサをサポートする効率の良いファイングレイン並列処理における同期必要性のために設計される。それは、シリコングラフィクス所有のVLSI部品として提供される。その目的は、ひとつのアプリケーションが、多くのシステムシミュレーションアプリケーションに見られる種類のラージグレイン並列処理およびUNIX^TMシステムのプロセス構造に見られるさらに大きいラージグレイン並列処理に加え、個別ループレベルにおいても並列処理プロセッサを効率的に使用できることである。同期バス36は、65,000個のテストアンドセット変数を提供する。これらの変数は、物理アドレス空間の特定部分に存在する。これらは、メモリとしてアドレスされ、オペレーティングシステムによって個別のアプリケーションに割り当てることができる。これらはページ毎に64個配置され、アプリケーションの仮想アドレス空間へマッピングすることができる。オペレーティングシステム自身、オペレーティングシステムの制御変数のための非常に細かいグレインロックを提供するために、それらを使用する。したがって、オペレーティングシステムは、非常に並列かつ完全に対称なマルチプロセッシングオペレーティングシステムである。言い換えれば、シリコングラフィクスバージョンのUNIX V.3は、POWERシリーズの良く出来た並列処理アプリケーションであり、そのスピードは高速コンピューティングとしてのこのアプローチの実力を示す。同期バス36は、ひとつのプロセッサから他のプロセッサへの、あるいは入出力システムから適切なプロセッサへの割り込みの分配を提供する。割り込み分配システムの柔軟性は、オペレーティングシステムが個別のキャッシュの実力を混乱させるのではなくサポートするスケジューリングアルゴリズムを提供できることを意味する。３．MPリンクバス MPリンクバス58は、ブロック転送バスのパイプラインで、プロセッサと、メモリと、入出力システムと、グラフィックスサブシステムとの間の64メガバイトのサステイン（sustained）データ帯域幅を提供すると共に、キャッシュ一貫性プロトコールをサポートする。同期バス36がプロセッサ間の効率的な同期を提供するため、キャッシュ一貫性プロトコールはプロセッサ間の効率的なデータシエアリングをサポートするように設計される。キャッシュ一貫性プロトコールがシェアリングだけでなく同期もサポートせなばならない場合は、同期動作の効率を向上するために、データシェアリングプロトコールの効率における妥協が必要となる。これらの個別の機能のそれぞれのための個別のバスにおいて、各バスを妥協無しに最適性能を発揮するように設計することができる。使用されるキャッシュ一貫性プロトコールは時としてイリノイプロトコールと呼ばれる。各第２レベルデータキャッシュは、各キャッシュラインのための状態値を維持する。ラインは４つの状態の内のひとつを取りうる：無効、専用読み出し、共用読み出し、または専用書き込み。プロセッサが共用読み出しラインに書き込む場合、書き込みが完了する前に、プロセッサは最初にそのキャッシュラインの他のコピーを無効にしなければならない。複数のプロセッサによる共有読み出しラインへの同時書き込みは、MPリンクバスをうまく獲得しそれに無効操作を発行したプロセッサを除いて、全てのプロセッサにおける書き込みミスとなる。さらに、プロセッサにより行われる同期バス上のいかなる同期操作も、そのプロセッサによる全ての未完了書き込み動作が完了するまで、完了してはならない。同期バスおよびMPリンクバスのハードウェアプロトコールによって実施されるこれらのシンプルなルールにより、並列処理の単純共有メモリモデルによる効率的な同期およびデータシェアリングが達成される。いかなるプロセッサにも見えない唯一のデータは、その他のプロセッサのレジスタ内のデータである。この種の見えないデータは、最新の最適化コンパイラの通常のセーフガードによって取り扱われる。 MPリンクバス58の物理構造は、32本のアドレスラインと64本のデータラインである。MPリンクバスのトランザクションは６周期の長さで、最後の２つのデータ転送周期は次のトランザクションの最初の２つの周期と重なり、その結果非常に経済的な構成で64メガバイト／秒のサステイン（sustainable）データ転送レートが得られる。新しいデータは最後の２周期で到着する。交換されたキャッシュラインからの古いデータは、中間の２周期で運ばれる。アドレスは最初の２周期で転送される。バスアービットレーション（arbitration）はパイプラインされ、トランザクションの周期コストには加えられない。４．入出力バスシリコングラフィクスのPOWERpath^TMアーキテクチャは、３つの個別の入出力バスを組み入れている；VME 66、イーサネット68、およびSCSI（Small Comput er System Interface）70。これらのバスは独立に動作し、全システムの入出力スループットを最大化する。VMEバス66は、高機能かつ高性能のVMEインターフェースとしての専有のSGIチップ（DMAP）を介してサポートされる。VMEサポートは、ダブルおよびトリプル高ユーロカードフォーマットをバスマスタおよびブロックモード転送として含む。SCSIバス70は、ディスクおよびテープのための低コスト標準インターフェースを提供する。組み込みイーサネット68は、TCP/IPおよび DECnet^TMネットワークへのアクセスを提供する。シリコングラフィクスのIRIX^TMカーネルは、対称共有メモリマルチプロセッサを効率的かつ信頼性良く操作するように設計される。これは、各プロセッサが独立にカーネルコードを実行できるようにするソフトウェアアーキテクチャを通じて達成される。独立した実行によって、その上で実行されている処理による各プロセッサの完全な使用が可能となる。カーネルデータ構造はロックおよびセマフォーを介して保護され、データ構造と入出力経路とが共有され並列に使用されることが可能となる。Ｂ．低レベル同期低レベル同期は、ハードウェアサポートされるスピンロックを通じて達成される。各スピンロックは、資源の所有権を示すシングルビットフラッグへのアトミック（atomic）アクセスを提供する。ひとつのプロセッサによってロックが保たれている場合、他のプロセッサはビジーウェイトとなり、所有するプロセッサによって解放されるまでロック上をループする。この形式の同期は、待ち時間が短い場合、一般的には内容を入れ替えるのに要する時間より短い場合に非常に有効である。資源がさらに長い時間ロックされる場合は、セマフォーが代わりに使用される。セマフォーは資源にアクセスするためのプロセスを順番に並べ、所有するプロセスが資源を解放する時にブロック除去されるプロセスを提供する。Ｃ．データ構造アクセスｉノード、バッファ、またはプロセステーブル項目等の、全ての共有カーネルデータ構造は、何らかの形式のロックを介して保護される。これにより、複数のプロセッサが、干渉無しに並列にデータ構造をアクセスすることが可能となる。このロッキングは、全システムにわたって微調整されている。共有データ構造の使用およびフォーマットは、必要とされるスピンロッキングの量を除去あるいは最小にするように最適化されている。マルチプロセッサカーネルの性能の重要な制限要素は、データ構造に起こり得る争いである。完全に構成されたIRIX^TMカーネルでは4000個のスピンロックが使用される。ロックとセマフォーメータリングは、これらの同期ユーティリティが有効に使用されることを保証するために使用される。Ｄ．自己スケジューリングプロセッサカーネルは、全てのプロセスについてシングル実行待ち行列（queue）を維持する。各プロセッサは自己スケジューリングである。プロセスがブロックされると、そのプロセッサは直ちに新しい仕事のための実行待ち行列をサーチし、他のプロセッサとの相互作用なしにディスパッチ（dispatch）する。各プロセッサは、実行可能であり得るいかなるプロセスをも実行する能力があり、速い応答と自動ワークロードバランシングを提供する。Ｅ．入出力処理カーネル72の入出力サブシステム（従来技術と表示される図４に示される）は、各プロセッサが、ディスクドライバーのようなドライバーに独立にアクセスできるように構成され、完全に並列処理化され、その結果さらに高い入出力スループットとなる。既存のドライバーの運搬性を向上するために、透明ドライバーロッキングスキームが組み込まれる。Ｆ．リアルタイム性能特徴カーネルにおけるトラップとシステムコール取り扱い経路74は、高度に最適化されている。他のほとんどのUNIXを基礎とするシステムとは違って、例外条件取り扱いは例外条件無しケースのために最適化されている。プロセッサはより迅速に事象を取り扱うようにディスパッチできるため、自己スケジューリングプロセッサは追加のレベルの応答性を提供する。システム実行待ち行列は、プロセス優先に基づくプロセス分類リストとして再構成されている。これにより、ディスパッチングプロセスのための0(1)アルゴリズミック性能が提供され、これは複数のプロセッサが同時に実行待ち行列にアクセスし得る自己スケジューリングシステムにおいて非常に重要である。通常のUN IX^TMスケジューリングは0(n)であり、ｎは実行可能プロセスの数である。Ｇ．並列プログラミングサポートカーネルは、低レベル資源共有モデルを提供することによって並列プログラミングをサポートする。並列プログラミングは、オペレーティングシステムを押しのけプロセスがカーネルと独立に同期することを可能とすることによって、援助される。システムコールはいかなるシステムにおいても高価であり、プログラマが自らのアプリケーションで最高の性能を求めるならば、避けるべきである。 IRIX^TMカーネルは、それらのスキーム（schemes）によって生じる追加のプログラミング負担無しに、スレッドまたはライトウエイトプロセスに類似の新しいプログラミングパラダイムを導入する。プロセス共有グループと呼ばれるこのパラダイムは("Beyond Threads: Resource Sharing in UNIX,"Winter 1987 USENIX Conference)、プロセスが、仮想メモリアドレス空間、ファイルディスクリプタ、ユーザおよびグループID、ワーキングおよびルートディレクトリ等の多くの資源を共有するのを可能とする。カーネル内では、仮想アドレス共有は、プロセス間でカーネルメモリ管理構造を共有すること、およびこれらの構造にシンプルなロッキングを提供することによって達成される。他の資源も同様に共有され得るので、ネットワークサーバあるいは非同期入出力ハンドラ（handlers）等の多くの洗練されたアプリケーションを、最小の労力で構築することが可能である。Ｈ．変換ルックアサイドバッファ同期変換ルックアサイドバッファ（TLB）とは、仮想アドレスから、仮想メモリ処理を高速化するためにプロセッサによって使用される、物理アドレスへの変換のキャッシュである。このキャッシュは、全てソフトウェアによって管理される。ハード同期は、価格および性能の両面において高価である。IRIX^TMは、全てのプロセッサにおける全てのTLBを分配された資源として管理する。（「マルチプロセッサシステムにおける変換ルックアサイドバッファ管理」1987年冬USENIX Con ference Proceedings）。TLBフラッシングは、洗練されたアルゴリズムを通じて最小限に押さえられる。コンテキストスイッチ（context switch）上のTLBフラッシングの通常のローパフォーマンスソルーションは、完全に回避される。Ｉ．グラフィックスサブシステムサポートシリコングラフィクスのGTXグラフィックスサブシステムのサポートは、IRIX マルチプロセッサカーネルに組み込まれる。グラフィックスサブシステムは、要求があればいかなるプロセッサからも駆動され得る。グラフィックスパイプへのアクセスは、ユーザアドレス空間へのパイプの直接マッピングを通じて達成される。グラフィックスコンテキストスイッチングの管理は、全てカーネルによって取り扱われる。グラフィックスサブシステムは、フレームバッファへの直接のDMAが可能である。これは、DMA操作のためのユーザバッファの直接マッピングを通じてカーネル内でサポートされ、全てのデータコピーを回避する。Ｊ．グラフィックスハードウェアアーキテクチャ並列処理技術および50個の所有のグラフィックスプロセッサの使用を通じて、シリコングラフィクスGTXアーキテクチャ（従来技術として図５に示す）は、ユーザが入力デバイスの直接の制御下で、リアルタイムで複雑な３次元イメージと相互に作用するのを可能とする。グラフィックスデータは、スクリーン上に表示される前に、４つのパイプラインされたサブシステムによって処理される：・ジオメトリサブシステム76 ・スキャン変換サブシステム78 ・ラスタサブシステム80 ・表示サブシステム82 ジオメトリサブシステム76は、32ビットまたは64ビットのグラフィックスデータをスクリーン空間データに変換する。次に、スキャン変換サブシステム78は、線およびポリゴンを画素データに細分化し、それらはラスタサブシステム80に与えられ、そこでＺ−バッファが隠れ面を除去する。ラスタサブシステム80は、画素がイメージビット面またはフレームバッファに書き込まれる際に、画素対画素基準で様々なブレンド作用をも行う。表示サブシステム82は、その後フレームバッファの内容をカラーモニター上に表示する。１．ジオメトリサブシステムジオメトリサブシステム76は、64ビットMPリンクバス84によってCPUサブシステムに接続される。このサブシステムは、スクリーン−空間データをスキャン変換サブシステム78に送り出す前に、世界座標ジオメトリックデータに特定の変換および照明計算を行う。ジオメトリサブシステム76でのグラフィックス処理は、１秒間に100百万浮動小数点計算（MFLOPS）のグラフィックス処理能力を有する直列構成の所有プロセッサである、ジオメトリパイプライン^TMで行われる。２．ジオメトリパイプラインジオメトリパイプライン^TMは、それぞれが１秒間に2000万浮動小数点計算（ MFLOPS）の能力を有する所有プロセッサである、５つのジオメトリエンジン（GE ）86、88、90、92、94で高度なグラフィックスコマンドを処理する。パイプラインのジオメトリエンジンのそれぞれは、ロードできるマイクロコードおよびデータのためのローカルメモリを含む。第１のジオメトリエンジン86は以下を使用する。・２次元および３次元の均一座標を回転、変換およびスケールする４×４座標マトリクススタック、・表面ノーマルを変換する３×３通常マトリクススタック第２のジオメトリエンジン88は照明計算を実施する。８個までの点一面照明；アンビエント（ambient）、拡散および正反射率を含む材料仕様；および照明モデル情報をサポートする。照明計算の結果は、４個の８ビット赤、緑、青およびアルファ値のカッドセット、あるいは単一の12ビットカラーインデックス（カラーインデックスモード）である。第３のジオメトリエンジン90は、６−面バウンディングボックスに座標をクリップする。高速の受け入れ／拒絶のクリップチェッキングアルゴリズムは、ほとんどの場合、複雑なクリッピング計算の必要性を除去する。複雑なクリッピングが必要な場合、影響を受けた頂点は、第４のジオメトリエンジン92へ送られ、そこで実際のクリッピング計算が行われる。第４のジオメトリエンジン92は、遠近分割をも実施する。第５のジオメトリエンジン94は、デプス−キュウ（depth-cued）されたカラー値を計算し、全ての座標をスクリーン空間整数に変換する前に、カラーコンポーネントを最大値にクリップする。３．スキャン変換サブシステムジオメトリパイプライン^TMからスキャン変換サブシステム78へ送られるスクリーン座標は、点、線およびポリゴンの頂点を特定する。スキャン変換サブシステムは、頂点データを個別の画素に還元するのに必要な計算を実施する。各画素には、Ｘ，Ｙ，Ｚ座標とＲ，Ｇ，Ｂおよびアルファ値が割り当てられる。カラーデータは、頂点間およびポリゴンのエッジ間で常に線形補間される。スキャン変換ポリゴンのタスクは３段階で、それぞれは３つの専用のプロセッサのひとつによって実施される：・ポリゴンプロセッサ96 ・エッジプロセッサ98 ・スキャンプロセッサ100 ポリゴンプロセッサ96は、入ってくるポリゴンの頂点を左と右に仕訳する。その後、保存された頂点は、スロープとＺ，Ｒ，Ｇ，Ｂおよびアルファ値を計算するのに使用される前に、台形の頂点に分解される。エッジプロセッサ98は、頂点およびスロープ情報を使用し、Ｘ，Ｙ，Ｚ座標と２頂点間に横たわる各画素のカラー値を計算する。これらの計算の結果はエッジプロセッサ98によって使用され、1024個の画素の各垂直スパンに沿った全ての画素のためのＺ座標およびカラー値が計算される。エッジプロセッサ98は、座標とスロープとを５つの並列スパンプロセッサ100 のうちのひとつに渡す。スパンプロセッサ０は０、５、10等のスパンを管理し、スパンプロセッサ１は１、６、11等のスパンを管理する。ひとつのポリゴンから生成されるスパンは常に隣接するため、スパン処理のロードは５つのプロセッサに平均して分配される。４．ラスタサブシステムラスタサブシステム80は20個のイメージエンジン102〜140を含み、そのそれぞれは２次元セクションのインターリーブ（interleaved）パターンのスクリーン上の画素の20分の１を制御する。ひとつのイメージエンジンは、65,536個のスクリーン画素を所持する；各画素は96ビットのデータを関連する。画素の96ビットのそれぞれは次のように組織される：・イメージビット面：バッファ（バッファは２個）毎に32ビットのＲ，Ｇ，Ｂ，およびオプションのアルファ情報；ダブルバッファされた32ビットカラー（Ｒ，Ｇ，Ｂおよびオプションのアルファ）、あるいはダブルバッファされた12ビットカラーインデックスモード操作をサポートする。・デプス面：24ビットＺ−バッファ・オーバーレイ／アンダーレイ面：４ビット・窓面：４ビットラスタシステム80の更なる特徴は、高速の画素書き込みおよび読み出しレートである。画素書き込みレートは、イメージモードで毎秒16百万画素である。これにより、ハードウェアが、フレームバッファから画素を読み出し、それらを複製し、フレームバッファに再び書き込むことによって、リアルタイムのパンとズームとを実施するのを可能にする。５．表示サブシステム５つのマルチモードグラフィックスプロセッサ（MGP）142、144、146、148 および150は、イメージおよび窓面の内容を同時に読み出す。これらのMGPにより、様々なカラーモードにおける64個までの異なる窓の同時表示が可能である。これにより、ユーザは基礎にあるカラー表示スキームを考慮する必要無しに、静止および動イメージの双方を表示することが出来る。 GTXグラフィックスサブシステムは、オーバーラッピング窓環境、および単一バッフアRGB、ダブルバッファRGB、単一バッファカラーインデックスおよびダブルバッファカラーインデックスカラーモードで、複数イメージを同時に表示する。（グラフィックスアーキテクチャに関する更なる情報は、シリコングラフィクスの「IRIS GT Graphics Architecture: A Technical Report.」を参照）Ｋ．グラフィックスシステムソフトウェアアーキテクチャシリコングラフィクスのIRIX^TMグラフィックスシステムソフトウェアは、グラフィックスサブシステムを管理すると共に、グラフィックスデータをサブシステムに送達するための高速経路を提供する。１．グラフィックスDMA GTXで可能なグラフィックスパフォーマンスを達成するために、オーダより大きいデータが同時間内でグラフィックスシステムに送達されることが必要である。このデータ送達のひとつの重要な要素は、頂点を基本的作図プリミティブとして受け入れるグラフィックスハードウェアの最適化である。共にまとめられ、頂点のセットは、ハードウェアが作図し適切なものとして埋めるポリゴンを記述する。各頂点は、照明の位置、カラーおよびノーマル等の情報のいくつかを有し得る。各情報は、DMAトランザクションを通じてグラフィックスサブシステムに送達され、それによりデータ移動と次の頂点のセットアップとの間のオーバーラップが可能となる。各トランザクションは、通常４つの32ビットワードのデータを移動する。これら４つのワードは、位置（＜ｘ，ｙ，ｚ，ｗ＞）、またはカラー（＜ｒ，ｇ，ｂ，ａ＞）を記述するのに十分である。このDMAトランザクションは、DMAエンジンをプライムするために単一ロード命令を通じてプロセッサによって開始され、ユーザ仮想メモリの中の頂点のアドレスへの保存命令が続く。これは、DMAトランザクションをじかに誘発する。これにより、ユーザのアドレス空間のグラフィックスデータの配置が完全に自由となる。これら全てはグラフィックスライブラリ内で行われ、ユーザアプリケーションに対して透明で、特別なコーディング技術を必要としない。２．パイプアクセスおよびフィードバックエリアグラフィックスパイプは、フィードバックエリアと呼ばれるメモリの個別の部分と共に、ユーザアドレス空間にマップされる。したがって、パイプは直接に（短いコマンド用）、あるいはグラフィックスDMAを通じて間接的に（高速作図用）アクセスされ得る。さらに、グラフィックスを使った各プロセスは、そのアドレス空間にマップされたグラフィックスと共に、専用の通信エリアを有する。このフィードバックエリアは、照会結果、あるいはグラフィックスサブシステムとの他の相互作用結果を戻すのに使用される。３．グラフィックスコンテキストスイッチンググラフィックスサブシステムは、グラフィックスサブシステム内で16個までのコンテキストを並列にサポートする。追加のコンテキストは、必要に応じて「仮想コンテキスト」様式にて全体のグラフィックスハードウェアコンテキストを交換することによって管理され得る。カーネルコンテキストがグラフィックスハードウェアを使用してプロセス間をスイッチする際に、サブシステムに各ホストコンテキストスイッチを知らせ、その結果システム内で並列コンテキストスイッチとなる。サブシステム内に現行のコンテキストを持たないグラフィックスプロセスは、仮想アドレス空間からマップされていないパイプおよびフィードバックエリアを有する。したがって、これらはグラフィックスアクセスされない限り、データを実行および処理し続け得る。グラフィックスアクセスが試みられると、ページフォールトが発生し、プロセスがブロックされ、窓マネージャーは事象について通知される。窓マネージャーは、その後必要に応じて、プロセスをハードウェアコンテキストにスケジュールすることができる。４．カーネルグラフィックス管理 UNIX^TM下のグラフィックス実施の多くは、グラフィックスサブシステムをただのもう一つのデバイスとして取り扱い、全ての管理をユーザレベルで行うように強制する。このアプローチには、重大な欠点がある。例えば、ユーザレベルプロセスとグラフィックスマネージャーとの間の大規模なコンテキストスイッチングが良く見られる。このアプローチは、一貫性のある集約されたグラフィックスサポートを困難に、あるいは不可能にする。 IRIX^TMカーネルは、グラフィックス管理をカーネルの基本機能内に取り込む。これは、多くのプリミティブグラフィックスサブシステムの単なる「テキスト出力」ではない−−GTXグラフィックスサブシステムは、自ら単純なキャラクターセットを作図する方法を知っている。代わりに、グラフィックス操作を制御するための洗練されたプロトコールがカーネル内へ埋め込まれる。パイプを除く、垂直リトレース上のスワッピングバッファおよび他のコンディションは、ホストへの中断となり、それらはその後ハイレベルプロトコールによって取り扱われる。Ｌ．同時解析およびグラフィックスグラフィックスパイプラインへの高速アクセスを有し、共通のメモリを共有するプロセッサを緻密に結合することによって、CPUとグラフィックスサブシステムとを同時に使用し複数のプロセスをサポートすることが可能である。グラフィックスハードウェアの所有は、競合するプロセス間で、コンテキストスイッチ毎に割り当てることが出来る。ひとつのプロセスがグラフィックスパイプをアクセスする間、他のプロセスは他のCPUおよびFPUをフルに使用することができる。例えば、ひとつのプロセスが次のフレームを翻訳する間、他のプロセスが作図する２プロセスアプリケーションを例に取る。解析は７組のCPU/FPUペアまでフルパワーで処理され、一方他のプロセスがグラフィックスパイプにフルスピードで前回のフレームを作図する。Ｍ．並列処理のレベル複数のプロセッサ内に線形スループット増加を提供するためには、システム内のハードウェア並列処理を活用することが重要である。IRIX^TMシステムでは、これはソフトウェア並列処理の３つのレベル、すなわちマルチスレデッドカーネル、ユーザアプリケーション用のイクスプリシト（explicit）並列処理構成体、およびデータディレクテッド並列処理FORTRANコンパイラを提供することによって達成される。１．マルチスレデッドカーネルシリコングラフィクスのPOWERシリーズシステムの心臓部は、ユーザおよびシステム空間内でのマルチ処理の同時実行を可能とする、マルチスレッデッドカーネルである。プロセスが実行されるのに適格となると、最初に使用可能なCPUがそのプロセスを担当し、実行を開始する。以前にどのCPUでそのプロセスが実行されたかは、カーネルが、キャッシュおよびTLBヒットレートを最大化するためにプロセスを以前のCPUにマッチさせるキャッシュアフィニティスケジューリングアルゴリズムを使用する限りにおいて、重要でない。全てのCPUはグラフィックスパイプまたは入出力サブシステムへ同時にアクセスすることができ、マスタ／スレーブよりもむしろ対称アレンジメントを提供する。これによって、プロセスが入出力デバイスへアクセスする際にひとつのCPU から他のCPUへスイッチする必要が無くなる。マルチスレデッドカーネルは、高帯域幅のシステムアクセスを提供する。プロセスは、現在実行中のCPUのカーネルに入り、システムサービスを実施し、そして戻る。個別のデータ構造（プロセスブロック、ｉノードテーブル、バッファ、キャッシュ、等）は、複数のCPUが特定のコードを同時に実行できるようにセマフォーされる。オペレーティングシステムの資源の争奪は、スピンロックとセマフォーの使用を通じて規制される。２．ユーザディレクティブマルチ−スレデッドIRIXカーネルは、マルチ−ユーザおよび／または複数プロセス環境のスループットを増加させる継ぎ目のない方法を提供する。しかし、単一プロセスアプリケーションのスループットも増加させることが望ましい。これは、アプリケーションレベルスピンロック、セマフォー、共有メモリ、およびダイナミックアロケーションのサポートを含むマルチ−プロセッシングライブラリ「リンプ（limbp）」を使用することで可能である。それは、最も良く使用されるセマフォーされたライブラリルーチンを有する完全な「リブク（libc）」も含む。共有グループプロセスと無関連のアプリケーションとの間において、同期が可能である。これにより、存在するマルチ−プロセスアプリケーション（例えば、表示プロセスに話しかける解析プロセス）が複数のプロセッサを活用する迅速な方法が提供される−「リンプ（libmp）」内のプリミティブを使用することにより、それらの間に共有領域が形成され得る。（単純なプロデューサ−カスタマキュウ上を覆って）何らかの同期が必要な場合、スピンロックおよびセマフォーが使用可能である。単純な同期では、共有メモリも使用でき得る。この共有空間内に、新しいアレナマロック（arenamalloc()）ライブラリコールと共にダイナミック空間を割り当て得る。したがって、パイプ、ソケット、またはファイル等の存在している通信メカニズムは、高帯域幅メモリメッセージングスキームと交換することができる。アプリケーションが単一の大きいプロセスの場合、共有グループを介して供絵されるイクスプリシトなマルチスレディングが使用可能である。プロセスがスプロック（sproc）(2)システムコールを実行すると、共有グループが形成される。あらゆる数のプロセス／共有グループメンバーを形成することができ、そのそれぞれは個別のプロセッサ上で実行される（プロセッサ数が上限）。共通のアドレス空間およびファイルデスクリプタのおかげで、共有グループはアプリケーションの一部を並列に実行することができる。例えば、ひとつの部分はデータ生成を実施し、一方他の部分はデータを表示する。前述のように、同期は、メモリかリンプ（libmp）スピンロックまたはセマフォーかを使用し実施される。マロック（malloc)、ペロー（perror）、およびプリントフ（printf）等のライブラリルーチンは全てセマフォーされているので、共有グループメンバーはリブムプ（libmp）を使用してシステムサービスも要求でき得る。３．並列処理コンパイラ IRIX^TMカーネルは、MIPSコンパイラスーツに基づき、洗練されたプログラム開発環境をサポートする。マルチ言語フロントエンドが各言語を共通の中間形式に変換し、それらはその後共通ツールによって最適化およびコード生成のために処理される。 MIPSオプティマイザは、いくつかのレベルの最適化を提供する。他のシステムのように、局所的最適化およびパイプラインスケジューリングは容易に実施される。追加の大域的最適化および手続きインライニングもまたサポートされ、それによりプログラマは非常に高い性能レベルを達成できる。 FORTRANフロントエンドの上にはPOWER FORTRANアクセラレータが積層される。データフローアナライザは、並列化FORTRANを作り出すために最も洗練された入手可能な解析ツールである。そのアウトプットは、オリジナルのアウトプットファイル内に散在する並列化ディレクティブである。これらは、並列化ディレクションを含む適切な共通の中間コードを生成するFORTRANフロントエンドによって認識される。共通のコードジェネレータは、その後、オペレーティングシステムスレッドサポートおよびハードウェアロックを直接利用する並列化されたコードを作り出す。自動アナライザがコードを安全に並列化できない場合、もしプログラマがコードの一部が本当に安全に並列化できることを知っているなら、ユーザはそのコードにイクスプリシトに並列化のディレクティブを追加することができる。使用されるディレクティブはアナライザが使用するものと同じであり、したがって共通の処理工程で同等に扱われる。並列処理ライブラリは、共有アドレスプロセス、セマフォー、スピンロックおよびバリアのためのサポートを有する。完全にセマフォーされたスタンダードＣライブラリは、並列処理の手続きレベルモードのためのソフトウェアサポートを完成する。この方法の結果、並列化されたコードのパフォーマンスをさらに向上するためにオプティマイザを直接使用することができる。他の言語を並列化する技術が入試可能となったとき、それらはコンパイラスーツに容易に追加でき、既存の並列プログラミングサポートを排除する。Ｎ．入出力スループット主入出力−−SCSI、イーサネット、およびVME−−のためのインターフェースは、カーネルへの並列インターフェースを提供する。複数のドライバは、異なる入出力サブシステムと同時に話ができる。異なるデバイス（VME上の各デバイスを含む）からの割り込みは異なるプロセッサへルートとされ、割り込みサービスもまた分配される。複数プロセッサの入出力アクセスは、最新のディスクコントローラと組み合わされ、それぞれがフルのトラックキャッシュ、オーバーラップしたシーク最適化、ディスク分類を有するコントローラ当たり４つまでのディスクを制御する。これは、IRIX EFSファイルシステムと組合わさって、ファイルシステム（SMDディスクドライブを使用）を通じてコントローラ当たり2000キロバイト／秒までを提供する。単一のSCSIディスクドライブのみを使用してさえも、ファイルシステムスループットは1000キロバイト／秒を上回る。ネットワークは、アクセスがVMEアダプタへのアクセスとは完全に独立している集約的イーサネットアダプタを介してサポートされる。カートリッジテープおよび低速ディスクに有効なSCSIアダプタもまた他の入出力活動とは独立している。ページスキャター−ギャザーDMAをサポートしないVMEバス上のデバイスは、集約的ハードウェアページマップを使用することによって、高速コントローラとしてなお利用することができる。入出力デバイスからの読み出しをさらに高速化するために、ハードウェアは、読み出し要求によって「古く」なるキャッシュ内のデータを検知し、無効とする。これにより、オペレーティングシステムが高価なキャッシュフラッシュを行う必要を除去する。シリコングラフィクスのIRIX^TMオペレーティングシステムは、AT&TシステムV UNIX_TMリリース3.1をベースにしている。このバージョンのV UNIX^TMは、相当セットのプログラマとユーザの双方を容易にサポートする特徴を有する。これらの特徴に加え、好ましい実施態様のシステムの価値をさらに高めるために、以下の機能が加えられた。Ｏ．並列プログラミングサポートマルチプロセッサの利点をフルに活用するためには、使いやすく強力な並列プログラミングモデルが必要である。これは、新しい機能のいくつかのレベルを通じて達成される。プロセス共有グループは、スレッド型のスキームの利点を有し、重荷を有しない軽量の処理機能を提供する。Ｃライブラリの並列化バージョンはスレデッドプロセス用に使用可能であり、通常の入出力およびマロック（malloc()）のような良く使用される機能が使用可能でありかつ期待通り働くことを保証する。アリーナベースのメモリ割り当てがサポートされる。カーネルインタラクション無しに働くロッキングおよびセマフォープリミティブは、並列Ｃライブラリに含まれる。これによって、カーネル機能を呼び出すことに対するパフォーマンスペナルティが回避される。プリミティブは、複雑なマルチスレッドアプリケーションでの問題の追跡を容易にするためのデバッギングサポートを含む。さらに、アプリケーションを微調整するためのセマフォーおよびロックの使用および争奪を決定するために、メータリングが可能である。Ｐ．リアルタイムプログラミングサポート IRIX^TMの特徴のいくつかは、高速インタラクティブ制御アプリケーションのサポートを提供することである。非劣化優先順位は、システムの他のプロセスに関連して、プログラマがそのアプリケーションの優先順位を正確に制御する方法を提供する。標準UNIX^TMスケジューリングパラダイムに関連する通常の問題は避けられ得る。高精度タイミングは、バークレーアイタイマ（Berkeley itimer）に基づいた信号ベースのタイマ機能を通して得られだけでなく、１ミリ秒の精度の時間報告機構を通してサポートされる。ファイングレインメモリロッキングによって、プログラマは、臨界コードまたはデータをメモリに確実に常駐させることが可能である。マップファイルおよび装置は、ファイルまたは物理装置があたかもプロセスアドレススペースの一部であるかのように、プログラマをそれらにアクセスさせる。複合ファイル操作は簡略化され、装置はアクセスされ、ユーザレベルから直接管理され得る。Ｑ．バークレー特徴 BSD4.3の多くの特徴は、IRIX^TMにおいてサポートされる。ジョブ制御、4.3ネットワーキング機能、および多くのバークレーコマンドがサポートされる。プログラマに対しては、BSD4.3システムコールは、システムVセマンティクスと矛盾しないところでサポートされる。Ｒ．言語サポート IRIX^TMは、VMS拡張、パスカル、ADAおよびPL/1を有するC、FORTRAN 77をサポートする。このサポートは、dbxのマルチプロセスバージョンに基づいたマルチプロセスグラフィックスデバッガエッジと統合される。このデバッガはまた、任意の実行プロセスへの到達を可能にする。これは、デバッギングデーモン（demons ）に都合がよい。多くのプロセスは、たとえ関連がなくとも、単一なセッションでデバッグされ得る。以下、本発明の説明、特に、本発明のデータ保存および取り出しモジュールの説明に戻る。このモジュールに保存されたデータは、すべての自然オブジェクトに対するイメージファイル、聴覚特徴ファイル、および触覚データファイルを含む。モジュールには、特別に設計され、特定のアプリケーションに用いられることを目的としたユニークアイテムのイメージ、聴覚、および触覚データがロードされている。例えば、これに関しては、システムユーザによってモデル化される原型は、ユニークアイテムと見なされ得る。そのユニークな特徴は、特にデータ保存モジュールに入力され、選択された環境条件下での原型のユーザ調査を可能にする。その出力をディジタル化する３次元レーザスキャナは、ユニークアイテムに関するデータ入力の最も効率的な手段である。現在、我々は、装置をオブジェクトの周囲上を移動することによって、オブジェクトの面または全表面のベクトル化３次元入力を行うための、小サイズから40フィートサイズのオブジェクト用の３次元スキャナおよびリーダを企図している。これは、移動式で、ワゴン車または他の乗り物に搭載される。合成環境の生成に用いられる他のカテゴリの保存データは、プリミティブイメージベーシックモデルである。このデータファイルは、保存、生成、および処理されたイメージの計算処理に関連するベーシックポリゴン、フラクタルおよびレイトレーシング情報を含む。このファイルのサブカテゴリは、予め処理されたイメージデータ、例えば、自然に発生するオブジェクトの予め計算された色およびテクスチャデータを含むサブプリミティブイメージ原理であり得る。合成環境モデリング出力の生成の処理／計算局面において用いられる他のデータカテゴリは、物理、自然法および物理特性である。コンピュータイメージングに適用されている光の物理に最も良好なインターフェーシングモデルは、Pixar 、SanRafael、Californiaから得られるPixar RenderMan interfaceである。このソフトウェアパッケージは、速度およびオブジェクトのコードサイズが主要な制約であるグラフィックスプログラミング規則に簡単に適合され得る種々の光源および条件のプリミティブを提供する。同様の物理動作／グラフィックスインターフェースは、モーションおよびサウンドを処理するのに使用される。動画パイプラインが一旦確立されると、開始および停止モーション、その中間（in-betweening）ならびに衝撃によるオブジェクトの変形は、予め選択されたパラメータに基づいて計算される。サウンド次元では、物理法および特性情報の重要性は、古典的な例：反対方向に移動する第２の自動車から聞こえる自動車の警笛音より最も良く理解され得る。周囲ノイズ、雰囲気、圧力およびサウンドイメージに対するドップラー効果の蓄積された衝撃は、合成出力において正確なイメージを形成すると定義されなければならない。システムは電磁スペクトル全体からの放射線を含み、相対性の物理を用いる実験の可能性を提供するため、非ユークリッド幾何学にインターフェースが必要であるように、これらのアプリケーション用にカスタマイズされたインンターフェースも必要とされ得る。これらのインターフェースは、科学的な専門知識および効率的なプログラミング規則の長期にわたる合成を伴う。予め定義された手法を呼び出す代わりに、AutoLispからAutoCADまたはBorland Prolog、からTurbo Cへ統合するように、人工知能からのリストをベースにしたアプローチを「Ｃ」環境に統合することが可能である。公共的にアクセス可能な科学データベースへのモデムによって、プログラマは、実際のインタラクティブ環境モデリング前に、開発セッション中にプログラマが形成している環境の現在の物理データを引き出すことが可能である。得られるすべての計算された物理データの参照データは、プログラマが、特定および一般的な環境条件の計算においてデータを必要とするときに、視覚メニューから呼び出されるようにディジタルライブラリに保管されている。Wavefront Software（ Santa Barbara，CA）は、このアプリケーションに有用な有意義な視覚物理パッケージを提供する。この保管されたデータのすべてを有効に利用するために、本発明のデータ保存および取り出しモジュールは、データ圧縮ソフトウェアを用いる。ラスタイメージデータは、ソフトウェアを用いるよりも速度の低下が少ないハードウェアを用いて圧縮される。しかし、非現実的な保存需要と、圧縮／圧縮解除時間との間にトレードオフがある。ドキュメント走査用に設計され、本発明に適合し得るソフトウェアは、OPtigraphics Corporation、San Diego、CAから入手可能である。フラクタルラスタイメージは、BarnsleyおよびSloane、Byte 1988年１月によって示されるように、10,000対１以上の圧縮比を成し遂げる繰り返し機能システム（IFS）コードとして保存され得る。IFSイメージ合成器は、迅速な符号化および復号化を成し遂げるのに必要である。Iterated Function Systems，Inc.，Atl anta，GAは、このような合成器を提供する。ベクトルデータベースは、そのより豊富なプリミティブおよびより小さなサイズのために、２対１と10対１との間の圧縮比で、MS-DOSにおけるアーカイブ圧縮コマンドおよびプロセスに類似した公的ドメインプログラムであるPKARCにおいて見いだされるようなソフトウェアルーチンにおいて最も効率的に処理され得る。これらの圧縮方法は、大記億のみに許容され得る。十分な主要メモリまたは仮想主要メモリは、システムユーザセッション中に十分なシステム応答を成し遂げ、データベース全体を処理するのに必要であり得る。データファイル管理システムは、保存および取り出しモジュールシステムアーキテクチャの他の重要な特徴である。Unix階層的規則に基づく大記憶ファイリングシステムおよび共通ライブラリ分類システムは、データファイル編成を始めるのに最も単純で最も簡単な方法である。データ主題の広い分類は、デューイ10進システムを手動または機械でエミュレートすることによって維持される。ワークステーションプラットフォームにおけるアイコンツールは、実質的なデータ入力の作業をセーブするユーザインターフェースを提供するのに非常に貴重である。さらに重要なことに、この構成では、主に以下に説明するビジョンシステムおよび触覚モジュールによって合成ワークステーションを動作した状態で、システムユーザの手に全システムの完全なポイントアンドクリック機能を与える。 MacのHyperCardは、データファイル管理の優れた基本的代替手段である。なぜなら、HyperCardは、セッション中常に他の材料とリンクした多くの異なる種類のデータをインタラクティブに処理するからである。HyperCardが利用するハードウェアとソフトウェアとの統合は、実質的なプログラミング作業を必要とし得るが、十分にトレードオフにもなり得る。なぜなら、プラットフォームコストが低下し、また特に教育における非プログラマ開発者によってこの技術が受け入れられやすくなる可能性があるためである。Macへの増設ボードまたは周辺機器への高速接続による高品質イメージングおよびサウンドのサポートを仮定すると、大半のマイクロコンピュータシステムは、ターゲットシステムにおける基本的な主題の第２ソーシング(sourcing)に対する最も明確な機会を示す。この方面における他の可能性は、Project Xanadu、San Antonio、TXからのハイパーテキストモデル（hypertext model）である。その創始者である、Theodor H．Nelsonは、Byte 1988年１月において、オリジナルの出所と、その後の改変との関連を維持しながら、テキスト、グラフィックスまたは他の機能のシステムについて記載している。妥当なデータファイル管理の背後にある基本的な原理は、特定のシステムユーザセッションに必要な公知の要素が、ユーザセッション前の一次システムメモリにレイアウトされていることである。結果として、システムは、全システムデータファイルライブラリにアクセスし、ユーザセッションに必要なデータを見つけだして処理する必要はない。他のサブシステムの中には、データ取り出しおよび保存モジュール内に含まれるものもある。立体知覚二重コンピュータは、以下に記載するように、環境モデリングモジュール出力の一部である。このコンピュータは、単一なイメージポンプまたは超CRTと接触する前に、すべての視像データに対して二重イメージ重ね動作を起動させる。この構成要素は、３次元オブジェクトのベクトルを検出し、わずかに異なるビューから２つの２次元出力を生成する。この構成要素は、上記のように、高性能ワークステーション内に保存され、処理される。ステレオグラフィックス(San Rafael、CA)およびテクトロニクス（Tectronix）は、オフセット信号から３次元イメージを得るために、モニタと共に用いられる順次オプトメカニカルシャッタ装置を提供する。本発明のデータ保存および取り出しモジュール用自動バックアップデータ保存システムは、不注意によるデータの損失を避けるために提供される。好ましい実施態様において、我々は、光ディスクを用いて５分間毎にデータをバックアップする。電子バブルメモリは、この自動バックアップアプリケーションに受け入れられる。本発明のデータ保存および取り出しモジュールの他の重要なサブシステム構成要素は、ACSIIデータ、ならびに変換された位置および動き走査ベクトルデータを受け取る位置付けおよび動き標準化データソフトウェアである。このサブシステムの目的は、ユーザ位置および動き走査データのすべてを、（ユーザセンサモジュールで以下に記載のように）単一なファイルフォーマットに変換することである。現在、我々は、すべての関連データを、VECT.XFRと呼ばれる我々自身のファイルフォーマットでASCIIにおいてベクトルコードに翻訳する。プログラムは、ベクトルデータを探し、各グループ毎に識別コードを有するように、ファイル内の連続したスペースにそれらを書き込む。各センサは現存アドレスを有し、このアドレスは、次のセンサアドレスへの隣接に関連してシステムによって知られる。すべてのセンサがセンシング環境において動き回ると、それらの位置ベクトルは、コンピュータによって、イメージチェックモニタ上を移動するのが見られる。センサの隣接アドレッシングは、位置データ全体を確認するのを助ける。なぜなら、ソフトウェアおよびシステムは、人型（図６の「モデル」）が、デフォルトガイドラインに対する仮定をダブルチェックしているおよびダブルチェックし得ることを知っているからである。本発明のデータ保存および取り出しモジュールの一部を形成する他のサブシステムは、イメージ前設計データ処理アレイである。これは、予め選択した環境、前セッション開発ワークの一部のシステムに情報を書き込むことを含む。この特徴は、システムの現存ライブラリを用いて、必要データを引っぱりだし、即座にアクセスできるモードにそのデータを保存する。ユーザセッション要素のすべては、アーキテクチャウォークスルー（architectural walkthrough）のように、予め設計され得る。しかし、「paint your own universe」アプリケーションのように、セットアップなしでユーザセッションを開始することが可能である。イメージは、Wavefront's ADVANCED VISUALIZER^TMからのグラフィックスプリミティブまたは我々自身の３次元ベクトルシェードイメージソフトウェアを用いることによって予め設計される。ベクトルポイントおよびスキャンインデータは、この構成要素によって、写真実物像またはライブラリ保存用の圧縮アーカイブイメージに絶えず細部描写される。予め設計されたイメージは、ハードドライブ、WORMドライブおよびテープカートリッジに保存され得る。第１段階利用者準備モードにセットインされている予め設計されたイメージは、システムハードドライブ上に配置される。上述したワークステーション保存システムおよび磁気バブルメモリは、所望の保存モードであり得る。データは、我々自身のファイルフォーマット内のワークステーションから取り出され、必要に応じて、ワークステーションフォーマットに翻訳される。好ましい実施態様において、我々は、３次元イメージモデリングおよびWavefront（Santa Barabara、CA）から入手可能な動画構造ソフトウェア、ADVANCE VISUALIZER^TMを用いる。イメージファイルは、カスケードプログラミングソフトウェアに応じて処理されるため、イメージファイルは、他のシステムの発生を合図することが可能である。本発明のデータ保存および取り出しモジュールは、インタラクティブスループットイメージおよびサウンドプロセッサを含む。このプロセッサは、ユーザが視覚入力装置を通して観察しているときに、ユーザの身体の一部を生成イメージに配置するように設計されている。換言すれば、ユーザは、生成イメージ内にその手があると、視覚出力においてその手を見ることが可能である。このソフトウェアは、グラフィックユーザインターフェースを用いても駆動される。このソフトウェアは、ユーザに合わせて「つくられた」人型ベクトルモデルを用いる。ウェーブフロントソフトウェア（Wavefront Software）は、このアプリケーション用グラフィックスプリミティブを提供する。我々は、我々自身の３次元ベクトルシェードイメージソフトウェアを開発した。このユーザーミラー体は、ベクトルおよびシェーディングシステムによってイメージ化され、観察される環境ベクトル全体に対して正しい相関関係で現れる。隠線消去は、ユーザーミラー体、またはその一部が占有する同一のスペースから背景イメージ要素を見えなくするソフトウェアによって行われる。下記のユーザの位置および動きセンサは、この構成要素に命令して、ユーザの身体が動くのと同様にミラー体を移動させるデータを提供する。ソフトウェアベクトルは、イメージ内のすべてをチェックし、１つの要素が何かと衝突すると、その要素または複数の要素が透明となるように設定されていない限り、停止することを確認する。この構成要素はまた、カスケードプログラムデータシーケンスを見て、マスタユーザーミラーベクトルおよび一次カスケードデータに対して所定時に、環境に適切なサウンドシーケンスを動作させる。図６は、インタラクティブスループットイメージおよびサウンドプロセッサのブロック図である。センサ152、154および156（ユーザセンサモジュールにおいて、以下にさらに十分に説明する）は、３次元マトリクス内のユーザの身体の位置および動きに関する情報を得るために用いられる。次に、このデータは、ベクトルおよびシェーディングシステム、モデルブロック158、160および162によってユーザーミラー体を形成し、モデル化されたユーザーミラー体が感知されたユーザ体が移動するのと同様に移動することを確実するために使用される。次に、この結果は、ユーザセッション中に、（カスケード関連サウンドおよび触覚イメージだけでなく）適切な視像を生成するのに用いられ得るデータに変形（ブロック164、166および168）される。この変形データは、Ｚ−バッファ170、172および174で保存され、そこで、データは、他の合成環境要素と組み合わされ、システムユーザ176に表示され得る。図７は、わずかに異なる実施態様のブロック図である。異なる点は、ユーザの位置および動きデータを決定するためにビデオカメラ178および180が用いられることである。（これに関しては、ユーザセンサモジュールで、以下にさらに十分に説明する。）位置および動きデータは、高コントラストビデオイメージを用いて周囲データを消去することによって得られる（ブロック182および184）。ビデオイメージデータは、粗にされ（ブロック186および188）、ユーザデータポイントの位置および動きに関する情報のみを残す。データは、ブロック190でベクトル化され、ブロック192で変形され、Ｚ−バッファ194に保存される。次にデータは、他の合成環境要素196と組み合わせられ、ユーザーミラー体は、表示198の一部を形成する。「モデル」の特徴は、すべての形状および年齢の保存されたアーカイブ男性および女性の身体部に基づいた身体の一部の動きおよびイメージを予想することに関する。特定のユーザがまずシステムを使用すると、そのユーザは、ミラー体に「フィット」され、情報は、ユーザのシステムインタラクティブセッション中に保存され用いられ得る。他の一次視覚要素のように、ミラー体は、ワイヤフレームから、ユーザミラー−体要素が視界に入るとき前景および背景データが適切に消去されたシェードイメージから高密度イメージへと形成される。ユーザミラー体ファイルはまた、反射光および他の予想可能な環境インタラクションに影を投げさせるアトリビュート表記法を搬送する。最後に、データ保存および取り出しモジュールを保護するために、パワーコンディショナ、サージ保護およびパワーバックアップが提供され、モジュールへの損傷を防止する。 II．ユーザセンサモジュール本発明のシステムの次のモジュールは、ユーザ位置および動きデータを検出し、その情報を環境モデリングモジュールに伝送するように設計されたユーザセンサモジュールである。このデータは、本発明による合成およびアブソリュート環境の生成および処理に用いられる。ユーザ位置および動きデータの迅速な決定、伝送、および処理により、本システムとの相互作用におけるユーザの経験の現実性が高まる。センサモジュールの複雑さのレベルは、システムの予想アプリケーションに直接関連する。例えば、ユーザの手の位置、動き、湾曲および伸張のみに関する情報を用いて、最も簡単なレベルでシステムを使用することが可能である。アプリケーションスペクトルの他方面には、さらに複雑なセンサシステムを必要とする全身の位置、動きおよび健康遠隔測定法センシングがある。ユーザセンサモジュールの１つのアンビリカルのない実施態様において、グローブ、ブーツおよびヘッドピースを含む特別に形成された全身スーツは、壁、天井および床を有する３次元チャンバにおけるユーザの位置および動きをモニタするのに用いられる。この全身スーツには、ユーザがシステムと相互作用する３次元チャンバの壁天井および床内にある受信機に無線周波数を介してユーザの位置データを伝送する複数の６軸ポジショナが備えられている。商業上入手可能なPo lhemus６軸位置センサ（McDonnell-Douglas）は、このアプリケーションに適切である。６軸ポジショナセンサ装置に加えて、ユーザの身体の一部の、他の部分に対する動きモニタするために、電磁および音波近接センサがスーツに導入される。これらの近接センサは、スーツのグローブの手のひらに適合する超小型フィードバックセンサである。各ハンドポイントには、小型出力スタッドが設けられている。これらのアンビリカルのない近接センサは、好ましくは音波または赤外波を用いる。光子ビームは、走査モードでのみ使用され得る。これらのソースはすべて、身体の一部から他の部分への近接変化が測定可能な身体の動きをすべてモニタし得る。フィードバックループは、チャンバの周囲にある送信機からセンサおよび送信機から受信機への、赤外線およびFMラジオ信号を介したブロックである。他の実施態様において、センサは、センサからエネルギーパルス（光または音）をピックアップする。パルスの周波数は、センサおよび送信機が近接するにつれて増加する。この時点で、多重システムユーザの複雑さが増すと、ユーザ位置の検出だけでなく近接センサ設計にも影響が与えられる。なぜなら、センサは、異なるデータポイントまたは異なるユーザを容易に区別することができないからである。この場合、いくつかのまたはすべてのユーザは、ユーザの位置および移動データを分けておくために、アンビリカルを有するシステムを用いなければならない。この第１実施態様において、スーツヘッドピースは、ヘッドピースの前中央に設けられた、視角入力装置用ピッチ、ロールおよびヨーポジショナフィードバック装置を有する。ピッチ、ロールおよびヨー装置はまた、この他の情報に対する必要性に応じて、スーツの他の位置に設けられ得る。本実施態様において、Polhems装置は、ユーザの頭のピッチ、ロールおよびヨーを測定するためにヘッドピース上で用いられる。我々は、これらの装置は、ディベロッパワーク以外のワークには物理的に大きすぎると思う。なぜなら、データ伝送は非常に遅く、その解像度は十分には高くないからである。好ましい実施態様において、１秒間に最小100個の位置でASCII型コードの６軸相対ベクトル情報を伝送するために、軽量なケーブルレス装置が提供される。チャンバ壁における受信機ユニットへの初期伝送は、赤外線を介してである。好ましい実施態様によると、スーツは、ユーザの足用に特別に設計されたブーツと共に用いられ、このブーツは、３次元チャンバ床内のアンテナグリッドに設けられた受信機に位置および動きデータを伝送する周波数発生装置を含む。ユーザの位置および動きセンサモジュールの第２の実施態様において、ユーザは、チャンバの壁、天井および床に配置された電磁放射源および受信機と相互作用するセンサポイントが設けられたカラーボディウェアを着用する。このスーツは、前記の実施態様に用いられるスーツよりも着心地が良く、じゃまにならない。赤外線および紫外線周波数のリモートスキャナは、スーツのデータポイントを追跡する。この収集技術は、ユーザの全体的な動きを測定するのと、ユーザの身体全体に対する手足および指の動きを測定するのに効果的である。スーツデータポイントは、反射物、光源および音源である。レーザレンジ発見装置もまた使用される。チャンバの壁、床および天井のアンテナグリッドは、チャンバにおけるユーザの実際の全範囲のスペースの重畳座標データを提供する。位置および動きデータを収集するためにモアレ干渉計および音波インパルスもまた使用される。ユーザセンサモジュールのこの第２実施態様において、位置および動きデータは、少なくとも２つの個別のモード（個別の電磁放射信号）で収集され、次に、２つのモードは、補助マトリクス（comatrix）平均され、位置および動きデータの単一なファイルを環境モデリングモジュールに与える。本発明のこの局面を実施する技術が存在する。光ファイバ的に配線されたスーツが、次に検出され得る多重光ポイントを生成するのに使用される。ここでは、7X7も使用され得るが、変形マトリクス（図６において164、166および168、ならびに図７において192で示される）は、4X4である。本発明の第３の実施態様によると、CCDカラー、白黒、および赤外線ビデオカメラは、ユーザ位置および動きを検出するのに用いられる。ユーザのスーツ上の光またはカラーポイントを走査するために、異なる電磁放射線周波数で複数のカメラを用いることが好ましい。この位置および動きデータのラスタ変形の基礎は、「Projection Transform Points ln a Coordinate System n into a Coordina te System of Dimension n,」Pavlidis、Theo、Algorithms for Graphics and I mage Processing 、Computer Science Press，1982に見いだされる。２次元ラスタ走査において、サンプリングは、通常１画素当たり１：１で行われる。３次元空間において、ボクセル（voxel）は以下のようにスケールされ得る：ビデオ（C CDカラー、白黒または赤外線）出力装置のスクリーン座標にマップされる世界座標システムを仮定すると、ラスタによって分割されるシーンにおけるユーザの位置で有力な全体値を用いてサンプルサイズを決定し得る。このラスタ／ベクトル合成方法は、ユーザへの侵入性が最も低いという利点を有する。このプロセスがどのように全システムに統合され得るかの概略は、図８に示される。このラスタ変形プロセスの局面は、ビデオデータを粗にするために、高コントラストイメージング、それに次いでイメージ処理を用いることである。図７のブロック182、184、186および188を参照のこと。この粗にするプロセスは、重要でない周囲情報を除去し、有用なセンサポイントのみを残す手助けをする。図８を参照すると、（ブロック200からの）ユーザ情報は、X-シュート202、Y- シュート204およびZ-シュート206からの単一な軸位置および動きデータと共に組み合わされる。この情報は、ANDブロック208で組み合わされ、粗にされ、処理される。このデータは、次に、表示モード212で用いられるようにMat210にフォーマットされる。ビューパイプ214は、単一な出力モードの生成および処理のためにユーザミラー体（上記を参照）と組み合わせられた環境要素の残りの部分を提供する。ユーザ健康情報は、応答の科学的研究のために用いることも可能であるが、通常、生成された環境に対するシステムユーザの応答をモニタするために得られる。情報は、不都合に対する目的で維持され、通常、ユーザが生物的に過度な反応を起こしたときにのみ警報を伝えるように設定され得る。ユーザ健康情報は、通常、環境モデリングモジュールに伝送されないので、通常、生成された環境の計算処理にはとどまらない。健康情報は、身体ピックアップを介して感知され、赤外線周波数を介してチャンバ壁の受信機に伝送される。ユーザセンサモジュールのこれらの実施態様のすべては、非侵入的で、わずらわしいアンビリカルを必要としない。ユーザセンサモジュールの構成要素は、３次元チャンバ自身である。図１の14 を参照のこと。センサとの釣り合いから、このチャンバは、多数の周波数で動作する生物学的に安全なコヒーレントおよび非コヒーレント電磁スペクトル走査グリッドで満たされている。チャンバは、物理的に、モジュール方式であり、種々のアプリケーションに適合するように構成および再構成され得る正方形の金属フレームワークで形成されている。モジュールは、６フィートから20フィート正方形のサイズの範囲であり得る。モジュールは、講堂または体育館サイズの部屋に取り付けられるように複数で提供され得る。本発明の他の使用には、人間にとって非常に危険、小さすぎるまたは遠すぎるアブソリュート（現存）環境に関するデータを収集するリモートプローブの使用が含まれる。例えば、患者の生理機能に関する情報を収集するためにリモート顕微手術用プローブが用いられる。リモートプローブはまた、実際の人間の接触には危険過ぎる物理的領域、例えば、海中または原子力発電所などを探索するためにも用いられ得る。これらのリモートアブソリュート環境に関する情報は、次に、システム装置の残りの部分に無線伝送される。生成バージョンのアブソリュート環境におけるユーザは、次に、リモートロボットを駆動し得るシミュレートされたプローブを操作し得る。リモートプローブは、チャンバ内のユーザの位置および動きによって制御される。ユーザがチャンバ内で頭を回せば、プローブも同様に回る。生成された合成およびアブソリュート環境のフォトリアリズム的な精度は、ユーザに３次元視覚および聴覚出力を提供し、ユーザにプローブがユーザ自身であるように感じさせる。リモートプローブは、ネットワーク内のユーザからプローブへの静止衛星トランスポンダ、光ファイバ遠距離コミュニケーションライン、マイクロ波ビームおよび他のシステムを介してチャンバおよびシステム一次制御モジュールと連絡し、ユーザに入力およびユーザから出力されるすべての信号を１つのプローブまたは複数のプローブへリアルタイムでリンクする。 III．環境モデリングモジュールシステム環境モデリングモジュールは、その入力として、予め選択されたイメージファイル、サウンドファイル、触覚ファイルならびに物理および自然の適用可能な自然法に関するデータを用い、合成およびアブソリュート環境、オブジェクトおよびユーザが観察するインタラクティブなユーザの身体部分のリアルタイム生成を提供する。上記のデータ保存および取り出しモジュールは、フォトリアリズム的な視覚イメージおよび他のユーザ刺激を描写し得る高パワーなワークステーションならびにペインティング、モデリングおよびスカルプティングソフトウェアを含む。これは、データ保存および取り出しモジュールの一部であり、データ保存および取り出しモジュールに保存される環境モデリングモジュールの固有の特徴であるため、大抵の環境モデリングモジュールは、すでに上述した。特に、立体知覚二重化コンピュータ、プリミティブイメージベーシックモデルファイル、位置付けおよび動き標準化データソフトウェア、イメージ前設計データ処理アレイおよびインタラクティブスループットイメージおよびサウンドプロセッサを参照のこと。環境モデリングモジュールの１つの局面は、Silicon Graphics’POWER Series workstationsによって提供されない、触覚感覚出力である。我々は、触覚情報が、観察される合成環境において視覚要素からカスケードプログラムされる書き込みソフトウェアを持っている。視覚要素のベクトル表面グラフは、ユーザによって選択される。この表面のベクトルは、シェープウォール（shapewall）ハードウェア内の画素アドレス指定されたポイントに翻訳され、必要な触覚表面パラメータを設定する。環境は、ユーザセッションに必要なすべての要素の３次元コンピュータ動画ファイルの前ユーザセッション形成に基づいてモデル化される。ユーザセンサモジュールは、ユーザの動きおよび位置に基づいて、可変トレッドミルに適切な速度および圧力、ならびに空気の速度を決定する。FM無線周波数信号によって動作され、制御されるユーザのブーツ内の袋は、足の触覚モードに影響を与える。アブソリュート環境に関しては、リアルタイムモードは、イメージ、サウンド、におい、触覚アクション、結合性共通機械言語およびファイル適用システムへの入力および出力を組み合わせるカスケードプログラミングを介して処理される。 IV．ユーザ刺激モジュール環境モデリングモジュールの出力は、ユーザ生物的感覚に入力されるように構築される。これは、目、耳、臭覚、および触感を意味する。これらの感覚のそれぞれは、環境モデリングモジュール出力を有する異なる感覚インターフェースを必要とする。ユーザの目に出力されるモデルの入力には、視覚を初めとして、本発明のいくつかの実施態様がある。これらの実施態様はすべて、環境モデリングモジュールの同一の一般的出力モード、特に、単一なコンピュートサーバ（compute server ）が、光学的にイメージをオフセットすることによって立体的な情報を生成する十分な範囲のラスタベクトル化モードから放たれる。本発明の視覚入力装置の第１実施態様は、このモデリングモジュール出力から、バイオ同期された周辺マイクロストローブおよび二重ビジョンLCDカラーアイモニタを用いる。この装置の図は、図９および図10に示される。この図では、マイクロストローブ216は、環境モデリングモジュールの視覚出力モードにおける種々のイメージ要素によってカスケード駆動される予め設定されたサイクルによってバイオ同期される。マイクロストローブ216は、ユーザのα波および他の脳波における情報を収集するアイピース生物学的フィードバックマッスルセンサ21 8および脳波センサ219によって制御される。ユーザヘッド230のピッチ、ロールおよびヨーは、センサ220によってモニタされる。これらのセンサはすべて、マイクロストローブの地理的に等しく、より早いオフセット速度を成し遂げる。ストローブは、脳ビジョン信号を分裂し、内部ビジョンイメージングを視覚皮質に生成させるように、非同期的に高速度でトリガされる。マイクロストローブ216 は、１側面に１つずつ、視覚入力装置228の下部コーナに配置され、スクリーン2 22を照射する。マイクロストローブは、寿命の長い高周波数超小型ストローブである。この実施態様において、立体視覚イメージは、環境モデリングモジュールにエンタされるプログラミング用語に応じて、信号出力モードでオフセットされる。プログラムは、人間の視差およびその他の人間の視覚特性を考慮して、コンピュータに最終視像を、互いにほぼオフセットされた２つのイメージとして生成するように指令する。イメージは、２つの方法：各目に対する多重イメージガイドに設けられた受信機（receipt）または各目における多重イメージプロジェクタのうちの１つで光学的に区別される。 LCD板222は、Sony（Model FDL-3305）およびToshiba（Model TFD 40W01）から入手可能であり、ヘッドピースに適合するように改変される。広角レンズ224およびフォーカスダイポーラ226は、イメージをユーザに対して正確にフォーカスするために設けられている。装置は、ベルト付きブロードキャストユニット232 に接続されている。視覚入力装置の第２の実施態様は、図11に示される。この実施態様では、ブロードキャストボード232は、アンテナ234またはバックアップアンビリカルを用いた接続236のいずれかを介してデータを受け取り、２つの高精細モニタ238および 240に動力を供給および給電し、２つの個別のイメージを形成し、これらのイメージは、レンズ242および244ならびに光ファイバスタック246および248を通してユーザの目に伝送され、ヘッドピース250で停止する。高精細モニタスクリーン238および240は、対角線方向で２から20インチの範囲である。いずれの場合にも、モニタは、最小1024ラインで1280ドットの名目上の解像度を有し得る。対角線方向で２インチから20インチまでのモニタから選択する場合、最も考慮しなければならないことの１つはモニタの重量である。対角線方向で２から４インチのモニタは、特別に形成されたベルト上にユーザによって搭載可能である。より大きなモニタは、ユーザが着用するには重すぎるため、生成イメージを遠隔地からアクセスするための設備が必要である。ユーザによって搭載されるユニットは、モニタに動力を供給するために、ブロードキャスト電力または電池を使用する。リモートユニットは、標準AC電力であり、配電されたイメージ受信機を有する。ユーザによって搭載されるユニットは、低電力ブロードキャスト受信機を使用する。図11に示されるように、イメージは、ファイバ束の一端において光学レンズ24 2および244を通して、モニタ238および240から光ファイバスタック246および248 に入力される。ある実施態様において、各イメージガイドにおける端部にシャッタが設けられ、単一な高精細ＴＶモニタ上で重畳走査に圧縮された立体知覚イメージを各目に分離させる。特別に設計されたヘッドバンド250マウントは、ユーザの目の前で光ファイバスタックのイメージ出力端部を保持する。図１に示されるこの視覚入力装置の１つの実施態様において、高精細ＴＶモニタは、チャンバを有する鋼鉄ガーダに搭載されるケーブルである。ユーザがチャンバ内を移動するとき、アセンブリ全体は、ユーザの動きを追従するように設計されている。視覚入力装置の第３の実施態様は、図12に示される。この装置は、低電力レーザダイオードイメージングパック232を介してイメージをユーザの目に直接配置するための直接網膜走査を使用する。本発明によると、網膜走査は、磁界フォーカスリング240およびレンズを介して、目の内部要素である網膜上にフォーカスされた標的アライメント上で電磁圧力フィールド242を介して走査される赤234、緑236および青238レーザダイオードを用いる。網膜走査装置は、既成のFDA安全要件を満足しなければならない。このアレイ全体は、一対のゴーグルのように着用される閉じたアイマスクユニット 248内に設けられている。目および注文によって製造された光学ユニット244の光学諸特性は協同して機能し、イメージを生物学的視覚受信機にフォーカスする。このユニットは、アンビリカル246と共に動作し、イメージをダイオードに配置するか、または低電力ブロードキャストを用いて、イメージデータをダイオード 234、236および238に伝送し得る。図13に示される視覚入力装置の第４の実施態様において、イメージは、光ケーブル258および260を介して、光シールド252ならびにレンズ254および256を通して、高精細カラーモニタ250から取られる。アイマスクである直立プリズム262および264はユーザ側設けられている。磁気またはオプトエレクトリカル同期シャッタは、アイピース262および264の前に設けられている。図14に示される付加的な特徴において、視覚イメージは、光ファイバケーブル 262を通して投影レンズ264まで搬送され、ハウジング268内に設けられ、弾性ヘッドバンド270によってユーザの目の表面の前で４分の１インチに保持されているマイクロスクリーン266に投影される。マイクロスクリーン266は、透過率が高く、投射光に面する表面に最も薄いレベルでつや消し面を有する半透明な樹脂プラスチック材料から形成されている。通常、スクリーンの寸法は、２インチ対1/ 4インチの楕円形状である。前面は、縁から1/2インチであり、幅1 1/2インチで高さ7/8インチの楕円である。マイクロスクリーンは、ハウジング288に設けられ、弾性コード270を介してユーザの頭に保持される。図15は、視覚入力装置の第５の実施態様を示す。高精細カラーモニタ272、274 および276がユーザのベルト上に設けられている。次に、第４の実施態様のように、レンズ、エンハンサ278およびマルチプレクサ／電界生成器280を介したフレーム連続の高密度光ファイバイメージ圧縮が、ユーザの目に出力されるイメージを投影するのに用いられる。光ファイバケーブル282は、左から右へ垂直方向に整列して結合され、傾斜して切断および研磨されている。これにより、束282は、ユーザの目には厚いチューブではなく平坦なリボン284として写る。イメージ信号は、フレームが連続し、３原色のそれぞれが、それ自信の高解像度および高輝度リモートHDTVモニタを有する。ファイバを通した光放出280は、基本的にイメージをより明るくする電磁結合電界生成器280によって増加される。光ファイバケーブル282は、直立プリズムを用いてユーザが見たい予想水平板上にイメージを配置する。ユーザ側では、光ファイバケーブルは、ユーザフォーカスのためのジオプティック（dioptic）調整を有し、最終立体知覚オフセッティングの場合の電子シャッタを有する。図14に示されるマイクロスクリーンも使用され得る。次の知覚インタフェース事象は、ユーザの耳で起こる。環境処理モジュールは、生成された視覚イメージに伴う多次元のディジタルサウンドを提供する聴覚信号を有する。上記のように、サウンド出力は、視覚イメージに対応するようにカスケードプログラムされる。聴覚入力装置には２つの実施態様がある。第１の実施態様では、マトリクス化された個別のマイクロスピーカが、多次元のサウンド出力を提供するように配列されている。この実施態様において、多重マイクロスピーカアレイは、床、中間および頂部レベルでチャンバの周囲に固定される。第２の実施態様では、多重超小型スピーカがユーザの耳の回りに配列されたヘッドホンのようなピースが形成される。８から14個のモノ信号に分離されるステレオ赤外線を介して聴覚信号は、ヘッドホンに伝送される。各信号の音量およびフェージングは自動化され、特定のイメージ要素に対応するようにカスケードプログラムされる。サウンド出力スピーカは、人間の耳のアーキテクチャと共に動作し、各サウンドが明らかに異なる地理的位置から出てきたように思わせるように、幾何学的パターン配列された全範囲小型スピーカである。好ましい実施態様の１つにおいて、我々は、Sony の小型スピーカを用いる。いずれの実施態様においても、スピーカはすべて、スイッチされ、音量変更され、フェーズおよび効果が変更された信号を「MIDI」インターフェース制御から取り出し、その信号を異なるポートを通してまたは所定のポートを通して同時に環境需要として伝送するマルチポートバスに接続されている。他のユーザ感覚入力は、３次元チャンバにおいて成し遂げられる。このチャンバ14（図１）は、ユーザの位置および動きデータを蓄積するセンサモードに関連してすでに上述した。チャンバは、システムユーザの生物学的感覚と相互作用するように形成されている。前述の視覚および音声入力に加えて、チャンバにはまた触覚出力システム24が備えられており、ユーザはそのシステムまで歩いていき、触覚を通して生成された環境を経験できるようになっている。触覚出力装置24は、チャンバの垂直壁と一体化されるか、または独立して設けられ得る。触覚出力装置24は、１フィート平方のモジュラセクションで構成され、これらのモジュラセクションは互いに取り付けられ、チャンバ内で任意のサイズの壁面または独立した直立ポッドを形成している。これらのモジュラセクションの１つは、接続ヘッドのそれぞれと内部接続する円形多角形テフロンヘッドを有する連続した数百（低解像度）または数千（高解像度設計）の金属ロッドを有する。ロッドは、以下に説明するように、画素型アドレッシングを介して前後に電気機械的に駆動される。３次元コンピュータベクトルグリッドイメージは、形状を設計するのに用いられ、ベクトルは、画素アドレスポイントに置き換えられる。ロッドは、生成される形状に応じて前後に駆動される。ロッドは、ロッドヘッドとユーザとの間に配置された交換可能な柔軟スキンを押す。ロッドは、解除され再形成されるまでレベルバイレベル（level-by-level）摩擦ブレーキを介して配置される。ロッドブレーキは、必要に応じてばねが設けられたロッドにより海綿状またはより岩状の感触を与えるばね度（degree of spring）の任務が当てられている。これは、ブレーキセットをより固くまたはより柔らかく設定することによって成し遂げられる。金属ロッドを駆動させるために空気インパルスまたは電空サーボが用いられ得る。磁気空中浮揚浮きも用いられる。編み込んでラミネートされた柔軟スキンの基本的なセットはロールダウントラック上に保存され、その環境の期待される表面に対する各経験に簡単にインストールされる。グローブはまた、柔軟壁スキンと連結して用いられ得る。これらの手袋は、ロッド形状の壁とのインタラクションの影響をさらに和らげ得るもう一層の詰め物を有し得る。上記のように、スタンドアロンモジュールをチャンバ内にセットアップし、小物を刺激することが可能である。モジュールは、衝突防止近接センサおよび独立した移動する車付きベースを有する簡単なメカノイド（me chanoid）であるロボットによって駆動される腰壁上に配置され得る。ロボットは、カスケードプログラミングによってチャンバ内で位置を割り当てられ、ロボットはまた、チャンバ床アンテナグリッドを参照することによってその位置を見いだすことが可能である。これらの触覚ユニットはまた、同様の画素アドレッシングシステムを有する圧縮空気ストリーム性能が備えられ、異なるタイプの効果または感触を伴った後部圧力表面刺激を形成する。ロッドおよびジェトストリームは、同様のブロックで構成され得る。触覚出力装置の画素アドレッシング機構は、図16に例示される。復号化器ブロック286は、環境モデル出力にアクセスし、次に、データおよびアドレスブロック288および290をエンタする。ラッチブロック292は、画素にX、Y座標アドレスを提供し、サーボモータは、ブロックMSB294およびブロックLSB296によって駆動される。UNIXプログラミングコードにおいて、コールは、 texture_-pad（x，y，pin_-height，device） Int x，y，Pin_-height，device 画素アドレッシングの２ポート機構は、図17のブロック図に示される。この機構は、１画素当たり４ビットの中間解像度表示または１画素当たり１ビットの高解像度表示を支持し得る８個の16Kx1 4116ダイナミックRAMチップを３アレイ使用する48Kモジュールをサポートし得る。上記の実施態様は、バンク切替え手段によってアプリケーションから読出し／書込みアクセスを実施し、その結果主要メモリと同様にメモリ位置がアドレス指定される。プログラマにとって、２ポート機構のコールは、やはり以下のようである。 Texture_-block（x，y，pin_-height，block_-device） unsigned int x，y，pin_-height，block_-device 次に、プログラムは、バンク切替えのメモリアクセス詳細を処理し、ビデオ表示板は、テクスチャパッドには必要とされない内蔵切替え機構に従って一度に３バイトずつメモリ内容を読出し、表示する詳細を処理する。4116sは、ピンの高さを変え、応答時間を決定するアクチュエータ回路によって置き換えられる。この２ポート機構は、その目的を811[MU]秒サイクルで成し遂げ、この時間の半分は、一度に１バイトのホスト読出し／書込みに使用され、残りの半分は、ビデオ表示メモリアクセスに用いられる。ロッド駆動触覚ユニットの場合、以下を加える： Texture_-wall（x，y，pin_-height） Unsigned int x，y，pin_-height ここで、範囲のチェッキングおよび装置のブロッキングが行われ得る。ユーザ刺激モジュールは、臭覚出力装置を有する。有機および無期化合物を生成する臭気からの蒸留油を含有する小さなガラス瓶は、自動血液分析器で使用されるのと同様の液体瓶搬送アクセスを有する保存ラックに保存される。カスケードプログラミングは、小出力を視像に接続する。加熱滴下パッドは、指令されると、臭気をチャンバに導入するのに用いられる。ユーザ刺激モジュールの他の構成要素は、図１の車両シミュレータである。これは、輸送されている間にコマンドを動作するユーザのダイナミックフォーカスおよび形成ステーションを形成しながら高速および長距離フライトをシミュレートする。これは、ユーザの遠近感覚を変更する機能制御を有する。上記のように、ユーザは、内部の足底が、空気圧力または電気DC電流入力からの刺激によって硬くなるかまたは柔らかくなり得る材料で満たされた袋を含有する特別に設計されたブーツを着用し得る。このブーツは、データのラジオ伝送を介して内部足底を駆動し得る受信機を有する。チャンバには、ユーザに刺激を与えて前後移動を刺激する空気ジェットストリーム34などのエンハンスメント機構（enhancement）が備えられている。音波共鳴器はまた、ユーザの頭脳機能をリラックスさせ、合成環境モデリング出力に対する感受性を高めるために取り付けられ得る。温度変化は、チャンバ温度を調整するか、またはユーザのスーツ内の温度を変更することによって実施され得る。 V．一次制御モジュール全システム動作は、一次制御モジュールによって制御される。高端末システムにおいては、これは、制御室のことを意味する。単一ユーザシステムにおいては、これは、管理自動ソフトウェアを意味し得る。図１に示す実施態様で示されるように、一次制御モジュールは、チャンバ14と物理的に隣接し得る。より小さな個人的なシステム30の場合、一次制御モジュールは、ワークステーションに直接内蔵される。より大きな構成の場合、一次制御モジュールには、二人のモニタ技術者が配置され得る。他の構成では、システムは、制御モジュールを全自動に設定し得る。一次制御モジュールには、種々の機能が割り当てられる。制御モジュールには、時間管理およびスケジューリングソフトウェアが備えられ、システムファイルをモニタし、アカウンティングチャージを適切なアカウントに割り当てる。制御モジュールは、メモリの記録保持能力および他のシステム能力を提供する。一次制御モジュールは、入力コンソールおよびワークステーションを有し、データ入力、前セッションイメージングおよび他の準備、ならびにユーザ刺激入力の制御を含む環境モデリング出力のセッション中制御を可能にする。一次制御モジュールは、リアルタイムカメラモニタを用いてリモートプローブ動作を追従する。このモジュールは、記録と連絡し、ユーザ健康遠隔測定データをモニタする。モジュールは、システム活動パラメータを保存するディジタル活動レコーダを有する。一次制御モジュールは、すべてのスタッフ、ユーザおよび技術者との聴覚−視覚連絡を提供する。モジュールは、すべての機能システム構成要素およびデータ収集ギア上に読み出されたスクリーンを維持する。一次制御モジュールは、ユーザの動きを追従するようにマトリクス化されたピッチ、ロールおよびヨーの動きを含む可変波長感覚をもつ、二重CCD、カラー、高解像度、人間の目と位置合わせされた、自動、実装ビデオカメラを有する視覚モジュールを通常備えたリモートプローブに対して制御を維持する。一次制御モジュールの他の特徴は、ユーザメニュである。ユーザの視界に入るグラフィック半透明イメージがある。ユーザがコマンドグリッドの方に手を挙げると、ユーザが目指しているメニュ駆動コマンドボタンは、ユーザの指が近づくにつれて明るくなる。このイメージエンハンスメントは、標的を目指す手助けをする。駆動されると、ボタンは明るくなり、「ビン（binks）」という音がなって、次にコマンドメニュは消える。コマンドメニュはまた、声の起動「COMMAN G RID」を介して呼び出され得る。ユーザは、単一なメニュ、一連のメニュを呼び出すか、またはマスタメニュから直接動作し得る。ユーザは、チャンバワークステーションのいずれかのキーボードが実施し得る機能を呼び出し得る。ユーザは、すべてのパラメータのすべての局面を制御するか、またはインタラクティブなセッション中の環境を書き込むように要求され得る。リモートプローブの場合、ユーザは、リアルタイム活動を制御するためにコマンドメニュを広範囲に使用する必要がある。本願では、本発明を特定の実施態様と共に説明したが、ある変更は、添付の請求の範囲の範囲内で実施され得ることは、当業者に明白であり得る。 VI．システム内コミュニケーションモジュールシステムのこのモジュールは、声で起動されるコマンドを可能にするように設計されている。このモジュールは、システムユーザから一次制御モジュール、または一次制御モジュールに配置される技術者へのコミュニケーションをカバーするように設計されている。ユーザは、電磁スペクトル伝送モードを介してシステムに接続されたマイクを供給され得る。システム内コミュニケーションモジュールは、コマンドの送出およびデータの受信を含むリモートプローブからのコミュニケーションを提供するように設計されている。現在、Kurzweilの声コマンドシステムは、本発明による特定のユーザセッションにおいて使用され得るアプリケーションをベースにした語彙を形成するのに入手される。特別なフロッピディスクまたは他のポータブルデータ保存装置は、ユーザ特定の音声およびユーザセッション用ユーザの声認識情報を導入するのに用いられる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＧＢ，ＨＵ，ＪＰ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＵ，ＬＶ，ＭＧ，ＭＮ，ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＫ，ＵＡ，ＵＺ，ＶＮ

Claims

【特許請求の範囲】１．ユーザとのインタラクション用の合成およびアブソリュートリアルタイムリモート環境を生成および処理するシステムであって、内部接続要素として、ａ）高解像度ディジタルイメージ、サウンド、および位置座標データを保存し、該保存されたデータを瞬時に取り出すデータ保存および取り出し手段であって、自然オブジェクトのイメージファイルと、自然サウンドのディジタルサウンドファイルと、保存および取り出しの効率的使用のためのイメージ圧縮ソフトウェアと、プリミティブイメージベーシックモデルファイルと、イメージ前設計データ処理アレイと、インタラクティブスループットイメージおよびサウンド処理とを有する、データ保存および取り出し手段と、ｂ）補助マトリクス化された平均化システムを用いて、３次元マトリクス内のユーザの身体の位置および動きを非侵入的に感知するアンビリカルのないセンサ手段であって、ユーザ健康遠隔測定データをさらに感知する、アンビリカルのないセンサ手段、ｃ）予め選択されたコマンドおよびパラメータを用いて合成およびアブソリュート環境出力のリアルタイム生成を行う環境モデリング手段であって、該データ保存および取り出し手段に保存され、該データ保存および取り出し手段とインタラクティブであり、マイクロコンピュートサーバ並列データ処理技術を用いて、ユーザが観察するインタラクティブな身体部分を含む合成イメージ、サウンド、フォース、および動きを現実的な精度で描写する、環境モデリグング手段と、ｄ）該環境モデリング手段によって生成されるアブソリュートおよび合成環境出力を、該ユーザの目への３次元視覚入力、該ユーザの耳への多次元サウンド入力、および該ユーザの手、足および他の身体部分への触覚入力を介して、該ユーザの生物学的感覚に入力するアンビリカルのないユーザ刺激手段と、ｅ）該データ保存および取り出し手段、該センサ手段と、該環境モデリング手段と、該ユーザ刺激手段との間にインターフェースコマンドを有する、全システム動作用の一次制御手段と、ｆ）該一次制御手段へおよび該一次制御手段からの該ユーザによる口頭コミュニケーションのためのシステム内コミュニケーション手段とを有し、これによって、合成もしくはアブソリュート環境、またはその組み合わせの該ユーザによる選択は、該システム一次制御手段とコミュニケートされ、次に、該システム一次制御手段は、該選択を該環境モデリング手段にコミュニケートし、それによって、該ユーザは、該選択され、生成され、連続して処理された合成およびアブソリュート環境出力と、該センサ手段および該ユーザ刺激手段を介して相互作用することが可能となる、システム。２．前記アンビリカルのないセンサ手段が、前記ユーザの身体、頭、手および足に直接または間接的に設けられた非侵入的なデータポイントと、壁、天井および床を有する３次元チャンバであって、システムユーザを受け入れ、該チャンバ内に該システムユーザの動きを収容するように設計され、電磁放射源および受信機が、補助マトリクス平均処理される信号を生成および収集し、該チャンバ内の該ユーザの位置および動きをモニタするように、該チャンバ壁、床および天井に配置されている、チャンバとを有し、それによって、該位置および動きデータが、前記データ保存および取り出し手段および前記環境モデリング手段に連続して伝送され、処理される、前記請求項１に記載の装置。３．前記アンビリカルを有さないセンサ手段が、前記チャンバ内のユーザ位置および動きデータをモニタするために処理されるビデオイメージデータを収集するための、該チャンバ壁、床および天井に設けられたビデオカメラをさらに有する、請求項２に記載の装置。４．前記ユーザ刺激手段触覚入力が、嗅覚入力、音波ランブリング、可変温度および可変風速を含むグロス環境条件ユーザ感覚入力を提供するように設計されている３次元チャンバを有し、該チャンバが、長方形マトリクスのロッドが、個別に電気機械的に操作され、前記ユーザの触覚とのインタラクション用の前記環境モデリングの出力の一部として形状およびテクスチャを生成することを特徴とする、ユーザインタラクティブ触覚入力と、該環境モデリング手段の出力を該ユーザの触覚に入力するために膨脹または収縮し得る可変する袋を有するユーザブーツと、該環境モデリング手段の触覚出力を入力するための可変抵抗トレッドミル手段とをさらに有する、請求項１に記載の装置。５．前記３次元チャンバが、前記ユーザを受け入れるように設計され、前記環境モデリング手段の出力の認知を引き上げるために安全に上下動および傾斜するように設計されている静止乗り物シミュレータをさらに有する、請求項４に記載の装置。６．生物学的な感覚を有するユーザと、合成およびアブソリュートリアルタイムリモート環境を生成および処理するシステムとの間にインタラクションを起こさせる方法であって、ａ）３次元マトリクスにおけるユーザの位置データを非侵入的に感知し収集する感知手段と、保存されたイメージ、サウンド、触覚データ、ならびに感知および収集されたユーザ位置データに基づいて、合成およびアブソリュートリアルタイムリモート環境出力を生成および処理する、データ保存および取り出しを含むモデリング手段と、ユーザの生物学的な感覚インターフェースに出力され、該モデリング手段で生成および処理された環境との直接的なコミュニケーションのためのユーザ感覚入力手段と、該感知手段、該モデリング手段、および該ユーザ感覚入力手段の中でデータを制御、収集、処理およびコミュニケートする主要制御手段とを提供する工程と、ｂ）選択される環境の生成および処理に有用なデータのサブセットの物理法則パラメータおよび創造の前選択を含む、インタラクション用に保存された環境の形式を選択する工程と、ｃ）位置データを生成する感知手段および該生成され処理された環境出力との相互作用を行う工程と、を包含する方法。