JPH09500747A

JPH09500747A - 音響制御されるコンピュータ生成バーチャル環境

Info

Publication number: JPH09500747A
Application number: JP7505171A
Authority: JP
Inventors: ボラス、マーク; マクドウォール、イアン・イー; ボラス、マイケル・エヌ
Original assignee: フェイクスペース・インコーポレイテッド
Priority date: 1993-07-14
Filing date: 1994-07-12
Publication date: 1997-01-21
Also published as: WO1995003588A1; US5513129A; EP0710380A4; AU675570B2; AU7324794A; EP0710380A1; CA2166980A1

Abstract

(57)【要約】音楽信号（１）に応答してバーチャル環境を制御し操作する方法及び装置である。音楽は制御と操作を有効にするために直接解釈される。この代わり、音響信号に対応する制御トラックは予め記録され（１Ａ）、音響信号とともにプレイバックされる。制御トラックは処理（３）されて、バーチャルワールドを制御し操作する。本発明はコンピュータ（７）を使用して音楽、制御トラック（１Ａ）、又はそれらの両方を解釈し、その結果の情報を使用してバーチャル環境の物体を修正し、生成し、及び／又は制御する。

Description

【発明の詳細な説明】音響制御されるコンピュータ生成バーチャル環境発明の分野本発明は、音楽信号に応答して、又は（音楽信号のような）音響信号に対応する予め記録された制御トラックに応答してコンピュータシステムを制御する方法及び装置に関する。好ましい実施例においては、音楽信号に応答して、又は音響信号に対応する予め記録された制御トラックに応答してコンピュータ生成バーチャル環境（又はバーチャル環境の中に表示されたバーチャル物体）を創造及び修正さもなければ制御する方法及び装置に関係している。発明の背景「バーチャル環境」、「バーチャルワールド」、及び「バーチャルリアリティ」の用語は、コンピュータ模擬環境（没頭できるように意図された）を記述するのに使用される。前記コンピュータ模擬環境は、グラフィック表示（ユーザの第１人視界（user's first person perspective）から、ユーザが没頭できるように意図された形態）と、オプションとして環境の音を模擬する音を含む。略語「ＶＲ」は、ここでは「バーチャルリアリティ」、「バーチャル環境」、又は「バーチャルワールド」を表すのに使用される。バーチャル環境を生成する、ソフトウェアでプログラムされたコンピュータシステム及び周辺機器は、ここではＶＲシステム、又はＶＲプロセッサとして言及される。ＶＲシステムによって生成されるグラフィック表示は、２次元（２Ｄ）又は３次元（３Ｄ）の表示とすることができる。典型的には、ＶＲシステムは入力装置とユーザインターフェースソフトウェアを含み、これによりユーザは表示されるシーンと相互作用し、典型的にはバーチャル環境中の運動、又はバーチャル環境中の物体（バーチャル物体）の表示された像（representation）の操作をシミュレートすることができる。典型的には、バーチャルリアリティシステムの中に没頭（immersion）できる幻影（illusion）は、ユーザの見る関心（viewing inte- rest）の領域に沿ってコンピュータに像を生成するように命令（direct）するヘッドトラッキング（head-tracking）又はいくつかのそのようなシステムを用いることによって強調される。本発明はバーチャル環境を生成し及び／又は制御するのに特に有用な方法及び装置である。発明を具体化するＶＲシステムは、音楽に応答して、又は（音楽のような）音響信号に対応する予め記録された「制御トラック」に応答して、広範囲の愉快なバーチャル環境及びバーチャル物体を、迅速かつ安価に、生成し、活動（animate）させ、さもなければ制御することができる。現在、ＶＲシステムは、研究者又は化学者の社会において使用されているが、娯楽装置として消費者の電子マーケットに届くように、安価になり、釣り合っている。ＶＲシステムは、他の電子メディアで生成されるものよりも多い膨大な内容データ（環境の外観や音をシミュレートする像データや音響データ）を生成しなければならない。ビデオゲームシステムは生成する複雑なシーンやプログラムされるテーマを必要とするが、そのシステムはゲーム内容の範囲を容易に制限することができる。なぜなら、そのシステムは、プレーヤにいくつかの簡単な方向（例えば、左右）に移動することを容易に強いることができ、表現される像をフラットなスクリーンモニタ又は簡単な３次元連続型のモニタに生成することだけが必要だからである。これと対照的に、ＶＲシステムは、まさにその性質により、ユーザが多くの異なる方向及び位置を見回したり、飛び回ったりすることができる。ユーザが左右のみを見ることを強いられる場合でも、ＶＲシステムは３Ｄワールドの完全な表現を構築しなければならない。この複雑性により、消費者の娯楽マーケットに対するバーチャルワールドを迅速に生成するが大変に困難になっていた。バーチャルワールドに対する静的３Ｄモデルを生成することの複雑性に加え、バーチャルワールドの動性（dynamics）を制御することも困難であった。現在までのＶＲシステムは、非常に退屈させる殆ど静的な環境で有名である。バーチャルワールドの動的な動作を含む数少ないＶＲシステムは、（重力のような）物理学的法則にその動作の基礎を置いているか、人間のユーザによって形成される対応動作（corresponding motion、例えば、従来の「グローブ」入力装置を身につけたユーザの指の動作）にその動作の基礎を置いている。本発明は、入力音楽信号に振付け応答（choreographed response）して、内容データ（すなわち、動画像データ（animated image data）及び音響データ）を生成してバーチャル環境を満たし又は住まわせる（populate）方法を提供することによって、従来のＶＲシステムの制約を克服する。長い間、バーチャルワールド内でのバーチャルミュージカルインストルーメントの可能性や新しく新規なインストルーメントの生成に関するバーチャルリアリティ分野に興味があった。本発明は、音楽とバーチャル環境を組み合わせることの従前の試みから根本的に変化（shift）している。従来の音楽とバーチャル環境を一体化させる努力は、現在まで、全てバーチャル環境からの音楽の生成に向けられていた。ユーザの音楽的表現は生むことを求められる衝動として取り扱われ、バーチャル環境は特別な身体的熟練を学ぶことなくユーザが音楽やダンスを実行する実行手段（vehicles）として見られてきた。バーチャル環境の中のバーチャル物体からくると思われるような音楽を作る多くの努力がなされた。これは、ＶＲシステムに音響を走らせ、バーチャル環境の中のある場所から来るように思わせる方法でその音響を巻き付けることによってなされてきた。例えば、ＮＡＳＡアメスビューラボ（NASA Ames View Lab）、スコットフィシャー（Scott Fisher）、リックジャコビィ（Rick Jacoby）、及びその他の研究バーチャル環境。研究の１つの局面は、音声のバーチャル体験への一体化であった。これは、人がバーチャル物体に衝突するとその人に告げるといったような目的のオーディオキュー（audio cues）の使用を含んでいたが、そのような事象の触覚的なフィードバックはなかった。研究は、バーチャルワールドのコンテクスト（context）中に音楽を創造するというさらに芸術的なワールドに押し入った。マークボラス（Mark Bolas）とフィルストーン（Phil Stone）は、バーチャルテレミン（Virtual Theremin）とバーチャルドラムキット（Virtual drum kit）創造した。このシステムでは、ユーザはグローブ（glove）とハンドトラッカー（hand tracker）を身に着け、グローブを着けた手を動かして、種々の合成パラメータ（synthesizer parameter）に連結されたバーチャル物体を操作する。このように、（例えば、１９９１年１月２９日に発行されたアメリカ特許第４９８８９８１号に教示されているように）バーチャル物体を操作することによって、音質の異なった音を創造することができた。熟練したユーザは現代的な間奏曲（ modern sounding musical interludes）を創造することができた。これらのアイデアは、多数の公衆パフォーマンスを行ったジャロンラニア（Jaron Lanier）のような人々によって進められ、その中で彼はバーチャル物体を操作して音楽パフォーマンスを創造した。これらのラインに沿った調査や研究は、続行することが期待されている（バーチャル「エアギター（air guitar）」等はおそらく発展する）。このタイプのＶＲシステムでは、バーチャル物体の操作により音又は音楽を変更することができる。現在、バーチャルワールドは、シミュレーションと多数の物体を描写することによって創造される。物体の相互作用は、シミュレーション言語又はグラフィカル描写のいくつかの形態で描写されている。伝統的に、物体の制御及び創造はソフトウェア「ワールドビルディング（world building）」によってドライブされる。一旦、バーチャルワールドが創造されると、限定された数のそのパラメータがユーザによってバーチャルワールドの「内側（inside）」から操作される。これらのデータベースが如何に生成されるかは、ＶＰＬリサーチインコーポレーテッドによるＰＣＴ国際出願ＷＯ９２／０９９４８に記載されている。ＷＯ９２／０９９４８から明らかなように、ＶＲシステムにおいて、バーチャルワールドの中の全てのあるいはいくつかのバーチャル物体に対して動画（animation）を定義し創造することは非常に困難であった。本発明までは、バーチャル環境を定義するデータベースの中のノード（nodes）にインターフェースをとること、及びそのノードを音楽に基づいて操作することは提案されなかった。従来のＶＲシステム及び音楽は、これまで次のような欠点を有する方法で一緒に使用されてきた。（ａ）ＶＲシステムはバーチャル楽器として使用されてきた結果、ユーザは（入力装置を操縦することによって）バーチャル楽器を「演奏」して全てを聞かなければならない。これは、システムが音楽を創造し、システムの音楽出力がユーザの「楽器」を「演奏」する能力に制限されることを意味する。（ｂ）バーチャル物体に音楽を与える（例えば、システムがバーチャルの台所流しを表示し、該流しの位置からくるように思われる「ポタポタ」落ちる音を創造する。）ＶＲシステムは、ユーザの入力装置の操作又は内部プログラムに応答してＶＲシステムの中で信号を生成し、その信号をシンセサイザーによって演奏することによって音を発生させることを必要とする。シンセサイザーによって生成される音は、入力装置の操作に応答してＶＲシステムからキューされる。（その入力操作により、例えば、ユーザはある位置に入り込んでバーチャル台所流しを見るか、あるいは相互に作用することができ、これにより音が発生するように思われる。）このように、これらのＶＲシステムは、ユーザが入力装置を操作して、バーチャル環境の中の物体の外観又は動作を制御し、ＶＲシステムに音楽事象の創造をキューさせることに依存してきた。（ｃ）ＶＲシステムは、バーチャル環境に対するバックグラウンドミュージックとして音楽の楽譜を演奏してきた。基本的に、現在までのパラダイムは、（バーチャル）物体駆動音（object-dri ven sound）であった。本発明は、このパラダイムを逆転して、音楽駆動物体（m usically-driven object）を有するシステムを創造する。１つのＶＲシステムが開発されている。このシステムでは、ＶＲプロセッサは単純な操作を実行するようにプログラムされ、音声命令に応答してバーチャル環境を修正する。このＶＲシステムは、１９８８年−１９８９年の間にＮＡＳＡアメスビューラボで開発され、人間のユーザからの音声命令に応答して、バーチャル物体を表示したり、バーチャル物体の表示を終了したりすることができた。しかしながら、このシステムは、音楽に応答して、あるいは、音響信号に対応する予め記録された制御トラックに応答して、バーチャル環境を創造し、修正し、又は制御しなかった。ＶＲ界の外では、音楽のような音響信号に基づいて可視光効果（visual light effects）をユーザに与える装置を提供する多くの試みがなされた。しかしながら、これらのシステムは、視るに失望させるものであり（主に、ライトショーは２次元であり、音響入力と明らかに相関していないからである。）、市場に出されるとやはり当て外れであった。音響信号に基づく可視光効果を生成する従来の装置の例は、アメリカ特許第４０８１８２９号（１９７８年３月２８日発行）に記載されている。この装置は、音響入力信号に応答して、テレビ受像機のスクリーン上で２次元リング又はソリッド形状の表示を制御する。しかしながら、２次元形状の制限されたセットのみが表示され、それらの形状又は色の制限された変更のみが音響入力に応答して実行されるだけである。音響信号に応答して可視光効果を生成する従来の装置の他の例は、アメリカ特許第４２５７０６２号（１９８１年３月１７日発行）に記載されている。この装置は、ユーザによって身に着けられるアイウェア（eyewear）に装着された１組みのランプを、音楽に応答してオン，オフすることによって制御する。音楽の特定の周波数帯域のピークレベルが検出され、他の異なったランプのオン，オフに利用される。音響信号に応答して可視光効果を生成する他のシステムは、１９９３年１月発行のニューメディア（NewMedia）誌（１８頁）に記載されている。そのシステムは、シリコングラフィックスアイリスインディゴワークステーション（ Sillicon Graphics Iris Indigo workstation）を含み、（コンサート中にマイクロフォンで収集した）騒音と、ワークステーションに供給されたＭＩＤＩフォーマットのライブ音楽に応答して、音波の色付き可視的描写（コンサートホールの大スクリーンに表示される）の外観を変更する。信じられることは、予め記録された制御トラック（音楽のような予め記録された音響に対応する）はコンピュータシステムの操作の制御、例えばＶＲコンピュータシステムによるバーチャル環境の創造の制御に利用されなかったことである。さらに信じられることは、（例えば、バーチャル環境に音楽に応答して動く動画のバーチャル物体を住まわせることによって）ＶＲシステムによるバーチャル環境の創造の制御に使用するための制御信号は音楽からは引き出されなかったことである。発明の概要好ましい実施例では、本発明は、音楽信号及び／又は音楽信号対応する予め記録された制御トラックに応答してバーチャルワールドを創造し制御するコンピュータシステム及びコンピュータ実現方法である。このシステムは、バーチャルワールドを創造を制御するコンピュータソフトウェアと、生の又は予め記録された音楽（及び／又は予め記録された制御トラック）との間のインターフェース手段を含む。本発明は楽器としてのＶＲシステムの従来の使用を越え、ＶＲシステムを音楽によって駆動されるバーチャルステージとして利用することができる。他の実施例では、本発明は、音響信号に対応する１又はそれ以上の予め記録された制御トラックに応答して、あるいは、そのような予め記録された制御トラックと音楽信号の両方に応答して、コンピュータシステムの操作を制御する。入力音楽から制御信号を生成し、又は、適当なフォーマットで予め記録された制御トラックをＶＲシステム又は他のプロセッサに送信する、本発明のシステムの要素は、ここでは「アコースティックエッチ」システム、又は「アコースティックエッチ」という。好ましい実施例では、本発明は、音楽を利用してバーチャル環境を操作し又は制御する。これはいくつかの方法で実行される。音楽はバーチャル環境と直接相互作用することができないので、アコースティックエッチが音楽を（電子や、音響、又は光学的な形態で）受信し、制御信号を生成する。この信号はＶＲシステムによって使用され、バーチャルワールドにおける活動に影響を与える。音楽から引き出される制御信号は、音楽から直接引き出してもよい。例えば、アコースティックエッチは、単純な（公知のグラフィックイコライザ（equalize r）によって使用される同一のタイプの）アルゴリズムを利用して、いくつかの周波数帯域の音楽のビート（例えば、帯域表現ドラム（band representing drum ））、又はある周波数帯域の音楽の他のいくつかのパラメータを示すリズム信号を引き出すことができる。リズム信号はＶＲシステムに送信され、ＶＲシステムは制御信号を生成してバーチャルダンサー（又は他の動作するバーチャル物体）のリズムを制御する。ＶＲシステムによって処理するために音楽それ自身から信号を引き出すことの代案（又は追加）として、本発明はＶＲシステムに音楽に対応する１又はそれ以上の予め記録された制御トラックを供給することができるし、あるいは、予め記録された制御トラックから制御信号を生成しそして当該信号を処理のためにＶＲシステムに供給することができる。例えば、制御トラックは、ステレオ音楽信号の左右のトラックに沿って予め記録することができる。次に、予め記録された制御トラック、すなわち左ステレオトラックと右ステレオトラックは、（同時又はそれらの間に選択された遅延をもって）再生され、ＶＲシステムによってパラレルに受信される。制御トラックは、音楽信号に応答して自動的に（例えば、電子信号処理回路によって）生成し、それから記録することができるし、また、人から（その人がそのような音楽信号を聞いている間に）マニュアルで表明された命令に応答して生成し、それから記録することもできる。予め記録された制御トラックは、本発明のいくつかの予想される（例えば安価な）ＶＲシステムの実施例によって簡便に実行されるものよりも精巧に分析された対応する音楽信号を示すことができる。ダンサーの配置やリズムは、例えば、予め記録された制御トラックにエンコードすることができる。予め記録された制御トラックは、以下のものを含むいくつかの特徴や利点を有する。（ａ）歌全体を制御トラック（例えばダンサーの配置やリズムを示す）を用いて振り付けして、予め記録することができる結果、制御トラックは予め記録された振り付き音楽作業の一部をなす。（ｂ）制御トラックは、ダンサー又は他のパフォーマーの絵のようなより高いレベルの情報を含むことができ、それをＶＲシステムによってバーチャル環境におけるパフォーマーの像を表示するためのソースデータとして使用することができる。（ｃ）制御トラックの媒体は音楽のそれと同じである必要はない。例えば、音楽は、制御トラックがコンピュータゲームカートリッジ又は他の媒体に記録される間に、コンパクトディスク（ＣＤ）に記録してもよい。（ｄ）制御トラックと音楽の同期はＶＲシステムの制御のもとに実行することができ、それは、制御トラックを使用して音楽と同期させることができるし、その逆もできる。（ｅ）制御トラックは、該制御トラックからくる情報を使用するＶＲシステムに要求される「遅延時間」をアカウントする方法で、エンコード（又は処理）することができる。これにより、ＶＲシステムが動画化されたバーチャルワールドの特定のフレーム（frame）を「引き出す」のに長時間を要求するときでさえも、音楽とＶＲシステムから出力されるグラフィックデータとの間の明らかな同期が改良される。（ｆ）予め記録された制御トラックは、本発明のいくつかの実施例が音楽表現を自動的にデコードする手段を含む必要性を排除することができる（音楽表現の自動的デコーディングは殆ど理解できない）。例えば、オペレータは音楽と感情的にリンクされた制御トラックを記録することができる。次に、ＶＲシステムは制御トラックを種々の制御信号に容易に変更し、そして（制御トラックのない状態で）音楽を直接処理して実行するものよりもさらに反復可能で興味のある結果を生み出すことができる。予め記録された制御トラックを使用することの主な欠点は、制御トラックを前もって発生させて記録しなければならないし、その後にある方法で再生しなければならないことである。それは音楽とともに送付（deliver）しなければならないが、これをなす簡単な方法は物理的記録媒体と同じである。（予め記録された制御トラックを処理することよりもむしろ）音楽を直接処理する本発明の実施例の利点は、音楽及びそこから生成されるＶＲ制御信号が、制御トラックおよびそれから生成されるＶＲ制御信号よりも独立していることである（そして、種々の方法のいずれかと関係づけることができる）。音楽を直接処理する実施例では、視覚的な体験及びＶＲと音楽との感情的結合がより緩やかである。なぜなら、その解釈（interpretation）は一般的には音楽信号およびそれらの処理に関係しているからである。しかしながら、特定の処理アルゴリズムは、特定の歌に対してはＶＲシステムによって使用され、これによりアルゴリズムを音楽に合わせることができる。本質的には、本発明の好ましい実施例は、音楽を使用し、洗練された（ＶＲシステムによって使用可能な形態の）音楽の「トラック」を生成する。この情報の解釈は依然としてＶＲシステム、又はコンピュータシステムにによって実行される特定のＶＲソフトウェアに依存している。異なるＶＲシステム（又はプログラム）は単一の生の入力信号に応答して異なった制御信号のセットを生成することができるという意味において、同じ「生の」音楽又は制御トラックは、異なるＶＲシステム（又はＶＲソフトウェアプログラム）によって異なって解釈される。この代わり、同じＶＲシステム（又はプログラム）は、異なった時間に、同じ「生の」音楽又は制御トラックを異なって解釈することができる。制御トラックは、ＶＲシステムの応答をプログラムし、そしてこれによりシステムを特定の歌にあわせるように使用することができる。目的及び効果以上のように、本発明の種々の実施例の目的及び効果は、バーチャル環境の物体の制御及び操作のために音楽（又は、他の音響）から情報を引き出す装置を提供すること。バーチャル環境の物体の制御及び操作のために音響（好ましい実施例では音楽）とともに予め記録された制御トラックを使用する装置を提供すること。ＶＲシステムの他の要素によって導入されるラグ（lag）を補償するために音響（これに応答して制御信号が生成される）を遅延させるＶＲシステムを提供すること。音楽が動画化されたグラフィカルシーンの表示を有効に引き出すバーチャル体験を提供すること。バーチャル環境を記述するデータベースを、バーチャル環境の物体の全ての動作を定義しなければならないことから軽減するような方法で、バーチャル環境を制御しそれに影響を与えるのに音楽が使用される機構を提供すること。バーチャル環境に影響を与え及びそれを制御するための制御トラックあって、そこでは、特定の混合に使用される（多重トラック音楽ワークの）個々のトラックがミックスダウンされる前に利用できるときに、音楽の記録及び生成プロセスの間又はその後に、その制御トラックが生成されるような、制御トラックを提供すること。対応する音楽から引き出される情報以外の（例えば、パフォーマーの顔の像のような）情報を含むことができる制御トラックを提供すること。さらなる目的及び効果は、既に高レベルの生成品質を有する音楽からバーチャル環境の迅速な生成と動画化を提供することである。図面の簡単な説明図１は、本発明に係るシステムの好ましい実施例のダイヤグラムで、そこでは音楽源はアコースティックエッチシステムによってＶＲシステムに接続されている。ブロックは、物理的に別の物体に表れてもよいし、表れなくてもよい（幾つかのブロックは単一装置で実行される）。図２は、図１の実施例に於ける変形例のダイヤグラムで、そのアコースティックエッチシステムは予め録音された制御トラックを受け取り、あるいは、含んでおり、制御トラックに対応する音楽はＶＲプロセッサにストアされた制御トラックの出力を挿入するように使用される。図３は、制御トラック及び対応する音楽信号のグラフで、制御トラックに対応してイニシャル処理を行う間、システムの他の部分において、制御トラックが音楽信号に関し、導入を希望する遅延を補償するのに十分となるように位相をシフトされている。図４は、図１のシステムで作動するアコースティックエッチ装置の変形例のブロックダイヤグラムである。図５は、図６に示されるシステムによって再生するために制御トラックと共にオーディオテープを作成するためのシステムのブロックダイヤグラムである。図６は、図５のシステムによって作成されるオーディオテープの再生用システムのブロックダイヤグラムである。図７は、ブロック１２０Ａ及び１２０Ｂを調整する全ての信号を実施するのに適した回路ダイヤグラム図である。図８は、（図５の）テープＩＦコンバータ１４０Ｘ又は１４０Ｙのいずれかを実施するのに適した回路ダイヤグラム図である。図９は、（図６の）テープＩＦコンバータ２２０Ｘ又は２２０Ｙのいずれかを実施するのに適した回路ダイヤグラム図である。図１０は、図６のＶＲシステム２５０で走るのに好適なソフトウェアのフローチャートである。図１１は、主に図６のディスプレイで表示される片目でのイメージを表示したものである。発明の実施の形態「音響信号」という用語は、ここでは音波のみならず、電気的信号、光学的信号あるいは音波を意味する他の信号（例えば、音波に応じたトランスデューサーの電気出力）を含む広い概念で使用されている。「音響信号」及び「音楽」という用語は、ここでは音楽のように人間に認識できる音波のみならず、電気的信号、光学的信号あるいは音を意味する他の信号波（例えば、音波に応じたトランスデューサーの電気出力）を含む広い概念で使用されている。本発明を具体化するシステムは、主に電気信号を数値化するように音楽信号を受けて処理する。図１は本発明のシステムの好ましい実施例を示す。図１において、音楽源１はアコーステイックエッチシステム（acoustic etch system）３によってＶＲプロセッサ（VR processor）７に接続されている。ＶＲプロセッサ７はバーチャル環境（virtual emvironment）を実施するためのソフトウェアをプログラムされたコンピュータである。特に、ＶＲプロセッサ７はイメージデータにより、表示装置８に表示されるバーチャル環境を表示させることができると共に、音響信号（バーチャル環境の擬態音）の右及び左チャンネルを、ユーザーが使用するヘッドホン１０に再生させることができる（左右のスピーカを含む）。表示装置８は、種々の装置、例えばユーザーの頭に装着される装置（好ましくは、ユーザーに立体表示を提供するための左右のモニターを含む）や、非立体表示や立体表示を出力する単一の平坦なスクリーンとすることができる。（図１及び図２の実施例に示される）ヘッドトラッキング（head-tracking）手段１１は、頭部装着形態の表示装置８を装着するユーザーの頭の位置を示す入力を（プロセッサ７に対して）任意に与えるために提供される。プロセッサ７は、ユーザーが入力装置９を操作することにより、ユーザーをバーチャル環境と相互に影響させることのできるソフトウェアをプログラムされたコンピュータであり、入力装置９の出力はプロセッサ７に入力されている。一の実施例では、入力装置９は、グローブと、このグローブに設けられ、グローブ内でユーザーの手を検出するためのセンサとを有する。他の実施例では、入力装置９は、フレームと、ユーザーによってフレームに作用する力すなわち回転モーメントを表示する出力信号を発するセンサとを有する。フレームは表示装置８（あるいは表示装置を支持する基台）に、その釣り合い軸に対して均等に、相対移動可能に設けるのが好ましく、センサはフレームの移動限界範囲の端に設けるのが好ましい。アコースティックエッチユニット３内のアナログーデジタル変換回路は音楽源１から音楽信号を受け、デジタル化する。音楽信号は、随時、音楽信号に対応する予め記録された１以上の制御トラックに伴われ、制御トラックは音楽信号と共に再生される。アコースティックエッチユニット３内のアナライザー５は回路４のデジタル出力を受け、音楽信号（あるいは、音楽信号及び制御トラックの両方）を処理することにより制御信号を発生させる。アナライザー５からの制御信号はインターフェイス６を介してＶＲプロセッサ７に出力され、プロセッサ７内でバーチャル環境を形成する制御のために使用される。１以上の制御トラック（あるいは、音楽信号及び１以上の制御トラック、又は音楽信号単独）は直接ＶＲプロセッサ７に出力され、プロセッサ７はヘッドホン１０で音楽信号を再生させると共に、制御トラックあるいは音楽に対応してバーチャル環境の出力を制御し、あたかもアコースティックエッチユニットの機能がＶＲプロセッサで実行されているかのようである。図１のシステム中、制御トラックは、随時、それに音楽信号が対応するように同一媒体で予め記憶されている。実際に、アコースティックエッチユニット３は制御トラックをその媒体から抜き出し、制御トラック（あるいはそこから発生する制御信号）をＶＲプロセッサ７に出力する。図２は図１のシステムの変形例を示し、そこでは、制御トラックと対応する音楽信号が異なる媒体（一方は音楽源１Ａから、他方は音楽源１から）に記憶（及び再生）されている。例えば、制御トラックをカートリッジ１Ａにビデオゲーム用として記憶し、再生できると共に、音楽をＣＤ（１）に記憶し、再生できる。カートリッジは、電気的あるいは他の接続により、ユーザーにより、あるいは、ＳＭＰＴＥ水準等のオーディオ産業に使用される媒体によりＣＤに同調させることができる。これは、ユーザーが同じ音楽を聴くことによって制御トラックを前もって作る（及び予め記憶する）ことができるという意味で簡単な試みである。そして、ＣＤを再度再生し、アコースティックエッチユニットで記憶した制御トラックのトリガ処理に対して（制御トラック情報を予め記憶したＣＤを必要とせずに）記憶した制御トラックを同調させることができる。特に、カートリッジを、アコースティックエッチに接続される分割ユニットの一部、あるいはアコースティックエッチの一部とできる。アコースティックエッチによって分析用に使用される制御トラック及び／又は音楽に対し、ユーザーの聴く音楽は遅延させるのが望ましい。このように、システムの遅延が補償されるので、ＶＲシステムによって生成される音楽と視覚的イメージとの間により適切な因果関係が得られる。アコースティックエッチはＶＲプロセッサでパラメータをセットして制御できる一方、ＶＲプロセッサはアコースティックエッチでパラメータをセットして制御できる。例えば、ＶＲプロセッサ７は回路４Ａでの音楽の遅延時間をセットでき（そのような遅延時間は別な方法でもセットできる）、制御トラックから生成される制御信号あるいは分析音楽から発生する制御信号を（例えば、そのような制御信号に対応して表示されたバーチャル物体を変更することによって）処理することにより、プロセッサ７に要求される遅延時間を補償する。回路４Ａの遅延音楽と音楽源１Ａの制御トラックは、非遅延音楽及び制御トラックが図１の対応する要素４−７で処理されるのと同様にして要素４−７で処理される。図２の実施例では、遅延回路４Ａによって遅延時間をセットできるので、ＶＲプロセッサ７は、音楽信号のセグメントを、それに対応して制御トラックの一部から制御データの処理を完成する正確な時間に受けることができる。図１では、音楽源を遅延させる利点は、制御トラックを音楽源媒体で早期に記憶することや、アコースティックエッチユニットやＶＲプロセッサ内あるいは音響遅延ボックスで音楽信号を遅延させることによって得られることである。図３の上方側のグラフ中、各点は制御トラックのパルスを示す。図３の下方側のグラフでは、ドラムによって生成された音楽信号の遅延の変形と、これに一致する制御トラックとが示されている（下方側のグラフでは、虚像の配置はドラムのビートの振幅を示すと共に、水平軸は時間を示している。）。制御トラックの各パルスは音楽信号の弱い振幅に一致している。しかしながら、図３の音楽信号は、処理の遅延を補償するために選択される遅延期間Ｔによって（例えば、遅延回路４Ａに止まることによって）遅延される（位相シフトされる）。処理の遅延は本発明のシステムの他の部分（例えば、ＶＲプロセッサ）に導入されると予想される。これは、制御トラック（あるいは制御トラックから生成される制御信号や分析音楽から発生する制御信号）に応答して開始される処理を行うためである。図４は、図１のシステムに用いられるアコースティックエッチユニット３の変形例のブロック図（アコースティックエッチユニット３’’）である。図４は、制御トラックあるいは音楽の分析と、バーチャル環境の演算とによって生成される遅延を補償するために任意の方法を具体化したものである。図４のアコースティックエッチユニット３’’は、予めデジタル録音された音楽及び／又は制御トラック、あるいは、予めアナログ録音された音楽及び／又は制御トラックを受けることができる。そのような各アナログ信号はＡ−Ｄコンバータ４でデジタル化され、スイッチ１７の一方の入力となる。スイッチ１７の他方の入力はデジタル音楽信号である。スイッチ１７は２つの入力の一方を選択するように制御され、選択された信号を提供できるように（メモリ１５にストアされたコンピュータのソフトウェアを実行できる）プロセッサ５に接続されている。遅延回路１３は制御トラックに対応する音楽信号を遅延させる演算を行うことにより、バーチャルワールドでの活動と同調するように、あるいは、関係がないように表現することができる。これは、（例えば、ヘッドホン１０を介して）出来事を聴くことと、結果として起こることを（表示装置８で）見ることとの間での遅延を混乱させている点が重要である。現実の世界では、通常、物事を見てから音を聞いている。バーチャルケースでは（遅延回路１３の必要なしに）、音（例えば、雷）を聴いてからＶＲプロセッサ７が視覚的事項（例えば、光）を表現するので、ユーザーはほんの僅か遅れて視覚的事項を見ることになる。これは、物事を見てからその結果を聴くという現実の世界での事象とは逆である。遅延回路１３により実行される遅延量は、主に静寂期間中、一定としたりあるいは変化させたりすることが必要であり、ユーザーは遅延量の調整と同様に変化する（例えば、ヘッドホンを介して聴かれる）間隔で音を聴く。図３において、音楽を遅延させる代わりに、（図２の）遅延ユニット４Ａあるいは（図４の）遅延回路１３により実行される構成の変形例において、音楽と制御トラックとの間で予め選択される遅延は、制御トラックと音楽が共に予め録音されるときに実行される。実際に、制御トラックは、分析（すなわち、音楽から制御信号を出力するための図２のアナライザーに要求される時間）及び／又はＶＲグラフィックシステム７によって導かれることを期待された遅れを前もって説明するために位相シフトされる。この位相シフトを制御トラックに予め録音させるときに実行することにより、アコースティックエッチユニットを実行するために必要なハードウェアを最小にすることができる。また、高価な音楽の遅延は必要ない。要約すると、制御トラックすなわちデジタル化された音響情報の受信と、ＶＲシステムが受けた情報に対して視覚的出力を変化させることができる時間との間には本質的に限られた時間量があるため、本発明の好ましい実施例では２つの遅延補償技術を提供している。その技術の１つは、制御トラックを時間内に音響情報（音楽トラック）にシフトすることである。例えば、制御トラックが１０ミリセカントでシフトされるならば（例えば、制御トラックが対応するオーディオに１０ミリセカントのリード時間で再生されるならば）、ＶＲシステムは１０ミリセカントで物体を生成し、表示する（及び同時に物体を表示し、対応するオーディオを駆動する。）。この方法で遅延時間を説明すると、バーチャル物体は、殆ど認識不能な時間の相違あるいは反対の時間の違いですら対応する音楽と共に正確に時間内に表示される。第２の遅延補償技術は、（再生される予め記憶された制御トラックに関し）再生される音楽を遅延させることである。これには種々の方法で行われるものが含まれ、音楽源（例えば、後述する図６に示すテーププレーヤ２００）のトラックと、その音楽源から音楽を受けるアンプ（例えば、図６のアンプ２１０）との間のデジタル遅延ボックスを使用することに限定されない。また、ＶＲコンピュータ（例えば、図６のＶＲシステム２５０）がデジタルーアナログ音響特性（例えば、デジタル音響を、ユーザーが装着したヘッドホンのために、図６の２５０Ｌ及び２５０Ｒの信号のようなアナログ信号に変換する手段）を有していれば、音楽を遅延でき、デジタルＶＲコンピュータ自身によって再生されると共に生成できる。図４において、ユニット３’’は主に入力音楽あるいは制御トラックあるいはその両方から制御信号を取り出す。プロセッサ５とメモリ１５と適宜その両方に接続される周辺装置（図示せず）とは、制御トラック及び／又は音楽自身から制御情報を取り出す。図４のシステムは、入力音響のためのデジタル及びアナログ入力部の両方を含む。市販品では、これらの一つだけが使用され、他はコストを抑えるために使用されない。殆どの音楽がステレオ音響であるので、通常実際には、音響出力の２つのチャンネル（左及び右）があるが、たぶんプロセッサ５は１つだけで両チャンネルを受けて処理する。ユニット３’’の制御トラックのインターフェイス１８は１以上の予め録音された制御トラックを受け取り、それらを（必要であれば）プロセッサ５で処理することによりコンバートする。入力装置のインターフェイス１９は入力信号を受け、入力装置をユーザーが操作することにより駆動し、それらを（必要であれば）プロセッサ５によって処理するためにコンバートする（プロセッサ５はそこから制御信号を発することができる。）。図４の実施例の重要な点は、プロセッサ５によって実行されるアルゴリズムの性能を柔軟に変更して広げることができるということである。動作中、図４の装置は音楽を取り入れ、プロセッサ５がそれを処理して制御情報を生成する。そして、制御情報は実際にはバーチャル環境を表現するＶＲコンピュータに出力する。図４では、遅延要素１３がアコースティックエッチユニット３’’内にあるが、これに代えて、ＶＲコンピュータシステム自身の内部あるいは両方の外部に配設できる。アコースティックエッチユニット３’’のプロセッサ５（それはときどき「アナライザー」５と言及されている。）によって実行できる内部アルゴリズムの一実施例は、単にフィルタと分析に関係しているだけである。この場合、手段は入ってくる音楽をフィルタにかけるために（例えばプロセッサ５内に）ロードされるので、プロセッサ５は分光成分の観点から音楽を分析できる。高周波領域のレベルを検査することによって、プロセッサ５は音楽のリズムあるいはビートを決定できる。音楽のビートはＶＲシステムを通過するので、ＶＲシステムでは音楽のビートに間に合うように手拍子をするバーチャルハンドを表示する等の演算を実行できる。全レベルの音楽は、どんなときでもどれだけの数の手拍子する一対の手があるのかを決定するように使用できる。音楽が始まるとき及び全レベルに落ち着くとき、ＶＲプロセッサはバーチャル物体を作り、及び、破壊する。アコースティックエッチユニットが制御トラックに関連付けて使用されるとき、バーチャル環境の潜在的な複雑さや豊富さが高められる。アコースティックエッチユニット３’’のプロセッサ５は音楽媒体から制御トラックを抜き出したり、分離した音楽源から予め録音された制御トラックを処理したりする。ＶＲプロセッサ内での制御トラックの処理（あるいは、対応する音楽信号というよりはむしろ、そこから発生する制御信号）はＶＲプロセッサで発生する制御信号の処理によって続く、アコースティックエッチでの音楽の分析よりも強力である。なぜなら、それはすぐに決定されなくてもよく、ＶＲプロセッサを音楽の現れていない制御トラックの情報に対応させることができるからである。例えば、歌の始まりあるいは始まる前に、制御トラックは演奏者の圧縮したイメージを得ることができる。歌が開始されると、制御トラックがアコースティックエッチユニットによって処理され、このアコースティックエッチユニットは、音楽に合うように踊るその特徴に合わせた演奏者のテクスチャ（texture）のイメージを示すように、ＶＲシステムに指示する。特に、アコースティックエッチユニットは他の装置の一部、すなわち入力音楽信号や予め録音された制御トラックやＶＲシステムとして一体化されている。例えば、ＣＤ機能を有するビデオゲーム機用のカートリッジ内にアコースティックエッチユニットを一体化することを想定できる。カートリッジ内のプログラムとＣＤのトラックは実行されたり、共にＣＤに含むことができる。また、ケーブルを最小化することに加えて、コストを低減できる。音響はＶＲシステムをバイパスでき、ヘッドホン１０に直接入るが、図１及び２において、音楽は直接ヘッドホン１０に入るというよりはむしろＶＲプロセッサ７を通過する。このように、ＶＲプロセッサは、バーチャル環境の特別な状況から来る幻想を作るように音を取り込む。要は、本発明は音楽をＶＲに結びつける新しい方法である。本発明の装置はＶＲに音楽を結びつけようとする従来のアプローチとは異なるものである。本発明の装置により、バーチャル環境で表現される高品質で洗練された音楽を得ることがでできる。この装置及び方法には幾つかの特筆すべき可能性がある。音楽を分析し、ダンサーがダンスするバーチャル環境を制御するアコースティックエッチユニットの場合、どのようなミュージカルの作品をも演じることができ、アコースティックエッチはダンサーがステップする際、ＶＲシステムに伝える低周波のビートを取り出す。そして、同時にダンスする（仮想の）棒形状が見られる。明らかにされた遅延機能を使用することにより、仮想のダンサー及び音楽は、音楽が遅延されていない場合よりも、より一層同調するようになる。システムのコストは音楽の演奏装置自体に遅延を合体することにより削減される。多くの分岐したデジタルユニットはエラー補正のための遅延を用いている。アコースティックエッチユニットと共に制御トラック方法を用いることにより、さらに進んだ振り付けを行うことができ、製作に必要なコストをかなり少なくできる。また、本発明は、パターンと興味深い結果とを探すために、現時点でのデータ流れを分析するという新しい方法を導く。次に、本発明の好ましい実施例のさらに詳細な説明を図５及び６に示す。図５は、図６に示される再生システムに使用するため、制御トラックを有するオーディオテープを作るためのシステムのダイアグラムである。図５は、マルチトラックテープ再生ユニット１００、マルチトラックマスターオーディオテープ１００Ｔ、単チャンネル音響信号１０１Ａ（１００からの出力）、追加「ｎ」音響信号調整回路１２０Ｂ、アナログデータ信号１２１Ａ、追加「ｎ」アナログデータ信号１２１Ｂ、デジタルコンバータへの「ｎ」チャンネルを有するマイクロプロセッサユニット１３０Ｘ、シリアルデータ流れ１３１Ｘ、テープインターフェイス（ＩＦ）のコンバータ１４０Ｘ、スイッチ（あるいは他のデジタルデータの入力装置）１５０、アナログデータの入力装置１６０、データ記憶及び入力装置１６５、マイクロプロセッサユニット１３０Ｙ（デジタル入力及びデジタルコンバータへのマルチチャンネルのアナログを含む。）、音響品質データ信号１３１Ｙ、テープＩＦコンバータ１４０Ｙ、２トラックの音響テープ再生ユニット１７０、２トラックのマスターテープ１７０Ｔ、左チャンネル音響信号１７０Ｌ、右チャンネル音響信号１７０Ｒ、４トラックの音響テープレコーダー１８０、４トラックの音響及びバーチャル制御トラックテープ１８０Ｔ、及びＳＭＰＴＥシンクロナイザー１９０を示す。図６は、４トラックの音響及びバーチャル制御トラックテープ１８０Ｔ、４トラックのテーププレーヤー２００、右チャンネル音響信号２００Ｒ、左チャンネル音響信号２００Ｌ、Ｘチャンネル制御信号２００Ｘ、Ｙチャンネル制御信号２００Ｙ、サウンドプロセッサ２０５、２チャンネルの音響アンプ２１０、音響信号２０５Ｒ，２０５Ｌ，２１０Ｒ及び２１０Ｌ、テープＩＦコンバーター２２０Ｘ、テープＩＦコンバータ２２０Ｙ、デジタルコンバータ２４０への２チャンネルのアナログを有するマイクロプロセッサユニット、シリアルデータ流れ２４１、連続データ出力を有するシリアルデータ流れ２５０Ａ、マルチチャンネルアナログーデジタルコンバータ２４５、シリアルデータ流れ２４６、マイクロホン２４８、バーチャルリアリティグラフィックシステム２５０、左目用ビデオ信号２５０Ｌ、右目用ビデオ信号２５０Ｒ、バーチャルリアリティオーディオ及びビジュアルディスプレイユニット２６０（ヘッドトラッキング手段を有する。）、及びヘッドトラッキング信号２６１を示す。図５において、マルチトラックのテーププレーヤーユニット１００はオーディオレコーディングスタジオでよく見かけるタイプのものである。ユニット１００はマルチトラックのマスターテープ１００Ｔに配設され、音響（主に音楽）信号１０１Ａ、１０１Ｂ等のマルチチャンネルを出力する。これらの信号は、オーディオパッチコードを介して信号調整装置１２０Ａ，１２０Ｂ等に入力される。各信号調整装置は電子回路からなり、それぞれマイクロプロセッサユニット１３０Ｘのアナログ入力ピンの１つに入力されるアナログ制御信号（１２１Ａあるいは１２１Ｂ）を出力する。例えば、マイクロプロセッサ１３０Ｘにはモトローラ社製のM68HC11EVBU Universal Evaluationボードが使用でき、調整済みの受信音響データから制御トラックを生成するためにソフトウェアにプログラムされ、テープＩＦコンバータ１４０Ｘにシリアルデータ流れを出力する。テープＩＦコンバータ１４０Ｘは電子回路からなり、標準の音響磁気テープにストアできるテープのデータ信号１４１Ｘ（制御トラックの表示）を出力する。この信号は４トラックの音響カセットテープ１８０Ｔにロードされる４トラックの音響テープレコーディングユニット１８０に入力される。スイッチのアセンブリ（あるいは、オペレータがデジタル信号を入力することができる他の手段）１５０は、並列デジタルデータを（マイクロプロセッサ１３０Ｙに一致するあるいは同様なタイプとできる）マイクロプロセッサ１３０Ｙに入力する。また、アナログ入力装置１６０（例えば、「他段階切替」の操作レバーあるいは他の入力装置）はマイクロプロセッサユニット１３０Ｙとデータ記憶装置１６５に連結されている。装置１６５は磁気ディスクドライブあるいは他のデータ記憶及び再生装置（あるいは、これに代えてデータエントリー装置）とできる。マイクロプロセッサユニット１３０Ｙは、入力データに対応して制御トラックを生成するようにソフトウェアにプログラムされており、テープＩＦコンバータ１４０Ｙにシリアルデータ流れを出力する。テープＩＦコンバータ１４０Ｙは電子回路からなり、標準のオーディオ磁気テープに記憶できるタイプのデータ信号１４１Ｙ（制御トラックを示す）を出力する。この信号は４トラックのオーディオテープレコーディングユニット１８０に入力される。２トラックのテーププレイングユニット１７０は２トラックをミックスされてマスターテープ１７０Ｔにロードされ、ＳＭＰＴＥシンクロナイザー１９０等を介してマルチトラックユニット１００に同調される。２トラックのテーププレーヤー１７０は４トラックのテープレコーダー１８０に入力される左音響信号１７０Ｌと右音響信号１７０Ｒを出力する。そして、録音されたカセットテープ１８０Ｔは音響信号１７０Ｌ及び１７０Ｒを含む２トラック（主に音楽信号）と、音響信号に一致する制御トラックを含む他の２トラックとを有する。図６は、（制御トラックを有する）オーディオテープ１８０Ｔを再生して体験するために使用されるシステムを示す。４トラックのオーディオテーププレーヤー２００は４つの音響信号、すなわち、左および右の音響信号２００Ｒ及び２００Ｌと、音響信号としてエンコードされたデータからなる制御トラック信号２００Ｘ及び２００Ｙとを出力する。信号２００Ｘ及び２００Ｙは、シリアルデータ流れ２２１Ｙ及び２２１Ｘを取り出す２つのテープＩＦコンバータに入力され、その流れはマイクロプロセッサユニット１３０Ｘと同じ（あるいは同様な）タイプのマイクロプロセッサユニット２４０に入力される。マイクロプロセッサユニット２４０は、データ流れ２２１Ｙ及び２２１Ｘの一方あるいは両方に対応してＶＲグラフィックシステム２５０用に制御信号を生成するためにソフトウェアをプログラムされ、そのような制御信号と同一のシリアルデータ流れをバーチャルリアリティ（ＶＲ）グラフィックシステム２５０に出力する。システム２５０は、例えば、（カリフォルニアメンロパークの）フェイクスペース社（Fakespac e Inc.）から入手できる、リアリティエンジングラフィック、シリアルポートボード、及びＶＬＩＢソフトウェアであればよい。ＶＲシステム２５０は、ヘッドカップルディスプレイユニット（head-coupled display unit）２６０にバーチャル環境の左右の支点を現す２つのビデオ信号２５０Ｌ及び２５０Ｒを出力する。音響信号２００Ｒ及び２００Ｌはサウンドプロセッサ２０５、例えば、（カリフォルニアグロウブランドの）クリスタルリバーエンジニアリングから提供されるコンボルボトロンサウンドスパティライザー（Convolvotron sound spatia- lizer）あるいは他のサウンドプロセッサに入力される。他のサウンドプロセッサは、オーディオアンプ２１０に処理したサウンド信号２０５Ｒ及び２０５Ｌを入力し、オーディオアンプ２１０は頭部装着形態のディスプレイユニット２６０に２つの増幅された音響信号２１０Ｒ及び２１０Ｌを入力する。また、音響信号２００Ｒ及び２００Ｌとマイクロホン２４８からの入力は、シリアルデータ流れ２４６をＶＲシステム２５０に出力するマルチチャンネルオーディオデジタイザー(multichannel audio digitizer)に入力される。また、バーチャルリアリティシステム２５０は、頭部装着形態のディスプレイから頭部あるいは他の部分の興味深い情報を受ける。図７は、ブロック１２０Ａ及び１２０Ｂを制御する全ての信号を生成するのに適した回路のダイヤグラム図である。それは４つの電子部品からなる。図８は、テープＩＦコンバータ１４０Ｘ及び１４０Ｙのいずれをも生成するのに適した回路のダイヤグラム図である。それは種々の電子製品からなる。図９は、テープＩＦコンバータ２２０Ｘ及び２２０Ｙのいずれをも生成するのに適した回路のダイヤグラム図である。それは種々の電子製品からなる。図１０は、好ましくは図６のＶＲシステムで走るソフトウェアのフローチャートである。図１１は、ディスプレイ２６０に表示される主に片方の目のイメージを示す。イメージはバーチャル物体である。物体３００Ａ，３００Ｂ，３００Ｃ及び３００Ｄは同じＸ及びＹ平面の同一サイズの３つの直交する直線からなる物体であるが、時間の経過によりＺ軸に沿ってユーザー側から後方に退く。物体３１０Ａ及び３１０Ｂは空間に固定されるが、時間の経過により高さを変化させる。（直線３３０Ａ及び３３０Ｂを含む）直線３３０は空間に固定され、時間の経過によっても静止したままである。単語ＢＡＢＹ３２０Ａ及びＢＡＣＫ３２０ＢはＸＹ平面に固定されており、Ｚ軸での奥行きはない。動作中、図５及び６のシステムにより、後述する本発明の実施例が実現できる。全工程は２つの部分、すなわち、媒体の録音及び再生に分割することができる。図５は録音段階を示す一方、図６は再生段階を示す。図５において、マルチトラックテーププレイングユニット１００は、主にプロのレコーディングスタジオで見受けられるタイプのものである。アーティストが歌を録音する際の生のミックスされていない音響を録音したものがマスターテープにロードされる。録音された主な音楽製品では、このテープが後にミックスされ、後に市販用に大量生産される２トラックのマスターテープ１７０Ｔを生産するために処理される。マルチトラックのマスターテープ１００Ｔと２トラックマスターテープ１７０Ｔは、標準の商業上適用可能な時間の同調ユニット、例えば、テープ再生ユニット１００及び１７０を協働させるＳＭＰＴＥシンクロナイザー１９０を使用することにより、互いに同調して同時に再生する。この実施例では、２トラック音響信号１７０Ｌ及び１７０Ｒは、標準の４トラックテープレコーディングユニット１８０を介して４トラックテープ１８０Ｔに録音される。このユニットは市販タイプの４トラックユニット１８０により４トラックテープ１８０Ｔ、あるいはアコースティックエッチタイプのテープのためにマスターテープを生産する高品質のプロ用テープレコーダーに録音される。音響信号１７０Ｌ及び１７０Ｒは市販テープのオリジナルの音響内容を示し、それらはそれ以上処理されることはない。すなわち、４トラックテープ１８０Ｔのうち２トラックはテープのユーザーが本発明のアコースティックエッチなしに聴くことを希望する音楽である。しかしながら、制御トラックに対応して時間通りに音楽を遅延させることが望まれる。信号１４１Ｘ及び１４１Ｙから録音される他の２トラックは、図５に示すように引き出され、再生中にオリジナルの音響信号を聴く間、ユーザーが経験するバーチャル環境を作り、制御し、操作するように使用される制御トラックである。これらの制御トラックを作る方法は多いが、この実施例は２つの方法のいずれか（あるいは両方）でトラックを生成する。第１の方法では、オリジナルのマルチトラックマスターテープから自動的に制御信号を引き出し、第２の方法では、オペレータが入力手段１５０及び１６０と、コンピュータのデータ記憶装置１６５とにより制御信号を生成できるようにする。第１の方法で制御ラックを生成するために、オリジナルマルチトラックテープ１００Ｔの各音響チャンネルを表す「ｎ」マルチ音響出力チャンネル１０１Ａ、１０１Ｂ等が信号調整ブロック１２０Ａ及び１２０Ｂに入力される。これらのブロックは、各トラックの音響情報からバーチャル環境で美的価値のある制御変数として役立つ低周波信号を取り出すために働く。好ましい実施例では、変更されたピーク検出回路がこの機能に非常によく役立つことが決定されている。この回路の例が図７に示されている。この制御信号を引き出すように使用可能な多数の形式の信号処理方法があるが、図７の回路が単に幾つかのケースにのみうまく働くことを指摘していることが重要である。種々のデジタル信号処理技術や分析信号処理技術は、位相検出、周波数スペクトル分析、位相ボコード(vocode)技術の段階等を含むが、これらに限定されることはなく使用される。加えて、信号は制御信号を生成するように処理され、その制御信号は幾つかの方法でオリジナル音楽信号の知覚３次元空間構造に関係する。「ｎ」信号処理ブロックからの出力信号はマイクロプロセッサユニット１３０Ｘのアナログ信号入力部に入力される。「ｎ」が７以下であるならば、標準のマイクロプロセッサのカードには、例えば、モトローラ社製のM68HC11EVBUが使用可能である。このマイクロプロセッサは、連続的に各チャンネルを読み込むと共に、シリアルデータ流れ１３１Ｘの各チャンネルの大きさをテープＩＦコンバータ１４０Ｘに出力するようにプログラムされている。アスキー言語のテストデータブロックをテープＩＦコンバータ１４０Ｘに出力するコードの例が付属書類Ａに示されている。望まれるアナログデータは、ユニット２４０内でマイクロコントローラに読み込まれ、コード中のアスキー言語に類似の方法で使用されるべきである。プログラム方法の説明はモトローラの出版物M68HC11EVBU/AD1とM68FCASS/AD1とその他の文献とに記載され、これら全てはモトローラのMC68HC11EVBUに設けられている。テープＩＦコンバータ１４０Ｘ用の回路図が図８に示されている。ＲＳーテープあるいはＭＩＤＩーテープユニットがここに記載されたＩＦコンバータの代用品として使用可能である。このコンバータのタイプは、HAROLD S.STONEによって MAICROCOMPUTER-INTERFACINGに記載され、種々の方法で組み込むことができる。この回路は、マルチトラックマスターテープから「ｎ」チャンネル情報の調整されたレベルを表すシリアルデータ流れを運び、このシリアルデータを標準のオーディオテープに録音できるフォーマット１４１Ｘにコンバートする。このように、制御トラックは音響情報のオリジナルの２トラックと協働して録音される。マルチトラックマスターテープから引き出された情報に加えて、制御情報がオペレータによって手入力されるのが望ましい。この情報は多くのフォームを持ち、特に、（多くの出願では）オペレータによってのみ生成できる。オペレータが制御を希望する要素には次のものが含まれる。すなわち、楽譜に全歌詞の変化に一致するディスプレイモードあるいは速いペースの音楽の表現に関係する特別なアナログ信号が含まれる。これらのタイプの要素はデジタルスイッチ１５０あるいはアナログコントロール１６０を介して容易に入力される。最近、オペレータは、再生（アコースティックエッチ）システムによって使用される情報も同様に含まれることを望んでいる。この情報は、例えば、音楽アーティストのデジタル写真あるいは歌詞に一致する元の情報を含んでいる。また、この情報は、ディスクドライブ１６５や他のタイプの電子データの記憶及び回復機構やコンピュータシステムによって入力することができる。そのような情報は、ペイントプログラム、３Ｄモデリングプログラム、デジタルスキャナ等を含むマルチ方法で作られる。また、この情報はＶＲシステム２５０用のシステムコードやプログラムコードからなる。これら全ての変更可能な制御及び情報はマイクロプロセッサユニット１３０Ｙに入力され、このユニット１３０Ｙはマイクロプロセッサユニット１３０Ｘにプログラムされたものと類似のプログラムを有する。ユニット１３０Ｙ用のプログラムは、マイクロプロセッサユニット１３０Ｘ用としてアナログをデジタルポートに読み込む標準コードに加えて、ユニットでデジタルＩ／Ｏポートを読み込む付加コードを有する。（制御トラックを示す）出力データは、マイクロプロセッサ１３０Ｘ及び信号１３１Ｘ用のものと同様な方法でテープＩＦコンバータ１４０Ｙに入力される。そして、コンバータ１４０Ｙからコンバートされたデータ流れ１４１Ｙの出力はテープ１８０Ｔの残りのトラックに記憶される。図６は本発明の再生段階を示す。大量生産した４トラックテープ１８０Ｔあるいは現在のテープ１８０Ｔのコピーは４トラックテープ再生ユニット２００に入力される。このユニットテープを再生し、４つの音響信号を生成する。そのうちの２つは聴かれることを予定した標準信号である一方、他の２つは処理されてＶＲシステム２５０に送られるものである。２つの音楽音響信号２００Ｒ及び２００Ｌはサウンドプロセッサシステムに入力され、それはＶＲシステムから制御信号２５０Ａに対する音響信号２００Ｒ及び２００Ｌを生成する。生成された音響信号２０５Ｒ及び２０５Ｌは音響アンプ２１０に入力され、それはユーザーが聴くために一対のステレオヘッドホンあるいはスピーカを駆動する。他の２つの信号２００Ｘ及び２００ＹはテープＩＦコンバータ２２０Ｙ及び２２０Ｘに入力され、そこで音響信号フォーマット制御トラックデータをデジタル形式２２１Ｘ及び２２１Ｙに変換する。テープＩＦコンバータ２２０Ｙ及び２２０Ｘ用の回路が図９に示されている。このタイプのコンバータはハロルドエスストーン（Harold S stone）著のマイクロプロセッサインターフェイシング（Microcomputer Interfacing）に記載されている。そして、マイクロプロセッサユニット２４０は制御信号２２１Ｙ及び２２１Ｘの双方を結びつけ、このデジタルデータをＶＲシステムによって生成するのに適したシリアルデータ流れ、例えば、ＲＳ２３２やＭＩＤＩデータ流れのフォーマットにコンバートする。テープＩＦコンバータ２２０Ｘ及び２２０Ｙからアスキー言語を受けるコードの例は参考文献Ａに含まれている。望まれるデータは適切なフォーマットでマイクロプロセッサに読み込まれるべきである。プログラム方法の説明は、モトローラの出版物M68HC11EVBU/AD1とM68FCASS/AD1とその他の文献とに記載され、これら全てモトローラのMC68HC11EVBUに設けられている。また、音楽音響信号はＶＲシステムによって読み込まれるシリアルデータ出力と共にマルチチャンネル音響デジタイザー２４５に入力される。このデジタイザーは、ＶＲシステムによって生成するために、音楽音響信号をデジタル形式にコンバートし、又、生のマイクロホン２４８等の他の音響源をコンバートする。ＶＲシステムは３つの信号を受ける。すなわち、頭部とＶＲディスプレイ２６０あるいは興味深いトラッキング情報領域の他の形式からの（例えば、図１の入力装置９に関する上述の全てのタイプの入力装置からの）方向付けとを表現する信号２６１、４トラックテープ１８０Ｔに予め録音された制御トラックに関する制御及びデータテープ信号２４１、及びオリジナル音響（主に音楽）及び／又は生のマイクロホン２４８のような必要な他のいかなる音響源をもデジタル表現するデジタル化された音響信号２４６である。好ましい実施例では、ＶＲシステム２５０は。リアリティエンジングラフィックスを提供するシリコングラフィックスクリムゾンコンピュータ、シリアルポートカード、及びＧＬソフトウェアライブラリーとフェイクスペース社のＶＬＩＢバーチャルリアリティのソフトウェアパッケージを構成する。システム管理及び種々のプログラムに加えて、ＶＲシステムは図１６に開示される（ステップ４００、４１０、４２０、４３０、４４０、４５０、４６０、４７０、４８０及び４９０からなる）プログラムを走らせる。このプログラムはシリアルポートを開き、付属装置をイニシャライズすることにより始まり（ステップ４００）、変数のイニシャライズを続行する（ステップ４１０）。バーチャル物体のテーブルを作成する（ステップ４２０）。各物体はＸ，Ｙ及びＺ空間を占め、ＧＬ及びＶＬＩＢのソフトウェアの要求に従うように幾何学的に描写される。標準物体のセットは、制御信号２４１（１以上の予め記憶された制御トラックに表れるデータ）及び音響信号２４６の一方あるいは両方に対応するように限定され、作成され、さらに制御される。システムはトラッカー２６０の頭を読み込み（ステップ４３０）、「制御トラック」制御信号２４１及び音響制御信号２４６を読み込む（ステップ４４０及び４５０）。この情報に対応して全てのプログラムが実行され（ステップ４６０）、オリジナル音楽信号に振り付けるようにバーチャル環境を作成し、操作する。そのようなバーチャルリアリティ（ＶＲ）プログラムの一例を次のように記載されている。（ＶＲプロセッサが、音楽信号と、音楽信号に対応する予め録音された制御トラックからの制御トラック情報の両方を受けるものとする）この例は一例に過ぎず、本発明の範囲を限定するように解釈されるべきでない。まず、ＶＲプログラムは制御トラック情報を読み込む。その情報は予め録音されたテープ（例えば、図６の再生装置２００によって再生されるテープ１８０Ｔ）の音楽情報を先導する。制御トラック情報はテープの録音中（例えば、上述の図５の装置の使用中）、オペレータによって作成され、バーチャル物体、バーチャルリアリティシステムセット、バーチャルリアリティハードウェア及びソフトウェアセットの描写を含む。また、制御トラック情報はＶＲプロセッサで走るソフトウェアプログラムの本体を含む。ＶＲプロセッサのＶＲプログラムは制御トラック情報によって限定されるプログラムを読み込むモニタとしてのみ機能する。制御トラックデータがＶＲプログラムによって読み込まれた後、ＶＲシステムはデジタル化された音楽情報を読み込む。音楽情報は、制御トラックデータ及び／又は全ての入力装置の出力に対応している。入力装置はグローブ装置、自由度６段階のトラッカー、手入力装置、マウス等のようなＶＲシステムに接続されている。ＶＲプログラムは、バーチャル環境あるいはそこにあるバーチャル物体を作成し、破壊し、動かし、あるいは変形する。これは標準ＶＲライブラリーソフトウェアの呼出に使用され、（制御トラック情報及び対応する音楽情報を含む）上述のようなシステムの全ての形式に基づいているのが好ましい。次に、ＶＲプログラムによって作成できるバーチャル物体の例が図１１に示されるバーチャル環境のディスプレイに示されている。そのような２つのバーチャル物体（３１０Ａ及び３１０Ｂ）は同一直径で異なる高さのシリンダである。シリンダ３１０Ａ及び３１０Ｂ自体は、ここで示された好ましいＶＲプログラムで常に適用可能なデフォールト物体である。シリンダの底はＸ，Ｙ及びＺ方向で同じ位置にある。好ましくは、各シリンダの高さが制御トラック情報を介して制御され、２つの高さが、信号コンディショナー１２０Ａ及び１２０Ｂによって調整された後、マスターテープ１００Ｔの最初の２つの音響チャンネル１０１Ａ及び１０１Ｂ（主に音楽チャンネル）を直接表現する。これら２つの音響チャンネルが、いわば、バスドラム及びスネアドラム（小太鼓）のレコーディング用であり、ユーザーがこれらの物体を回転し、対面させることを選択するならば、ユーザーには一方のシリンダ（例えば、３１０Ａ）がバスドラムに合うように高さを変更し、他方のシリンダ（例えば、３１０Ｂ）がスネアドラムに合わせて高さを変更することがわかるだろう。ＶＲプログラムは、同じ音に合わせて他の物体を表示したり、他の態様の制御トラックに合わせてこれらあるいは他の物体を表示したりするために容易に書き込むことができる。（図１１の）物体３２０Ａ及び３２０Ｂ用のテキストを表示するデータは、テープが音楽を再生し、ＶＲプログラムが走っている間に制御トラックからＶＲプログラムにロードするのが好ましい。走っている間（例えば、テープから制御トラック情報を読み取っている間）、ＶＲプログラムは、固定したＸ及びＹ軸（必要に応じてＺ軸）で各物体を表示するための命令に従ってこれらの物体をロードし、そのときＶＲプログラムは制御トラックからある信号を受ける。このように、歌詞あるいは他の歌の依存データは予め記憶された制御トラックを使用することによりＶＲプログラムにロードでき、予め記憶された制御トラック情報に基づいて表示できる。ここに記載された好ましいＶＲプログラムの実施例では、各用語３２０Ａ及び３２０Ｂは同時に歌手が（音楽信号に応じた制御トラックによって示される）歌詞を歌う様子を表示する。この制御されたタイミングを得るため、オペレータは制御トラックの一部として「表示」信号を記憶するように（図５の）スイッチ１５０を使用し、歌が依存するデータをロードするように記憶装置１６５のデータを使用する。（後に、位置３００Ａ，３００Ｂ等で示される）物体３００Ａは制御トラックから直接ＶＲプログラムにロードされる。ＶＲプログラムがモデルにロードされた後、制御トラックは音楽情報の高周波帯域のあるエネルギー域を検出する際、ＶＲプログラムに物体を表示するように命令する。ＶＲプログラムはデジタル化された音楽情報（例えば、図６のデジタルデータ２４６）のスペクトル分析を実行し、エネルギーレベル用の指摘した周波数帯域をテストする。閾値を検出する際、ＶＲプログラムはＸ，Ｙ及びＺ方向で物体を作成（表示）する。スペクトル分析の状態に拘わらず、ＶＲプログラムはプログラムが走る間、経過した時間の増分毎に増大するある量によってＺ方向の位置（物体が表示されるべき位置）を自動的に変化させる。このように、物体３００Ａを表示できるので、位置３００Ｂ、さらには位置３００Ｃ等に向かって後方に小さくなるように表れる。新しい物体は、ある音楽に一致する瞬間だけＸ，Ｙ及びＺ方向でディスプレイに表れ、音楽源の周波数に関係する物体の断続的な流れが表れる。次に、本発明の上記実施例の種々の変形について説明する。ＶＲプロセッサ自体はデジタル化された音楽を再生することができる。例えば、図６のＶＲシステム２５０は外部音楽源（例えば、図６のデジタライザー）からのデジタル化された音楽を単に発信するというよりもむしろデジタル化された音楽を再生する（例えば、オリジナル音楽を作る）ことができる。サウンド処理装置（例えば、図６に示すサウンドプロセッサ）は任意に音響源２００とアンプ２１０の間に接続される。サウンド処理装置がコンボルボトロン（convolvotron）であるならば、（スピーカーからユーザーに出力される際）音楽源の表れる場所を変更できる。サウンド処理装置は制御トラック情報に対応するように（あるいは、分析された音響に対応するように）操作制御でき、音響（主に、音楽）は制御バーチャル物体と同様に表示するように使用できると共に、制御トラック情報（あるいは、分析された音響）は明らかな音楽源を移すために、ユーザーに聴かれた音響を処理するように使用できる。この技術により、音楽と、バーチャル環境と、その物体との間に、さらに優れたリアリズムと調和を得ることができる（ユーザーが上部に配置されたディスプレイ、好ましくはステレオディスプレイをヘッドホンと共に装着すると考えられるので、ユーザーが視覚及び聴覚の両方を使用してバーチャル物体の３次元の配置を含むバーチャル環境を経験する。）。音響（例えば、音楽）は、オリジナルの３次元自然物の状態を決定するために分析できる。この一実施例は左右の耳の間での遅延を分析する。この遅延はユーザーの頭の方向に対応する角度を大ざっぱに考慮に入れて有る。前述のように、ユーザーで制御された明らかな音楽源の方向と共に音を経験できるようにするために２つの基本的方法がある。すなわち、１つは音を巻き込み、空間に配置することであり、他は音を分析し、ユーザーが空間に位置していると思う場所を決定することである。従来の多くのレコーディングスタジオは３次元効果が得られるように音楽を処理している。そのような処理情報は、バーチャル物体の位置決めを補助し、ＶＲシステムの一部として使用される装置（例えば、コンボルボトロン）のシステムパラメータをセットするために、ＶＲシステムによって後に使用されるように本発明の制御トラックにストアできる。音楽の録音がバイノーラル方式のヘッドやそのような他の立体録音装置及び技術を使用することにより作られるならば、これらは特に有用である。本発明の予め録音された制御トラック用の録音媒体は４トラックのオーディオテープを必要としない。実際に、コンパクトディスク（ＣＤ）及びデジタルオーディオテープ（ＤＡＴ）のフォーマットは既に制御トラックの性能を提供している。これらの性能に加えて、さらに、これら及び他のフォーマットは制御トラック情報を得るために変形される。例えば、予め録音された制御トラックは分割したトラックに録音する必要がない。逆に、市販の音響装置と適合させるために、制御トラック情報はサブソニックあるいはスーパーソニック形式で音響情報にストアすることができる。そのようなサブソニック変調によりデータ速度が減少し、信号調整ブロックにはそれらの調整値が必要となる。そのようなスーパーソニック変調により、本発明を実施するオーディオテープシステムを使用するのは困難となる。図５及び６のシステムで作動されるオリジナルマルチトラック及び２トラックテープ装置は音響源をどのような形式にも置き換えることができる。近い将来、本発明の実施例での使用に適した音響録音及び再生装置は、完全なデジタル装置として安価に実施可能となることが期待されている。図５及び６は主にアナログ装置を示し、本発明の変更した実施例で容易にデジタル化することができる。制御トラックに予め録音する際、レコーディングは連続した実時間の形式では実施される必要はない。多くのパスを使用し、組み立て、多重のパスで制御トラック情報を削除することにより、マスターオーディオテープを作るときのように多くの時間を編集することができる。ここに記載した種々の実施例の間で構成を変更できることが理解されるべきである。本発明の方法及び装置について他の種々の変形及び変更が、本発明の範囲及び思想から離れることなく、技術的に達成可能なことは明らかである。本発明は特に好ましい実施例に関して記載したけれども、クレームとしてそのような実施例に限定されるべきではない。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ボラス、マイケル・エヌアメリカ合衆国 90026 カリフォルニア、ロサンジェルス、マイケルトレナ・ストリート 840エヌ番

Claims

【特許請求の範囲】１．（ａ）音楽信号を処理して制御信号を発生させるステップと、（ｂ）前記制御信号に応答して、バーチャルリアリティコンピュータシステムを操作してバーチャル環境を発生させるステップとを有することを特徴とするバーチャルリアリティコンピュータシステムによるバーチャル環境の創造を制御する方法。２．前記制御信号に応答して、バーチャルリアリティコンピュータシステムを操作してバーチャル環境を発生させるステップ（ｂ）は、ユーザーがバーチャル環境のバーチャル体験に浸れるように、ユーザーの頭に装着される型式のディスプレイ装置にバーチャル環境のグラフィック表示を創造するステップを含むことを特徴とする請求項１に記載の方法。３．前記グラフィック表示は、少なくとも１つの動画化されたバーチャル物体を居住させ、少なくとも１つの前記音楽信号に応答してバーチャル物体の少なくとも１つの特性が変化することを特徴とする請求項２に記載の方法。４．前記グラフィック表示は、３次元バーチャル環境の立体的表現であることを特徴とする請求項２に記載の方法。５．（ａ）音響信号に対応する制御トラックを予め記録するステップと、（ｂ）前記予め記録された制御トラックに応答してバーチャルリアリティコンピュータシステムを操作し、バーチャル環境を発生させるステップとを有することを特徴とするバーチャルリアリティコンピュータシステムによるバーチャル環境の創造を制御する方法。６．前記予め記録された制御トラックに応答して、バーチャルリアリティコンピュータシステムを操作してバーチャル環境を発生させるステップ（ｂ）は、ディスプレイ装置にバーチャル環境のグラフィック表示を創造するステップを含み、更に、（ｃ）バーチャルリアリティコンピュータシステムに音響信号を供給するステップと、（ｄ）前記音響信号と前記予め記録された制御トラックの両方に応答して、バーチャルリアリティコンピュータシステムを操作し、バーチャル環境を発生させるステップとを有することを特徴とする請求項５に記載の方法。７．前記バーチャルリアリティコンピュータシステムに音響信号を供給するステップ（ｃ）は、前記予め記録された制御トラックに関する第１の遅延をもって、バーチャルリアリティコンピュータシステムに音響信号を供給するステップを含み、前記第１の遅延は、音がグラフィック表示に対して所望の時間的関係を有するような方法で、音響信号に応答して音を発生させることができるように選択することを特徴とする請求項６に記載の方法。８．前記音響信号を処理して制御信号を発生させるステップ（ａ）は、前記音響信号を処理することによって自動的に制御トラックを発生させるステップを含むことを特徴とする請求項５に記載の方法。９．前記音響信号を処理して制御信号を発生させるステップ（ａ）は、手動で入力装置を操作して制御トラックを発生させるステップを含むことを特徴とする請求項５に記載の方法。１０．（ａ）音響信号に対応する制御トラックを予め記録するステップと、（ｂ）前記予め記録された制御トラックに応答してコンピュータシステムを操作するステップとを有することを特徴とするコンピュータシステムを制御する方法。１１．（ｃ）コンピュータシステムに音響信号を供給するステップと、（ｄ）前記音響信号と前記予め記録された制御トラックの両方に応答して、コンピュータシステムを操作するステップとをさらに有することを特徴とする請求項１０に記載の方法。１２．音楽信号に応答して発生させられる制御信号と、前記音楽信号に対応する予め記録された制御トラックと、前記予め記録された制御トラックに応答して発生させられる制御信号とからなるグループから選択された第１信号を供給する手段と、前記第１信号を受信し、該第１信号に応答してバーチャル環境内の動作に影響を与える手段とを有することを特徴とするバーチャルリアリティコンピュータシステム。１３．前記第１信号を供給する手段は分析装置を含み、該分析装置はデジタル又はアナログ形式の音楽信号を受信し、前記音楽信号を処理してバーチャル環境の物体を修正するための制御情報を作成することを特徴とする請求項１２に記載のバーチャルリアリティコンピュータシステム。１４．前記音楽信号は、バーチャルリアリティコンピュータシステムの他の部分での遅延を補償するために時間的に遅延されることを特徴とする請求項１２に記載のバーチャルリアリティコンピュータシステム。１５．前記第１信号を供給する手段は、前記音楽信号を供給する音楽演奏手段を有することを特徴とする請求項１２に記載のバーチャルリアリティコンピュータシステム。１６．バーチャル環境を創造するバーチャルリアリティコンピュータシステムにおいて、音楽信号に対応した制御トラックを予め記録する手段と、予め記録された制御トラックに応答してバーチャル環境を創造する手段とを有することを特徴とするバーチャルリアリティコンピュータシステム。１７．前記バーチャル環境を創造する手段は、表示装置と、該表示装置にバーチャル環境のグラフィック表示を作成する手段とを有することを特徴とする請求項１６に記載のバーチャルリアリティコンピュータシステム。１８．前記バーチャルリアリティコンピュータシステムは、前記バーチャル環境を創造する手段に前記音楽信号を供給する手段を有し、前記バーチャル環境を創造する手段は、前記音楽信号と前記予め記録された制御トラックの両方に応答してバーチャル環境を創造するための手段を有することを特徴とする請求項１６に記載のバーチャルリアリティコンピュータシステム。１９．前記制御トラックは、前記音楽信号から引き出すことができる付加情報を含むことを特徴とする請求項１６に記載のバーチャルリアリティコンピュータシステム。２０．前記制御トラックは、前記バーチャルリアリティコンピュータシステムでの遅延を補償するために、音楽信号に関して時間的にシフトされることを特徴とする請求項１６に記載のバーチャルリアリティコンピュータシステム。２１．音楽信号の音源と、バーチャル環境の物体を修正するために前記音楽信号から情報を引き出す装置とを有することを特徴とするバーチャルリアリティコンピュータシステム。２２．コンピュータシステムにおいて、音響信号に対応した制御トラックを予め記録する手段と、前記制御トラックを受信し、該制御トラックに応答してコンピュータシステムを操作するためのソフトウェアーがプログラムされた処理装置とを有することを特徴とするコンピュータシステム。２３．前記コンピュータシステムは、更に、前記音響信号を前記処理装置に供給する手段を有し、前記処理装置は、前記音響信号と前記制御トラックの両方に応答してコンピュータシステムを操作するためのソフトウェアーがプログラムされていることを特徴とする請求項２２に記載のコンピュータシステム。