JP4547009B2 - 波面合成レンダリング手段を制御するための装置および方法 - Google Patents

Description

本発明は、波面合成の分野に関し、より特定的には、処理されるべきデータを用いた波面合成レンダリング手段の制御に関する。

本発明は、波面合成の概念に関し、より特定的には、マルチレンダラシステムに関連した効率的な波面合成の概念に関する。

娯楽用電子機器の分野において、新しい技術や画期的な製品がますます求められている。新しいマルチメディアシステムの成功にとって不可欠なのは、最適な機能性や能力を提供することである。これは、デジタル技術、特にコンピュータ技術を利用することによって達成される。その例として、より現実に近い視聴覚印象を与えるアプリケーションがある。これまでのオーディオシステムは、自然環境ばかりでなく仮想環境における空間的な音の再生の質に実質的な問題があった。

オーディオ信号のマルチチャネルラウンドスピーカによる再生方法が以前より知られており長年にわたって標準化されてきている。しかし、全ての通常の技術では必ず、ラウンドスピーカの場所と聞き手の位置とが伝送フォーマット上に印加されてしまっているという欠点がある。聞き手に対してラウンドスピーカを間違って配置すると、オーディオの質が大いに劣化する。最適な音は、狭い再生スペース、いわゆるスィートスポットでのみ実現される。

オーディオ再生時、より自然な空間的印象およびより大きなエンクロージャまたはエンベロープが、新しい技術の助けにより達成され得る。この技術の原理、いわゆる波面合成法（ＷＦＳ）は、デルフト工科大学（TU Delft）において研究され、８０年代後半に最初に紹介された（Berkout, A.J.; de Vries, D.; Vogel, P.：「波面合成法による音響制御（“Acoustic control by Wave field Synthesis”）」、JASA 93、１９９３年）。

波面合成法は、コンピュータの多大なパワーおよび高速の転送レートを要求するので、これまでのところ実際にはほとんど用いられていない。今日の具体的な用途にこの技術を利用できるようにするには、マイクロプロセッサ技術およびオーディオ符号化の分野における進展がなければならない。プロフェッショナルな領域での初代の製品の登場が、翌年に予定されている。数年後には、消費者層のための初代の波面合成アプリケーションが市場に出てくるであろう。

ＷＦＳの基本的な概念は、以下のような、ホイヘンス（Huygens）の波動理論の原理の応用に基づいている：
すなわち、波によって捉えられる各点は、球面状または円状に伝搬する素元波の出発点である。

これを音響に応用すると、入来する波先はどのような形状であっても、互いに近接して配置された多数のラウンドスピーカ（いわゆるラウンドスピーカアレイ）によって再現することができる。再現されるのが単一の点音源であって複数のラウンドスピーカが直線状に配置されているような最も単純な場合、各ラウンドスピーカのオーディオ信号は、個々のラウンドスピーカの放射する音場が正しく重なり合うように、時間遅延および振幅のスケーリングがなされなければならない。音源が複数の場合には、各音源について、各ラウンドスピーカに対する寄与が個々に計算され、結果として得られる複数の信号が合算される。再生されるべき複数の音源が１つの部屋の中にあってその部屋の壁が反響する場合には、反響音もまた、付加的な音源としてラウンドスピーカアレイによって再生されねばならない。したがって、その計算の負担は、音源の数と、録音室の反響特性と、ラウンドスピーカの数とに大いに依存する。

特に、この技術の利点は、非常に広い再生スペースにわたって、音について自然な空間的印象を達成することができることである。公知の技術とは異なり、複数の音源の方向と距離とが非常に正確に再生される。現実のラウンドスピーカアレイと聞き手との間に複数の仮想音源を位置付けることすら、ある程度まで可能である。

このような波面合成は特性の知られている環境においてはうまく機能するが、その特性が変化するか、または、その環境の実際の特性と合致しない環境特性に基づいて波面合成が行なわれると、狂いが生じる。

周辺環境の特性は、その周辺環境のインパルス応答によっても記述され得る。

これについて以下の例に基づいてより詳細に説明する。ここで、ラウンドスピーカが壁に対して音響信号を送出し、壁の反響が望まれていないものとする。この単純な例については、波面合成を用いた空間補償は以下のようになる。まず、壁から反射した音響信号がいつラウンドスピーカに戻ってきてどのような振幅を有するのか、を確かめる目的で、この壁の反響を判定する。壁からの反響が望ましくない場合、波面合成法によれば、反射信号と同様の振幅を有しかつ反射信号と位相が反対である信号をラウンドスピーカ上に印加することで、伝搬する補償波が反射波と相殺し、それにより、この壁からの反響を問題の周辺環境において除去する、というように、壁からの反響を排除できる可能性がある。これは、最初にその周辺環境のインパルス応答を計算し、その後、その周辺環境のインパルス応答に基づいて、その壁の特性および位置を判定することによって達成することができ、その壁は、ミラー音源、すなわち、入来する音を反射する音源、と解釈される。

最初にその周辺環境のインパルス応答を測定し、その後、オーディオ信号に重畳するようにラウンドスピーカに印加されるべき補償信号を計算すれば、この壁からの反響は相殺され、その周辺環境の中にいる聞き手は、壁が全く存在しないような印象を得るようになる。

しかしながら、反射波の最適な補償のためには、補償の過不足が生じないように、その部屋のインパルス応答を正確に判定することが重要となる。

波面合成は、広い再生エリアにわたって仮想音源の正しいマッピングを行なう。それと同時に、波面合成は、サウンドマスタおよびサウンドエンジニアに対して、より一層複雑な音の風景を作成する新しい技術的かつ創造的可能性をもたらす。８０年代末期にデルフト工科大学で開発された波面合成法（ＷＦＳ、または音場合成法）は、音の再生にホログラフィ技術を取入れたものであり、キルヒホッフ−ヘルムホルツ（Kirchhoff-Helmholtz）の積分がその基礎となっている。それによれば、閉じた体積内の任意の音場は、その体積の表面上に、単極および双極の音源（ラウンドスピーカアレイ）を分布させることによって生成することができる。

波面合成においては、ラウンドスピーカアレイのラウンドスピーカごとの合成信号が、仮想位置における仮想音源から送出される音声信号から計算される。ここで、それら合成信号は、振幅および位相に関して、ラウンドスピーカアレイ内に存在する複数のラウンドスピーカによって出力される個々の音波の重畳から得られる波が、もし仮想位置における仮想音源が実際の位置における実際の音源であった場合にその仮想位置におけるその仮想音源によって生じたであろう波に対応するように、形成される。

通常、様々な仮想位置に複数の仮想音源が存在する。合成信号の計算は、各仮想位置における各仮想音源について行なわれ、通常は、１つの仮想音源から複数のラウンドスピーカに対する複数の合成信号が得られる。１つのラウンドスピーカから見ると、そのラウンドスピーカは複数の合成信号を受取り、それらは様々な仮想音源に遡る。それらの音源の、線形重ね合わせ原理により可能となる重畳の結果が、そのラウンドスピーカから実際に送出される再生信号となる。

より大きなラウンドスピーカアレイ、すなわち、より多くのラウンドスピーカが提供されれば、波面合成が利用され得る可能性はより高くなる。しかしながらそれに伴って、波面合成ユニットが必要とする計算のパワーもまた増大する。というのも、チャネル情報もまた通常は考慮に入れねばならなくなるからである。すなわちこれは、原則として、各仮想音源から各ラウンドスピーカへは独自の伝送チャネルが存在すること、また原則として、各仮想音源が各ラウンドスピーカに対して１つの合成信号をもたらし、および／または、各ラウンドスピーカが仮想音源と同じ数の合成信号を得ること、を意味する。

特に、仮想音源もまた移動し得る映画館のような用途に波面合成の可能性が利用される場合、合成信号の計算、チャネル情報の計算、および、チャネル情報と合成信号との組み合わせによる再生信号の生成のために、相当な量の計算パワーがかかわってくることが予想される。

さらに、ここで注記すべきは、オーディオ再生の質が、利用可能なラウンドスピーカの数が増加するほど高まることである。これは、ラウンドスピーカアレイ内のラウンドスピーカの数が多くなるほど、オーディオ再生の質がよりよくなり、より現実に近づくことを意味する。

上記の場合、個々のラウンドスピーカに対する完全にレンダリングされかつアナログ−デジタル変換された再生信号は、たとえば、波面合成中央ユニットから個々のラウンドスピーカへと２線式ラインを介して伝送され得る。この場合、すべてのラウンドスピーカがほぼ確実に同時に作動することで、同期化のためのさらなる方策が必要ではなくなる、という利点がある。ただし、波面合成中央ユニットは必ず、特定の再生ルームのため、または、決まった数のラウンドスピーカでの再生のためだけに製造される。このことは、各再生ルームについて、独自の波面合成中央ユニットが作成されねばならないことを意味する。また、そのユニットは、多大な計算パワーを行使せねばならない。というのも、オーディオ再生信号の計算が、多くのラウンドスピーカおよび／または多くの仮想音源について、少なくともその一部が並行かつリアルタイムで行なわれねばならないからである。

ドイツ国特許ＤＥ １０２５４４０４ Ｂ４は、図７に示すようなシステムを開示している。その一部は中央波面合成モジュール１０である。残りの部分は、個々のラウンドスピーカモジュール１２ａ、１２ｂ、１２ｃ、１２ｄ、および１２ｅからなり、それらは図１に示すように、実際の物理的なラウンドスピーカ１４ａ、１４ｂ、１４ｃ、１４ｄ、および１４ｅに接続されている。なお、ラウンドスピーカ１４ａ〜１４ｅの数は５０を上回り、一般的な用途においては通常は優に１００を超える。個々のラウンドスピーカが各ラウンドスピーカと関連付けられている場合には、対応する数のラウンドスピーカモジュールもまた必要である。しかしながら、用途によっては、隣接する複数のラウンドスピーカの小さな群に１つのラウンドスピーカモジュールで対処することが好ましい。これに関連して、たとえば４つのラウンドスピーカに接続された１つのラウンドスピーカモジュールがその４つのラウンドスピーカに同じ再生信号を与えるか、それとも、それら４つのラウンドスピーカについて対応する異なる合成信号が計算されるか、は任意である。そこで、そのようなラウンドスピーカモジュールは実際には、いくつかの個々のラウンドスピーカモジュールからなり、それらが物理的に１つのユニットにまとめられている。

波面合成モジュール１０とそれぞれ個々のラウンドスピーカ１２ａ〜１２ｅとの間には、独自の伝送経路１６ａ〜１６ｅが存在し、各伝送経路は、中央波面合成モジュールおよび、対応するラウンドスピーカモジュールに結合されている。

波面合成モジュールからラウンドスピーカモジュールにデータを伝送するためのデータ伝送モードとしては、高いデータレートを提供するシリアル伝送フォーマット、たとえばいわゆるファイヤワイヤ（Firewire）伝送フォーマットまたはＵＳＢデータフォーマットが好ましい。１００メガビット／秒を超えるデータ転送レートが有利である。

波面合成モジュール１０からラウンドスピーカモジュールに伝送されるデータストリームは、波面合成モジュール内で選ばれたデータフォーマットに従ってフォーマット化されており、通常のシリアルデータフォーマットで提供される同期化情報を備える。この同期化情報は、個々のラウンドスピーカモジュールによってデータストリームから抽出され、そして、個々のラウンドスピーカモジュールをそれらの再生に関して、すなわち、最終的にはアナログのスピーカ信号を得るためのアナログ−デジタル変換、および、その目的のために提供されるサンプリング（リサンプリング）に関して、同期化するために使用される。中央波面合成モジュールがマスタとして機能し、すべてのラウンドスピーカモジュールがクライアントとして機能する。ここで、個々のデータストリームはすべて、複数の伝送経路１６ａ〜１６ｅを介して中央モジュール１０から同じ同期化情報を得る。これにより、すべてのラウンドスピーカモジュールが同時に作動すること、つまりマスタ１０と同期することが確実となる。このことは、オーディオ再生システムにとって、オーディオの質の低下を防ぐために重要である。これにより、波面合成モジュールによって計算された合成信号が、対応するオーディオレンダリングの後に、個々のラウンドスピーカから時間的にオフセットされた形で発せられる事態が防げる。

ここに述べた概念は、波面合成システムに対して非常に高い柔軟性を提供するものであり、それは種々の用途に対して適応可能である。しかしそれは、実際の主要なレンダリングを行なっている、すなわち仮想音源の位置に応じてまたラウンドスピーカの位置に応じてそれらラウンドスピーカに対する個々の合成信号を計算している中央波面合成モジュールが、システム全体に対する「ボトルネック」となっている、という問題を未だに抱えている。このシステムにおいては、「ポストレンダリング」、すなわち、合成信号にチャネル伝送機能を付すこと等が、既に分散形式で行なわれており、したがって、中央レンダラモジュールと個々のラウンドスピーカモジュールとの間で必要なデータ伝送容量は既に、所定のしきい値エネルギよりも低いエネルギで合成信号を選択することにより減じられているが、それでもなお、すべての仮想音源はすべてのラウンドスピーカモジュールに対して何らかの方法でレンダリングされねばならず、つまりは合成信号に変換されねばならず、その選択は、レンダリングの後にしか行なうことができない。

このことは、レンダリングが未だにシステムの全体的な能力を決定することを意味する。もし中央レンダリングユニットがたとえば３２個の仮想音源を同時にレンダリングすることが可能であって、それら３２個の仮想音源についての合成信号を同時に計算することが可能である場合、もし１つのオーディオシーンで３２個を上回る数の音源が同時にアクティブであるとすると、能力に関して深刻なボトルネックが生じる。単純なシーンの場合にはこれは十分である。しかし、より複雑なシーンで、たとえば雨が降っており多くの雨粒が個々の音源となるような、没入型の音の印象がある場合には、最大で３２個の音源という容量がもはや十分でないことはすぐにわかることである。同様の状況は、大規模なオーケストラであって、実際に個々のオーケストラプレーヤを処理すること、または少なくとも各楽器グループをその位置における独自の音源として処理することが望まれる場合に、生じる。このとき、３２個の仮想音源ではすぐに少な過ぎることになる。

通常、公知の波面合成の概念においては、シーン記述が使用される。シーン記述では、そのシーン記述内のデータと個々の仮想音源に対するオーディオデータとを使用して、完全なシーンが１つのレンダラまたは１つのマルチレンダリング構造でレンダリングできるように、個々のオーディオオブジェクトがまとめて定義される。ここでは、各オーディオオブジェクトについて、そのオーディオオブジェクトがどこで始まりどこで終わるべきかが厳密に定義される。さらに、各オーディオオブジェクトについて、仮想音源のあるべき位置、すなわち、波面合成レンダリング手段へと入れられるべき位置が厳密に示されており、それにより、対応する合成信号が各ラウンドスピーカに対して生成されるようになっている。その結果、個々のラウンドスピーカから出力される音波をそれら合成信号に対する反応として重ね合わせることにより、音源が、再生ルームの中または外の、仮想音源の音源位置によって規定される位置にあたかも位置付けられているかのような印象が、聞き手にもたらされる。

通常、波面合成システムの容量は限られているので、各レンダラの計算能力にも限界がある。一般に、１つのレンダラは３２個の音源を同時に処理することが可能である。さらに、オーディオサーバからレンダラへの伝送経路も、限られた伝送帯域幅を有しており、ビット／秒単位で最大の転送レートを提供する。

たとえば２つの仮想音源しか存在しないような単純なシーンについては、背景ノイズに対してさらなる仮想音源が追加で存在するような会話のシーンであった場合、実際にたとえば３２個の音源を同時に処理することができるレンダラの処理能力で問題はない。また、この場合、レンダラへの伝送量が非常に小さいので、伝送経路の容量も十分である。

しかしながら、３２個より多い数の仮想音源を有する、より複雑なシーンを再生する場合に問題が生じる。たとえば雨の中でのシーンを正しく再生する、または、拍手喝采のシーンを自然に再生するような場合、３２個の仮想音源に限定されたレンダラの最大計算能力はすぐに十分ではなくなる。これは、非常に多くの個々の仮想音源が存在することによる。というのも、たとえば聴衆の場合、拍手喝采しているすべての聞き手が、原則として、独自の仮想位置における独自の仮想音源として理解され得るからである。このような限界に対処するために、いくつかの可能性が存在する。１つの可能性は、そのシーン記述の作成時から、１つのレンダラが３２個のオーディオオブジェクトを同時に処理する必要がないように注意することである。

別の可能性は、シーン記述の作成時には実際の波面合成条件を一切考慮することなく、単にシーンの作り手が望むような態様で、シーン記述を作成することである。

この可能性は、シーン記述のより高い柔軟性および異なる複数の波面合成システム間でのより高い可搬性に関して利点がある。なぜなら、シーン記述は、１つの特定のシステムのために設計されるのではなく、より一般的なものとなるからである。すなわち、これは、同じシーン記述が、能力の高い複数のレンダラを有する波面合成システムで実行した場合に、低い計算能力を有する複数のレンダラを有するシステムで実行した場合よりも、聞き手にとってよりよい印象が得られることに繋がるという事実に繋がる。換言すれば、この第２の可能性は、シーン記述が能力の非常に限られた波面合成システムで作成されていることで、そのシーン記述が、より優れた能力を有する波面合成システムにおいても、聞く側によりよい印象をもたらすことはない、という利点を有する。

しかしながら、この第２の可能性には、波面合成システムがその最大容量を超えたときに、パフォーマンスの低下またはそれに関連する他の問題が生じる、という短所がある。なぜなら、レンダラが、より多くの音源を処理すべきときに、その最大能力を理由に、超過した音源の処理を単に拒絶する可能性があるからである。

本発明の目的は、質の低下が少なくとも減じられ、高い柔軟性が同時に得られる、波面合成レンダリング手段を制御するための柔軟な概念を提供することである。

この目的は、請求項１に記載の波面合成レンダリング手段を制御するための装置、請求項１３に記載の波面合成レンダリング手段を制御するための方法、または、請求項１４に記載のコンピュータプログラム、によって達成される。

本発明は、波面合成において生じる処理の過負荷のピークはほんの一瞬存在し得るものであり、それをなくす目的で、あるタイムスパンまたはロケーションスパン内でオーディオオブジェクトの開始および／または終了やオーディオオブジェクトの位置を変更することによって負荷の複数のピークを阻止することにより、現実的な容量の限度を拡大することが可能となる、という発見に基づいている。これは、あるスパン内で開始および／または終了、さらには位置までもが可変であり得る音源について、シーン記述内に、固定された時刻ではなく対応するスパンを示すことにより、またその後、波面合成システムの利用状況（ワークロード）に応じて、そのタイムスパンおよび／またはロケーションスパン内でオーディオオブジェクトの実際の開始および実際の仮想位置を変更することにより、達成される。

通常処理されるべきシーンの高いダイナミクスにより、ある時間における実際のオーディオ音源の数は非常にばらつき得るものであるが、過負荷の状況、すなわち、非常に多くの仮想音源が同時にアクティブであるという状況は、比較的短い時間しか続かない、ということが発見された。

本発明に従えば、そのような過負荷の状況は、複数のオーディオオブジェクトを、それらのタイムスパン内で前におよび／または後ろにシフトしたり、マルチレンダラシステムにおけるそれらの位置に対してシフトしたりすることによって、減じられるかまたは完全に排除することができる。そして、この位置の変更のおかげで、レンダラのうちの１つが、その仮想音源に対して合成信号をもはや生成する必要がなくなる。

このようなタイムスパン／ロケーションスパンの定義に特に適しているオーディオオブジェクトは、ノイズをコンテントとして有する音源である。それらはたとえば、拍手のノイズ、落下ノイズ、もしくは、風のノイズのような他の背景ノイズ、または、たとえば遠くから近づいてくる電車の音のような運転ノイズ等、である。ここでは、風のノイズが数秒早くまたは遅く始まったか否か、また、電車が、シーン記述の原作者によって実際に求められるのとは違う仮想位置でオーディオシーンに入ってきたか否かということは、オーディオの印象や聞き手の聴取体験にとっては何の影響もない。

しかしながら、上記のような非常に動的に起こる過負荷の状況に対するその効果は甚大であり得る。オーディオ音源についての、それらのロケーションスパンおよびタイムスパンの範囲内でのプランニングまたはスケジューリングにより、非常に短期間だけ生じる過負荷の状況を、より長いがしかし処理が可能な状況へと変換することが可能になる。これはもちろん、たとえば、許されたタイムスパン内でオーディオオブジェクトを条件付きでより早く終結させることによっても行なわれ得る。ただし、そのオーディオオブジェクトは、どのみちそれほど長くは存在しなかったであろうが、そのレンダラに新しく伝送されてきたオーディオオブジェクトにより、そのレンダラの過負荷の状況を引起す原因となったであろうものであり、そのレンダラを通じてその新しいオーディオオブジェクトが拒絶されることになったであろうものである。

ここでやはり注記すべきは、これまでは、オーディオオブジェクトが拒絶された場合、そのオーディオオブジェクト全体がレンダリングされなかったことである。このような事態は、古い方のオーディオオブジェクトがあとほんの１秒だけ続いたであろうものであるのに対し、新しい方のオーディオオブジェクトが数分の長さを有していたかも知れないのに、古い方のオーディオオブジェクトとの１秒の重複によって生じてしまった短い過負荷の状況のせいで完全に省略／拒絶されてしまう、というような場合に特に望ましくない。

本発明に従えば、この問題は、古い方のオーディオオブジェクトを、対応のスパンが与えられる限り、１秒早く終結させることにより、または、新しい方のオーディオオブジェクトを、予め定められたタイムスパン内でたとえば１秒だけ後ろにシフトすることによって、解決される。そうすれば、オーディオオブジェクト同士はもはや重複することはなく、数分の長さを有するかもしれない新しい方のオーディオオブジェクトの全体が拒絶されるようなまずい事態はなくなる。

本発明に従えば、オーディオオブジェクトの開始についてまたはオーディオオブジェクトの終了について、決まった時刻ではなくある時間間隔が定義される。これにより、それぞれのオーディオデータの伝送または処理を前にまたは後ろにずらすことによって、転送レートのピーク、および、それに続いて生じる容量またはパフォーマンスの問題を阻止することが可能となる。

以下に、本発明の好ましい実施例について、添付の図面を参照してより詳細に説明する。

図１は、波面合成システム０内に配される波面合成レンダリング手段を制御するための本発明の装置を示す。波面合成レンダリング手段は、複数のオーディオオブジェクトから、ラウンドスピーカアレイ内の複数のラウンドスピーカに対する複数の合成信号を生成するよう形成されている。特に、オーディオオブジェクトは、１つの仮想音源に対する１つのオーディオファイルを含み、さらに、仮想音源が配されるべき、再生ルームの内部または外部における、すなわち聞き手に対する、少なくとも１つの音源位置を含む。

図１に示す本発明の装置は、シーン記述を提供するための手段１を含む。シーン記述は、オーディオデータの時間シーケンスを固定し、オーディオオブジェクトに関連付けられた仮想音源に対するオーディオオブジェクトは、時間的な開始または時間的な終了を定義し、仮想音源に対するオーディオオブジェクトは、オーディオオブジェクトの開始または終了がその中に存在すべきタイムスパンを含む。これに代えて、またはこれに加えて、シーン記述は、オーディオオブジェクトが仮想音源の位置がその中にあるべきロケーションスパンを含むように形成される。

本発明の装置は、波面合成システム０の利用を監視して、波面合成システムの利用状況を判定するよう形成されたモニタ２をさらに含む。

オーディオオブジェクト操作手段３もまた提供される。これは、波面合成システム０の利用状況に応じて、タイムスパン内で、波面合成レンダリング手段によって観察されるべきオーディオオブジェクトの実際の開始点または終了点を変化させるように、または、ロケーションスパン内で、仮想音源の実際の位置を変更するように、形成されている。好ましくは、オーディオファイルサーバ４もまた備えられる。これは、インテリジェントデータベース内に、オーディオオブジェクト操作手段３とともに実現され得る。これは簡単なファイルサーバであってもよく、オーディオオブジェクト操作手段３からの制御信号に応じて、オーディオファイルを、データ接続５ａを介して、または直接、波面合成システムに、特に波面合成レンダリング手段に提供する。さらに、本発明に従えば、オーディオファイルを、データ接続５ｂを介してオーディオオブジェクト操作手段３に提供することが好ましく、その後、オーディオオブジェクト操作手段３がデータストリームを、波面合成システム０、特に複数の個々のレンダラモジュールまたは単一のレンダラモジュールから、その制御線６ａを介して提供する。それは、操作手段によって決定されるオーディオオブジェクトの実際の開始点および／または終了点を含み、および／または対応する位置を含み、さらにオーディオデータ自体を含む。

オーディオオブジェクト操作手段３には、入力線６ｂを介して、手段１からシーン記述が与えられ、さらなる入力線６ｃを介して、モニタ２から波面合成システム０の利用状況が与えられる。なお、図１に示された個々の線は、必ずしも別個のケーブルとして実現される必要はなく、それらは単に、本発明の概念を実現する目的で、このシステム内で対応するデータが伝送されることを示している。これに関して、モニタ２はまた、モニタリング線７を介して波面合成システム０に接続されている。これは、状況に応じてたとえばいくつの音源が現時点においてレンダラモジュール内で処理されているか、また容量の限度を超えたかどうか等をチェックするためのものであるか、あるいは、線６ａもしくはデータ線５ａまたは波面合成システム内の別の線上で現時点において優勢であるデータレートがどのようなものであるかをチェックするためのものである。

しかし、ここで注記しておくが、利用状況は必ずしも現時点における利用状況でなくてもよく、未来の利用状況であってもよい。この実現が好ましいのは、可変性、すなわち、将来の過負荷のピークを避けることに関して、個々のオーディオオブジェクトを互いに対してどのように計画および／または操作することができるか、により、たとえばあるタイムスパン内の現時点における変動により、将来の何らかの時点においてのみ過負荷のピークを避けることができる、という点である。本発明の概念の有効性は、固定された開始点または終了点を有するのではなくタイムスパンを設けられた開始点または終了点を有するか、または、固定された音源位置を有するのではなくロケーションスパンを設けられた音源位置を有する音源が多くなればなるほど、高くなる。

ここで注記すべきは、たとえば背景ノイズのような、その音源位置が重要ではない、すなわち、どこからやってきてもよい音源もまた存在し得るということである。これまでは、それらの音源についても位置を示さねばならなかったが、今では、その位置の表示は、非常に大きな明示的または暗示的ロケーションスパンによって用いられるおよび／または補われることが可能である。特に、これは、マルチレンダラシステムにおいて重要である。たとえば、４辺を有しかつ、独自のレンダラを備えるラウンドスピーカアレイを各辺に有する再生ルームを想定した場合、プランニングは、その任意のロケーションスパンにより特にうまくなされ得る。たとえば、正面のレンダラの負荷が現時点において過剰であって、位置を問わない音源が生じる状況が起こり得る。そのとき、本発明のオーディオオブジェクト操作手段３は、その仮想音源の現時点での位置が聴取の印象にとっておよび／またはそのオーディオシーンにとって重要ではない仮想音源の位置を、正面のレンダラよりも別のレンダラによってレンダリングされるように、すなわち、正面のレンダラには負荷をかけることなく、別のレンダラにのみ負荷をかけるように、位置付ける。この場合その別のレンダラは、それでもその容量限度内で作動する。

前述のように、シーン記述が可変に設計されればされるほど、本発明の概念の柔軟性および有効性が増すが、これはまた、シーンの作者の要求に対して有利である。というのも、彼らは、タイムスパンおよびロケーションスパンを示すだけでよく、聴取の印象にとって実際には重要ではない地点においては、各音源について厳格に決定する必要がなくなるからである。そのような決定はサウンドマスタにとっては厄介な仕事であり、それが本発明の概念によって取除かれるか、または、厳格な処理を伴う波面合成システムの能力と比べて、サウンドマスタによって与えられる範囲内でのインテリジェントプランニングによって、実際の能力を強化するようにさえ使用されることになる。

次に、図２を参照して、オーディオオブジェクトが有するのが望ましい情報について説明する。オーディオオブジェクトは、仮想音源のオーディオコンテントを何らかの方法で表わすオーディオファイルを特定するものである。しかしながら、オーディオオブジェクトは、オーディオファイルを含む必要はなく、実際のオーディオファイルが格納されているデータベース内の定義された場所を指すインデックスを有してもよい。

さらに、オーディオオブジェクトは、好ましくは、仮想音源の識別情報を含む。これはたとえば、音源の番号、または有意のファイル名等である。さらに、本発明においては、オーディオオブジェクトは、仮想音源の、すなわち、オーディオファイルの、最初および／または最後に対するタイムスパンを特定する。最初に対するタイムスパンのみが特定された場合、それは、そのファイルのレンダリングの実際の開始点がそのタイムスパン内でレンダラによって変更され得ることを示す。最後に対するタイムスパンが追加で与えられている場合、それは、その終了点もまたそのタイムスパン内で変更されることを示しており、この場合には、オーディオファイルがその長さについても実現に応じて変更され得ることになる。種々の実現が可能である。たとえば、開始点が実際にシフトすることが許されるが、その長さは決して変更してはならならず、したがって、そのオーディオファイルの終了点もまた自動的にシフトされる、というようなオーディオファイルの開始／終了時間の定義もまた可能である。ノイズについては、特に、その終了点もまた可変であるようにしておくことが望ましい。なぜなら、たとえば風の音がいくぶん早くまたは遅く開始しまたいくぶん早くまたは遅く終了しても、通常は問題にはならないからである。実現によってはさらなる特定が可能であるおよび／または望ましく、たとえば、開始点が実際に変化することが許されるが終了点の変化は許されない、等と規定することもできる。

好ましくは、オーディオオブジェクトは、位置に対するロケーションスパンをさらに含む。あるオーディオオブジェクトについては、それらがたとえば正面の左側から来るのかあるいは正面の中央から来るのか、または、それらが再生ルーム内の基準点に対してある（小さな）角度でもってシフトされるかどうか、は重要ではないだろう。しかしながら、上述のように、特にやはりノイズ領域では、どのような場所にも位置付けることができ、かつしたがって最大のロケーションスパンを有するオーディオオブジェクトが存在し、それらはたとえば、オーディオオブジェクト内で、「任意」というコードで特定されるか、または、コードなし（暗示的）で特定され得る。

オーディオオブジェクトは、仮想音源の種類を示す情報のような、さらなる情報を含み得る。これは、その仮想音源が、音波の点源であるか、平面波の音源であるか、それとも任意の波先の複数の音源を生成する音源であるか、を示す情報であり、レンダラモジュールがそのような情報を処理可能な場合に限り含まれ得る。

図３は、シーン記述を例示的に示す概略図である。その中で、種々のオーディオオブジェクトＡＯ１、…、ＡＯｎ＋１の時間シーケンスが示されている。これは特に、オーディオオブジェクトＡＯ３に向けられており、それに対してタイムスパンが、図３に示すように規定されている。図３におけるオーディオオブジェクトＡＯ３の開始点および終了点は両方とも、そのタイムスパンによってシフトすることが可能である。しかしながら、オーディオオブジェクトＡＯ３の定義は、その長さは変更されてはならない、というものである。ただしこれは、オーディオオブジェクトごとに可変的に調整可能である。

オーディオオブジェクトＡＯ３を時間の正方向にシフトすることにより、オーディオオブジェクトＡＯ３がオーディオオブジェクトＡＯ２の後になって開始されるようにすることができることがわかる。両方のオーディオオブジェクトが同じレンダラ上で再生された場合にさもなければ起こり得たであろう短い重複２０を、この方法によって避けることが可能である。もしオーディオオブジェクトＡＯ３が、オーディオオブジェクトＡＯ２およびＡＯ１等のレンダラ上で処理されるべき既存のすべての別のオーディオオブジェクトのせいで、先行技術におけるレンダラの容量を超えて存在するオーディオオブジェクトであった場合には、タイムスパン２０が非常に小さいものであったにせよ、本発明なしでは、オーディオオブジェクトＡＯ３が全く処理されない事態が生じたであろう。本発明に従えば、オーディオオブジェクトＡＯ３はオーディオオブジェクト操作手段３により、容量の超過が起こらないように、またしたがって、オーディオオブジェクトＡＯ３が全く処理されない事態が生じないように、シフトされる。

本発明の好ましい実施例においては、相対的な表示を有するシーン記述が使用される。オーディオオブジェクトＡＯ２の開始が、もはや絶対的な時間点ではなく、オーディオオブジェクトＡＯ１に対する相対的な時間期間で与えられることで、柔軟性が増大される。これに対応して、ロケーション表示の相対的な記述が好ましい。すなわち、オーディオオブジェクトが再生ルームにおけるある地点ｘｙに配置されるのではなく、たとえば、別のオーディオオブジェクトまたは基準オブジェクトに対してあるベクトルでオフセットされる。

これにより、タイムスパン情報および／またはロケーションスパン情報は、非常に効率的に適用され得る。すなわち、タイムスパンを単に、オーディオオブジェクトＡＯ３が、オーディオオブジェクトＡＯ１の開始後、２分から２分２０秒の間の時間期間において開始し得る、ということを表わすように、決めることができる。

このような空間および時間の条件の相対的な定義によって、制約という形の、データベース効率のよい表現がもたらされる。これについてはたとえば次の文献に記載されている。「マルチメディアデータベースシステムにおけるモデリング用出力制約（"Modeling Output Constraints in Multimedia Database Systems"）」、T. Heimrich、第１回国際マルチメディアモデリング会議（1^th International Multimedia Modelling Conference）、ＩＥＥＥ、２００５年１月２日〜２００５年１月１４日、メルボルン（Melbourne）。ここで、一貫したデータベースの状態を定義するのに、データベースシステムにおける制約の使用が示されている。特に、アレン（Allen）の関係式を使用して時間的な制約が記述されており、空間的関係式を使用して空間的な制約が記述されている。ここから、同期化の目的で、好適な出力制約を規定することができる。そのような出力制約としては、複数のオブジェクト間の時間的または空間的条件、制約に違反があった場合の反応、および、そのような制約をいつチェックすべきかを表わすチェック時間、等がある。

本発明の好ましい実施例においては、各シーンの空間的／時間的出力オブジェクトは、互いに対して相対的にモデリングされる。オーディオオブジェクト操作手段は、これらの相対的かつ可変な定義を、絶対的な空間的かつ時間的順序へと変換する。この順序は、図１に示されるシステムの出力６ａで得られ、波面合成システム内のレンダラモジュールが特にどのようにアドレスされるかを定義する出力スケジュールを表わすものである。このスケジュールは、出力条件に対応するオーディオデータ内に配される出力プランである。

次に、図４に基づいて、そのような出力スケジュールの好ましい実施例について説明する。特に、図４は、図４に従って左から右に伝送される、すなわち、図１のオーディオオブジェクト操作手段３から図１の波面合成システム０の１または複数の波面合成レンダラへと伝送される、データストリームを示す。特に、データストリームは、図４に示される実施例においては、各オーディオオブジェクトにつき、まずヘッダＨを含み、その中に位置情報および時間情報が含まれ、その下流に、その特定のオーディオオブジェクトに対するオーディオファイルを含み、これが、図４では、最初のオーディオオブジェクトに対してはＡＯ１で、２番目のオーディオオブジェクトに対してはＡＯ２で、以下同様に示されている。

その後、波面合成レンダラがそのデータストリームを受け、たとえば現在の固定的に合意された同期化情報から、ヘッダが入来した時点を認識する。さらなる同期化情報に基づいて、レンダラはその後、ヘッダが終わった時点を認識する。これに代えて、各ヘッダについてビット単位の固定長さを取決めることも可能である。

図４に示される本発明の好ましい実施例におけるオーディオレンダラは、ヘッダを受取った後に、自動的に、後続のオーディオファイル、すなわちたとえばＡＯ１が、オーディオオブジェクトに属すること、すなわち、そのヘッダ内で特定された音源位置に属すること、を知る。

図４は、波面合成レンダラに対するシリアルデータ伝送を示す。もちろん、複数のオーディオオブジェクトは、１つのレンダラ内で同時に再生される。このため、レンダラは、データストリームの構文解析のために、入力バッファの前にデータストリーム読出手段が設けられることを求める。データストリーム読出手段がヘッダを解釈し、対応して付随するオーディオファイルを格納し、その後、レンダラが、入力バッファから正しいオーディオファイルおよび正しい音源位置を読み出し、そして、オーディオオブジェクトがレンダリングされる番になる。データストリームのための他のデータもまたもちろん可能である。時間／場所情報および実際のオーディオデータを別々に伝送することも可能である。しかしながら、図４に示される組み合わせられた伝送が好ましい。というのも、位置／時間情報をオーディオファイルと連結することにより、データの整合性の問題が排除されるからである。なぜなら、レンダラがオーディオデータに対する正しい音源位置を有しており、また、先の音源のオーディオファイル等を未だにレンダリングしているのではなく、新しい音源の位置情報を既に使用してレンダリングしていることが、常に確実となるからである。

本発明は、オブジェクト指向の方法に基づいている。すなわち、個々の仮想音源は、オーディオオブジェクトおよび仮想の空間地点によって特徴付けられた、またおそらくは、それが音波の点源であるか、平面波の音源であるか、他の形状の複数音源のための音源であるか、という、音源の種類によって特徴付けられた、オブジェクトとして理解される。

上述のように、波面の計算は非常に時間がかかるものであり、計算アルゴリズムの効率性に関連して、サウンドカードおよびコンピュータ等の使用されるハードウェアの容量により制限されるものである。したがって、非常に高性能なＰＣベースの解決策であったとしても、要求の厳しい音の事象が多数同時に表現されるべき場合には、波面合成の計算の限界にすぐに到達してしまう。使用されるソフトウェアおよびハードウェアの容量的な限界が、ミキシングおよび再生における仮想音源の数に関して限界を与えることになる。

図６は、そのような、容量に限界のある公知の波面合成概念を示す。これは、オーサリングツール６０と、コントロールレンダラモジュール６２と、オーディオサーバ６４とを含む。コントロールレンダラモジュールは、ラウンドスピーカアレイ６６にデータを供給するように形成され、ラウンドスピーカアレイ６６は、個々のラウンドスピーカ７０の個々の波の重畳によって、所望の波先６８を生成する。オーサリングツール６０は、ユーザが、シーンを作成しかつ編集し、波面合成ベースのシステムを制御することを可能にする。シーンは、個々の仮想オーディオ音源に関する情報と、オーディオデータとからなる。オーディオ音源の特性および、オーディオデータへの参照は、ＸＭＬシーンファイルに格納される。オーディオデータそのものはオーディオサーバ６４上にファイルされ、そこからレンダラモジュールへと伝送される。同時に、レンダラモジュールは、オーサリングツールから制御データを獲得し、それにより、中央に実現されているコントロールレンダラモジュール６２は、個々のラウンドスピーカに対して合成信号を生成することができる。図６に示される概念は、「波面合成のためのオーサリングシステム（"Authoring System for Wave Field Synthesis"）」、F. Melchior, T. Roder, S. Brix, S. WabnikおよびC. Riegel、ＡＥＳコンベンション紙（AES Convention Paper）、第１１５回ＡＥＳコンベンション、２００３年１０月１０日、ニューヨーク（New York）、に記載されている。

この波面合成システムがいくつかのレンダラモジュールとともに作動される場合、各レンダラは、そのレンダラがそれに関連付けられている限られた数のラウンドスピーカによる再生のために、そのデータを必要とするかしないかにかかわらず、同じオーディオデータが供給される。現在のコンピュータは各々、３２個のオーディオ音源を計算することが可能であるので、これがシステムの限界を表わす。他方、システム全体においてレンダリングすることが可能な音源の数は、効率的な態様で大いに増大させることができる。これは、映画のような複雑な用途、雨や拍手のような没入型の雰囲気、または他の複雑なオーディオシーンのための、実質的な必須条件の１つである。

本発明に従えば、波面合成マルチレンダラシステムにおいて、冗長なデータ伝送プロセスおよびデータ処理プロセスの減少を達成することができる。これは、計算能力の強化および／または同時に計算可能なオーディオ音源の数の増加につながる。

マルチレンダラシステムの個々のレンダラへのオーディオデータおよびメタデータの冗長な伝送および処理を減少させるために、オーディオサーバは、データ出力手段によって拡張され、データ出力手段は、どのレンダラがどのオーディオデータおよびメタデータを必要とするかを判断することが可能である。データマネージャによっておそらくは支援されるデータ出力手段は、好ましい実施例においては、いくつかの情報を必要とする。この情報とは、まず、オーディオデータであり、そして、音源の時間および位置データであり、最後に、レンダラの構成、すなわち、接続されるラウンドスピーカおよびそれらの位置ならびにそれらの容量に関する情報である。データ管理技術および出力条件の定義の助けにより、出力スケジュールが、オーディオオブジェクトの時間的および空間的構成とともに、データ出力手段により生成される。その後、空間的構成、時間的スケジュールおよびレンダラ構成から、データ管理モジュールが、ある時刻においてどの音源がどのレンダラに関連しているのかを計算する。

好ましい全体的な概念を図５に示す。データベース２２は出力側のデータ出力手段２４によって補われる。データ出力手段はスケジューラとも称される。このスケジューラは、ラウンドスピーカアレイの対応するラウンドスピーカが供給されるように、その出力２０ａ、２０ｂ、２０ｃにおいて種々のレンダラ５０に対するレンダラ入力信号を生成する。

好ましくは、スケジューラ２４もまた、ストレージマネージャ５２によって支援されるが、これは、データベース４２を、ＲＡＩＤシステムおよび対応するデータ構造のデフォルトによって構成するためである。

入力側にはデータジェネレータ５４が存在するが、これはたとえば、オーディオシーンをオブジェクト指向の態様でモデリングするまたは記述する、オーディオエンジニアまたはサウンドマスタであり得る。ここで、データジェネレータは、対応する出力条件５６を含むシーン記述を与え、それらの条件は、必要であれば変換５８の後に、データベース２２内にオーディオデータとともに格納される。オーディオデータは、挿入／更新ツール５９によって操作および更新され得る。

本発明の方法は、諸条件に応じて、ハードウェアでもソフトウェアでも実現され得る。その実現は、その方法が実行されるようにプログラマブルコンピュータシステムとともに協働することが可能な、電子的に読出可能な制御信号を有して、デジタル記憶媒体上、特に、フロッピーディスク（登録商標）またはＣＤ上であってもよい。本発明は一般に、コンピュータプログラムプロダクトであってもよく、それは、そのコンピュータプログラムプロダクトがコンピュータ上で実行されたときに当該方法を行なうための機械で読取可能なキャリア上に記憶されたプログラムコードを有する。言い換えれば、本発明は、コンピュータ上で実行されたときに当該方法を行なうためのプログラムコードを有する、コンピュータプログラムとして実現することも可能である。

本発明の装置のブロック回路図である。 オーディオオブジェクトの例を示す図である。 シーン記述の例を示す図である。 現在の時間データおよび位置データを有するヘッダが、各オーディオオブジェクトと関連付けられている、ビットストリームを示す図である。 本発明の概念を波面合成システム全体に取り入れた様子を示す図である。 公知の波面合成の概念を説明する概略図である。 公知の波面合成の概念を説明するさらなる図である。

Claims (14)

1. 波面合成システム（０）内に配される波面合成レンダリング手段を制御するための装置であって、該波面合成レンダリング手段は、音源位置に配された仮想音源に対するオーディオファイルがそれに関連付けられているオーディオオブジェクトから、該波面合成レンダリング手段に結合された複数のラウンドスピーカに対する合成信号を生成するよう形成され、該装置は、
   シーン記述を提供するための手段（１）を含み、シーン記述は、オーディオオブジェクトの時間的シーケンスを設定し、オーディオオブジェクトは、そのオーディオオブジェクトに関連付けられた仮想音源に対して時間的開始または時間的終了を規定し、仮想音源に対するオーディオオブジェクトは、そのオーディオオブジェクトの開始または終了がその中にあるべきタイムスパンを含むか、または、仮想音源の位置がその中にあるべきロケーションスパンを含み、該装置はさらに、
   該波面合成システムの利用状況を監視するためのモニタ（２）と、
   該波面合成システム（０）の利用状況に応じて、タイムスパン内で、該波面合成レンダリング手段によって考慮されるべきオーディオオブジェクトの実際の開始点または終了点を変更するか、または、ロケーションスパン内で、仮想音源の実際の位置を変更するための、オーディオオブジェクト操作手段（３）とを含む、装置。
2. 該モニタは、該オーディオオブジェクト操作手段（３）と該波面合成レンダリング手段との間のデータ接続の利用状況を監視するよう形成され、
   該オーディオオブジェクト操作手段（３）は、オーディオオブジェクトの実際の開始点または終了点を変更しない場合に比べてデータ接続の利用ピークが減じられるように、オーディオオブジェクトの実際の開始点または終了点を変更するよう形成される、請求項１に記載の装置。
3. 該モニタ（２）は、該波面合成レンダリング手段の利用状況を監視するよう形成され、
   該オーディオオブジェクト操作手段（３）は、該波面合成レンダリング手段によって与えられ、同時に処理される音源の最大数がある時刻において超過されないように、または、該波面合成レンダリング手段によって同時に処理されるオーディオオブジェクトの数が、実際の開始点または実際の終了点を変更しない場合と比べて減じられるように、実際の開始点または実際の終了点を変更するよう形成される、請求項１または２に記載の装置。
4. 該モニタ（２）は、予め定められた予測時間間隔にわたって、該波面合成システム（０）の利用状況を予測するよう形成される、請求項１〜３のいずれかに記載の装置。
5. 該波面合成レンダリング手段（０）は入力バッファを含み、該予め定められた予測時間間隔は該入力バッファのサイズに依存する、請求項４に記載の装置。
6. 該波面合成レンダリング手段は複数のレンダラモジュールを含み、再生ルーム内の異なる場所に配置された複数のラウンドスピーカは当該複数のレンダラモジュールと関連付けられ、
   該オーディオオブジェクト操作手段（３）は、レンダラモジュールが、ロケーションスパン内の別の位置であればアクティブであったであろうが、合成信号の生成のためにはアクティブではないように、ロケーションスパン内での仮想音源の現在の位置を変更するよう形成される、請求項１〜５のいずれかに記載の装置。
7. 該オーディオオブジェクト操作手段（３）は、該モニタが最大利用を予め定められたしきい値だけ下回る利用を検出した場合には、該タイムスパンの最初の半分内で現在の時刻を選ぶよう形成される、請求項１〜６のいずれかに記載の装置。
8. 該オーディオオブジェクト操作手段は、該モニタ（２）が最大利用から予め定められたしきい値だけ下に存在する利用を信号通知した場合に、該タイムスパンによって規定される最も早い時刻を開始点または終了点として選ぶよう形成される、請求項７に記載の装置。
9. 該提供するための手段（１）は、別のオーディオオブジェクトまたは基準オーディオオブジェクトに対するオーディオオブジェクトの時間的または空間的位置付けが規定される、シーン記述を提供するよう形成され、
   該オーディオオブジェクト操作手段（３）は、各オーディオオブジェクトについて仮想音源の絶対的な開始点または実際の絶対的な位置を計算するよう形成される、請求項１〜８のいずれかに記載の装置。
10. 該提供するための手段（１）は、タイムスパンが１群の音源に対してのみ示され、他の音源に対しては固定された開始点が示される、シーン記述を提供するよう形成される、請求項１〜９のいずれかに記載の装置。
11. 該１群の音源は、仮想音源のノイズのようなオーディオファイルを含む予め定められた特性を含む、請求項１０に記載の装置。
12. 該１群の音源はノイズ音源を含む、請求項１０または１１に記載の装置。
13. 波面合成システム（０）内に配される波面合成レンダリング手段を制御するための方法であって、該波面合成レンダリング手段は、音源位置に配された仮想音源に対するオーディオファイルがそれに関連付けられているオーディオオブジェクトから、該波面合成レンダリング手段に結合された複数のラウンドスピーカに対する合成信号を生成するよう形成され、該方法は、
    シーン記述を提供するステップ（１）を含み、シーン記述は、オーディオオブジェクトの時間的シーケンスを設定し、オーディオオブジェクトは、そのオーディオオブジェクトに関連付けられた仮想音源に対して時間的開始または時間的終了を規定し、仮想音源に対するオーディオオブジェクトは、そのオーディオオブジェクトの開始または終了がその中にあるべきタイムスパンを含むか、または、仮想音源の位置がその中にあるべきロケーションスパンを含み、該方法はさらに、
    該波面合成システムの利用状況を監視するステップ（２）と、
    該波面合成システム（０）の利用状況に応じて、タイムスパン内で、該波面合成レンダリング手段によって考慮されるべきオーディオオブジェクトの実際の開始点または終了点を変更するか、または、ロケーションスパン内で、仮想音源の実際の位置を変更するステップ（３）とを含む、方法。
14. コンピュータ上で実行されたときに請求項１３に記載の方法を実行するための、プログラムコードを有するコンピュータプログラム。

Images