JP4625506B2 - オーディオファイルを記憶するための装置および方法 - Google Patents

オーディオファイルを記憶するための装置および方法 Download PDF

Info

Publication number
JP4625506B2
JP4625506B2 JP2007556537A JP2007556537A JP4625506B2 JP 4625506 B2 JP4625506 B2 JP 4625506B2 JP 2007556537 A JP2007556537 A JP 2007556537A JP 2007556537 A JP2007556537 A JP 2007556537A JP 4625506 B2 JP4625506 B2 JP 4625506B2
Authority
JP
Japan
Prior art keywords
scene
audio
audio file
storage device
renderer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007556537A
Other languages
English (en)
Other versions
JP2008537833A (ja
Inventor
ライヒェルト カーティン
ガッツシェ ガブリエル
ブリックス ザンドラ
Original Assignee
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. filed Critical フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Publication of JP2008537833A publication Critical patent/JP2008537833A/ja
Application granted granted Critical
Publication of JP4625506B2 publication Critical patent/JP4625506B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508Magnetic discs
    • G11B2220/2516Hard disks
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/40Combinations of multiple record carriers
    • G11B2220/41Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title
    • G11B2220/415Redundant array of inexpensive disks [RAID] systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Stereophonic System (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、波面合成の分野に関し、特に、処理すべきデータを用いた波面合成レンダリング手段の制御に関する。
本発明は、波面合成の概念に関し、特に、マルチレンダラシステムに関する効率的な波面合成の概念に関する。
娯楽用電子機器の分野では、新しい技術および革新的な製品への需要がますます高まっている。最適な機能性および能力を提供することが、新たなマルチメディアシステム成功の重要な前提である。これは、デジタル技術、特にコンピュータ技術を採用することにより達成される。この例には、強化された現実に近い視聴覚印象を提供するアプリケーションがある。以前のオーディオシステムでは、自然な環境のみならず仮想環境の空間音声再生の品質にもかなり問題があった。
オーディオ信号のマルチチャネルラウドスピーカでの再生の方法については、何年も前から知られており標準化されている。通常技術はすべて、ラウドスピーカの場所とリスナの位置の両方がすでに送信形式上決まっているという問題がある。リスナに対してラウドスピーカを誤った位置に配置すると、オーディオ品質は著しく低下する。最適な音声は、いわゆるスイートスポットと呼ばれる再生空間の限られた面積でしか得られない。
よりよい自然な空間印象およびオーディオ再生におけるより優れたエンクロージャまたはエンベロープは、新しい技術を使い達成され得る。この技術、いわゆる波面合成(WFS)の原則については、デルフト工科大学で研究され、80年代後半に最初に発表された(バーカウト、エー・ジェイ;デヴリーズ、ディー;ヴォーゲル、ピー、「波面合成による音響制御」JASA93、1993年)(Berkout, A.J.; de Vries, D.; Vogel, P.: Acoustic control by Wave field Synthesis. JASA 93, 1993)。
この方法は、コンピュータの出力や転送速度に膨大な要求を課すので、波面合成は、現在まで実際にはほとんど採用されていない。今日、マイクロプロセッサ技術およびオーディオ符号化の分野における進歩があって初めて、この技術の具体的な応用が可能である。専門分野における最初の製品は、来年実現が予想される。消費者分野でも、最初の波面合成の応用は、数年のうちに市場に現れると予測されている。
WFSの基本的な考え方は、波面の理論に関するホイヘンスの原理の応用に基づく。
すなわち、波により捕らえられた各ポイントは、球面状または円形で伝播する要素波の開始点であるとする理論である。
音響学に応用すれば、入来波面の任意の形状はすべて、隣同士に配置された多数のラウドスピーカ(いわゆるラウドスピーカアレイ)によって、複製することができる。最も単純な場合、再生されるべき単一の点音源、線形配列のラウドスピーカおよび各ラウドスピーカのオーディオ信号には、個々のラウドスピーカの放射音場が正しく重なるように、時間遅延と振幅スケーリングとを与える必要がある。音源がいくつかある場合、各音源ごとに、各ラウドスピーカに対する貢献を別個に計算し、得られた信号を加算する。再生する音源が反射する壁を有する室内に存在する場合、反射についても、付加的な音源としてラウドスピーカアレイにより再生する必要がある。こうして、計算における支出は、音源の数と、録音室の反射特性と、ラウドスピーカの数とに強く依存する。
特に、この技術の効果は、再生空間の大きな面積にわたっての自然空間音声印象が可能な点である。既知の技術とは対照的に、音源の方向と距離が非常に正確な態様で再生される。ある限定された程度までは、実際のラウドスピーカアレイとリスナとの間に仮想音源を配置することさえ可能である。
波面合成は、その特性がわかっている環境でよく機能し、特性が変化するかまたは波面合成が環境の実際の特性に合致しない環境特性に基づいて実行される場合には、変則性が生じる。
周囲の特性も、周囲のインパルス応答により記述することができる。
これについては、次の例に基づいて、より詳細に説明する。ラウドスピーカが、壁に対して音声信号を送り、信号の反射が好ましくないと仮定する。この単純な例では、波面合成を利用する空間補償が、最初、この壁の反射を判定して、壁から反射された音声信号が再びラウドスピーカに到達した時期およびこの反射された信号が有する振幅を確認することにより構成される。この壁からの反射が望ましくない場合、波面合成で、対応の振幅で逆位相の信号をラウドスピーカ上の反射信号に押し付け、伝播する補償波が反射波を打ち消し、この壁からの反射を考えられる周囲から除去することで、この壁からの反射を除去できる可能性がある。これには、まず周囲のインパルス応答を計算してから、この周囲のインパルス応答に基づき、壁の特性および位置を決定することにより行われるが、ここで、壁はミラー音源、すなわち入来音声を反射する音源として解釈される。
まず、この周囲のインパルス応答を測定してから、オーディオ信号にかぶせる形でラウドスピーカに対し加える必要がある補償信号を計算し、この壁からの反射の消去が行われるが、それによりこの周囲にいるリスナが、この壁が全く存在しないという音声上の印象を持つことになる。
しかしながら、過補償または補償不足が生じないように、部屋のインパルス応答を正確に決定することが、反射波の最適補償には重要である。
こうして、波面合成により、広い再生領域にわたる仮想音源の正確なマッピングが可能となる。同時に、サウンドマスターやサウンドエンジニアに対し、より複雑な音声風景を創作する上で、新しい技術および創造的な可能性を提供する。80年代の終わりにデルフト工科大学で開発されたような波面合成(WFSまたは音場合成とも呼ぶ)は、音声再生のホログラフによるアプローチを表す。キルヒホッフ-ヘルムホルツ積分方程式がこの基礎となる。これは、閉じられた容量の範囲での任意の音場を、この容量の表面上のモノポールおよびダイポール音源(ラウドスピーカアレイ)の分布により発生させることができることを示す。
波面合成において、ラウドスピーカアレイの各ラウドスピーカごとの合成信号を、仮想位置で仮想音源を送出するオーディオ信号から計算するが、ここで、ラウドスピーカアレイのラウドスピーカが出力する個々の音波の重なりから生じる波が、この仮想位置の仮想音源が真の位置を有する真の音源であるかのように、仮想位置の仮想音源によるものであると考えられる波に対応するように、合成信号を、振幅および位相に関して形成する。
一般に、いくつかの仮想音源がさまざまな仮想位置に存在する。合成信号の計算は各仮想位置の仮想音源ごとに行われ、典型的にはひとつの仮想音源が、いくつかのラウドスピーカの合成信号を生じる。ラウドスピーカから見ると、このラウドスピーカは、さまざまな仮想音源にさかのぼるいくつかの合成信号を受信する。これらの音源の重ね合わせは、線形重ね合わせ原理により可能になり、そして、ラウドスピーカから実際に送出される再生信号が得られる。
ラウドスピーカアレイが大きければ大きいほど、すなわち設置されるラウドスピーカの個数が多ければ多いほど、波面合成の可能性はよりよく利用できる。しかしながら、この場合、波面合成ユニットが必要とする計算出力も増大する。これは、一般にチャネル情報についても考慮する必要があるからである。詳細には、これは、原則として、各仮想音源から各ラウドスピーカへそれ自体の送信チャネルが存在することを意味し、かつ原則として、それが各仮想音源が各ラウドスピーカのための合成信号へ導き、かつ/または各ラウドスピーカが仮想音源の数に等しい数の合成信号を得るという事例かもしれないことを意味する。
波面合成の可能性は、仮想音源が移動も可能という点で、映画館関係の応用について特定的に利用されるならば、合成信号の計算、チャネル情報の計算およびチャネル情報と合成信号の結合による再生信号の生成により、かなり大きな計算出力を扱うことになることがわかる。
さらに、この点では、オーディオ再生の品質は、利用可能なラウドスピーカの数が増えれば向上する。これは、ラウドスピーカアレイに存在するラウドスピーカの数が増えれば増えるほど、オーディオ再生品質がますます向上しより現実感を増すことを意味する。
上記のシナリオでは、個々のラウドスピーカのための完全にレンダリングされかつアナログ−デジタル変換された再生信号は、たとえば、2ワイヤの配線を介して、波面合成中央ユニットから個々のラウドスピーカへ送信することができる。これは、すべてのラウドスピーカが同期して作動することがほとんど確実になり、同期目的のためにさらなる手段を必要としないという利点が考えられる。一方、波面合成中央ユニットは、常に、特定の再生室または決まった数のラウドスピーカでの再生のためにのみ製作され得る。これは、各再生室ごとに、かなり大きな計算出力を発揮するそれ専用の波面合成中央ユニットを製作する必要が生じ得ることを意味する。というのも、オーディオ再生信号の計算は、特に多くのラウドスピーカおよび/または多くの仮想音源に対して、少なくとも部分的に並列でかつリアルタイムで行わなう必要があるからである。
ドイツ特許DE10254404B4は、図7に示すようなシステムを開示する。一方が、中央波面合成モジュール10である。もう一方が、個々のラウドスピーカモジュール12a、12b、12c、12d、および12eであり、これらは、図1に示すような、実際の物理的なラウドスピーカ14a、14b、14c、14dおよび14eに接続される。なお、ラウドスピーカ14a〜14eの数は、50より多い範囲にあり、典型的な応用では一般に100をかなり超える数である。それ自体のラウドスピーカが各ラウドスピーカに関連する場合、対応する数のラウドスピーカモジュールが必要である。しかしながら、応用に応じて、ラウドスピーカモジュールから隣接するラウドスピーカの小さなグループに対応することが好ましい。この点に関しては、4つのラウドスピーカに接続されたラウドスピーカモジュールがたとえば同じ再生信号をこの4つのラウドスピーカに供給するか、または対応する異なる合成信号がこの4つのラウドスピーカについて計算され、このラウドスピーカモジュールが、実際にはいくつかの個別のラウドスピーカモジュールからなるが、物理的にはひとつのユニットにまとめられているかは、任意である。
波面合成モジュール10と各個々のラウドスピーカ12a〜12eとの間には、専用の伝送路16a〜16eが存在し、各伝送路が中央波面合成モジュールおよびそれ自体のラウドスピーカモジュールに結合される。
所謂ファイアワイヤ伝送方式またはUSBデータ方式等の高いデータレートのシリアルな伝送方式が、波面合成モジュールからラウドスピーカモジュールへデータを送るためのデータ伝送モードとして好ましい。毎秒100メガビットを超えるデータ転送速度が有利である。
波面合成モジュール10からラウドスピーカモジュールへ伝送されたデータストリームは、こうして波面合成モジュールで選択されるデータ方式にしたがいフォーマットされかつ通常のシリアルデータ方式で同期情報を与えられる。この同期情報は、個々のラウドスピーカモジュールによりデータストリームから抽出され、かつ個々のラウドスピーカモジュールをそれらの再生について同期するために、すなわち、最終的に、この目的のために与えられたアナログラウドスピーカ信号およびサンプリング(再サンプリング)を得るためのアナログ-デジタル変換に関して使用される。中央波面合成モジュールは、マスターとして動作し、かつすべてのラウドスピーカモジュールがクライアントとして動作する。ここで、個別のデータストリームはすべて、さまざまな伝送路16a〜16eを介して中央モジュール10から同じ同期情報を得る。これにより、すべてのラウドスピーカモジュールが確実に同期して、すなわちマスター10と同期して動作し、このことはオーディオ再生システムがオーディオ品質を劣化させず、波面合成モジュールにより計算された合成信号が、対応のオーディオレンダリングの後、個々のラウドスピーカから時間的にずれた態様で放射されないようにする上で、重要である。
上記の概念は、まさに、波面合成システムに関して大きな融通性をもたらし、システムはさまざまな応用方法についてスケーラブルになる。しかしながら、それでも、実際の主なレンダリング、すなわち仮想音源の位置およびラウドスピーカの位置によりラウドスピーカの個々の合成信号を計算する中央波面合成モジュールが、システム全体の代表的「ボトルネック」であると言う問題がある。このシステムでは、「ポストレンダリング」、すなわちチャネル伝送関数等を合成信号に加えることは、分散化した対応ですでに行っており、したがって中央レンダラモジュールと個々のラウドスピーカモジュールとの間で必要なデータ伝送容量は、決定された閾値エネルギより少ないエネルギで合成信号を選択することによりすでに減じられているが、すべての仮想音源は、依然としてある意味全てのラウドスピーカモジュールのためにレンダリングされなければならず、すなわち合成信号に変換される必要がある。ここで、選択は、レンダリングの後に始めて行われる。
このことは、レンダリングが依然としてシステムの全体的容量を決定することを意味する。中央レンダリングユニットは、こうして、同時に32の仮想音源をレンダリングすることができて、すなわちたとえばこれら32個の仮想音源のための合成信号を同時に計算すれば、ひとつのオーディオシーンにおいて、一度に32を超える数の音源が活性である場合、深刻な容量のボトルネックが生じる。単純なシーンについては、これで十分である。より複雑なシーン、特にイマーシブな音声印象、すなわちたとえば、雨が降っていて、多くの雨のしずくが個々の音源を表す場合などは、最大32音源の容量では十分でないことは明らかである。これに相当する状況は、大人数のオーケストラで、実際にすべてのオーケストラ団員の演奏または少なくとも各楽器のグループをその位置でそれ自体の音源として処理することが望まれる場合などにも存在する。この場合、32個の仮想音源は、たちまち足りなくなる。
一般的に、既知の波面合成の概念では、個々のオーディオオブジェクトがともに規定されるシーン記述を使用し、シーン記述におけるデータと個々の仮想音源のオーディオデータとを用いて、完全なシーンをレンダラーまたはマルチレンダリング構成によりレンダリングすることができる。ここでは、オーディオオブジェクトがどこで開始され、どこで終わるかを各オーディオオブジェクトについて、正確に規定する。さらに、オーディオオブジェクトごとに仮想音源が存在するべき、すなわち波面合成レンダリング手段に入れられる仮想音源の位置は、対応する合成信号がラウドスピーカごとに生成されるように、正確に表示される。これにより、個々のラウドスピーカから出力された音波を反応として合成信号に重ねることで、音源が、仮想音源の音源位置により規定される再生室または再生室の外にあるある位置に存在するかのような印象を、リスナは感じることになる。
一般に、波面合成システムの能力は限られている。このため、各レンダラの計算能力も限られる。一般に、レンダラは、同時に32個のオーディオソースを同時に処理することができる。さらに、オーディオサーバからレンダラへの伝送路は、送信帯域幅が限られ、すなわち、秒あたりのビットで表す最大の転送速度を提供する。
たとえば仮想音源が2つしか存在しないような単純なシーンでは、背景雑音に加えてさらに仮想音源が存在する会話を考えると、たとえば同時に32音源を処理することができるレンダラの処理能力は、問題にならない。さらに、この場合、レンダラへの伝送容量が小さいので、伝送路の容量は十分である。
しかしながら、より複雑なシーンを再生する場合、すなわち32を超える数の仮想音源を有するシーンを再生する場合に問題が生じる。これは、雨のシーンを正確に再生する場合や、喝采のシーンを自然に再生する場合などに生じるが、32個の仮想音源に限定されたレンダラの最大計算能力は、たちまち十分ではなくなる。これは、たとえば、聴衆において、喝采をおくる聴衆一人一人が原則的にそれ自体の仮想位置に存在するそれ自体の仮想音源と理解され得るので、大変多数の個別の仮想音源が存在するためである。この制限に対処するため、いくつかの可能性が存在する。すなわち、ひとつの可能性は、シーン記述を作り出す際に、まえもって、レンダラが同時に32のオーディオオブジェクトを処理する必要がないようにしておくことである。
特に、波面合成処理の容量の増大、すなわち多くの数の仮想音源が個々のまたはいくつかのレンダラモジュールによってレンダリングされることを考えれば、ある時点で、容量のボトルネックに到達することになる。これは、典型的なレンダラが、ある最大数の仮想音源しか一度に処理できないという事実による。この数字は、たとえば32が考えられる。しかしながら、レンダラの最大処理能力だけが、システムのボトルネックではない。たとえば、32個の仮想音源を同時に処理するなら、レンダラもその32個の仮想音源用の対応するオーディオファイルを同時に備える必要がある。一般に、レンダラが有する入力バッファは、実際、データ伝送のための要件を多少正すが、特にレンダラが同時に非常に多数の音源を処理しているとき、すなわち非常に多くのデータがバッファから取り出される場合には、応じてすばやく満たす必要がある。
データ伝送の基礎構造が、データ配信についていけないように設計されていれば、レンダラはある意味でレンダリングするデータがなくなってしまう。レンダラはそれでも、新たなデータが到着するまで、単純に最後のデータを繰り返すことにより、そのような状態を何とか補い得る。しかしながら、これは、データ管理において集中的であり、可聴アーティファクトが生じる原因になり得る。これらのアーティファクトは、仮想音源が、声、音楽等の決定性情報を有する音源の場合には、よりひどいものになる。この現在のデータを繰り返すという状態は、仮想音源が雑音源、または一般に音源と呼ばれるものであれば、それほど致命的ではない。しかし、ここで区別が問題であり、特に、レンダラにとってこのような「追加」の作業は、レンダラが最大使用(負荷)限界ですでに運用されているまさにそのときに実行しなければならないという場合には、特に問題である。つまり、結局のところ、これが、レンダリングするオーディオデータの「枯渇」の原因だからである。
本発明の目的は、より高品質で、より実施が容易な波面合成を可能にするオーディオファイルを記憶するための概念を提供することである。
この目的は、請求項1に記載のオーディファイルを記憶するための装置、請求項13に記載のオーディオファイルを記憶するための方法および請求項14に記載のコンピュータプログラムにより達成される。
本発明は、効率的なデータ構成が明白であれば、その使用限界で作動している場合でさえ、レンダラが十分なデータを供給されるという知見に基づく。一般に、レンダラが供給されるデータは、PCやワークステーションのハードディスク等の記憶装置から読み出される。
しかしながら、オーディオファイルへのアクセス回数は、オーディオファイルがどのように記憶装置内の記憶媒体に記憶されたかに実質的に依存する。ハードディスクの書き込み/読み出しヘッドが連続的にジャンプを行っていると、メモリ装置の読み出し性能があまりに急激に落ちるので、ある種の状況においては、レンダラに十分なデータが供給されるという状態をもはや確保できない。さらに、この状況は、レンダラが使用限界または使用限界に近いレベルで作動するシーンに特に当てはまることがわかった。対照的に、レンダラがそれほど使用限界に近くない状態で作動する別のシーンでは、より問題は少なく、したがって、それほどのデータを必要とするわけではない。したがって、メモリ装置の書き込み/読み出しヘッドのジャンプは、この場合には十分許容可能である。
本発明によれば、ある意味において波面合成再生のための準備として、オーディオファイルの効率的な記憶が行われ、シーンにまたがるメモリ適正化が適用される。したがって、シーン記述を調査して、他の第2のシーンよりも波面合成システムの高い処理能力を必要とする第1のシーンを見つけ出す。そして、記憶装置の書き込み手段を、第1のシーンのシーン記述により識別されるオーディオファイルを記憶装置に書き込むように制御し、記憶装置の読み出し手段が、第1のシーンが記憶装置上で純粋にランダムに記憶される場合と比べてよりすばやく第1のシーンのオーディオファイルを読み出すことができるようにする。読み出しヘッドが現在存在するハードディスクに、すなわち、なんらかのランダムな態様で、ファイルが常に記憶される通常のハードディスク環境とは対照的に、波面合成システムに強く負荷をかけるシーンのためのオーディオファイルが、本発明にしたがい最適な態様で書き込まれる一方、当然他のシーンのオーディオファイルが最適な態様で書き込まれない事態を生じる。しかしながら、このことは問題ではない。というのも、他のシーンにおいては、他のシーンに求められるデータ転送速度がいずれにしてもそれほど高くはないため、またより少ない数の仮想音源が並列で処理されるため、記憶装置がより大きいアクセス時間を有し得るからである。
本発明の好ましい実施例では、特にいくつかのシーンにおいて使用されるオーディオファイルについては、記憶装置上のそのオーディオファイルの記憶は、波面合成システムの最も高度な使用を必要とするシーンについてのメモリアクセスが最適な態様で書き込まれる一方、同じオーディオファイルにアクセスする他のシーンについては多くのジャンプを許容するように、行われる。
RAIDアレイのように並列に使用することができるいくつか個別の記憶媒体を有する記憶装置においては、並列の個別の記憶媒体上で並列に使用するためにオーディオファイルを記憶し、それらを容量の問題があるシーンについては、最大の速度で読み出すことができる一方、同時に処理される他のシーンのオーディオファイルは、別個のディスクではなく、利用についてそれほど重要ではなく、そこではそれほど高度に利用されないひとつの同じディスク上などにおかれている。
本発明の好ましい実施例について、添付の図面を参照してより詳細に説明する。
図1は、図1aに示す実施例における共通の書き込み/読み出しヘッド2として形成される、書き込み手段および読み出し手段を有する記憶装置内に、オーディオ作品のオーディオファイルを記憶するための発明の装置を示す。オーディオ作品は、波面合成システム3のレンダラによりレンダリングされることになる。特に、オーディオ作品は、いくつかのシーンを含み、各シーンについて、それ自体のシーン記述が与えられ、かつシーンがそのシーンのオーディオオブジェクトの時間シーケンスを含む。特に、オーディオオブジェクトが仮想音源に関する情報およびそのオーディオオブジェクトに関連するオーディオファイルの識別情報を含む。
本発明によれば、シーン記述を調査し、かつ波面合成システムに第2のシーンよりもより高い処理能力を要求する第1のシーンを判別するための手段4が設けられる。このために、図1aに示すとおり、手段4には、波面合成システム3に関する情報、特に同波面合成システムにおけるレンダラの現在の使用についての情報が供給される。手段4が、制御手段5を制御する。読み出し手段2が、第1のシーンのオーディオファイルが記憶装置にランダムに記憶された場合よりも素早く第1のシーンのオーディオファイルを読み出すことができるように、制御手段5は、第1のシーンのシーン記述により識別されるファイル、すなわちより高度な使用のシーンのオーディオファイルが記憶装置1に書き込まれるように、書き込み/読み出しヘッド2を制御するよう形成される。オーディオファイルは、CDやDVD等の別の記憶装置6からのものが好ましく、かつ制御手段を介して直接記憶装置に書き込まれるか、または記憶装置1の書き込み/読み出しヘッド2へ供給されるが、当然これは、別のメモリ6から直接制御手段により制御された態様で、制御手段5により決定された正しい順序で行われる。
特に、制御手段5は、ハードディスク等の記憶装置1に書き込みを行うよう形成され、それにより全てのオーディオファイルが連続して書き込まれるいずれの場合でも、フラクショニングは起きないようになっている。さらに、制御手段はハードディスクのある特定の場所にオーディオファイルを書き込むよう形成されている。こうして、記憶、すなわち物理的なハードディスクの実際の書き込みは、従来技術のハードディスクのように、ハードディスクコントローラ任せにされたり、偶然にゆだねられたりしない。その代わり、制御手段5は、オーディオファイルが、記憶装置上で、ある一定の順序および配列で記憶されるように、記憶装置1の書き込み/読み出しヘッド2を正確に制御するよう形成される。こうして、波面合成システムがオーディオ作品を再生しようとすると、読み出しヘッドが、少なくとも波面合成システムがその使用限界で作動しているシーンについては、確実に、出来る限りの速さで読み出しを行うことができる。すなわち、間でジャンプが起こらず、トラックに沿って次々にオーディオファイルを読み出し、それを波面合成システム3に供給することができる。これに対して、他のシーンについては、図1dを参照して説明するとおり、ジャンプを許容する。ただし、レンダラへ送信されるデータは、いずれにしてそれほど多量ではないので、これらのシーンについては、これはそれほど深刻な問題ではない。
ここで、本発明により処理される際のオーディオ作品の特に要求が高いオーディオシーンにおける固有のダイナミクスにより、波面合成システムの使用は全く一定ではない点を指摘する。その代わり、使用プロファイルは、きわめて高いダイナミクスより特徴付けられる。このように、使用が非常に低いシーンにおけるシーンや部分が存在する一方、その直後にただちに使用は最大限度に近づくかもしれない。このような状況は、楽器による音楽作品(1音源のみ)の音が消えて、直後に聴衆の喝采(非常に多くの異なる音源)が始まる場合などに考えられる。
本発明によれば、オーディオファイルは最適なかつシーンにまたがる態様で記憶される。このために、高度な使用を伴うシーンを再生する場合、どのオーディオファイルが必要かを調べ、これらのオーディオファイルを正確に最適な態様で記憶する。
図1aに示すとおり、波面合成システム3は、中心要素としてのレンダラまたは複数のレンダラモジュールを備える。レンダラは、一般にスケジューラにより制御され、スケジューラは、おそらくはオーディオオブジェクト操作を用いてレンダラのためのデータストリームを生成するよう形成されることが好ましい。このように、スケジューラは、記憶装置1からデータを素早く読み出し、これを下流のレンダラに供給する役割を担い、このレンダラが、次にオーディオファイルから、ラウドスピーカアレイの個々のラウドスピーカへ供給される合成信号を生成する。
シーンにまたがる、最適化された態様でのオーディオファイルについての本発明の記憶法が、図1aにおいて、「プレイング」とも呼ばれる実際の波面合成レンダリングの準備の役に立つ。発明のシーンにまたがり、最適化された記憶は、再生の際に、少なくともメモリインタフェースが、波面合成処理のボトルネックにならない速度ですばやいデータ読み出しが行われ得るという点で役に立つ。
図1bは、第1のシーンおよび第2のシーンを有するオーディオ作品の例を示す図であり、第1のシーンでは、4つの音源および/または4つのオーディオファイルAD1、AD2、AD3およびAD4を並列にレンダリングする必要があり、第2のシーンでは、並列でレンダリングすることが必要なのはせいぜい3つのオーディオファイル、すなわちAD6、AD7およびAD1である。
次に、本発明に従い、図1cに基づいて、いくつかの並列ディスクのためのメモリ最適化について説明する。このように、第1のシーンのオーディオファイルが最適な態様で記憶されることが優先順位となっていて、それによりオーディオファイルAD1およびAD2がディスク1に記憶されかつオーディオファイルAD3およびAD4がディスク2に記憶される。図1cからわかるとおり、この記憶は、第2のシーンにとって不利である。というのは、AD1およびAD7は、相互に並列にレンダリングされるので、同時にそこに必要とされるからである。それにもかかわらず、両方のファイルが同じディスク1に記憶され、さらにその上オーディオファイルAD2によって相互から分離されている。したがって、第2のシーンのためのオーディオファイルを読み出すために、ハードディスクは、数回ジャンプを行い、ディスク1および2が並列に配列されているという点からも利益を得ることができない。しかしながら、第2のシーンにおける波面合成システムの使用は、第1のシーンにおけるより低く、いずれにしても第1のシーンよりも第2のシーンにおけるデータ要件が低いので、これも問題ではない。
図1dは、ハードディスク等の記憶媒体上のトラック7上に配列されたオーディオファイルを示す図である。図1dは、図1cの並列の記憶媒体と異なり、単一の記憶媒体上のシリアルな配列例を示す。このように、第1のシーンのオーディオファイルが連続的に記憶されるため、読み出しヘッドがジャンプして第1のシーンのオーディオファイルを読み出す必要がないことがわかる。これにより、オーディオファイルAD1〜AD4のデータを非常にすばやく準備することができる。
しかしながら、第2のシーンのオーディオファイルの読み出しについては、数回のジャンプが必要である。こうして、記憶装置の読み出しヘッドが、オーディオファイルAD5を読み出した後、オーディオファイルAD2へジャンプし、オーディオファイルAD2が読み出された後再びオーディオファイルAD6へジャンプして戻る必要がある。オーディオファイルAD1をオーディオファイルAD7の後に読み出す必要がある場合も状況は類似する。
このように、図1dに示す実施例においては、第1のシーンを読み出すために、読み出しヘッドがジャンプする必要は全くなく、一方第2のシーンを読み出すために読み出しヘッドはすでに4つのジャンプを必要としており、これが記憶装置におけるデータへのアクセスを遅らせていることがわかる。しかし、これは、第1のシーンに比べれば、第2のシーンでは実質的にさほど重要ではなく、データがスムーズに読み出されて、レンダラが第1のシーンをレンダリングするためのデータがなくならないという点が重要である。
本発明によれば、効率的なデータ出力のためにはデータ構成が決めてとなる点を考慮する。レンダラに供給する必要な転送速度を、CDやDVDなどのメディアからの多くの実施例において保証することはできない。したがって、ハードディスクに基づく管理が必要である。本発明によれば、複雑なシーンについてメモリレイアウトの最適化を行い、時間要件の観察を保障している。
本発明によれば、効率的なオーディオおよびメタデータの配信が行われる一方、他方ではこうした効率的なデータ構造が達成される。このように、オーディオデータの再生順を、オブジェクト指向のシーン記述に対応したメタデータを介して固定することができる。再生順がわかれば、再生の際のオーディオデータへのアクセスを最適化できる。コンピュータは、もはやハードディスク上の任意の場所や他の記憶媒体でオーディオデータを「探す」必要はなく、オーディオデータを連続して読み出すことができ、読み出しアクセスに対してメモリにおいて大きなジャンプを必要とすることもない。オーディオデータに対する読み出しアクセスにおける労力が減ることで、リソースをより効率的に利用し、リアルタイムで同時により多くのオーディオオブジェクトを処理することが可能となる。
データ構成においては、中央データベースを用いることが好ましい。オーディオおよびメタデータの一貫性を中心構造で保証する。さらに、データベースを採用することにより、波面合成シーンの作成をかなり容易にすることができる。このように、データベース中のある特定のデータを見つけるためのサーチ機構を可能にするデータベースを採用することが好ましい。これにより、オーディオオブジェクトのシーンをまたがる再使用の可能性が生まれる。たとえば、新しいシーンを作る際にオーディオデータを再び取り込む必要なしに、いくつかのシーンで等しく使用することができる。さらに、データベースの助けがあれば、オーディオおよびメタデータのバージョニングが実現できる。これにより、ユーザは、それらのシーン記述の古いバージョンにもアクセスでき、これにより製作プロセスがより容易になる。
ここで、記憶装置が必ずしも中央データベースである必要はなく、純粋に普通のファイルサーバとして実現することができる点を指摘する。しかしながら、オーディオデータベースを採用することが好ましいのは、様々な異なるシーンからのあるオーディオ素材を使用する場合に特に有利だからである。このように、オーディオデータベースは、すべてのシーンを把握し、どのシーンがどのオーディオ素材をいつ使用するかを把握する。さらに、オーディオデータベースは、オーディオデータにアクセスを有し、ハードディスク上のオーディオデータの記憶シーケンスを決定することができる。その上、オーディオデータベースは、オーディオデータについて、最適の、シーンをまたがる記憶順序を作ることができる。最後に、オーディオデータベースは、オーディオデータを記憶する際にボトルネックを発見し、これに応じて反応することもできる。
本発明によれば、これは、別のやりかたでは、すべてのシーンファイルを中央の位置に記憶し、すべてのシーンファイルを読み出すプログラムを実現し、そこからサーバ上のオーディオファイルの記憶順を生成することによっても実現できる。しかしながら、データベースでは、オーディオファイルの記憶順の最適化には、シーンファイルの中央記憶が好ましいということになる。
本発明によれば、オーディオ源の時間的かつ空間的配列およびにそれによって生じる記憶媒体上のオーディオファイルの記憶順の最適化が行われる。このために、データのシーンにまたがる最適化が使用され、これはシーンの中央記憶および管理を利用することが望ましい。
次に、図2を参照して、オーディオオブジェクトが有していれば有利な情報を指摘する。オーディオオブジェクトは、ある意味仮想音源のオーディオコンテンツを表すオーディオファイルを特定する。しかしながら、オーディオオブジェクトは、オーディオファイルを含む必要はなく、実際のオーディオファイルが記憶されるデータベースの規定された位置を指すインデックスを有していてもよい。
さらに、オーディオオブジェクトは、たとえば、音源の番号や意味のあるファイル名等、仮想音源の識別情報を含んでいることが好ましい。さらに、本発明においては、オーディオオブジェクトが仮想音源、すなわちオーディオファイルの始まりおよび/または終わりの時間スパンを特定する。始まりの時間スパンのみが特定される場合は、これは、このファイルのレンダリングの実際の開始時点がその時間スパン内でレンダラにより変更され得ることを意味する。終わりの時間スパンもさらに与えられると、これは、その時間スパンの範囲で終わりも変更できることを意味し、両方で、オーディオファイルが、実現例によっては、その長さに関して変化することを意味する。開始時点をずらすことができるように、オーディオファイルの始まり/終わりの時間を規定する等どのような実現例も可能であるが、いずれの場合も長さを変更してはいけないので、オーディオファイルの終わりも自動的にずれる。雑音については、特に、終わりを可変にしておくことが好ましい。というのも、たとえば風の音の開始または終了が少し早めか遅めかということは、一般に問題ではないためである。他の仕様が可能でかつ/または実現例に応じて望ましく、たとえば、開始時点は可変だが、終了時点が可変でないなどの仕様である。
オーディオオブジェクトは、位置についての位置スパンをさらに含むことが好ましい。こうして、あるオーディオオブジェクトについては、それらがたとえば前方左もしくは前方中央から来たかまたは再生室の参照ポイントに対して(小さな)角度だけずらされるかどうかということは重要にはならない。しかしながら、すでに述べたとおり、いずれか任意の場所に位置しかつ最大の位置スパンを有しうる、特に雑音領域からのオーディオオブジェクトも存在し、たとえば、そのオーディオオブジェクトの「任意の」コードまたはコードがないことにより(非明示的に)特定されてもよい。
オーディオオブジェクトは、レンダラモジュールが処理できる情報である限り、仮想音源が、音波の点音源か、平面波の音源かまたは任意の波面の音源を作り出す音源か等仮想音源のタイプの表示といった別の情報を含んでいてもよい。
図3は、様々なオーディオオブジェクトAO1、...、AOn+1からなる時間シーケンスを示すシーン記述の模式図である。特に、オーディオオブジェクトAO3については、図3に示すとおり、時間スパンが規定されている点を指摘する。こうして、図3のオーディオオブジェクトAO3の開始時点と終了時点を両方とも時間スパンによりシフトさせることができる。しかしながら、オーディオオブジェクトAO3の規定では、オーディオオブジェクトごとに可変に調節可能ではある、長さを変更してはならない。
こうして、時間的にプラスの方向へオーディオオブジェクトAO3をシフトすることにより、オーディオオブジェクトAO3が、オーディオオブジェクトAO2の後まで開始しないという状況になり得ることがわかる。オーディオオブジェクトが両方とも同じレンダラでプレイされるなら、起きたかもしれないショートオーバーラップ20を、この方法により回避することができる。オーディオオブジェクトAO2およびAO1等のレンダラ上でそれまでに処理すべき他のオーディオオブジェクトにより、オーディオオブジェクトAO3がすでに、先行技術のレンダラの能力の範囲を超えるオーディオオブジェクトとなっている場合、時間スパン20が非常に小さいものであっても、本発明の技術がなければ、オーディオオブジェクトAO3の完全な抑圧が起こると考えられる。本発明によれば、能力超過が起きず、したがってオーディオオブジェクトAO3の抑圧も生じないように、オーディオオブジェクト操作手段3によってオーディオオブジェクトAO3がシフトされる。
本発明の好ましい実施例では、相対的表示を有するシーン記述が使用される。
こうして、オーディオオブジェクトAO2の開始がもはや時間における絶対的な時点として与えられるのではなく、オーディオオブジェクトAO1に対する相対的な期間で示されるため、融通性が向上する。これに応じて、位置表示の相対的記述が好ましい。すなわち、オーディオオブジェクトが再生室のある位置xyに配列されるのではなく、たとえば他のオーディオオブジェクトに対してまたは参照オブジェクトに対してオフセットするというベクトルによる表示等である。
こうして、時間スパン情報および/または位置スパン情報を非常に効率的に、適応させることができる。すなわち、オーディオオブジェクトAO3が、オーディオオブジェクトAO1開始後、2分と2分20秒との間の期間に開始し得ると表現されるよう、時間スパンを固定するだけでよい。
たとえば、「マルチメディア・データベース・システムにおける出力制約のモデリング」、ティー・ハイムリッチ、第1回国際マルチメディア・モデリング会議、IEEE、2005年1月2日から1月14日、メルボルン("Modeling Output Constraints in Multimedia Database Systems", T. Heimrich, 1thInternational Multimedia Modelling Conference, IEEE, January 2, 2005 to January 14, 2005, Melbourne)に記載されるように、空間および時間条件をこのように相対的に規定することで、制約という形でデータベース的に効率のよい表現がもたらされる。ここでは、データベースシステムにおける制約の使用を説明し、一貫したデータベースの状態を規定する。特に、時間的制約を、アレン関係を用い説明し、空間制約は、空間関係を用いて説明する。これにより、好ましい出力制約を同期目的で規定することができる。この出力制約は、オブジェクト間の時間的または空間的条件、制約に違反した場合の反応およびチェック時間、すなわちこのような制約についてチェックする時間を含む。
本発明の好ましい実施例においては、各シーンの空間/時間出力オブジェクトは、相互に相対的にモデリングされる。オーディオオブジェクト操作手段は、これらの相対的かつ可変の規定を絶対的空間および時間順序に変換する。
この順序は、図1に示すシステムの出力6aで得られる出力スケジュールを表し、波面合成システムにおけるレンダラーモジュールに対し特定的に対処する態様を規定する。スケジュールは、したがって、出力条件に対応するオーディオデータにおいて構成される出力プランである。
次に、図4にしたがい、このような出力スケジュールの好ましい実施例を示す。図4は特に、図4の左から右へ、すなわち図1のオーディオオブジェクト操作手段3から図1の波面合成システム0の1つまたは複数の波面合成レンダラへ伝送されるデータストリームを示す。データストリームは特に、図4に示す実施例の各オーディオオブジェクトについて、まず、位置情報および時間情報が存在するヘッダHと、図4において第1のオーディオオブジェクトについてはAO1で示し、第2のオーディオオブジェクトについてはAO2で示す、特定のオーディオオブジェクトの下流オーディオファイルとを含む。
そして、波面合成レンダラは、データストリームを取得しかつたとえば現在のおよび固定的に一致する同期情報から、ヘッダの到来を認識する。更なる同期情報に基づき、レンダラは、ヘッダが終了したことを認識する。または、ビットにおける固定長さを、各ヘッダについて一致させることが出来る。
ヘッダを受けた後、図4に示す本発明の好ましい実施例のオーディオレンダラは、次のオーディオファイル、たとえばAO1がオーディオオブジェクト、すなわちヘッダにおいて識別される音源位置に属することを自動的に把握する。
図4は、波面合成レンダラへのシリアルデータ伝送を示す。当然、いくつかのオーディオオブジェクトは、レンダラで同時にプレイされる。このため、レンダラはデータストリームを構文解析するために、入力バッファとそれに先行するデータストリーム読み出し手段を必要とする。データストリーム読み出し手段は、ヘッダを解釈して、添付のオーディオファイルを応じて記憶し、あるオーディオオブジェクトをレンダリングする順番が来たとき、入力バッファから正しいオーディオファイルと正しい音源位置をレンダラが読み出すようにする。データストリームの他のデータももちろん可能である。時間/位置情報の両方および実際のオーディオデータを別々に伝送する方法も使用できる。しかしながら、位置/時間情報とオーディオファイルを連結することによりデータの一貫性の問題を排除できるので、図4に示す、一緒に送信するやりかたが好ましい。というのも、そうすれば、レンダラが、オーディオデータの正しい音源位置を有し、たとえば先の音源のオーディオファイルをまだレンダリングしていなくても、新しい音源の位置情報をすでにレンダリングに使用しているという状態が常に確実になるからである。
本発明は、このようにオブジェクト指向のアプローチに基づき、すなわち個々の仮想音源を、オーディオオブジェクトおよび空間における仮想位置ならびにおそらく音源のタイプ、すなわち、音波の点音源か、平面波の音源かまたは他の形状の音源用の音源かなどにより特徴付けられるオブジェクトとして理解する。
上記のとおり、波面の計算は、非常に時間がかかる計算であり、計算アルゴリズムの効率に関して、サウンドカードおよびコンピュータ等、使用するハードウエアの能力により制限される。したがって、要求の高い多くの音声事象を同時に表現しようとする場合、最高の装備のPCによる解法でも、すぐに波面合成の計算における限界に到達してしまう。したがって、使用するソフトウエアおよびハードウエアの能力の限界によって、ミキシングおよび再生における仮想音源の数に関する限界が決まる。
図6は、オーサリングツール60、制御レンダラモジュール62およびオーディオサーバ64を備えるその能力が制限されるこのような既知の波面合成の概念を示し、制御レンダラモジュールが、ラウドスピーカアレイ66にデータを供給するよう構成され、それによりラウドスピーカアレイ66は、個々のラウドスピーカ70の個々の波を重ね合わせることにより所望の波面68を生成する。オーサリングツール60により、ユーザはシーンを創作し編集し、かつ波面合成によるシステムを制御することができる。こうして、1つのシーンは、個々の仮想オーディオソースの情報とオーディオデータとによって構成される。オーディオソースの特性およびオーディオデータの参照はXMLシーンファイルに記憶される。オーディオデータ自体は、オーディオサーバ64上にファイリングされ、そこからレンダラモジュールへ伝送される。同時に、レンダラモジュールは、オーサリングツールから制御データを取得し、それにより、集中態様で実現される制御レンダラモジュール62が、個々のラウドスピーカのための合成信号を生成することができる。
図6に示す概念は、「波面合成のためのオーサリングシステム」、エフ・メルキオール、ティー・ローダー、エス・ブリックス、エス・ウァブニクおよびシー・リーゲル、AES会議論文、第115回AES会議、2003年10月10日、ニューヨーク("Authoring System for Wave Field Synthesis", F. Melchior, T. Roder, S. Brix, S. Wabnik and C. Riegel, AES Convention Paper, 115th AES convention, October 10, 2003, New York)に記載される。
この波面合成システムをいくつかのレンダラモジュールで動作させると、たとえレンダラが、自身に関連するラウドスピーカの数が限られることによりそのデータを再生に必要とするか否かに関わらず、各レンダラに同じオーディオデータが供給される。現在のコンピュータの各々が32のオーディオソースを計算できるので、これがシステムの限界を表す。一方、システム全体でレンダリングできる音源の数は、効率的な態様で大きく増加させることになる。これは、映画、雨や喝采などイマーシブな雰囲気を有するシーンや他の複雑なオーディオシーン等複雑な応用のための実質的前提条件のひとつである。
発明によれば、波面合成マルチレンダラシステムにおいて、冗長データ伝送プロセスおよびデータ処理プロセスの低減が達成され、それにより計算能力の向上および/または同時に計算可能なオーディオソースの数の増加がもたらされる。
マルチレンダラシステムの個々のレンダラへの、オーディオおよびメタデータの冗長伝送および処理の低減については、どのレンダラがどのオーディオおよびメタデータを必要とするかを判断できるデータ出力手段により、オーディオサーバが拡張される。おそらくデータマネジャにより支援されるデータ出力手段は、好ましい実施例においてはいくつかの情報を必要とする。まず、この情報は、オーディオデータであり、音源の時間および位置データであり、最後にレンダラの構成、すなわち接続されたラウドスピーカ、それらの位置、およびそれらの能力についての情報である。データ管理技術および出力条件の定義を使って、出力スケジュールが、オーディオオブジェクトの時間的かつ空間的配列を用いてデータ出力手段により生成される。空間的配列、時間的スケジュールおよびレンダラの構成から、データ管理モジュールは、ある瞬間にどの音源がどのレンダラにとって重要かを計算する。
好ましい全体的概念について、図5に示す。データベース22は、出力側のデータ出力手段24により補われており、データ出力手段はスケジューラとも呼ばれる。そして、このスケジューラが、その出力20a、20bおよび20cにある様々なレンダラ50のためのレンダラ入力信号を生成し、ラウドスピーカアレイの対応するラウドスピーカに供給される。
スケジューラ24は、記憶マネジャ52の支援を受けて、RAIDシステムおよび対応のデータ構成デフォルトよりデータベース42を構築することが好ましい。
入力側には、データ生成器54が設けられる。これはたとえばオーディオシーンをオブジェクト指向の態様で、モデリングまたは記載するサウンドマスターやオーディオエンジニアでもよい。ここで、対応する出力条件56を含むシーン記述が与えられ、そしてこれら条件が、必要ならば、変換58を経て、オーディオデータとともにデータベース22に記憶される。オーディオデータは、挿入/更新ツール59により操作および更新を行ってもよい。
条件によって、発明の方法は、ハードウエアで実現してもよいし、ソフトウエアで実現してもよい。特にフロッピーディスクやcd等のデジタル記憶媒体上で、方法が実行されるようプログラマブルコンピュータシステムと協働可能な電子的に読み取り可能な制御信号を用いて実現してもよい。一般には、本発明は、コンピュータ上で実行される、方法を実行するための機械が読み取り可能な担体上に記憶されたプログラムコードを有するコンピュータプログラム製品においても実現される。言い換えれば、発明は、コンピュータプログラムとしても実現することができ、このコンピュータプログラムは、コンピュータ上で実行する際に、方法を実行するためのプログラムコードを有する。
オーディオファイルを記憶するための発明の概念を示す回路ブロック図である。 様々な波面合成システム使用のシーンを有するオーディオ作品の例を示す図である。 最適化されたシーンにまたがる記憶の第1の例を示す図である。 最適化されたシーンにまたがる記憶の第2の例を示す図である。 オーディオオブジェクトの例を示す図である。 シーン記述の例を示す図である。 現在の時間データおよび位置データを有するヘッダが、各オーディオオブジェクトと関連するビットストリームを示す図である。 発明の概念を波面合成システム全体に組み込んだ例を示す図である。 既知の波面合成概念を示す模式図である。 既知の波面合成概念を示す他の図である。

Claims (14)

  1. 書き込み手段と読み出し手段(2)を備える記憶装置(1)にオーディオ作品のオーディオファイルを記憶するための装置であって、オーディオ作品は、波面合成システム(3)のレンダラによりレンダリングされることになっており、オーディオ作品がいくつかのシーンを含み、シーンごとにシーン記述が与えられ、かつシーンがそのシーンのオーディオオブジェクトの時間シーケンスを規定し、オーディオオブジェクトが、仮想音源に関する情報とオーディオオブジェクトに関連するオーディオファイルの識別情報とを含み、装置は、
    シーン記述を調べかつ第2のシーンよりも波面合成システム(3)のより高い処理能力を必要とする第1のシーンを判別するための手段(4)と、
    読み出し手段(2)が、第1のシーンのオーディオファイルが記憶装置(1)上にランダムに記憶されている場合よりも、第1のシーンのオーディオファイルを素早く読み出すことができるように、第1のシーンのシーン記述により識別されるオーディオファイルが記憶装置(1)上に書き込まれるよう、書き込み手段(2)を制御するための制御手段(5)とを備える、装置。
  2. 第1のシーンのオーディオオブジェクトおよび第2のシーンのオーディオオブジェクトが、同じオーディオファイルを識別し、かつ
    読み出し手段(2)が、第1のシーンにおいて識別されたオーディオファイルを読み出す際に、第2のシーンのオーディオファイルを読み出す際にオーディオファイルが読み出されるよりも短いアクセス時間で、オーディオファイルを読み出すことができるように、オーディオファイルが記憶装置(1)に記憶されるよう、制御手段(5)が書き込み手段(2)を制御するよう形成される、請求項1に記載の装置。
  3. 記憶装置(1)が、トラック(7)を含み、そのトラックに沿って読み出し手段(2)が移動し、かつ
    制御手段(5)は、第1のシーンのオーディオファイルがそのトラックに沿って書き込まれるように、書き込み手段を制御するよう形成される、請求項1または2に記載の装置。
  4. 制御手段(5)は、記憶装置(1)が単一のアクセス媒体を有する並列記憶装置であり、レンダラによって並列にレンダリングされるべき第1のシーンのオーディオファイルが、異なる単一アクセス媒体上に記憶されるように、書き込み手段(2)を制御するよう形成される、請求項1〜3のいずれかに記載の装置。
  5. 制御手段(5)は、第1のシーンのオーディオファイルが、オーディオファイルを識別する第1のシーンのオーディオオブジェクトの発生の時間的順序に従って、トラック(7)に沿って記憶されるように、書き込み手段(2)を制御するよう形成される、請求項3に記載の装置。
  6. 記憶装置がトラックを含み、そのトラックに沿って読み出し手段(2)が移動し、かつ
    制御手段(5)は、オーディオファイルが、オーディオファイルを識別するオーディオオブジェクトに並列にレンダラによりレンダリングされるオーディオオブジェクトを識別するもう1つのオーディオファイルの直前または直後のトラックに記憶されるように、書き込み手段(2)を制御するよう形成される、請求項2に記載の装置。
  7. チェックするための手段(4)は、他のシーンよりも、レンダラにより同時にレンダリングされるオーディオオブジェクトを数多く含むシーンを、第1のシーンとして、判別するよう形成される、請求項1〜6のいずれかに記載の装置。
  8. 調べるための手段(4)は、波面合成システムのシーンを誘因とする使用が、予め定められた最大使用の割合に到達した場合にのみ、第1のシーンとしてシーンを判別するよう形成される、請求項1〜7のいずれかに記載の装置。
  9. 制御手段(5)は、第1のシーンのオーディオファイルが、記憶装置(1)上に記憶された後、第2のシーンのオーディオファイルが、まだ空いたままになっている記憶装置(1)の位置に記憶されるように、書き込み手段(2)を制御するよう形成される、請求項1〜8のいずれかに記載の装置。
  10. 記憶装置(1)は、1つの記憶ディスクまたはいくつかの記憶ディスクを有するハードディスクであり、書き込み/読み出しヘッド(2)が記憶ディスクごとに設けられる、請求項1〜9のいずれかに記載の装置。
  11. 書き込み手段および読み出し手段は、同じ1つの物理的要素(2)として形成される、請求項1〜10のいずれかに記載の装置。
  12. 制御手段(5)は、第1のシーンのオーディオファイルを読み出す際に、読み出し手段がジャンプする必要がないよう、第1のシーンのオーディオオブジェクトにより識別されるオーディオファイルが、記憶装置(1)に連続的に書き込まれるように、書き込み手段(2)を制御するよう形成される、請求項1〜11のいずれかに記載の装置。
  13. 書き込み手段と読み出し手段(2)とを有する記憶装置(1)にオーディオ作品のオーディオファイルを記憶するための方法であって、オーディオ作品は、波面合成システム(3)のレンダラによりレンダリングされることになっており、オーディオ作品が、いくつかのシーンを含み、シーンごとに、シーン記述が与えられ、かつシーンがシーンのオーディオオブジェクトの時間シーケンスを規定し、オーディオオブジェクトが、仮想音源に関する情報と、オーディオオブジェクトに関連するオーディオファイルの識別情報とを含み、方法は、
    シーン記述を調べかつ第2のシーンよりも波面合成システム(3)のより高い処理能力を必要とする第1のシーンを判別するステップ(4)と、
    第1のシーンのオーディオファイルが記憶装置(1)上にランダムに記憶されている場合よりも、読み出し手段(2)が、第1のシーンのオーディオファイルを素早く読み出すことができるように、第1のシーンのシーン記述により識別されるオーディオファイルが記憶装置(1)上に書き込まれるよう、書き込み手段(2)を制御するステップ(5)とを備える、方法。
  14. コンピュータ上で実行した際、請求項13に記載の記憶方法を実行するための、プログラムコードを有するコンピュータプログラム。
JP2007556537A 2005-02-23 2006-02-16 オーディオファイルを記憶するための装置および方法 Expired - Fee Related JP4625506B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005008342A DE102005008342A1 (de) 2005-02-23 2005-02-23 Vorrichtung und Verfahren zum Speichern von Audiodateien
PCT/EP2006/001416 WO2006089685A1 (de) 2005-02-23 2006-02-16 Vorrichtung und verfahren zum speichern von audiodateien

Publications (2)

Publication Number Publication Date
JP2008537833A JP2008537833A (ja) 2008-09-25
JP4625506B2 true JP4625506B2 (ja) 2011-02-02

Family

ID=36637842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007556537A Expired - Fee Related JP4625506B2 (ja) 2005-02-23 2006-02-16 オーディオファイルを記憶するための装置および方法

Country Status (7)

Country Link
US (1) US7813826B2 (ja)
EP (1) EP1789970B1 (ja)
JP (1) JP4625506B2 (ja)
CN (1) CN101133454B (ja)
AT (1) ATE462183T1 (ja)
DE (2) DE102005008342A1 (ja)
WO (1) WO2006089685A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2551797C2 (ru) * 2006-09-29 2015-05-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
KR100868475B1 (ko) * 2007-02-16 2008-11-12 한국전자통신연구원 객체기반 오디오 서비스를 위한 다중객체 오디오 콘텐츠파일의 생성, 편집 및 재생 방법과, 오디오 프리셋 생성방법
US8799535B2 (en) * 2008-01-11 2014-08-05 Akamai Technologies, Inc. Storage of data utilizing scheduling queue locations associated with different data rates
US8364892B2 (en) * 2008-01-11 2013-01-29 Verivue, Inc. Asynchronous and distributed storage of data
TWI543642B (zh) 2011-07-01 2016-07-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
EP2751955B1 (en) * 2011-08-30 2019-11-13 Samsung Electronics Co., Ltd. Resource manager and method for communicating resource management information for smart energy and media resources
GB201719854D0 (en) * 2017-11-29 2018-01-10 Univ London Queen Mary Sound effect synthesis

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3028706B2 (ja) * 1993-05-18 2000-04-04 富士ゼロックス株式会社 ディスク制御装置
JPH07303148A (ja) 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 通信会議装置
JPH09186963A (ja) * 1995-12-28 1997-07-15 Sony Corp 記録方法及び装置、再生方法及び装置、記録再生方法及び装置、並びにディスク状記録媒体
JPH10211358A (ja) 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
JPH1127800A (ja) 1997-07-03 1999-01-29 Fujitsu Ltd 立体音響処理システム
DE69920276T2 (de) * 1998-05-01 2005-02-03 Samsung Electronics Co., Ltd., Suwon Verfahren zur echtzeitigen Aufzeichnung und Wiedergabe
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
JP2000339854A (ja) * 1999-05-24 2000-12-08 Sony Corp ディスク装置
JP2002118898A (ja) * 2000-10-06 2002-04-19 Sanyo Electric Co Ltd オーディオデータのバッファリング方法及びオーディオデータの再生装置
JP2002199500A (ja) 2000-12-25 2002-07-12 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体
JP2003284196A (ja) 2002-03-20 2003-10-03 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
JP2004007211A (ja) 2002-05-31 2004-01-08 Victor Co Of Japan Ltd 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム
JP4578243B2 (ja) 2002-10-15 2010-11-10 韓國電子通信研究院 空間性が拡張された音源を有する3次元音響シーンの生成及び消費方法
US7706544B2 (en) * 2002-11-21 2010-04-27 Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. Audio reproduction system and method for reproducing an audio signal
DE10254404B4 (de) * 2002-11-21 2004-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
DE10254470B4 (de) * 2002-11-21 2006-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen einer Impulsantwort und Vorrichtung und Verfahren zum Vorführen eines Audiostücks
CN1717955B (zh) 2002-12-02 2013-10-23 汤姆森许可贸易公司 用于描述音频信号的合成的方法
JP4601905B2 (ja) 2003-02-24 2010-12-22 ソニー株式会社 デジタル信号処理装置およびデジタル信号処理方法
DE10321986B4 (de) * 2003-05-15 2005-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Pegel-Korrigieren in einem Wellenfeldsynthesesystem
DE10321980B4 (de) 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
DE10328335B4 (de) * 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene
JP4551652B2 (ja) * 2003-12-02 2010-09-29 ソニー株式会社 音場再生装置及び音場空間再生システム
DE102005008369A1 (de) * 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Simulieren eines Wellenfeldsynthese-Systems
DE102005008333A1 (de) * 2005-02-23 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Wellenfeldsynthese-Rendering-Einrichtung
DE102005008366A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten

Also Published As

Publication number Publication date
CN101133454A (zh) 2008-02-27
EP1789970A1 (de) 2007-05-30
WO2006089685A8 (de) 2007-03-08
DE502006006502D1 (de) 2010-05-06
US7813826B2 (en) 2010-10-12
WO2006089685A1 (de) 2006-08-31
EP1789970B1 (de) 2010-03-24
JP2008537833A (ja) 2008-09-25
CN101133454B (zh) 2010-08-04
ATE462183T1 (de) 2010-04-15
US20080074775A1 (en) 2008-03-27
DE102005008342A1 (de) 2006-08-24

Similar Documents

Publication Publication Date Title
JP4620133B2 (ja) オーディオオブジェクトを用いて波面合成レンダラ手段を制御するための装置および方法
JP4700071B2 (ja) 波面合成システムをシミュレートするための装置および方法
JP4547009B2 (ja) 波面合成レンダリング手段を制御するための装置および方法
US7962231B2 (en) Apparatus and method for providing data in a multi-renderer system
US20230179939A1 (en) Grouping and transport of audio objects
JP4625506B2 (ja) オーディオファイルを記憶するための装置および方法
EP2205007B1 (en) Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
JP7014176B2 (ja) 再生装置、再生方法、およびプログラム
US9294862B2 (en) Method and apparatus for processing audio signals using motion of a sound source, reverberation property, or semantic object
KR20190109019A (ko) 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
JP2005278125A (ja) マルチチャンネルオーディオ信号処理装置
JP7517500B2 (ja) 再生装置、再生方法、およびプログラム
Malyshev Sound production for 360 videos: in a live music performance case study
KR20010025416A (ko) 입체음향 처리방법 및 그 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101105

R150 Certificate of patent or registration of utility model

Ref document number: 4625506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees