JP6515087B2 - オーディオ処理装置及び方法 - Google Patents

Description

本発明は、オーディオ処理装置及びそのための方法に関し、とりわけ、排他的ではないが、異なるタイプのオーディオ成分を有する空間オーディオのレンダリングに関する。

ここ数十年間において、オーディオアプリケーションの多様性及びフレキシビリティは、例えば大幅に変化するオーディオレンダリングアプリケーションの多様性によって非常に増大している。それに加え、オーディオレンダリングセットアップは、多様な音響環境において、及び、多くの異なるアプリケーションのために用いられる。

昔から、空間サウンド再生システムは、常に１又はそれ以上の指定されたラウドスピーカ設定のために開発されていた。結果として、空間体験は、使用される実際のラウドスピーカ設定が規定された公称設定にどれくらい密接にマッチするかに依存し、良質な空間体験は、典型的には、実質的に正しくセットアップされているシステムに対してのみ、即ち、指定されたラウドスピーカ設定に従って、実現される。

しかしながら、典型的に比較的多数のラウドスピーカを有する特定のラウドスピーカ設定を用いるという要求は、扱いにくく、不利である。実際には、例えばホームシネマサラウンドサウンドシステムを配置したときに消費者により知覚される重大な不都合は、比較的多数のラウドスピーカが特定の位置に配置されることを必要とすることである。典型的には、実際のサラウンドサウンドラウドスピーカセットアップは、最適な位置にラウドスピーカを配置することが実現困難であることをユーザが見つけることに起因して、理想的なセットアップから逸脱するだろう。従って、斯様なセットアップにより提供される体験、とりわけ空間体験は、最適状態に及ばない。

それ故、近年において、ラウドスピーカの位置に関するあまり厳しくない消費者需要に向かう強い傾向が存在している。更に、これらの主な要求は、ラウドスピーカセットアップが彼らの家環境に合うということであり、同時に、彼らはもちろんシステムが依然として高質サウンド体験を提供するのを期待する。これらの相反する要求は、ラウドスピーカの数が増大するにつれてより顕著になる。更に、この問題は、複数の方向から聴取者に来るサウンドを伴う完全な三次元サウンド再生の供給に向かう現在の傾向に起因して、より関連するようになった。

オーディオエンコーディングフォーマットは、ますます能力があり、多様な、及び、フレキシブルなオーディオサービスを提供するために開発されている。とりわけ、空間オーディオサービスをサポートするオーディオエンコーディングフォーマットが開発されている。

ＤＴＳ及びドルビーデジタルのような良く知られたオーディオ符号化技術は、空間イメージを、聴取者の回りの固定された位置に配置される多数のチャネルとして表す符号化されたマルチチャネルオーディオ信号を生成する。マルチチャネル信号に対応するセットアップとは異なるスピーカセットアップに関して、空間イメージは、最適状態に及ばないだろう。また、チャネルベースのオーディオ符号化システムは、典型的には、異なる数のスピーカに対処することができない。

（ＩＳＯ／ＩＥＣ）ＭＰＥＧ−２は、ビットストリームフォーマットがオーディオ信号の２チャネル及び５マルチチャネルミックスを有するマルチチャネルオーディオ符号化ツールを提供する。（ＩＳＯ／ＩＥＣ）ＭＰＥＧ−１デコーダによりビットストリームをデコードしたときには、２チャネルの後方互換性をもつミックスが再生される。ＭＰＥＧ−２デコーダによりビットストリームをデコードしたときには、３つの補助データは、ステレオチャネルと組み合わせられた（デマトリクスされた）ときにオーディオ信号の５つのチャネルミックスをもたらすようにデコードされる。

（ＩＳＯ／ＩＥＣ ＭＰＥＧ−Ｄ）ＭＰＥＧサラウンドは、既存のモノラル又はステレオベースの符号器がマルチチャネルオーディオアプリケーションまで拡張されるのを可能にするマルチチャネルオーディオ符号化ツールを提供する。図１は、ＭＰＥＧサラウンドシステムの要素の一例を示している。オリジナルマルチチャネル入力の分析により取得される空間パラメータを用いて、ＭＰＥＧサラウンドデコーダは、マルチチャネル出力信号を取得するために、モノラル又はステレオ信号の制御されたアップミックスにより、空間イメージを再生成することができる。

マルチチャネル入力信号の空間イメージはパラメータ化されるので、ＭＰＥＧサラウンドは、マルチチャネルラウドスピーカセットアップを用いないデバイスをレンダリングすることにより、同じマルチチャネルビットストリームのデコーディングを可能にする。一例は、ヘッドホン上での仮想サラウンド再生であり、これは、ＭＰＥＧサラウンドバイノーラルデコーディング処理と呼ばれる。このモードにおいて、現実的なサラウンド体験は、標準的なヘッドホンを用いている間に提供され得る。他の例は、より高いオーダのマルチチャネル出力（例えば７．１チャネル）の、より低いオーダのセットアップ（例えば５．１チャネル）への削減である。

述べられたように、空間サウンドをレンダリングするために使用されるレンダリング設定のバリエーション及びフレキシビリティは、主流派の消費者に対して利用可能になるますます多くの再生フォーマットにより、近年大幅に増大している。これは、オーディオのフレキシブルな表現を必要とする。重要なステップは、ＭＰＥＧサラウンドコーデックの導入によりもたらされている。それにもかかわらず、オーディオは、依然として、特定のラウドスピーカセットアップ（例えば、ＩＴＵ ５．１ラウドスピーカセットアップ）のために生成及び送信される。異なるセットアップを介した再生、及び、非標準の（即ち、フレキシブルな又はユーザ定義の）ラウドスピーカセットアップを介した再生は特定されない。実際に、特定の予め決められた及び公称のラウドスピーカセットアップから独立してオーディオエンコーディング及び表現を行うという欲求がますます存在するようになっている。多種多様な異なるラウドスピーカセットアップへのフレキシブルな適合は、デコーダ／レンダリング側で実行され得ることがますます好ましくなる。

オーディオのよりフレキシブルな表現を提供するために、ＭＰＥＧは、"Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ"（ＩＳＯ／ＩＥＣ ＭＰＥＧ−Ｄ ＳＡＯＣ）として知られるフォーマットを標準化した。ＤＴＳ、ドルビーデジタル及びＭＰＥＧサラウンドのようなマルチチャネルオーディオ符号化システムとは対照的に、ＳＡＯＣは、オーディオチャネルよりもむしろ個々のオーディオオブジェクトの効率的な符号化を提供する。ＭＰＥＧサラウンドにおいて、各ラウドスピーカチャネルがサウンドオブジェクトの異なるミックスによって生じるとみなされ得るのに対し、ＳＡＯＣは、図２に示されるように、マルチチャネルミックスにおいて個々のサウンドオブジェクトの位置の双方向操作を可能にする。

ＭＰＥＧサラウンドと同様に、ＳＡＯＣは、モノラル又はステレオダウンミクスを生成する。加えて、オブジェクトパラメータは、計算され、含められる。デコーダ側において、ユーザは、位置、レベル、均一化のような個々のオブジェクトの種々のフィーチャを制御するために、又は、残響のような効果を適用するために、これらのパラメータを操作してもよい。図３は、ユーザがＳＡＯＣビットストリームに含まれる個々のオブジェクトを制御するのを可能にするインタラクティブインタフェースを示している。レンダリングマトリクスにより、個々のサウンドオブジェクトは、スピーカチャネルにマッピングされる。

ＳＡＯＣは、よりフレキシブルなアプローチを可能にし、とりわけ、再生チャネルに加えてオーディオオブジェクトを送信することにより、より多くのレンダリングベースの適応性を可能にする。これは、空間がラウドスピーカにより適切に覆われることを条件として、デコーダ側が空間における不定の位置にオーディオオブジェクトを配置するのを可能にする。このように、送信されたオーディオと再生又はレンダリングセットアップとの間に関係がなく、それ故に、不定のラウドスピーカセットアップが用いられ得る。これは、例えば典型的なリビングルームにおけるホームシネマセットアップに対して有利であり、ここで、スピーカは意図された位置にはほとんどない。ＳＡＯＣにおいて、これは、オブジェクトがサウンドシーンに配置されるデコーダ側で決定され、これは、多くの場合、芸術的な視点から望まれない。ＳＡＯＣ規格は、ビットストリームにおいてデフォルトのレンダリングマトリクスを送信するための手段を提供し、デコーダの責任を取り除く。しかしながら、提供された方法は、固定された再生セットアップ又は詳細不明の構文に依存する。それ故、ＳＡＯＣは、ラウドスピーカセットアップと独立してオーディオシーンを完全に送信する規範的な手段を提供しない。また、ＳＡＯＣは、拡散信号成分の信頼できるレンダリングに対してあまり備えられていない。拡散サウンドを取り込むためにいわゆるＭＢＯ（Multichannel Background Object）を含むという可能性があるにもかかわらず、このオブジェクトは、１つの特定のスピーカ設定に関係する。

３Ｄオーディオのためのオーディオフォーマットに関する他の仕様は、ＤＴＳ社により開発された（Ｄｉｇｉｔａｌ Ｔｈｅａｔｅｒ Ｓｙｓｔｅｍｓ）。ＤＴＳ社は、次世代のコンテンツ生成を加速させるためのオープンオブジェクトベースのオーディオ生成及びオーサリングプラットフォームであるＭＤＡ（Ｍｕｌｔｉ―Ｄｉｍｅｎｓｉｏｎａｌ Ａｕｄｉｏ）を開発した。ＭＤＡプラットフォームは、チャネル及びオーディオオブジェクトの双方をサポートし、任意のスピーカの数及び設定に適応する。ＭＤＡフォーマットは、個々のサウンドオブジェクトとともにレガシーマルチチャネルダウンミクスの伝送を可能にする。加えて、オブジェクトポジショニングデータが含まれる。ＭＤＡオーディオストリームを生成する原理は図４に示されている。

ＭＤＡアプローチにおいて、サウンドオブジェクトは拡張ストリームにおいて別々に受信され、これらは、マルチチャネルダウンミクスから抽出されてもよい。生ずるマルチチャネルダウンミクスは、個別に利用可能なオブジェクトと一緒にレンダリングされる。

オブジェクトは、いわゆるステムから成ってもよい。これらのステムは、基本的にグループ化された（ダウンミクスされた）トラック又はオブジェクトである。それ故、オブジェクトは、ステムにパッキングされた複数のサブオブジェクトから成ってもよい。ＭＤＡにおいて、マルチチャネルリファレンスミクスは、オーディオオブジェクトの選択によって送信され得る。ＭＤＡは、各オブジェクトのための３Ｄ位置的データを送信する。そして、オブジェクトは、３Ｄ位置的データを用いて抽出され得る。その代わりに、逆ミクス−マトリクスが送信されてもよく、オブジェクトとリファレンスミクスとの間の関係を記述する。

ＭＤＡの説明から、サウンド−シーン情報は、角度及び距離を各オブジェクトに割り当てることにより恐らく送信され、オブジェクトがどこに配置されるべきか、例えばデフォルトの前方方向に対して配置されるべきことを示す。故に、位置的情報は、各オブジェクトに対して送信される。これは、ポイント−ソースのために有益であるが、（例えば合唱団又は拍手のような）広いソースを記述すること又は（雰囲気のような）サウンドフィールドを拡散することに失敗している。全てのポイント−ソースがリファレンスミクスから抽出されたとき、アンビエントマルチチャネルミクスが残る。ＳＡＯＣと同様に、ＭＤＡにおける残りのものは、特定のラウドスピーカセットアップに対して固定される。

故に、ＳＡＯＣ及びＭＤＡ双方のアプローチは、デコーダ側で個別に操作され得る個々のオーディオオブジェクトの伝送を取り込む。２つのアプローチ間の相違は、ＳＡＯＣがダウンミクスに対してオブジェクトを特徴づけるパラメータを供給することにより（即ち、オーディオオブジェクトがデコーダ側でダウンミクスから生成されるように）オーディオオブジェクトに関する情報を供給する点であるのに対し、ＭＤＡは、（即ち、デコーダ側でダウンミクスから独立して生成され得る）完全な及び別個のオーディオオブジェクトとしてオーディオオブジェクトを供給する。双方のアプローチに関して、位置データは、オーディオオブジェクトのために通信され得る。

現在、ＩＳＯ／ＩＥＣ ＭＰＥＧの範囲内で、ＭＰＥＧ ３Ｄ Ａｕｄｉｏという規格が、３Ｄオーディオの伝送及びレンダリングを促進するために準備されている。ＭＰＥＧ−３Ｄ Ａｕｄｉｏは、ＨＥＶＣビデオコーディング及びＭＭＴ（ＭＰＥＧメディアトランスポート）システム層とともにＭＰＥＧ−Ｈセットの部分になることを意図される。図５は、意図されたＭＰＥＧ ３Ｄ Ａｕｄｉｏシステムの現在の高水準のブロック図を示している。

従来のチャネルベースのフォーマットに加えて、本アプローチは、オブジェクトベース及びシーンベースのフォーマットをサポートすることを意図される。システムの重要な態様は、その質がビットレートを増大させるために透明にスケールすべきであるということである。即ち、データレートが増大するにつれて、エンコーディング及びデコーディングによりもたらされた劣化は、わずかになるまで低減し続けるべきである。しかしながら、斯様な要求は、過去に非常に多く用いられたパラメトリック符号化技術（即ち、ＨＥ−ＡＡＣ ｖ２，ＭＰＥＧ Ｓｕｒｒｏｕｎｄ，ＳＡＯＣ，ＵＳＡＣ）のための問題を含む傾向がある。とりわけ、個々の信号に対する情報損失の補償は、極めて高ビットレートでもパラメトリックデータにより完全には補正されない傾向にある。実際には、質は、パラメトリックモデルの固有の質により限定されるだろう。

更に、ＭＰＥＧ−３Ｄ Ａｕｄｉｏは、再生セットアップから独立している、生ずるビットストリームを提供しようとする。想定された再生可能性は、ヘッドホン及び密集したラウドスピーカを介した仮想サラウンドとともに、最大２２．２チャネルのフレキシブルなラウドスピーカセットアップを含む。

ＵＳ２０１３／１０１１２２は、オブジェクトベースのオーディオコンテンツが、観衆の再生環境に関わらずＷＦＳ方式及びマルチチャネルサラウンド方式のうち少なくとも１つを用いて再生されるのを可能にするオブジェクトベースのオーディオコンテンツ生成／再生装置を開示している。

ＷＯ２０１３／００６３３８は、新たなスピーカレイアウト（チャネル設定）及び関連した空間記述フォーマットを含むシステムを開示している。ＷＯ２０１３／００６３３８は、複数のレンダリング技術をサポートする適応可能なオーディオシステム及びフォーマットを提供することを目的としている。オーディオストリームは、オーディオオブジェクトの所望の位置を含む"ミキサーの意図"を記述するメタデータとともに送信される。

ＵＳ２０１０／２２３５５２は、複数のサウンドソースにより生成されるサウンドイベントを取り込み及び／又は再生を行うように構成されたシステムを開示している。とりわけ、システムは、サウンドソースの別個のものに関連付けられたサウンドオブジェクトのサウンド再生のための取り込み、処理及び／又は出力が個々に基づきを制御され得るように構成され得る。

要約すると、既存のサウンド再生システムの大多数は、ラウドスピーカセットアップに関して適度な量のフレキシビリティだけを可能にする。ほとんど全ての既存のシステムが、ラウドスピーカの一般的な設定に関する（例えば、聴取者の回りに多少等離れて配置されるラウドスピーカ、聴取者の前のライン上に設けられるラウドスピーカ、又は、ヘッドホン）、又は、（例えば、少数の分離したローカライズ可能なソースからなるか、又は、非常に拡散したサウンドシーンからなる）コンテンツの性質に関する、或る基本的な想定から開発されているので、あらゆるシステムは、（ユーザの家におけるような）レンダリング環境において生じ得るラウドスピーカ設定の制限された範囲のための最適な体験を供給することのみが可能である。それ故、フレキシブルなラウドスピーカセットアップを可能にするサウンドレンダリングシステムの新たな種類が要求される。このフレキシビリティは、ラウドスピーカの位置だけでなく、ラウドスピーカの数及びこれらの個々の特性（例えば、帯域幅、最大出力、指向性等）を含む種々の要素を有し得る。

それ故、改良されたオーディオレンダリングアプローチが有利であり、とりわけ、増大されたフレキシビリティ、促進された実装及び／又は動作を可能にする、ラウドスピーカのよりフレキシブルなポジショニング、異なるラウドスピーカ設定に対する向上した適応及び／又は向上したパフォーマンスを可能にする、アプローチが有利であるだろう。

従って、本発明は、上述した欠点の１又はそれ以上を単独で又は任意の組み合わせで好ましくは緩和、軽減又は除去しようとする。

本発明の一態様によれば、オーディオデータ及びレンダリング設定データを受信するためのレシーバであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、レシーバと、前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するためのレンダリング部であって、前記レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能である、レンダリング部と、前記オーディオトランスデューサ位置データに基づいて前記複数のレンダリングモードの中から前記レンダリング部のためのレンダリングモードを選択するように構成されたレンダリングコントローラとを有し、前記レンダリング部は、前記オーディオトランスデューサのセットのうちの異なるサブセットに対して異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択するように構成される、オーディオ処理装置が提供される。

本発明は、多くのシナリオにおいて改良されたレンダリングを提供し得る。多くの実際のアプリケーションにおいて、大幅に向上したユーザ体験が実現され得る。本アプローチは、レンダリングオーディオのために使用されるオーディオトランスデューサ（詳細にはラウドスピーカ）のポジショニングの増大されたフレキシビリティ及び自由度を可能にする。例えば、本アプローチは、（例えば予め決められた又はデフォルトの構成セットアップに従って）最適に配置されたものではないオーディオトランスデューサのための向上した適応及び最適化を可能にし得る一方で、同時に、実質的に最適に配置されたオーディオトランスデューサが完全に利用されるのを可能にする。

異なるオーディオ成分は、詳細には、同じサウンドステージ又はオーディオシーンの部分であってもよい。オーディオ成分は、例えば関連したメタデータにより与えられた、例えば関連した黙示的な位置情報又は明示的な位置情報を有することによる、空間オーディオ成分であってもよい。レンダリングモードは、空間レンダリングモードであってもよい。

オーディオトランスデューサ信号は、オーディオトランスデューサのための駆動信号であってもよい。オーディオトランスデューサ信号は、オーディオトランスデューサに供給される前に（例えばフィルタリング又は増幅により）更に処理されてもよい。同等に、オーディオトランスデューサは、供給された駆動信号を増幅及び／又はフィルタリングするための機能を含むアクティブなトランスデューサであってもよい。オーディオトランスデューサ信号は、複数のオーディオトランスデューサの各オーディオトランスデューサに対して生成されてもよい。

レンダリングコントローラは、異なるレンダリングモードがサブセットに対して選択されてもよいという点で、異なるサブセットに対してレンダリングモードを独立して選択するように構成され得る。１つのサブセットに対するレンダリングモードの選択は、他のサブセットに属しているオーディオトランスデューサに関連する特性を考慮してもよい。

オーディオトランスデューサ位置データは、オーディオトランスデューサのセットの各オーディオトランスデューサのための位置指標を与えてもよく、又は、そのサブセットだけのための位置指標を与えてもよい。

レンダリング部は、各オーディオ成分に対して、オーディオトランスデューサのためのオーディオトランスデューサ信号成分を生成し、複数のオーディオ成分のためのオーディオトランスデューサ信号成分を組み合わせることにより各オーディオトランスデューサのためのオーディオトランスデューサ信号を生成するように構成されてもよい。

本発明のオプショナルな特徴によれば、レンダリング部は、トランスデューサのセットのうちの第１のオーディオトランスデューサのためのオーディオオブジェクトに対して異なるレンダリングモードを使用するように動作可能であり、レンダリングコントローラは、第１のオーディオトランスデューサのためのオーディオオブジェクトのそれぞれに対してレンダリングモードを独立して選択するように構成される。

これは、多くの実施形態において向上したパフォーマンスを提供し、及び／又は、向上したユーザ体験及び又は増大した自由度及びフレキシビリティを可能にし得る。とりわけ、本アプローチは、レンダリングされるオーディオ及び特定のレンダリング設定の双方への最適化が考慮される、特定のレンダリングシナリオへの向上した適応を可能にし得る。とりわけ、特定のレンダリングアルゴリズムが用いられるオーディオトランスデューサのサブセットは、オーディオコンポーネントの異なる特性を反映するために、異なってオーディオ成分の間で異なり得る。

幾つかの実施形態において、レンダリングコントローラは、第１のオーディオ成分に関して、レンダリング設定データに基づいて複数のレンダリングモードからの選択されたレンダリングモードを選択し、オーディオ記述データに基づいて、選択されたレンダリングモードのためのレンダリングパラメータのセットを決定するように構成されてもよい。

本発明のオプショナルな特徴によれば、複数のオーディオ成分のうちの少なくとも２つは、異なるオーディオタイプである。

これは、多くの実施形態において向上したパフォーマンスを提供し、及び／又は、向上したユーザ体験及び又は増大した自由度及びフレキシビリティを可能にし得る。とりわけ、本アプローチは、レンダリングされるオーディオ及び特定のレンダリング設定の双方への最適化が実行される、特定のレンダリングシナリオへの向上した適応を可能にし得る。

所与のオーディオトランスデューサのために使用されるレンダリングモードは、異なるオーディオ成分の間で異なり得る。異なるレンダリングモードは、オーディオコンポーネントのオーディオタイプに依存して選択されてもよい。オーディオ記述データは、複数のオーディオコンポーネントの１又はそれ以上のオーディオタイプを示してもよい。

本発明のオプショナルな特徴によれば、複数のオーディオ成分は、オーディオチャネル成分、オーディオオブジェクト成分及びオーディオシーン成分からなるグループからの異なるオーディオタイプの少なくとも２つのオーディオ成分を有し、レンダリング部は、少なくとも２つのオーディオ成分に対して異なるレンダリングモードを用いるように構成される。

これは、特に有利なパフォーマンスを提供し、とりわけ、ＭＰＥＧ ３Ｄ Ａｕｄｉｏのようなシステムに対して向上したパフォーマンスを可能にし得る。レンダリングコントローラは、オーディオ成分がオーディオチャネル、オーディオオブジェクト又はオーディオシーンオブジェクトであるかどうかに依存して、オーディオトランスデューサの所与のサブセット及び第１のオーディオ成分のためのレンダリングモードを選択してもよい。

オーディオ成分は、詳細には、ＭＰＥＧ規格のＩＳＯ／ＩＥＣ２３００８−３ ＭＰＥＧ ３Ｄ Ａｕｄｉｏに従ったオーディオチャネル成分、オーディオオブジェクト成分及び／又はオーディオシーン成分であってもよい。

本発明のオプショナルな特徴によれば、レシーバは、少なくとも第１のオーディオ成分のオーディオタイプを示すオーディオタイプ指標データを受信するように構成され、レンダリングコントローラは、オーディオタイプ指標データに基づいて第１のオーディオ成分に対してレンダリングモードを選択するように構成される。

これは、向上したパフォーマンスを提供し、オーディオトランスデューサポジショニングにおける向上したユーザ体験、向上した適応及び／又は向上したフレキシビリティ及び自由度を可能にし得る。

本発明のオプショナルな特徴によれば、レンダリングコントローラは、オーディオトランスデューサのための予め決められた位置に対する第１のオーディオトランスデューサの位置に基づいて第１のオーディオトランスデューサに対してレンダリングモードを選択するように構成される。

これは、向上したパフォーマンスを提供し、オーディオトランスデューサポジショニングにおける向上したユーザ体験、向上した適応及び／又は向上したフレキシビリティ及び自由度を可能にし得る。

予め決められた位置及び／又は第１のオーディオトランスデューサの位置は、絶対的な位置として、又は、例えば聴取位置に対する相対位置として与えられてもよい。

予め決められた位置は、レンダリング設定におけるオーディオトランスデューサのための公称又はデフォルトの位置であってもよい。レンダリング設定は、例えば公称５．１サラウンドサウンドラウドスピーカセットアップのような、標準のセットアップに関連するレンダリング設定であってもよい。レンダリング設定は、幾つかの状況において、例えばオーディオチャネルに関連するレンダリング設定のような、オーディオ成分の一つ以上に関連するデフォルトのレンダリング設定に対応してもよい。詳細には、予め決められた位置は、オーディオチャネルのために想定又は規定されるデフォルトのオーディオトランスデューサ位置であってもよい。

本発明のオプショナルな特徴によれば、レンダリングコントローラは、第１のオーディオトランスデューサの位置と予め決められた位置との間の差分が閾値を超えない限り、第１のオーディオトランスデューサのためのデフォルトのレンダリングモードを選択するように構成される。

これは動作を促進し、多くの実施形態及びシナリオにおいて、向上した信頼性及び／又はロバストネスを可能にし得る。デフォルトのレンダリングモードは、例えば（規格のサラウンドサウンドオーディオトランスデューサ設定に関連するサラウンドサウンドレンダリングアルゴリズムのような）デフォルトのレンダリング設定に関連してもよい。デフォルトのレンダリングモード（例えば、サラウンドサウンドレンダリングモード）は、規格のサラウンドサウンドオーディオトランスデューサ設定のデフォルト位置の近くに配置されるオーディオトランスデューサのために用いられてもよく、これに対し、オーディオトランスデューサ位置がデフォルト位置から十分にそれたときには代替のレンダリングモード／アルゴリズムが選択されてもよい。

本発明のオプショナルな特徴によれば、レンダリングコントローラは、オーディオトランスデューサのセットを、オーディオトランスデューサの位置と予め決められた位置との間の差分が閾値を超えるオーディオトランスデューサを有するオーディオトランスデューサの第１のサブセットと、オーディオトランスデューサの位置と予め決められた位置との間の差分が閾値を超えない少なくとも１つのオーディオトランスデューサを有するオーディオトランスデューサの第２のサブセットとに分割し、第１のレンダリングモードサブセットから第１のサブセットの各オーディオトランスデューサに対してレンダリングモードを選択し、第２のレンダリングモードサブセットから第２のサブセットの各オーディオトランスデューサに対してレンダリングモードを選択するように構成される。

本アプローチは、増大されたフレキシビリティ及び／又は向上したパフォーマンス及び／又は促進された動作を提供し得る。

第１のサブセットは、所与の公称レンダリング／オーディオトランスデューサ設定のデフォルト位置から遠くに配置されるオーディオトランスデューサを含んでもよい。第２のサブセットは、所与の公称レンダリング／オーディオトランスデューサ設定のデフォルト位置の近く配置される１又はそれ以上のオーディオトランスデューサを含んでもよい。第２のサブセットのための駆動信号は、所与の公称レンダリング／オーディオトランスデューサ設定に関連する公称レンダリングモードを用いてもよく、これに対し、第１のサブセットのための駆動信号は、デフォルト位置にないオーディオトランスデューサを補正する異なるレンダリングモードを用いてもよい。第１のサブセットは、オーディオトランスデューサの位置と予め決められた位置との間の差分が閾値を超えない１又はそれ以上のオーディオトランスデューサを、場合により（例えば、斯様なオーディオトランスデューサが、前記差分が閾値を超えるオーディオトランスデューサからのレンダリングをサポートするために用いられる場合に）、含んでもよい。

本発明のオプショナルな特徴によれば、複数のレンダリングモードは、ステレオレンダリング、ベクトルに基づく振幅パニングレンダリング、ビームフォームレンダリング、クロストークキャンセレーションレンダリング、アンビソニックレンダリング、波動場合成レンダリング、及び、最小二乗法で最適化されたレンダリングからなるグループから選択される少なくとも１つのレンダリングモードを含む。

これらのレンダリングモード間のオーディオトランスデューササブセットのための個々の選択は、特に有利なパフォーマンスを提供する。実際に、グループのレンダリングモードは、異なる特性を伴う異なるレンダリング／オーディオトランスデューサ設定に対して特に適切である特性を有する。

本発明のオプショナルな特徴によれば、レシーバは、オーディオ成分のためのレンダリング位置データを受信するように更に構成され、レンダリングコントローラは、レンダリング位置データに基づいてレンダリングモードを選択するように構成される。

これは、向上したパフォーマンス及び適応を提供し、多くの実施形態及びシナリオにおいて、向上したユーザ体験を可能にするだろう。

本発明のオプショナルな特徴によれば、レンダリング部は、複数のオーディオ成分のうちの一のオーディオ成分の異なる周波数帯に対して異なるレンダリングモードを使用するように構成され、レンダリングコントローラは、オーディオ成分の異なる周波数帯に対してレンダリングモードを独立して選択するように構成される。

これは、向上したパフォーマンス及び適応を提供し、多くの実施形態及びシナリオにおいて、向上したユーザ体験を可能にするだろう。

本発明のオプショナルな特徴によれば、レンダリングコントローラは、少なくとも１つのオーディオ成分のためのレンダリングの変化を、少なくとも１つのオーディオ成分におけるオーディオコンテンツ変化に同期させるように構成される。

これは、向上したパフォーマンス及び適応を提供し、多くの実施形態及びシナリオにおいて、向上したユーザ体験を可能にするだろう。これは、とりわけ、ユーザに対するレンダリングの変化の通知可能性を低減し得る。

本発明のオプショナルな特徴によれば、レンダリングコントローラは、オーディオトランスデューサのセットにはないオーディオトランスデューサのためのオーディオトランスデューサ位置データ、聴取位置データ、オーディオトランスデューサのセットのうちのオーディオトランスデューサのためのオーディオトランスデューサオーディオレンダリング特性データ、及び、ユーザレンダリング優先度からなるグループからのレンダリング設定データに基づいてレンダリングモードを選択するように更に構成される。

これは、向上したパフォーマンス及び適応を提供し、多くの実施形態及びシナリオにおいて、向上したユーザ体験を可能にするだろう。

本発明のオプショナルな特徴によれば、レンダリングコントローラは、知覚モデルにより生成された質測定基準に基づいてレンダリングモードを選択するように構成される。

これは、とりわけ有利な動作を提供し、向上した適応及び／又はパフォーマンスを提供し得る。とりわけ、これは、多くの実施形態において効率的な及び最適化された適応を可能にし得る。

本発明の一態様によれば、オーディオデータ及びレンダリング設定データを受信するステップであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、ステップと、前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するステップであって、前記の生成は、複数の可能なレンダリングモードのレンダリングモードに従ってオーディオ成分をレンダリングすることを有する、ステップと、前記オーディオトランスデューサ位置データに基づいて前記複数の可能なレンダリングモードの中から前記のレンダリングのためのレンダリングモードを選択するステップとを有し、オーディオトランスデューサ信号の生成は、前記オーディオトランスデューサのセットのうちの異なるサブセットのための異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択することを有する、オーディオ処理の方法が提供される。

本発明のこれらの及び他の態様、特徴及び利点は、以下で述べられる実施形態から明らかになり、これらを参照して説明されるだろう。

本発明の実施形態は、単なる例により、図面を参照して述べられるだろう。

従来技術によるＭＰＥＧサラウンドシステムの原理の一例を示す。 従来技術によるＳＡＯＣの要素の一例を示す。 ユーザがＳＡＯＣビットストリームに含まれる個々のオブジェクトを制御するのを可能にするインタラクティブインタフェースを示す。 従来技術によるＤＴＳ ＭＤＡのオーディオエンコーディングの原理の一例を示す。 従来技術によるＭＰＥＧ ３Ｄ Ａｕｄｉｏシステムの要素の一例を示す。 本発明の幾つかの実施形態によるレンダリングアプローチの原理の一例を示す。 本発明の幾つかの実施形態によるオーディオ処理装置の一例を示す。 図７のオーディオ処理装置のためのレンダリング部の要素の一例である。

以下の説明は、異なるタイプの複数のレンダリングオーディオ成分をレンダリングするように構成されたレンダリングシステムに、とりわけ、ＭＰＥＧオーディオストリームのオーディオチャネル、オーディオオブジェクト及びオーディオシーンオブジェクトのレンダリングに適用可能な本発明の実施形態にフォーカスする。しかしながら、本発明は、このアプリケーションに限定されるものではなく、多くの他のオーディオレンダリングシステム及び他のオーディオストリームに適用されてもよいことが明らかであるだろう。

述べられたレンダリングシステムは、その動作を、使用される特定のオーディオトランスデューサレンダリング設定に（詳細には、レンダリングにおいて用いられるオーディオトランスデューサの特定の位置に）適合することができる適応可能なレンダリングシステムである。

大多数の既存のサウンド再生システムは、ラウドスピーカセットアップの極めて少量のフレキシビリティのみを可能にする。ラウドスピーカの一般的な設定（例えば、ラウドスピーカが、聴取者の回りに多少等離れて配置されるか、又は、聴取者の前のライン上に設けられる等）に関する、及び／又は、オーディオコンテンツの性質（例えば、少数の別個のローカライズ可能なソースから成るか、又は、非常に拡散したサウンドシーンから成る等）に関する、基本的な前提によって概ね開発されている従来のシステムに起因して、既存のシステムは、典型的には、ラウドスピーカ設定の制限された範囲のための最適な体験のみを供給することが可能である。これは、ユーザ体験、とりわけ多くの現実の使用の場合における空間体験の大幅な削減をもたらし、及び／又は、ユーザがラウドスピーカを配置するための自由度及びフレキシビリティを激しく低減する。

以下で述べられるレンダリングシステムは、高音質を供給可能であり、典型的には、広範囲の多様なラウドスピーカセットアップのための最適化された空間体験を可能とする適応可能なレンダリングシステムを提供する。それ故、（家庭用のレンダリングアプリケーションのためのような）多くのアプリケーションにおいて求められる自由度及びフレキシビリティを提供する。

レンダリングシステムは、ユーザに対して向上した及び多くの場合最適な体験が実現されるように、異なる（空間）サウンドレンダリング方法モードのセットの中から１又はそれ以上の（空間）レンダリング方法を選択する決定アルゴリズムの使用に基づいている。選択決定は、レンダリングのために使用される実際のラウドスピーカ設定に基づいている。レンダリングモードを選択するために用いられる設定データは、少なくともラウドスピーカの（場合により三次元の）位置を含み、幾つかの実施形態において、（サイズ、周波数特性及び指向性パターンのような）ラウドスピーカの他の特性をみなしてもよい。多くの実施形態において、前記の選択決定は、例えば実際のオーディオデータに付随するメタデータにおいて特定されるような、オーディオコンテンツの特性に更に基づいてもよい。

幾つかの実施形態において、前記の選択アルゴリズムは、選択されたレンダリング方法の設定を調整又は決定するために他の利用可能な情報を更に用いてもよい。

図６は、本発明の幾つかの実施形態によるレンダリングアプローチの原理の一例を示している。本例において、オーディオ入力ストリームのオーディオ成分に対して適切なレンダリングモードを選択したときに種々のデータが考慮される。

図７は、本発明の幾つかの実施形態によるオーディオ処理装置７０１の一例を示している。オーディオ処理装置７０１は、詳細には、特定の例においてはラウドスピーカ７０３であるオーディオトランスデューサのセットのための信号を生成するオーディオレンダリング装置である。故に、オーディオ処理装置７０１は、特定の例においてはラウドスピーカ７０３のセットのための駆動信号であるオーディオトランスデューサ信号を生成する。図７は、（５．１ラウドスピーカセットアップのためのような）６つのラウドスピーカの一例を詳細に示しているが、これは、単に特定の例を示しているに過ぎず、任意の数のラウドスピーカが用いられ得ることはいうまでもないだろう。

オーディオ処理装置７０１は、ラウドスピーカ７０３からレンダリングされる複数のオーディオ成分を有するオーディオデータを受信するレシーバ７０５を有する。オーディオ成分は、典型的には、ユーザに空間体験を与えるためにレンダリングされ、例えば、オーディオチャンネル、オーディオオブジェクト及び／又はオーディオシーンオブジェクトを含み得る。

オーディオ処理装置７０１は、オーディオトランスデューサ信号（即ち、ラウドスピーカ７０３のための駆動信号）をオーディオデータから生成するように構成されたレンダリング装置７０７を更に有する。詳細には、レンダリング装置は、オーディオ成分の各々からラウドスピーカ７０３のための駆動信号成分を生成してもよく、そして、異なるオーディオ成分のための駆動信号成分を単一のオーディオトランスデューサ信号に、即ちラウドスピーカ７０３に供給される最終的な駆動信号に組み合わせる。簡潔さ及び明瞭さのために、図７及び以下の説明は、駆動信号に適用され得る標準の信号処理動作又は駆動信号を生成する時について述べないだろう。しかしながら、本システムは、例えばフィルタリング及び増幅機能を含んでもよいことはいうまでもないだろう。

レシーバ７０５は、幾つかの実施形態において、複数のオーディオ成分のためのエンコードされたオーディオデータを有する、エンコードされたオーディオデータを受信してもよく、オーディオデータをデコードし、デコードされたオーディオストリームをレンダリング装置７０７に供給するように構成されてもよい。詳細には、１つのオーディオストリームは、各オーディオ成分に対して供給されてもよい。代わりに、１つのオーディオストリームは、（例えばＳＡＯＣビットストリームのためのような）複数のサウンドオブジェクトのダウンミクスであってもよい。幾つかの実施形態において、レシーバ７０５は、オーディオ成分のために位置データをレンダリング装置７０７に供給するように更に構成されてもよく、レンダリング装置７０７は、オーディオ成分を適宜配置してもよい。幾つかの実施形態において、例えば公称サラウンドサウンドセットアップの、オーディオチャネルのためのデフォルトのオーディオソース位置のような、オーディオ成分の全ての又は幾つかの位置は、代わりに又は追加的に、想定されてもよいか又は予め決められてもよい。幾つかの実施形態において、位置データは、代わりに又は追加的に、別個のアルゴリズムにより、例えばユーザ入力から供給されてもよく、又は、レンダリング装置自体により生成されてもよい。

従来のシステムとは対照的に、図７のオーディオ処理装置７０１は、単にラウドスピーカ７０３の予め決められた又は想定された位置に基づいて駆動信号を生成するだけでない。むしろ、本システムは、レンダリングをラウドスピーカの特定の設定に適応させる。詳細には、本システムは、ラウドスピーカの位置に依存して多数の異なるアルゴリズムの間で選択するように構成され、更に、異なるラウドスピーカに対して異なるレンダリングアルゴリズムを選択可能である。

異なるレンダリングアルゴリズムは、多くのオーディオデバイスにおいて利用可能であり得る多様なオーディオレンダリング強化アルゴリズムを含むことはいうまでもないだろう。多くの場合、斯様なアルゴリズムは、例えば、より良好な空間エンベロープメント、向上した音声の明瞭さ、又は、聴取者のためのより広い聴取エリアを提供するように設計されていた。斯様な強化特性は、レンダリングアルゴリズムとみなされてもよく、及び／又は、特別なレンダリングアルゴリズムの成分とみなされてもよい。

とりわけ、レンダリング装置７０７は、異なる特性を有する複数のレンダリングモードに従ってオーディオ成分をレンダリングするように動作可能である。例えば、幾つかのレンダリングモードは、非常に特殊で且つ非常にローカライズされたオーディオ認識を与えるレンダリングを提供するアルゴリズムを使用するのに対し、他のレンダリングモードは、拡散した且つ広げられた位置認識を与えるレンダリングアルゴリズムを使用する。故に、レンダリング及び知覚された空間体験は、どのレンダリングアルゴリズムが用いられるかに依存して、非常に大幅に異なり得る。

レンダリング装置７０７は、レシーバ７０５及びレンダリング装置７０７に結合されるレンダリングコントローラ７０９により制御される。レシーバ７０５は、レンダリングセットアップを示す、詳細にはオーディオトランスデューサ／ラウドスピーカセットアップ／設定を示すデータを有するレンダリング設定データを受信する。レンダリング設定データは、詳細には、ラウドスピーカ７０３のうち少なくとも幾つかの位置を示すオーディオトランスデューサ位置データを有する。

オーディオトランスデューサ位置データは、（例えば、ラウドスピーカ７０３の他の位置に対する位置、ラウドスピーカ７０３のための公称（例えば、予め決められた）位置に対する位置、聴取位置に対する位置、又は、環境における別個のローカライゼーションデバイス又は他のデバイスの位置を含む）絶対的な又は相対的な位置を含む、１又はそれ以上のラウドスピーカ７０３の位置の指標を供給する任意のデータであってもよいことが理解されるだろう。オーディオトランスデューサ位置データが任意の適切な手段において供給又は生成されてもよいことも理解されるだろう。例えば、幾つかの実施形態において、オーディオトランスデューサ位置データは、例えば（聴取位置のような）基準位置に対する実際の位置として、又は、ラウドスピーカ間の距離及び角度として、ユーザにより手動で入力されてもよい。他の例において、オーディオ処理装置７０１は、それ自身が、測定に基づいてラウドスピーカ７０３の位置を推定するための機能を有してもよい。例えば、ラウドスピーカ７０３は、マイクロフォンを備えてもよく、これは、位置を推定するために用いられてもよい。例えば、各ラウドスピーカ７０３は、テスト信号を順次レンダリングしてもよく、マイクロフォン信号におけるテスト信号成分間の時間差は、テスト信号をレンダリングしているラウドスピーカ７０３までの距離を推定するために決定及び使用されてもよい。そして、複数の（典型的には全ての）ラウドスピーカ７０３のためのテストから取得された距離の完全なセットは、ラウドスピーカ７０３のための相対的な位置を推定するために用いられ得る。

レンダリングコントローラ７０９は、レンダリング装置７０７により用いられたレンダリングモードを制御するように構成される。故に、レンダリングコントローラ７０９は、どの特定のレンダリングアルゴリズムがレンダリング装置７０７により用いられるかを制御する。レンダリングコントローラ７０９は、オーディオトランスデューサ位置データに基づいてレンダリングモードを選択し、それ故、オーディオ処理装置７０１により使用されるレンダリングアルゴリズムは、ラウドスピーカ７０３の位置に依存するだろう。

しかしながら、単にレンダリング特性を調整するか又は全体としてのシステムのためのレンダリングモード間で切り替えるよりむしろ、図７のオーディオ処理装置７０１は、個々のラウドスピーカ７０３の位置に依存して個々のスピーカサブセットに対してレンダリングモード及びアルゴリズムを選択するように構成される。故に、１つのレンダリングモードは、幾つかのラウドスピーカ７０３のために用いられてもよいのに対し、他のレンダリングモードが、同時に、他のラウドスピーカ７０３のために用いられてもよい。それ故、図７のシステムによりレンダリングされるオーディオは、ラウドスピーカ７０３の異なるサブセットのための異なる空間レンダリングモードのアプリケーションの組み合わせであり、ここで、空間レンダリングモードは、ラウドスピーカ７０３の位置に依存して選択される。

レンダリングコントローラ７０９は、詳細には、ラウドスピーカ７０３を多数のサブセットに分割してもよく、前記サブセットにおけるラウドスピーカ７０３の位置に依存してこれらのサブセットの各々に対してレンダリングモードを独立して選択してもよい。

異なるラウドスピーカ７０３に対する異なるレンダリングアルゴリズムの使用は、多くのシナリオにおいて向上したパフォーマンスを提供してもよく、特定のレンダリングセットアップへの向上した適応を可能にする一方で、多くのシナリオにおいて向上した空間体験を提供する。

詳細には、発明者らは、多くの場合、消費者がラウドスピーカを可能な限り最適に配置しようとするが、これは、典型的には幾つかのラウドスピーカに対してのみ可能であるか又は便利であることを理解した。故に、多くの実際のシナリオにおいて、ラウドスピーカのポジショニングは、ラウドスピーカのサブセットに対して妥協される。例えば、サラウンドサウンドシステムをセットアップするときに、ユーザは、多くの場合、主な聴取エリア周辺の適切な（例えば等距離の）位置にラウドスピーカを配置しようとするだろう。しかしながら、非常に多くの場合、これは、幾つかのラウドスピーカに対して可能であるかもしれないが、全てのラウドスピーカに対して可能ではないだろう。例えば、多くの家庭用のホームシネマシステムに関して、前方のラウドスピーカは、ディスプレイのまわりの非常に適切な位置に、及び、典型的にはこれらのラウドスピーカのための公称位置に密接に対応するように配置され得る。しかしながら、多くの状況において、サラウンド又は後方のラウドスピーカを適切に配置することは可能ではないか又は便利でなく、これらの位置は、非常に妥協され得る。例えば、後方のラウドスピーカは、非対称的に配置されてもよく、例えば、左側の及び右側の後方ラウドスピーカは、聴取位置一方の側に配置されてもよい。最も一般的なシステムにおいて、生ずる低下された空間体験は、単純に受け入れられ、実際に、後方のサラウンドラウドスピーカに関して、これは、多くの場合、後方のサウンドソースの低減された重要性に起因して許容可能であるとみなされ得る。

しかしながら、図７のシステムにおいて、最適なレンダリング設定からの逸脱が検出されてもよく、レンダリングコントローラ７０９は、後方のラウドスピーカのためのレンダリングモードを切替えてもよい。詳細には、前方のラウドスピーカからのオーディオのレンダリングは、不変であり、標準のサラウンドサウンドレンダリングアルゴリズムに従い得る。しかしながら、１又はそれ以上の後方のラウドスピーカがデフォルト又は最適位置からの遠くに配置されていることをレンダリングコントローラ７０９が検出した場合に、異なる特性を有する異なるレンダリングアルゴリズムを用いるために切り替わってもよい。詳細には、レンダリングコントローラ７０９は、後方のラウドスピーカに関して、より適切な知覚的な入力をユーザに供給する異なるレンダリングアルゴリズムを実行するためにデフォルトのサラウンドサウンドレンダリングを実行することから切り替わるように、レンダリング装置７０７を制御してもよい。

例えば、レンダリングコントローラ７０９は、拡散を取り込むとともに、サウンドソースの空間限定性を除去するレンダリングを適用するようにレンダリング装置７０７を切り替えてもよい。レンダリングアルゴリズムは、例えば、ローカライズされたサウンドソースが、もはや適切には規定されず、あまりローカライズされないが、むしろ、拡散又は広げられるように見えるように、後方チャネルオーディオ成分への非相関を追加してもよい。故に、全てのラウドスピーカ７０３が適切なデフォルト位置にあることをレンダリングコントローラ７０９が検出した場合、駆動信号を生成するために標準のサラウンドサウンドレンダリングアルゴリズムを適用する。しかしながら、１又はそれ以上の後方のラウドスピーカがデフォルト位置から遠くに配置されることを検出した場合には、これらのラウドスピーカのための駆動信号を生成するために使用されるレンダリングアルゴリズムを、拡散を取り込むレンダリングアルゴリズムに切り替える。故に、間違った位置で適切に定義され且つローカライズされたサウンドソースを知覚するよりはむしろ、聴取者は、その代わりに、ローカライズされないが例えば後方から拡散的に到達するサウンドソースを知覚するだろう。これは、多くの場合、より好ましいユーザ体験を提供するだろう。更に、本システムは、後方のラウドスピーカが所望の位置に実際に配置されるシナリオのためのパフォーマンスを損なうことなく斯様な向上した体験を提供するために自動的に適合することができる。更に、前記の適応が最適状態に及ばない位置により直接影響を受けるラウドスピーカのサブセットに限定されるので、前記の改善は、他のラウドスピーカのパフォーマンスを損なうことなく実現される。とりわけ、前方のオーディオステージはほとんど影響を受けない。とりわけ、非常にローカライズされた前方のオーディオソースは、同じ位置において非常にローカライズされた前方のオーディオソースのままである。

しかしながら、代替実施形態として、１つは、位置が必ずしも正しくない場合であってもユーザが拡散したレンダリングよりはむしろ明らかにローカライズ可能なサウンドを好む場合を考慮し得る。この場合、あまり拡散しない再生方法を有するレンダリング方法がユーザ優先度に基づいて選択されてもよい。

他の例として、レンダリング装置７０７は、用いるために制御されてもよいは、ラウドスピーカ７０３の認識がどれくらい分離可能かを反映するレンダリングモードを使用するために制御され得る。例えば、幾つかのラウドスピーカが基本的には単一のサウンドソースとして（又は、少なくとも２つの相関するサウンドソースとして）知覚されるように密接に配置されることが検出された場合には、レンダリングコントローラ７０９は、別々のサウンドソースとして機能するように十分離れているラウドスピーカに対するよりも、これらのラウドスピーカ７０３に対して異なるレンダリングアルゴリズムを選択してもよい。例えば、ビーム形成の要素を用いるレンダリングモードは、十分に近いラウドスピーカに対して用いられ得るのに対し、ビーム形成がはるかに離れたラウドスピーカに対しては用いられない。

多くの異なるレンダリングモード及びアルゴリズムが異なる実施形態において用いられてもよいことはいうまでもないだろう。以下において、レンダリングコントローラ７０９により選択され得るレンダリングモードのセットに含まれ得るレンダリングアルゴリズムの一例が述べられるだろう。しかしながら、これらは単に例示的なものであり、その概念は、これらのアルゴリズムに限定されるものではないことはいうまでもないだろう。

規格化されたステレオのレンダリング：
これは、（各オーディオチャネルがラウドスピーカのうちの１つに直接対応するように想定される）規格化されたラウドスピーカセットアップにおける古典的な振幅パニングベースのレンダリングをいう。これは、（聴取位置に対して対称なアジマスに２つのラウドスピーカを有する）２チャネル立体音響に言及してもよく、ＩＴＵ ５．１チャネル及び７チャネルサラウンドサウンドのような同じ概念のマルチチャネル拡張、及び、２２．２のような３Ｄ拡張に言及してもよい。

この方法は、ラウドスピーカが想定された規格化された設定に従って配置されるとともに聴取者が中央（"スイートスポット"）に配置される場合において良好に機能する。これらの状態が満たされない場合、準最適なものを実行するステレオのレンダリングはよく知られている。

ベクトルベースの振幅パニングレンダリング：
これは、基本的には、空間における既知の２又は３の寸法位置に配置される２つを超えるラウドスピーカに対してラウドスピーカのペアの間で振幅パニング原理を適合することにより規格化されていないラウドスピーカ設定をサポートするステレオのレンダリング方法の一般化である方法である。この方法の詳細な説明は、例えば、V. Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", J.AudioEng.Soc.,Vol.45,No.6, 1997において見つけられ得る。

本アプローチは、とりわけ、ラウドスピーカが間に如何なる極めて大きな又は極めて小さな"ギャップ"を伴うことなく聴取者の回りに多少ランダムに分配される使用態様において適切である。典型的な例は、サラウンドサウンドシステムのラウドスピーカは、"多少"仕様に従って配置されるが、個々のラウドスピーカに対して一部のずれを有する場合である。

方法の制約は、とりわけ両側でラウドスピーカのペア間に大きな"ギャップ"が存在する場合においてローカライゼーションパフォーマンスが低下されること、及び、ソースがラウドスピーカのペアにより"カバーされる"領域の外側には配置され得ないことである。

ビーム形成レンダリング：
ビーム形成は、密接に（例えば間に数デシメートルしかないように）配置されるラウドスピーカアレイ、即ち複数のラウドスピーカのクラスタに関連するレンダリング方法である。個々のラウドスピーカ間の振幅及び位相関係を制御することは、音が指定された方向に"放射される"のを可能にし、及び／又は、ソースがラウドスピーカアレイの前方又は後方の特定の位置に"フォーカスされる"のを可能にする。この方法の詳細な説明は、例えば、Van Veen, B.D, Beamforming: a versatile approach to spatial filtering, ASSP Magazine, IEEE (Volume:5 , Issue: 2 ), Date of Publication: April 1988において見つけられ得る。

この種のレンダリングが有益である典型的な使用事例は、ラウドスピーカの小さなアレイが聴取者の正面に配置される一方で、ラウドスピーカが後方又は左前及び右前に存在しない場合である。斯様な場合において、聴取部屋の側壁にオーディオチャネル又はオブジェクトのうち幾つかを"放射する"ことによりユーザのための十分なサラウンド体験を生成することが可能である。壁を離れたサウンドの反射は、後方及び／又は側方から聴取者に到達し、それ故、完全に没入した"バーチャルサラウンド"体験を生成する。これは、"サウンドバー"タイプの種々の消費者向け製品において使用されるレンダリング方法である。

ビーム形成レンダリングが有益に使用され得る他の例は、レンダリングされるべきサウンドチャネル又はオブジェクトがスピーチを含む時である。ビーム形成を用いてユーザの方へ向けられるビームとしてこれらのスピーチオーディオ成分をレンダリングすることは、部屋においてあまり反響が生成されないので、ユーザのためのより良好なスピーチ理解度をもたらし得る。

ビーム形成は、典型的には、ラウドスピーカ間の間隔が数デシメートルを超えるラウドスピーカ設定（のサブ部分）のためには用いられないだろう。

クロストークキャンセレーションレンダリング：
これは、２つのラウドスピーカから完全に没入した３Ｄサラウンド体験を生成することができるレンダリング方法である。これは、頭部伝達関数（Head Related Transfer Functions又はＨＲＴＦｓ）を用いたヘッドホンを介したバイノーラルレンダリングに密接に関連する。ラウドスピーカがヘッドホンの代わりに用いられるので、フィードバックループは、左側のラウドスピーカから右耳までのクロストークを除去するために用いられなければならない、及び、逆もまた同じである。この方法の詳細な説明は、例えば、Kirkeby, Ole; Rubak, Per; Nelson, Philip A.; Farina, Angelo, Design of Cross-Talk Cancellation Networks by Using Fast Deconvolution, AES Convention:106 (May 1999) Paper Number:4916において見つけられ得る。

これは、聴取者に対して対称なアジマスに配置される２つのラウドスピーカがある状況において特に有益である。とりわけ、このレンダリング方法は、標準の２つのラウドスピーカステレオセットアップを形成する完全なサラウンド体験をレンダリングするために使用されてもよい。

この方法は、聴取者の位置に非常に敏感であるので、複数の聴取者又は聴取位置がある場合にはこの方法はあまり適切ではない。

ステレオダイポールレンダリング：
このレンダリング方法は、共通（合計）信号がモノラルで再生される一方で差分信号がダイポール放射パターンで再生されるような態様で空間オーディオ信号を処理することによりユーザのための広いサウンドイメージをレンダリングするために２又はそれ以上の近くにあるラウドスピーカを用いる。この方法の詳細な説明は、例えば、Kirkeby, Ole; Nelson, Philip A.; Hamada, Hareo, The 'Stereo Dipole': A Virtual Source Imaging System Using Two Closely Spaced Loudspeakers, JAES Volume 46 Issue 5 pp. 387-395; May 1998において見つけられ得る。

これは、タブレットが映画を見るために用いられる時のような、前方のラウドスピーカセットアップが２つの近くにあるラウドスピーカからなる状況において有益である。

アンビソニックレンダリング：
アンビソニックは、単一位置における空間サウンドフィールドを（レコーディング側で）分解及び（レンダリング側で）復元することに基づく空間オーディオエンコーディング及びレンダリング方法である。レコーディングにおいて、特別なマイクロフォン設定が、サウンドフィールドの個々の球面高調波成分を取り込むために多くの場合用いられる。再生において、元のサウンドフィールドは、特別なラウドスピーカセットアップからの記録された成分をレンダリングすることにより復元される。この方法の詳細な説明は、例えば、Jerome Daniel, Rozenn Nicol, and Sebastien Moreau, Further Investigations of High Order Ambisonics and Wavefield Synthesis for Holophonic Sound Imaging, Presented at the 114th Convention 2003 March 22 -25において見つけられ得る。

このレンダリング方法は、ラウドスピーカ設定が聴取者の回りに基本的には等距離に分配される場合に特に有益である。斯様な場合において、アンビソニックレンダリングは、前述した方法のうちいずれかよりも没入した体験を提供してもよく、良好な体験が得られる聴取エリアがより大きくなってもよい。

とりわけ、拡散した（環境）オーディオ成分をレンダリングすることが有益であってもよい。本方法は、不規則に配置されたラウドスピーカ設定にはあまり適していない。

波動場合成レンダリング：
これは、大きな聴取空間内で元のサウンド場を正確に再形成するためにラウドスピーカのアレイを用いるレンダリング方法である。この方法の詳細な説明は、例えば、Boone, Marinus M.; Verheijen, Edwin N. G.Sound Reproduction Applications with Wave-Field Synthesis, AES Convention:104 (May 1998) Paper Number:4689において見つけられ得る。

これは、オブジェクトベースのサウンドシーンに特に適しているが、他のオーディオタイプ（例えば、チャネル又はシーンベースのもの）と互換性がある。制限は、約２５ｃｍ間隔に過ぎない間隔で多数のラウドスピーカを有するラウドスピーカ設定にのみ適していることである。典型的な場合において、これは、複数の個々の駆動部が同じハウジング内に囲まれるラウドスピーカ又はデバイスのアレイに基づいている。

最小二乗法で最適化されたレンダリング：
これは、ラウドスピーカ位置がパラメータとして特定され、ラウドスピーカ信号が一部の聴取エリア内においてターゲットサウンド場と再生されたサウンド場との間の差分を最小化するように最適化される数値的な最適化手順によって指定されたターゲットサウンド場を実現することを試みる一般的なレンダリング方法である。この方法の詳細な説明は、例えば、Shin, Mincheol; Fazi, Filippo M.; Seo, Jeongil; Nelson, Philip A., Efficient 3-D Sound Field Reproduction, AES Convention:130 (May 2011) Paper Number:8404において見つけられ得る。

幾つかの場合において、これらの方法は、再生されたサウンド場を取り込むために所望の聴取位置にマイクロフォンを配置することを必要とする。

幾つかの実施形態において、完全に別々のレンダリングエンジンが各レンダリングモードに対して実装されてもよいことはいうまでもないだろう。他の実施形態において、レンダリングアルゴリズム／モードの幾つかは、少なくとも一部の機能を共有してもよい。多くの実施形態において、各レンダリングモードは、同じ信号処理プラットフォーム上で実行している全てのアルゴリズムを有するレンダリングファームウェアアルゴリズムとして実装されてもよい。例えば、レンダリングコントローラ７０９は、どのレンダリングサブルーチンが各オーディオトランスデューサ信号及びオーディオ成分のためにレンダリング装置７０７により呼び出されるかを制御してもよい。

レンダリング装置７０７が単一のオーディオ成分及び単一のオーディオトランスデューサ信号のためにどのように実装され得るかについての一例が図８に示される。

本例において、オーディオ成分は、複数のレンダリングエンジン８０１に供給される（特定の例において、４つのレンダリングエンジンが示されているが、それよりも多いか少ないものが他の実施形態において用いられてもよいことはいうまでもないだろう）。レンダリングエンジン８０１の各々は、レンダリングコントローラ７０９により制御されるスイッチに結合される。本例において、レンダリングエンジン８０１の各々は、ラウドスピーカ７０３のための対応する駆動信号を生成するためにレンダリングアルゴリズムを実行してもよい。故に、スイッチ８０３は、全ての考えられるレンダリングモードに従って生成された駆動信号を受信する。そして、レンダリングコントローラ７０９により選択されたレンダリングモードに対応する駆動信号を選択し、これを出力する。スイッチ８０３の出力部は、特定の例において合計ユニットである組み合わせ部８０５に結合される。組み合わせ部８０５は、他のオーディオ成分のために生成される対応する駆動信号成分を受信してもよく、そして、ラウドスピーカ７０３に供給される駆動信号を生成するために駆動信号成分を組み合わせてもよい。

他の例において、スイッチングは、レンダリングの前に実行されてもよい、即ち、スイッチがレンダリングエンジン８０１への入力にあってもよいことはいうまでもないだろう。故に、レンダリングコントローラ７０９により選択されるレンダリングモードに対応するレンダリングエンジンだけが、オーディオ成分のための駆動信号を生成するために活性化され、このレンダリングエンジンの生ずる出力部が組み合わせ部８０５に結合される。

図８は、明瞭さ及び簡潔さのため、レンダリングエンジン８０１が各オーディオ成分に対して独立して動作することを示していることが理解されるだろう。しかしながら、ほとんどの典型的なアプリケーションにおいて、レンダリングアルゴリズムは、オーディオ信号を生成するときに１つを超えるオーディオ成分を同時に考慮するより複雑なアルゴリズムであってもよい。

同様に、多くのレンダリングアルゴリズムが複数のラウドスピーカ７０３のための出力を生成することはいうまでもないだろう。例えば、振幅パニングは、各オーディオ成分のための少なくとも２つの駆動信号成分を生成してもよい。これらの異なる駆動信号は、例えば、異なるオーディオトランスデューサに対応する異なる出力スイッチ又は組み合わせ部に供給されてもよい。

多くの実施形態において、異なるレンダリングモード及びアルゴリズムは、オーディオ処理装置７０１の部分として予め決められてもよく、実装されてもよい。しかしながら、幾つかの実施形態において、レンダリングアルゴリズムは、入力ストリームの部分として、即ちオーディオデータと一緒に、供給されてもよい。

多くの実施形態において、レンダリングアルゴリズムは、当業者にとって既知であるオーディオデータの時間−周波数タイルに適用されるマトリックス演算として実装されてもよい。

幾つかの実施形態において、同じレンダリングモードは、全てのオーディオ成分に対して選択されてもよく、即ち所与のラウドスピーカ７０３に関して、単一のレンダリングモードが選択されてもよく、そのラウドスピーカ７０３からレンダリングされるサウンドに対する寄与を与える全てのオーディオ成分に適用されてもよい。しかしながら、他の実施形態において、所与のラウドスピーカ７０３のためのレンダリングモードは、異なるオーディオ成分の間で異なっていてもよい。

これは、例えば、オーディオ成分がサラウンドサウンドシステムの５つの空間チャネルに対応するという状況に当てはまり得る。考えられるシナリオにおいて、オーディオトランスデューサ位置データは、例えば、右後方のラウドスピーカが公称位置よりもかなり前方に配置されること、実際には、聴取者の前方及び側方に配置されることを示し得る。同時に、右前方のラウドスピーカは、左前方のラウドスピーカよりも中央に配置され得る。斯様な例において、右前方のラウドスピーカと右後方のラウドスピーカとの間の振幅パニングアルゴリズムを用いて前方右側チャネルをレンダリングすることが有利であり得る。これは、前方右側ラウドスピーカの更に右への、右前方チャネルのための知覚された位置をもたらしてもよく、詳細には、前方右側及び前方左側のチャネルのための対称に知覚された位置をもたらしてもよい。同時に、右後方チャネルは、右後方チャネルからレンダリングされ得るが、右後方のラウドスピーカがあまりに遠い前方に配置されるという事実をぼかすために高度な拡散を取り込むレンダリングアルゴリズムを用いる。故に、右後方のラウドスピーカのために選択されたレンダリングモードは、右前方チャネルのオーディオ成分及び右後方チャネルのオーディオ成分の間で異なるだろう。

幾つかの実施形態において、全てのオーディオ成分は、同じオーディオタイプであってもよい。しかしながら、オーディオ処理装置７０１は、オーディオ成分が異なるタイプのものであり得る実施形態において特に有利なパフォーマンスを与え得る。

詳細には、オーディオデータは、オーディオチャネル成分、オーディオオブジェクト成分及びオーディオシーン成分のグループからの複数のオーディオタイプを含み得る多数のオーディオ成分を与え得る。

多くの実施形態において、オーディオデータは、例えば特定の合成的に生成されたオーディオオブジェクト、又は、特定のオーディオソース（例えば単一の楽器）を取り込むように構成されたマイクロフォンのような、個々のオーディオオブジェクトとしてエンコードされ得る多数の成分を含んでもよい。

各オーディオオブジェクトは、典型的には、単一のサウンドソースに対応する。故に、オーディオチャネル、とりわけ従来の空間マルチチャネル信号のオーディオチャネルとは対照的に、オーディオオブジェクトは、典型的には、実質的に異なる位置を有し得る複数のサウンドソースからの成分を含まない。同様に、各オーディオオブジェクトは、典型的には、サウンドソースの完全な表現を供給する。それ故、各オーディオオブジェクトは、典型的には、単一のサウンドソースのみのための空間位置データに関連する。詳細には、各オーディオオブジェクトは、典型的には、サウンドソースの単一の、及び、完全な表現とみなされてもよく、単一の空間位置に関連してもよい。

オーディオオブジェクトは、任意の特定のレンダリング設定には関連しない、詳細には、サウンドトランスデューサ／ラウドスピーカの任意の特定の空間設定に関連しない。故に、特定の空間ラウドスピーカセットアップ（例えば、サラウンドサウンドセットアップ）のようなレンダリング設定に関連するオーディオチャネルとは対照的に、オーディオオブジェクトは、任意の特定の空間レンダリング設定に対して規定されない。

それ故、オーディオオブジェクトは、典型的には、個々の実例（例えば、歌手、楽器又は聖歌隊）として処理される単一の又は組み合わせられたサウンドソースである。典型的には、オーディオオブジェクトは、オーディオオブジェクトのための特定の位置、詳細にはオーディオオブジェクトのためのポイントソース位置を規定する、関連した空間位置情報を有する。しかしながら、この位置は、特定のレンダリングセットアップから独立している。オブジェクト（オーディオ）信号は、オーディオオブジェクトを表す信号である。オブジェクト信号は、例えば時間的に同時ではない、複数のオブジェクトを含んでもよい。

単一のオーディオオブジェクトは、複数の個々のオーディオ信号（例えば、異なる方向からの同じ楽器の同時レコーディング）を含んでもよい。

これに対し、オーディオチャネルは、公称オーディオソース位置に関連する。それ故、オーディオチャネルは、典型的には、関連した位置データを有しないが、公称に関連したラウドスピーカ設定におけるラウドスピーカの公称位置に関連する。故に、オーディオチャネルは、典型的には、関連した設定におけるラウドスピーカ位置に関連するのに対し、オーディオオブジェクトは、任意のラウドスピーカ設定には関連しない。それ故、オーディオチャネルは、レンダリングが公称ラウドスピーカ設定を用いて実行されたときに、所与の公称位置からレンダリングされるべきである組み合わせられたオーディオを表す。それ故、オーディオチャネルは、公称ラウドスピーカ設定がオーディオソースを空間的にレンダリングするために、サウンド成分がチャネルに関連した公称位置からレンダリングされることを必要とするオーディオシーンの全てのオーディオソースを表す。これに対し、オーディオオブジェクトは、典型的には、如何なる特定のレンダリング設定にも関連しないが、その代わりに、１つのサウンドソース位置からレンダリングされるべきであるオーディオを供給し、関連したサウンド成分がその位置から生じるように知覚されるようにする。

オーディオシーン成分は、元のオーディオサウンドフィールドが数学的に分解され得る、直交する空間成分のセットのうちの１つであることにより特徴付けられる。

詳細には、これは、元のサウンドフィールドの範囲内の定義された位置における元のサウンドフィールドを一緒に完全を述べる元のサウンドフィールドの直交する球面高調波成分のセットのうちの１つであってもよい。より詳しくは、これは、ＨＯＡ（High-Order Ambisonics）成分のセットの単一の成分であってもよい。

オーディオシーン成分は、ラウドスピーカ信号を直接的に表さないという事実により、オーディオ成分チャネルから区別される。むしろ、各々のオーディオシーン成分は、指定されたパニングマトリックスに従って各ラウドスピーカ信号に寄与する。更に、オーディオ成分は、単一の個々のサウンドソースに関する情報を含まないという事実により、オーディオオブジェクトから区別されるが、むしろ、元のサウンドフィールドに存在する全てのサウンドソースに関する情報を含む（"物理"ソース及び反響のような"アンビエンス"ソース）。

実用的な例において、１つのオーディオシーン成分が、レコーディング位置において全方向性マイクロフォンの信号を含んでもよい一方で、３つの他のオーディオシーン成分が、全方向性マイクロフォンと同じ位置に直交して同配置される３つの速度（双方向性）マイクロフォンの信号を含む。追加のオーディオシーン成分は、高次マイクロフォン（球面マイクロフォンアレイの信号からの、物理的なもの又は合成されたもの）の信号を含んでもよい。代わりに、オーディオシーン成分は、サウンドフィールドの合成的記述から合成的に生成されてもよい。

幾つかの実施形態において、オーディオデータは、ＭＰＥＧ規格ＩＳＯ／ＩＥＣ ２３００８−３ ＭＰＥＧ ３Ｄ Ａｕｄｉｏに準拠したオーディオチャネル、オーディオオブジェクト及びオーディオシーンであり得るオーディオ成分を有してもよい。

幾つかの実施形態において、レンダリングモードの選択は、オーディオ成分のオーディオタイプに更に依存する。詳細には、入力オーディオデータが異なるタイプのオーディオ成分を有するときに、レンダリングコントローラ７０９は、これを考慮し、所与のラウドスピーカ７０３のための異なるオーディオタイプに対して異なるレンダリングモードを選択してもよい。

単純な例として、レンダリングコントローラ７０９は、非常にローカライズされたソースに対応することを意図されるオーディオオブジェクトのためのラウドスピーカ位置エラーを補正するために振幅パニングレンダリングモードの使用を選択してもよく、非常にローカライズされたソースを設けることを意図されないオーディオシーンオブジェクトのために非相関レンダリングモードを用いてもよい。

多くの実施形態において、オーディオタイプは、オーディオオブジェクトによって受信されるメタデータにより示されるだろう。幾つかの実施形態において、メタデータは、オーディオタイプを直接的に示し得るのに対し、他の実施形態において、例えば１つのオーディオタイプにのみ適用可能である位置的データを有することにより、間接的な指標であってもよい。

それ故、レシーバ７０５は、斯様なオーディオタイプ指標データを受信してもよく、これを、適切なレンダリングモードを選択するときに用いるレンダリングコントローラ７０９に供給してもよい。従って、レンダリングコントローラ７０９は、異なるタイプである少なくとも２つのオーディオ成分のための１つのラウドスピーカ７０３に対して異なるレンダリングモードを選択してもよい。

幾つかの実施形態において、レンダリングコントローラ７０９は、異なるオーディオタイプのために選択するレンダリングモードの異なるセットを有してもよい。例えば、オーディオチャネルに関して、レンダリングモードの第１のセットは、レンダリングコントローラ７０９による選択のために利用可能であってもよく、オーディオオブジェクトに関して、レンダリングモードの異なるセットが利用可能であってもよく、オーディオシーンオブジェクトに関して、レンダリングモードの更に他のセットが利用可能であってもよい。

他の例として、レンダリングコントローラ７０９は、実際のラウドスピーカセットアップに概ね適している利用可能なレンダリング方法を有するサブセットを最初に生成してもよい。故に、レンダリング設定データは、利用可能なレンダリングモードのサブセットを決定するために用いられてもよい。それ故、サブセットは、ラウドスピーカの空間分配に依存するだろう。一例として、ラウドスピーカセットアップが聴取者の回りにおおよそ等距離に分配される多数のラウドスピーカから成る場合、モジュールは、ベクトルベースの振幅パニング及びアンビソニックレンダリングモードが考えられる適切な方法である一方で、ビーム形成は適切ではないと結論付けてもよい。

次のステップとして、他の利用可能な情報が、生成されたサブセットのレンダリングモードの間で決定するためにシステムにより用いられる。詳細には、オーディオオブジェクトのオーディオタイプが考慮され得る。例えば、オーディオチャネルに関して、ベクトルベースの振幅パニングは、アンビソニックレンダリングを介して選択されてもよい一方で、非常に拡散するようにレンダリングされるべきである（例えばメタデータにより示されるような）オーディオオブジェクトに関して、アンビソニックレンダリングが選択されてもよい。

以下において、幾つかの考えられる例が与えられる。
− 標準ステレオレンダリングは、ラウドスピーカ設定が基本的には標準のステレオ（マルチチャネル）ラウドスピーカ設定に適合する場合に選択され得る。オーディオタイプは、"チャネルベース"又は"オブジェクトベース"である。
− ベクトルベースの振幅パニングは、ラウドスピーカが間に如何なる極めて大きな又は極めて小さなギャップを伴うことなく聴取者の回りにおおよそランダムに分配されるときに選択され得る。オーディオタイプは、"チャネルベース"又は"オブジェクトベース"である。
− ビーム形成レンダリングは、ラウドスピーカが（例えば、間に数デシメートルもない）密集したアレイにクラスタ化される場合に選択され得る。
− クロストークキャンセレーションレンダリングは、聴取者に対して対称のアジマスに配置される２つのラウドスピーカがあるとともに、単一のユーザしかいないときに選択され得る。
− ステレオダイポールレンダリングは、（タブレットが映画を見るために用いられるときのような）前方のラウドスピーカセットアップが２つの密集したラウドスピーカから成る状況において選択され得る。
− アンビソニックレンダリングは、ラウドスピーカ設定が聴取者の回りに基本的には等距離に分配されるときに選択され得る。オーディオタイプは、"オーディオシーン成分"又は"拡散"（アンビエンス）"オーディオオブジェクト"タイプである。
− 波動場合成レンダリングは、たった約２５ｃｍしか離れていない多数のラウドスピーカを伴うラウドスピーカ設定のための任意のオーディオタイプに対して、及び、大きな聴取エリアが要求されるときに、選択され得る。
− 最小二乗法で最適化されたレンダリングは、他の利用可能なレンダリング方法が満足に実行しないという状況において任意のオーディオタイプのために選択され得る。

これらのラウドスピーカの位置に依存した個々のオーディオタイプ及び個々のラウドスピーカサブセットに対する適切なレンダリングモードの個々の及び独立した選択の組み合わせは、特に有利な動作及び高品質の空間体験を提供する。

しかしながら、オーディオタイプに基づくレンダリングアルゴリズムの選択が、原理上、異なるレンダリングアルゴリズムが異なるラウドスピーカのサブセットに対して選択されるというシナリオに限定されないことはいうまでもない。

例えば、オーディオ処理装置は、オーディオデータ、オーディオ記述データ及びレンダリング設定データを受信するためのレシーバであって、オーディオデータは、異なるオーディオタイプの複数のオーディオ成分のためのオーディオデータを有し、オーディオ記述データは、少なくとも幾つかのオーディオ成分の少なくともオーディオタイプを示し、レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、レシーバと、オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するためのレンダリング装置であって、レンダリング装置は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能である、レンダリング装置と、オーディオ記述データ及びレンダリング設定データ／オーディオトランスデューサ位置データに基づいて複数のオーディオ成分の各オーディオ成分のための複数のレンダリングモードの中からレンダリング装置のためのレンダリングモードを選択するように構成されたレンダリングコントローラとを有し得る。

故に、斯様なシステムにおいて、レンダリングモードは、異なるオーディオトランスデューサのサブセットに対して個別に選択されなくてもよく、全てのオーディオトランスデューサに対して選択され得る。斯様なシステムにおいて、述べられた動作は、図７のオーディオ処理装置７０１のために述べられる原理に従うが、オーディオトランスデューサセットを全体として単純に考慮し、全てのラウドスピーカ７０３に対して同一のレンダリングアルゴリズムを潜在的に選択する。故に、前記の説明は、斯様なシステムに対して必要な変更を加えて適用可能である。

しかしながら、図７のシステムにおいて、オーディオ記述データに基づく、詳細にはオーディオタイプデータに基づく、レンダリングモードの選択は、異なるサブセットに対してレンダリングモードが異なり得るように、ラウドスピーカ７０３の異なるサブセットに対して独立して実行される。従って、レンダリングされたオーディオに対するのと同様に、特定のレンダリング設定及びラウドスピーカセットアップに対する改良された適応が実現される。

個々のラウドスピーカに対してレンダリングモードを選択するための異なるアルゴリズム及び選択基準が異なる実施形態において用いられてもよいことはいうまでもない。

多くの実施形態において、レンダリングコントローラ７０９は、予め決められた位置に対するそのラウドスピーカの位置に基づいて所与のラウドスピーカに対してレンダリングモードを選択するように構成される。詳細には、レンダリングモードは、多くの実施形態において、実際の位置が公称又はデフォルト位置から実際にどれくらいずれているかに依存して選択されてもよい。

例えば、ほとんどのオーディオチャネルのレンダリングに関して、デフォルトのラウドスピーカセットアップが想定される。例えば、多くのシステムにおいて、同等の距離で聴取位置を囲む実質的に等距離のラウドスピーカのセットが想定される。斯様なオーディオオブジェクトに関して、レンダリングコントローラ７０９は、デフォルト位置にどれくらい近いかに依存してラウドスピーカに対してレンダリングモードを選択するように構成され得る。

多くの実施形態において、デフォルトのレンダリングモードは、各オーディオタイプのために指定されてもよい。デフォルトのレンダリングモードは、ラウドスピーカが正しいデフォルト位置に配置されているか又はこれらから少しだけしかずれていない状況に関してユーザに対して有利な空間体験を与え得る。しかしながら、ラウドスピーカの１又はそれ以上が適切な位置から遠くに配置される場合、レンダリングされたサウンドは、所望の空間オーディオ体験を提供しないかもしれない。例えば、後部右側のラウドスピーカがユーザの左側に配置される場合、後方のサウンドステージは歪められるだろう。この特別なシナリオは、考えられるレンダリングモード選択アプローチがどのように知覚された体験を向上させ得るかの一例を与える。例えば、後方のラウドスピーカが基本的には正しい角度にあるが、左側及び右側のサラウンドチャネルが周辺で交換される場合、例えばチャネル間のサウンドの漏出を追加的にもたらし得る振幅パニングに基づく方法を用いるよりはむしろ、多くの場合、２つのチャネルを単純に正しい場所に戻すように交換するレンダリング方法を選択することが好ましい。

故に、幾つかの実施形態において、レンダリングコントローラ７０９は、デフォルト位置に対する各ラウドスピーカの位置を決定してもよい。差分が（予め決められてもよく、又は、動的に適合されてもよい）所与の閾値より低い場合、デフォルトのレンダリングモードが選択される。例えば、オーディオチャネル成分に関して、レンダリングモードは、単純に、デフォルトの想定された位置に配置される適切なラウドスピーカにオーディオチャネルを供給するものであってもよい。しかしながら、ラウドスピーカ位置が閾値を超えてずれる場合、異なるレンダリングモードが選択される。例えば、この場合、振幅パニングレンダリングモードは、前記ラウドスピーカ及びデフォルト位置の反対側にある第２のラウドスピーカに基づいて選択される。この場合、振幅パニングレンダリングは、ラウドスピーカがこの位置に配置されない場合であっても、デフォルト位置に対応するサウンドをレンダリングするために用いられ得る。

特定の例として、後方右側のラウドスピーカが聴取者の左側に配置される場合、後方右側のサラウンドが、後方右側のラウドスピーカと前方右側のラウドスピーカとの間の振幅パニングを用いてレンダリングされてもよい。故に、レンダリングモードは、正しい位置にないラウドスピーカ（後方右側のラウドスピーカ）とデフォルト位置にあり得る他のラウドスピーカ（右側前方のラウドスピーカ）との間で交換されてもよい。しかしながら、他のラウドスピーカのためのレンダリングモードは、デフォルトのレンダリングアプローチ（中央、前方左側、及び、後方左側のラウドスピーカ）を依然として用いてもよい。また、デフォルト位置にあるラウドスピーカのためのレンダリングモードがそのデフォルト位置から離れて配置される他のラウドスピーカの位置に起因して変えられ得るのに対し、この変更されたレンダリングは、幾つかのオーディオ成分にのみ適用してもよい。例えば、前方のオーディオオブジェクトのレンダリングは、右側前方のラウドスピーカのためのデフォルトのレンダリングを用いてもよい。

幾つかの実施形態において、レンダリングコントローラ７０９は、所与のオーディオオブジェクトに関して、ラウドスピーカ７０３を少なくとも２つのサブセットに分割してもよい。第１のサブセットは、オーディオトランスデューサの位置と予め決められた位置との間の差分が所与の閾値を超える少なくとも１つのラウドスピーカ７０３を含んでもよい。第２のサブセットは、オーディオトランスデューサの位置と予め決められた位置との間の差分が閾値を超えない少なくとも１つのラウドスピーカ７０３を含んでもよい。レンダリングコントローラ７０９により選択され得るレンダリングモードのセットはこの実施形態において異なってもよい。詳細には、第２のサブセットに関して、レンダリングモードは、デフォルトのレンダリングモードのセットから選択されてもよい。実際には、幾つかのシナリオにおいて、デフォルトのレンダリングモードのセットは、単一のデフォルトレンダリングモードのみを有してもよい。しかしながら、第１のサブセットに関して、レンダリングモードは、詳細にはデフォルトではないレンダリングモードのみを有し得る異なるレンダリングモードのセットから選択されてもよい。ラウドスピーカの第１のサブセットがデフォルト位置にある１又はそれ以上のラウドスピーカを潜在的に含んでもよいことはいうまでもないだろう。例えば、ユーザの左側に配置された右側後方のラウドスピーカに関して、第１のサブセットは、右側後方のラウドスピーカだけではなく右側前方ラウドスピーカも含んでもよい。

他の例として、システムは、聴取者の前の少数の密集したラウドスピーカ、並びに、"標準の"左及び右のサラウンド位置にある２つの後部ラウドスピーカからなってもよい。この場合において、第２のサブセットは、密集した前方ラウドスピーカの２つの後部のもの及び中央のものからなってもよく、チャネルに基づく信号の左側及び右側サラウンド及び中央チャネルが、対応するスピーカに直接送られてもよい。第２のサブセットの"中央の"ものを含む、密集した前方ラウドスピーカは、この場合、第１のサブセットを形成し、ビーム形成レンダリングが、チャネルに基づく信号の左側及び右側チャネルを再生するために適用され得る。

幾つかの実施形態において、レンダリングコントローラ７０９は、適切なレンダリングモードを選択するときに、他のレンダリング設定データを考慮してもよい。

例えば、レンダリングコントローラ７０９には、聴取位置に関する情報が備えられてもよく、レンダリングコントローラ７０９は、これを、適切なアルゴリズムを選択するために用いてもよい。例えば、聴取位置がラウドスピーカセットアップに対して非対称になるように変化する場合、レンダリングコントローラ７０９は、斯様な非対称を補正するためにベクトルに基づく振幅パニングの使用に向かって前記選択を偏らせてもよい。

別の例として、聴取位置が動的であり、ラウドスピーカ設定が聴取者を囲むラウドスピーカのアレイからなる場合において、波動場合成（Wave Field Synthesis）レンダリングが、大きな聴取エリアの範囲内の全ての位置で最適な聴取体験を提供するために用いられてもよい。

更に他の例として、ユーザの位置が追跡され、聴取者の前のほんの数個のラウドスピーカが利用可能である場合、クロストークキャンセレーションレンダリングが用いられてもよく、聴取者位置データに従って適応的に制御されてもよい。

異なるレンダリングモード又はレンダリングモードの組み合わせを選択及び評価するための異なるアプローチが異なる実施形態において用いられてもよいことはいうまでもないだろう。

例えば、多くの実施形態において、レンダリングコントローラ７０９は、知覚モデルにより生成される品質測定基準に基づいてレンダリングモードを選択するように構成されてもよい。詳細には、レンダリングコントローラ７０９は、計算知覚モデルから生じる品質測定基準に基づいてレンダリングモードを選択するように構成されてもよい。例えば、レンダリングコントローラ７０９は、どのレンダリング方法がオーディオデータの理想的なレンダリングに最も近いサウンドイメージを供給するかをユーザが評価するために期待された聴取体験の計算シミュレーションを用いるように構成されてもよい。本アプローチは、例えば、M. Park, P. A. Nelson, and K. Kang, "A Model of Sound Localisation Applied to the Evaluation of Systems for Stereophony," Acta Acustica united with Acustica, 94(6), 825-839, (2008)において述べられたような方法に基づいてもよい。

斯様な知覚モデルは、詳細には、聴取者の耳への入力に基づいて、質の程度又は測定基準を計算可能であり得る。故に、このモデルは、聴取者の各耳に対する所与の入力に関して、知覚された空間体験の質を推定してもよい。

一例として、レンダリングコントローラ７０９は、レンダリングモードの異なる組み合わせを適宜評価してもよく、各組み合わせは、異なるスピーカのサブセットのためのレンダリングモードの選択に対応する。これらの組み合わせの各々に関して、デフォルトの聴取位置における聴取者の耳における生ずる信号が計算されてもよい。この計算は、部屋特性等を潜在的に含むラウドスピーカ７０３の位置を考慮する。

例えば、（評価されている組み合わせの特定のレンダリングモードを想定する）各スピーカからレンダリングされるオーディオが最初に計算されてもよい。各スピーカから聴取者の各耳までの伝達関数がスピーカの特定の位置に基づいて推定されてもよく、従って、ユーザの耳における生ずるオーディオ信号は、各スピーカからの寄与を組み合わせ、推定された伝達関数を考慮することにより推定されてもよい。そして、生ずるバイノーラルの信号は、（上述の記事において提案されたもののような）計算知覚モデルに入力され、生ずる品質測定基準が計算される。本アプローチは、品質測定基準のセットをもたらす全ての組み合わせに対して繰り返される。そして、レンダリングコントローラ７０９は、最良の品質測定基準を与えるレンダリングモードの組み合わせを選択してもよい。

レンダリングモードの各組み合わせは、ラウドスピーカ７０３の複数のサブセットのためのレンダリングモードの考えられる選択に対応してもよく、各サブセットに対してレンダリングモードが個別に選択されてもよい。更に、異なる組み合わせは、異なるサブセットへの分割に対応してもよい。例えば、１つの組み合わせは、前方のスピーカのためのステレオレンダリング及び後方のスピーカのための最小二乗法レンダリングを考慮する、他のものは、前方のスピーカのためのビーム形成レンダリング及び後方のスピーカのための最小二乗法レンダリングを考慮する、他のものは、左側のスピーカのための振幅パニング並びに後方及び中央スピーカのためのステレオレンダリングを考慮する等を行ってもよい。

実際には原理上、及び実際は幾つかの実施形態において、前記組み合わせは、サブセットへの全ての考えられる分割及びこれらのサブセットのための全ての考えられるレンダリングモード選択を含んでもよい。しかしながら、多くの実施形態において、斯様な評価は、非常に複雑であり、コンピュータ処理的に集中し得ることはいうまでもないだろう。多くの実施形態において、組み合わせの数は、例えばスピーカをこれらの位置に基づいてサブセットに分割することにより、大幅に低減されてもよく（例えば、１つのサブセットがこれらのデフォルト位置に近い全てのスピーカであり、他のものがこれらのデフォルト位置に近くない全てのスピーカである）、これらのサブセットだけが考慮される。代わりに又は追加的に、他の要求又は基準が、各サブセットのために考慮されるレンダリングモードの数を低減するために用いられてもよい。例えば、ビーム形成は、ラウドスピーカ位置が十分に近くない全てのサブセットに対して無視されてもよい。

幾つかの実施形態において、レンダリングコントローラ７０９は、異なるスピーカのサブセットのためのレンダリングモードの複数の組み合わせのためのバイノーラルの信号推定を生成し、バイノーラルの信号推定に基づいて各組み合わせのための品質測定基準を決定し、品質測定基準が最も高い質を示すレンダリングモードの組み合わせとしてレンダリングモードを選択するように構成されてもよい。

多くの実施形態において、所与のラウドスピーカサブセットのためのレンダリングモードは、サブセットにおけるラウドスピーカの位置に基づいて選択される。しかしながら、幾つかの実施形態において、レンダリングコントローラ７０９は、サブセットの部分ではないラウドスピーカの位置を更に考慮してもよい。例えば、オーディオオブジェクトのレンダリングが、近い周辺に単一のラウドスピーカがない（例えば、聴取者の後ろのソースの一方で、ラウドスピーカが聴取者の前に存在するだけ）位置にあることが望ましいシナリオにおいて、クロストークキャンセレーションのような"仮想レンダリング"アルゴリズム又はビーム形成レンダリングが使用されてもよく、これらのオプションの間の最終的な選択は、実際のラウドスピーカ設定（例えば、間隔）の特性に依存する。

幾つかの実施形態において、レンダリングコントローラ７０９は、レンダリングモードの選択においてラウドスピーカ７０３のオーディオレンダリング特性データを更に考慮するように構成されてもよい。例えば、３Ｄラウドスピーカセットアップの頭上のラウドスピーカが低周波数を再生することができない小さなツイータ（tweeter）である場合（もっともらしくは、天井へのフルレンジスピーカの取り付けは直接的ではないので）、頭上のスピーカのために意図される信号の低周波数部分は、水平面において聴取者を囲んでいる全てのフルレンジスピーカと同程度に分配されてもよい。

幾つかの実施形態において、レンダリングコントローラ７０９は、ユーザレンダリング優先度に基づいてレンダリングモードを選択するように構成されてもよい。ユーザ優先度は、例えば、手動のユーザ入力として供給されてもよい。幾つかの実施形態において、ユーザ優先度は、動作の間に供給されるユーザ入力に基づいて決定されてもよい。例えば、オーディオ処理装置７０１は、オーディオをレンダリングする一方で、可能なレンダリングモードの間でスイッチングしてもよい。ユーザは、好ましいレンダリングを示してもよく、オーディオ処理装置７０１は、この優先度を格納し、これを、選択アルゴリズムを適応させるために用いてもよい。例えば、２つの考えられるレンダリングモード間の選択のための閾値は、ユーザの優先度の方向に偏ってもよい。

幾つかの実施形態において、レシーバ７０５は、オーディオ成分の１又はそれ以上のためのレンダリング位置データを更に受信してもよく、１又はそれ以上のオーディオ成分のためのレンダリングモードの選択がその位置に依存してもよい。

例えば、ローカライズされたサウンドソースのためのオーディオオブジェクトは、オーディオオブジェクトがレンダリングされるべきである位置を示す位置データと一緒に受信されてもよい。そして、レンダリングコントローラ７０９は、位置が、特定の現在のラウドスピーカセットアップに関してベクトルに基づく振幅パニングを用いて所望の位置で正確にレンダリングされ得るものに対応するかどうかを評価してもよい。もしそうならば、オーディオオブジェクトのためのベクトルに基づく振幅パニングレンダリングアルゴリズムを選択するよう進行する。しかしながら、現在のレンダリング設定が、振幅パニングが（例えば、ユーザの反対側にのみ設けられている関連ラウドスピーカに起因して）適切なサウンドソースポジショニングを与えることを可能にしない場合、レンダリングコントローラ７０９は、代わりに、サウンドソース位置の拡散空間認識を生成するために、２又はそれ以上のラウドスピーカ間の駆動信号を相関させないレンダリングアプローチを選択してもよい。

幾つかの実施形態において、本アプローチは、個々の周波数帯において適用されてもよい。詳細には、幾つかの実施形態において、オーディオ処理装置７０１は、オーディオ成分の異なる周波数帯に対して異なるレンダリングアルゴリズムを潜在的に用いるように構成されてもよい。斯様な実施形態において、レンダリングコントローラ７０９は、異なる周波数帯に対してレンダリングモードの独立した選択を実行するように構成されてもよい。

例えば、レンダリング装置７０７は、所与のオーディオ成分を（例えば約５００Ｈｚのクロスオーバー周波数によって）高周波数成分及び低周波数成分に分割するように構成されてもよい。これらの成分の各々のレンダリングは個別に実行されてもよく、それ故、異なるレンダリングアルゴリズムは、異なる帯域に対して潜在的に用いられてもよい。追加の自由度は、レンダリングコントローラ７０９が、異なる帯域におけるオーディオ成分の特定の空間的な重要性に対してレンダリングモードの選択を最適化するのを可能にする。詳細には、人間の空間認識は、概ね、より低い周波数よりもより高い周波数において空間キューに依存する。従って、レンダリングコントローラ７０９は、所望の空間体験を提供する高周波数帯に対してレンダリングモードを選択してもよいのに対し、低周波数帯に関して、低減されたリソース要求を伴う異なる及びより単純なレンダリングアルゴリズムが選択されてもよい。

別の例として、レンダリングコントローラ７０９は、ラウドスピーカのサブセットが、サブセットの任意の２つの隣り合うラウドスピーカ間の最大の距離として規定される或る間隔を有するアレイとして構成されるとみなされ得ることを検出してもよい。斯様な場合において、アレイの間隔は、サブセットが例えばビーム形成若しくは波動場合成又は最小二乗法のためのアレイとして効果的に及び有利に用いられ得る上側周波数を決定する。そして、レンダリングコントローラ７０９は、アレイタイプのレンダリング方法のうちいずれかを用いてレンダリングされる低周波成分を生成するためにオーディオ成分を分割してもよい。

多くの実施形態において、オーディオ処理装置７０１は、レンダリングモードの選択を動的に変えるように構成されてもよい。例えば、オーディオ成分の特性が（例えばラウドスピーカが音を出すのを停止したときに、特定のサウンドソースを表すことから一般的なバックグラウンドノイズに）変化する場合に、レンダリングコントローラ７０９は、使用されるレンダリングモードを変えてもよい。

幾つかの実施形態において、レンダリングモードの変化は、段階的な遷移であってもよい。例えば、図８の例におけるような異なるレンダリングエンジンの出力間の単純な切り替えよりはむしろ、１つの信号の遅いフェードイン及び他の信号のフェードアウトが実行されてもよい。

幾つかの実施形態において、レンダリングコントローラ７０９は、オーディオ成分のためのレンダリングモードの変化を、オーディオ成分のオーディオコンテンツの変化に同期させるように構成されてもよい。

故に、幾つかの実施形態において、レンダリングモード選択は、動的であってもよく、コンテンツの変化に伴って変化してもよい。選択の変化は、（例えばシーン変化を伴うような）オーディオの遷移と同期されてもよい。例えば、オーディオ処理装置７０１は、例えば（ローパスフィルタリングされた）振幅レベルの変化又は（時間平均された）周波数スペクトルのかなりの変化のような、オーディオコンテンツについてのかなりの及び瞬間的な遷移を検出するように構成されてもよい。斯様な変化が検出されるときはいつでも、レンダリングコントローラ７０９は、その時からの適切なレンダリングモードを決定するために再評価を実行してもよい。

上記の説明は、明瞭さのために、異なる機能的な回路、ユニット及びプロセッサを参照して本発明の実施形態について述べていることが理解されるだろう。しかしながら、異なる機能的な回路、ユニット又はプロセッサの間の機能の任意の適切な分配が本発明から逸脱することなく用いられてもよいことが明らかであるだろう。例えば、別々のプロセッサ又はコントローラにより実行されるように示された機能は、同じプロセッサ又はコントローラにより実行されてもよい。それ故、特定の機能ユニット又は回路への参照は、厳しい論理的又は物理的な構造又は組織を示すよりはむしろ、述べられた機能を与えるための適切な手段への参照としてのみ理解されるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式において実装され得る。本発明は、オプションとして、１又はそれ以上のデータ処理装置及び／又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の一実施形態の要素及び成分は、任意の適切な手段において、物理的に、機能的に、及び、論理的に実装されてもよい。実際に、機能は、単一のユニットにおいて、複数のユニットにおいて、又は、他の機能ユニットの部分として、実装されてもよい。それ自体、本発明は、単一のユニットにおいて実装されてもよく、又は、異なるユニット、回路及びプロセッサの間で物理的及び機能的に分配されてもよい。

本発明が幾つかの実施形態に関して述べられたが、ここで記載される特定の形式に限定されることを意図するものではない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。加えて、特徴が特定の実施形態に関して述べられるように見え得るが、当業者は、述べられた実施形態の種々の特徴が本発明に従って組み合わせられ得ることを認めるだろう。請求項において、有するという用語は、他の要素又はステップの存在を除外するものではない。

更に、個別に記載されているが、複数の手段、要素、回路又は方法ステップは、例えば単一の回路、ユニット又はプロセッサにより実装されてもよい。加えて、個々の特徴が異なる請求項に含まれ得るが、これらは、場合により、有利に組み合わせられてもよく、異なる請求項における包含は、特徴の組み合わせが有利及び／又は実行可能なものではないことを意味するものではない。また、請求項の１つのカテゴリにおける特徴の包含は、このカテゴリに対する限定を意味するものではなく、むしろ、特徴が適切に他の請求項カテゴリに同程度に適用可能であることを示す。更に、請求項中のフィーチャの順序は、フィーチャが動作されなければならない任意の特定の順序を意味するものではなく、とりわけ、方法クレームにおける個々のステップの順序は、ステップがこの順序で実行されなければならないことを意味するものではない。むしろ、ステップは、任意の適切な順序で実行されてもよい。加えて、単数表記の参照は、複数を除外するものではない。それ故、"第１の"、"第２"等への参照は、複数を排除するものではない。請求項中の参照符号は、単に明らかにする一例だけのものとして供給されるものであり、任意の手段において請求項の範囲を限定するものとして解釈されるべきではない。

Claims (17)

1. オーディオデータ及びレンダリング設定データを受信するためのレシーバであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、レシーバと、
   前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するためのレンダリング部であって、前記レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能である、レンダリング部と、
   前記オーディオトランスデューサ位置データに基づいて前記複数のレンダリングモードの中から前記レンダリング部のためのレンダリングモードを選択するように構成されたレンダリングコントローラとを有し、
   前記レンダリング部は、前記オーディオトランスデューサのセットのうちの異なるサブセットに対して異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択するように構成され、
   前記レンダリングコントローラは、前記オーディオトランスデューサのセットのうちの第１のオーディオトランスデューサの、前記オーディオトランスデューサのための予め決められた位置に対する位置に基づいて前記第１のオーディオトランスデューサに対して前記レンダリングモードを選択するように構成され、
   前記レンダリングコントローラは、前記第１のオーディオトランスデューサの位置と前記予め決められた位置との間の差分が閾値を超えない限り、前記第１のオーディオトランスデューサに対してデフォルトのレンダリングモードを選択するように構成される、オーディオ処理装置。
2. オーディオデータ及びレンダリング設定データを受信するためのレシーバであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、レシーバと、
   前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するためのレンダリング部であって、前記レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能である、レンダリング部と、
   前記オーディオトランスデューサ位置データに基づいて前記複数のレンダリングモードの中から前記レンダリング部のためのレンダリングモードを選択するように構成されたレンダリングコントローラとを有し、
   前記レンダリング部は、前記オーディオトランスデューサのセットのうちの異なるサブセットに対して異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択するように構成され、
   前記レンダリングコントローラは、前記オーディオトランスデューサのセットのうちの第１のオーディオトランスデューサの、前記オーディオトランスデューサのための予め決められた位置に対する位置に基づいて前記第１のオーディオトランスデューサに対して前記レンダリングモードを選択するように構成され、
   前記レンダリングコントローラは、前記オーディオトランスデューサのセットを、前記オーディオトランスデューサの位置と前記予め決められた位置との間の差分が閾値を超えるオーディオトランスデューサを有するオーディオトランスデューサの第１のサブセットと、前記オーディオトランスデューサの位置と前記予め決められた位置との間の差分が閾値を超えない少なくとも１つのオーディオトランスデューサを有するオーディオトランスデューサの第２のサブセットとに分割し、第１のレンダリングモードサブセットから前記第１のサブセットの各オーディオトランスデューサに対してレンダリングモードを選択し、第２のレンダリングモードサブセットから前記第２のサブセットの各オーディオトランスデューサに対してレンダリングモードを選択するように構成される、オーディオ処理装置。
3. オーディオデータ及びレンダリング設定データを受信するためのレシーバであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、レシーバと、
   前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するためのレンダリング部であって、前記レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能である、レンダリング部と、
   前記オーディオトランスデューサ位置データに基づいて前記複数のレンダリングモードの中から前記レンダリング部のためのレンダリングモードを選択するように構成されたレンダリングコントローラとを有し、
   前記レンダリング部は、前記オーディオトランスデューサのセットのうちの異なるサブセットに対して異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択するように構成され、
   前記レンダリングコントローラは、前記オーディオトランスデューサのセットのうちの第１のオーディオトランスデューサの、前記オーディオトランスデューサのための予め決められた位置に対する位置に基づいて前記第１のオーディオトランスデューサに対して前記レンダリングモードを選択するように構成され、
   前記レンダリングコントローラは、前記オーディオトランスデューサのセットにはないオーディオトランスデューサのためのオーディオトランスデューサ位置データ、聴取位置データ、前記オーディオトランスデューサのセットのうちのオーディオトランスデューサのためのオーディオトランスデューサオーディオレンダリング特性データ、及び、ユーザレンダリング優先度からなるグループからのレンダリング設定データに基づいて前記レンダリングモードを選択するように更に構成される、オーディオ処理装置。
4. オーディオデータ及びレンダリング設定データを受信するためのレシーバであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、レシーバと、
   前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するためのレンダリング部であって、前記レンダリング部は、複数のレンダリングモードに従ってオーディオ成分をレンダリング可能である、レンダリング部と、
   前記オーディオトランスデューサ位置データに基づいて前記複数のレンダリングモードの中から前記レンダリング部のためのレンダリングモードを選択するように構成されたレンダリングコントローラとを有し、
   前記レンダリング部は、前記オーディオトランスデューサのセットのうちの異なるサブセットに対して異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択するように構成され、
   前記レンダリングコントローラは、前記オーディオトランスデューサのセットのうちの第１のオーディオトランスデューサの、前記オーディオトランスデューサのための予め決められた位置に対する位置に基づいて前記第１のオーディオトランスデューサに対して前記レンダリングモードを選択するように構成され、
   前記レンダリングコントローラは、知覚モデルにより生成された質測定基準に基づいて前記レンダリングモードを選択するように構成される、オーディオ処理装置。
5. 前記レンダリング部は、前記トランスデューサのセットのうちの第１のオーディオトランスデューサのためのオーディオオブジェクトに対して異なるレンダリングモードを使用するように動作可能であり、
   前記レンダリングコントローラは、前記第１のオーディオトランスデューサのためのオーディオオブジェクトのそれぞれに対してレンダリングモードを独立して選択するように構成される、請求項１乃至請求項４のいずれか一項に記載のオーディオ処理装置。
6. 前記複数のオーディオ成分のうちの少なくとも２つは、異なるオーディオタイプである、請求項１乃至請求項５のいずれか一項に記載のオーディオ処理装置。
7. 前記複数のオーディオ成分は、オーディオチャネル成分、オーディオオブジェクト成分及びオーディオシーン成分からなるグループからの異なるオーディオタイプの少なくとも２つのオーディオ成分を有し、
   前記レンダリング部は、前記少なくとも２つのオーディオ成分に対して異なるレンダリングモードを用いるように構成される、請求項６に記載のオーディオ処理装置。
8. 前記レシーバは、少なくとも第１のオーディオ成分のオーディオタイプを示すオーディオタイプ指標データを受信するように構成され、
   前記レンダリングコントローラは、前記オーディオタイプ指標データに基づいて前記第１のオーディオ成分に対してレンダリングモードを選択するように構成される、請求項６に記載のオーディオ処理装置。
9. 前記複数のレンダリングモードは、ステレオレンダリング、ベクトルに基づく振幅パニングレンダリング、ビームフォームレンダリング、クロストークキャンセレーションレンダリング、アンビソニックレンダリング、波動場合成レンダリング、及び、最小二乗法で最適化されたレンダリングからなるグループから選択される少なくとも１つのレンダリングモードを含む、請求項１乃至請求項８のいずれか一項に記載のオーディオ処理装置。
10. 前記レシーバは、前記オーディオ成分のためのレンダリング位置データを受信するように更に構成され、
    前記レンダリングコントローラは、前記レンダリング位置データに基づいて前記レンダリングモードを選択するように構成される、請求項１乃至請求項９のいずれか一項に記載のオーディオ処理装置。
11. 前記レンダリング部は、前記複数のオーディオ成分のうちの一のオーディオ成分の異なる周波数帯に対して異なるレンダリングモードを使用するように構成され、
    前記レンダリングコントローラは、前記オーディオ成分の異なる周波数帯に対してレンダリングモードを独立して選択するように構成される、請求項１乃至請求項１０のいずれか一項に記載のオーディオ処理装置。
12. 前記レンダリングコントローラは、少なくとも１つのオーディオ成分のためのレンダリングの変化を、前記少なくとも１つのオーディオ成分におけるオーディオコンテンツ変化に同期させるように構成される、請求項１乃至請求項１１のいずれか一項に記載のオーディオ処理装置。
13. オーディオデータ及びレンダリング設定データを受信するステップであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、ステップと、
    前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するステップであって、前記の生成は、複数の可能なレンダリングモードのレンダリングモードに従ってオーディオ成分をレンダリングすることを有する、ステップと、
    前記オーディオトランスデューサ位置データに基づいて前記複数の可能なレンダリングモードの中から前記のレンダリングのためのレンダリングモードを選択するステップとを有し、
    オーディオトランスデューサ信号の生成は、前記オーディオトランスデューサのセットのうちの異なるサブセットのための異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択することを有し、
    前記のレンダリングのためのレンダリングモードの選択は、前記オーディオトランスデューサのセットのうちの第１のオーディオトランスデューサの、前記オーディオトランスデューサのための予め決められた位置に対する位置に基づいて前記第１のオーディオトランスデューサに対して前記レンダリングモードを選択するように構成され、
    前記のレンダリングのためのレンダリングモードの選択は、前記第１のオーディオトランスデューサの位置と前記予め決められた位置との間の差分が閾値を超えない限り、前記第１のオーディオトランスデューサに対してデフォルトのレンダリングモードを選択するように構成される、
    る、オーディオ処理の方法。
14. オーディオデータ及びレンダリング設定データを受信するステップであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、ステップと、
    前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するステップであって、前記の生成は、複数の可能なレンダリングモードのレンダリングモードに従ってオーディオ成分をレンダリングすることを有する、ステップと、
    前記オーディオトランスデューサ位置データに基づいて前記複数の可能なレンダリングモードの中から前記のレンダリングのためのレンダリングモードを選択するステップとを有し、
    オーディオトランスデューサ信号の生成は、前記オーディオトランスデューサのセットのうちの異なるサブセットのための異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択することを有し、
    前記のレンダリングのためのレンダリングモードの選択は、前記オーディオトランスデューサのセットのうちの第１のオーディオトランスデューサの、前記オーディオトランスデューサのための予め決められた位置に対する位置に基づいて前記第１のオーディオトランスデューサに対して前記レンダリングモードを選択するように構成され、
    前記のレンダリングのためのレンダリングモードの選択は、前記オーディオトランスデューサのセットを、前記オーディオトランスデューサの位置と前記予め決められた位置との間の差分が閾値を超えるオーディオトランスデューサを有するオーディオトランスデューサの第１のサブセットと、前記オーディオトランスデューサの位置と前記予め決められた位置との間の差分が閾値を超えない少なくとも１つのオーディオトランスデューサを有するオーディオトランスデューサの第２のサブセットとに分割し、第１のレンダリングモードサブセットから前記第１のサブセットの各オーディオトランスデューサに対してレンダリングモードを選択し、第２のレンダリングモードサブセットから前記第２のサブセットの各オーディオトランスデューサに対してレンダリングモードを選択するように構成される、オーディオ処理の方法。
15. オーディオデータ及びレンダリング設定データを受信するステップであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、ステップと、
    前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するステップであって、前記の生成は、複数の可能なレンダリングモードのレンダリングモードに従ってオーディオ成分をレンダリングすることを有する、ステップと、
    前記オーディオトランスデューサ位置データに基づいて前記複数の可能なレンダリングモードの中から前記のレンダリングのためのレンダリングモードを選択するステップとを有し、
    オーディオトランスデューサ信号の生成は、前記オーディオトランスデューサのセットのうちの異なるサブセットのための異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択することを有し、
    前記のレンダリングのためのレンダリングモードの選択は、前記オーディオトランスデューサのセットのうちの第１のオーディオトランスデューサの、前記オーディオトランスデューサのための予め決められた位置に対する位置に基づいて前記第１のオーディオトランスデューサに対して前記レンダリングモードを選択するように構成され、
    前記のレンダリングのためのレンダリングモードの選択は、前記オーディオトランスデューサのセットにはないオーディオトランスデューサのためのオーディオトランスデューサ位置データ、聴取位置データ、前記オーディオトランスデューサのセットのうちのオーディオトランスデューサのためのオーディオトランスデューサオーディオレンダリング特性データ、及び、ユーザレンダリング優先度からなるグループからのレンダリング設定データに基づいて前記レンダリングモードを選択するように更に構成される、オーディオ処理の方法。
16. オーディオデータ及びレンダリング設定データを受信するステップであって、前記オーディオデータは、複数のオーディオ成分のためのオーディオデータを有し、前記レンダリング設定データは、オーディオトランスデューサのセットのためのオーディオトランスデューサ位置データを有する、ステップと、
    前記オーディオデータから前記オーディオトランスデューサのセットのためのオーディオトランスデューサ信号を生成するステップであって、前記の生成は、複数の可能なレンダリングモードのレンダリングモードに従ってオーディオ成分をレンダリングすることを有する、ステップと、
    前記オーディオトランスデューサ位置データに基づいて前記複数の可能なレンダリングモードの中から前記のレンダリングのためのレンダリングモードを選択するステップとを有し、
    オーディオトランスデューサ信号の生成は、前記オーディオトランスデューサのセットのうちの異なるサブセットのための異なるレンダリングモードを使用し、前記オーディオトランスデューサのセットのうちの前記異なるサブセットの各々に対してレンダリングモードを独立して選択することを有し、
    前記のレンダリングのためのレンダリングモードの選択は、前記オーディオトランスデューサのセットのうちの第１のオーディオトランスデューサの、前記オーディオトランスデューサのための予め決められた位置に対する位置に基づいて前記第１のオーディオトランスデューサに対して前記レンダリングモードを選択するように構成され、
    前記のレンダリングのためのレンダリングモードの選択は、知覚モデルにより生成された質測定基準に基づいて前記レンダリングモードを選択するように構成される、オーディオ処理の方法。
17. プログラムがコンピュータ上で実行されたときに請求項１３乃至請求項１６のいずれか一項に記載の方法の全てのステップを前記コンピュータに実行させるコンピュータプログラム。

Images