JP6149152B2 - 条件付きレンダリング・メタデータをもつオブジェクト・ベース・オーディオを生成し、レンダリングする方法およびシステム - Google Patents

Description

関連出願への相互参照
本願は2013年4月3日に出願された米国仮特許出願第61/807,922号の出願日の利益および2013年6月7日に出願された米国仮特許出願第61/832,397号の出願日の利益を主張する。

技術分野
本発明はオーディオ信号処理に、より詳細には（少なくとも一つのスピーカー・チャネルおよび少なくとも一つのオーディオ・オブジェクト・チャネルを示す）オーディオ・コンテンツおよび該オーディオ・コンテンツの、再生スピーカー構成に依存した条件付きのレンダリングをサポートするメタデータを含むオーディオ・データ・ビットストリームのエンコード、デコードおよび対話的レンダリングに関する。本発明のいくつかの実施形態は、ドルビー・デジタル（AC-3）、ドルビー・デジタル・プラス（Enhanced AC-3［向上AC-3］またはE-AC-3）またはドルビーEとして知られるフォーマットの一つでオーディオ・データを生成、デコードおよび／またはレンダリングする。

ドルビー、ドルビー・デジタル、ドルビー・デジタル・プラスおよびドルビーEはドルビー・ラボラトリーズ・ライセンシング・コーポレイションの商標である。ドルビー・ラボラトリーズはそれぞれドルビー・デジタルおよびドルビー・デジタル・プラスとして知られるAC-3およびE-AC-3の独自の実装を提供している。

本発明はE-AC-3（またはAC-3またはドルビーE）フォーマットに基づくオーディオ・データのエンコードやE-ACE、AC-3またはドルビーEエンコードされたデータの送達、デコードまたはレンダリングでの使用に限定されるものではないが、便宜上、E-AC-3またはAC-3またはドルビーEフォーマットに従ってオーディオ・ビットストリームをエンコードし、そのようなビットストリームを送達、デコードおよびレンダリングする実施形態において記述される。

オーディオ・データの典型的なストリームは、オーディオ・コンテンツ（たとえば一つまたは複数のチャネルのオーディオ・コンテンツ）および該オーディオ・コンテンツの少なくとも一つの特性を示すメタデータの両方を含む。たとえば、AC-3ビットストリームでは、聴取環境に送達されるプログラムの音を変える際に使うよう特に意図されているいくつかのオーディオ・メタデータ・パラメータがある。

AC-3またはE-AC-3エンコードされたビットストリームはメタデータを含み、一ないし六個のチャネルのオーディオ・コンテンツを含むことができる。オーディオ・コンテンツは、知覚的オーディオ符号化を使って圧縮されたオーディオ・データである。AC-3符号化の詳細はよく知られており、非特許文献１、特許文献１、２、３、４、５を含む多くの刊行物で記述されている。

ドルビー・デジタル・プラス（E-AC-3）の詳細は、たとえば非特許文献２に記載されている。

ドルビーE符号化の詳細は、非特許文献３および非特許文献４に記載されている。

AC-3エンコードされたオーディオ・ビットストリームの各フレームは、デジタル・オーディオの1536サンプルについてのオーディオ・コンテンツおよびメタデータを含む。48kHzのサンプリング・レートについては、これは32ミリ秒のデジタル・オーディオまたはオーディオの31.25フレーム毎秒のレートを表わす。

E-AC-3エンコードされたオーディオ・ビットストリームの各フレームは、フレームに含まれるオーディオ・データが一、二、三または六ブロックのいずれであるかに依存して、それぞれデジタル・オーディオの256、512、768または1536サンプルについてのオーディオ・コンテンツおよびメタデータを含む。48kHzのサンプリング・レートについては、これはそれぞれ5.333、10.667、16または32ミリ秒のデジタル・オーディオまたはそれぞれオーディオの189.9、93.75、62.5または31.25フレーム毎秒のレートを表わす。

図１に示されるように、各AC-3フレームはセクション（セグメント）に分割される。セクションは、（図２に示されるように）同期語（SW）および二つの誤り訂正語のうち第一のもの（CRC1）を含む同期情報（SI）セクションと；メタデータの大半を含むビットストリーム情報（BSI）セクションと；データ圧縮されたオーディオ・コンテンツを含む（そしてメタデータも含むことができる）六つのオーディオ・ブロック（AB0からAB5）と；オーディオ・コンテンツが圧縮されたのちに残される未使用ビットがあればそれを含む余剰（waste）ビット（W）と；さらなるメタデータを含んでいてもよい補助（AUX）情報セクションと；二つの誤り訂正語のうちの第二のもの（CRC2）とを含む。

図４に示されるように、各E-AC-3フレームはセクション（セグメント）に分割される。セクションは、（図２に示されるように）同期語（SW）を含む同期情報（SI）セクションと；メタデータの大半を含むビットストリーム情報（BSI）セクションと；データ圧縮されたオーディオ・コンテンツを含む（そしてメタデータも含むことができる）一から六個までの間のオーディオ・ブロック（AB0からAB5）と；オーディオ・コンテンツが圧縮されたのちに残される未使用ビットがあればそれを含む余剰（waste）ビット（W）と；さらなるメタデータを含んでいてもよい補助（AUX）情報セクションと；誤り訂正語（CRC）とを含む。

AC-3（またはE-AC-3）ビットストリームでは、聴取環境に送達されるプログラムの音を変える際に使うよう特に意図されたいくつかのオーディオ・メタデータ・パラメータがある。そうしたメタデータ・パラメータの一つはDIALNORMパラメータであり、これはBSIセグメントに含まれる。

図３に示されるように、AC-3フレーム（またはE-AC-3フレーム）のBSIセグメントは、当該プログラムについてのDIALNORM値を示す五ビットのパラメータ（「DIALNORM」）を含む。当該AC-3フレームのオーディオ符号化モード（「acmod」）が「0」であってデュアル・モノあるいは「1＋1」チャネル構成が使われていることを示す場合には、同じAC-3フレームにおいて担持される第二のオーディオ・プログラムについてのDIALNORM値を示す五ビットのパラメータ（「DIALNORM2」）が含まれる。

BSIセグメントは、フラグ（「addbsie」）であって、該「addbsie」ビットに続く追加的なビットストリーム情報の存在（または不在）を示すフラグと、パラメータ（「addbsil」）であって、該「addbsil」値に続く追加的なビットストリーム情報があればその長さを示すパラメータと、「addbsil」値に続く64ビットまでの追加的なビットストリーム情報（「addbsi」）とを含む。

BSIセグメントは、図３に具体的に示されない他のメタデータ値を含む。

オーディオ・ビットストリームに他の型のメタデータを含めることが提案されている。たとえば、オーディオ・コンテンツの処理状態（たとえばラウドネス処理状態）および特性（たとえばラウドネス）を示すメタデータを含むオーディオ・ビットストリームを生成、デコードおよび処理するための方法およびシステムが、2011年12月1日の国際出願日をもち本願の被譲渡者に譲渡されている国際公開第2012/075246号に記載されている。この文献は、メタデータを使ったビットストリームのオーディオ・コンテンツの適応的な処理およびメタデータを使ったビットストリームのオーディオ・コンテンツのラウドネス処理状態およびラウドネスの有効性の検証をも記載している。

オブジェクト・ベース・オーディオ・プログラムを生成し、レンダリングする方法も知られている。そのようなプログラムの生成の際、レンダリングのために用いられるラウドスピーカーが再生環境中の任意の位置に位置されること（またはそれらのスピーカーが単位円における対称的な配位にあること）が想定されてもよい。それらのスピーカーが必ず（公称上）水平面内にあるまたはプログラム生成の時点で知られている他の任意の所定の配置にあることは想定する必要はない。典型的には、プログラムに含まれるメタデータが、プログラムの少なくとも一つのオブジェクトを、たとえばスピーカーの三次元アレイを使って、（三次元体積において）ある見かけの空間位置にまたは軌跡に沿ってレンダリングするためのレンダリング・パラメータを示す。たとえば、プログラムのオブジェクト・チャネルは、（該オブジェクト・チャネルによって示される）オブジェクトがレンダリングされるべき見かけの空間位置の三次元軌跡を示す対応するメタデータを有していてもよい。軌跡は、（再生環境の、床の上に位置していると想定されるスピーカーの部分集合の面内または別の水平面内の）「床」位置のシーケンスと、（再生環境の少なくとも一つの他の水平面内に位置されると想定されるスピーカーの部分集合を駆動することによってそれぞれ決定される）「床上方」位置のシーケンスとを含んでいてもよい。オブジェクト・ベース・オーディオ・プログラムのレンダリングの例はたとえば、2011年9月29日に国際公開第2011/119401号のもとに公開された、本願の被譲渡者に譲渡されているPCT国際出願第PCT/US2001/028783号において記載されている。

上記の米国仮特許出願第61/807,922号および上記の米国仮特許出願第61/832,397号は、プログラムのオーディオ・コンテンツの没入的なパーソナル化可能な知覚を提供するようレンダリングされるオブジェクト・ベース・オーディオ・プログラムを記載している。コンテンツは、観客イベント（たとえばサッカーまたはラグビー・ゲームまたは他のスポーツ・イベント）における雰囲気（すなわち、そのようなイベントにおけるまたはそのようなイベントにおいて生起している音）および／または観客イベントについてのコメンタリーを示していてもよい。プログラムのオーディオ・コンテンツは、複数のオーディオ・オブジェクト・チャネル（たとえば、ユーザー選択可能な諸オブジェクトまたは諸オブジェクト集合および典型的には、ユーザーによるオブジェクト選択がないときにレンダリングされるべきオブジェクトのデフォルト集合も）およびスピーカー・チャネルの少なくとも一つのベッド（bed）を示していてもよい。スピーカー・チャネルのベッドは、オブジェクト・チャネルを含まない通常の放送プログラムに含められてもよい型のスピーカー・チャネルの通常の混合（たとえば、5.1チャネル混合）であってもよい。

上記の米国仮特許出願第61/807,922号および上記の米国仮特許出願第61/832,397号は、再生側で混合対話性を提供するオブジェクト・ベース・オーディオ・プログラムの一部として送達されるオブジェクト関係メタデータを記載している。かかる混合対話性の提供は、単に事前混合された音場の再生を許容するのではなくユーザーがレンダリングのための当該プログラムのオーディオ・コンテンツの混合を選択することを許容することによることを含む。たとえば、ユーザーは、本発明のプログラムの典型的な実施形態のメタデータによって提供されるレンダリング・オプションの中で選択をして、レンダリングのための利用可能なオブジェクト・チャネルの部分集合を、また任意的にはレンダリングされるべき該オブジェクト・チャネル（単数または複数）によって示される少なくとも一つのオーディオ・オブジェクト（音源）の再生レベルをも選択してもよい。選択された各音源がレンダリングされる空間位置は、プログラム中に含まれるメタデータによってあらかじめ決定されていてもよいが、いくつかの実施形態では、（たとえばあらかじめ決定された規則または制約条件のもとで）ユーザーによって選択されることができる。いくつかの実施形態では、プログラムに含まれるメタデータは、レンダリング・オプションのメニュー（たとえば、少数のレンダリング・オプション、たとえば「ホーム・チームの群衆ノイズ」オブジェクト、「ホーム・チーム群衆ノイズ」および「ホーム・チーム・コメンタリー」のオブジェクト集合、「アウェー・チーム群衆ノイズ」オブジェクトおよび「アウェー・チーム群衆ノイズ」および「アウェー・チーム・コメンタリー」オブジェクト集合）のうちからのユーザー選択を許容する。メニューは、コントローラのユーザー・インターフェースによってユーザーに提示されてもよく、コントローラは、オブジェクト・ベース・プログラムを（少なくとも部分的に）デコードし、レンダリングするよう構成されているセットトップデバイス（または他のデバイス）に結合されていてもよい。プログラムに含まれるメタデータは、他の仕方で、オブジェクト・チャネルによって示されるどのオブジェクト（単数または複数）がレンダリングされるべきかについておよびレンダリングされるべきオブジェクト（単数または複数）がどのように構成されるべきかについてのオプションの集合のうちからのユーザー選択を許容してもよい。

米国仮特許出願第61/807,922号および第61/832,397号は、プログラムのオーディオ・コンテンツの少なくとも一部（たとえば、スピーカー・チャネルのベッドおよびプログラムのオブジェクト・チャネルの少なくともいくつか）およびオブジェクト関係メタデータを示すエンコードされたオーディオ・ビットストリームであるオブジェクト・ベース・オーディオ・プログラムを記載している。少なくとも一つの追加的なビットストリームまたはファイルが、プログラムのオーディオ・コンテンツの一部（たとえばオブジェクト・チャネルの少なくともいくつか）および／またはオブジェクト関係メタデータを示していてもよい。いくつかの実施形態では、オブジェクト関係メタデータは、オブジェクト・コンテンツとベッド（スピーカー・チャネル）コンテンツとのデフォルト混合を、デフォルトのレンダリング・パラメータ（たとえばレンダリングされるオブジェクトのデフォルトの空間位置）とともに提供する。いくつかの実施形態では、オブジェクト関係メタデータは、オブジェクト・チャネルおよびスピーカー・チャネル・コンテンツの選択可能な「プリセット」混合の集合を提供する。各プリセット混合は、レンダリング・パラメータ（たとえばレンダリングされるオブジェクトの空間位置）の所定の集合をもつ。いくつかの実施形態では、プログラムのオブジェクト関係メタデータ（または、プログラムと一緒に送達されるメタデータによっては示されない、再生またはレンダリング・システムの事前構成）は、オブジェクト・チャネルおよびスピーカー・チャネル・コンテンツの選択可能な混合についての制約条件または条件を提供する。

米国仮特許出願第61/807,922号および第61/832,397号は、並列に生成され、伝送されるビットストリーム（時に「サブストリーム」と称される）の集合を含むオブジェクト・ベース・オーディオ・プログラムをも記載している。それらをデコードするために複数のデコーダが用いられてもよい（たとえば、プログラムが複数のE-AC-3サブストリームを含む場合には、再生システムはそれらのサブストリームをデコードするために複数のE-AC-3デコーダを用いてもよい）。各サブストリームは、それらのサブストリームが互いに同期されるまたは時間整列されることを許容するよう同期語（たとえば時間コード）を含んでいてもよい。

米国仮特許出願第61/807,922号および第61/832,397号は、少なくとも一つのAC-3（またはE-AC-3）ビットストリームであるまたはそれを含み、コンテナと称される一つまたは複数のデータ構造を含むオブジェクト・ベース・オーディオ・プログラムをも記載している。オブジェクト・チャネル・コンテンツ（および／またはオブジェクト関係メタデータ）を含む各コンテナは、当該ビットストリームのフレームの末尾における補助データ・フィールド（たとえば、図１または図４に示されるAUXセグメント）内にまたは当該ビットストリームの「スキップ・フィールド」セグメント内に含められる。ドルビーEビットストリームであって、オブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータ（たとえば、オブジェクト・チャネル・コンテンツおよび／またはオブジェクト関係メタデータを含む当該プログラムの各コンテナ）が通常は有用な情報を担持しないドルビーEビットストリームのビット位置に含まれるドルビーEビットストリームであるまたはそれを含むオブジェクト・ベース・オーディオ・プログラムも記載されている。

米国仮特許出願第61/832,397号は、スピーカー・チャネルの少なくとも一つの集合と、少なくとも一つのオブジェクト・チャネルと、該スピーカー・チャネルおよびオブジェクト・チャネルの選択可能な混合（たとえば、すべての選択可能な混合）を示す層構成の（layered）グラフ（層構成の「混合グラフ」）を示すメタデータとを含むオブジェクト・ベース・オーディオ・プログラムをも記載している。この混合グラフは、スピーカーおよびオブジェクト・チャネルの諸部分集合の選択に適用可能な各規則を示していてもよく、ノード（各ノードは選択可能なチャネルもしくはチャネルの集合または選択可能なチャネルもしくはチャネルの集合のカテゴリーを示していてもよい）およびノード間の接続（たとえば、チャネルを選択するためのノードおよび／または規則への制御インターフェース）を示す。混合グラフは、本質的データ（「基本」層）および任意的データ（少なくとも一つの「拡張」層）を含んでいてもよく、混合グラフが木グラフとして表現可能な場合には、基本層は木グラフの枝（または二つ以上の枝）であることができ、各拡張層は木グラフの別の枝（または枝の集合）であることができる。

上記のように、オブジェクト・ベース・オーディオ・プログラムに、（プログラムのオブジェクト・チャネルによって示される）少なくとも一つのオブジェクトをスピーカーのアレイを使って（三次元体積内において）見かけの空間位置にまたは見かけの軌跡に沿ってレンダリングするためのレンダリング・パラメータを示すオブジェクト関係メタデータを含めることが提案されている。たとえば、プログラムのオブジェクト・チャネルは、対応するオブジェクトがレンダリングされる見かけの空間位置の三次元軌跡を示す対応するメタデータを有していてもよい。軌跡は、再生環境の「床」平面（ここで、「床」平面とは、聴取者の耳の期待される位置を公称上含む水平面である）における「床（floor）」位置のシーケンスおよび床平面より上の「床上方（above-floor）」位置のシーケンスを含んでいてもよい。オブジェクト・ベース・プログラムのオブジェクトを床上方位置においてレンダリングすることが提案されている。これは、再生環境における床平面より上に位置すると想定される（再生スピーカー・アレイの）少なくとも一つの「床上方」スピーカーのための少なくとも一つのスピーカー・フィードを生成することによることを含む。そのような床上方スピーカーは本稿では時に「高さ」スピーカーと称される。

伝統的には、マルチチャネル・オーディオ・プログラムのオーディオ・ダウンミックスが所定の公式に従って実行されて、M個のスピーカーを有する利用可能なスピーカー・アレイ（たとえば二つのスピーカーからなるステレオ・テレビジョン・スピーカー・アレイ）による再生のために、プログラムのチャネルの第一の集合（Nが整数であるとして、第一の音場を示すN個のチャネル）をチャネルの第二の集合（MがNより小さな整数であるとしてダウンミックスされた音場を示すM個のチャネル）にまとめる（ダウンミックスする）。ダウンミックス後の再生の間、利用可能なスピーカー・アレイはダウンミックスされた音場を示す音を出す。典型的には、この型の伝統的なダウンミックスは、前記第一の集合中のすべてのチャネルのオーディオ・コンテンツをチャネルの前記第二の集合（すなわちダウンミックス）に含める。

再生システム・スピーカー・アレイにおいて床上方（「高さ」）スピーカーが存在しない場合、（上述した型の）伝統的なダウンミックス技法が、オブジェクト・チャネルのコンテンツをプログラムのスピーカー・チャネルのコンテンツとダウンミックスするために用いられることができる（ここで、スピーカー・チャネル・コンテンツは、再生スピーカー・アレイの床スピーカーによって再生されることが意図されている）。それにより、結果として得られるダウンミックスされた音は、再生スピーカー・アレイの床スピーカーだけから放出される。しかしながら、本発明者は、床上方オブジェクト・チャネルのコンテンツがもとのスピーカー・チャネルのコンテンツ中にダウンミックスされるため、伝統的なダウンミックスは、結果として得られるダウンミックスの再生時に、響きの悪い音を生じるという望ましくないことが起こる（たとえば、床上方コンテンツがもとのスピーカー・チャネル・コンテンツに干渉するものとして知覚される）ことを認識するに至った。

本発明者らはまた、（上述した型の）伝統的なダウンミックス技法が、必ずしも再生スピーカー・アレイにおける高さスピーカーの有無に関係しない、他の制限および欠点をもつことを認識するに至った。たとえば、本発明者らは、たとえ伝統的な5.1チャネル・オーディオ再生であっても、ステレオ・ダウンミックスのための納得のいく音場を保持するためにしばしば妥協がなされることを認識するに至った。たとえば、放送局は、5.1チャネル・プログラムのサラウンド・チャネルにコメンタリー（または他のダイアログ要素）を配置することを望むことがあるが、該所望される表現の伝統的に実装されるステレオ・ダウンミックスは、ステレオ・テレビジョン視聴者に対して快いまたは代表的な経験を提供しないため、あえてそうしないことがある。

本発明まで、オブジェクト・ベース・オーディオ・プログラムの選択されたチャネル（たとえばオブジェクトおよびスピーカー・チャネル）のダウンミックスを、該ダウンミックスが、再生スピーカー・アレイ構成に基づく（たとえば再生時に響きの悪いまたは他の仕方で望ましくないダウンミックスされた音を避けるための）所定のダウンミックス制約条件（たとえば、プログラムを生成し、放送するエンティティによってまたはプログラム・コンテンツ・クリエーターによって指定される一つまたは複数のダウンミックス制約条件）に従うことを保証する仕方でレンダリングする仕方は知られていなかった。本発明の種々の実施形態は、プログラムが最終的な再生環境において利用可能であるより多くのオーディオ・チャネルを示す場合にもしあればすべての条件（すなわち、プログラムが、駆動されるべき再生スピーカー・アレイのスピーカーの数より多くのチャネル（オブジェクト・チャネルおよび／またはスピーカー・チャネル）を含むすべての条件）に当てはまる。

米国特許第5,583,962号 米国特許第5,632,005号 米国特許第5,633,981号 米国特許第5,727,119号 米国特許第6,021,386号

ATSC Standard A52/A: Digital Audio Compression Standard (AC-3), Revision A, Advanced Television Systems Committee, 20 Aug. 2001 "Introduction to Dolby Digital Plus, an Enhancement to the Dolby Digital Coding System", AES Convention Paper 6196, 117th AES Convention, October 28, 2004 "Efficient Bit Allocation, Quantization, and Coding in an Audio Distribution System", AES Preprint 5068, 107th AES Conference, August 1999 "Professional Audio Coder Optimized for Use with Video", AES Preprint 5033, 107th AES Conference August 1999

本発明のあるクラスの実施形態は、再生スピーカー・アレイ構成に基づく、対話的なオブジェクト・ベース・オーディオの生成および条件付きレンダリングのための方法を含む（ここで、再生スピーカー・アレイ「構成（コンフィギュレーション）」とは、このコンテキストでは、少なくとも一つの構成属性、たとえばアレイ中のスピーカーの数および再生環境中の各スピーカー実際のまたは想定される配置を表わす）。

（本発明のいくつかの実施形態に基づいて生成される）オブジェクト・ベース・オーディオ・プログラムにおけるオブジェクト関係メタデータは、（プログラムのオブジェクト・チャネルによって示される）少なくとも一つのオブジェクトを、再生スピーカー・アレイを使って、（三次元体積において）ある見かけの空間位置においてまたはある見かけの軌跡に沿ってレンダリングするためのレンダリング・パラメータを示す。たとえば、プログラムのオブジェクト・チャネルは、対応するオブジェクトがレンダリングされるべき見かけの空間位置の三次元軌跡を示す対応するメタデータを有していてもよい。軌跡は、（再生環境の、聴取者の耳の水平面と少なくとも近似的に一致すると想定される平面内に公称上ある）「床（floor）」位置のシーケンスおよび床平面より上の「床上方（above-floor）」位置のシーケンスを含んでいてもよい。床上方位置においてオブジェクトをレンダリングするために、再生環境における床平面より上に位置されると想定される再生スピーカー・アレイの少なくとも一つのスピーカーを駆動するための少なくとも一つのスピーカー・フィードが生成される。

あるクラスの実施形態は、プログラムの少なくとも一つのオブジェクト・チャネル（たとえば床上方オブジェクト・チャネル）に対応する条件付きレンダリング・メタデータを含むオブジェクト・ベース・オーディオ・プログラムの生成および／またはレンダリングのための方法を含む。よって、そのような各オブジェクト・チャネルによって示される各オーディオ・オブジェクトは、対応する条件付きレンダリング・メタデータをもつ。たとえば、いくつかの実施形態では、対応する条件付きレンダリング・メタデータを有するオーディオ・オブジェクトは床上方オブジェクトであってもよい。

あるクラスの実施形態では、条件付きレンダリング・メタデータは、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件を示すオブジェクト関係メタデータであり、この条件は対応する各オブジェクト・チャネルに当てはまる（すなわち、各オブジェクト・チャネルが条件付きレンダリング・メタデータに対応する）。そのようなレンダリング制約条件の例は、再生スピーカー・アレイ構成が特定の型であるときの、対応するオブジェクト・チャネルのレンダリングの禁止である。再生システム（その再生スピーカー・アレイがこの特定の型であることを知っている）は、オブジェクト・チャネルのコンテンツの、（再生スピーカーを駆動するのに使うための）スピーカー・フィードへのレンダリングの実装を防止することにより、そのようなレンダリング制約条件を示す条件付きレンダリング・メタデータに応答して動作する。（このクラスの実施形態にの方法によって）生成される条件付きレンダリング・メタデータによって示されるレンダリング制約条件のもう一つの例は、再生スピーカー・アレイ構成が特定の型であるときに、対応するオブジェクト・チャネルのコンテンツのレンダリングの少なくとも一つの許される型の指示である。条件付きレンダリング・メタデータによって示されるレンダリング制約条件の他の例は、レンダリングされるコンテンツが再生スピーカー・アレイによって再生されるときに、メタデータによって示される空間位置、レベル、サイズおよび／または他の属性をもつ見かけの源（オブジェクト）から発していると知覚されるよう、配置、レベル、サイズおよび他の属性の指示である。（他の属性は、たとえば、実行される特殊効果処理またはコンテンツのレンダリングの間に生成される各スピーカー・フィードに対応するオブジェクト・チャネルのどのコンテンツが含められるかについてである。）
いくつかの実施形態では、条件付きレンダリング・メタデータは、再生スピーカー・アレイ構成に基づくダウンミックス制約条件である少なくとも一つのレンダリング制約条件を示すオブジェクト関係メタデータであり、この条件は対応する各オブジェクト・チャネルに当てはまる（すなわち、各オブジェクト・チャネルが条件付きレンダリング・メタデータに対応する）。そのようなダウンミックス制約条件の例は、再生スピーカー・アレイ構成が特定の型であるときの、対応するオブジェクト・チャネルのダウンミックスの禁止である。再生システム（その再生スピーカー・アレイがこの特定の型であることを知っている）は、オブジェクト・チャネルの、プログラムのスピーカー・チャネルへのいかなるダウンミックスの実装も防止することにより、そのようなダウンミックス制約条件を示す条件付きレンダリング・メタデータに応答して動作する。（このクラスの実施形態にの方法によって）生成される条件付きレンダリング・メタデータによって示されるダウンミックス制約条件のもう一つの例は、再生スピーカー・アレイ構成が特定の型であるときに、対応するオブジェクト・チャネルを含む少なくとも一つの許されるダウンミックス（またはダウンミックスの型）の指示である。条件付きレンダリング・メタデータによって示されるダウンミックス制約条件の他の例は、再生スピーカー構成に基づく（対応するオブジェクト・チャネルの、一つまたは複数のスピーカー・チャネルへのダウンミックス中の）オーディオ・オブジェクトの配置、レベル、サイズおよび他の属性である。

本稿では、オブジェクト・ベース・オーディオ・プログラムのN個のチャネルのまたは該N個のチャネルに対して「ダウンミックスを実行する」（または「ダウンミックスする」または「ダウンミックスをレンダリングする」）という表現は、Nが整数であり、MがNより小さな整数であるとして、再生スピーカー・アレイのM個のスピーカーを駆動するための（プログラムのN個のチャネルの少なくとも一部、典型的には全部のコンテンツを示す）M個のスピーカー・フィードを決定または生成することを表わして広義で使われることを理解しておくべきである。一例では、（N個のチャネルを含むプログラムの）オブジェクト・チャネルに係る条件付きレンダリング・メタデータは、条件付きレンダリング・メタデータの少なくとも第一の部分集合が、M1個のスピーカー・フィードが当該オブジェクト・チャネルのコンテンツを含む当該プログラムのコンテンツのダウンミックスを示すよう、M1個の再生スピーカーの第一のアレイを駆動するためのM1個のスピーカー・フィードの生成（または該生成に係る規則）の何らかの属性を示し、条件付きレンダリング・メタデータの少なくとも第二の部分集合が、M2個のスピーカー・フィードが当該オブジェクト・チャネルのコンテンツを含む当該プログラムのコンテンツの別のダウンミックスを示すよう、M2個の再生スピーカーの異なるアレイを駆動するためのM2個のスピーカー・フィードの生成（または該生成に係る規則）の何らかの属性を示すという意味で、（再生スピーカー・アレイ構成に基づく）少なくとも一つのダウンミックス制約条件を示す。この例では、M1個のスピーカーの第一のアレイによる再生のためのプログラムのN個のチャネルに対するダウンミックスのレンダリングは、典型的には、（条件付きレンダリング・メタデータの前記第二の部分集合ではなく）条件付きレンダリング・メタデータの前記第一の部分集合を選択し、条件付きレンダリング・メタデータの選択された前記第一の部分集合を使って適切なM1個のスピーカー・フィードを決定または生成する段階を含む。

あるクラスの実施形態では、本発明は、オブジェクト・ベース・オーディオ・プログラムを生成する方法であって：
少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータを生成する段階であって、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件（たとえばダウンミックス制約条件）を示す、段階と；
前記少なくとも一つのオブジェクト・チャネルを（任意的には少なくとも一つのスピーカー・チャネルも）含むオーディオ・チャネルの集合を決定する段階と；
前記オブジェクト・ベース・オーディオ・プログラムがオーディオ・チャネルの前記集合および前記条件付きレンダリング・メタデータを示すよう、かつオーディオ・チャネルの前記集合の少なくとも一つのオーディオ・チャネルのコンテンツが、前記条件付きレンダリング・メタデータの少なくとも一部に応答して再生システムによって前記少なくとも一つのレンダリング制約条件に従う仕方でレンダリング可能であるよう、前記オブジェクト・ベース・オーディオ・プログラムを生成する段階とを含む、
方法である。

任意的に、前記条件付きレンダリング・メタデータは、プログラムのオーディオ・チャネルをレンダリングするための（たとえばプログラムのオーディオ・チャネルのダウンミックスを実装するための）、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則（たとえば少なくとも一つのダウンミックス規則）をも示す。たとえば、前記条件付きレンダリング・メタデータは次の規則を示してもよい：
第一の型（たとえば、プログラムの少なくとも一部の条件付きレンダリング・メタデータによって示される）の当該プログラムの各オブジェクト・チャネルは、再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含む場合には、プログラムのコンテンツの、任意のユーザー選択される（またはデフォルトの）混合によって指定されるスピーカー・チャネルがあればそれにダウンミックスされるべきであり、
前記第一の型の当該プログラムの各オブジェクト・チャネルは、再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含まない場合には、再生システムによって無視されるべきであり（すなわち、いかなるダウンミックスにも含められるべきではない）、
第二の型（たとえば、プログラムの少なくとも一部の条件付きレンダリング・メタデータによって示される）の当該プログラムの各オブジェクト・チャネルは、再生スピーカー・アレイの構成に関わりなく、プログラムのチャネルのコンテンツの、任意のユーザー選択される（またはデフォルトの）混合によって指定される任意のスピーカー・チャネルにダウンミックスされるべきである。

本発明のいくつかの実施形態に基づくオブジェクト・ベース・オーディオ・プログラムの生成は、利用可能な（すなわち以前に生成された）条件付きレンダリング・メタデータの部分集合を選択し、選択された条件付きレンダリング・メタデータをプログラムに含める（だが選択されていない条件付きレンダリング・メタデータは含めない）段階を含む。

他の実施形態では、本発明は、オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする方法であって、前記プログラムは、少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータと、前記少なくとも一つのオブジェクト・チャネルを（および任意的には少なくとも一つのスピーカー・チャネルも）含むオーディオ・チャネルの集合とを示し、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件（たとえば少なくとも一つのダウンミックス制約条件）を示し、当該方法は：
（ａ）前記オブジェクト・ベース・オーディオ・プログラムをオーディオ処理ユニットに提供する段階と；
（ｂ）前記オーディオ処理ユニットにおいて、前記条件付きレンダリング・メタデータおよびオーディオ・チャネルの前記集合をパースして、オーディオ・チャネルの前記集合の少なくとも一つのオーディオ・チャネルのコンテンツを、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、前記少なくとも一つのレンダリング制約条件に従う仕方でレンダリングする段階とを含む、
方法である。

いくつかのそのような実施形態では、オーディオ・チャネルの前記集合は、少なくとも一つのスピーカー・チャネルを含み、段階（ｂ）は、オーディオ・チャネルの前記集合の少なくとも一つのオブジェクト・チャネルを選択し、前記集合の選択された各オブジェクト・チャネルを前記集合の少なくとも一つのスピーカー・チャネルと混合して、前記選択された各オブジェクト・チャネルと前記少なくとも一つのスピーカー・チャネルとのコンテンツのダウンミックスを生成する段階を含む。典型的には、ダウンミックスはN個のダウンミックスされたスピーカー・チャネルの集合からなり、Nは正の整数であり、段階（ｂ）は、再生スピーカー・アレイのN個のスピーカーに、ダウンミックスされたスピーカー・チャネルから生成されるスピーカー・フィードでそれらのスピーカーを駆動することによって音を発させる段階を含む。

任意的に、前記条件付きレンダリング・メタデータは、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則（たとえば、少なくとも一つのダウンミックス規則）をも示し、段階（ｂ）において実行されるレンダリングは該レンダリング規則に従う。

本発明の典型的な実施形態に基づいて生成されるオブジェクト・ベース・オーディオ・プログラムは、再生スピーカー・アレイによって再生されるプログラムの（たとえばオブジェクト・チャネルおよび／またはスピーカー・チャネルの）ダウンミックスされたコンテンツを示す音が、音再生（プレイバック）環境内の種々の見かけの位置から発しているように知覚されるようにするようレンダリングされてもよい。対話的な呈示のために、選択可能なオブジェクト・チャネルの選択可能なものによって決定されるオブジェクトは、レンダリングされる音場内の諸位置（たとえば選択されたオブジェクトの集合のうちの異なるオブジェクトに対応する異なる静的な位置の集合）でレンダリングされ、それにより、選択された各オブジェクト・チャネルのオーディオ・コンテンツは、選択されたオブジェクト・チャネルに対応するオブジェクト関係メタデータによって決定される見かけの源位置（または位置の軌跡）から発しているように知覚されるようレンダリングされる。たとえば、オブジェクト・ベース・オーディオ・プログラムから決定される没入的な音混合は、（プログラムの選択されたオブジェクト・チャネルによって決定される）「公共アナウンス」オーディオ・オブジェクトを示す音を示してもよい。それにより、聴取者の上に取り付けられた公共アナウンス・ラウドスピーカーからアナウンスが発される間、聴取者（消費者）にスタジアムにいる経験を与えるよう、再生環境内の想定される聴取者位置の上の見かけの源位置から発していると知覚される。そのような公共アナウンス・オーディオ・オブジェクトは、「床」平面より上の水平面（時に「床上方」または「高さ」平面と称される）に物理的に位置される少なくとも一つの床上方スピーカーを含むスピーカー・アレイによるレンダリングおよび再生のために選択されうる。ここで、「床」平面は、聴取者の耳の期待される位置を公称上含む水平面である。典型的には、再生スピーカー・アレイの他のスピーカーは床平面内に公称上位置される。

オーディオ・オブジェクト（たとえば、先の例の公共アナウンス・オーディオ・オブジェクト）がオブジェクト・ベース・オーディオ・プログラムの離散的オブジェクト・チャネルによって決定され、プログラムの対応するメタデータが、オブジェクト・チャネルが選択される（そしてレンダリングおよび再生される）ときにそこから対応する音が発していると知覚されるべき床上方源位置（または床上方源位置の軌跡）を示すとき、そのオーディオ・オブジェクトを「床上方」（または「高さ」）オブジェクトと称し、床上方オブジェクトを示すオブジェクト・チャネルを「床上方」（または「高さ」）オブジェクト・チャネルと称する。床上方オーディオ・オブジェクトは典型的には、結果として得られる音が再生システム・スピーカー・アレイの少なくとも一つの床上方（または「高さ」）スピーカーから発されるよう、レンダリングおよび再生される。

再生システム・スピーカー・アレイに床上方（「高さ」）スピーカーが存在しない場合、（上述した型の）伝統的なダウンミックス技法が、選択された「床上方」オブジェクト・チャネルのコンテンツをプログラムのスピーカー・チャネルのコンテンツとダウンミックスするために用いられることができる（ここで、スピーカー・チャネル・コンテンツは、再生スピーカー・アレイの床スピーカーによって再生されることが意図されている）。それにより、結果として得られるダウンミックスされた音は、再生スピーカー・アレイの床スピーカーだけから放出される。しかしながら、床上方オブジェクト・チャネルのコンテンツがスピーカー・チャネルのコンテンツ中にダウンミックスされるため、該ダウンミックスは、響きの悪い混合を生じるという望ましくない結果になる（たとえば、床上方コンテンツがもとのスピーカー・チャネル・コンテンツに干渉するものとして知覚される）。

本発明のいくつかの実施形態に基づいてオブジェクト・ベース・オーディオ・プログラムに含まれる条件付きレンダリング・メタデータを使って、レンダリング・システムは、プログラムのチャネルのダウンミックスが再生システムの利用可能なスピーカーによって再生のために生成されるときに、プログラムによって示されるどのオーディオ・オブジェクトがプログラムのチャネルのダウンミックスのどのスピーカー・チャネル中に入れられてもよいまたは入れられるべきか（および／またはどのオーディオ・オブジェクトがプログラムのチャネルのダウンミックスのどのスピーカー・チャネルから省略されるべきか）および各オブジェクトがどのボリュームでプログラムの他のオーディオ・コンテンツとダウンミックスされるべきかについての知的な決定をすることができる。本発明の典型的な実施形態は、通常のダウンミックスからなら帰結するであろう妥協なしに各考えられている再生スピーカー・アレイ構成についての（オブジェクト・ベース・オーディオ・プログラムのコンテンツの）良好に響く混合を決定し、対応する条件付きレンダリング・メタデータを含めてそのような各混合のレンダリングを可能にする芸術上の柔軟性をサウンド・ミキサーに与える。

本発明の典型的実施形態に基づく、（利用可能な再生スピーカー・アレイ構成の知識を前提とした）プログラムに含まれる条件付きレンダリング・メタデータに応答してのオブジェクト・ベース・オーディオ・プログラムのオブジェクト・チャネル・コンテンツの条件付きレンダリングは、特定の再生スピーカー・アレイ構成に基づくダウンミックス・レンダリング・オプションの自動選択（たとえば、専用のステレオ出力をもつセットトップボックスが、そのオブジェクト・ベース・オーディオ・レンダリング・エンジンは常に入力オブジェクト・ベース・プログラムの「ステレオ」条件付きレンダリング・メタデータを選択し、選択された「ステレオ」条件付きレンダリング・メタデータを使ってそのプログラムに応答してステレオ・スピーカー・フィードを生成するよう、事前構成設定されてもよい）；および／または特定の再生スピーカー・アレイ構成を与えられたときに利用可能なレンダリング・オプション（たとえば、ダウンミックス・レンダリング・オプション）のメニューのうちからのユーザー選択の一方または両方を許容する。たとえば、再生スピーカー・アレイが5.1チャネル構成における床スピーカーのみからなることを与えられたとき、メニューは、以下のオプションを含む少数の選択可能なダウンミックス・レンダリング・オプションを含んでいてもよい：「ホーム・チーム・コメンタリー」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリー」ダウンミックス、「アウェー・チーム・コメンタリー」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「アウェー・チーム・コメンタリー」ダウンミックス、「ホーム・チーム・コメンタリー」オブジェクトおよび「ホーム・チーム群衆ノイズ」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリーおよびホーム・チーム群衆ノイズ」ダウンミックス。

もう一つの例として、再生スピーカー・アレイが（たとえば5.1チャネル構成における）床スピーカーおよび一組の高さ（床上方）スピーカーからなることを与えられたとき、メニューは、以下のオプションを含むより多数の選択可能なダウンミックス・レンダリング・オプションを含んでいてもよい：「ホーム・チーム・コメンタリー」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリー」床ダウンミックス（アレイの床スピーカーのみを駆動するため）、「アウェー・チーム・コメンタリー」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「アウェー・チーム・コメンタリー」床ダウンミックス（アレイの床スピーカーのみを駆動するため）、「ホーム・チーム・コメンタリー」オブジェクトおよび「ホーム・チーム群衆ノイズ」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリーおよびホーム・チーム群衆ノイズ」床ダウンミックス（アレイの床スピーカーのみを駆動するため）および「ホーム・チーム・コメンタリー」オブジェクト、「ホーム・チーム群衆ノイズ」オブジェクトおよび公共アナウンス・オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリーおよびホーム・チーム群衆ノイズおよび公共アナウンス」ダウンミックス（アレイの全スピーカーを駆動するため。ただし、公共アナウンス・オブジェクト・チャネルのコンテンツはアレイの床上方スピーカーを駆動するダウンミックス・スピーカー・フィードにのみ含まれ、ダウンミックスの他のすべてのコンテンツはアレイの床スピーカーを駆動するダウンミックス・スピーカー・フィードにのみ含まれる）。

レンダリング・オプション（たとえば、ダウンミックス・レンダリング・オプション）のメニューは、コントローラのユーザー・インターフェースによってユーザーに提示されてもよく、コントローラは、オブジェクト・ベース・プログラムを（少なくとも部分的に）デコードおよびレンダリングするよう構成されたセットトップデバイス（または他の装置）に結合されていてもよい。プログラムに含まれるメタデータ（上述した条件付きレンダリング・メタデータ含まれる）は、プログラムのどのオブジェクト（単数または複数）がレンダリングされるべきかについておよびレンダリングされるべきオブジェクトがどのように構成されるべきかについての一組のオプションのうちからのユーザー選択を許容してもよい。

いくつかの実施形態では、（一組の可能な再生スピーカー・アレイ構成のうちの）特定の対応する構成をもつ再生スピーカー・アレイの利用可能性が与えられて、条件付きレンダリング・メタデータは、ユーザーによって選択可能な（プログラムのオーディオ・コンテンツの）各選択可能ダウンミックス（たとえば、ダウンミックス・レンダリング・オプションのメニューによって示される各選択可能なダウンミックス）の少なくとも以下の属性を指定する：
存在（すなわち、各オブジェクト・チャネルについて、そのオブジェクト・チャネルが対応する構成をもつ再生スピーカー・アレイによるレンダリングのためのダウンミックス中に存在するべきかどうかについての指示）；
音場内での位置（すなわち、対応する構成をもつ再生スピーカー・アレイによるレンダリングのためのダウンミックス中に含められるべき各オブジェクト・チャネルについて、当該ダウンミックスによって決定されるスピーカー・フィードが利用可能なスピーカーを駆動するときに、そこから対応する音が発していると知覚されるべき見かけの空間位置の指示）；
利得（すなわち、対応する構成をもつ再生スピーカー・アレイによるレンダリングのためのダウンミックス中に含められるべき各オブジェクト・チャネルについて、ダウンミックスを生成するときに対応するオーディオ・サンプルに適用されるべき利得の指示）；
効果（すなわち、対応する構成をもつ再生スピーカー・アレイによるレンダリングのためのダウンミックス中に含められるべき各オブジェクト・チャネルについて、ダウンミックスを生成するときに対応するオーディオ・サンプルに適用されるべき特殊効果処理（もしあれば）の各型の指示。そのような処理の例は、発散処理および残響適用を含むがそれに限定されない）。

本発明のもう一つの側面は、本発明の方法の任意の実施形態を実行するよう構成されたオーディオ処理ユニット（APU: audio processing unit）である。別のクラスの実施形態では、本発明は、本発明の方法の任意の実施形態によって生成されたオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルと少なくとも一つのオブジェクト・チャネルとのオーディオ・コンテンツおよび条件付きレンダリング・メタデータを含むオブジェクト関係メタデータを含む）を（たとえば非一時的な仕方で）記憶するバッファ・メモリ（バッファ）を含むAPUである。APUの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、コーデック、前処理システム（前処理器）、後処理システム（後処理器）、オーディオ・ビットストリーム処理システムおよびそのような要素の組み合わせを含むがそれに限定されるものではない。

本発明の諸側面は、本発明の方法の任意の実施形態を実行するよう構成された（たとえばプログラムされた）システムまたは装置ならびに本発明の方法またはそのステップの任意の実施形態を実装するためのコードを（たとえば非一時的な仕方で）記憶するコンピュータ可読媒体（たとえばディスク）を含む。たとえば、本発明のシステムは、プログラム可能な汎用プロセッサ、デジタル信号プロセッサまたはマイクロプロセッサであって、データに対して本発明の方法またはそのステップの実施形態を含む多様な動作のうちの任意のものを実行するようソフトウェアまたはファームウェアによってプログラムされたおよび／または他の仕方で構成されたものであるまたはそれを含むことができる。そのような汎用プロセッサは、入力装置と、メモリと、呈されるデータに応答して本発明の方法（またはそのステップ）の実施形態を実行するようプログラムされた（および／または他の仕方で構成された）処理回路とを含むコンピュータ・システムであるまたはそれを含むものであってもよい。

AC-3フレームを、それが分割された諸セグメントを含めて描く図である。 AC-3フレームの同期情報（SI）セグメントを、それが分割された諸セグメントを含めて描く図である。 AC-3フレームのビットストリーム情報（BSI）セグメントを、それが分割された諸セグメントを含めて描く図である。 E-AC-3フレームを、それが分割された諸セグメントを含めて描く図である。 システムであって、該システムの要素の一つまたは複数が本発明の実施形態に基づいて構成されていてもよいシステムの実施形態のブロック図である。 本発明の方法のある実施形態を実行するよう実装されていてもよい再生システムのブロック図である。 本発明の方法のある実施形態を実行するよう実装されていてもよい再生システムのブロック図である。 本発明のある実施形態に基づく、オブジェクト・ベース・オーディオ・プログラム（および対応するビデオ・プログラム）を生成するよう構成された放送システムのブロック図である。 オブジェクト・チャネルのどの部分集合がユーザーによって選択可能であるかを示す、本発明のプログラムのある実施形態のオブジェクト・チャネル間の関係を示す図である。 本発明の方法の実施形態を実行するよう実装されうるシステムのブロック図である。 本発明のある実施形態に基づいて生成されたオブジェクト・ベース・オーディオ・プログラムのコンテンツを示す図である。

〈記号および用語法〉
請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する（たとえば信号またはデータをフィルタリングする、スケーリングする、変換するまたは利得を適用する）という表現は、信号またはデータに対して直接的に、または信号またはデータの処理されたバージョンに対して（たとえば、予備的なフィルタリングまたは前処理を該動作の実行に先立って受けている前記信号のバージョンに対して）該動作を実行することを表わすために広義で使用される。

請求項を含む本開示を通じて、「システム」という表現は、装置、システムまたはサブシステムを表わす広義で使用される。たとえば、デコーダを実装するサブシステムは、デコーダ・システムと称されてもよく、そのようなサブシステムを含むシステム（たとえば、複数の入力に応答してX個の出力信号を生成するシステムであって、前記サブシステムが入力のうちのM個を生成し、他のX−M個の入力は外部源から受領されるもの）もデコーダ・システムと称されることがある。

請求項を含む本開示を通じて、「プロセッサ」という表現は、データ（たとえばオーディオまたはビデオまたは他の画像データ）に対して動作を実行するよう（たとえばソフトウェアまたはファームウェアを用いて）プログラム可能または他の仕方で構成可能であるシステムまたは装置を表わす広義で使用される。プロセッサの例は、フィールド・プログラム可能なゲート・アレイ（または他の構成可能な集積回路またはチップセット）、オーディオまたは他のサウンド・データに対してパイプライン化された処理を実行するようプログラムされたおよび／または他の仕方で構成されたデジタル信号プロセッサ、プログラム可能な汎用プロセッサもしくはコンピュータおよびプログラム可能なマイクロプロセッサ・チップまたはチップセットを含む。

請求項を含む本開示を通じて、「オーディオ・ビデオ受領器（audio video receiver）」（または「AVR」）という表現は、たとえば家庭シアターにおいてオーディオおよびビデオ・コンテンツの再生を制御するために使われる消費者電子設備のクラスにおける受領器を表わす。

請求項を含む本開示を通じて、「サウンドバー」という表現は、（典型的には家庭シアター・システムにおいて設置される）ある型の消費者電子設備であって、少なくとも一つのスピーカーと、含まれる各スピーカーによる再生のために（または含まれる各スピーカーおよび該サウンドバーの外部の少なくとも一つの追加的なスピーカーによる再生のために）オーディオをレンダリングするサブシステムと含む装置を表わす。

請求項を含む本開示を通じて、「オーディオ・プロセッサ」および「オーディオ処理ユニット」という表現は交換可能に、オーディオ・データを処理するよう構成されたシステムを表わす広義で使用される。オーディオ処理ユニットの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、コーデック、前処理システム、後処理システムおよびビットストリーム処理システム（時にビットストリーム処理ツールと称される）を含むがこれに限られない。

請求項を含む本開示を通じて、「メタデータ」（たとえば「処理状態メタデータ」という表現におけるような）という表現は、対応するオーディオ・データ（メタデータをも含むビットストリームのオーディオ・コンテンツ）とは別個の異なるデータを指す。メタデータは、オーディオ・データに関連付けられ、該オーディオ・データの少なくとも一つの特徴または特性（たとえばそのオーディオ・データまたはそのオーディオ・データによって示されるオブジェクトの軌跡に対してどの型（単数または複数）の処理がすでに実行されているか、あるいは実行されるべきか）を示す。メタデータのオーディオ・データとの関連付けは、時間同期的である。このように、現在の（最も最近受領または更新された）メタデータは、対応するオーディオ・データが同時的に、示される特徴をもつおよび／または示される型（単数または複数）のオーディオ・データ処理の結果を含むことを示す。

請求項を含む本開示を通じて、「結合する」または「結合される」という用語は、直接的または間接的な接続を意味するために使われる。よって、第一の装置が第二の装置に結合するとき、その接続は、直接接続を通じてであってもよいし、他の装置および接続を介した間接的な接続を通じてであってもよい。

請求項を含む本開示を通じて、以下の表現は以下の定義をもつ。

スピーカーおよびラウドスピーカーは、任意の音を発するトランスデューサを表わすものとして同義に使われる。この定義は、複数のトランスデューサ（たとえばウーファーおよびツイーター）として実装されるラウドスピーカーを含む。

スピーカー・フィード：ラウドスピーカーに直接加えられるオーディオ信号または直列の増幅器およびラウドスピーカーに加えられるオーディオ信号。

チャネル（または「オーディオ・チャネル」）：モノフォニック・オーディオ信号。そのような信号は典型的には、該信号を所望されるまたは公称上の位置にあるラウドスピーカーに直接加えるのと等価であるようにレンダリングされることができる。

オーディオ・プログラム：一つまたは複数のオーディオ・チャネル（少なくとも一つのスピーカー・チャネルおよび／または少なくとも一つのオブジェクト・チャネル）および任意的には関連するメタデータ（たとえば、所望される空間的オーディオ呈示を記述するメタデータ）の集合。

スピーカー・チャネル（または「スピーカー・フィード・チャネル」）：（所望されるまたは公称上の位置にある）指定されたラウドスピーカーに関連付けられているまたは定義されたスピーカー配位内での指定されたスピーカー・ゾーンに関連付けられているオーディオ・チャネル。スピーカー・チャネルは、該オーディオ信号を（所望されるまたは公称上の位置にある）指定されたラウドスピーカーにまたは指定されたスピーカー・ゾーン内のスピーカーに直接加えるのと等価であるようにレンダリングされる。

オブジェクト・チャネル：オーディオ源（時にオーディオ「オブジェクト」と称される）によって発される音を示すオーディオ・チャネル。典型的には、オブジェクト・チャネルは、パラメトリックなオーディオ源記述を決定する（たとえば、パラメトリックなオーディオ源記述を示すメタデータがオブジェクト・チャネル内に含められるまたはオブジェクト・チャネルと一緒に提供される）。源記述は、（時間の関数としての）源によって発された音、時間の関数としての源の見かけの位置（たとえば、3D空間座標）および任意的には源を特徴付ける少なくとも一つの追加的パラメータを決定してもよい。

オブジェクト・ベース・オーディオ・プログラム：一つまたは複数のオブジェクト・チャネルの集合を（および任意的には少なくとも一つのスピーカー・チャネルも）および任意的には関連するメタデータ（たとえば、オブジェクト・チャネルによって示される音を発するオーディオ・オブジェクトの軌跡を示すメタデータ、あるいは他の仕方でオブジェクト・チャネルによって示される音の所望される空間的オーディオ呈示を示すメタデータまたはオブジェクト・チャネルによって示される音の源である少なくとも一つのオーディオ・オブジェクトの識別情報を示すメタデータ）も含むオーディオ・プログラム。

レンダリング：オーディオ・プログラムを一つまたは複数のスピーカー・フィードに変換するプロセスまたはオーディオ・プログラムを一つまたは複数のスピーカー・フィードに変換し、該スピーカー・フィードを一つまたは複数のラウドスピーカーを使って音に変換するプロセス。（後者の場合、レンダリングは本稿では時にラウドスピーカー「による」レンダリングと称される。）オーディオ・チャネルは、信号を所望される位置にある物理的なラウドスピーカーに直接加えることによって（所望される位置「において」）トリビアルにレンダリングされることができる。あるいは、（聴取者にとって）そのようなトリビアルなレンダリングと実質的に等価であるよう設計された多様な仮想化技法の一つを使ってレンダリングされることができる。この後者の場合、各オーディオ・チャネルは、一般には所望される位置とは異なる既知の位置にあるラウドスピーカー（単数または複数）に加えられるべき一つまたは複数のスピーカー・フィードに変換されてもよく、それによりフィードに応答してラウドスピーカーによって発される音は、所望される位置から発しているように知覚されることになる。そのような仮想化技法の例は、ヘッドフォンを介したバイノーラル・レンダリング（たとえばヘッドフォン装着者のために7.1チャネルまでのサラウンドサウンドをシミュレートするドルビー・ヘッドフォン処理を使う）および波面合成（wave field synthesis）を含む。

〈発明の実施形態の詳細な説明〉
図５は、システムであって、システムの要素の一つまたは複数が本発明の実施形態に基づいて構成されうる、オーディオ処理チェーン（オーディオ・データ処理システム）の例のブロック図である。本システムは、図のように一緒に結合された以下の要素を含む：捕捉ユニット１、プロダクション・ユニット３（これはエンコード・サブシステムを含む）、送達サブシステム５、デコーダ７、オブジェクト処理サブシステム９、コントローラ１０およびレンダリング・サブシステム１１。図示したシステムに対する諸変形においては、要素の一つまたは複数が省略されたり、あるいは追加的なオーディオ・データ処理ユニットが含められたりする。典型的には、要素７、９、１０および１１は再生システム（たとえばエンドユーザーの家庭シアター・システム）であるまたは再生システムに含まれる。

捕捉ユニット１は典型的には、オーディオ・コンテンツをなすPCM（時間領域）サンプルを生成し、該PCMサンプルを出力するよう構成される。それらのサンプルは、（たとえばスポーツ・イベントまたは他の観客イベントにおいて）マイクロホンによって捕捉されたオーディオの複数のストリームを示す。典型的には放送局によって運用されるプロダクション・ユニット３は、前記PCMサンプルを入力として受け入れ、前記オーディオ・コンテンツを示すオブジェクト・ベース・オーディオ・プログラムを出力するよう構成される。プログラムは典型的には、前記オーディオ・コンテンツの少なくとも一部を示すエンコードされた（たとえば圧縮された）オーディオ・ビットストリーム（本稿では時に「メイン混合」と称される）ならびに任意的にはまた前記オーディオ・コンテンツの少なくとも一部を示す少なくとも一つの追加的なビットストリームまたはファイル（本稿では時に「サイド混合」と称される）であるまたはそれらを含む。前記オーディオ・コンテンツを示すエンコードされたビットストリームの（そしてもし生成されるなら各生成されたサイド混合の）データは本稿では時に「オーディオ・データ」と称される。プロダクション・ユニット３のエンコード・サブシステムが本発明の典型的な実施形態に従って構成される場合、ユニット３から出力されるオブジェクト・ベース・オーディオ・プログラムは、オーディオ・データの複数のスピーカー・チャネル（スピーカー・チャネルの「ベッド」および任意的には置換スピーカー・チャネルも）と、オーディオ・データの複数のオブジェクト・チャネルと、オブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）と示す（すなわち含む）。プログラムはメイン混合を含んでいてもよく、該メイン混合は、スピーカー・チャネルのベッド、置換スピーカー・チャネルを示すオーディオ・コンテンツと、少なくとも一つのユーザー選択可能なオブジェクト・チャネル（および任意的には少なくとも一つの他のオブジェクト・チャネル）を示すオーディオ・コンテンツと、メタデータ（各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータを含み、該オブジェクト関係メタデータは少なくとも一つのオブジェクト・チャネルについては条件付きレンダリング・メタデータを含む）とを含む。プログラムは、少なくとも一つの他のオブジェクト・チャネル（たとえば少なくとも一つのユーザー選択可能なオブジェクト・チャネル）を示すオーディオ・コンテンツおよび／またはオブジェクト関係メタデータを含む少なくとも一つのサイド混合をも含んでいてもよい。プログラムのオブジェクト関係メタデータは、耐久メタデータ（後述）を含んでいてもよい。プログラム（たとえばそのメイン混合）は、スピーカー・チャネルの一つまたは複数の集合を示していてもよい。たとえば、メイン混合は、スピーカー・チャネルの二つ以上の集合（たとえば、5.1チャネルの中立群衆ノイズ・ベッドと、ホーム・チーム群衆ノイズを示す置換スピーカー・チャネルの2.0チャネルの集合と、アウェー・チーム群衆ノイズを示す置換スピーカー・チャネルの2.0チャネルの集合）を示していてもよい。該二つ以上の集合は、置換スピーカー・チャネルの少なくとも一つのユーザー選択可能な集合（これは、オブジェクト・チャネル・コンテンツまたは構成のユーザー選択のために用いられるのと同じユーザー・インターフェースを使って選択されることができる）と、スピーカー・チャネルのベッド（これは、プログラムの他のコンテンツのユーザー選択がないときにレンダリングされる）とを含む。ベッド（これはデフォルト・ベッドと称されてもよい）は、再生システムのスピーカー集合の構成（たとえば初期構成）を示すデータによって決定されてもよく、任意的に、ユーザーが、デフォルト・ベッドの代わりにレンダリングされるようプログラムの他のオーディオ・コンテンツを選択してもよい。

プログラムのメタデータは、前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記プログラムの前記ベッドのスピーカー・チャネルおよび／または置換スピーカー・チャネルのうちの所定のもののコンテンツとの、少なくとも一つの（典型的には二つ以上の）選択可能なあらかじめ決定された混合を示してもよく、それぞれの前記混合についてのレンダリング・パラメータを含んでいてもよい。

図５の送達サブシステム５は、ユニット３によって生成されたプログラム（たとえばメイン混合および何らかのサイド混合が生成されるならそのそれぞれのサイド混合）を記憶および／または送信（たとえば放送）するよう構成される。

いくつかの実施形態では、サブシステム５は、オブジェクト・ベース・オーディオ・プログラムの送達を実装する。この場合、プログラムのオーディオ・オブジェクト（および少なくともいくらかの対応するオブジェクト関係メタデータ）およびスピーカー・チャネルが放送システムを通じて（放送されるオーディオ・ビットストリームによって示されるプログラムのメイン混合において）送られ、プログラムの少なくともいくらかのメタデータ（たとえばプログラムのオブジェクト・チャネルのレンダリングまたは混合についての制約条件を示すオブジェクト関係メタデータ）および／またはプログラムの少なくとも一つのオブジェクト・チャネルは別の仕方で（前記メイン混合の「サイド混合」として）送達される（たとえば、サイド混合はインターネット・プロトコルまたは「IP」ネットワークによって特定のエンドユーザーに送られる）。あるいはまた、エンドユーザーのデコードおよび／またはレンダリング・システムが、少なくともいくらかのオブジェクト関係メタデータ（たとえば、本発明のオブジェクト・ベース・オーディオ・プログラムの実施形態のオーディオ・オブジェクトのレンダリングまたは混合についての制約条件を示すメタデータ）を事前に組み込まれており、そのようなオブジェクト関係メタデータは対応するオブジェクト・チャネルと一緒に（オブジェクト・ベース・オーディオ・プログラムのメイン混合またはサイド混合内で）（サブシステム５によって）放送されたり、他の仕方で送達されたりしない。

いくつかの実施形態では、別個の経路を通じて送達されるオブジェクト・ベース・オーディオ・プログラムの諸部分または諸要素（たとえば、放送システムを通じて放送されるメイン混合およびIPネットワークを通じてサイド混合として送られる関係したメタデータ）のタイミングおよび同期が、すべての送達経路を通じて（たとえばメイン混合および対応する各サイド混合内で）送られる同期語（たとえば時間コード）によって提供される。

再び図５を参照するに、デコーダ７は送達サブシステム５によって送達されるプログラム（または該プログラムの少なくとも一つのビットストリームまたは他の要素）を受け入れ（受信しまたは読み）、該プログラム（またはそのそれぞれの受け入れられた要素）をデコードする。本発明のいくつかの実施形態では、プログラムはメイン混合（エンコードされたビットストリーム、たとえばAC-3またはE-AC-3エンコードされたビットストリーム）および該メイン混合の少なくとも一つのサイド混合を含み、デコーダ７は前記メイン混合を（任意的には少なくとも一つのサイド混合も）受領する。任意的に、デコードされる必要のない、プログラムの少なくとも一つのサイド混合（たとえばオブジェクト・チャネル）が、サブシステム５によってオブジェクト処理サブシステム９に直接送達される。デコーダ７が本発明の典型的な実施形態に基づいて構成される場合には、典型的な動作におけるデコーダ７の出力は次のものを含む：
プログラムのスピーカー・チャネルのベッドを（典型的にはプログラムの代替スピーカー・チャネルも）示すオーディオ・サンプルのストリーム；および
プログラムのオブジェクト・チャネル（たとえば、ユーザー選択可能なオーディオ・オブジェクト・チャネル）を示すオーディオ・サンプルのストリームおよびオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）の対応するストリーム。

オブジェクト処理サブシステム９は、（デコーダ７から）送達されたプログラムのデコードされたスピーカー・チャネル、オブジェクト・チャネルおよびオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）を、そして任意的には該プログラムの（少なくとも一つの他のオブジェクト・チャネルを示す）少なくとも一つのサイド混合をも受領するよう結合されている。たとえば、サブシステム９は、（デコーダ７から）プログラムのスピーカー・チャネルおよびプログラムの少なくとも一つのオブジェクト・チャネルのオーディオ・サンプルならびにプログラムのオブジェクト関係メタデータを受領してもよく、（送達サブシステム５から）（デコーダ７におけるデコードを受けていない）プログラムの少なくとも一つの他のオブジェクト・チャネルのオーディオ・サンプルを受領してもよい。

サブシステム９は、レンダリング・サブシステム１１に、プログラムによって示されるオブジェクト・チャネルの完全な集合の選択された部分集合および対応するオブジェクト関係メタデータを出力するよう結合され、構成される。オブジェクト・チャネルの選択された部分集合は、少なくとも部分的にはプログラムの条件付きレンダリング・メタデータによって決定されてもよい。サブシステム９はまた、典型的には、デコーダ７からのデコードされたスピーカー・チャネルを不変のまま（サブシステム１１）に素通りさせるよう構成され、それに呈されたオブジェクト・チャネル（および／またはメタデータ）の少なくとも一部を処理してサブシステム１１に呈するオブジェクト・チャネルおよびメタデータを生成するよう構成されていてもよい。

サブシステム９によって実行されるオブジェクト・チャネル選択は典型的には、（コントローラ１０からサブシステム９に呈される制御データによって示される）ユーザー選択（単数または複数）および／またはサブシステム９が実装するようプログラムされているまたは他の仕方で（たとえば条件付きレンダリング・メタデータに応答して）構成されている規則（たとえばプログラムの条件付きレンダリング・メタデータによって決定される、条件および／またはダウンミックス制約条件または他のレンダリング制約条件を示す規則）によって決定される。そのような規則は、プログラムの条件付きレンダリング・メタデータおよび／または他のオブジェクト関係メタデータによっておよび／または（たとえばコントローラ１０または他の外部源から）サブシステム９に呈される他のデータ（たとえば再生システムのスピーカー・アレイの機能および構成を示すデータ）によっておよび／またはサブシステムを事前構成する（たとえばプログラムする）ことによって、決定されうる。いくつかの実施形態では、コントローラ１０は（コントローラ１０によって実装されるユーザー・インターフェースを介して）ユーザーに、スピーカー・チャネル・コンテンツ（すなわち、ベッド・スピーカー・チャネルおよび／または置換スピーカー・チャネルのコンテンツ）およびオブジェクト・チャネル・コンテンツ（オブジェクト）の選択可能な諸「プリセット」混合のメニューまたはパレットを提供する（たとえば、タッチスクリーン上に表示する）。選択可能なプリセット混合は、プログラムのオブジェクト関係メタデータによって、および典型的にはサブシステム９によって実装される規則（たとえば、プログラムの条件付きレンダリング・メタデータによって決定される規則および／またはサブシステム９が実装するよう事前構成されている規則）にもよって、決定されてもよい。ユーザーは、コントローラ１０にコマンドを入力することによって（たとえばそのタッチスクリーンを作動させることによって）選択可能な混合のうちから選択をし、応答して、コントローラ１０は対応する制御データをサブシステム９に呈して、本発明に基づく対応するコンテンツのレンダリングを引き起こす。

図５のレンダリング・サブシステム１１は、再生システムの再生スピーカー・アレイ１３による再生のために、サブシステム９の出力によって決定されたオーディオ・コンテンツをレンダリングするよう構成される。サブシステム１１は、アレイ１３の再生スピーカー・アレイ構成（たとえば、アレイ１３のスピーカーの数、アレイ１３の各スピーカーの型（たとえば、フルレンジかサブウーファーか）および再生環境中のアレイ１３の各スピーカーの（たとえば、床の平面または聴取者の耳の想定される位置の平面におけるまたは該平面の上方の）公称上のまたは想定される位置）の知識をもつ（たとえば、それを示すデータを与えられている）。サブシステム１１は、選択された各オブジェクトに関連付けられている、サブシステム９から出力されたレンダリング・パラメータ（たとえば空間位置およびレベルのユーザー選択されたおよび／またはデフォルトの値）を使って、オブジェクト処理サブシステム９によって選択されたオブジェクト・チャネル（単数または複数）によって決定されたオーディオ・オブジェクト（単数または複数）（たとえば、デフォルト・オブジェクトおよび／またはコントローラ１０を使ったユーザー対話の結果として選択されたユーザー選択されたオブジェクト）を利用可能なスピーカー・チャネルにマッピングするよう構成される。レンダリング・パラメータの少なくともいくつかは、サブシステム９から出力されるオブジェクト関係メタデータによって決定される。レンダリング・システム１１は、サブシステム９によって素通しされたスピーカー・チャネルをも受領する。典型的には、サブシステム１１は知的な混合器であり、アレイ１３の利用可能なスピーカーについてのスピーカー・フィードを決定するよう構成されている。該決定は、一つまたは複数の選択された（たとえばデフォルト選択された）オブジェクトをいくつかの個々のスピーカー・チャネルのそれぞれにマッピングして、それらのオブジェクトをプログラムの各対応するスピーカー・チャネル（たとえば、プログラムのスピーカー・チャネルのベッドの各スピーカー・チャネル）によって示されるスピーカー・チャネル・コンテンツと混合することによることを含む。典型的には、サブシステム１１は、サブシステム９からそれに呈されたオーディオ・チャネル（たとえば、スピーカー・チャネルおよび少なくとも一つのオブジェクト・チャネル）のダウンミックス（Nが正の整数であるとして、N個のダウンミックスされたスピーカー・チャネルの集合からなる）をレンダリングし、ダウンミックスされたスピーカー・チャネルからN個のスピーカー・フィードを生成し、該スピーカー・フィードを用いてスピーカーを駆動することにより再生スピーカー・アレイ１３のN個のスピーカーに、音を発させるよう構成される。ここで、ダウンミックスは、コンテンツがレンダリングされるプログラムの条件付きレンダリング・メタデータによって示される少なくとも一つの（たとえばそれぞれの）ダウンミックス制約条件に従う。

本発明の典型的な実施形態に基づいて（たとえば図５のユニット３によって）生成されるオブジェクト・ベース・オーディオ・プログラムは、（たとえば図５の再生サブシステムまたは図６のシステムによって）レンダリングされて、再生スピーカー・アレイによって再生されるプログラムの（オブジェクト・チャネルおよび／またはスピーカー・チャネルの）ダウンミックスされたコンテンツを示す音が、音再生（プレイバック）環境内の種々の見かけの源位置から発していると知覚されるようにしてもよい。対話的な呈示のために、選択可能なオブジェクト・チャネルの選択可能なものによって決定されるオブジェクトは、レンダリングされる音場内の諸位置（たとえば選択されたオブジェクトの集合のうちの異なるオブジェクトに対応する異なる静的な位置の集合）でレンダリングされ、それにより、選択された各オブジェクト・チャネルのオーディオ・コンテンツは、選択されたオブジェクト・チャネルに対応するオブジェクト関係メタデータによって決定される見かけの源位置（または位置の軌跡）から発しているように知覚されるようレンダリングされる。たとえば、オブジェクト・ベース・オーディオ・プログラムから決定される没入的な音混合は、（プログラムの選択されたオブジェクト・チャネルによって決定される）「公共アナウンス」オーディオ・オブジェクトを示す音を示してもよい。それにより、聴取者の上に取り付けられた公共アナウンス・ラウドスピーカーからアナウンスが発される間、スタジアムにいる経験を聴取者（消費者）に与えるよう、再生環境内の想定される聴取者位置の上方の見かけの源位置から発していると知覚される。そのような公共アナウンス・オーディオ・オブジェクトは、「床」平面より上の水平面（時に「床上方」または「高さ」平面と称される）に物理的に位置される少なくとも一つの床上方スピーカーを含むスピーカー・アレイによるレンダリングおよび再生のために選択されうる。ここで、「床」平面は、聴取者の耳の期待される位置を公称上含む水平面である。典型的には、再生スピーカー・アレイの他のスピーカーが床平面内に公称上位置される。

オーディオ・オブジェクト（たとえば、先の例の公共アナウンス・オーディオ・オブジェクト）がオブジェクト・ベース・オーディオ・プログラムの離散的オブジェクト・チャネルによって決定され、プログラムの対応するメタデータが、オブジェクト・チャネルが選択される（そしてレンダリングおよび再生される）ときにそこから対応する音が発していると知覚されるべき床上方源位置（または床上方源位置の軌跡）を示すとき、そのオーディオ・オブジェクトを「床上方」（または「高さ」）オブジェクトと称し、床上方オブジェクトを示すオブジェクト・チャネルを「床上方」（または「高さ」）オブジェクト・チャネルと称する。床上方オーディオ・オブジェクトは典型的には、結果として得られる音が再生システム・スピーカー・アレイの少なくとも一つの床上方（または「高さ」）スピーカーから発されるよう、レンダリングおよび再生される。

再生システム・スピーカー・アレイに床上方（「高さ」）スピーカーが存在しない場合、（上述した型の）伝統的なダウンミックス技法が、選択された「床上方」オブジェクト・チャネルのコンテンツをプログラムのスピーカー・チャネルのコンテンツとダウンミックスするために用いられることができる（ここで、スピーカー・チャネル・コンテンツは、再生スピーカー・アレイの床スピーカーによって再生されることが意図されている）。それにより、結果として得られるダウンミックスされた音は、再生スピーカー・アレイの床スピーカーだけから放出される。しかしながら、床上方オブジェクト・チャネルのコンテンツがスピーカー・チャネルのコンテンツ中にダウンミックスされるため、該ダウンミックスは、響きの悪い混合を生じるという望ましくない結果になる（たとえば、床上方コンテンツがもとのスピーカー・チャネル・コンテンツに干渉するものとして知覚される）。

あるクラスの実施形態では、オブジェクト・ベース・オーディオ・プログラム（たとえば、図３のユニット３によって生成されるオブジェクト・ベース・オーディオ・プログラム）は、プログラムの少なくとも一つのオブジェクト・チャネル（たとえば床上方オブジェクト・チャネル）に対応する条件付きレンダリング・メタデータ（conditional rendering metadata）を含む。こうして、そのような各オブジェクト・チャネルによって示される各オーディオ・オブジェクトは、対応する条件付きレンダリング・メタデータをもつ。たとえば、いくつかの実施形態では、対応する条件付きレンダリング・メタデータをもつオーディオ・オブジェクトは床上方オブジェクトであってもよい。条件付きレンダリング・メタデータは、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件（少なくとも一つのダウンミックス制約条件）を示すオブジェクト関係メタデータであり、この条件は対応する各オブジェクト・チャネルに当てはまる（すなわち、各オブジェクト・チャネルが条件付きレンダリング・メタデータに対応する）。そのようなレンダリング制約条件の例は、再生スピーカー・アレイ構成が特定の型であるときの、対応するオブジェクト・チャネルのダウンミックスの禁止である。再生システム（その再生スピーカー・アレイがこの特定の型であることを知っている）は、オブジェクト・チャネルの、プログラムのスピーカー・チャネルへのいかなるダウンミックスの実装も防止することにより、該条件付きレンダリング・メタデータに応答して動作するよう構成されてもよい（たとえば、事前構成設定されるまたはプログラムのメタデータに応答して構成される）。そのようなダウンミックス制約条件のもう一つの例は、再生スピーカー・アレイ構成が特定の型であるときに、対応するオブジェクト・チャネルを含む少なくとも一つの許されるダウンミックス（またはダウンミックスの型）の指示である。

第三の例では、条件付きレンダリング・メタデータは、対応するオブジェクト・チャネルが第一の型である（たとえば、オブジェクト・チャネルが床上方オブジェクトを示す）ことを示してもよく、再生スピーカー・アレイ構成が第二の型であるとき（たとえば、アレイが床上方スピーカーを含まないとき）、当該プログラムの第一の型であるオブジェクト・チャネルは、その再生スピーカー・アレイのどのスピーカーを駆動するために意図されているスピーカー・チャネルにもダウンミックスされなくてもよい。当該プログラムがこの型の条件付きレンダリング・メタデータを含むとして、再生スピーカー・アレイが第二の型であることを知っている再生システム（たとえば図６のシステムまたは図５の再生サブシステム）は、オブジェクト・チャネルが第一の型であることを認識し、そのオブジェクト・チャネルの、再生スピーカー・アレイのどのスピーカーを駆動するために意図されたスピーカー・チャネル（プログラムのコンテンツのユーザー選択された混合によって指定される）へのダウンミックスの実装も防止することによって、条件付きレンダリング・メタデータに応答して動作するよう構成されてもよい（たとえば事前構成設定されるまたはプログラムのメタデータに応答して構成される）。この場合、再生システムは、（たとえば図５のコントローラ１０または図６のコントローラ２３の表示画面上に通知を表示することによって）選択された混合が利用可能でないことをユーザーに通知するよう構成されていてもよい。やはりプログラムがこの型の条件付きレンダリング・メタデータを含むとして、（再生スピーカー・アレイが第二の型でないことを知っている）再生システムは、オブジェクト・チャネルが第一の型であることを認識し、そのオブジェクト・チャネルの、再生スピーカー・アレイのあるスピーカーを駆動するために意図されたスピーカー・チャネル（プログラムのコンテンツのユーザー選択された混合またはデフォルト混合によって指定される）へのダウンミックスを実装することによって、条件付きレンダリング・メタデータに応答して動作するよう構成されてもよい。

任意的に、前記条件付きレンダリング・メタデータは、プログラムのオーディオ・チャネルをレンダリングするための（たとえばプログラムのオーディオ・チャネルのダウンミックスを実装するための）、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則（たとえば少なくとも一つのダウンミックス規則）をも示す。たとえば、前記条件付きレンダリング・メタデータは次のダウンミックス規則を示してもよい：
第一の型（たとえば、プログラムの少なくとも一部の条件付きレンダリング・メタデータによって示される）の当該プログラムの各オブジェクト・チャネルは、再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含む場合には、プログラムのコンテンツの、任意のユーザー選択される（またはデフォルトの）混合によって指定される任意のスピーカー・チャネルにダウンミックスされるべきであり、
前記第一の型の当該プログラムの各オブジェクト・チャネルは、再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含まない場合には、再生システムによって無視されるべきであり（すなわち、いかなるダウンミックスにも含められるべきではない）、
第二の型（たとえば、プログラムの少なくとも一部の条件付きレンダリング・メタデータによって示される）の当該プログラムの各オブジェクト・チャネルは、再生スピーカー・アレイの構成に関わりなく、プログラムのチャネルのコンテンツの、任意のユーザー選択される（またはデフォルトの）混合によって指定される任意のスピーカー・チャネルにダウンミックスされるべきである。

あるクラスの実施形態では、本発明は、スピーカー・アレイ（たとえば、図５の再生スピーカー・アレイ１３）による再生のためのオブジェクト・ベース・オーディオ・プログラムを生成する方法であって、該方法は、
少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータを（たとえば図５のユニット３において）生成する段階であって、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成（たとえば、再生スピーカー・アレイ１３の構成）に基づく少なくとも一つのレンダリング制約条件（たとえば少なくとも一つのダウンミックス制約条件）を示す、段階と；
前記少なくとも一つのオブジェクト・チャネルを（任意的には少なくとも一つのスピーカー・チャネルも）含むオーディオ・チャネルの集合を（たとえば図５のユニット３において）決定する段階と；
前記オブジェクト・ベース・オーディオ・プログラムがオーディオ・チャネルの前記集合および前記条件付きレンダリング・メタデータを示すよう、かつオーディオ・チャネルの前記集合の少なくとも一つのオーディオ・チャネルのコンテンツが、前記条件付きレンダリング・メタデータの少なくとも一部に応答して再生システムによって前記少なくとも一つのレンダリング制約条件に従う仕方でレンダリング可能であるよう、前記オブジェクト・ベース・オーディオ・プログラムを（図５のユニット３において）生成する段階とを含む、
方法である。

前記条件付きレンダリング・メタデータの例は、再生スピーカー・アレイ構成が特定の型であるときの、対応するオブジェクト・チャネルのダウンミックスの禁止である。前記条件付きレンダリング・メタデータによって示される（ダウンミックス制約条件である）レンダリング制約条件のもう一つの例は、再生スピーカー・アレイ構成が特定の型であるときに、対応するオブジェクト・チャネルを含む少なくとも一つの許されるダウンミックス（またはダウンミックスの型）の指示である。任意的に、前記条件付きレンダリング・メタデータは、プログラムのオーディオ・チャネルのダウンミックスを実装するために、再生スピーカー・アレイ構成に基づく少なくとも一つのダウンミックス規則をも示す。

他の実施形態では、本発明は、オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする方法であって、前記プログラムは、少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータと、前記少なくとも一つのオブジェクト・チャネルを（および任意的には少なくとも一つのスピーカー・チャネルも）含むオーディオ・チャネルの集合とを示し、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件（たとえば少なくとも一つのダウンミックス制約条件）を示し、当該方法は：
（ａ）前記オブジェクト・ベース・オーディオ・プログラムをオーディオ処理ユニット（たとえば、図５の再生サブシステムを実装するオーディオ処理ユニットであって、デコーダ７、オブジェクト処理サブシステム９、コントローラ１０およびレンダリング・サブシステム１１を有するものまたは図６の再生システムを実装するオーディオ処理ユニット）に提供する段階と；
（ｂ）前記オーディオ処理ユニットにおいて（たとえば、図５のデコーダ７または図６のデコーダ２０において）、前記条件付きレンダリング・メタデータおよびオーディオ・チャネルの前記集合をパースして、オーディオ・チャネルの前記集合の少なくとも一つのオーディオ・チャネルのコンテンツを、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、前記少なくとも一つのレンダリング制約条件に従う仕方で（たとえば、図５のサブシステム９および１１または図６のサブシステム２４において）レンダリングする段階とを含む、
方法である。

いくつかのそのような実施形態では、段階（ｂ）は、オーディオ・チャネルの前記集合の少なくとも一つのオブジェクト・チャネルを（たとえば、図６のサブシステム２２において）選択し、前記集合の選択された各オブジェクト・チャネルを前記集合の少なくとも一つのスピーカー・チャネルと（たとえば、図６のサブシステム２４において）混合して、前記ダウンミックスを生成する段階を含む。典型的には、ダウンミックスはN個のダウンミックスされたスピーカー・チャネルの集合からなり、Nは正の整数であり、段階（ｂ）は、再生スピーカー・アレイのN個のスピーカーに、ダウンミックスされたスピーカー・チャネルから生成されるスピーカー・フィードでそれらのスピーカーを駆動することによって音を発させる段階を含む。

前記条件付きレンダリング・メタデータの例は、再生スピーカー・アレイ構成が特定の型であるときの、対応するオブジェクト・チャネルのダウンミックスの禁止である。前記条件付きレンダリング・メタデータによって示されるダウンミックス制約条件のもう一つの例は、再生スピーカー・アレイ構成が特定の型であるときに、対応するオブジェクト・チャネルを含む少なくとも一つの許されるダウンミックス（またはダウンミックスの型）の指示である。任意的に、前記条件付きレンダリング・メタデータは、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則（たとえば、少なくとも一つのダウンミックス規則）をも示し、段階（ｂ）で実行されるレンダリングは該レンダリング規則に従う。

下記の表１は、再生スピーカー・アレイ構成に基づく、ダウンミックスにおけるオーディオ・オブジェクト配置と、再生スピーカー・アレイ構成に基づくダウンミックスの型の有効化との例を示している。これは、オブジェクト・ベース・オーディオ・プログラム中の条件付きレンダリング・メタデータによって示されてもよい。表１では、列はプログラムの（よってプログラムによって示されるオーディオ・オブジェクトの）種々のオーディオ・オブジェクト・チャネルを表わし、行はダウンミックスを実行する再生システムの種々の再生スピーカー・アレイ構成を示している。

表１において、プログラムは、二つのチームが競合するスポーツ・イベントにおいて捕捉されたオーディオを示し、（表１に示される）少なくとも以下のオブジェクト・チャネルを含む：環境チャネル（イベントにおいて捕捉された環境コンテンツを示す）；どちらのチームのひいきにも偏っていないコメンタリーを示すメイン・コメンタリー・チャネル（「Main Comm.」）；ホーム・チームをひいきするよう偏っているコメンタリーを示す第二のコメンタリー・チャネル（「Home Comm.」）；アウェー・チームをひいきするよう偏っているコメンタリーを示す第三のコメンタリー・チャネル（「Away Comm.」）；および公共アナウンス・オーディオを示す公共アナウンス・チャネル（「P.A.」）。公共アナウンス・チャネルの公共アナウンス・コンテンツは、再生スピーカー・アレイの床上方スピーカーによってレンダリングされることが意図されている（それにより、結果として発される音は、想定される聴取者の位置の上方の見かけの源位置から発しているように知覚される）。メイン・コメンタリー、第二のコメンタリーおよび第三のコメンタリー・チャネルのそれぞれは、再生スピーカー・アレイの左サラウンドおよび右サラウンド床スピーカーによってレンダリングされることが意図される（それにより、発される音が発していると知覚されるそれぞれの見かけの源位置が公称上聴取者の耳の平面内になる）。環境チャネルは、再生スピーカー・アレイのすべてのスピーカー（すなわち、すべての利用可能な床スピーカーおよび床上方スピーカー）によってレンダリングされることが意図されている。

この例では、条件付きレンダリング・メタデータは、再生スピーカー・アレイがステレオ・スピーカー・アレイ（左（L）床スピーカーおよび右（R）床スピーカーのみからなる）であるとき、ステレオ・スピーカーを駆動するための左右のダウンミックス・チャネルを生成するために、環境オブジェクト・チャネルおよび／またはメイン・コメンタリー・オブジェクト・チャネルはプログラムの他のオーディオ・コンテンツとダウンミックスされてもよい（だが公共アナウンス・チャネルのコンテンツとはだめ）ことを示す。条件付きレンダリング・メタデータは、再生スピーカー・アレイがステレオ・スピーカー・アレイであるとき、公共アナウンス・オブジェクト・チャネルがプログラムの他のオーディオ・コンテンツとダウンミックスされるべきではないことをも示す（すなわち、条件付きレンダリング・メタデータは、公共アナウンス・オブジェクト・チャネルのコンテンツのダウンミックスを防止する規則を確立する）。

この例では、条件付きレンダリング・メタデータは、再生スピーカー・アレイが5.1スピーカー・アレイ（そのフル周波数レンジ・スピーカーは左（L）、中央（C）、右（R）、左サラウンド（Ls）および右サラウンド（Rs）床スピーカーである）であるとき、メイン・コメンタリー・オブジェクト・チャネルはアレイのLsおよびRs床スピーカーを駆動するための左サラウンドおよび右サラウンドのダウンミックス・チャネルを生成するために、プログラムの他のオーディオ・コンテンツとダウンミックスされてもよい（だが公共アナウンス・チャネルのコンテンツとはだめ）ことを示す。条件付きレンダリング・メタデータはまた、再生スピーカー・アレイが5.1スピーカー・アレイであるとき、環境オブジェクト・チャネルはアレイのL、R、C、LsおよびRs床スピーカーを駆動するための左、右、中央、左サラウンドおよび右サラウンドのダウンミックス・チャネルを生成するために、プログラムの他のオーディオ・コンテンツとダウンミックスされてもよい（だが公共アナウンス・チャネルのコンテンツとはだめ）ことを示す。条件付きレンダリング・メタデータは、再生スピーカー・アレイが5.1スピーカー・アレイであるとき、公共アナウンス・オブジェクト・チャネルがプログラムの他のオーディオ・コンテンツとダウンミックスされるべきではないことをも示す（すなわち、条件付きレンダリング・メタデータは、公共アナウンス・オブジェクト・チャネルのコンテンツのダウンミックスを防止する規則を確立する）。

この例では、条件付きレンダリング・メタデータは、再生スピーカー・アレイが5.1.4スピーカー・アレイ（そのフル周波数レンジ・スピーカーは左（L）、中央（C）、右（R）、左サラウンド（Ls）および右サラウンド（Rs）床スピーカーおよび四つの「高さ」スピーカーである）であるとき、メイン・コメンタリー・オブジェクト・チャネルは左サラウンドおよび右サラウンド床スピーカーを駆動するための左サラウンドおよび右サラウンドのダウンミックス・チャネルを生成するために、プログラムの他のオーディオ・コンテンツとダウンミックスされてもよい（だが公共アナウンス・チャネルのコンテンツとはだめ）ことを示す。条件付きレンダリング・メタデータはまた、再生スピーカー・アレイが5.1.4スピーカー・アレイであるとき、環境オブジェクト・チャネルはアレイのL、R、C、LsおよびRs床スピーカーおよび四つの高さスピーカーを駆動するための左、右、中央、左サラウンド、右サラウンドおよび四つの高さダウンミックス・チャネルを生成するために、プログラムの他のオーディオ・コンテンツとダウンミックスされてもよい（だが公共アナウンス・チャネルのコンテンツとはだめ）ことを示す。条件付きレンダリング・メタデータは、再生スピーカー・アレイが5.1.4スピーカー・アレイであるとき、公共アナウンス・オブジェクト・チャネルがプログラムの他のオーディオ・コンテンツとダウンミックスされて床スピーカー・ダウンミックス・チャネルにされるべきではないことをも示す（すなわち、条件付きレンダリング・メタデータは、公共アナウンス・オブジェクト・チャネルのコンテンツの、ダウンミックスの床チャネルへのダウンミックスを防止する規則を確立する）。該条件付きレンダリング・メタデータは、再生スピーカー・アレイの高さスピーカーを駆動するための高さダウンミックス・チャネルを生成するためには、公共アナウンス・オブジェクト・チャネルがプログラムの他のオーディオ・コンテンツ（たとえば、別の高さオブジェクト・チャネルのコンテンツ）とダウンミックされることを防止するいかなる規則も確立しない。

本発明の典型的な実施形態によれば、（利用可能な再生スピーカー・アレイ構成の知識を前提とした）プログラムに含まれる条件付きレンダリング・メタデータに応答してのオブジェクト・ベース・オーディオ・プログラムのオブジェクト・チャネル・コンテンツの条件付きレンダリングは、特定の再生スピーカー・アレイ構成が与えられたときに利用可能なレンダリング・オプション（たとえばダウンミックス・レンダリング・オプション）のメニューからのユーザー選択を許容する。たとえば、再生スピーカー・アレイが5.1チャネル構成における床スピーカーのみからなることを与えられたとき、メニューは、以下のオプションを含む少数の選択可能なダウンミックス・レンダリング・オプションを含んでいてもよい：「ホーム・チーム・コメンタリー」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリー」ダウンミックス、「アウェー・チーム・コメンタリー」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「アウェー・チーム・コメンタリー」ダウンミックス、「ホーム・チーム・コメンタリー」オブジェクトおよび「ホーム・チーム群衆ノイズ」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリーおよびホーム・チーム群衆ノイズ」ダウンミックス。

もう一つの例として、再生スピーカー・アレイが（たとえば5.1チャネル構成における）床スピーカーおよび一組の高さ（床上方）スピーカーからなることを与えられたとき、メニューは、以下のオプションを含む、より多数の選択可能なダウンミックス・レンダリング・オプションを含んでいてもよい：「ホーム・チーム・コメンタリー」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリー」床ダウンミックス（アレイの床スピーカーのみを駆動するため）、「アウェー・チーム・コメンタリー」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「アウェー・チーム・コメンタリー」床ダウンミックス（アレイの床スピーカーのみを駆動するため）、「ホーム・チーム・コメンタリー」オブジェクトおよび「ホーム・チーム群衆ノイズ」オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリーおよびホーム・チーム群衆ノイズ」床ダウンミックス（アレイの床スピーカーのみを駆動するため）および「ホーム・チーム・コメンタリー」オブジェクト、「ホーム・チーム群衆ノイズ」オブジェクトおよび公共アナウンス・オブジェクトとダウンミックスされたスピーカー・チャネルのベッドのコンテンツを含む「ホーム・チーム・コメンタリーおよびホーム・チーム群衆ノイズおよび公共アナウンス」ダウンミックス（アレイの全スピーカーを駆動するため。ただし、公共アナウンス・オブジェクト・チャネルのコンテンツはアレイの床上方スピーカーを駆動するダウンミックス・スピーカー・フィードにのみ含まれ、ダウンミックスの他のすべてのコンテンツはアレイの床スピーカーを駆動するダウンミックス・スピーカー・フィードにのみ含まれる）。

レンダリング・オプションのメニューは、コントローラのユーザー・インターフェース（たとえば、図５のコントローラ１０または図６のコントローラ２３によって実装されるユーザー・インターフェース）によってユーザーに提示されてもよく、コントローラは、オブジェクト・ベース・プログラムを（少なくとも部分的に）デコードおよびレンダリングするよう構成されたセットトップデバイス（または他の装置）に結合されていてもよい。プログラムに含まれるメタデータ（条件付きレンダリング・メタデータを含む）は、プログラムによって示されるどのオブジェクト（単数または複数）がレンダリングされるべきかについておよびダウンミックスされたコンテンツの結果として得られるチャネルがレンダリングされることができるようレンダリングされるべきオブジェクトがプログラムの他のコンテンツとどのようにダウンミックスされるべきかについて、一組のオプションのうちからのユーザー選択を許容してもよい。

いくつかの実施形態では、（一組の可能な再生スピーカー・アレイ構成のうちの）特定の対応する構成をもつ再生スピーカー・アレイの利用可能性が与えられて、条件付きレンダリング・メタデータは、ユーザーによって選択可能な（プログラムのオーディオ・コンテンツの）各選択可能ダウンミックス（たとえば、ダウンミックス・レンダリング・オプションのメニューによって示される各選択可能なダウンミックス）の少なくとも以下の属性を指定する：
存在（すなわち、各オブジェクト・チャネルについて、そのオブジェクト・チャネルが対応する構成をもつ再生スピーカー・アレイによるレンダリングのためのダウンミックス中に存在するべきかどうかについての指示）；
音場内での位置（すなわち、対応する構成をもつ再生スピーカー・アレイによるレンダリングのためのダウンミックス中に含められるべき各オブジェクト・チャネルについて、当該ダウンミックスによって決定されるスピーカー・フィードが利用可能なスピーカーを駆動するときに、そこから対応する音が発していると知覚されるべき見かけの空間位置の指示）；
利得（すなわち、対応する構成をもつ再生スピーカー・アレイによるレンダリングのためのダウンミックス中に含められるべき各オブジェクト・チャネルについて、ダウンミックスを生成するときに対応するオーディオ・サンプルに適用されるべき利得の指示）；
効果（すなわち、対応する構成をもつ再生スピーカー・アレイによるレンダリングのためのダウンミックス中に含められるべき各オブジェクト・チャネルについて、ダウンミックスを生成するときに対応するオーディオ・サンプルに適用されるべき特殊効果処理（もしあれば）の各型の指示。そのような処理の例は、発散処理および残響適用を含むがそれに限定されない）。

本発明の諸側面は下記を含む。

条件付きレンダリング・メタデータを（たとえばオーサリング・システムまたはコンテンツ生成施設において）生成し、該メタデータをオブジェクト・ベース・オーディオ・プログラムに含めるための方法およびシステム（たとえば、本発明のプログラム生成システム（たとえば図５のユニット３）のいくつかの実施形態は、オブジェクト・ベース・オーディオ・プログラムに含めるために条件付きレンダリング・メタデータを定義し、生成するようオーサリング・ソフトウェアを実行するまたは他の仕方でオーサリング・ツールを使用するようプログラムされるまたは他の仕方で構成される）。および、
オブジェクト・ベース・オーディオ・プログラムをデコードする（プログラムの条件付きレンダリング・メタデータをパースすることによることを含む）および／またはオブジェクト・ベース・オーディオ・プログラムのコンテンツをレンダリングする（条件付きレンダリング・メタデータをパースして、該条件付きレンダリング・メタデータに従ってプログラム・コンテンツのダウンミックスを実行することによることを含む）、ための方法およびシステム（たとえばデコーダおよび再生システム）。

いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムの（条件付きレンダリング・メタデータを含む）オブジェクト関係メタデータは、選択可能な経験定義の集合を示す選択可能なコンテンツ・メタデータを含む（またはそれからなる）。各経験定義は、プログラムのオーディオ・コンテンツの選択可能な、あらかじめ決定された（「プリセット」）混合である（たとえば、少なくとも一つのオブジェクト・チャネルおよび少なくとも一つのスピーカー・チャネルのコンテンツの混合）。各プリセット混合は、レンダリング・パラメータ（たとえば、レンダリングされるオブジェクトの空間位置）のあらかじめ決定された集合をもつ。プリセット混合は、再生システムのユーザー・インターフェース（たとえば、図５のコントローラ１０または図６のコントローラ２３によって実装されるユーザー・インターフェース）によって、利用可能な混合の限られたメニューまたはパレットとして呈示されてもよい。任意的に、プログラムの（条件付きレンダリング・メタデータを含む）オブジェクト関係メタデータは、プログラムのスピーカー・チャネルおよびオブジェクト・チャネルの選択された混合（たとえばあらゆる選択可能な混合）を示す層構成の混合グラフを示すメタデータを含む。

図６は、デコーダ２０、オブジェクト処理サブシステム２２、空間的レンダリング・サブシステム２５、コントローラ２３（これがユーザー・インターフェースを実装する）および任意的にはデジタル・オーディオ処理サブシステム２５、２６および２７をも図のように結合されて含んでおり、本発明の方法の実施形態を実行するよう実装されることのできる再生システムの実施形態のブロック図である。いくつかの実装では、図６のシステムの要素２０、２２、２４、２５、２６、２７、２９、３１および３３はセットトップデバイスとして実装される。

図６のシステムでは、デコーダ２０は、オブジェクト・ベース・オーディオ・プログラム（またはオブジェクト・ベース・オーディオ・プログラムのメイン混合）を示すエンコードされた信号を受領し、デコードするよう構成される。典型的には、本発明のある実施形態によれば、プログラム（たとえばプログラムのメイン混合）は、少なくとも二つのスピーカー・チャネルのベッドを含むオーディオ・コンテンツ、少なくとも一つのユーザー選択可能なオブジェクト・チャネルおよび各オブジェクト・チャネルに対応するオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）を示す。各オブジェクト・チャネルは、オーディオ・オブジェクトを示し、よって、オブジェクト・チャネルは本稿では時に便宜上「オブジェクト」と称される。ある実施形態では、プログラムは、オーディオ・オブジェクト、オブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）、スピーカー・チャネルのベッドおよび任意的には選択可能な置換スピーカー・チャネルを示すAC-3またはE-AC-3ビットストリームである（またはかかるビットストリームであるメイン混合を含む）。典型的には、個々のオーディオ・オブジェクトはモノまたはステレオ符号化され（すなわち、各オーディオ・オブジェクト・チャネルはオブジェクトの左または右チャネルを示すまたはオブジェクトを示すモノフォニック・チャネルである）、ベッドは伝統的な5.1混合であり、デコーダ２０は同時にオーディオ・コンテンツの（ベッドの六つのスピーカー・チャネルおよび置換スピーカー・チャネルおよびオブジェクト・チャネルを含む）16個までのチャネルのオーディオ・コンテンツをデコードするよう構成されていてもよい。

本発明の再生システムのいくつかの実施形態では、はいってくるE-AC-3（またはAC-3）エンコードされたビットストリームの各フレームは、一つまたは複数のメタデータ「コンテナ」を含む。はいってくるビットストリームは、オブジェクト・ベース・オーディオ・プログラムまたはそのようなプログラムのメイン混合を示し、プログラムのスピーカー・チャネルは、通常のE-AC-3（またはAC-3）ビットストリームのオーディオ・コンテンツのように編成される。一つのコンテナがフレームのAuxフィールドに含まれることができ、別のコンテナはフレームのaddbsiフィールドに含まれることができる。各コンテナはコア・ヘッダをもち、一つまたは複数のペイロードを含む（または一つまたは複数のペイロードに関連付けられる）。（Auxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）一つのそのようなペイロードは、（やはり当該プログラムによって示されるスピーカー・チャネルのベッドに関係する）オブジェクト・チャネルの一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）との組であってもよい。そのようなペイロードでは、オブジェクト・チャネル（および関連付けられたメタデータ）のうちの一部または全部のサンプルは標準的なE-AC-3（またはAC-3）フレームとして編成されてもよく、あるいは他の仕方で編成されてもよい（たとえば、E-AC-3またはAC-3ビットストリームとは異なるサイド混合に含まれてもよい）。（addbsiフィールドまたはAuxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）別のそのようなペイロードの例は、当該フレームのオーディオ・コンテンツに関連付けられたラウドネス処理状態メタデータのセットである。

いくつかのそのような実施形態では、デコーダ（たとえば図６のデコーダ２０）は、Auxフィールド内のコンテナのコア・ヘッダをパースし、該コンテナから（たとえばAC-3またはE-AC-3フレームのAuxフィールドから）および／またはコア・ヘッダによって示される位置（たとえばサイド混合）から本発明のオブジェクト・チャネルおよび関連付けられたメタデータを抽出する。ペイロード（オブジェクト・チャネルおよび関連付けられたメタデータ）を抽出したのち、デコーダは、抽出されたペイロードに対して任意の必要なデコードを実行する。

各コンテナのコア・ヘッダは典型的には：当該コンテナに含まれるまたは関連付けられたペイロード（単数または複数）の型を示す少なくとも一つのID値と；サブストリーム関連付け指示（そのコア・ヘッダがどのサブストリームと関連付けられているかを示す）と；保護ビットとを含む。該保護ビット（これはハッシュ・ベースのメッセージ認証コードまたは「HMAC」からなるまたはそれを含むのでもよい）は典型的には、当該コンテナに含まれるまたは関連付けられた少なくとも一つのペイロードに含まれるオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）および／またはラウドネス処理状態メタデータ（および任意的には他のメタデータも）および／またはフレームに含まれる対応するオーディオ・データの解読、認証または有効確認のために有用であろう。サブストリームは「帯域内」（E-AC-3またはAC-3ビットストリーム内）に位置されてもよく、あるいは「帯域外」（たとえばE-AC-3またはAC-3ビットストリームとは別個のサイド混合ビットストリーム内）に位置されてもよい。そのようなペイロードの一つの型は、（やはりプログラムによって示されるスピーカー・チャネルのベッドに関係した）一つまたは複数のオブジェクト・チャネルの各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとの組である。各オブジェクト・チャネルは、別個のサブストリームであり、典型的にはコア・ヘッダにおいて同定される。ペイロードの別の型は、ラウドネス処理状態メタデータである。

典型的には、各ペイロードはそれ自身のヘッダ（または「ペイロード識別子」）をもつ。オブジェクト・レベル・メタデータは、オブジェクト・チャネルである各サブストリームにおいて担持されてもよい。プログラム・レベル・メタデータは、コンテナのコア・ヘッダ内および／または一つまたは複数のオブジェクト・チャネルのオーディオ・サンプル（および各オブジェクト・チャネルに関連付けられたメタデータ）の集合であるペイロードについてのヘッダ内に含まれてもよい。

いくつかの実施形態では、フレームの補助データ（またはaddbsi）フィールド内の各コンテナは三レベルの構造をもつ：
高レベル構造。これは、補助データ（またはaddbsi）フィールドがメタデータを含むかどうかを示すフラグ（ここで、このコンテキストにおける「メタデータ」はオブジェクト・チャネル、オブジェクト関係メタデータおよびビットストリームによって担持されるが、記載される型のいかなるコンテナも欠く通常のE-AC-3またはAC-3ビットストリームには通常担持されない他の任意のオーディオ・コンテンツまたはメタデータを表わす）と、どの型（単数または複数）のメタデータが存在しているかを示す少なくとも一つのID値と、典型的にはまた（メタデータが存在する場合）（たとえば各型の）何ビットのメタデータが存在するかを示す値とを含む。このコンテキストにおいて、メタデータの一つのそのような「型」の例は、オブジェクト・チャネル・データおよび関連付けられたオブジェクト関係メタデータ（すなわち、（やはりプログラムによって示されるスピーカー・チャネルのベッドに関係する）一つまたは複数のオブジェクト・チャネルの各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたメタデータとの組）である。

中間レベル構造。これは、メタデータのそれぞれの同定される型についてのコア要素を含む（たとえば、メタデータのそれぞれの同定される型についての、たとえば上述した型の、コア・ヘッダ、保護値およびペイロードIDおよびペイロード・サイズ値）；および
一つのコア要素について各ペイロードを含む低レベル構造。これは、少なくとも一つのそのようなペイロードがコア要素によって存在していると同定される場合である。そのようなペイロードの例は、やはりプログラムによって示されるスピーカー・チャネルのベッドに関係する）一つまたは複数のオブジェクト・チャネルの各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたメタデータとの組である。そのようなペイロードのもう一つの例は、時にLPSMペイロードと称される、ラウドネス処理状態メタデータ（LPSM: loudness processing state metadata）を含むペイロードである。

そのような三レベル構造におけるデータ値は、ネストされることができる。たとえば、コア要素によって同定されるペイロード（たとえばLPSMペイロード）についての保護値（単数または複数）がコア要素によって同定される各ペイロード後に（よって、該コア要素のコア・ヘッダ後に）含まれることができる。一例では、コア・ヘッダは第一のペイロード（たとえばLPSMペイロード）および別のペイロードを同定することができ、前記第一のペイロードについてのペイロードIDおよびペイロード・サイズは、コア・ヘッダに続くことができ、第一のペイロード自身がIDおよびサイズ値に続くことができ、第二のペイロードについてのペイロードIDおよびペイロード・サイズ値が第一のペイロードに続くことができ、第二のペイロード自身がこれらのIDおよびサイズ値に続くことができ、これらのペイロードの一方または両方についての（またはコア要素値およびこれらのペイロードの一方または両方についての）保護値が最後のペイロードに続くことができる。

再び図６を参照するに、ユーザーは、レンダリングされるべきオブジェクト（オブジェクト・ベース・オーディオ・プログラムによって示される）を選択するためにコントローラ２３を用いる。コントローラ２３は、図６のシステムの他の要素と両立するユーザー・インターフェース（たとえばiPadアプリ）を実装するようプログラムされているハンドヘルド処理装置（たとえばiPad）であってもよい。ユーザー・インターフェースは、ユーザーに対して、オブジェクト、「ベッド」スピーカー・チャネル・コンテンツおよび置換スピーカー・チャネル・コンテンツの選択可能な「プリセット」混合のメニューまたはパレットを提供（たとえばタッチスクリーン上に表示）してもよい。選択可能なプリセット混合は、プログラムのオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）によって、そして典型的にはまた、サブシステム２２が利用可能な再生スピーカー・アレイの構成を知っているとして、サブシステム２２によって実装される規則（たとえばサブシステム２２が実装するようあらかじめ構成されている規則）によって、決定されてもよい。ユーザーは、選択可能な混合のうちから、コントローラ２３にコマンドを入力することによって（たとえば、コントローラ２３のタッチスクリーンを作動させることにより）選択し、応答して、コントローラ２３は対応する制御データをサブシステム２２に呈する。

動作では、デコーダ２０は、プログラムのスピーカー・チャネルのベッドのスピーカー・チャネル（およびプログラムに含まれる任意の置換スピーカー・チャネル）のスピーカー・チャネルをデコードし、サブシステム２２に、デコードされたスピーカー・チャネルを出力する。オブジェクト・ベース・オーディオ・プログラムに応答し、かつレンダリングされるべき当該プログラムのオブジェクト・チャネルのフル・セットのある選択された部分集合を示す、コントローラ２３からの制御データに応答して（ダウンミックスを受けることによることを含め）、デコーダ２０は、（必要であれば）選択されたオブジェクト・チャネルをデコードし、選択された（たとえばデコードされた）オブジェクト・チャネル（そのそれぞれは、パルス符号変調されたまたは「PCM」ビットストリームであってもよい）および選択されたオブジェクト・チャネルに対応するオブジェクト関係メタデータを、サブシステム２２に出力する。

デコーダ２０からのデコードされたスピーカー・チャネル、デコードされたオブジェクト・チャネルおよびデコードされたオブジェクト関係メタデータのほかに、オブジェクト処理サブシステム２２への入力は任意的に、当該システムに（デコーダ２０に呈されたメイン混合のプログラムの一つまたは複数のサイド混合として）呈される外部オーディオ・オブジェクト・チャネルを含む。そのような外部オーディオ・オブジェクト・チャネルによって示されるオブジェクトの例は、ローカル・コメンター（たとえば、ラジオ・チャネルによって送達されるモノフォニック・オーディオ・コンテンツ）、着信スカイプ通話、（図６に示されないテキスト音声化システムによって変換された）着信ツイッター接続およびシステム音を含む。

サブシステム２２は、プログラムによって示されるオブジェクト・チャネルのフル・セットのある選択された部分集合（またはオブジェクト・チャネルの前記フル・セットのある選択された部分集合の処理されたバージョン）およびプログラムの対応するオブジェクト関係メタデータならびにベッド・スピーカー・チャネルおよび／または置換スピーカー・チャネルのうちの選択されたもののセットを出力するよう構成される。オブジェクト・チャネル選択およびスピーカー・チャネル選択は、（コントローラ２３からサブシステム２２に呈される制御データによって示される）ユーザー選択および／またはサブシステム２２が実装するようプログラムされているまたは他の仕方で構成されている（たとえば条件および／または制約を示す）規則によって決定されてもよい。そのような規則は、プログラムのオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）によっておよび／または（たとえばコントローラ２３または別の外部源から）サブシステム２２に呈される（再生システムのスピーカー・アレイの構成（たとえば機能および編成）を示すデータを含む）他のデータによっておよび／またはサブシステム２２を事前に構成する（たとえばプログラムする）ことによって決定されてもよい。いくつかの実施形態では、プログラムのオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）は、（スピーカー・チャネルのベッドおよび／または置換スピーカー・チャネルの）スピーカー・チャネル・コンテンツおよびオブジェクトの選択可能な「プリセット」混合の集合を決定し、サブシステム２２はこのメタデータを使って、オブジェクト・チャネルを選択し、任意的に該オブジェクト・チャネルを処理し、次いでサブシステム２４に呈し、スピーカー・チャネルを選択し、該スピーカー・チャネルをサブシステム２４に呈する。サブシステム２２は典型的には、デコーダ２０からのデコードされたスピーカー・チャネル（ベッド・スピーカー・チャネルおよび典型的には置換スピーカー・チャネルも）の選択された部分集合（たとえば、ベッドの少なくとも一つのスピーカー・チャネルおよび少なくとも一つの置換スピーカー・チャネル）を不変のまま（サブシステム２４）に通過させ、それに呈されたオブジェクト・チャネルの選択されたものを処理する。

サブシステム２２によって実行されるオブジェクト処理（オブジェクト選択を含む）は典型的には、コントローラ２３からの制御データおよびデコーダ２０からのオブジェクト関係メタデータ（そして任意的には、デコーダ２０から以外のサブシステム２２に呈されたサイド混合のオブジェクト関係メタデータ）によって制御され、典型的には、各選択されたオブジェクトについての空間位置およびレベルの決定を含む（オブジェクト選択がユーザー選択またはルール適用による選択のいずれによるものであるかによらない）。典型的には、オブジェクトをレンダリングするためのデフォルトの空間位置およびデフォルトのレベルならびにオブジェクトおよびそのレベル（サブシステム２４において生成されるべきダウンミックスされたチャネル中のレベル）および（そのようなダウンミックスされたチャネルによって示される）空間位置のユーザー選択についての制約が、サブシステム２２に（たとえばデコーダ２０から）呈されるオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）に含まれるまたはそれによって示される。そのような制約は、（ダウンミックスにおける）オブジェクトの禁止される組み合わせまたは選択されたオブジェクトがレンダリングされうる（ダウンミックスされたチャネルによって示される）禁止された空間位置（たとえば選択されたオブジェクトが互いにあまりに近接してレンダリングされることを防ぐため、あるいは特定のオブジェクトが、利用可能な再生スピーカー・アレイを駆動するためのスピーカー・フィードを生成するためにダウンミックスされたチャネルに含められることを防止するため）を示していてもよい。さらに、個々の選択されたオブジェクトのラウドネスは典型的には、コントローラ２３を使って入力される制御データおよび／または（たとえばデコーダ２０からの）オブジェクト関係メタデータによっておよび／またはサブシステム２２の事前構成設定によって示されるデフォルト・レベルに応答して、オブジェクト処理サブシステム２２によって制御される。

典型的には、デコーダ２０によって実行されるデコードは、プログラムによって示される各オブジェクトのオーディオ・コンテンツの型（たとえばプログラムのオーディオ・コンテンツによって示されるスポーツ・イベントの型およびプログラムによって示される選択可能なおよびデフォルトのオブジェクトの名前または他の識別印（たとえばチーム・ロゴ））を示すメタデータの（入力プログラムからの）抽出を含む。コントローラ２３およびオブジェクト処理サブシステム２２はこのメタデータまたは該メタデータによって示される関連情報を受領する。コントローラ２３はまた、ユーザーの再生スピーカー・アレイの構成（たとえばスピーカーの数およびスピーカーの想定される配置または他の想定される編成）に関する情報を受領する（たとえばプログラムされる）。

図６の空間的レンダリング・サブシステム２４（または少なくとも一つの下流の装置またはシステムと一緒のサブシステム２４）は、サブシステム２２から出力されるオーディオ・コンテンツを、ユーザーの再生スピーカー・アレイのスピーカーによる再生のために、レンダリングするよう構成される。任意的に含まれるデジタル・オーディオ処理サブシステム２５、２６および２７の一つまたは複数がサブシステム２４の出力に対する後処理を実装してもよい。

空間的レンダリング・サブシステム２４は、利用可能なスピーカー・チャネルに対して、スピーカー・チャネル・コンテンツ（たとえば、サブシステム２２によって決定され、サブシステム２２を通じてサブシステム２２に渡される、ベッド・スピーカー・チャネルおよび置換スピーカー・チャネルの選択された集合）と、オブジェクト処理サブシステム２２によって選択され（または選択および処理され）サブシステム２４に呈される各オーディオ・オブジェクト・チャネル（たとえば、デフォルト選択されたオブジェクトおよび／またはコントローラ２３を使ったユーザー対話の結果として選択されたユーザー選択されたオブジェクト）のコンテンツとをダウンミックスするよう構成される。該ダウンミックスは、選択された各オブジェクトに関連付けられている、サブシステム２２から出力されたレンダリング・パラメータ（たとえば空間位置およびレベルのユーザー選択されたおよび／またはデフォルトの値）を使って達成される。典型的には、サブシステム２４は、知的な混合器であり、いくつかの個別スピーカー・チャネルのそれぞれに一つ、二つまたは三つ以上の選択されたオブジェクト・チャネルのコンテンツをマッピングし、選択されたオブジェクト・チャネル（単数または複数）を対応する各スピーカー・チャネルによって示されるオーディオ・コンテンツと混合するダウンミックスを実行ことによることを含め、利用可能なスピーカーについてのスピーカー・フィードを決定するよう構成される。

いくつかの実装では、出力（ダウンミックスされた）スピーカー・チャネルの数は2.0から7.1までの間で変わりうる。（選択されたスピーカー・チャネル・コンテンツとのダウンミックスにおける）選択されたオーディオ・オブジェクト・チャネルをレンダリングするために駆動されるスピーカーは、（名目上）再生環境における水平面内に位置していると想定されてもよい。そのような場合、レンダリングは、スピーカーが、それらのスピーカーの面内の相異なるオブジェクト位置（すなわち、それぞれの選択されたまたはデフォルトのオブジェクトについて、一つのオブジェクト位置または軌跡に沿ったオブジェクト位置の一つのシーケンス）から発しているものとして知覚される音が、スピーカー・チャネル・コンテンツによって決定される音と混合されたものを発するよう駆動されることができるように実行される。

さまざまな実施形態において、ダウンミックスされたオーディオをレンダリングするよう駆動されるフルレンジ・スピーカーの数は、広い範囲内の任意の数であることができ（必ずしも2から7の範囲に限定されない）、よって、出力スピーカー・チャネルの数は2.0から7.1の範囲内に限定されない。

いくつかの実施形態では、ダウンミックスされたオーディオをレンダリングするために駆動されるスピーカーは、単に（名目上）水平面内ではなく、再生環境中の任意の位置に位置されると想定される。いくつかのそのような場合において、プログラムに含まれるメタデータは、スピーカーの三次元アレイを使って（三次元体積中の）任意の見かけの空間位置にプログラムの少なくとも一つのオブジェクトをレンダリングするためのレンダリング・パラメータを示す。たとえば、オブジェクト・チャネルは、（該オブジェクト・チャネルによって示される）オブジェクトがレンダリングされるべき見かけの空間位置の三次元的な軌跡を示す対応するメタデータを有していてもよい。軌跡は、「床（floor）」位置（再生環境の床平面に位置されると想定されるスピーカーの部分集合の平面内）のシーケンスおよび「床上方（above-floor）」位置（それぞれ、再生環境の少なくとも一つの他の水平面内に位置されると想定されるスピーカーの部分集合を駆動することによって決定される）のシーケンスを含んでいてもよい。そのような場合、レンダリングは、本発明によれば、スピーカーが、前記軌跡を含む三次元空間内のオブジェクト位置のシーケンスから発しているものとして知覚される音（関連するオブジェクト・チャネルによって決定される音）が、スピーカー・チャネル・コンテンツによって決定される音と混合されたものを発するよう駆動されることができるように実行されることができる。サブシステム２４は、そのようなレンダリングまたはそのステップを実装するよう構成されていてもよく、レンダリングの残りのステップは下流のシステムまたは装置（たとえば図６のレンダリング・サブシステム３５）によって実行されてもよい。

任意的に、デジタル・オーディオ処理（DAP）段（たとえば、いくつかのあらかじめ決定された出力（ダウンミックスされた）スピーカー・チャネル構成のそれぞれについて一つ）が、空間的レンダリング・サブシステムの出力に対して後処理を実行するよう、空間的レンダリング・サブシステム２４の出力に結合される。そのような処理の例は、知的な等化または（ステレオ出力の場合）スピーカー仮想化処理を含む。

図６のシステムの出力（たとえば、空間的レンダリング・サブシステムまたは空間的レンダリング段に続くDAP段の出力）はPCMビットストリーム（これが利用可能なスピーカーについてのスピーカー・フィードを決定する）であってもよい。たとえば、ユーザーの再生システムがスピーカーの7.1アレイを含む場合、システムは、そのようなアレイのスピーカーについてのスピーカー・フィードを決定するPCMビットストリーム（サブシステム２４において生成される）またはそのようなビットストリームの後処理されたバージョン（DAP ２５において生成される）を出力してもよい。もう一つの例として、ユーザーの再生システムがスピーカーの5.1アレイを含む場合、システムは、そのようなアレイのスピーカーについてのスピーカー・フィードを決定するPCMビットストリーム（サブシステム２４において生成される）またはそのようなビットストリームの後処理されたバージョン（DAP ２６において生成される）を出力してもよい。もう一つの例として、ユーザーの再生システムが左および右のスピーカーを含むだけである場合、システムは、該左右のスピーカーについてのスピーカー・フィードを決定するPCMビットストリーム（サブシステム２４において生成される）またはそのようなビットストリームの後処理されたバージョン（DAP ２７において生成される）を出力してもよい。

図６のシステムは、任意的に、再エンコード・サブシステム３１および３３の一方または両方をも含む。再エンコード・サブシステム３１は、E-AC-3エンコードされたビットストリームとしてDAP ２５から出力される（7.1スピーカー・アレイのためのフィードを示す）PCMビットストリームを再エンコードするよう構成されており、結果として得られるエンコードされた（圧縮された）E-AC-3ビットストリームがシステムから出力されてもよい。再エンコード・サブシステム３３は、AC-3またはE-AC-3エンコードされたビットストリームとしてDAP ２７から出力される（5.1スピーカー・アレイのためのフィードを示す）PCMビットストリームを再エンコードするよう構成されており、結果として得られるエンコードされた（圧縮された）AC-3またはE-AC-3ビットストリームがシステムから出力されてもよい。

図６のシステムは、任意的に、再エンコード（またはフォーマット）サブシステム２９およびサブシステム２９の出力を受領するよう結合された下流のレンダリング・サブシステム３５をも含む。サブシステム２９は、選択されたオーディオ・オブジェクト（またはオーディオ・オブジェクトのデフォルト混合）、対応するオブジェクト関係メタデータおよびデコードされたスピーカー・チャネル（たとえばベッド・スピーカー・チャネルおよび置換スピーカー・チャネル）を示す（サブシステム２２から出力される）データを受領するよう結合され、そのようなデータをサブシステム３５によるレンダリングのために再エンコードする（および／またはフォーマットする）よう構成されている。サブシステム３５は、AVRまたはサウンドバー（またはサブシステム２９から下流の他のシステムまたは装置）において実装されてもよく、サブシステム２９の出力に応答して、利用可能な再生スピーカー（スピーカー・アレイ３６）のためのスピーカー・フィード（またはスピーカー・フィードを決定するビットストリーム）を生成するよう構成される。たとえば、サブシステム２９は、選択された（またはデフォルトの）オーディオ・オブジェクト、対応するメタデータ（条件付きレンダリング・メタデータを含む）およびスピーカー・チャネルを示す前記データをサブシステム３５におけるレンダリングのための好適なフォーマットに再エンコードすることによってエンコードされたオーディオを生成し、エンコードされたオーディオを（たとえばHDMIリンクを介して）サブシステム３５に伝送するよう構成されていてもよい。サブシステム３５によって生成される（またはその出力によって決定される）スピーカー・フィードに応答して、利用可能なスピーカー３６は、スピーカー・チャネル・コンテンツおよび選択された（またはデフォルトの）オブジェクト（単数または複数）の、サブシステム２９の出力のオブジェクト関係メタデータによって決定される見かけの源位置をもつオブジェクト（単数または複数）との混合を示す音を発する。サブシステム２９および３５が含まれるとき、レンダリング・サブシステム２４は任意的に、システムから省略される。

いくつかの実施形態では、本発明は、レンダリングの一部（すなわち少なくとも一つのステップ）（たとえば、図６のシステムのサブシステム２２およびコントローラ２３によって実行されるような、レンダリングされるべきオーディオ・オブジェクトの選択および各選択されたオブジェクトのレンダリングの特性の選択）が第一のサブシステム（たとえば、セットトップデバイスまたはセットトップ装置およびハンドヘルド・コントローラにおいて実装される図６の要素２０、２２および２３）において実装され、レンダリングの別の部分（たとえば、スピーカー・フィードまたはスピーカー・フィードを決定する信号が第一のサブシステムの出力に応答して生成される没入的レンダリング）が第二のサブシステム（たとえば、AVRまたはサウンドバーにおいて実装されるサブシステム３５）において実装される、オブジェクト・ベース・オーディオをレンダリングするための分散式システムである。分散式レンダリングを提供するいくつかの実施形態は、オーディオ・レンダリングの諸部分（およびレンダリングされるオーディオに対応するビデオの任意の処理）が実行される異なる時刻および異なるサブシステムを考慮に入れるためにレイテンシー管理も実装する。

本発明の再生システムのいくつかの実施形態では、各デコーダおよびオブジェクト処理サブシステム（時にパーソナル化エンジンと称される）は、セットトップデバイス（STB）において実装される。たとえば、図６の要素２０および２２および／または図７のシステムのすべての要素はSTBにおいて実装されてもよい。本発明の再生システムのいくつかの実施形態では、すべてのSTB出力（たとえば、STBのHDMI、S/PDIFおよびステレオ・アナログ出力）が可能にされることを保証するよう、複数のレンダリングが、パーソナル化エンジンの出力に対して実行される。任意的に、選択されたオブジェクト・チャネル（および対応するオブジェクト関係メタデータ）およびスピーカー・チャネルが（デコードされたスピーカー・チャネルのベッドと一緒に）STBから、オブジェクト・チャネルとスピーカー・チャネルの混合をレンダリングするよう構成された下流の装置（たとえばAVRまたはサウンドバー）に渡される。

あるクラスの実施形態では、本発明のオブジェクト・ベース・オーディオ・プログラムは、並列に生成され、伝送される一組のビットストリーム（複数ビットストリーム、「サブストリーム」と称されることもある）を含む。このクラスのいくつかの実施形態では、それらのサブストリームのコンテンツをデコードするために複数のデコーダが用いられる（たとえば、プログラムは複数のE-AC-3サブストリームを含み、再生システムはサブストリームのコンテンツをデコードするために複数のE-AC-3デコーダを用いる）。図７は、並列に送達される複数シリアル・ビットストリームを含む本発明のオブジェクト・ベース・オーディオ・プログラムのある実施形態をデコードおよびレンダリングするよう構成された再生システムのブロック図である。

図７の再生システムは、オブジェクト・ベース・オーディオ・プログラムが並列に再生システムに送達され、再生システムによって受領される複数ビットストリーム（B1、B2、……、BN、ここでNは何らかの正の整数）を含む図６のシステムに対する変形である。各ビットストリーム（「サブストリーム」）B1、B2、……、BNは、それらのサブストリームが互いに同期されるまたは時間整列されることを許容するよう時間コードまたは他の同期語（シンク語とも称される）を含むシリアル・ビットストリームである。各サブストリームは、オブジェクト・チャネルのフル・セットの異なる部分集合および対応するオブジェクト関係メタデータをも含み、それらのサブストリームのうちの少なくとも一つはスピーカー・チャネル（たとえばベッド・スピーカー・チャネルおよび置換スピーカー・チャネル）を含む。たとえば、各サブストリームB1、B2、……、BNにおいて、オブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータを含む各コンテナは一意的なIDまたはタイムスタンプを含む。

図７のシステムは、N個のフォーマット解除器５０、５１、……、５３を含み、そのそれぞれは入力サブストリームのうちの異なるものをパースし、（その同期語を含む）メタデータおよびそのオーディオ・コンテンツをビットストリーム同期段５９に呈するよう結合され、構成されている。

フォーマット解除器５０は、サブストリームB1をパースし、その同期語（T1）、他のメタデータおよびそのオブジェクト・チャネル・コンテンツ（M1）（条件付きレンダリング・メタデータおよび他のオブジェクト関係メタデータならびにプログラムの少なくとも一つのオブジェクト・チャネルを含む）およびそのスピーカー・チャネル・オーディオ・コンテンツ（A1）（プログラムの少なくとも一つのスピーカー・チャネルを含む）をビットストリーム同期段５９に呈する。同様に、フォーマット解除器５１は、サブストリームB2をパースし、その同期語（T2）、他のメタデータおよびそのオブジェクト・チャネル・コンテンツ（M2）（条件付きレンダリング・メタデータおよび他のオブジェクト関係メタデータならびにプログラムの少なくとも一つのオブジェクト・チャネルを含む）およびそのスピーカー・チャネル・オーディオ・コンテンツ（A2）（プログラムの少なくとも一つのスピーカー・チャネルを含む）をビットストリーム同期段５９に呈する。同様に、フォーマット解除器５３は、サブストリームBNをパースし、その同期語（TN）、他のメタデータおよびそのオブジェクト・チャネル・コンテンツ（MN）（条件付きレンダリング・メタデータおよび他のオブジェクト関係メタデータならびにプログラムの少なくとも一つのオブジェクト・チャネルを含む）およびそのスピーカー・チャネル・オーディオ・コンテンツ（AN）（プログラムの少なくとも一つのスピーカー・チャネルを含む）をビットストリーム同期段５９に呈する。

図７のシステムのビットストリーム同期段５９は、典型的には、サブストリームB1、B2、……、BNのオーディオ・コンテンツおよびメタデータのためのバッファと、各サブストリームの同期語を使って入力サブストリームにおけるデータの整列不良（たとえば各ビットストリームが典型的には独立なインターフェースおよび／またはメディア・ファイル内の独立なトラックを通じて搬送されるので、入力サブストリームの間の緊密な同期が配送／寄与において失われる可能性によってそのような不揃いが生じうる）があればそれを判別するよう結合され、構成されているストリーム・オフセット補償要素とを含む。段５９のストリーム・オフセット補償要素は典型的には、ビットストリームのオーディオ・データおよびメタデータを含むバッファに適切な制御値を呈することによって判別された整列不良があればそれを補正し、スピーカー・チャネル・オーディオ・データの時間整列されたビットがバッファから、それぞれ対応するバッファに結合されているデコーダ（デコーダ６０、６１および６３を含む）に読み込まれるようにし、オブジェクト・チャネル・オーディオ・データおよびメタデータの時間整列されたビットがバッファから、オブジェクト・データ結合段６６に読み込まれるようにするようにも構成される。

サブストリームB1からのスピーカー・チャネル・オーディオ・コンテンツA1'の時間整列されたビットは段５９からデコーダ６０に読み込まれ、サブストリームB1からのオブジェクト・チャネル・コンテンツおよびメタデータM1'の時間整列されたビットは段５９からメタデータ結合器６６に読み込まれる。デコーダ６０は、それに呈されたスピーカー・チャネル・オーディオ・データに対してデコードを実行し、結果として得られるデコードされたスピーカー・チャネル・オーディオをオブジェクト処理およびレンダリング・サブシステム６７に呈するよう構成される。

同様に、サブストリームB2からのスピーカー・チャネル・オーディオ・コンテンツA2'の時間整列されたビットは段５９からデコーダ６１に読み込まれ、サブストリームB2からのオブジェクト・チャネル・コンテンツおよびメタデータM2'の時間整列されたビットは段５９からメタデータ結合器６６に読み込まれる。デコーダ６１は、それに呈されたスピーカー・チャネル・オーディオ・データに対してデコードを実行し、結果として得られるデコードされたスピーカー・チャネル・オーディオをオブジェクト処理およびレンダリング・サブシステム６７に呈するよう構成される。

同様に、サブストリームBNからのスピーカー・チャネル・オーディオ・コンテンツAN'の時間整列されたビットは段５９からデコーダ６３に読み込まれ、サブストリームBNからのオブジェクト・チャネル・コンテンツおよびメタデータMN'の時間整列されたビットは段５９からメタデータ結合器６６に読み込まれる。デコーダ６３は、それに呈されたスピーカー・チャネル・オーディオ・データに対してデコードを実行し、結果として得られるデコードされたスピーカー・チャネル・オーディオをオブジェクト処理およびレンダリング・サブシステム６７に呈するよう構成される。

たとえば、各サブストリームB1、B2、……、BNはE-AC-3サブストリームであってもよく、各デコーダ６０、６１、６３は、またデコーダ６０、６１、６３と並列にサブシステム５９に結合される他のデコーダ（単数または複数）があればそれも、入力E-AC-3サブストリームのうちの一つのサブストリームのスピーカー・チャネル・コンテンツをデコードするよう構成されたE-AC-3デコーダであってもよい。

オブジェクト・データ結合器６６は、プログラムのすべてのオブジェクト・チャネルについての時間整列されたオブジェクト・チャネル・データおよびメタデータを、適切なフォーマットで、オブジェクト処理およびレンダリング・サブシステム６７に呈するよう構成されている。

サブシステム６７は、結合器６６の出力およびデコーダ６０、６１、６３（およびサブシステム５９と６７の間にデコーダ６０、６１、６３と並列に結合された他のデコーダがあればそれも）の出力に結合され、コントローラ６８はサブシステム６７に結合される。サブシステム６７は、典型的には、結合器６６およびデコーダの出力に対してオブジェクト処理（たとえば図６のシステムのサブシステム２２によって実行されるステップまたはそのようなステップの変形を含む）を、コントローラ６８からの制御データに応答して本発明のある実施形態に従って対話的な仕方で実行するよう構成されている。コントローラ６８は、ユーザーからの入力に応答して、図６のシステムのコントローラ２３が実行するよう構成されている動作（またはそのような動作の変形）を実行するよう構成されていてもよい。サブシステム６７は、典型的には、本発明のある実施形態に基づいて、それに呈されるスピーカー・チャネル・オーディオおよびオブジェクト・チャネル・オーディオ・データに対してレンダリング（たとえば、レンダリング・サブシステム２４または図６のシステムのサブシステム２４、２５、２６、３１、３３または図６のシステムのサブシステム２４、２５、２６、３１、３３、２９、３５によって実行される動作またはそのような動作の変形）を実行する（たとえば、ベッド・スピーカー・チャネル・コンテンツ、置換スピーカー・チャネル・コンテンツおよびオブジェクト・チャネル・コンテンツの混合をレンダリングするために）ようにも構成される。

図７のシステムのある実装では、各サブストリームB1、B2、……、BNはドルビーEビットストリームである。そのような各ドルビーEビットストリームはバーストのシーケンスを含む。各バーストは、スピーカー・チャネル・オーディオ・コンテンツ（ベッド・スピーカー・チャネルおよび／または置換スピーカー・チャネルのコンテンツ）および本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータのフル・オブジェクト・チャネル・セット（これは大きな集合であることがある）の部分集合を担持してもよい（すなわち、各バーストは、フル・オブジェクト・チャネル・セットのうちのいくつかのオブジェクト・チャネルおよび条件付きレンダリング・メタデータを含む対応するオブジェクト関係メタデータを示してもよい）。ドルビーEビットストリームの各バーストは、典型的には、対応するビデオ・フレームの時間期間と等価な時間期間を占める。セット内の各ドルビーEビットストリームは、セット内のビットストリームが互いと同期または時間整列されることを許容するための同期語（たとえば時間コード）を含む。たとえば、各ビットストリームにおいて、オブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）を含む各コンテナは、セット中のビットストリームが互いと同期または時間整列されることを許容するための一意的なIDまたはタイムスタンプを含むことができる。図７のシステムの印された実装では、フォーマット解除器５０、５１、５３（およびフォーマット解除器５０、５１、５３と並列に結合された他のフォーマット解除器があればそれも）のそれぞれは、SMPTE ３３７フォーマット解除器であり、デコーダ６０、６１、６３およびデコーダ６０、６１、６３と並列にサブシステム５９に結合された他の任意のデコーダのうちのそれぞれは、ドルビーEデコーダであってもよい。

本発明のいくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムのオブジェクト関係メタデータは耐久メタデータを含む。たとえば、図６のシステムのサブシステム２０に入力されるプログラムに含まれるオブジェクト関係メタデータは、（そのプログラムを生成したコンテンツ生成施設からコントローラ２３によって実装されるユーザー・インターフェースまでの）放送チェーン内の少なくとも一点において変更できる非耐久メタデータ（たとえば、ユーザー選択可能なオブジェクトについてのデフォルトのレベルおよび／またはレンダリング位置もしくは軌跡）と、そのプログラムの（典型的にはコンテンツ生成施設における）初期生成後に変更可能であることが意図されていない（または変更できない）耐久メタデータを含んでいてもよい。耐久メタデータの例は：プログラムの各ユーザー選択可能なオブジェクトまたは他のオブジェクトまたは一組のオブジェクトについての条件付きレンダリング・メタデータ；プログラムの各ユーザー選択可能なオブジェクトまたは他のオブジェクトまたは一組のオブジェクトについてのオブジェクトID；および各ユーザー選択可能なオブジェクトまたは他のオブジェクトの、プログラムのスピーカー・チャネル・コンテンツまたは他の要素に対するタイミングを示す時間コードまたは他の同期語を含む。耐久メタデータは典型的には、コンテンツ生成施設からユーザー・インターフェースまでの放送チェーン全体を通じて、プログラムの放送の継続時間全体を通じて、あるいはプログラムの再放送の間にも、保存される。いくつかの実施形態では、少なくとも一つのユーザー選択可能なオブジェクトのオーディオ・コンテンツ（および関連するメタデータ）がオブジェクト・ベース・オーディオ・プログラムのメイン混合において送られ、少なくともいくらかの耐久メタデータ（たとえば時間コード）および任意的には少なくとも一つの他のオブジェクトのオーディオ・コンテンツ（および関連するメタデータ）がプログラムのサイド混合において送られる。

本発明のオブジェクト・ベース・オーディオ・プログラムのいくつかの実施形態における耐久的なオブジェクト関係メタデータは、オブジェクト・コンテンツおよびスピーカー・チャネル・コンテンツのユーザー選択された混合を（たとえば、プログラムの放送後でも）保存するために用いられる。たとえば、これは、ユーザーが自分の選択を変えるまで、ユーザーが指定された型のプログラム（たとえば何らかのサッカーの試合）をするたびにまたはユーザーが（任意の型の）任意のプログラムを見るたびに、選択された混合をデフォルト混合として提供しうる。たとえば、第一のプログラムの放送中に、ユーザーが（図６のシステムの）コントローラ２３を用いて、耐久IDをもつオブジェクト（たとえば、コントローラ２３のユーザー・インターフェースによって「ホーム・チーム群衆ノイズ」オブジェクトとして同定されるオブジェクト、ここで、耐久IDは「ホーム・チーム群衆ノイズ」である）を含む混合を選択してもよい。すると、ユーザーが混合選択を変えるまでは、ユーザーが（同じ耐久IDをもつオブジェクトを含む）別のプログラムを見る（または聴く）たびに、再生システムは自動的に同じ混合（すなわち、プログラムのベッド・スピーカー・チャネルおよび／または置換スピーカー・チャネルをプログラムの「ホーム・チーム群衆ノイズ」オブジェクト・チャネルと混合したもの）をもつプログラムをレンダリングすることになる。本発明のオブジェクト・ベース・オーディオ・プログラムのいくつかの実施形態における耐久的なオブジェクト関係メタデータは、プログラム全体の間、いくつかのオブジェクトのレンダリングを必須にしてもよい（たとえば、ユーザーがそのようなレンダリングをやめたくても）。

いくつかの実施形態では、オブジェクト関係メタデータは、オブジェクト・コンテンツおよびスピーカー・チャネル・コンテンツのデフォルト混合を、デフォルト・レンダリング・パラメータ（たとえば、レンダリングされるオブジェクトのデフォルトの空間位置）とともに提供する。たとえば、図６のシステムのサブシステム２０に入力されるプログラムのオブジェクト関係メタデータは、オブジェクト・コンテンツおよびスピーカー・チャネル・コンテンツのデフォルト混合にデフォルト・レンダリング・パラメータが伴ったものでもよく、サブシステム２２および２４は、ユーザーがコントローラ２３を用いてオブジェクト・コンテンツおよびスピーカー・チャネル・コンテンツの別の混合および／またはレンダリング・パラメータの別のセットを選択しない限り、デフォルト混合およびデフォルト・レンダリング・パラメータをもってプログラムをレンダリングさせる。

いくつかの実施形態では、オブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）は、オブジェクトおよびスピーカー・チャネル・コンテンツの選択可能な「プリセット」混合の集合を提供する。各プリセット混合はあらかじめ決定された一組のレンダリング・パラメータ（たとえばレンダリングされるオブジェクトの空間位置）をもつ。これらは、再生システムのユーザー・インターフェースによって、利用可能な混合の限られたメニューまたはパレット（たとえば、図６のシステムのコントローラ２３によって表示される限られたメニューまたはパレット）として呈示されてもよい。各プリセット混合（および／または各選択可能なオブジェクト）は、耐久ID（たとえば、名前、ラベルまたはロゴ）を有していてもよい。コントローラ２３（または本発明の再生システムの別の実施形態のコントローラ）は、そのようなIDの指示を（たとえばコントローラ２３のiPad実装のタッチスクリーン上で）表示するよう構成されていてもよい。たとえば、プリセット混合の各オブジェクトの、オーディオ・コンテンツまたは非耐久メタデータの詳細に対する（たとえば放送局によってなされる）変更に関わりなく耐久的であるID（たとえばチーム・ロゴ）との混合をもつ、選択可能な「ホーム・チーム」混合があってもよい。

いくつかの実施形態では、プログラムのオブジェクト関係メタデータ（またはプログラムと一緒に送達されるメタデータによって指示されるのでない、再生またはレンダリング・システムの事前構成設定）が、オブジェクトおよびベッド（スピーカー・チャネル）コンテンツの選択可能な混合に対する制約条件または条件を与える。たとえば、図６のシステムのある実装は、デジタル権利管理（DRM）を実装してもよく、より詳細には図６のシステムのユーザーがオブジェクト・ベース・オーディオ・プログラムに含まれる一組のオーディオ・オブジェクトへの「階層的な（tiered）」アクセスをもつことを許容するDRM階層を実装してもよい。ユーザー（たとえば再生システムに関連付けられた顧客）がより多くの金額を（たとえば放送局に）支払うなら、ユーザーは当該プログラムのより多くのオーディオ・オブジェクトをデコードし、選択する（そして聴く）ことを許諾されうる。

もう一つの例として、オブジェクト関係メタデータは、ユーザーによるオブジェクト選択に対する制約条件を提供してもよい。そのような制約条件の例は、ユーザーがコントローラ２３を用いてプログラムの「ホーム・チーム群衆ノイズ」オブジェクトおよび「ホーム・チーム・アナウンサー」オブジェクトの両方を選択する（すなわち、図６のサブシステム２４によって決定される混合に含めるために選択する）場合、プログラムに含まれるメタデータは、サブシステム２４がそれら二つの選択されたオブジェクトがあらかじめ決定された相対的な空間位置をもってレンダリングされることを保証しうる。制約条件は、（少なくとも部分的には）再生システムに関するデータ（たとえばユーザーが入力したデータ）によって決定されてもよい。たとえば、再生システムが（二つのみのスピーカーを含む）ステレオ・システムである場合、図６のシステムのオブジェクト処理サブシステム２４（および／またはコントローラ２３）は、二つのスピーカーだけでは十分な空間分解能をもってレンダリングできない混合（オブジェクト関係メタデータによって同定される）のユーザー選択を防止するよう構成されてもよい。もう一つの例として、図６のシステムのオブジェクト処理サブシステム２４（および／またはコントローラ２３）は、オブジェクト関係メタデータ（および／または再生システムに入力される他のデータ）によって示される法的な（たとえばDRM）理由または他の理由（たとえば送達チャネルの帯域幅に基づく理由）により、選択可能なオブジェクトのカテゴリーからいくつかの送達されるオブジェクトを除去してもよい。ユーザーは、より多くの帯域幅のためにコンテンツ制作者または放送局に支払いをしてもよく、結果として、システム（たとえば図６のシステムのオブジェクト処理サブシステム２４および／またはコントローラ２３）は、ユーザーが、選択可能なオブジェクトおよび／またはオブジェクト／ベッド混合のより大きなメニューから選択することを許容してもよい。

本発明のいくつかの実施形態（たとえば、上記の要素２９および３５を含む図６の再生システムの実装）は、分散式レンダリングを実装する。たとえば、プログラムのデフォルトのまたは選択されたオブジェクト・チャネル（および対応するオブジェクト関係メタデータ）は、セットトップデバイスから（たとえば図６のシステムのある実装のサブシステム２２および２９から）下流の装置（たとえばサブシステム２２および２９が実装されるセットトップデバイス（STB）から下流のAVRまたはサウンドバーにおいて実装される、図６のサブシステム３５）に（デコードされたスピーカー・チャネル、たとえばベッド・スピーカー・チャネルおよび置換スピーカー・チャネルの選択された集合と一緒に）渡される。下流の装置は、オブジェクト・チャネルおよびスピーカー・チャネルの混合をレンダリングするよう構成される。STBはオーディオを部分的にレンダリングし、下流の装置が（たとえば、オーディオ・オブジェクトを特定の見かけの源位置に配置するよう特定の最上層（tier）のスピーカー（たとえば諸天井スピーカー）を駆動するためのスピーカー・フィードを生成することによって）レンダリングを完成させてもよい（ここで、STBの出力は単に、オブジェクトが何らかの指定されていない仕方で、何らかの指定されていない最上層のスピーカーにおいてレンダリングされることができることを示す）。たとえば、STBは、再生システムのスピーカーの特定の編成についての知識をもたなくてもよく、下流の装置（たとえばAVRまたはサウンドバー）がそのような知識を有していてもよい。

いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラム（たとえば、図６のシステムのサブシステム２０または図７のシステムの要素５０、５１、５３に入力されるプログラム）は、少なくとも一つのAC-3（またはE-AC-3）ビットストリームであるまたはそれを含み、オブジェクト・チャネル・コンテンツ（および／または条件付きレンダリング・メタデータを含むオブジェクト関係メタデータ）を含むプログラムの各コンテナは、ビットストリームのフレームの末尾にある補助データ・フィールド（たとえば図１または図４に示したAUXセグメント）に含まれる。いくつかのそのような実施形態では、AC-3またはE-AC-3ビットストリームの各フレームは、一つまたは二つのメタデータ・コンテナを含む。一つのコンテナがフレームのAuxフィールドに含まれることができ、別のコンテナがフレームのaddbsiフィールドに含まれることができる。各コンテナはコア・ヘッダをもち、一つまたは複数のペイロードを含む（または一つまたは複数のペイロードに関連付けられる）。（Auxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）一つのそのようなペイロードは、（やはり当該プログラムによって示されるスピーカー・チャネルのベッドに関係する）本発明のオブジェクト・チャネルの一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）との組であってもよい。各コンテナのコア・ヘッダは典型的には、当該コンテナに含まれるまたは関連付けられたペイロード（単数または複数）の型を示す少なくとも一つのID値と；サブストリーム関連付け指示（そのコア・ヘッダがどのサブストリームと関連付けられているかを示す）と；保護ビットとを含む。典型的には、各ペイロードは独自のヘッダ（または「ペイロード識別子」）をもつ。オブジェクト・レベル・メタデータがオブジェクト・チャネルである各サブストリームにおいて担持されてもよい。

他の実施形態では、オブジェクト・ベース・オーディオ・プログラム（たとえば、図６のシステムのサブシステム２０または図７のシステムの要素５０、５１、５３に入力されるプログラム）は、AC-3ビットストリームまたはE-AC-3ビットストリームではないビットストリームであるまたはそれを含む。いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムは、少なくとも一つのドルビーEビットストリームであるまたはそれを含み、プログラムのオブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータ（たとえばオブジェクト・チャネル・コンテンツおよび条件付きレンダリング・メタデータを含むオブジェクト関係メタデータを含むプログラムの各コンテナ）は、通常は有用な情報を担持しないドルビーEビットストリームのビット位置に含まれる。ドルビーEビットストリームの各バーストは、対応するビデオ・フレームの時間期間と等価な時間期間を占める。オブジェクト・チャネル（および／またはオブジェクト関係メタデータ）は、ドルビーEバーストどうしの間の保護帯（guard band）に、および／または各ドルビーEバースト内の（それぞれAES3フレームのフォーマットをもつ）各データ構造内の未使用ビット位置に含まれてもよい。たとえば、各保護帯は、セグメント（たとえば100個のセグメント）のシーケンスからなり、各保護帯の最初のX個のセグメント（たとえばX＝20）のそれぞれはオブジェクト・チャネルおよびオブジェクト関係メタデータを含み、前記各保護帯の残りのセグメントのそれぞれは保護帯シンボルを含んでいてもよい。いくつかの実施形態では、本発明のプログラムのオブジェクト・チャネル（および／または条件付きレンダリング・メタデータを含むオブジェクト関係メタデータ）の少なくとも一部は、ドルビーEビットストリームのAES3フレームの少なくともいくつかの各フレームの二つのAES3サブフレームのそれぞれの下位４ビット（LSB）に含まれ、プログラムのスピーカー・チャネルを示すデータは、ビットストリームの各AES3フレームの二つのAES3サブフレームのそれぞれの上位２０ビット（MSB）に含まれる。

いくつかの実施形態では、本発明のプログラムのオブジェクト・チャネルおよび／またはオブジェクト関係メタデータは、ドルビーEビットストリーム内のメタデータ・コンテナに含まれる。各コンテナはコア・ヘッダをもち、一つまたは複数のペイロードを含む（または一つまたは複数のペイロードに関連付けられる）。（Auxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）一つのそのようなペイロードは、（たとえば、やはり当該プログラムによって示されるスピーカー・チャネルのベッドに関係する）本発明のオブジェクト・チャネルの一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとの組であってもよい。各コンテナのコア・ヘッダは典型的には、当該コンテナに含まれるまたは関連付けられたペイロード（単数または複数）の型を示す少なくとも一つのID値と；サブストリーム関連付け指示（そのコア・ヘッダがどのサブストリームと関連付けられているかを示す）と；保護ビットとを含む。典型的には、各ペイロードは独自のヘッダ（または「ペイロード識別子」）をもつ。オブジェクト・レベル・メタデータがオブジェクト・チャネルである各サブストリームにおいて担持されてもよい。

いくつかの実施形態では、（本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータをパースするよう構成されていない）レガシー・デコーダおよびレガシー・レンダリング・システムによって、オブジェクト・ベース・オーディオ・プログラム（たとえば、図６のシステムのサブシステム２０または図７のシステムの要素５０、５１、５３に入力されるプログラム）はデコード可能であり、そのスピーカー・チャネル・コンテンツはレンダリング可能である。同じプログラムが、本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータをパースし、プログラムによって示されるスピーカー・チャネルおよびオブジェクト・チャネル・コンテンツの混合をレンダリングするよう（本発明の実施形態に従って）構成されたセットトップデバイス（または他のデコードおよびレンダリング・システム）によって、本発明のいくつかの実施形態に従ってレンダリングされてもよい。

本発明のいくつかの実施形態は、放送プログラムに応答して最終消費者のためのパーソナル化された（そして好ましくは没入的な）オーディオ経験を提供するおよび／または放送パイプラインにおいてメタデータを使う新たな方法を提供するよう意図される。いくつかの実施形態はマイクロホン捕捉（たとえばスタジアム・マイクロホン捕捉）を改善して、最終消費者のためのよりパーソナル化可能であり没入的な経験を提供するオーディオ・プログラムを生成し、本発明のオブジェクト・ベース・オーディオ・プログラム（単数または複数）のオブジェクト・チャネル（単数または複数）およびメタデータがプロフェッショナル・チェーンを通じて流れることを許容するよう既存の制作、寄与および配送作業フローを修正し、通常放送されるオーディオ（たとえば、本発明の放送オーディオ・プログラムの実施形態に含まれるスピーカー・チャネルのベッド）のほかにオブジェクト・チャネル、置換スピーカー・チャネルおよび関係するメタデータをサポートする新たな再生パイプライン（たとえば、セットトップデバイスにおいて実装されるもの）を作り出す。

図８は、放送のための、本発明のある実施形態に基づくオブジェクト・ベース・オーディオ・プログラム（および対応するビデオ・プログラム）を生成するよう構成された放送システムのブロック図である。図８のシステムのマイクロホン１００、１０１、１０２、１０３を含むX個のマイクロホン（Xは整数）の集合が、プログラムに含められるべきオーディオ・コンテンツを捕捉するよう位置されており、それらの出力がオーディオ・コンソール１０４の入力に結合されている。

あるクラスの実施形態では、プログラムは、観客イベント（たとえばサッカーまたはラグビー試合、自動車またはオートバイ・レースまたは別のスポーツ・イベント）内でのまたは観客イベントにおける雰囲気および／または観客イベントについてのコメンタリーを示す対話的オーディオ・コンテンツを含む。いくつかの実施形態では、プログラムのオーディオ・コンテンツは、（ユーザー選択可能な諸オブジェクトまたは諸オブジェクト集合および典型的にはユーザーによるオブジェクト選択がないときにレンダリングされるオブジェクトのデフォルト集合も含む）複数のオーディオ・オブジェクト、（捕捉されたコンテンツのデフォルト混合を示す）スピーカー・チャネルのベッドおよび置換スピーカー・チャネルを示す。スピーカー・チャネルのベッドは、オブジェクト・チャネルを含まない通常の放送プログラムに含まれてもよい型のスピーカー・チャネルの通常の混合（たとえば5.1チャネル混合）であってもよい。

他の実施形態では、本発明に基づいて生成またはレンダリングされるオブジェクト・ベース・オーディオ・プログラムは、捕捉されたオーディオ・コンテンツではなく、あるいは捕捉されたオーディオ・コンテンツのほかに「人工的な」（たとえばデジタル的に生成された）コンテンツを示す。たとえば、コンテンツは、ライブでない（ポストプロダクションされた）コンテンツ（たとえば合成されたオーディオ）からなるまたはかかるコンテンツを含むのでもよい。

マイクロホン（たとえばマイクロホン１００および１０１、また任意的にはその出力がオーディオ・コンソール１０４に結合されている他のマイクロホン）の部分集合は、動作の際、（スピーカー・チャネルのベッドおよび一組の置換スピーカー・チャネルとしてエンコードされ、送達されるべき）オーディオを捕捉する通常のマイクロホン・アレイである。動作において、マイクロホン（たとえばマイクロホン１０２および１０３、また任意的にはその出力がオーディオ・コンソール１０４に結合されている他のマイクロホン）の別の部分集合は、プログラムのオブジェクト・チャネルとしてエンコードされ、送達されるべきオーディオ（たとえば群衆ノイズおよび／または他の「オブジェクト」）を捕捉する。たとえば、図８のシステムのマイクロホン・アレイは、音場マイクロホンとして実装され、スタジアムに恒久的に設定されている（たとえば音場マイクロホンがそれとともに設置されたヒーターをもつ）少なくとも一つのマイクロホン（たとえばマイクロホン１００）；一方のチーム（たとえばホーム・チーム）をサポートする観客の位置に向けられた少なくとも一つのステレオ・マイクロホン（たとえば、Sennheiser MKH416マイクロホンまたは他のステレオ・マイクロホンとして実装されたマイクロホン１０２）および他方のチーム（たとえば遠征チーム）をサポートする観客の位置に向けられた少なくとも一つの他のステレオ・マイクロホン（たとえば、Sennheiser MKH416マイクロホンまたは他のステレオ・マイクロホンとして実装されたマイクロホン１０３）を含んでいてもよい。

本発明の放送システムは、スタジアム（または他のイベント位置）の外部に位置する可動ユニット（これはトラックであってもよく、時に「試合トラック」と称される）を含んでいてもよい。この可動ユニットは、スタジアム（または他のイベント位置）内のマイクロホンからのオーディオ・フィードの最初の受領者である。試合トラックは、（放送されるべき）オブジェクト・ベース・オーディオ・プログラムを生成する。これは、送達のためのマイクロホンからのオーディオ・コンテンツをプログラムのオブジェクト・チャネルとしてエンコードし、対応する条件付きレンダリング・メタデータおよび他のオブジェクト関係メタデータ（たとえば、ある許されるダウンミックスにおいて各オブジェクトがレンダリングされるべき空間位置を示すメタデータ）を生成し、そのようなメタデータをプログラム中に含め、送達のためのいくつかのマイクロホンからのオーディオ・コンテンツをプログラムのスピーカー・チャネルのベッド（および一組の置換スピーカー・チャネル）としてエンコードすることによることを含む。

たとえば、図８のシステムでは、コンソール１０４、オブジェクト処理サブシステム１０６（コンソール１０４の出力に結合されている）、埋め込みサブシステム１０８および寄与エンコーダ１１０が試合トラック内に設置されてもよい。サブシステム１０６において生成されるオブジェクト・ベース・オーディオ・プログラムは、（たとえばサブシステム１０８内で）（たとえばスタジアム内に位置されるカメラからの）ビデオ・コンテンツと組み合わされて、組み合わされたオーディオおよびビデオ信号を生成してもよい。該組み合わされた信号がその後（たとえばエンコーダ１１０によって）エンコードされて、それにより（たとえば図５の送達サブシステム５による）放送のためのエンコードされたオーディオ／ビデオ信号を生成する。そのようなエンコードされたオーディオ／ビデオ信号をデコードおよびレンダリングする再生システムは、送達されるオーディオ／ビデオ信号のオーディオ・コンテンツおよびビデオ・コンテンツをパースするためのサブシステム（個別には図示せず）と、本発明の実施形態に基づいてオーディオ・コンテンツをデコードおよびレンダリングするためのサブシステム（たとえば図６のシステムと同様または同一のもの）と、ビデオ・コンテンツをデコードおよびレンダリングするためのもう一つのサブシステム（個別には図示せず）とを含むことになる。

コンソール１０４のオーディオ出力は、スポーツ・イベントにおいて捕捉された環境音とその中央チャネルに混合されたアナウンサーによるコメンタリー（非環境コンテンツ）とのデフォルト混合を示す5.1スピーカー・チャネル・ベッド（図８では「5.1中立」とラベル付けされている）と、コメンタリーなしのベッドの中央チャネルの環境コンテンツを示す置換スピーカー・チャネル（すなわち、コメンタリーが混合されてベッドの中央チャネルを生成する前の、ベッドの中央チャネルの捕捉された環境音コンテンツ）（図８では「1.0置換」とラベル付けされている）と、イベントに臨場するホーム・チームのファンからの群衆ノイズを示すステレオ・オブジェクト・チャネルのオーディオ・コンテンツ（「2.0ホーム」とラベル付けされている）と、イベントに臨場する遠征チームのファンからの群衆ノイズを示すステレオ・オブジェクト・チャネルのオーディオ・コンテンツ（「2.0アウェー」とラベル付けされている）と、ホーム・チームの都市からのアナウンサーによるコメンタリーを示すオブジェクト・チャネル・オーディオ・コンテンツ（「1.0cmm1」とラベル付けされている）と、遠征チームの都市からのアナウンサーによるコメンタリーを示すオブジェクト・チャネル・オーディオ・コンテンツ（「1.0cmm2」とラベル付けされている）と、スポーツ・イベント参加者によってボールが打たれる際の試合ボールによって生成される音を示すオブジェクト・チャネル・オーディオ・コンテンツ（「1.0ボールキック」とラベル付けされている）とを含んでいてもよい。

オブジェクト処理サブシステム１０６は、コンソール１０４からのオーディオ・ストリームをオブジェクト・チャネルに（たとえば、「2.0アウェー」とラベル付けされた左右のオーディオ・ストリームを遠征群衆ノイズ・オブジェクト・チャネルにグループ化）および／またはオブジェクト・チャネルの諸セットに編成（たとえばグループ化）し、それらのオブジェクト・チャネル（またはオブジェクト・チャネル・セット）を示すオブジェクト関係メタデータを生成し、それらのオブジェクト・チャネル（またはオブジェクト・チャネル・セット）、オブジェクト関係メタデータ、スピーカー・チャネル・ベッドおよび各置換スピーカー・チャネル（コンソール１０４からのオーディオ・ストリームから決定される）をオブジェクト・ベース・オーディオ・プログラム（たとえば、ドルビーEビットストリームとしてエンコードされるオブジェクト・ベース・オーディオ・プログラム）としてエンコードするよう構成される。典型的にはまた、サブシステム１０６は、オブジェクト・チャネル（および／またはオブジェクト・チャネル・セット）およびスピーカー・チャネル・ベッドおよび／または置換スピーカー・チャネル（単数または複数）の少なくとも選択された部分集合をレンダリング（そしてスタジオ・モニタ・スピーカーのセットで再生）する（これはオブジェクト関係メタデータを使って選択されたオブジェクト・チャネルおよびスピーカー・チャネルを示す混合を生成することによることを含む）よう構成され、それにより再生される音はコンソール１０４およびサブシステム１０６の操作者（単数または複数）によってモニタリングされることができる（図８の「モニター経路」によって示されるように）。

サブシステム１０４の出力とサブシステム１０６の入力との間のインターフェースは、マルチチャネル・オーディオ・デジタル・インターフェース（MADI）であってもよい。

動作では、図８のシステムのサブシステム１０８は、サブシステム１０６において生成されたオブジェクト・ベース・オーディオ・プログラムを（たとえばスタジアム内に位置されたカメラからの）ビデオ・コンテンツと組み合わせて、組み合わされたオーディオおよびビデオ信号を生成し、それがエンコーダ１１０に呈される。サブシステム１０８の出力とサブシステム１１０の入力との間のインターフェースは、高精細度シリアル・デジタル・インターフェース（HD-SDI）であってもよい。動作では、エンコーダ１１０はサブシステム１０８の出力をエンコードし、それにより（たとえば図５の送達サブシステム５による）放送のためのエンコードされたオーディオ／ビデオ信号を生成する。

いくつかの実施形態では、放送施設（たとえば図８のシステムのサブシステム１０６、１０８および１１０）は、捕捉された音を示す複数のオブジェクト・ベース・オーディオ・プログラム（たとえば、図８のサブシステム１１０から出力される複数のエンコードされたオーディオ／ビデオ信号によって示されるオブジェクト・ベース・オーディオ・プログラム）を生成するよう構成される。そのようなオブジェクト・ベース・オーディオ・プログラムの例は、5.1の平坦化された混合、国際混合および国内混合を含む。たとえば、すべてのプログラムは、スピーカー・チャネルの共通ベッド（および置換スピーカー・チャネルの共通セット）を含んでいてもよいが、プログラムのオブジェクト・チャネル（および／またはプログラムによって決定される選択可能なオブジェクト・チャネルおよび／またはオブジェクト・チャネルをレンダリングおよび混合するための選択可能もしくは選択可能でないレンダリング・パラメータのメニュー）はプログラムによって異なっていてもよい。

いくつかの実施形態では、放送局または他のコンテンツ・クリエーターの施設（たとえば、図８のシステムのサブシステム１０６、１０８および１１０）は、多様な異なる再生環境（たとえば、5.1チャネル国内再生システム、5.1チャネル国際再生システムおよびステレオ再生システム）の任意のものにおいてレンダリングできる単一のオブジェクト・ベース・オーディオ・プログラム（すなわちマスター）を生成するよう構成される。マスターは、いかなる特定の環境における消費者への放送のために混合される（たとえばダウンミックスされる）必要もない。

上記のように、本発明のいくつかの実施形態では、プログラムのオブジェクト関係メタデータ（またはプログラムと一緒に送達されるメタデータによって指示されるのでない、再生またはレンダリング・システムの事前構成設定）は、オブジェクトおよびスピーカー・チャネル・コンテンツの選択可能な混合に対する制約条件または条件を与える。たとえば、図６のシステムのある実装は、DRM階層を実装して、ユーザーがオブジェクト・ベース・オーディオ・プログラムに含まれる一組のオーディオ・チャネルへの階層的な（tiered）アクセスをもつことを許容してもよい。ユーザーがより多くの金額を（たとえば放送局に）支払うなら、ユーザーは当該プログラムのより多くのオブジェクト・チャネルをデコードし、選択し、レンダリングすることを許諾されうる。

オブジェクト（またはオブジェクト群）のユーザー選択に対する制約条件および条件の例について、図９を参照して述べる。図９では、プログラムP0は七つのオブジェクト・チャネルを含む：中立的な群衆ノイズを示すオブジェクト・チャネルN0、ホーム群衆ノイズを示すオブジェクト・チャネルN1、アウェー群衆ノイズを示すオブジェクト・チャネルN2、イベントについての公式コメンタリー（たとえば商業ラジオ・アナウンサーによる放送コメンタリー）を示すオブジェクト・チャネルN3、イベントについてのファン・コメンタリーを示すオブジェクト・チャネルN4、イベントにおける公共アナウンスを示すオブジェクト・チャネルN5およびイベントに関する着信ツイッター接続（テキスト音声化システムによって変換される）を示すオブジェクト・チャネルN5。

プログラムP0に含まれるデフォルト指示メタデータは、プログラムによって示される「ベッド」スピーカー・チャネル・コンテンツおよびオブジェクト・チャネル・コンテンツのレンダリングされる混合に（デフォルトで）含められるべきデフォルト・オブジェクト・セット（一つまたは複数の「デフォルト」オブジェクト）およびデフォルト・レンダリング・パラメータ・セット（たとえば、デフォルト・オブジェクト・セット内の各デフォルト・オブジェクトの空間位置）を示す。たとえば、デフォルト・オブジェクト・セットは、拡散式に（たとえばいかなる特定の源位置から発しているようにも知覚されないよう）レンダリングされるオブジェクト・チャネルN0（中立的な群衆ノイズを示す）と、聴取者の真正面の（すなわち、聴取者に対して方位角0度の）源位置から発しているように知覚されるようレンダリングされるオブジェクト・チャネルN3（公式コメンタリーを示す）との混合であってもよい。

（図９の）プログラムP0は、ユーザー選択可能なプリセット混合の複数のセットを示すメタデータをも含む。各プリセット混合は、プログラムのオブジェクト・チャネルの部分集合および対応するレンダリング・パラメータ・セットによって決定される。ユーザー選択可能なプリセット混合は、再生システムのコントローラのユーザー・インターフェース上にメニュー（たとえば、図６のシステムのコントローラ２３によって表示されるメニュー）として呈示されてもよい。たとえば、一つのそのようなプリセット混合は、図９のオブジェクト・チャネルN0（中立的な群衆ノイズを示す）とオブジェクト・チャネルN1（ホーム群衆ノイズを示す）とオブジェクト・チャネルN4（ファン・コメンタリーを示す）との混合であり、該混合中のチャネルN0およびN1コンテンツは聴取者の真後ろの（すなわち聴取者に対して180度の方位角の）源位置から発しているように知覚され、該混合中のチャネルN1のコンテンツのレベルは該混合中のチャネルN0のレベルより3dB低く、該混合中のチャネルN4のコンテンツは拡散式に（たとえば、いかなる特定の源位置から発しているようにも知覚されないよう）レンダリングされるよう、レンダリングされる。

再生システムは、オブジェクト・チャネルN0、N1、N2のうちの少なくとも一つを含む各ユーザー選択可能なプリセット混合は、オブジェクト・チャネルN0のコンテンツのみ、あるいはオブジェクト・チャネルN0のコンテンツにオブジェクト・チャネルN1およびN2の少なくとも一方のコンテンツを混合したものを含まなければならないという規則（たとえば、プログラムのメタデータによって決定される図９に示されるグループ化規則「G」）を実装してもよい。再生システムは、オブジェクト・チャネルN0のコンテンツにオブジェクト・チャネルN1およびN2の少なくとも一方のコンテンツを混合したものを含む各ユーザー選択可能なプリセット混合は、オブジェクト・チャネルN0のコンテンツにオブジェクト・チャネルN1のコンテンツを混合したものを含まなければならないまたはオブジェクト・チャネルN0のコンテンツにオブジェクト・チャネルN2のコンテンツを混合したものを含まなければならないという規則（たとえば、プログラムのメタデータによって決定される図９に示される条件規則「C1」）をも実装してもよい。

再生システムはまた、オブジェクト・チャネルN3およびN4の少なくとも一方のコンテンツを含む各ユーザー選択可能なプリセット混合は、オブジェクト・チャネルN3のコンテンツのみを含まなければならないまたはオブジェクト・チャネルN4のコンテンツのみを含まなければならないという規則（たとえば、プログラムのメタデータによって決定される図９に示される条件規則「C2」）をも実装してもよい。

本発明のいくつかの実施形態は、オブジェクト・ベース・オーディオ・プログラムのオブジェクト・チャネルの条件付きデコード（および／またはレンダリング）を実装する。たとえば、再生システムは、オブジェクト・チャネルが、プログラムと一緒に提供される条件付きレンダリング・メタデータならびに再生スピーカー・アレイ構成および任意的にはまたユーザーの権利を示すデータに基づいて条件付きでデコードされることを許容するよう構成されていてもよい。たとえば、DRM階層が顧客が、オブジェクト・ベース・オーディオ・プログラムに含まれるオーディオ・オブジェクト・チャネルのセットへの「階層的な（tiered）」アクセスをもつことを許容するよう実装される場合、再生システムは、該再生システムがユーザーが少なくとも一つの条件（たとえばコンテンツ・プロバイダーに特定の金額を支払うこと）を満足したことを通知されるのでない限り、オブジェクトのいくつかのレンダリングのためのデコードおよび選択を防止するよう（プログラムのメタデータに含まれる制御ビットによって）自動的に構成されてもよい。たとえば、ユーザーは、図９のプログラムP0の「公式コメンタリー」オブジェクト・チャネルN3を聴くために権利を購入する必要があってもよく、再生システムは、図９に示される条件規則「C2」を実装してもよい。それにより、再生システムのユーザーが必要な権利を購入したことを再生システムが通知されるのでない限り、オブジェクト・チャネルN3は選択されることができない。

もう一つの例として、再生システムは、再生スピーカー・アレイ構成が条件を満たさない場合には、オブジェクトうちののいくつかの（レンダリングされるべきプログラム・コンテンツのダウンミックスに含めるための）デコードおよび選択を防止するよう（利用可能な再生スピーカー・アレイの特定の構成を示す、プログラムのメタデータに含まれる制御ビットによって）自動的に構成されてもよい。（たとえば、再生システムは、図９に示される条件規則「C1」を実装してもよい。それにより、5.1スピーカー・アレイが選択されるコンテンツをレンダリングするために利用可能であることを再生システムが通知されるのでない限り、オブジェクト・チャネルN0およびN1のプリセット混合は選択されることができない。利用可能なスピーカー・アレイが2.0スピーカー・アレイだけであるときはだめである。）
いくつかの実施形態では、本発明は、少なくとも一つのあらかじめ決定された規則がオブジェクト・ベース・オーディオ・プログラムのどのオブジェクト・チャネル（単数または複数）が（たとえばスピーカー・チャネルのベッドと一緒に）レンダリングされるかを決定する、規則ベースのオブジェクト・チャネル選択を実装する。ユーザーは、オブジェクト・チャネル選択のための少なくとも一つの規則を（たとえば再生システム・コントローラのユーザー・インターフェースによって呈示される利用可能な規則のメニューから選択することによって）指定してもよく、再生システム（たとえば図６のシステムのオブジェクト処理サブシステム２２）は、そのような各規則を適用して、レンダリングされるべきオブジェクト・ベース・オーディオ・プログラムのどのオブジェクト・チャネルが（たとえば図６のシステムのサブシステム２４またはサブシステム２４および３５によって）レンダリングされるべき混合中に含められるべきかを決定するよう構成されていてもよい。再生システムは、プログラムのどのオブジェクト・チャネルが（たとえば再生スピーカー・アレイの構成が与えられたときの）所定の規則（単数または複数）を満たすかをプログラム中のオブジェクト関係メタデータ（たとえば条件付きレンダリング・メタデータ）から決定してもよい。

簡単な例として、オブジェクト・ベース・オーディオ・プログラムがスポーツ・イベントを示す場合を考える。プログラムに含まれるオブジェクト（たとえば特定のチームまたは自動車またはオートバイからのラジオ・コメンタリー）の特定の集合の静的な選択を実行するためにコントローラ（たとえば図６のコントローラ２３）を操作する代わりに、ユーザーはコントローラを操作して、（たとえば、どれであれ勝っているまたは一位であるチームまたは自動車またはオートバイを示すオブジェクト・チャネルをレンダリングのために自動的に選択するよう）規則を設定する。この規則は、再生システムによって適用されて、（単一のプログラムまたは異なるプログラムのシーケンスのレンダリングの間に）プログラムに含まれる諸オブジェクト（オブジェクト・チャネル）の異なる部分集合のシーケンスの動的な選択を実装する。（たとえば、あるチームを示すオブジェクトの第一の部分集合、第二のチームがスコアして現在勝っているチームになる場合には自動的に第二のチームを示すオブジェクトの第二の集合がこれに続く。）このように、いくつかのそのような実施形態では、リアルタイムのイベントがどのオブジェクト・チャネルがレンダリングされる混合に含められるかを制御するまたはこれに影響する。再生システム（たとえば、図６のシステムのオブジェクト処理サブシステム２２）はプログラムに含まれるメタデータ（たとえば、少なくとも一つの対応するオブジェクトが現在勝っているチームを示す、たとえば該チームのファンの群衆ノイズまたは勝っているチームに関連付けられたラジオ・アナウンサーのコメンタリーを示すことを示すメタデータ）に応答して、どのオブジェクト・チャネルがレンダリングされるべきスピーカーおよびオブジェクト・チャネルの混合に含められるべきかを選択してもよい。たとえば、コンテンツ・クリエーターは、プログラムの少なくともいくつかのオーディオ・オブジェクト・チャネルの各チャネルの順位（または順序階層）を示す（たとえば、どのオブジェクト・チャネルが現在一位であるチームまたは自動車に対応するか、どのオブジェクト・チャネルが二位であるチームまたは自動車に対応するかなどを示す）メタデータを（オブジェクト・ベース・オーディオ・プログラムに）含めてもよい。再生システムは、ユーザー指定された規則を満たすオブジェクト・チャネル（たとえば、プログラムのオブジェクト関係メタデータによって示されるn位のチームに関係するオブジェクト・チャネル（単数または複数））のみを選択し、レンダリングすることによって、そのようなメタデータに応答するよう構成されていてもよい。

本発明のオブジェクト・ベース・オーディオ・プログラムのオブジェクト・チャネルに関するオブジェクト関係メタデータの例は：条件付きレンダリング・メタデータもしくはオブジェクト・チャネルをどのようにレンダリングするかについての詳細情報を示す他のメタデータ；動的な時間的メタデータ（たとえば、オブジェクトのパンのための軌跡、オブジェクト・サイズ、利得などを示す）；およびオブジェクト・チャネルを（たとえば利用可能な再生スピーカー・アレイの構成の知識を用いて）レンダリングするためにAVR（または本発明のいくつかの実装のデコードおよびオブジェクト処理サブシステムから下流の他の装置またはシステム）によって使うためのメタデータを含む（ただしそれに限定されない）。そのようなメタデータは、オブジェクト位置、利得、ミュートまたは他のレンダリング・パラメータについての制約条件および／またはオブジェクトがどのように他のオブジェクトと相互作用するかについての制約条件（たとえば、特定のオブジェクトが選択されることが与えられたとき、どの追加的なオブジェクトが選択されうるかについての制約条件）を指定してもよく、および／または（他のオブジェクトおよび／またはレンダリング・パラメータのユーザー選択がないときに使用される）デフォルトのオブジェクトおよび／またはデフォルトのレンダリング・パラメータを指定してもよい。

いくつかの実装では、本発明のオブジェクト・ベース・オーディオ・プログラムの少なくともいくつかのオブジェクト関係メタデータが（および任意的にはオブジェクト・チャネルの少なくともいくつかも）プログラムのスピーカー・チャネルのベッドおよび通常のメタデータとは別個のビットストリームまたは他のコンテナ内で（たとえば受領および／または利用するためにユーザーが追加料金を支払う必要があってもよいサイド混合として）送られる。そのようなオブジェクト関係メタデータ（またはオブジェクト関係メタデータおよびオブジェクト・チャネル）へのアクセスなしでは、ユーザーはスピーカー・チャネルのベッドをデコードしてレンダリングすることはできるが、プログラムのオーディオ・オブジェクトを選択することはできず、スピーカー・チャネル・ベッドによって示されるオーディオとの混合においてプログラムのオーディオ・オブジェクトをレンダリングすることはできない。本発明のオブジェクト・ベース・オーディオ・プログラムの各フレームは、複数のオブジェクト・チャネルおよび対応するオブジェクト関係メタデータのオーディオ・コンテンツを含んでいてもよい。

本発明のいくつかの実施形態に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルと、少なくとも一つのオブジェクト・チャネルと、スピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能なダウンミックス）を示す層構成のグラフ（時に層構成の「混合グラフ」と称される）を示すメタデータ（条件付きレンダリング・メタデータを含む）とを含む。たとえば、混合グラフは、スピーカーおよびオブジェクト・チャネルの部分集合の選択に適用可能な各規則を示す。典型的には、エンコードされたオーディオ・ビットストリームは、プログラムのオーディオ・コンテンツ（たとえば、スピーカー・チャネルのベッドと、プログラムのオブジェクト・チャネルの少なくとも一部）およびオブジェクト関係メタデータ（混合グラフを示すメタデータを含む）の少なくともいくらか（すなわち少なくとも一部）を示し、任意的にはまた、少なくとも一つの追加的なエンコードされたオーディオ・ビットストリームまたはファイルが、プログラムのオーディオ・コンテンツおよび／またはオブジェクト関係メタデータの一部を示す。

層構成の混合グラフは、ノード（各ノードは選択可能なチャネルまたはチャネル集合または選択可能なチャネルまたはチャネル集合のカテゴリーを示していてもよい）およびノード間の接続（たとえば、それらのノードへの制御インターフェースおよび／またはチャネルを選択するための規則）を示し、本質的なデータ（「基本」層）および任意的な（すなわち任意的に省略される）データ（少なくとも一つの「拡張」層）を含む。典型的には、層構成の混合グラフは、プログラムを示すエンコードされたオーディオ・ビットストリームの一つに含められ、（再生システム、たとえばエンドユーザーの再生システムによって実施される）グラフをたどることによって評価されて、チャネルのデフォルト混合および該デフォルト混合を修正するためのオプションを判別することができる。

混合グラフが木グラフとして表現できる場合には、基本層は木グラフの枝（または二本以上の枝）であることができ、各拡張層は木グラフの別の枝（または二本以上の枝の別の集合）であることができる。たとえば、（基本層によって示される）木グラフのある枝は、すべてのエンドユーザーに利用可能な選択可能なチャネルおよびチャネル集合を示していてもよく、（拡張層によって示される）木グラフの別の枝は、一部のエンドユーザーにのみ利用可能な追加的な選択可能なチャネルおよび／またはチャネル集合を示していてもよい（そのような拡張層は、それを使うことが許諾されたエンドユーザーのみに提供されるだけであってもよい）。図９は、オブジェクト・チャネル・ノード（オブジェクト・チャネルN0、N1、N2、N3、N4、N5、N6を示すノード）および混合グラフの他の要素を含む木グラフの例である。

典型的には、基本層は、グラフ構造およびグラフのノードへの制御インターフェース（たとえば、パンおよび利得制御インターフェース）を含む（示す）。基本層は任意のユーザー対話をデコード／レンダリング・プロセスにマッピングするために必要である。

各拡張層は、基本層への拡張を含む（示す）。拡張は、ユーザー対話をデコード・プロセスにマッピングするためにただちに必要なわけではなく、よってより遅いレートで伝送されたり、および／または遅延もしくは省略されたりすることができる。

いくつかの実施形態では、基本層はプログラムの独立サブストリームのメタデータとして含められる（たとえば、独立サブストリームのメタデータとして伝送される）。

本発明のいくつかの実施形態に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルと、少なくとも一つのオブジェクト・チャネルと、スピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能なダウンミックス）を示す（層構成の混合グラフであってもなくてもよい）混合グラフを示すメタデータ（条件付きレンダリング・メタデータを含む）とを含む。エンコードされたオーディオ・ビットストリーム（たとえばドルビーEまたはE-AC-3ビットストリーム）は、プログラムの少なくとも一部分を示し、混合グラフを（典型的には選択可能なオブジェクトおよび／またはスピーカー・チャネルも）示すメタデータがビットストリームの毎フレームに（またはビットストリームのフレームの部分集合の各フレームに）含まれる。たとえば、各フレームは、少なくとも一つのメタデータ・セグメントおよび少なくとも一つのオーディオ・データ・セグメントを含んでいてもよく、混合グラフは各フレームの少なくとも一つのメタデータ・セグメントに含められてもよい。各メタデータ・セグメント（これは「コンテナ」と称されてもよい）は、メタデータ・セグメント・ヘッダ（および任意的には他の要素も）と、該メタデータ・セグメント・ヘッダに続く一つまたは複数のメタデータ・ペイロードとを含むフォーマットを有していてもよい。各メタデータ・ペイロード自身はペイロード・ヘッダによって同定される。混合グラフは、メタデータ・セグメント中に存在すれば、メタデータ・セグメントのメタデータ・ペイロードの一つに含まれる。

別のクラスの実施形態では、本発明に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、オブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）とを含む。オブジェクト関係メタデータは、「サブストリーム」メタデータ（プログラムのサブストリーム構造および／またはそれらのサブストリームがデコードされるべき仕方を示す）を、および典型的にはスピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能なダウンミックス）を示す混合グラフをも含む。サブストリーム・メタデータは、プログラムのどのサブストリームがプログラムの他のサブストリームと独立にデコードされるべきかおよびプログラムのどのサブストリームがプログラムの少なくとも一つの他のサブストリームとの関連でデコードされるべきかを示してもよい。

たとえば、いくつかの実施形態では、エンコードされたオーディオ・ビットストリームは、プログラムのオーディオ・コンテンツ（たとえば、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つの置換スピーカー・チャネルと、プログラムのオブジェクト・チャネルの少なくとも一部）およびメタデータ（たとえば混合グラフおよびサブストリーム・メタデータおよび任意的には他のメタデータも）の少なくともいくらか（すなわち少なくとも一部）を示し、少なくとも一つの追加的なエンコードされたオーディオ・ビットストリーム（またはファイル）が、プログラムのオーディオ・コンテンツおよび／またはメタデータの一部を示す。各サブストリームがドルビーEビットストリームである（またはAES3シリアル・デジタル・オーディオ・ビットストリーム内に非pcmデータを担持するSMPTE337フォーマットに整合する仕方でエンコードされている）場合、それらのビットストリームは集団的に、8チャネルまでのオーディオ・コンテンツのいくつかを示すことができる。各ビットストリームは8チャネルまでのオーディオ・データを担持し、典型的にはメタデータも含む。各ビットストリームは、すべてのオーディオ・データおよびすべてのビットストリームによって担持されるメタデータを示す組み合わされたビットストリームのサブストリームと考えられることができる。

もう一つの例として、いくつかの実施形態では、エンコードされたオーディオ・ビットストリームは、少なくとも一つのオーディオ・プログラムの、メタデータ（たとえば、混合グラフおよびサブストリーム・メタデータおよび任意的には他のオブジェクト関係メタデータも）およびオーディオ・コンテンツの複数のサブストリームを示す。典型的には、各サブストリームは、プログラムのチャネル（および典型的にはメタデータも）の一つまたは複数を示す。いくつかの場合には、エンコードされたオーディオ・ビットストリームの複数のサブストリームは、いくつかのオーディオ・プログラム、たとえば「メイン」オーディオ・プログラム（これはマルチチャネル・プログラムであってもよい）および少なくとも一つの他のオーディオ・プログラム（たとえばメイン・オーディオ・プログラムについてのコメンタリーであるプログラム）のオーディオ・コンテンツを示す。

少なくとも一つのオーディオ・プログラムを示すエンコードされたオーディオ・ビットストリームは、オーディオ・コンテンツの少なくとも一つの「独立」サブストリームを必ず含む。独立サブストリームは、オーディオ・プログラムの少なくとも一つのチャネルを示す（たとえば、独立サブストリームは、通常の5.1チャネル・オーディオ・プログラムの五つのフルレンジ・チャネルを示してもよい）。ここで、このオーディオ・プログラムは「メイン」プログラムと称される。

いくつかの場合には、エンコードされたオーディオ・ビットストリームは、二つ以上のオーディオ・プログラム（「メイン」プログラムおよび少なくとも一つの他のオーディオ・プログラム）を示す。そのような場合、ビットストリームは、二つ以上の独立サブストリームを含む。メイン・プログラムの少なくとも一つのチャネルを示す第一の独立サブストリームと、別のオーディオ・プログラム（メイン・プログラムとは異なるプログラム）の少なくとも一つのチャネルを示す少なくとも一つの他の独立サブストリームである。各独立ビットストリームは、独立にデコードされることができ、デコーダは、エンコードされたビットストリームの独立サブストリームのうちの部分集合（全部ではない）のみをデコードするよう動作できる。

任意的に、メイン・プログラム（および任意的には少なくとも一つの他のオーディオ・プログラムも）を示すエンコードされたオーディオ・ビットストリームは、オーディオ・コンテンツの少なくとも一つの「従属」サブストリームを含む。各従属サブストリームは、ビットストリームの一つの独立サブストリームに関連付けられており、関連付けられた独立サブストリームによって示されるコンテンツをもつ当該プログラム（たとえばメイン・プログラム）の少なくとも一つの追加的チャネルを示す（すなわち、従属サブストリームは、関連付けられた独立サブストリームによって示されているのではないプログラムの少なくとも一つのチャネルを示し、関連付けられた独立サブストリームはプログラムの少なくとも一つのチャネルを示す）。

（メイン・プログラムの少なくとも一つのチャネルを示す）独立サブストリームを含むエンコードされたビットストリームでは、ビットストリームは、メイン・プログラムの一つまたは複数の追加的スピーカー・チャネルを示す（独立ビットストリームに関連付けられた）従属サブストリームをも含む。そのような追加的なスピーカー・チャネルは、独立サブストリームによって示されるメイン・プログラム・チャネルに対して追加的である。たとえば、独立サブストリームが7.1チャネル・メイン・プログラムの標準フォーマットの左、右、中央、左サラウンド、右サラウンドのフルレンジ・スピーカー・チャネルを示す場合、従属サブストリームは、メイン・プログラムの残りの二つのフルレンジ・スピーカー・チャネルを示してもよい。

E-AC-3規格によれば、通常のE-AC-3ビットストリームは、少なくとも一つの独立サブストリーム（たとえば単一のAC-3ビットストリーム）を示す必要があり、八つまでの独立サブストリームを示してもよい。E-AC-3ビットストリームの各独立サブストリームは、八つまでの従属サブストリームに関連付けられてもよい。

ある例示的実施形態（図１１を参照して後述）では、オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、メタデータとを含む。メタデータは、（プログラムのオーディオ・コンテンツのサブストリーム構造および／またはプログラムのオーディオ・コンテンツのサブストリームがデコードされるべき仕方を示す）「サブストリーム」メタデータを含み、典型的には、スピーカー・チャネルおよびオブジェクト・チャネルの選択可能な混合を示す混合グラフをも含む。サッカー試合に関連付けられたオーディオ・プログラム。エンコードされたオーディオ・ビットストリーム（たとえばE-AC-3ビットストリーム）は、プログラムのオーディオ・コンテンツおよびメタデータを示す。プログラムの（よってビットストリームの）オーディオ・コンテンツは、図１１に示されるように四つの独立サブストリームを含む。一つの独立サブストリーム（図１１においてサブストリームI0とラベル付けされている）は、サッカー試合における中立の群衆ノイズを示す5.1スピーカー・チャネル・ベッドを示す。別の独立サブストリーム（図１１においてサブストリームI1とラベル付けされている）は、一方のチーム（「チームA」）寄りに偏っている試合群衆の部分からの音を示す2.0チャネルの「チームA」ベッド（「M群衆」）、他方のチーム（「チームB」）寄りに偏っている試合群衆の部分からの音を示す2.0チャネルの「チームB」ベッド（「LibP群衆」）および試合についてのコメンタリーを示すモノフォニック・オブジェクト・チャネル（「Sky comm1」）を示す。第三の独立サブストリーム（図１１においてサブストリームI2とラベル付けされている）は、サッカー試合イベント参加者によってボールが打撃された際に試合ボールによって出される音を示すオブジェクト・チャネル・オーディオ・コンテンツ（「2/0ボールキック」とラベル付けされている）およびサッカー試合についての異なるコメンタリーをそれぞれ示す三つのオブジェクト・チャネル（「Sky comm2」、「Man comm」および「Liv Comm」）を示す。第四の独立サブストリーム（図１１ではサブストリームI3とラベル付けされている）は、サッカー試合におけるスタジアムの公共アナウンス・システムによって生成される音を示すオブジェクト・チャネル（「PA」とラベル付けされている）、サッカー試合のラジオ放送を示すオブジェクト・チャネル（「ラジオ」とラベル付けされている）およびサッカー試合の間のゴールのスコアすることを示すオブジェクト・チャネル（「ゴールフラッシュ」とラベル付けされている）を示す。

図１１の例では、サブストリームI0は、プログラムについての混合グラフと、サブストリーム・メタデータの少なくとも一部および少なくともいくらかのオブジェクト・チャネル関係メタデータを含むメタデータ（「obj md」）とを含む。サブストリームI1、I2およびI3のそれぞれは、少なくともいくらかのオブジェクト・チャネル関係メタデータおよび任意的には少なくともいくらかのサブストリーム・メタデータのメタデータ（「obj md」）を含む。

図１１の例では、ビットストリームのサブストリーム・メタデータは、デコードの間に、独立サブストリームの各対の間で結合が「オフ」であるべきであることを示す（それにより、各独立サブストリームは他の独立サブストリームとは独立にデコードされる）。ビットストリームのサブストリーム・メタデータは、各サブストリーム内の、結合が「オン」であるべき（よってこれらのチャネルは互いと独立にはデコードされない）または「オフ」であるべき（よってこれらのチャネルは互いと独立にデコードされる）プログラム・チャネルを示す。たとえば、サブストリーム・メタデータは、結合が、サブストリームI1の二つのステレオ・スピーカー・チャネル・ベッド（2.0チャネルの「チームA」ベッドおよび2.0チャネルの「チームB」ベッド）のそれぞれの内部では「オン」であるべきだが、サブストリームI1のスピーカー・チャネル・ベッド間、および、（モノフォニック・オブジェクト・チャネルとスピーカー・チャネル・ベッドが互いに独立にデコードされるよう）サブストリームI1のモノフォニック・オブジェクト・チャネルと各スピーカー・チャネル・ベッドとの間では無効にされるべきであることを示す。同様に、サブストリーム・メタデータは、結合が、（当該ベッドのスピーカー・チャネルが互いとの関連でデコードされるよう）サブストリームI0の5.1スピーカー・チャネル・ベッドの内部では「オン」であるべきであることを示す。

いくつかの実施形態では、スピーカー・チャネルおよびオブジェクト・チャネルは、プログラムの混合グラフに適切な仕方でオーディオ・プログラムのサブストリーム内に含められる（「パッキングされる」）。たとえば、混合グラフが木グラフであれば、グラフのある枝のすべてのチャネルが一つのサブストリーム内に含まれてもよく、グラフの別の枝のすべてのチャネルは別のサブストリーム内に含まれてもよい。

図１０は、本発明のある実施形態を実装するシステムのブロック図である。

図１０のシステムのオブジェクト処理システム（オブジェクト・プロセッサ）２００は、メタデータ生成サブシステム２１０と、中間（mezzanine）エンコーダ２１２と、エミュレーション・サブシステム２１１とを図のように結合されて含んでいる。メタデータ生成サブシステム２１０は、捕捉されたオーディオ・ストリーム（たとえば、観客イベントのところに位置されているマイクロホンによって捕捉された音を示すストリームおよび任意的には他のオーディオ・ストリームも）を受領するよう結合され、コンソール１０４からのオーディオ・ストリームをスピーカー・チャネルのベッド、置換スピーカー・チャネルの集合およびいくつかのオブジェクト・チャネルおよび／またはオブジェクト・チャネル集合に編成（たとえばグループ化）するよう構成されている。サブシステム２１０は、オブジェクト・チャネル（および／またはオブジェクト・チャネル集合）を示すオブジェクト関係メタデータ（条件付きレンダリング・メタデータを含む）を生成するようにも構成されている。エンコーダ２１２は、オブジェクト・チャネル（および／またはオブジェクト・チャネル集合）、オブジェクト関係メタデータおよびスピーカー・チャネルを中間（mezzanine）型オブジェクト・ベース・オーディオ・プログラム（たとえば、ドルビーEビットストリームとしてエンコードされたオブジェクト・ベース・オーディオ・プログラム）としてエンコードするよう構成されている。

オブジェクト・プロセッサ２００のエミュレーション・サブシステム２１１は、オブジェクト・チャネル（および／またはオブジェクト・チャネル集合）およびスピーカー・チャネルの少なくとも選択された部分集合をレンダリング（およびスタジオ・モニタ・スピーカーで再生）して（オブジェクト関係メタデータを使って選択されたオブジェクト・チャネルおよびスピーカー・チャネルを示す混合を生成することによることを含む）、再生された音がサブシステム２００の操作者によってモニタリングできるようにするよう構成されている。

図１０のシステムのトランスコーダ２０２は、中間デコーダ・サブシステム（中間デコーダ）２１３およびエンコーダ２１４を図のように結合されて含む。中間デコーダ２１３は、オブジェクト・プロセッサ２００から出力される中間型オブジェクト・ベース・オーディオ・プログラムを受領してデコードするよう結合され、構成されている。デコーダ２１３のデコードされた出力は、エンコーダ２１４によって放送に好適なフォーマットに再エンコードされる。ある実施形態では、エンコーダ２１４から出力されるエンコードされたオブジェクト・ベース・オーディオ・プログラムはE-AC-3ビットストリームである（よって、エンコーダ２１４は図１０では「DD+エンコーダ」とラベル付けされている）。他の実施形態では、エンコーダ２１４から出力されるエンコードされたオブジェクト・ベース・オーディオ・プログラムはAC-3ビットストリームであるまたは他の何らかのフォーマットをもつ。トランスコーダ２０２のオブジェクト・ベース・オーディオ・プログラム出力は、幾人かのエンドユーザーに放送される（または他の仕方で送達される）。

デコーダ２０４は、あるそのようなエンドユーザーの再生システムに含まれる。デコーダ２０４は、デコーダ２１５およびレンダリング・サブシステム（レンダラー）２１６を図のように結合されて含む。デコーダ２１５は、トランスコーダ２０２から送達されるオブジェクト・ベース・オーディオ・プログラムを受け入れ（受領しまたは読み出し）、デコードする。デコーダ２１５が本発明の典型的な実施形態に従って構成されている場合、典型的な動作におけるデコーダ２１５の出力は、プログラムのスピーカー・チャネルのベッドを示すオーディオ・サンプルのストリームと、プログラムのオブジェクト・チャネル（たとえばユーザー選択可能なオーディオ・オブジェクト・チャネル）を示すオーディオ・サンプルのストリームと、オブジェクト関係メタデータの対応するストリームとを含む。ある実施形態では、デコーダ２１５に入力されるエンコードされたオブジェクト・ベース・オーディオ・プログラムはE-AC-3ビットストリームであり、よってデコーダ２１５は図１０では「DD+デコーダ」とラベル付けされている。

デコーダ２０４のレンダラー２１６は、送達されたプログラムのデコードされたスピーカー・チャネル、オブジェクト・チャネルおよびオブジェクト関係メタデータを（デコーダ２１５から）受領するよう結合されているオブジェクト処理サブシステムを含む。レンダラー２１６は、オブジェクト処理サブシステムによって決定されたオーディオ・コンテンツを、再生システムのスピーカー（図示せず）による再生のためにレンダリングするよう構成されたレンダリング・サブシステムをも含む。

典型的には、レンダラー２１６のオブジェクト処理サブシステムは、レンダラー２１６のレンダリング・サブシステムに対して、プログラムによって示されるオブジェクト・チャネルのフル・セットの選択された部分集合と、対応するオブジェクト関係メタデータとを出力するよう構成される。レンダラー２１６のオブジェクト処理サブシステムは、典型的には、デコーダ２１５からのデコードされたスピーカー・チャネルを不変のまま（レンダリング・サブシステムに）通過させるようにも構成される。オブジェクト処理サブシステムによって実行されるオブジェクト・チャネル選択は、本発明のある実施形態に基づいて、たとえばユーザー選択（単数または複数）および／またはレンダラー２１６が実装するようプログラムされているまたは他の仕方で構成されている（たとえば条件および／または制約を示す）規則によって、決定される。

図１０の要素２００、２０２および２０４のそれぞれ（および図８の要素１０４、１０６、１０８および１１０のそれぞれ）は、ハードウェア・システムとして実装されてもよい。プロセッサ２００（またはプロセッサ１０６）のそのようなハードウェア実装の入力は典型的にはマルチチャネル・オーディオ・デジタル・インターフェース（MADI）入力である。典型手金は、図８のプロセッサ１０６および図１０のエンコーダ２１２および２１４のそれぞれは、フレーム・バッファを含む。典型的には、このフレーム・バッファは、エンコードされた入力オーディオ・ビットストリームを受領するよう結合されたバッファ・メモリであり、動作では、バッファ・メモリは、エンコードされたオーディオ・ビットストリームの少なくとも一つのフレームを（たとえば非一時的な仕方で）記憶し、エンコードされたオーディオ・ビットストリームのフレームのシーケンスはバッファ・メモリから下流の装置またはシステムに呈される。また、典型的には、図１０のデコーダ２１３および２１５のそれぞれは、フレーム・バッファを含む。典型的には、このフレーム・バッファは、エンコードされた入力オーディオ・ビットストリームを受領するよう結合されたバッファ・メモリであり、動作では、バッファ・メモリは、デコーダ２１３または２１５によってデコードされるべきエンコードされたオーディオ・ビットストリームの少なくとも一つのフレームを（たとえば非一時的な仕方で）記憶する。

図８のプロセッサ１０６（または図１０のサブシステム２００、２０２および／または２０４）のコンポーネントまたは要素はいずれも、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせにおいて、一つまたは複数のプロセスおよび／または一つまたは複数の回路（たとえばASIC、FPGAまたは他の集積回路）として実装されてもよい。

いくつかの実施形態では、本発明のオブジェクト・ベース・オーディオ・プログラムは、（メタデータを含め）プログラム・コンテンツを示す、エンコードされていない（たとえばベースバンドの）表現として生成および／または送達されることは理解しておくべきである。たとえば、そのような表現は、PCMオーディオ・サンプルおよび関連するメタデータを含むことができる。エンコードされていない（圧縮されていない）表現は、多様な仕方のうち任意のもので、たとえば（メモリに、たとえばコンピュータ可読媒体上に非一時的な仕方で記憶されている）データの少なくとも一つのファイルとして、あるいはAES-3フォーマットのビットストリームとしてまたはシリアル・デジタル・インターフェース（SDI）フォーマットで（または他のフォーマットで）送達されることができる。

本発明のある側面は、本発明の方法の任意の実施形態を実行するよう構成されたオーディオ処理ユニット（APU）である。APUの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、コーデック、前処理システム（前処理器）、後処理システム（後処理器）、オーディオ・ビットストリーム処理システムおよびそのような要素の組み合わせを含むがそれに限定されるものではない。

あるクラスの実施形態では、本発明は、本発明の方法の任意の実施形態によって生成されたオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルと少なくとも一つのオブジェクト・チャネルとのオーディオ・コンテンツおよび条件付きレンダリング・メタデータを含むオブジェクト関係メタデータを含む）を（たとえば非一時的な仕方で）記憶するバッファ・メモリ（バッファ）を含むAPUである。たとえば、図５のプロダクション・ユニット３は、バッファ３Ａを含んでいてもよく、これがユニット３によって生成されたオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルと少なくとも一つのオブジェクト・チャネルとのオーディオ・コンテンツおよび条件付きレンダリング・メタデータを含むオブジェクト関係メタデータを含む）を（たとえば非一時的な仕方で）記憶する。もう一つの例として、図５のデコーダ７は、バッファ７Ａを含んでいてもよく、これがサブシステム５からデコーダ７に送達されたオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルと少なくとも一つのオブジェクト・チャネルとのオーディオ・コンテンツおよび条件付きレンダリング・メタデータを含むオブジェクト関係メタデータを含む）を（たとえば非一時的な仕方で）記憶する。

本発明の実施形態は、ハードウェア、ファームウェアまたはソフトウェアまたはそれらの組み合わせにおいて（たとえばプログラム可能な論理アレイとして）実装されてもよい。たとえば、図８または図７のシステムのサブシステム１０６または図６のシステムの要素２０、２２、２４、２５、２６、２９、３５、３１、３５の全部もしくは一部または図１０の要素２００、２０２、２０４の全部もしくは一部は、適切にプログラムされた（または他の仕方で構成された）ハードウェアまたはファームウェアにおいて、たとえばプログラムされた汎用プロセッサ、デジタル信号プロセッサまたはマイクロプロセッサとして実装されてもよい。特に断わりのない限り、本発明の一部として含まれるアルゴリズムまたはプロセスは、いかなる特定のコンピュータまたは他の装置にも本来的に関係していない。特に、さまざまな汎用機械が、本願の教示に従って書かれたプログラムとともに使用されてもよく、あるいは必要とされる方法ステップを実行するためにより特化した装置（たとえば集積回路）を構築することがより便利であることがある。このように、本発明は、一つまたは複数のプログラム可能なコンピュータ・システム（たとえば、図６の要素２０、２２、２４、２５、２６、２９、３５、３１、３５の全部もしくは一部の実装）上で実行される一つまたは複数のコンピュータ・プログラムにおいて実装されてもよい。各コンピュータ・システムは、少なくとも一つのプロセッサ、少なくとも一つのデータ記憶システム（揮発性および不揮発性メモリおよび／または記憶要素を含む）、少なくとも一つの入力装置またはポートおよび少なくとも一つの出力装置またはポートを有する。本稿に記載される機能を実行し、出力情報を生成するようプログラム・コードが入力データに適用される。出力情報は、既知の仕方で一つまたは複数の出力装置に適用される。

そのような各プログラムは、コンピュータ・システムと通信するためにいかなる所望されるコンピュータ言語（機械、アセンブリーまたは高水準手続き型、論理的またはオブジェクト指向のプログラミング言語を含む）において実装されてもよい。いずれの場合にも、言語はコンパイルされる言語でもインタープリットされる言語でもよい。

たとえば、コンピュータ・ソフトウェア命令のシーケンスによって実装されるとき、本発明の実施形態のさまざまな機能および段階は、好適なデジタル信号処理ハードウェアにおいて実行されるマルチスレッド式のソフトウェア命令シーケンスによって実装されてもよく、その場合、実施形態のさまざまな装置、段階および機能は、ソフトウェア命令の諸部分に対応してもよい。

そのような各コンピュータ・プログラムは好ましくは、汎用または専用のプログラム可能なコンピュータによって読み取り可能な記憶媒体またはデバイス（たとえば半導体メモリまたはメディアまたは磁気式もしくは光学式メディア）に記憶されるまたはダウンロードされ、記憶媒体またはデバイスがコンピュータ・システムによって読まれたときに、本稿に記載される手順を実行するようコンピュータを構成するまたは動作させる。本発明のシステムは、コンピュータ・プログラムをもって構成された（すなわちコンピュータ・プログラムを記憶している）コンピュータ可読記憶媒体として実装されてもよく、そのように構成された記憶媒体はコンピュータ・システムに、本稿に記載される機能を実行するよう特定のあらかじめ定義された仕方で動作させる。

本発明のいくつかの実施形態を記述してきたが、本発明の精神および範囲から外れることなくさまざまな修正がなしうることは理解しておくべきである。上記の教示に照らして、本発明の数多くの修正および変形が可能である。付属の請求項の範囲内で、本発明が、本稿で具体的に記載される以外の仕方で実施されてもよいことは理解される。
いくつかの態様を記載しておく。
〔態様１〕
オブジェクト・ベース・オーディオ・プログラムを生成する方法であって：
少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータを生成する段階であって、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件を示す、段階と；
前記少なくとも一つのオブジェクト・チャネルを含むオーディオ・チャネルの集合を決定する段階と；
前記オブジェクト・ベース・オーディオ・プログラムがオーディオ・チャネルの前記集合および前記条件付きレンダリング・メタデータを示すよう、かつ前記プログラムの少なくとも一つのオーディオ・チャネルのコンテンツが、前記条件付きレンダリング・メタデータの少なくとも一部に応答して再生システムによって前記少なくとも一つのレンダリング制約条件に従う仕方でレンダリング可能であるよう、前記オブジェクト・ベース・オーディオ・プログラムを生成する段階とを含む、
方法。
〔態様２〕
前記条件付きレンダリング・メタデータは、前記プログラムのオーディオ・チャネルをレンダリングするための、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則をも示す、態様１記載の方法。
〔態様３〕
オーディオ・チャネルの前記集合は少なくとも一つのスピーカー・チャネルを含み、オーディオ・チャネルの前記集合の少なくとも一つのスピーカー・チャネルのオーディオ・コンテンツは観客イベントにおいて捕捉された音を示し、オーディオ・チャネルの前記集合の少なくとも一つのオブジェクト・チャネルによって示されるオーディオ・コンテンツは前記観客イベントについてのコメンタリーを示す、態様１または２記載の方法。
〔態様４〕
前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記少なくとも一つのオブジェクト・チャネルの一部のコンテンツおよび前記条件付きレンダリング・メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、態様１ないし３のうちいずれか一項記載の方法。
〔態様５〕
前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームである、態様１ないし３のうちいずれか一項記載の方法。
〔態様６〕
オブジェクト・ベース・オーディオ・プログラムが前記プログラムの前記オーディオ・コンテンツおよび前記メタデータを示す、エンコードされていない表現であり、前記エンコードされていない表現は、ビットストリームであるまたはメモリに非一時的な仕方で記憶されたデータの少なくとも一つのファイルである、態様１ないし３のうちいずれか一項記載の方法。
〔態様７〕
オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする方法であって、前記プログラムは、少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータと、前記少なくとも一つのオブジェクト・チャネルを含むオーディオ・チャネルの集合とを示し、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件を示し、当該方法は：
（ａ）前記オブジェクト・ベース・オーディオ・プログラムをオーディオ処理ユニットに提供する段階と；
（ｂ）前記オーディオ処理ユニットにおいて、前記条件付きレンダリング・メタデータおよびオーディオ・チャネルの前記集合をパースして、オーディオ・チャネルの前記集合の少なくとも一つのオーディオ・チャネルのコンテンツを、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、前記少なくとも一つのレンダリング制約条件に従う仕方でレンダリングする段階とを含む、
方法。
〔態様８〕
オーディオ・チャネルの前記集合は、少なくとも一つのスピーカー・チャネルを含み、段階（ｂ）は、オーディオ・チャネルの前記集合の少なくとも一つのオブジェクト・チャネルを選択し、それにより選択されたオブジェクト・チャネルの部分集合を決定し、前記選択されたオブジェクト・チャネルの部分集合の各オブジェクト・チャネルを前記集合の少なくとも一つのスピーカー・チャネルと混合して、前記集合の前記選択されたオブジェクト・チャネルの部分集合および前記少なくとも一つのスピーカー・チャネルのコンテンツのダウンミックスをレンダリングする段階を含む、態様７記載の方法。
〔態様９〕
段階（ｂ）は：
前記条件付きレンダリング・メタデータの少なくとも一部に応答して、かつ前記オーディオ処理ユニットの特定の再生スピーカー・アレイ構成に基づいて、選択のために利用可能なレンダリング・オプションのメニューを提供する段階と；
前記メニューによって示されるレンダリング・オプションの一つを選択することによって、オーディオ・チャネルの前記集合の前記少なくとも一つのオブジェクト・チャネルを選択して、それにより前記選択されたオブジェクト・チャネルの部分集合を決定する段階とを含む、
態様８記載の方法。
〔態様１０〕
前記ダウンミックスはN個のダウンミックスされたスピーカー・チャネルの集合からなり、Nは正の整数であり、段階（ｂ）は、再生スピーカー・アレイのN個のスピーカーに、ダウンミックスされたスピーカー・チャネルから生成されるスピーカー・フィードでそれらのスピーカーを駆動することによって音を発させる段階を含む、態様８記載の方法。
〔態様１１〕
前記メニューは、コントローラのユーザー・インターフェースによって呈示され、前記コントローラは、前記コントローラはセットトップデバイスに結合されており、前記セットトップデバイスは、前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合され、段階（ｂ）を実行するよう構成されている、態様７ないし１０のうちいずれか一項記載の方法。
〔態様１２〕
前記条件付きレンダリング・メタデータは、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則をも示し、段階（ｂ）において実行されるレンダリングは該レンダリング規則に従う、態様７ないし１１のうちいずれか一項記載の方法。
〔態様１３〕
オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするシステムであって、前記プログラムは、少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータを示し、前記プログラムは、前記少なくとも一つのオブジェクト・チャネルを含むオーディオ・チャネルの集合をも示し、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件を示し、当該システムは：
前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合されており、前記条件付きレンダリング・メタデータおよびオーディオ・チャネルの前記集合をパースして、オーディオ・チャネルの前記集合の選択された部分集合を決定するよう構成されている第一のサブシステムと；
前記第一のサブシステムに結合され、オーディオ・チャネルの前記集合の前記選択された部分集合によって示されるコンテンツを、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、前記少なくとも一つのレンダリング制約条件に従う仕方でレンダリングするよう構成されている、レンダリング・サブシステムとを有する、
システム。
〔態様１４〕
オーディオ・チャネルの前記集合は、少なくとも一つのスピーカー・チャネルを含み、当該システムは、前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、かつシステムの特定の再生スピーカー・アレイ構成に基づいて、選択のために利用可能なレンダリング・オプションのメニューを提供するよう構成されており、
前記コントローラは、前記メニューによって示されるレンダリング・オプションの一つのユーザー選択に応答して、オーディオ・チャネルの前記集合の前記選択された部分集合を決定するよう構成されており、
前記レンダリング・サブシステムは、オーディオ・チャネルの前記集合の前記選択された部分集合の各オブジェクト・チャネルを、オーディオ・チャネルの前記集合の前記選択された部分集合の少なくとも一つのスピーカー・チャネルと混合して、前記コンテンツをレンダリングするよう構成されている、
態様１３記載のシステム。
〔態様１５〕
前記第一のサブシステムは、オーディオ・チャネルの前記集合の少なくとも一つのオブジェクト・チャネルを選択し、それにより選択されたオブジェクト・チャネルの部分集合を決定するよう構成されており、前記レンダリング・サブシステムは、前記選択されたオブジェクト・チャネルの部分集合の各オブジェクト・チャネルを前記集合の少なくとも一つのスピーカー・チャネルと混合して、前記集合の前記選択されたオブジェクト・チャネルの部分集合および前記少なくとも一つのスピーカー・チャネルのコンテンツのダウンミックスを生成するよう構成されている、態様１３または１４記載のシステム。
〔態様１６〕
前記ダウンミックスはN個のダウンミックスされたスピーカー・チャネルの集合からなり、Nは正の整数であり、前記レンダリング・サブシステムは、再生スピーカー・アレイのN個のスピーカーを駆動して前記スピーカーに前記ダウンミックスのコンテンツを示す音を発させるために、ダウンミックスされたスピーカー・チャネルからスピーカー・フィードを生成するよう構成されている、態様１５記載のシステム。
〔態様１７〕
前記条件付きレンダリング・メタデータは、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則をも示し、前記レンダリング・サブシステムは該レンダリング規則に従う仕方で前記コンテンツをレンダリングするよう構成されている、態様１３ないし１６のうちいずれか一項記載のシステム。
〔態様１８〕
バッファ・メモリおよび前記バッファ・メモリに結合された少なくとも一つのオーディオ処理サブシステムを含むオーディオ処理ユニットであって、
前記バッファ・メモリはオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのセグメントを記憶し、前記プログラムは、少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータを示し、前記プログラムは、前記少なくとも一つのオブジェクト・チャネルを含むオーディオ・チャネルの集合をも示し、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件を示し、
各前記セグメントは、オーディオ・チャネルの前記集合のオーディオ・コンテンツおよび前記条件付きレンダリング・メタデータの少なくとも一部を示す、
オーディオ処理ユニット。
〔態様１９〕
前記オブジェクト・ベース・オーディオ・プログラムがフレームを含むエンコードされたビットストリームであり、前記各セグメントは該フレームの一つである、態様１８記載のオーディオ処理ユニット。
〔態様２０〕
前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記フレームのそれぞれは、前記少なくとも一つのオブジェクト・チャネルの一部のコンテンツおよび前記条件付きレンダリング・メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記フレームの各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、態様１８または１９記載のオーディオ処理ユニット。
〔態様２１〕
前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームである、態様１８または１９記載のオーディオ処理ユニット。
〔態様２２〕
オブジェクト・ベース・オーディオ・プログラムが前記プログラムの前記オーディオ・コンテンツおよび前記メタデータを示す、エンコードされていない表現であり、前記エンコードされていない表現は、ビットストリームであるまたはメモリに非一時的な仕方で記憶されたデータの少なくとも一つのファイルである、態様１８または１９記載のオーディオ処理ユニット。
〔態様２３〕
前記バッファ・メモリが前記セグメントを非一時的な仕方で記憶する、態様１８ないし２２のうちいずれか一項記載のオーディオ処理ユニット。
〔態様２４〕
前記オーディオ処理サブシステムがエンコーダである、態様１８ないし２３のうちいずれか一項記載のオーディオ処理ユニット。
〔態様２５〕
前記オーディオ処理サブシステムが、前記条件付きレンダリング・メタデータおよびオーディオ・チャネルの前記集合をパースするよう構成されている、態様１８ないし２４のうちいずれか一項記載のオーディオ処理ユニット。
〔態様２６〕
前記オーディオ処理サブシステムが、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、オーディオ・チャネルの前記集合の選択された部分集合によって示されるオーディオ・コンテンツの、前記少なくとも一つのレンダリング制約条件に従うダウンミックスをレンダリングするよう構成されている、態様１８ないし２５のうちいずれか一項記載のオーディオ処理ユニット。

Claims (14)

1. オブジェクト・ベース・オーディオ・プログラムを生成するシステムによって実行される方法であって：
   少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータを生成する段階であって、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件を示し、前記条件付きレンダリング・メタデータは、前記プログラムのオーディオ・チャネルをレンダリングするための、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則をも示し、前記少なくとも一つのレンダリング規則は、少なくとも下記、すなわち：
   第一の型の各オブジェクト・チャネルは、前記再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含む場合には、前記プログラムのコンテンツの任意のユーザー選択されるまたはデフォルトの混合によって指定されるスピーカー・チャネルがあればそれにダウンミックスされるべきであり、
   前記第一の型の各オブジェクト・チャネルは、前記再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含まない場合には、スピーカー・チャネルへのいかなるダウンミックスにも含められるべきではないということを含む、
   段階と；
   前記少なくとも一つのオブジェクト・チャネルを含むオーディオ・チャネルの集合を決定する段階と；
   前記オブジェクト・ベース・オーディオ・プログラムがオーディオ・チャネルの前記集合および前記条件付きレンダリング・メタデータを示すよう、かつ前記プログラムの少なくとも一つのオーディオ・チャネルのコンテンツが、前記条件付きレンダリング・メタデータの少なくとも一部に応答して再生システムによって前記少なくとも一つのレンダリング制約条件および前記少なくとも一つのレンダリング規則に従う仕方でレンダリング可能であるよう、前記オブジェクト・ベース・オーディオ・プログラムを生成する段階とを含む、
   方法。
2. オーディオ・チャネルの前記集合は少なくとも一つのスピーカー・チャネルを含み、オーディオ・チャネルの前記集合の少なくとも一つのスピーカー・チャネルのオーディオ・コンテンツは観客イベントにおいて捕捉された音を示し、オーディオ・チャネルの前記集合の少なくとも一つのオブジェクト・チャネルによって示されるオーディオ・コンテンツは前記観客イベントについてのコメンタリーを示す、請求項１記載の方法。
3. 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記少なくとも一つのオブジェクト・チャネルの一部のコンテンツおよび前記条件付きレンダリング・メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、請求項１または２記載の方法。
4. 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームである、請求項１または２記載の方法。
5. オブジェクト・ベース・オーディオ・プログラムが前記プログラムの前記オーディオ・コンテンツおよび前記メタデータを示す、エンコードされていない表現であり、前記エンコードされていない表現は、ビットストリームであるまたはメモリに非一時的な仕方で記憶されたデータの少なくとも一つのファイルである、請求項１または２記載の方法。
6. オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするシステムによって実行される方法であって、前記プログラムは、少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータと、前記少なくとも一つのオブジェクト・チャネルを含むオーディオ・チャネルの集合とを示し、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件を示し、前記条件付きレンダリング・メタデータは、前記プログラムのオーディオ・チャネルをレンダリングするための、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則をも示し、当該方法は：
   （ａ）前記オブジェクト・ベース・オーディオ・プログラムをオーディオ処理ユニットに提供する段階と；
   （ｂ）前記オーディオ処理ユニットにおいて、前記条件付きレンダリング・メタデータおよびオーディオ・チャネルの前記集合をパースして、オーディオ・チャネルの前記集合の少なくとも一つのオーディオ・チャネルのコンテンツを、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、前記少なくとも一つのレンダリング制約条件および前記少なくとも一つのレンダリング規則に従う仕方でレンダリングする段階とを含み、
   前記少なくとも一つのレンダリング規則は、少なくとも下記、すなわち：
   第一の型の各オブジェクト・チャネルは、前記再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含む場合には、前記プログラムのコンテンツの任意のユーザー選択されるまたはデフォルトの混合によって指定されるスピーカー・チャネルがあればそれにダウンミックスされるべきであり、
   前記第一の型の各オブジェクト・チャネルは、前記再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含まない場合には、スピーカー・チャネルへのいかなるダウンミックスにも含められるべきではないということを含む、
   方法。
7. オーディオ・チャネルの前記集合は、少なくとも一つのスピーカー・チャネルを含み、段階（ｂ）は、オーディオ・チャネルの前記集合の少なくとも一つのオブジェクト・チャネルを選択し、それにより選択されたオブジェクト・チャネルの部分集合を決定し、前記選択されたオブジェクト・チャネルの部分集合の各オブジェクト・チャネルを前記集合の少なくとも一つのスピーカー・チャネルと混合して、前記集合の前記選択されたオブジェクト・チャネルの部分集合および前記少なくとも一つのスピーカー・チャネルのコンテンツのダウンミックスをレンダリングする段階を含む、請求項６記載の方法。
8. 段階（ｂ）は：
   前記条件付きレンダリング・メタデータの少なくとも一部に応答して、かつ前記オーディオ処理ユニットの特定の再生スピーカー・アレイ構成に基づいて、選択のために利用可能なレンダリング・オプションのメニューを提供する段階と；
   前記メニューによって示されるレンダリング・オプションの一つを選択することによって、オーディオ・チャネルの前記集合の前記少なくとも一つのオブジェクト・チャネルを選択して、それにより前記選択されたオブジェクト・チャネルの部分集合を決定する段階とを含む、
   請求項７記載の方法。
9. 前記ダウンミックスはN個のダウンミックスされたスピーカー・チャネルの集合からなり、Nは正の整数であり、段階（ｂ）は、再生スピーカー・アレイのN個のスピーカーに、ダウンミックスされたスピーカー・チャネルから生成されるスピーカー・フィードでそれらのスピーカーを駆動することによって音を発させる段階を含む、請求項７記載の方法。
10. 前記メニューは、コントローラのユーザー・インターフェースによって呈示され、前記コントローラは、前記コントローラはセットトップデバイスに結合されており、前記セットトップデバイスは、前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合され、段階（ｂ）を実行するよう構成されている、請求項８記載の方法。
11. オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするシステムであって、前記プログラムは、少なくとも一つのオブジェクト・チャネルに対応する条件付きレンダリング・メタデータを示し、前記プログラムは、前記少なくとも一つのオブジェクト・チャネルを含むオーディオ・チャネルの集合をも示し、前記条件付きレンダリング・メタデータは、前記少なくとも一つのオブジェクト・チャネルに当てはまる、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング制約条件を示し、前記条件付きレンダリング・メタデータは、前記プログラムのオーディオ・チャネルをレンダリングするための、再生スピーカー・アレイ構成に基づく少なくとも一つのレンダリング規則をも示し、当該システムは：
    前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合されており、前記条件付きレンダリング・メタデータおよびオーディオ・チャネルの前記集合をパースして、オーディオ・チャネルの前記集合の選択された部分集合を決定するよう構成されている第一のサブシステムと；
    前記第一のサブシステムに結合され、オーディオ・チャネルの前記集合の前記選択された部分集合によって示されるコンテンツを、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、前記少なくとも一つのレンダリング制約条件および前記少なくとも一つのレンダリング規則に従う仕方でレンダリングするよう構成されている、レンダリング・サブシステムとを有し、
    前記少なくとも一つのレンダリング規則は、少なくとも下記、すなわち：
    第一の型の各オブジェクト・チャネルは、前記再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含む場合には、前記プログラムのコンテンツの任意のユーザー選択されるまたはデフォルトの混合によって指定されるスピーカー・チャネルがあればそれにダウンミックスされるべきであり、
    前記第一の型の各オブジェクト・チャネルは、前記再生スピーカー・アレイが少なくとも一つの床上方スピーカーを含まない場合には、スピーカー・チャネルへのいかなるダウンミックスにも含められるべきではないということを含む、
    システム。
12. オーディオ・チャネルの前記集合は、少なくとも一つのスピーカー・チャネルを含み、当該システムは、前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、前記条件付きレンダリング・メタデータの少なくとも一部に応答して、かつシステムの特定の再生スピーカー・アレイ構成に基づいて、選択のために利用可能なレンダリング・オプションのメニューを提供するよう構成されており、
    前記コントローラは、前記メニューによって示されるレンダリング・オプションの一つのユーザー選択に応答して、オーディオ・チャネルの前記集合の前記選択された部分集合を決定するよう構成されており、
    前記レンダリング・サブシステムは、オーディオ・チャネルの前記集合の前記選択された部分集合の各オブジェクト・チャネルを、オーディオ・チャネルの前記集合の前記選択された部分集合の少なくとも一つのスピーカー・チャネルと混合して、前記コンテンツをレンダリングするよう構成されている、
    請求項１１記載のシステム。
13. 前記第一のサブシステムは、オーディオ・チャネルの前記集合の少なくとも一つのオブジェクト・チャネルを選択し、それにより選択されたオブジェクト・チャネルの部分集合を決定するよう構成されており、前記レンダリング・サブシステムは、前記選択されたオブジェクト・チャネルの部分集合の各オブジェクト・チャネルを前記集合の少なくとも一つのスピーカー・チャネルと混合して、前記集合の前記選択されたオブジェクト・チャネルの部分集合および前記少なくとも一つのスピーカー・チャネルのコンテンツのダウンミックスを生成するよう構成されている、請求項１１または１２記載のシステム。
14. 前記ダウンミックスはN個のダウンミックスされたスピーカー・チャネルの集合からなり、Nは正の整数であり、前記レンダリング・サブシステムは、再生スピーカー・アレイのN個のスピーカーを駆動して前記スピーカーに前記ダウンミックスのコンテンツを示す音を発させるために、ダウンミックスされたスピーカー・チャネルからスピーカー・フィードを生成するよう構成されている、請求項１３記載のシステム。
    

Images