JP6212624B2 - オブジェクト・ベース・オーディオの対話的にレンダリングのための方法およびシステム - Google Patents

Description

関連出願への相互参照
本願は2013年4月3日に出願された米国仮特許出願第61/807,922号および2013年6月7日に出願された米国仮特許出願第61/832,397号の出願日の利益を主張する。両出願の内容はここに参照によって組み込まれる。

技術分野
本発明はオーディオ信号処理に、より詳細には（典型的にはスピーカー・チャネルおよび少なくとも一つの選択可能なオーディオ・オブジェクト・チャネルを示す）オーディオ・コンテンツおよび該オーディオ・コンテンツの対話的レンダリングをサポートするメタデータを含むオーディオ・データ・ビットストリームのエンコード、デコードおよび対話的レンダリングに関する。本発明のいくつかの実施形態は、ドルビー・デジタル（AC-3）、ドルビー・デジタル・プラス（Enhanced AC-3［向上AC-3］またはE-AC-3）またはドルビーEとして知られるフォーマットの一つでオーディオ・データを生成、デコードおよび／またはレンダリングする。

ドルビー、ドルビー・デジタル、ドルビー・デジタル・プラスおよびドルビーEはドルビー・ラボラトリーズ・ライセンシング・コーポレイションの商標である。ドルビー・ラボラトリーズはそれぞれドルビー・デジタルおよびドルビー・デジタル・プラスとして知られるAC-3およびE-AC-3の独自の実装を提供している。

オーディオ・データの典型的なストリームは、オーディオ・コンテンツ（たとえば一つまたは複数のチャネルのオーディオ・コンテンツ）および該オーディオ・コンテンツの少なくとも一つの特性を示すメタデータの両方を含む。たとえば、AC-3ビットストリームでは、聴取環境に送達されるプログラムの音を変える際に使うよう特に意図されているいくつかのオーディオ・メタデータ・パラメータがある。メタデータ・パラメータの一つはDIALNORMパラメータである。これは、オーディオ・プログラムに現われるダイアログの平均レベルを示すために意図されており、オーディオ再生信号レベルを決定するために使われる。

本発明はAC-3ビットストリーム、E-AC-3ビットストリームまたはドルビーEビットストリームとの使用に限定されないが、便宜上、ラウドネス処理状態メタデータを含むそのようなビットストリームを生成、デコードまたは他の仕方で処理する実施形態において記述される。

AC-3エンコードされたビットストリームおよび一ないし六個のチャネルのオーディオ・コンテンツを含む。オーディオ・コンテンツは、知覚的オーディオ符号化を使って圧縮されたオーディオ・データである。メタデータは、聴取環境に送達されるプログラムの音を変えることにおいて使うことが意図されているいくつかのオーディオ・メタデータ・パラメータを含む。

AC-3（ドルビー・デジタルとしても知られる）符号化の詳細はよく知られており、非特許文献１を含む多くの刊行物で記述されている。

ドルビー・デジタル・プラス（E-AC-3）の詳細は非特許文献２に記載されている。

ドルビーE符号化の詳細は、非特許文献３および非特許文献４に記載されている。

AC-3エンコードされたオーディオ・ビットストリームの各フレームは、デジタル・オーディオの1536サンプルについてのオーディオ・コンテンツおよびメタデータを含む。48kHzのサンプリング・レートについては、これは32ミリ秒のデジタル・オーディオまたはオーディオの31.25フレーム毎秒のレートを表わす。

E-AC-3エンコードされたオーディオ・ビットストリームの各フレームは、フレームに含まれるオーディオ・データが一、二、三または六ブロックのいずれであるかに依存して、それぞれデジタル・オーディオの256、512、768または1536サンプルについてのオーディオ・コンテンツおよびメタデータを含む。48kHzのサンプリング・レートについては、これはそれぞれ5.333、10.667、16または32ミリ秒のデジタル・オーディオまたはそれぞれオーディオの189.9、93.75、62.5または31.25フレーム毎秒のレートを表わす。

図１に示されるように、各AC-3フレームはセクション（セグメント）に分割される。セクションは、（図２に示されるように）同期語（SW）および二つの誤り訂正語のうち第一のもの（CRC1）を含む同期情報（SI）セクションと；メタデータの大半を含むビットストリーム情報（BSI）セクションと；データ圧縮されたオーディオ・コンテンツを含む（そしてメタデータも含むことができる）六つのオーディオ・ブロック（AB0からAB5）と；オーディオ・コンテンツが圧縮されたのちに残される未使用ビットがあればそれを含む余剰（waste）ビット（W）と；さらなるメタデータを含んでいてもよい補助（AUX）情報セクションと；二つの誤り訂正語のうちの第二のもの（CRC2）とを含む。

図４に示されるように、各E-AC-3フレームはセクション（セグメント）に分割される。セクションは、（図２に示されるように）同期語（SW）を含む同期情報（SI）セクションと；メタデータの大半を含むビットストリーム情報（BSI）セクションと；データ圧縮されたオーディオ・コンテンツを含む（そしてメタデータも含むことができる）一から六個までの間のオーディオ・ブロック（AB0からAB5）と；オーディオ・コンテンツが圧縮されたのちに残される未使用ビットがあればそれを含む余剰（waste）ビット（W）と；さらなるメタデータを含んでいてもよい補助（AUX）情報セクションと；誤り訂正語（CRC）とを含む。

AC-3（またはE-AC-3）ビットストリームでは、聴取環境に送達されるプログラムの音を変える際に使うよう特に意図されたいくつかのオーディオ・メタデータ・パラメータがある。そうしたメタデータ・パラメータの一つはDIALNORMパラメータであり、これはBSIセグメントに含まれる。

図３に示されるように、AC-3フレーム（またはE-AC-3フレーム）のBSIセグメントは、当該プログラムについてのDIALNORM値を示す五ビットのパラメータ（「DIALNORM」）を含む。当該AC-3フレームのオーディオ符号化モード（「acmod」）が「0」であってデュアル・モノあるいは「1＋1」チャネル構成が使われていることを示す場合には、同じAC-3フレームにおいて担持される第二のオーディオ・プログラムについてのDIALNORM値を示す五ビットのパラメータ（「DIALNORM2」）が含まれる。

BSIセグメントは、フラグ（「addbsie」）であって、該「addbsie」ビットに続く追加的なビットストリーム情報の存在（または不在）を示すフラグと、パラメータ（「addbsil」）であって、該「addbsil」値に続く追加的なビットストリーム情報があればその長さを示すパラメータと、「addbsil」値に続く64ビットまでの追加的なビットストリーム情報（「addbsi」）とを含む。

BSIセグメントは、図３に具体的に示されない他のメタデータ値を含む。

オーディオ・ビットストリームに他の型のメタデータを含めることが提案されている。たとえば、オーディオ・コンテンツの処理状態（たとえばラウドネス処理状態）および特性（たとえばラウドネス）を示すメタデータを含むオーディオ・ビットストリームを生成、デコードおよび処理するための方法およびシステムが、2011年12月1日の国際出願日をもち本願の被譲渡者に譲渡されている国際公開第2012/075246号に記載されている。この文献は、メタデータを使ったビットストリームのオーディオ・コンテンツの適応的な処理およびメタデータを使ったビットストリームのオーディオ・コンテンツのラウドネス処理状態およびラウドネスの有効性の検証をも記載している。

オブジェクト・ベース・オーディオ・プログラムを生成し、レンダリングする方法も知られている。そのようなプログラムの生成の際、典型的には、レンダリングのために用いられるラウドスピーカーは、必ずしも（公称上）水平面内にあるまたはプログラム生成の時点で知られている他の任意の所定の配置にあるのではなく、再生環境中の任意の位置に位置されることが想定される。典型的には、プログラムに含まれるメタデータが、プログラムの少なくとも一つのオブジェクトを、たとえばスピーカーの三次元アレイを使って、（三次元体積において）ある見かけの空間位置にまたは軌跡に沿ってレンダリングするためのレンダリング・パラメータを示す。たとえば、プログラムのオブジェクト・チャネルは、（該オブジェクト・チャネルによって示される）オブジェクトがレンダリングされるべき見かけの空間位置の三次元軌跡を示す対応するメタデータを有していてもよい。軌跡は、（再生環境の、床の上に位置していると想定されるスピーカーの部分集合の面内または別の水平面内の）「床」位置のシーケンスと、（再生環境の少なくとも一つの他の水平面内に位置されると想定されるスピーカーの部分集合を駆動することによってそれぞれ決定される）「床上方」位置のシーケンスとを含んでいてもよい。オブジェクト・ベース・オーディオ・プログラムのレンダリングの例はたとえば、2011年9月29日に国際公開第2011/119401号のもとに公開された、本願の被譲渡者に譲渡されているPCT国際出願第PCT/US2001/028783号において記載されている。

ATSC Standard A52/A: Digital Audio Compression Standard (AC-3), Revision A, Advanced Television Systems Committee, 20 Aug. 2001 "Introduction to Dolby Digital Plus, an Enhancement to the Dolby Digital Coding System", AES Convention Paper 6196, 117th AES Convention, October 28, 2004 "Efficient Bit Allocation, Quantization, and Coding in an Audio Distribution System", AES Preprint 5068, 107th AES Conference, August 1999 "Professional Audio Coder Optimized for Use with Video", AES Preprint 5033, 107th AES Conference August 1999

本発明のある実施形態によれば、（本発明に基づいて生成される）オブジェクト・ベース・オーディオ・プログラムが、プログラムのオーディオ・コンテンツの没入的なパーソナル化可能な知覚を提供するようレンダリングされる。典型的には、コンテンツは、観客イベント（たとえばサッカーまたはラグビー・ゲーム、自動車もしくはオートバイ・レースまたは他のスポーツ・イベント）における雰囲気（すなわち、そのようなイベントにおけるまたはそのようなイベントにおいて生起している音）および／または観客イベントについてのコメンタリーを示す。いくつかの実施形態では、コンテンツは観客イベントにおける雰囲気や観客イベントについてのコメンタリーを示すのではない（たとえば、いくつかの実施形態では、コンテンツは複数の選択されたバージョンのダイアログおよび／または他のオーディオ・コンテンツをもつ脚本化されたまたは映画のプログラムを示す）。いくつかの実施形態では、プログラムのオーディオ・コンテンツは、複数のオーディオ・オブジェクト・チャネル（たとえば、ユーザー選択可能な諸オブジェクトまたは諸オブジェクト集合および典型的には、ユーザーによるオブジェクト選択がないときにレンダリングされるべきオブジェクトのデフォルト集合も）およびスピーカー・チャネルの少なくとも一つの集合（本稿では時にベッド（bed）と称される）を示す。スピーカー・チャネルのベッドは、オブジェクト・チャネルを含まない通常の放送プログラムに含められてもよい型のスピーカー・チャネルの通常の混合（たとえば、5.1チャネル混合）であってもよい。

いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムによって示される（すなわちその一部として送達される）オブジェクト関係メタデータが、再生側での混合対話性（たとえば大きな度合いの混合対話性）を提供する。かかる混合対話性の提供は、単に事前混合された音場の再生を許容するのではなくユーザーがレンダリングのための当該プログラムのオーディオ・コンテンツの混合を選択することを許容することによることを含む。たとえば、ユーザーは、本発明のプログラムの典型的な実施形態のメタデータによって提供されるレンダリング・オプションの中で選択をして、レンダリングのための利用可能なオブジェクト・チャネルの部分集合を、また任意的にはレンダリングされるべき該オブジェクト・チャネル（単数または複数）によって示される少なくとも一つのオーディオ・オブジェクト（音源）の再生レベルをも選択してもよい。選択された各音源がレンダリングされる空間位置は、プログラム中に含まれるメタデータによってあらかじめ決定されていてもよいが、いくつかの実施形態では、（たとえばあらかじめ決定された規則または制約条件のもとで）ユーザーによって選択されることができる。いくつかの実施形態では、プログラムに含まれるメタデータは、レンダリング・オプションのメニュー（たとえば、少数のレンダリング・オプション、たとえば「ホーム・チームの群衆ノイズ」オブジェクト、「ホーム・チーム群衆ノイズ」および「ホーム・チーム・コメンタリー」のオブジェクト集合、「アウェー・チーム群衆ノイズ」オブジェクトおよび「アウェー・チーム群衆ノイズ」および「アウェー・チーム・コメンタリー」オブジェクト集合）のうちからのユーザー選択を許容する。メニューは、コントローラのユーザー・インターフェースによってユーザーに提示されてもよい。コントローラは典型的には、オブジェクト・ベース・プログラムを（少なくとも部分的に）デコードし、レンダリングするよう構成されているセットトップデバイス（または他のデバイス、たとえばTV、AVR、タブレットまたは電話）に（たとえば無線リンクによって）結合される。いくつかの端お実施形態では、プログラムに含まれるメタデータは、他の仕方で、オブジェクト・チャネルによって示されるどのオブジェクト（単数または複数）がレンダリングされるべきかについておよびレンダリングされるべきオブジェクト（単数または複数）がどのように構成されるべきかについてのオプションの集合のうちからのユーザー選択を許容する。

あるクラスの実施形態では、本発明は、オブジェクト・ベース・オーディオ・プログラムを生成する（たとえば、オーディオ・コンテンツをエンコードしてプログラムを生成することによることを含む）方法である。プログラムが、プログラムのオーディオ・コンテンツの没入的な知覚を提供するよう、パーソナル化可能な仕方でレンダリング可能であるようにする。端お実施形態は、そのようなプログラムを送達（たとえば放送）、デコードおよび／またはレンダリングする段階を含む。プログラムによって示される（含まれる）オーディオ・オブジェクトのレンダリングは、没入的な経験を提供できる（たとえば、再生システムがスピーカーの三次元が例を含むとき、あるいはさらには再生システムがスピーカーの公称上二次元のアレイを含むときでも）。

典型的には、プログラムのオーディオ・コンテンツは、複数のオーディオ・オブジェクト（たとえばユーザー選択可能なオブジェクトおよび典型的にはユーザーによる選択がないときにレンダリングされるオブジェクトのデフォルト集合も）と、スピーカー・チャネルの集合（「ベッド」）とを示す。いくつかの実施形態では、消費者は（ユーザー・インターフェースを実装する）コントローラを使って、プログラムのオブジェクト・チャネル・コンテンツ（および対応するレンダリング・パラメータ）を選択するが、コントローラは、ユーザーがプログラムのスピーカー・チャネル・コンテンツ（すなわち、ベッドの個々のスピーカー・チャネル）を選択するオプションを提供しない。

いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムは、プログラムのオーディオ・コンテンツの少なくともいくらか（すなわち、少なくとも一部）（たとえば、スピーカー・チャネルのベッドおよびプログラムのオブジェクト・チャネルの少なくともいくつか）およびオブジェクト関係メタデータを示すエンコードされたオーディオ・ビットストリームと、任意的には、プログラムのオーディオ・コンテンツの一部（たとえばオブジェクト・チャネルの少なくともいくつか）および／またはオブジェクト関係メタデータを示す少なくとも一つの追加的なビットストリームまたはファイル（本稿では時に「サイド混合」と称される）とである。

いくつかの実施形態では、プログラムのオブジェクト関係メタデータは耐久メタデータを含む（たとえば耐久メタデータおよび非耐久メタデータを含む）。たとえば、オブジェクト関係メタデータは、（コンテンツ生成施設から消費者のユーザー・インターフェースまでの）放送チェーン内の少なくとも一点において変更できる非耐久メタデータ（たとえば、ユーザー選択可能なオブジェクトについてのデフォルトのレベルおよび／またはレンダリング位置もしくは軌跡）と、そのプログラムの（典型的にはコンテンツ生成施設における）初期生成後に変更可能であることが意図されていない（または変更できない）耐久メタデータを含んでいてもよい。耐久メタデータの例は：プログラムの各ユーザー選択可能なオブジェクトまたは他のオブジェクトまたは一組のオブジェクトについてのオブジェクトID；各ユーザー選択可能なオブジェクトまたは他のオブジェクトの、プログラムのスピーカー・チャネルのベッドまたは他の要素に対するタイミングを示す同期語（たとえば時間コード）を含む。耐久メタデータは典型的には、コンテンツ生成施設からユーザー・インターフェースまでの放送チェーン全体を通じて、プログラムの放送の継続時間全体を通じて、あるいはプログラムの再放送の間にも、保存される。いくつかの実施形態では、少なくとも一つのユーザー選択可能なオブジェクトのオーディオ・コンテンツ（および関連するメタデータ）がオブジェクト・ベース・オーディオ・プログラムのメイン混合において送られ、少なくともいくらかの耐久メタデータ（たとえば時間コード）および任意的には少なくとも一つの他のオブジェクトのオーディオ・コンテンツ（および関連するメタデータ）がプログラムのサイド混合において送られる。

本発明のオブジェクト・ベース・オーディオ・プログラムのいくつかの実施形態における耐久メタデータは、オブジェクト・コンテンツおよびベッド（スピーカー・チャネル）・コンテンツのユーザー選択された混合を（たとえば、プログラムの放送後でも）保存するために用いられる。たとえば、これは、ユーザーが自分の選択を変えるまで、ユーザーが指定された型のプログラム（たとえば何らかのサッカーの試合）をするたびにまたはユーザーが（任意の型の）任意のプログラムを見るたびに、選択された混合をデフォルト混合として提供しうる。たとえば、第一のプログラムの放送中に、ユーザーが耐久IDをもつオブジェクト（たとえば、「ホーム・チーム群衆ノイズ」オブジェクトとして同定されるオブジェクト）を含む混合を選択してもよい。すると、ユーザーが混合選択を変えるまでは、ユーザーが（同じ耐久IDをもつオブジェクトを含む）別のプログラムを見る（または聴く）たびに、再生システムは自動的に同じ混合をもつプログラムをレンダリングすることになる。本発明のオブジェクト・ベース・オーディオ・プログラムのいくつかの実施形態における耐久的なオブジェクト関係メタデータは、プログラム全体の間、いくつかのオブジェクトのレンダリングを必須にしてもよい（たとえば、ユーザーがそのようなレンダリングをやめたくても）。

いくつかの実施形態では、オブジェクト関係メタデータは、オブジェクト・コンテンツおよびベッド（スピーカー・チャネル）・コンテンツのデフォルト混合を、デフォルト・レンダリング・パラメータ（たとえば、レンダリングされるオブジェクトのデフォルトの空間位置）とともに提供する。

いくつかの実施形態では、オブジェクト関係メタデータは、オブジェクトおよび「ベッド」スピーカー・チャネル・コンテンツの選択可能な「プリセット」混合の集合を提供する。各プリセット混合はあらかじめ決定された一組のレンダリング・パラメータ（たとえばレンダリングされるオブジェクトの空間位置）をもつ。これらは、再生システムのユーザー・インターフェースによって、利用可能な混合の限られたメニューまたはパレットとして呈示されてもよい。各プリセット混合（および／または各選択可能なオブジェクト）は、耐久ID（たとえば、名前、ラベルまたはロゴ）を有していてもよい。そのようなIDの指示は典型的には、（たとえばiPadまたは他のコントローラの画面上で）表示可能である。たとえば、プリセット混合の各オブジェクトの、オーディオ・コンテンツまたは非耐久メタデータの詳細に対する（たとえば放送局によってなされる）変更に関わりなく耐久的であるID（たとえばチーム・ロゴ）との、選択可能な「ホーム・チーム」混合があってもよい。

いくつかの実施形態では、プログラムのオブジェクト関係メタデータ（またはプログラムと一緒に送達されるメタデータによって指示されるのでない、再生またはレンダリング・システムの事前構成設定）が、オブジェクトおよびベッド（スピーカー・チャネル）コンテンツの選択可能な混合に対する制約条件または条件を与える。たとえば、デジタル権利管理（DRM）が用いられる場合、ユーザーがオブジェクト・ベース・オーディオ・プログラムに含まれる一組のオーディオ・オブジェクトへの「階層的な（tiered）」アクセスをもつことを許容するようDRM階層が実装されてもよい。顧客がより多くの金額を（たとえば放送局に）支払うなら、顧客は当該プログラムのより多くのオーディオ・オブジェクトをデコードし、選択する（そして聴く）ことを許諾されうる。もう一つの例として、オブジェクト関係メタデータは、ユーザーによるオブジェクト選択に対する制約条件を提供してもよい（たとえば、「ホーム・チーム群衆ノイズ」オブジェクトおよび「ホーム・チーム・アナウンサー」オブジェクトの両方が選択される場合、メタデータは、これら二つのオブジェクトがあらかじめ決定された相対的な空間位置をもってレンダリングされることを保証する）。制約条件は、（少なくとも部分的には）再生システムに関するデータ（たとえばユーザーが入力したデータ）によって決定されてもよい。たとえば、再生システムが（二つのみのスピーカーを含む）ステレオ・システムである場合、システムのオブジェクト処理サブシステムは、二つのスピーカーだけでは十分な空間分解能をもってレンダリングできない混合（オブジェクト関係メタデータによって同定される）のユーザー選択を防止するよう構成されてもよい。もう一つの例として、オブジェクト関係メタデータ（および／または再生システムに入力される他のデータ）によって示される法的な（たとえばDRM）理由または他の理由（たとえば送達チャネルの帯域幅に基づく理由）により、選択可能なオブジェクトのカテゴリーからいくつかの送達されるオブジェクトが除去されてもよい。ユーザーは、より多くの帯域幅のためにコンテンツ制作者または放送局に支払いをしてもよく、結果として、選択可能なオブジェクトおよび／またはオブジェクト／ベッド混合のより大きなメニューから選択することを許容されてもよい。

いくつかの実施形態では、本発明は、少なくとも一つのあらかじめ決定された規則がオブジェクト・ベース・オーディオ・プログラムのどのオブジェクト・チャネル（単数または複数）が（たとえばスピーカー・チャネルのベッドと一緒に）レンダリングされるかを決定する、規則ベースのオブジェクト・チャネル選択を実装する。典型的には、ユーザーは、オブジェクト・チャネル選択のための少なくとも一つの規則を（たとえば再生システム・コントローラのユーザー・インターフェースによって呈示される利用可能な規則のメニューから選択することによって）指定してもよく、再生システムは、そのような各規則を適用して、オブジェクト・ベース・オーディオ・プログラムのどのオブジェクト・チャネルがレンダリングされるべきチャネルの混合中に含められるべきかを決定する。再生システムは、プログラムのどのオブジェクト・チャネルが所定の規則（単数または複数）を満たすかをプログラム中のオブジェクト関係メタデータから決定してもよい。

いくつかの実施形態では、本発明のオブジェクト・ベース・オーディオ・プログラムは、並列に生成され、伝送される一組のビットストリーム（複数ビットストリーム、時に「サブストリーム」と称されることがある）を含む。典型的には、それらをデコードするために複数のデコーダが用いられる（たとえば、プログラムが複数のE-AC-3サブストリームを含み、再生システムはそれらのサブストリームをデコードするために複数のE-AC-3デコーダを用いる）。典型的には、各サブストリームは、オブジェクト・チャネルのフル・セットの異なる部分集合および対応するオブジェクト関係メタデータを含み、少なくとも一つのサブストリームはスピーカー・チャネルのベッドを含む。各サブストリームは、それらのサブストリームが互いに同期されるまたは時間整列されることを許容するよう同期語（たとえば時間コード）を含む。たとえば、各サブストリームにおいて、オブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータを含む各コンテナは、一意的なIDまたはタイムスタンプを含む。

もう一つの例として、本発明のドルビーEビットストリームのうちのN個の集合が生成され、並列に伝送される。そのような各ドルビーEビットストリームはバーストのシーケンスを含む。各バーストは、スピーカー・チャネル・オーディオ・コンテンツ（スピーカー・チャネルの「ベッド」）および本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータのフル・オブジェクト・チャネル・セット（これは大きな集合であることがある）の部分集合を担持してもよい（すなわち、各バーストは、フル・オブジェクト・チャネル・セットのうちのいくつかのオブジェクト・チャネルおよび対応するオブジェクト関係メタデータを示してもよい）。前記集合内の各ビットストリームは、集合内のビットストリームが互いと同期または時間整列されることを許容するための同期語（たとえば時間コード）を含む。たとえば、各ビットストリームにおいて、オブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータを含む各コンテナは、集合中のビットストリームが互いと同期または時間整列されることを許容するための一意的なIDまたはタイムスタンプを含むことができる。

本発明のいくつかの実施形態（たとえば、本発明の再生システムのいくつかの実施形態）は、分散式レンダリングを実装する。たとえば、プログラムの選択されたオブジェクト・チャネル（および対応するオブジェクト関係メタデータ）は、セットトップデバイス（STB）から下流の装置（たとえばAVRまたはサウンドバー）に（デコードされたスピーカー・チャネルのベッドと一緒に）渡される。下流の装置は、オブジェクト・チャネルおよびスピーカー・チャネルのベッドの混合をレンダリングするよう構成されている。STBはオーディオを部分的にレンダリングし、下流の装置が（たとえば、オーディオ・オブジェクトを特定の見かけの源位置に配置するよう特定の最上層（tier）のスピーカー（たとえば諸天井スピーカー）を駆動するためのスピーカー・フィードを生成することによって）レンダリングを完成させてもよい（ここで、STBの出力は単に、オブジェクトが何らかの指定されていない仕方で、何らかの指定されていない最上層のスピーカーにおいてレンダリングされることができることを示す）。たとえば、STBは、再生システムのスピーカーの特定の編成についての知識をもたなくてもよく、下流の装置（たとえばAVRまたはサウンドバー）がそのような知識を有していてもよい。

いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムは、少なくとも一つのAC-3（またはE-AC-3）ビットストリームであるまたはそれを含み、オブジェクト・チャネル・コンテンツ（および／またはオブジェクト関係メタデータ）を含むプログラムの各コンテナは、ビットストリームのフレームの末尾にある補助データ・フィールド（たとえば図１または図４に示したAUXセグメント）またはビットストリームの「スキップ・フィールド」セグメントに含まれる。いくつかのそのような実施形態では、AC-3またはE-AC-3ビットストリームの各フレームは、一つまたは二つのメタデータ・コンテナを含む。一つのコンテナがフレームのAuxフィールドに含まれることができ、別のコンテナがフレームのaddbsiフィールドに含まれることができる。各コンテナはコア・ヘッダをもち、一つまたは複数のペイロードを含む（または一つまたは複数のペイロードに関連付けられる）。（Auxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）一つのそのようなペイロードは、（やはり当該プログラムによって示されるスピーカー・チャネルのベッドに関係する）本発明のオブジェクト・チャネルの一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとの組であってもよい。各コンテナのコア・ヘッダは典型的には、当該コンテナに含まれるまたは関連付けられたペイロード（単数または複数）の型を示す少なくとも一つのID値と；サブストリーム関連付け指示（そのコア・ヘッダがどのサブストリームと関連付けられているかを示す）と；保護ビットとを含む。典型的には、各ペイロードは独自のヘッダ（または「ペイロード識別子」）をもつ。オブジェクト・レベル・メタデータがオブジェクト・チャネルである各サブストリームにおいて担持されてもよい。

他の実施形態では、オブジェクト・ベース・オーディオ・プログラムは、AC-3ビットストリームまたはE-AC-3ビットストリームではないビットストリームであるまたはそれを含む。いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムは、少なくとも一つのドルビーEビットストリームであるまたはそれを含み、プログラムのオブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータ（たとえばオブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータを含むプログラムの各コンテナ）は、通常は有用な情報を担持しないドルビーEビットストリームのビット位置に含まれる。ドルビーEビットストリームの各バーストは、対応するビデオ・フレームの時間期間と等価な時間期間を占める。オブジェクト・チャネル（およびオブジェクト関係メタデータ）は、ドルビーEバーストどうしの間の保護帯（guard band）に、および／または各ドルビーEバースト内の（それぞれAES3フレームのフォーマットをもつ）各データ構造内の未使用ビット位置に含まれてもよい。たとえば、各保護帯は、セグメント（たとえば100個のセグメント）のシーケンスからなり、各保護帯の最初のX個のセグメント（たとえばX＝20）のそれぞれはオブジェクト・チャネルおよびオブジェクト関係メタデータを含み、前記各保護帯の残りのセグメントのそれぞれは保護帯シンボルを含んでいてもよい。いくつかの実施形態では、ドルビーEビットストリームのオブジェクト・チャネルおよびオブジェクト関係メタデータはメタデータ・コンテナに含まれる。各コンテナはコア・ヘッダをもち、一つまたは複数のペイロードを含む（または一つまたは複数のペイロードに関連付けられる）。（Auxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）一つのそのようなペイロードは、（やはり当該プログラムによって示されるスピーカー・チャネルに関係する）本発明のオブジェクト・チャネルの一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとの組であってもよい。各コンテナのコア・ヘッダは典型的には、当該コンテナに含まれるまたは関連付けられたペイロード（単数または複数）の型を示す少なくとも一つのID値と；サブストリーム関連付け指示（そのコア・ヘッダがどのサブストリームと関連付けられているかを示す）と；保護ビットとを含む。典型的には、各ペイロードは独自のヘッダ（または「ペイロード識別子」）をもつ。オブジェクト・レベル・メタデータがオブジェクト・チャネルである各サブストリームにおいて担持されてもよい。

いくつかの実施形態では、放送施設（たとえばそのような施設内のエンコード・システム）が、捕捉された音に基づいて複数のオーディオ表現（オブジェクト・ベース・オーディオ・プログラム）（たとえば、5.1の平坦化された混合、国際混合および国内混合）を生成する。たとえば、プログラムのスピーカー・チャネルのベッドおよび／または選択可能なオブジェクト（またはオブジェクトをレンダリングおよび混合するための選択可能もしくは選択可能でないレンダリング・パラメータ）のメニューはプログラムによって異なっていてもよい。

いくつかの実施形態では、（本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータをパースするよう構成されていない）レガシー・デコーダおよびレガシー・レンダリング・システムによって、オブジェクト・ベース・オーディオ・プログラムはデコード可能であり、そのスピーカー・チャネル・コンテンツはレンダリング可能である。同じプログラムが、本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータをパースし、プログラムによって示されるスピーカー・チャネルおよびオブジェクト・チャネル・コンテンツの混合をレンダリングするよう（本発明の実施形態に従って）構成されたセットトップデバイス（または他のデコードおよびレンダリング・システム、たとえばTV、AVR、タブレットまたは電話）によって、本発明のいくつかの実施形態に従ってレンダリングされてもよい。

本発明のいくつかの実施形態に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、スピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能な混合）を示す層構成のグラフ（時に層構成の「混合グラフ」と称される）を示すメタデータとを含む。たとえば、混合グラフは、スピーカーおよびオブジェクト・チャネルの部分集合の選択に適用可能な各規則を示す。典型的には、エンコードされたオーディオ・ビットストリームは、プログラムのオーディオ・コンテンツ（たとえば、スピーカー・チャネルのベッドと、プログラムのオブジェクト・チャネルの少なくとも一部）およびオブジェクト関係メタデータ（混合グラフを示すメタデータを含む）の少なくともいくらか（すなわち少なくとも一部）を示し、任意的にはまた、少なくとも一つの追加的なエンコードされたオーディオ・ビットストリームまたはファイルが、プログラムのオーディオ・コンテンツおよび／またはオブジェクト関係メタデータの一部を示す。

層構成の混合グラフは、ノード（各ノードは選択可能なチャネルまたはチャネル集合または選択可能なチャネルまたはチャネル集合のカテゴリーを示していてもよい）およびノード間の接続（たとえば、それらのノードへの制御インターフェースおよび／またはチャネルを選択するための規則）を示し、本質的なデータ（「基本」層）および任意的な（すなわち任意的に省略される）データ（少なくとも一つの「拡張」層）を含む。典型的には、層構成の混合グラフは、プログラムを示すエンコードされたオーディオ・ビットストリームの一つに含められ、（たとえば再生システムによって実施される）グラフをたどることによって評価されて、チャネルのデフォルト混合および該デフォルト混合を修正するためのオプションを判別することができる。

混合グラフが木グラフとして表現できる場合には、基本層は木グラフの枝（または二本以上の枝）であることができ、各拡張層は木グラフの別の枝（または二本以上の枝の別の集合）であることができる。たとえば、（基本層によって示される）木グラフのある枝は、すべてのエンドユーザーに利用可能な選択可能なチャネルおよびチャネル集合を示していてもよく、（拡張層によって示される）木グラフの別の枝は、一部のエンドユーザーにのみ利用可能な追加的な選択可能なチャネルおよび／またはチャネル集合を示していてもよい（そのような拡張層は、それを使うことが許諾されたエンドユーザーのみに提供されるだけであってもよい）。

典型的には、基本層は、グラフ構造およびグラフのノードへの制御インターフェース（たとえば、パンおよび利得制御インターフェース）を含む（示す）。基本層は任意のユーザー対話をデコード／レンダリング・プロセスにマッピングするために必要である。

各拡張層は、基本層への拡張を含む（示す）。拡張は、ユーザー対話をデコード・プロセスにマッピングするためにただちに必要なわけではなく、よってより遅いレートで伝送されたり、および／または遅延もしくは省略されたりすることができる。

本発明のいくつかの実施形態に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、スピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能な混合）を示す（層構成の混合グラフであってもなくてもよい）混合グラフを示すメタデータとを含む。エンコードされたオーディオ・ビットストリーム（たとえばドルビーEまたはE-AC-3ビットストリーム）は、プログラムの少なくとも一部分を示し、混合グラフを（典型的には選択可能なオブジェクトおよび／またはスピーカー・チャネルも）示すメタデータがビットストリームの毎フレームに（またはビットストリームのフレームの部分集合の各フレームに）含まれる。たとえば、各フレームは、少なくとも一つのメタデータ・セグメントおよび少なくとも一つのオーディオ・データ・セグメントを含んでいてもよく、混合グラフは各フレームの少なくとも一つのメタデータ・セグメントに含められてもよい。各メタデータ・セグメント（これは「コンテナ」と称されてもよい）は、メタデータ・セグメント・ヘッダ（および任意的には他の要素も）と、該メタデータ・セグメント・ヘッダに続く一つまたは複数のメタデータ・ペイロードとを含むフォーマットを有していてもよい。各メタデータ・ペイロード自身はペイロード・ヘッダによって同定される。混合グラフは、メタデータ・セグメント中に存在すれば、メタデータ・セグメントのメタデータ・ペイロードの一つに含まれる。

本発明のいくつかの実施形態に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも二つのベッドと、少なくとも一つのオブジェクト・チャネルと、（層構成の混合グラフであってもなくてもよい）混合グラフを示すメタデータとを含む。混合グラフは、スピーカー・チャネルおよびオブジェクト・チャネルの選択可能な諸混合（たとえばすてべの選択可能な混合）を示し、少なくとも一つの「ベッド混合」ノードを含む。各「ベッド混合」ノードは、スピーカー・チャネル・ベッドのあらかじめ決定された混合を定義し、よってプログラムの二つ以上のスピーカー・ベッドのスピーカー・チャネルを混合するための混合規則（任意的にはユーザー選択可能なパラメータをもつ）のあらかじめ決定された集合を示すまたは実装する。

別のクラスの実施形態では、本発明に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、オブジェクト関係メタデータとを含む。オブジェクト関係メタデータは、「サブストリーム」メタデータ（プログラムのサブストリーム構造および／またはそれらのサブストリームがデコードされるべき仕方を示す）を、および典型的にはスピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能な混合）を示す混合グラフをも含む。サブストリーム・メタデータは、プログラムのどのサブストリームがプログラムの他のサブストリームと独立にデコードされるべきかおよびプログラムのどのサブストリームがプログラムの少なくとも一つの他のサブストリームとの関連でデコードされるべきかを示してもよい。

ある例示的実施形態では、オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、メタデータとを含む。メタデータは、（プログラムのオーディオ・コンテンツのサブストリーム構造および／またはプログラムのオーディオ・コンテンツのサブストリームがデコードされるべき仕方を示す）「サブストリーム」メタデータを含み、典型的には、スピーカー・チャネルおよびオブジェクト・チャネルの選択可能な混合を示す混合グラフをも含む。サッカー試合に関連付けられたオーディオ・プログラム。エンコードされたオーディオ・ビットストリーム（たとえばE-AC-3ビットストリーム）は、プログラムのオーディオ・コンテンツおよびメタデータを示す。プログラムの（よってビットストリームの）オーディオ・コンテンツは、少なくとも二つの独立サブストリームを含む。一つの独立サブストリームは、サッカー試合における中立の群衆ノイズを示す5.1スピーカー・チャネル・ベッドを示す。別の独立サブストリームは、一方のチーム（「チームA」）寄りに偏っている試合群衆の部分からの音を示す2.0チャネルの「チームA」ベッド、他方のチーム（「チームB」）寄りに偏っている試合群衆の部分からの音を示す2.0チャネルの「チームB」ベッドおよび試合についてのコメンタリーを示すモノフォニック・オブジェクト・チャネルを示す。ビットストリームのサブストリーム・メタデータは、デコードの間に、独立サブストリームの各対の間で結合が「オフ」であるべきであることを示す（それにより、各独立サブストリームは他の独立サブストリームとは独立にデコードされる）。ビットストリームのサブストリーム・メタデータは、各サブストリーム内の、結合が「オン」であるべき（よってこれらのチャネルが互いと独立にはデコードされない）または「オフ」であるべき（よってこれらのチャネルは互いと独立にデコードされる）プログラム・チャネルを示す。たとえば、サブストリーム・メタデータは、結合が、第二のサブストリームの二つのステレオ・スピーカー・チャネル・ベッド（2.0チャネルの「チームA」ベッドおよび2.0チャネルの「チームB」ベッド）のそれぞれの内部では「オン」であるべきだが、第二のサブストリームのスピーカー・チャネル・ベッド間、および、（モノフォニック・オブジェクト・チャネルとスピーカー・チャネル・ベッドが互いに独立にデコードされるよう）第二のサブストリームのモノフォニック・オブジェクト・チャネルと各スピーカー・チャネル・ベッドとの間では無効にされるべきであることを示す。同様に、サブストリーム・メタデータは、結合が、第一のサブストリームI0の5.1スピーカー・チャネル・ベッドの内部では「オン」であるべきであることを示す。

本発明のもう一つの側面は、本発明の方法の任意の実施形態を実行するよう構成されたオーディオ処理ユニット（APU: audio processing unit）である。別のクラスの実施形態では、本発明は、本発明の方法の任意の実施形態によって生成されたオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルのベッドとオブジェクト・チャネルとのオーディオ・コンテンツおよびオブジェクト関係メタデータを含む）を（たとえば非一時的な仕方で）記憶するバッファ・メモリ（バッファ）を含むAPUである。APUの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、コーデック、前処理システム（前処理器）、後処理システム（後処理器）、オーディオ・ビットストリーム処理システムおよびそのような要素の組み合わせを含むがそれに限定されるものではない。

本発明の諸側面は、本発明の方法の任意の実施形態を実行するよう構成された（たとえばプログラムされた）システムまたは装置ならびに本発明の方法またはそのステップの任意の実施形態を実装するためのコードを（たとえば非一時的な仕方で）記憶するコンピュータ可読媒体（たとえばディスク）を含む。たとえば、本発明のシステムは、プログラム可能な汎用プロセッサ、デジタル信号プロセッサまたはマイクロプロセッサであって、データに対して本発明の方法またはそのステップの実施形態を含む多様な動作のうちの任意のものを実行するようソフトウェアまたはファームウェアによってプログラムされたおよび／または他の仕方で構成されたものであるまたはそれを含むことができる。そのような汎用プロセッサは、入力装置と、メモリと、呈されるデータに応答して本発明の方法（またはそのステップ）の実施形態を実行するようプログラムされた（および／または他の仕方で構成された）処理回路とを含むコンピュータ・システムであるまたはそれを含むものであってもよい。

AC-3フレームを、それが分割された諸セグメントを含めて描く図である。 AC-3フレームの同期情報（SI）セグメントを、それが分割された諸セグメントを含めて描く図である。 AC-3フレームのビットストリーム情報（BSI）セグメントを、それが分割された諸セグメントを含めて描く図である。 E-AC-3フレームを、それが分割された諸セグメントを含めて描く図である。 本発明の実施形態を実行するよう構成されうるシステムの実施形態のブロック図である。 本発明の実施形態に基づいて構成された再生システムのブロック図である。 本発明の実施形態に基づいて構成された再生システムのブロック図である。 本発明の別の実施形態に基づいて構成されたく、オブジェクト・ベース・オーディオ・プログラム（および対応するビデオ・プログラム）を生成するよう構成された放送システムのブロック図である。 オブジェクト・チャネルのどの部分集合がユーザーによって選択可能であるかを示す、本発明のプログラムのある実施形態のオブジェクト・チャネル間の関係を示す図である。 本発明の実施形態を実装するシステムのブロック図である。 本発明のある実施形態に基づいて生成されたオブジェクト・ベース・オーディオ・プログラムのコンテンツを示す図である。

〈記号および用語法〉
請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する（たとえば信号またはデータをフィルタリングする、スケーリングする、変換するまたは利得を適用する）という表現は、信号またはデータに対して直接的に、または信号またはデータの処理されたバージョンに対して（たとえば、予備的なフィルタリングまたは前処理を該動作の実行に先立って受けている前記信号のバージョンに対して）該動作を実行することを表わすために広義で使用される。

請求項を含む本開示を通じて、「システム」という表現は、装置、システムまたはサブシステムを表わす広義で使用される。たとえば、デコーダを実装するサブシステムは、デコーダ・システムと称されてもよく、そのようなサブシステムを含むシステム（たとえば、複数の入力に応答してX個の出力信号を生成するシステムであって、前記サブシステムが入力のうちのM個を生成し、他のX−M個の入力は外部源から受領されるもの）もデコーダ・システムと称されることがある。

請求項を含む本開示を通じて、「プロセッサ」という表現は、データ（たとえばオーディオまたはビデオまたは他の画像データ）に対して動作を実行するよう（たとえばソフトウェアまたはファームウェアを用いて）プログラム可能または他の仕方で構成可能であるシステムまたは装置を表わす広義で使用される。プロセッサの例は、フィールド・プログラム可能なゲート・アレイ（または他の構成可能な集積回路またはチップセット）、オーディオまたは他のサウンド・データに対してパイプライン化された処理を実行するようプログラムされたおよび／または他の仕方で構成されたデジタル信号プロセッサ、プログラム可能な汎用プロセッサもしくはコンピュータおよびプログラム可能なマイクロプロセッサ・チップまたはチップセットを含む。

請求項を含む本開示を通じて、「オーディオ・ビデオ受領器（audio video receiver）」（または「AVR」）という表現は、たとえば家庭シアターにおいてオーディオおよびビデオ・コンテンツの再生を制御するために使われる消費者電子設備のクラスにおける受領器を表わす。

請求項を含む本開示を通じて、「サウンドバー」という表現は、（典型的には家庭シアター・システムにおいて設置される）ある型の消費者電子設備であって、少なくとも一つのスピーカーと、含まれる各スピーカーによる再生のために（または含まれる各スピーカーおよび該サウンドバーの外部の少なくとも一つの追加的なスピーカーによる再生のために）オーディオをレンダリングするサブシステムと含む装置を表わす。

請求項を含む本開示を通じて、「オーディオ・プロセッサ」および「オーディオ処理ユニット」という表現は交換可能に、オーディオ・データを処理するよう構成されたシステムを表わす広義で使用される。オーディオ処理ユニットの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、コーデック、前処理システム、後処理システムおよびビットストリーム処理システム（時にビットストリーム処理ツールと称される）を含むがこれに限られない。

請求項を含む本開示を通じて、「メタデータ」（たとえば「処理状態メタデータ」という表現におけるような）という表現は、対応するオーディオ・データ（メタデータをも含むビットストリームのオーディオ・コンテンツ）とは別個の異なるデータを指す。メタデータは、オーディオ・データに関連付けられ、該オーディオ・データの少なくとも一つの特徴または特性（たとえばそのオーディオ・データまたはそのオーディオ・データによって示されるオブジェクトの軌跡に対してどの型（単数または複数）の処理がすでに実行されているか、あるいは実行されるべきか）を示す。メタデータのオーディオ・データとの関連付けは、時間同期的である。このように、現在の（最も最近受領または更新された）メタデータは、対応するオーディオ・データが同時的に、示される特徴をもつおよび／または示される型（単数または複数）のオーディオ・データ処理の結果を含むことを示す。

請求項を含む本開示を通じて、「結合する」または「結合される」という用語は、直接的または間接的な接続を意味するために使われる。よって、第一の装置が第二の装置に結合するとき、その接続は、直接接続を通じてであってもよいし、他の装置および接続を介した間接的な接続を通じてであってもよい。

請求項を含む本開示を通じて、以下の表現は以下の定義をもつ。

スピーカーおよびラウドスピーカーは、任意の音を発するトランスデューサを表わすものとして同義に使われる。この定義は、複数のトランスデューサ（たとえばウーファーおよびツイーター）として実装されるラウドスピーカーを含む。

スピーカー・フィード：ラウドスピーカーに直接加えられるオーディオ信号または直列の増幅器およびラウドスピーカーに加えられるオーディオ信号。

チャネル（または「オーディオ・チャネル」）：モノフォニック・オーディオ信号。そのような信号は典型的には、該信号を所望されるまたは公称上の位置にあるラウドスピーカーに直接加えるのと等価であるようにレンダリングされることができる。

オーディオ・プログラム：一つまたは複数のオーディオ・チャネル（少なくとも一つのスピーカー・チャネルおよび／または少なくとも一つのオブジェクト・チャネル）および任意的には関連するメタデータ（たとえば、所望される空間的オーディオ呈示を記述するメタデータ）の集合。

スピーカー・チャネル（または「スピーカー・フィード・チャネル」）：（所望されるまたは公称上の位置にある）指定されたラウドスピーカーに関連付けられているまたは定義されたスピーカー配位内での指定されたスピーカー・ゾーンに関連付けられているオーディオ・チャネル。スピーカー・チャネルは、該オーディオ信号を（所望されるまたは公称上の位置にある）指定されたラウドスピーカーにまたは指定されたスピーカー・ゾーン内のスピーカーに直接加えるのと等価であるようにレンダリングされる。

オブジェクト・チャネル：オーディオ源（時にオーディオ「オブジェクト」と称される）によって発される音を示すオーディオ・チャネル。典型的には、オブジェクト・チャネルは、パラメトリックなオーディオ源記述を決定する（たとえば、パラメトリックなオーディオ源記述を示すメタデータがオブジェクト・チャネル内に含められるまたはオブジェクト・チャネルと一緒に提供される）。源記述は、（時間の関数としての）源によって発された音、時間の関数としての源の見かけの位置（たとえば、3D空間座標）および任意的には源を特徴付ける少なくとも一つの追加的パラメータを決定してもよい。

オブジェクト・ベース・オーディオ・プログラム：一つまたは複数のオブジェクト・チャネルの集合を（および任意的には少なくとも一つのスピーカー・チャネルも）および任意的には関連するメタデータ（たとえば、オブジェクト・チャネルによって示される音を発するオーディオ・オブジェクトの軌跡を示すメタデータ、あるいは他の仕方でオブジェクト・チャネルによって示される音の所望される空間的オーディオ呈示を示すメタデータまたはオブジェクト・チャネルによって示される音の源である少なくとも一つのオーディオ・オブジェクトの識別情報を示すメタデータ）も含むオーディオ・プログラム。

レンダリング：オーディオ・プログラムを一つまたは複数のスピーカー・フィードに変換するプロセスまたはオーディオ・プログラムを一つまたは複数のスピーカー・フィードに変換し、該スピーカー・フィードを一つまたは複数のラウドスピーカーを使って音に変換するプロセス。（後者の場合、レンダリングは本稿では時にラウドスピーカー「による」レンダリングと称される。）オーディオ・チャネルは、信号を所望される位置にある物理的なラウドスピーカーに直接加えることによって（所望される位置「において」）トリビアルにレンダリングされることができる。あるいは、（聴取者にとって）そのようなトリビアルなレンダリングと実質的に等価であるよう設計された多様な仮想化技法の一つを使ってレンダリングされることができる。この後者の場合、各オーディオ・チャネルは、一般には所望される位置とは異なる既知の位置にあるラウドスピーカー（単数または複数）に加えられるべき一つまたは複数のスピーカー・フィードに変換されてもよく、それによりフィードに応答してラウドスピーカーによって発される音は、所望される位置から発しているように知覚されることになる。そのような仮想化技法の例は、ヘッドフォンを介したバイノーラル・レンダリング（たとえばヘッドフォン装着者のために7.1チャネルまでのサラウンドサウンドをシミュレートするドルビー・ヘッドフォン処理を使う）および波面合成（wave field synthesis）を含む。

〈発明の実施形態の詳細な説明〉
いくつかの実施形態では、本発明は、放送のためのオブジェクト・ベース・オーディオを送達するための方法およびシステムであり、これは改善されたレンダリング・プロセス（消費者がレンダリングされるプログラムの諸側面を対話的に制御できる）および改善されたライブ放送作業フローおよび／または改善された後処理作業フローを含む。

図５は、システムであって、システムの要素の一つまたは複数が本発明の実施形態に基づいて構成されうる、オーディオ処理チェーン（オーディオ・データ処理システム）の例のブロック図である。本システムは、図のように一緒に結合された以下の要素を含む：捕捉ユニット１、プロダクション・ユニット３（これはエンコード・サブシステムを含む）、送達サブシステム５、デコーダ７、オブジェクト処理サブシステム９、コントローラ１０およびレンダリング・サブシステム１１。図示したシステムに対する諸変形においては、要素の一つまたは複数が省略されたり、あるいは追加的なオーディオ・データ処理ユニットが含められたりする。典型的には、要素７、９、１０および１１は再生システム（たとえばエンドユーザーの家庭シアター・システム）は再生システムに含まれる。

捕捉ユニット１は典型的には、オーディオ・コンテンツをなすPCM（時間領域）サンプルを生成し、該PCMサンプルを出力するよう構成される。それらのサンプルは、（たとえばスポーツ・イベントまたは他の観客イベントにおいて）マイクロホンによって捕捉されたオーディオの複数のストリームを示す。典型的には放送局によって運用されるプロダクション・ユニット３は、前記PCMサンプルを入力として受け入れ、前記オーディオ・コンテンツを示すオブジェクト・ベース・オーディオ・プログラムを出力するよう構成される。プログラムは典型的には、前記オーディオ・コンテンツの少なくとも一部を示すエンコードされた（たとえば圧縮された）オーディオ・ビットストリーム（本稿では時に「メイン混合」と称される）ならびに任意的にはまた前記オーディオ・コンテンツの少なくとも一部を示す少なくとも一つの追加的なビットストリームまたはファイル（本稿では時に「サイド混合」と称される）であるまたはそれらを含む。前記オーディオ・コンテンツを示すエンコードされたビットストリームの（そしてもし生成されるなら各生成されたサイド混合の）データは本稿では時に「オーディオ・データ」と称される。プロダクション・ユニット３のエンコード・サブシステムが本発明の典型的な実施形態に従って構成される場合、ユニット３から出力されるオブジェクト・ベース・オーディオ・プログラムは、オーディオ・データの複数のスピーカー・チャネル（スピーカー・チャネルの「ベッド」）と、オーディオ・データの複数のオブジェクト・チャネルと、オブジェクト関係メタデータと示す（すなわち含む）。プログラムはメイン混合を含んでいてもよく、該メイン混合は、スピーカー・チャネルのベッドを示すオーディオ・コンテンツと、少なくとも一つのユーザー選択可能なオブジェクト・チャネル（および任意的な少なくとも一つの他のオブジェクト・チャネル）を示すオーディオ・コンテンツと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとを含む。プログラムは、少なくとも一つの他のオブジェクト・チャネル（たとえば少なくとも一つのユーザー選択可能なオブジェクト・チャネル）を示すオーディオ・コンテンツおよび／またはオブジェクト関係メタデータを含む少なくとも一つのサイド混合をも含んでいてもよい。プログラムのオブジェクト関係メタデータは、耐久メタデータ（後述）を含んでいてもよい。プログラム（たとえばそのメイン混合）は、スピーカー・チャネルの一つまたはベッドを示していてもよく、ベッドを示していなくてもよい。たとえば、メイン混合は、スピーカー・チャネルの二つ以上のベッド（たとえば、5.1チャネルの中立群衆ノイズ・ベッドと、2.0チャネルのホーム・チーム群衆ノイズ・ベッドと、2.0チャネルのアウェー・チーム群衆ノイズ・ベッド）を示していてもよい。該二つ以上のベッドは、少なくとも一つのユーザー選択可能なベッド（これは、オブジェクト・チャネル・コンテンツまたは構成のユーザー選択のために用いられるのと同じユーザー・インターフェースを使って選択されることができる）と、デフォルト・ベッド（これは、別のベッドのユーザー選択がないときにレンダリングされる）とを含む。デフォルト・ベッドは、再生システムのスピーカー集合の構成（たとえば初期構成）を示すデータによって決定されてもよく、任意的に、ユーザーが、デフォルト・ベッドの代わりにレンダリングされるべき別のベッドを選択してもよい。

図５の送達サブシステム５は、ユニット３によって生成されたプログラム（たとえばメイン混合および何らかのサイド混合が生成されるならそのそれぞれのサイド混合）を記憶および／または送信（たとえば放送）するよう構成される。

いくつかの実施形態では、サブシステム５は、オブジェクト・ベース・オーディオ・プログラムの送達を実装する。この場合、オーディオ・オブジェクト（および少なくともいくらかの対応するオブジェクト関係メタデータ）が放送システムを通じて（放送されるオーディオ・ビットストリームによって示されるプログラムのメイン混合において）送られ、少なくともいくらかのオブジェクト関係メタデータ（たとえばプログラムのオブジェクト・チャネルのレンダリングまたは混合についての制約条件を示すメタデータ）および／またはプログラムの少なくとも一つのオブジェクト・チャネルは別の仕方で（前記メイン混合の「サイド混合」として）送達される（たとえば、サイド混合はインターネット・プロトコルまたは「IP」ネットワークによって特定のエンドユーザーに送られる）。あるいはまた、エンドユーザーのデコードおよび／またはレンダリング・システムが、少なくともいくらかのオブジェクト関係メタデータ（たとえば、本発明のオブジェクト・ベース・オーディオ・プログラムの実施形態のオーディオ・オブジェクトのレンダリングまたは混合についての制約条件を示すメタデータ）を事前に組み込まれており、そのようなオブジェクト関係メタデータは対応するオブジェクト・チャネルと一緒に（オブジェクト・ベース・オーディオ・プログラムのメイン混合またはサイド混合内で）（サブシステム５によって）放送されたり、他の仕方で送達されたりしない。

いくつかの実施形態では、別個の経路を通じて送達されるオブジェクト・ベース・オーディオ・プログラムの諸部分または諸要素（たとえば、放送システムを通じて放送されるメイン混合およびIPネットワークを通じてサイド混合として送られる関係したメタデータ）のタイミングおよび同期が、すべての送達経路を通じて（たとえばメイン混合および対応する各サイド混合内で）送られる同期語（たとえば時間コード）によって提供される。

再び図５を参照するに、デコーダ７は送達サブシステム５によって送達されるプログラム（または該プログラムの少なくとも一つのビットストリームまたは他の要素）を受け入れ（受信しまたは読み）、該プログラム（またはそのそれぞれの受け入れられた要素）をデコードする。本発明のいくつかの実施形態では、プログラムはメイン混合（エンコードされたビットストリーム、たとえばAC-3またはE-AC-3エンコードされたビットストリーム）および該メイン混合の少なくとも一つのサイド混合を含み、デコーダ７は前記メイン混合を（任意的には少なくとも一つのサイド混合も）受領する。任意的に、デコードされる必要のない、プログラムの少なくとも一つのサイド混合（たとえばオブジェクト・チャネル）が、サブシステム５によってオブジェクト処理サブシステム９に直接送達される。デコーダ７が本発明の典型的な実施形態に基づいて構成される場合には、典型的な動作におけるデコーダ７の出力は次のものを含む：
プログラムのスピーカー・チャネルのベッドを示すオーディオ・サンプルのストリーム；および
プログラムのオブジェクト・チャネル（たとえば、ユーザー選択可能なオーディオ・オブジェクト・チャネル）を示すオーディオ・サンプルのストリームおよびオブジェクト関係メタデータの対応するストリーム。

オブジェクト処理サブシステム９は、（デコーダ７から）送達されたプログラムのデコードされたスピーカー・チャネル、オブジェクト・チャネルおよびオブジェクト関係メタデータを、そして任意的には該プログラムの（少なくとも一つの他のオブジェクト・チャネルを示す）少なくとも一つのサイド混合をも受領するよう結合されている。たとえば、サブシステム９は、（デコーダ７から）プログラムのスピーカー・チャネルおよびプログラムの少なくとも一つのオブジェクト・チャネルのオーディオ・サンプルならびにプログラムのオブジェクト関係メタデータを受領してもよく、（送達サブシステム５から）（デコーダ７におけるデコードを受けていない）プログラムの少なくとも一つの他のオブジェクト・チャネルのオーディオ・サンプルを受領してもよい。

サブシステム９は、レンダリング・サブシステム１１に、プログラムによって示されるオブジェクト・チャネルの完全な集合の選択された部分集合および対応するオブジェクト関係メタデータを出力するよう結合され、構成される。サブシステム９はまた、典型的には、デコーダ７からのデコードされたスピーカー・チャネルを不変のまま（サブシステム１１）に素通りさせるよう構成され、それに呈されたオブジェクト・チャネル（および／またはメタデータ）の少なくとも一部を処理してサブシステム１１に呈するオブジェクト・チャネルおよびメタデータを生成するよう構成されていてもよい。

サブシステム９によって実行されるオブジェクト・チャネル選択は典型的には、（コントローラ１０からサブシステム９に呈される制御データによって示される）ユーザー選択（単数または複数）および／またはサブシステム９が実装するようプログラムされているまたは他の仕方で構成されている規則（たとえば条件および／または制約条件を示す規則）によって決定される。そのような規則は、プログラムのオブジェクト関係メタデータによっておよび／または（たとえばコントローラ１０または他の外部源から）サブシステム９に呈される他のデータ（たとえば再生システムのスピーカー・アレイの機能および編成を示すデータ）によっておよび／またはサブシステムを事前構成する（たとえばプログラムする）ことによって、決定されうる。いくつかの実施形態では、コントローラ１０は（コントローラ１０によって実装されるユーザー・インターフェースを介して）ユーザーに、オブジェクトおよび「ベッド」スピーカー・チャネル・コンテンツの選択可能な諸「プリセット」混合のメニューまたはパレットを提供する（たとえば、タッチスクリーン上に表示する）。選択可能なプリセット混合は、プログラムのオブジェクト関係メタデータによって、および典型的にはサブシステム９によって実装される規則（たとえば、サブシステム９が実装するよう事前構成されている規則）にもよって、決定されてもよい。ユーザーは、コントローラ１０にコマンドを入力することによって（たとえばそのタッチスクリーンを作動させることによって）選択可能な混合のうちから選択をし、応答して、コントローラ１０は対応する制御データをサブシステム９に呈する。

図５のレンダリング・サブシステム１１は、再生システムのスピーカー（図示せず）による再生のために、サブシステム９の出力によって決定されたオーディオ・コンテンツをレンダリングするよう構成される。サブシステム１１は、選択された各オブジェクトに関連付けられている、サブシステム９から出力されたレンダリング・パラメータ（たとえば空間位置およびレベルのユーザー選択されたおよび／またはデフォルトの値）を使って、オブジェクト処理サブシステム９によって選択されたオブジェクト・チャネルによって決定されたオーディオ・オブジェクト（たとえば、デフォルト・オブジェクトおよび／またはコントローラ１０を使ったユーザー対話の結果として選択されたユーザー選択されたオブジェクト）を利用可能なスピーカー・チャネルにマッピングするよう構成される。レンダリング・パラメータの少なくともいくつかは、サブシステム９から出力されるオブジェクト関係メタデータによって決定される。レンダリング・システム１１は、サブシステム９によって素通しされたスピーカー・チャネルのベッドをも受領する。典型的には、サブシステム１１は知的な混合器であり、利用可能なスピーカーについてのスピーカー・フィードを決定するよう構成されている。該決定は、一つまたは複数の選択された（たとえばデフォルト選択された）オブジェクトをいくつかの個々のスピーカー・チャネルのそれぞれにマッピングして、それらのオブジェクトをプログラムのスピーカー・チャネル・ベッドの各対応するスピーカー・チャネルによって示される「ベッド」オーディオ・コンテンツと混合することによることを含む。

図６は、デコーダ２０、オブジェクト処理サブシステム２２、空間的レンダリング・サブシステム２５、コントローラ２３（これがユーザー・インターフェースを実装する）および任意的にはデジタル・オーディオ処理サブシステム２５、２６および２７をも図のように結合されて含んでいる再生システムの実施形態のブロック図である。いくつかの実装では、図６のシステムの要素２０、２２、２４、２５、２６、２７、２９、３１および３３はセットトップデバイスとして実装される。

図６のシステムでは、デコーダ２０は、オブジェクト・ベース・オーディオ・プログラム（またはオブジェクト・ベース・オーディオ・プログラムのメイン混合）を示すエンコードされた信号を受領し、デコードするよう構成される。プログラム（たとえばプログラムのメイン混合）は、少なくとも二つのスピーカー・チャネル（すなわち、少なくとも二つのスピーカー・チャネルの「ベッド」）を含むオーディオ・コンテンツを示す。プログラムは、少なくとも一つのユーザー選択可能なオブジェクト・チャネル（および任意的には少なくとも一つの他のオブジェクト・チャネル）および各オブジェクト・チャネルに対応するオブジェクト関係メタデータをも示す。各オブジェクト・チャネルは、オーディオ・オブジェクトを示し、よって、オブジェクト・チャネルは本稿では時に便宜上「オブジェクト」と称される。ある実施形態では、プログラムは、オーディオ・オブジェクト、オブジェクト関係メタデータおよびスピーカー・チャネルのベッドを示すAC-3またはE-AC-3ビットストリームである（またはかかるビットストリームであるメイン混合を含む）。典型的には、個々のオーディオ・オブジェクトはモノまたはステレオ符号化され（すなわち、各オーディオ・オブジェクト・チャネルはオブジェクトの左または右チャネルを示すまたはオブジェクトを示すモノフォニック・チャネルである）、ベッドは伝統的な5.1混合であり、デコーダ２０は同時にオーディオ・コンテンツの（ベッドの六つのスピーカー・チャネルおよび10個までのオブジェクト・チャネルを含む）16個までのチャネルのオーディオ・コンテンツをデコードするよう構成されていてもよい。はいってくるE-AC-3（またはAC-3）ビットストリームは、10個より多いオーディオ・オブジェクトを示してもよい。ある特定の混合を達成するために、そのすべてがデコードされる必要がないこともあるのである。

本発明の再生システムのいくつかの実施形態では、はいってくるE-AC-3（またはAC-3）エンコードされたビットストリームの各フレームは、一つまたは複数のメタデータ「コンテナ」を含む。はいってくるビットストリームは、オブジェクト・ベース・オーディオ・プログラムまたはそのようなプログラムのメイン混合を示し、プログラムのスピーカー・チャネルは、通常のE-AC-3（またはAC-3）ビットストリームのオーディオ・コンテンツのように編成される。一つのコンテナがフレームのAuxフィールドに含まれることができ、別のコンテナはフレームのaddbsiフィールドに含まれることができる。各コンテナはコア・ヘッダをもち、一つまたは複数のペイロードを含む（または一つまたは複数のペイロードに関連付けられる）。（Auxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）一つのそのようなペイロードは、（やはり当該プログラムによって示されるスピーカー・チャネルのベッドに関係する）本発明のオブジェクト・チャネルの一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとの組であってもよい。そのようなペイロードでは、オブジェクト・チャネル（および関連付けられたメタデータ）のうちの一部または全部のサンプルは標準的なE-AC-3（またはAC-3）フレームとして編成されてもよく、あるいは他の仕方で編成されてもよい（たとえば、E-AC-3またはAC-3ビットストリームとは異なるサイド混合に含まれてもよい）。（addbsiフィールドまたはAuxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）別のそのようなペイロードの例は、当該フレームのオーディオ・コンテンツに関連付けられたラウドネス処理状態メタデータのセットである。

いくつかのそのような実施形態では、デコーダ（たとえば図６のデコーダ２０）は、Auxフィールド内のコンテナのコア・ヘッダをパースし、該コンテナから（たとえばAC-3またはE-AC-3フレームのAuxフィールドから）および／またはコア・ヘッダによって示される位置（たとえばサイド混合）から本発明のオブジェクト・チャネルおよび関連付けられたメタデータを抽出する。ペイロード（オブジェクト・チャネルおよび関連付けられたメタデータ）を抽出したのち、デコーダは、抽出されたペイロードに対して任意の必要なデコードを実行する。

各コンテナのコア・ヘッダは典型的には：当該コンテナに含まれるまたは関連付けられたペイロード（単数または複数）の型を示す少なくとも一つのID値と；サブストリーム関連付け指示（そのコア・ヘッダがどのサブストリームと関連付けられているかを示す）と；保護ビットとを含む。該保護ビット（これはハッシュ・ベースのメッセージ認証コードまたは「HMAC」からなるまたはそれを含むのでもよい）は典型的には、当該コンテナに含まれるまたは関連付けられた少なくとも一つのペイロードに含まれるオブジェクト関係メタデータおよび／またはラウドネス処理状態メタデータ（および任意的には他のメタデータも）および／またはフレームに含まれる対応するオーディオ・データの解読、認証または有効確認のために有用であろう。サブストリームは「帯域内」（E-AC-3またはAC-3ビットストリーム内）に位置されてもよく、あるいは「帯域外」（たとえばE-AC-3またはAC-3ビットストリームとは別個のサイド混合ビットストリーム内）に位置されてもよい。そのようなペイロードの一つの型は、（やはりプログラムによって示されるスピーカー・チャネルのベッドに関係した）本発明のオブジェクト・チャネルのうち一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとの組である。各オブジェクト・チャネルは、別個のサブストリームであり、典型的にはコア・ヘッダにおいて同定される。ペイロードの別の型は、ラウドネス処理状態メタデータである。

典型的には、各ペイロードはそれ自身のヘッダ（または「ペイロード識別子」）をもつ。オブジェクト・レベル・メタデータは、オブジェクト・チャネルである各サブストリームにおいて担持されてもよい。プログラム・レベル・メタデータは、コンテナのコア・ヘッダ内および／または本発明のオブジェクト・チャネルのうち一つまたは複数のオブジェクト・チャネルのオーディオ・サンプル（および各オブジェクト・チャネルに関連付けられたメタデータ）の集合であるペイロードについてのヘッダ内に含まれてもよい。

いくつかの実施形態では、フレームの補助データ（またはaddbsi）フィールド内の各コンテナは三レベルの構造をもつ：
高レベル構造。これは、補助データ（またはaddbsi）フィールドがメタデータを含むかどうかを示すフラグ（ここで、このコンテキストにおける「メタデータ」は本発明のオブジェクト・チャネル、本発明のオブジェクト関係メタデータおよびビットストリームによって担持されるが、記載される型のいかなるコンテナも欠く通常のE-AC-3またはAC-3ビットストリームには通常担持されない他の任意のオーディオ・コンテンツまたはメタデータを表わす）と、どの型（単数または複数）のメタデータが存在しているかを示す少なくとも一つのID値と、典型的にはまた（メタデータが存在する場合）（たとえば各型の）何ビットのメタデータが存在するかを示す値とを含む。このコンテキストにおいて、メタデータの一つのそのような「型」の例は、本発明のオブジェクト・チャネル・データおよび関連付けられたオブジェクト関係メタデータ（すなわち、（やはりプログラムによって示されるスピーカー・チャネルのベッドに関係する）一つまたは複数のオブジェクト・チャネルの各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたメタデータとの組）である。

中間レベル構造。これは、メタデータのそれぞれの同定される型についてのコア要素を含む（たとえば、メタデータのそれぞれの同定される型についての、たとえば上述した型の、コア・ヘッダ、保護値およびペイロードIDおよびペイロード・サイズ値）；および
一つのコア要素について各ペイロードを含む低レベル構造。これは、少なくとも一つのそのようなペイロードがコア要素によって存在していると同定される場合である。そのようなペイロードの例は、やはりプログラムによって示されるスピーカー・チャネルのベッドに関係する）一つまたは複数のオブジェクト・チャネルの各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたメタデータとの組である。そのようなペイロードのもう一つの例は、時にLPSMペイロードと称される、ラウドネス処理状態メタデータ（LPSM: loudness processing state metadata）を含むペイロードである。

そのような三レベル構造におけるデータ値は、ネストされることができる。たとえば、コア要素によって同定されるペイロード（たとえばLPSMペイロード）についての保護値（単数または複数）がコア要素によって同定される各ペイロード後に（よって、該コア要素のコア・ヘッダ後に）含まれることができる。一例では、コア・ヘッダは第一のペイロード（たとえばLPSMペイロード）および別のペイロードを同定することができ、前記第一のペイロードについてのペイロードIDおよびペイロード・サイズは、コア・ヘッダに続くことができ、第一のペイロード自身がIDおよびサイズ値に続くことができ、第二のペイロードについてのペイロードIDおよびペイロード・サイズ値が第一のペイロードに続くことができ、第二のペイロード自身がこれらのIDおよびサイズ値に続くことができ、これらのペイロードの一方または両方についての（またはコア要素値およびこれらのペイロードの一方または両方についての）保護値が最後のペイロードに続くことができる。

再び図６を参照するに、ユーザーは、レンダリングされるべきオブジェクト（オブジェクト・ベース・オーディオ・プログラムによって示される）を選択するためにコントローラ２３を用いる。コントローラ２３は、図６のシステムの他の要素と両立するユーザー・インターフェース（たとえばiPadアプリ）を実装するようプログラムされているハンドヘルド処理装置（たとえばiPad）であってもよい。ユーザー・インターフェースは、ユーザーに対して、オブジェクトおよび「ベッド」スピーカー・チャネル・コンテンツの選択可能な「プリセット」混合のメニューまたはパレットを提供（たとえばタッチスクリーン上に表示）してもよい。選択可能なプリセット混合は、プログラムのオブジェクト関係メタデータによって、そして典型的にはまたサブシステム２２によって実装される規則（たとえばサブシステム２２が実装するようあらかじめ構成されている規則）によって、決定されてもよい。ユーザーは、選択可能な混合のうちから、コントローラ２３にコマンドを入力することによって（たとえば、コントローラ２３のタッチスクリーンを作動させることにより）選択し、応答して、コントローラ２３は対応する制御データをサブシステム２２に呈する。

デコーダ２０は、プログラムのスピーカー・チャネルのベッドのスピーカー・チャネルのスピーカー・チャネルをデコードし、サブシステム２２に、デコードされたスピーカー・チャネルを出力する。オブジェクト・ベース・オーディオ・プログラムに応答し、かつレンダリングされるべき当該プログラムのオブジェクト・チャネルのフル・セットのある選択された部分集合を示す、コントローラ２３からの制御データに応答して、デコーダ２０は、（必要であれば）選択されたオブジェクト・チャネルをデコードし、選択された（たとえばデコードされた）オブジェクト・チャネル（そのそれぞれは、パルス符号変調されたまたは「PCM」ビットストリームであってもよい）および選択されたオブジェクト・チャネルに対応するオブジェクト関係メタデータを、サブシステム２２に出力する。

デコードされたオブジェクト・チャネルによって示されるオブジェクトは、典型的には、ユーザー選択可能なオーディオ・オブジェクトであるまたはそれを含む。たとえば、図６に示されるように、デコーダは5.1スピーカー・チャネル・ベッド、ホーム・チームの都市からのアナウンサーによるコメンタリーを示すオブジェクト・チャネル（「コメント１モノ」）、遠征チームの都市からのアナウンサーによるコメンタリーを示すオブジェクト・チャネル（「コメント２モノ」）、スポーツ・イベントに臨場するホーム・チームのファンからの群衆雑音を示すオブジェクト・チャネル（「ファン（ホーム）」）、スポーツ・イベント参加者によって打たれたときにゲーム・ボールが出す音を示す左および右のオブジェクト・チャネル（「ボール音ステレオ」）および特殊効果を示す四つのオブジェクト・チャネル（「効果4xモノ」）を抽出してもよい。「コメント１モノ」「コメント２モノ」「ファン（ホーム）」「ボール音ステレオ」および「効果4xモノ」オブジェクト・チャネルの任意のものが（デコーダ２０において必要なデコードがあればそれを経た後に）選択されうる。そのうちのそれぞれの選択されたものがサブシステム２２からレンダリング・サブシステム２４に渡されることになる。

デコーダ２０からのデコードされたスピーカー・チャネル、デコードされたオブジェクト・チャネルおよびデコードされたオブジェクト関係メタデータのほかに、オブジェクト処理サブシステム２２への入力は任意的に、当該システムに（デコーダ２０に呈されたメイン混合のプログラムの一つまたは複数のサイド混合として）呈される外部オーディオ・オブジェクト・チャネルを含む。そのような外部オーディオ・オブジェクト・チャネルによって示されるオブジェクトの例は、ローカル・コメンター（たとえば、ラジオ・チャネルによって送達されるモノフォニック・オーディオ・コンテンツ）、着信スカイプ通話、（図６に示されないテキスト音声化システムによって変換された）着信ツイッター接続およびシステム音を含む。

サブシステム２２は、プログラムによって示されるオブジェクト・チャネルのフル・セットのある選択された部分集合およびプログラムの対応するオブジェクト関係メタデータを出力するよう構成される。オブジェクト選択は、（コントローラ２３からサブシステム２２に呈される制御データによって示される）ユーザー選択および／またはサブシステム２２が実装するようプログラムされているまたは他の仕方で構成されている（たとえば条件および／または制約を示す）規則によって決定されてもよい。そのような規則は、プログラムのオブジェクト関係メタデータによっておよび／または（たとえばコントローラ２３または別の外部源から）サブシステム２２に呈される他のデータ（たとえば、再生システムのスピーカー・アレイの機能および編成を示すデータ）によっておよび／またはサブシステム２２を事前に構成する（たとえばプログラムする）ことによって決定されてもよい。いくつかの実施形態では、オブジェクト関係メタデータは、オブジェクトおよび「ベッド」スピーカー・チャネル・コンテンツの選択可能な「プリセット」混合の集合を提供する。サブシステム２２は典型的には、デコーダ２０からのデコードされたスピーカー・チャネルを不変のまま（サブシステム２４）に通過させ、それに呈されたオブジェクト・チャネルの選択されたものを処理する。

サブシステム２２によって実行されるオブジェクト処理（オブジェクト選択を含む）は典型的には、コントローラ２３からの制御データおよびデコーダ２０からのオブジェクト関係メタデータ（そして任意的には、デコーダ２０から以外のサブシステム２２に呈されたサイド混合のオブジェクト関係メタデータ）によって制御され、典型的には、各選択されたオブジェクトについての空間位置およびレベルの決定を含む（オブジェクト選択がユーザー選択またはルール適用による選択のいずれによるものであるかによらない）。典型的には、オブジェクトをレンダリングするためのデフォルトの空間位置およびデフォルトのレベルが、任意的にはまた、オブジェクトおよびその空間位置およびレベルのユーザー選択についての制約も、サブシステム２２に（たとえばデコーダ２０から）呈されるオブジェクト関係メタデータに含まれる。そのような制約は、オブジェクトの禁止される組み合わせまたは選択されたオブジェクトがレンダリングされうる禁止された空間位置（たとえば選択されたオブジェクトが互いにあまりに近接してレンダリングされることを防ぐため）を示していてもよい。さらに、個々の選択されたオブジェクトのラウドネスは典型的には、コントローラ２３を使って入力される制御データおよび／または（たとえばデコーダ２０からの）オブジェクト関係メタデータによっておよび／またはサブシステム２２の事前構成設定によって示されるデフォルト・レベルに応答して、オブジェクト処理サブシステム２２によって制御される。

典型的には、デコーダ２０によって実行されるデコードは、プログラムによって示される各オブジェクトのオーディオ・コンテンツの型（たとえばプログラムのオーディオ・コンテンツによって示されるスポーツ・イベントの型およびプログラムによって示される選択可能なおよびデフォルトのオブジェクトの名前または他の識別印（たとえばチーム・ロゴ））を示すメタデータの（入力プログラムからの）抽出を含む。コントローラ２３およびオブジェクト処理サブシステム２２はこのメタデータまたは該メタデータによって示される関連情報を受領する。典型的にはまた、コントローラ２３は、ユーザーのオーディオ・システムの再生機能（たとえばスピーカーの数およびスピーカーの想定される配置または他の想定される編成）に関する情報を受領する（たとえばプログラムされる）。

図６の空間的レンダリング・サブシステム２４（または少なくとも一つの下流の装置またはシステムと一緒のサブシステム２４）は、サブシステム２２から出力されるオーディオ・コンテンツを、ユーザーの再生システムのスピーカーによる再生のために、レンダリングするよう構成される。任意的に含まれるデジタル・オーディオ処理サブシステム２５、２６および２７の一つまたは複数がサブシステム２４の出力に対する後処理を実装してもよい。

空間的レンダリング・サブシステム２４は、利用可能なスピーカー・チャネルに対して、オブジェクト処理サブシステム２２によって選択されたオーディオ・オブジェクト・チャネル（たとえば、デフォルト選択されたオブジェクトおよび／またはコントローラ２３を使ったユーザー対話の結果として選択されたユーザー選択されたオブジェクト）を、選択された各オブジェクトに関連付けられている、サブシステム２２から出力されたレンダリング・パラメータ（たとえば空間位置およびレベルのユーザー選択されたおよび／またはデフォルトの値）を使ってマッピングするよう構成される。空間的レンダリング・システム２４は、サブシステム２２によって素通しにされたスピーカー・チャネルのデコードされたベッドをも受領する。典型的には、サブシステム２４は、知的な混合器であり、いくつかの個別スピーカー・チャネルのそれぞれに一つ、二つまたは三つ以上の選択されたオブジェクト・チャネルをマッピングし、選択されたオブジェクト・チャネル（単数または複数）を、プログラムのスピーカー・チャネル・ベッドの対応する各スピーカー・チャネルによって示されるオーディオ・コンテンツと混合することによることを含め、利用可能なスピーカーについてのスピーカー・フィードを決定するよう構成される。

出力スピーカー・チャネルの数は2.0から7.1までの間で変わりうる。（「ベッド」オーディオ・コンテンツとの混合内の）選択されたオーディオ・オブジェクト・チャネルをレンダリングするために駆動されるスピーカーは、（名目上）再生環境における水平面内に位置していると想定されてもよい。そのような場合、レンダリングは、スピーカーが、それらのスピーカーの面内の相異なるオブジェクト位置（すなわち、それぞれの選択されたまたはデフォルトのオブジェクトについて、一つのオブジェクト位置または軌跡に沿ったオブジェクト位置の一つのシーケンス）から発しているものとして知覚される音が、「ベッド」オーディオ・コンテンツによって決定される音と混合されたものを発するよう駆動されることができるように実行される。

いくつかの実施形態では、オーディオをレンダリングするよう駆動されるフルレンジ・スピーカーの数は、広い範囲内の任意の数であることができ（必ずしも2から7の範囲に限定されない）、よって、出力スピーカー・チャネルの数は2.0から7.1の範囲内に限定されない。

いくつかの実施形態では、オーディオをレンダリングするために駆動されるスピーカーは、単に（名目上）水平面内ではなく、再生環境中の任意の位置に位置されると想定される。いくつかのそのような場合において、プログラムに含まれるメタデータは、スピーカーの三次元アレイを使って（三次元体積中の）任意の見かけの空間位置にプログラムの少なくとも一つのオブジェクトをレンダリングするためのレンダリング・パラメータを示す。たとえば、オブジェクト・チャネルは、（該オブジェクト・チャネルによって示される）オブジェクトがレンダリングされるべき見かけの空間位置の三次元的な軌跡を示す対応するメタデータを有していてもよい。軌跡は、「床（floor）」位置（再生環境の床または別の水平面の上に位置されると想定されるスピーカーの部分集合の平面内）のシーケンスおよび「床上方（above-floor）」位置（それぞれ、再生環境の少なくとも一つの他の水平面内に位置されると想定されるスピーカーの部分集合を駆動することによって決定される）のシーケンスを含んでいてもよい。そのような場合、レンダリングは、本発明によれば、スピーカーが、前記軌跡を含む三次元空間内のオブジェクト位置のシーケンスから発しているものとして知覚される音（関連するオブジェクト・チャネルによって決定される音）が、「ベッド」オーディオ・コンテンツによって決定される音と混合されたものを発するよう駆動されることができるように実行されることができる。サブシステム２４は、そのようなレンダリングまたはそのステップを実装するよう構成されていてもよく、レンダリングの残りのステップは下流のシステムまたは装置（たとえば図６のレンダリング・サブシステム３５）によって実行されてもよい。

任意的に、デジタル・オーディオ処理（DAP）段（たとえば、いくつかのあらかじめ決定された出力スピーカー・チャネル構成のそれぞれについて一つ）が、空間的レンダリング・サブシステムの出力に対して後処理を実行するよう、空間的レンダリング・サブシステム２４の出力に結合される。そのような処理の例は、知的な等化または（ステレオ出力の場合）スピーカー仮想化処理を含む。

図６のシステムの出力（たとえば、空間的レンダリング・サブシステムまたは空間的レンダリング段に続くDAP段の出力）はPCMビットストリーム（これが利用可能なスピーカーについてのスピーカー・フィードを決定する）であってもよい。たとえば、ユーザーの再生システムがスピーカーの7.1アレイを含む場合、システムは、そのようなアレイのスピーカーについてのスピーカー・フィードを決定するPCMビットストリーム（サブシステム２４において生成される）またはそのようなビットストリームの後処理されたバージョン（DAP ２５において生成される）を出力してもよい。もう一つの例として、ユーザーの再生システムがスピーカーの5.1アレイを含む場合、システムは、そのようなアレイのスピーカーについてのスピーカー・フィードを決定するPCMビットストリーム（サブシステム２４において生成される）またはそのようなビットストリームの後処理されたバージョン（DAP ２６において生成される）を出力してもよい。もう一つの例として、ユーザーの再生システムが左および右のスピーカーを含むだけである場合、システムは、該左右のスピーカーについてのスピーカー・フィードを決定するPCMビットストリーム（サブシステム２４において生成される）またはそのようなビットストリームの後処理されたバージョン（DAP ２７において生成される）を出力してもよい。

図６のシステムは、任意的に、再エンコード・サブシステム３１および３３の一方または両方をも含む。再エンコード・サブシステム３１は、E-AC-3エンコードされたビットストリームとしてDAP ２５から出力される（7.1スピーカー・アレイのためのフィードを示す）PCMビットストリームを再エンコードするよう構成されており、結果として得られるエンコードされた（圧縮された）E-AC-3ビットストリームがシステムから出力されてもよい。再エンコード・サブシステム３３は、AC-3またはE-AC-3エンコードされたビットストリームとしてDAP ２７から出力される（5.1スピーカー・アレイのためのフィードを示す）PCMビットストリームを再エンコードするよう構成されており、結果として得られるエンコードされた（圧縮された）AC-3またはE-AC-3ビットストリームがシステムから出力されてもよい。

図６のシステムは、任意的に、再エンコード（またはフォーマット）サブシステム２９およびサブシステム２９の出力を受領するよう結合された下流のレンダリング・サブシステム３５をも含む。サブシステム２９は、選択されたオーディオ・オブジェクト（またはオーディオ・オブジェクトのデフォルト混合）、対応するオブジェクト関係メタデータおよびスピーカー・チャネルのベッドを示す（サブシステム２２から出力される）データを受領するよう結合され、そのようなデータをサブシステム３５によるレンダリングのために再エンコードする（および／またはフォーマットする）よう構成されている。サブシステム３５は、AVRまたはサウンドバー（またはサブシステム２９から下流の他のシステムまたは装置）において実装されてもよく、サブシステム２９の出力に応答して、利用可能な再生スピーカー（スピーカー・アレイ３６）のためのスピーカー・フィード（またはスピーカー・フィードを決定するビットストリーム）を生成するよう構成される。たとえば、サブシステム２９は、選択された（またはデフォルトの）オーディオ・オブジェクト、対応するメタデータおよびスピーカー・チャネルのベッドを示す前記データをサブシステム３５におけるレンダリングのための好適なフォーマットに再エンコードすることによってエンコードされたオーディオを生成し、エンコードされたオーディオを（たとえばHDMIリンクを介して）サブシステム３５に伝送するよう構成されていてもよい。サブシステム３５によって生成される（またはその出力によって決定される）スピーカー・フィードに応答して、利用可能なスピーカー３６は、スピーカー・チャネル・ベッドおよび選択された（またはデフォルトの）オブジェクト（単数または複数）の、サブシステム２９の出力のオブジェクト関係メタデータによって決定される見かけの源位置をもつオブジェクト（単数または複数）との混合を示す音を発する。サブシステム２９および３５が含まれるとき、レンダリング・サブシステム２４は任意的に、システムから省略される。

いくつかの実施形態では、本発明は、レンダリングの一部（すなわち少なくとも一つのステップ）（たとえば、図６のシステムのサブシステム２２およびコントローラ２３によって実行されるような、レンダリングされるべきオーディオ・オブジェクトの選択および各選択されたオブジェクトのレンダリングの特性の選択）が第一のサブシステム（たとえば、セットトップデバイスまたはセットトップ装置およびハンドヘルド・コントローラにおいて実装される図６の要素２０、２２および２３）において実装され、レンダリングの別の部分（たとえば、スピーカー・フィードまたはスピーカー・フィードを決定する信号が第一のサブシステムの出力に応答して生成される没入的レンダリング）が第二のサブシステム（たとえば、AVRまたはサウンドバーにおいて実装されるサブシステム３５）において実装される、オブジェクト・ベース・オーディオをレンダリングするための分散式システムである。分散式レンダリングを提供するいくつかの実施形態は、オーディオ・レンダリングの諸部分（およびレンダリングされるオーディオに対応するビデオの任意の処理）が実行される異なる時刻および異なるサブシステムを考慮に入れるためにレイテンシー管理も実装する。

本発明の再生システムのいくつかの実施形態では、各デコーダおよびオブジェクト処理サブシステム（時にパーソナル化エンジンと称される）は、セットトップデバイス（STB）において実装される。たとえば、図６の要素２０および２２および／または図７のシステムのすべての要素はSTBにおいて実装されてもよい。本発明の再生システムのいくつかの実施形態では、すべてのSTB出力（たとえば、STBのHDMI、S/PDIFおよびステレオ・アナログ出力）が可能にされることを保証するよう、複数のレンダリングが、パーソナル化エンジンの出力に対して実行される。任意的に、選択されたオブジェクト・チャネル（および対応するオブジェクト関係メタデータ）が（デコードされたスピーカー・チャネルのベッドと一緒に）STBから、オブジェクト・チャネルとスピーカー・チャネルのベッドとの混合をレンダリングするよう構成された下流の装置（たとえばAVRまたはサウンドバー）に渡される。

あるクラスの実施形態では、本発明のオブジェクト・ベース・オーディオ・プログラムは、並列に生成され、伝送される一組のビットストリーム（複数ビットストリーム、「サブストリーム」と称されることもある）を含む。このクラスのいくつかの実施形態では、それらのサブストリームのコンテンツをデコードするために複数のデコーダが用いられる（たとえば、プログラムは複数のE-AC-3サブストリームを含み、再生システムはサブストリームのコンテンツをデコードするために複数のE-AC-3デコーダを用いる）。図７は、並列に送達される複数シリアル・ビットストリームを含む本発明のオブジェクト・ベース・オーディオ・プログラムのある実施形態をデコードおよびレンダリングするよう構成された再生システムのブロック図である。

図７の再生システムは、オブジェクト・ベース・オーディオ・プログラムが並列に再生システムに送達され、再生システムによって受領される複数ビットストリーム（B1、B2、……、BN、ここでNは何らかの正の整数）を含む図６のシステムに対する変形である。各ビットストリーム（「サブストリーム」）B1、B2、……、BNは、それらのサブストリームが互いに同期されるまたは時間整列されることを許容するよう時間コードまたは他の同期語（シンク語とも称される）を含むシリアル・ビットストリームである。各サブストリームは、オブジェクト・チャネルのフル・セットの異なる部分集合および対応するオブジェクト関係メタデータをも含み、それらのサブストリームのうちの少なくとも一つはスピーカー・チャネルのベッドを含む。たとえば、各サブストリームB1、B2、……、BNにおいて、オブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータを含む各コンテナは一意的なIDまたはタイムスタンプを含む。

図７のシステムは、N個のフォーマット解除器５０、５１、……、５３を含み、そのそれぞれは入力サブストリームのうちの異なるものをパースし、（その同期語を含む）メタデータおよびそのオーディオ・コンテンツをビットストリーム同期段５９に呈するよう結合され、構成されている。

フォーマット解除器５０は、サブストリームB1をパースし、その同期語（T1）、他のメタデータおよびそのオブジェクト・チャネル・コンテンツ（M1）（オブジェクト関係メタデータおよびプログラムの少なくとも一つのオブジェクト・チャネルを含む）およびそのスピーカー・チャネル・オーディオ・コンテンツ（A1）（プログラムのベッドの少なくとも一つのスピーカー・チャネルを含む）をビットストリーム同期段５９に呈する。同様に、フォーマット解除器５１は、サブストリームB2をパースし、その同期語（T2）、他のメタデータおよびそのオブジェクト・チャネル・コンテンツ（M2）（オブジェクト関係メタデータおよびプログラムの少なくとも一つのオブジェクト・チャネルを含む）およびそのスピーカー・チャネル・オーディオ・コンテンツ（A2）（プログラムのベッドの少なくとも一つのスピーカー・チャネルを含む）をビットストリーム同期段５９に呈する。同様に、フォーマット解除器５３は、サブストリームBNをパースし、その同期語（TN）、他のメタデータおよびそのオブジェクト・チャネル・コンテンツ（MN）（オブジェクト関係メタデータおよびプログラムの少なくとも一つのオブジェクト・チャネルを含む）およびそのスピーカー・チャネル・オーディオ・コンテンツ（AN）（プログラムのベッドの少なくとも一つのスピーカー・チャネルを含む）をビットストリーム同期段５９に呈する。

図７のシステムのビットストリーム同期段５９は、典型的には、サブストリームB1、B2、……、BNのオーディオ・コンテンツおよびメタデータのためのバッファと、各サブストリームの同期語を使って入力サブストリームにおけるデータの整列不良（たとえば各ビットストリームが典型的には独立なインターフェースおよび／またはメディア・ファイル内の独立なトラックを通じて搬送されるので、入力サブストリームの間の緊密な同期が配送／寄与において失われる可能性によってそのような不揃いが生じうる）があればそれを判別するよう結合され、構成されているストリーム・オフセット補償要素とを含む。段５９のストリーム・オフセット補償要素は典型的には、ビットストリームのオーディオ・データおよびメタデータを含むバッファに適切な制御値を呈することによって判別された整列不良があればそれを補正し、スピーカー・チャネル・オーディオ・データの時間整列されたビットがバッファから、それぞれ対応するバッファに結合されているデコーダ（デコーダ６０、６１および６３を含む）に読み込まれるようにし、オブジェクト・チャネル・オーディオ・データおよびメタデータの時間整列されたビットがバッファから、オブジェクト・データ結合段６６に読み込まれるようにするようにも構成される。

サブストリームB1からのスピーカー・チャネル・オーディオ・コンテンツA1'の時間整列されたビットは段５９からデコーダ６０に読み込まれ、サブストリームB1からのオブジェクト・チャネル・コンテンツおよびメタデータM1'の時間整列されたビットは段５９からメタデータ結合器６６に読み込まれる。デコーダ６０は、それに呈されたスピーカー・チャネル・オーディオ・データに対してデコードを実行し、結果として得られるデコードされたスピーカー・チャネル・オーディオをオブジェクト処理およびレンダリング・サブシステム６７に呈するよう構成される。

同様に、サブストリームB2からのスピーカー・チャネル・オーディオ・コンテンツA2'の時間整列されたビットは段５９からデコーダ６１に読み込まれ、サブストリームB2からのオブジェクト・チャネル・コンテンツおよびメタデータM2'の時間整列されたビットは段５９からメタデータ結合器６６に読み込まれる。デコーダ６１は、それに呈されたスピーカー・チャネル・オーディオ・データに対してデコードを実行し、結果として得られるデコードされたスピーカー・チャネル・オーディオをオブジェクト処理およびレンダリング・サブシステム６７に呈するよう構成される。

同様に、サブストリームBNからのスピーカー・チャネル・オーディオ・コンテンツAN'の時間整列されたビットは段５９からデコーダ６３に読み込まれ、サブストリームBNからのオブジェクト・チャネル・コンテンツおよびメタデータMN'の時間整列されたビットは段５９からメタデータ結合器６６に読み込まれる。デコーダ６３は、それに呈されたスピーカー・チャネル・オーディオ・データに対してデコードを実行し、結果として得られるデコードされたスピーカー・チャネル・オーディオをオブジェクト処理およびレンダリング・サブシステム６７に呈するよう構成される。

たとえば、各サブストリームB1、B2、……、BNはE-AC-3サブストリームであってもよく、各デコーダ６０、６１、６３は、またデコーダ６０、６１、６３と並列にサブシステム５９に結合される他のデコーダ（単数または複数）があればそれも、入力E-AC-3サブストリームのうちの一つのサブストリームのスピーカー・チャネル・コンテンツをデコードするよう構成されたE-AC-3デコーダであってもよい。

オブジェクト・データ結合器６６は、プログラムのすべてのオブジェクト・チャネルについての時間整列されたオブジェクト・チャネル・データおよびメタデータを、適切なフォーマットで、オブジェクト処理およびレンダリング・サブシステム６７に呈するよう構成されている。

サブシステム６７は、結合器６６の出力およびデコーダ６０、６１、６３（およびサブシステム５９と６７の間にデコーダ６０、６１、６３と並列に結合された他のデコーダがあればそれも）の出力に結合され、コントローラ６８はサブシステム６７に結合される。サブシステム６７は、結合器６６およびデコーダの出力に対してオブジェクト処理（たとえば図６のシステムのサブシステム２２によって実行されるステップまたはそのようなステップの変形を含む）を、コントローラ６８からの制御データに応答して本発明のある実施形態に従って対話的な仕方で実行するよう構成されている。コントローラ６８は、ユーザーからの入力に応答して、図６のシステムのコントローラ２３が実行するよう構成されている動作（またはそのような動作の変形）を実行するよう構成されていてもよい。サブシステム６７は、本発明のある実施形態に基づいて、それに呈されるスピーカー・チャネル・オーディオおよびオブジェクト・チャネル・オーディオ・データに対してレンダリング（たとえば、レンダリング・サブシステム２４または図６のシステムのサブシステム２４、２５、２６、３１、３３または図６のシステムのサブシステム２４、２５、２６、３１、３３、２９、３５によって実行される動作またはそのような動作の変形）を実行するように構成されたサブシステムをも含む。

図７のシステムのある実装では、各サブストリームB1、B2、……、BNはドルビーEビットストリームである。そのような各ドルビーEビットストリームはバーストのシーケンスを含む。各バーストは、スピーカー・チャネル・オーディオ・コンテンツ（スピーカー・チャネルの「ベッド」）および本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータのフル・オブジェクト・チャネル・セット（これは大きな集合であることがある）の部分集合を担持してもよい（すなわち、各バーストは、フル・オブジェクト・チャネル・セットのうちのいくつかのオブジェクト・チャネルおよび対応するオブジェクト関係メタデータを示してもよい）。ドルビーEビットストリームの各バーストは、典型的には、対応するビデオ・フレームの時間期間と等価な時間期間を占める。セット内の各ドルビーEビットストリームは、セット内のビットストリームが互いと同期または時間整列されることを許容するための同期語（たとえば時間コード）を含む。たとえば、各ビットストリームにおいて、オブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータを含む各コンテナは、セット中のビットストリームが互いと同期または時間整列されることを許容するための一意的なIDまたはタイムスタンプを含むことができる。図７のシステムの印された実装では、フォーマット解除器５０、５１、５３（およびフォーマット解除器５０、５１、５３と並列に結合された他のフォーマット解除器があればそれも）のそれぞれは、SMPTE ３３７フォーマット解除器であり、デコーダ６０、６１、６３およびデコーダ６０、６１、６３と並列にサブシステム５９に結合された他の任意のデコーダのうちのそれぞれは、ドルビーEデコーダであってもよい。

本発明のいくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムのオブジェクト関係メタデータは耐久メタデータを含む。たとえば、図６のシステムのサブシステム２０に入力されるプログラムに含まれるオブジェクト関係メタデータは、（そのプログラムを生成したコンテンツ生成施設からコントローラ２３によって実装されるユーザー・インターフェースまでの）放送チェーン内の少なくとも一点において変更できる非耐久メタデータ（たとえば、ユーザー選択可能なオブジェクトについてのデフォルトのレベルおよび／またはレンダリング位置もしくは軌跡）と、そのプログラムの（典型的にはコンテンツ生成施設における）初期生成後に変更可能であることが意図されていない（または変更できない）耐久メタデータを含んでいてもよい。耐久メタデータの例は：プログラムの各ユーザー選択可能なオブジェクトまたは他のオブジェクトまたは一組のオブジェクトについてのオブジェクトID；および各ユーザー選択可能なオブジェクトまたは他のオブジェクトの、プログラムのスピーカー・チャネルのベッドのオーディオ・コンテンツまたは他の要素に対するタイミングを示す時間コードまたは他の同期語を含む。耐久メタデータは典型的には、コンテンツ生成施設からユーザー・インターフェースまでの放送チェーン全体を通じて、プログラムの放送の継続時間全体を通じて、あるいはプログラムの再放送の間にも、保存される。いくつかの実施形態では、少なくとも一つのユーザー選択可能なオブジェクトのオーディオ・コンテンツ（および関連するメタデータ）がオブジェクト・ベース・オーディオ・プログラムのメイン混合において送られ、少なくともいくらかの耐久メタデータ（たとえば時間コード）および任意的には少なくとも一つの他のオブジェクトのオーディオ・コンテンツ（および関連するメタデータ）がプログラムのサイド混合において送られる。

本発明のオブジェクト・ベース・オーディオ・プログラムのいくつかの実施形態における耐久的なオブジェクト関係メタデータは、オブジェクト・コンテンツおよびベッド（スピーカー・チャネル）・コンテンツのユーザー選択された混合を（たとえば、プログラムの放送後でも）保存するために用いられる。たとえば、これは、ユーザーが自分の選択を変えるまで、ユーザーが指定された型のプログラム（たとえば何らかのサッカーの試合）をするたびにまたはユーザーが（任意の型の）任意のプログラムを見るたびに、選択された混合をデフォルト混合として提供しうる。たとえば、第一のプログラムの放送中に、ユーザーが（図６のシステムの）コントローラ２３を用いて、耐久IDをもつオブジェクト（たとえば、コントローラ２３のユーザー・インターフェースによって「ホーム・チーム群衆ノイズ」オブジェクトとして同定されるオブジェクト、ここで、耐久IDは「ホーム・チーム群衆ノイズ」である）を含む混合を選択してもよい。すると、ユーザーが混合選択を変えるまでは、ユーザーが（同じ耐久IDをもつオブジェクトを含む）別のプログラムを見る（または聴く）たびに、再生システムは自動的に同じ混合（すなわち、プログラムのスピーカー・チャネルのベッドをプログラムの「ホーム・チーム群衆ノイズ」オブジェクト・チャネルと混合したもの）をもつプログラムをレンダリングすることになる。本発明のオブジェクト・ベース・オーディオ・プログラムのいくつかの実施形態における耐久的なオブジェクト関係メタデータは、プログラム全体の間、いくつかのオブジェクトのレンダリングを必須にしてもよい（たとえば、ユーザーがそのようなレンダリングをやめたくても）。

いくつかの実施形態では、オブジェクト関係メタデータは、オブジェクト・コンテンツおよびベッド（スピーカー・チャネル）・コンテンツのデフォルト混合を、デフォルト・レンダリング・パラメータ（たとえば、レンダリングされるオブジェクトのデフォルトの空間位置）とともに提供する。たとえば、図６のシステムのサブシステム２０に入力されるプログラムのオブジェクト関係メタデータは、オブジェクト・コンテンツおよびベッド（スピーカー・チャネル）・コンテンツのデフォルト混合にデフォルト・レンダリング・パラメータが伴ったものでもよく、サブシステム２２および２４は、ユーザーがコントローラ２３を用いてオブジェクト・コンテンツおよびベッド・コンテンツの別の混合および／またはレンダリング・パラメータの別のセットを選択しない限り、デフォルト混合およびデフォルト・レンダリング・パラメータをもってプログラムをレンダリングさせる。

いくつかの実施形態では、オブジェクト関係メタデータは、オブジェクトおよび「ベッド」スピーカー・チャネル・コンテンツの選択可能な「プリセット」混合の集合を提供する。各プリセット混合はあらかじめ決定された一組のレンダリング・パラメータ（たとえばレンダリングされるオブジェクトの空間位置）をもつ。これらは、再生システムのユーザー・インターフェースによって、利用可能な混合の限られたメニューまたはパレット（たとえば、図６のシステムのコントローラ２３によって表示される限られたメニューまたはパレット）として呈示されてもよい。各プリセット混合（および／または各選択可能なオブジェクト）は、耐久ID（たとえば、名前、ラベルまたはロゴ）を有していてもよい。コントローラ２３（または本発明の再生システムの別の実施形態のコントローラ）は、そのようなIDの指示を（たとえばコントローラ２３のiPad実装のタッチスクリーン上で）表示するよう構成されていてもよい。たとえば、プリセット混合の各オブジェクトの、オーディオ・コンテンツの詳細に対する（たとえば放送局によってなされる）変更に関わりなく耐久的であるID（たとえばチーム・ロゴ）または非耐久メタデータがあってもよい。

いくつかの実施形態では、プログラムのオブジェクト関係メタデータ（またはプログラムと一緒に送達されるメタデータによって指示されるのでない、再生またはレンダリング・システムの事前構成設定）が、オブジェクトおよびベッド（スピーカー・チャネル）コンテンツの選択可能な混合に対する制約条件または条件を与える。たとえば、図６のシステムのある実装は、デジタル権利管理（DRM）を実装してもよく、より詳細には図６のシステムのユーザーがオブジェクト・ベース・オーディオ・プログラムに含まれる一組のオーディオ・オブジェクトへの「階層的な（tiered）」アクセスをもつことを許容するDRM階層を実装してもよい。ユーザー（たとえば再生システムに関連付けられた顧客）がより多くの金額を（たとえば放送局に）支払うなら、ユーザーは当該プログラムのより多くのオーディオ・オブジェクトをデコードし、選択する（そして聴く）ことを許諾されうる。

もう一つの例として、オブジェクト関係メタデータは、ユーザーによるオブジェクト選択に対する制約条件を提供してもよい。そのような制約条件の例は、ユーザーがコントローラ２３を用いてプログラムの「ホーム・チーム群衆ノイズ」オブジェクトおよび「ホーム・チーム・アナウンサー」オブジェクトの両方を選択する（すなわち、図６のサブシステム２４によって決定される混合に含めるために選択する）場合、プログラムに含まれるメタデータは、サブシステム２４がそれら二つの選択されたオブジェクトがあらかじめ決定された相対的な空間位置をもってレンダリングされることを保証しうる。制約条件は、（少なくとも部分的には）再生システムに関するデータ（たとえばユーザーが入力したデータ）によって決定されてもよい。たとえば、再生システムが（二つのみのスピーカーを含む）ステレオ・システムである場合、図６のシステムのオブジェクト処理サブシステム２４（および／またはコントローラ２３）は、二つのスピーカーだけでは十分な空間分解能をもってレンダリングできない混合（オブジェクト関係メタデータによって同定される）のユーザー選択を防止するよう構成されてもよい。もう一つの例として、図６のシステムのオブジェクト処理サブシステム２４（および／またはコントローラ２３）は、オブジェクト関係メタデータ（および／または再生システムに入力される他のデータ）によって示される法的な（たとえばDRM）理由または他の理由（たとえば送達チャネルの帯域幅に基づく理由）により、選択可能なオブジェクトのカテゴリーからいくつかの送達されるオブジェクトを除去してもよい。ユーザーは、より多くの帯域幅のためにコンテンツ制作者または放送局に支払いをしてもよく、結果として、システム（たとえば図６のシステムのオブジェクト処理サブシステム２４および／またはコントローラ２３）は、ユーザーが、選択可能なオブジェクトおよび／またはオブジェクト／ベッド混合のより大きなメニューから選択することを許容してもよい。

本発明のいくつかの実施形態（たとえば、上記の要素２９および３５を含む図６の再生システムの実装）は、分散式レンダリングを実装する。たとえば、プログラムのデフォルトのまたは選択されたオブジェクト・チャネル（および対応するオブジェクト関係メタデータ）は、セットトップデバイスから（たとえば図６のシステムのある実装のサブシステム２２および２９から）下流の装置（たとえばサブシステム２２および２９が実装されるセットトップデバイス（STB）から下流のAVRまたはサウンドバーにおいて実装される、図６のサブシステム３５）に（スピーカー・チャネルのデコードされたベッドと一緒に）渡される。下流の装置は、オブジェクト・チャネルとスピーカー・チャネルのベッドとの混合をレンダリングするよう構成される。STBはオーディオを部分的にレンダリングし、下流の装置が（たとえば、オーディオ・オブジェクトを特定の見かけの源位置に配置するよう特定の最上層（tier）のスピーカー（たとえば諸天井スピーカー）を駆動するためのスピーカー・フィードを生成することによって）レンダリングを完成させてもよい（ここで、STBの出力は単に、オブジェクトが何らかの指定されていない仕方で、何らかの指定されていない最上層のスピーカーにおいてレンダリングされることができることを示す）。たとえば、STBは、再生システムのスピーカーの特定の編成についての知識をもたなくてもよく、下流の装置（たとえばAVRまたはサウンドバー）がそのような知識を有していてもよい。

いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラム（たとえば、図６のシステムのサブシステム２０または図７のシステムの要素５０、５１、５３に入力されるプログラム）は、少なくとも一つのAC-3（またはE-AC-3）ビットストリームであるまたはそれを含み、オブジェクト・チャネル・コンテンツ（および／またはオブジェクト関係メタデータ）を含むプログラムの各コンテナは、ビットストリームのフレームの末尾にある補助データ・フィールド（たとえば図１または図４に示したAUXセグメント）に含まれる。いくつかのそのような実施形態では、AC-3またはE-AC-3ビットストリームの各フレームは、一つまたは複数のメタデータ・コンテナを含む。一つのコンテナがフレームのAuxフィールドに含まれることができ、別のコンテナがフレームのaddbsiフィールドに含まれることができる。各コンテナはコア・ヘッダをもち、一つまたは複数のペイロードを含む（または一つまたは複数のペイロードに関連付けられる）。（Auxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）一つのそのようなペイロードは、（やはり当該プログラムによって示されるスピーカー・チャネルのベッドに関係する）本発明のオブジェクト・チャネルの一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとの組であってもよい。各コンテナのコア・ヘッダは典型的には、当該コンテナに含まれるまたは関連付けられたペイロード（単数または複数）の型を示す少なくとも一つのID値と；サブストリーム関連付け指示（そのコア・ヘッダがどのサブストリームと関連付けられているかを示す）と；保護ビットとを含む。典型的には、各ペイロードは独自のヘッダ（または「ペイロード識別子」）をもつ。オブジェクト・レベル・メタデータがオブジェクト・チャネルである各サブストリームにおいて担持されてもよい。

他の実施形態では、オブジェクト・ベース・オーディオ・プログラム（たとえば、図６のシステムのサブシステム２０または図７のシステムの要素５０、５１、５３に入力されるプログラム）は、AC-3ビットストリームまたはE-AC-3ビットストリームではないビットストリームであるまたはそれを含む。いくつかの実施形態では、オブジェクト・ベース・オーディオ・プログラムは、少なくとも一つのドルビーEビットストリームであるまたはそれを含み、プログラムのオブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータ（たとえばオブジェクト・チャネル・コンテンツおよびオブジェクト関係メタデータを含むプログラムの各コンテナ）は、通常は有用な情報を担持しないドルビーEビットストリームのビット位置に含まれる。ドルビーEビットストリームの各バーストは、対応するビデオ・フレームの時間期間と等価な時間期間を占める。オブジェクト・チャネル（および／またはオブジェクト関係メタデータ）は、ドルビーEバーストどうしの間の保護帯（guard band）に、および／または各ドルビーEバース都内の（それぞれAES3フレームのフォーマットをもつ）各データ構造内の未使用ビット位置に含まれてもよい。たとえば、各保護帯は、セグメント（たとえば100個のセグメント）のシーケンスからなり、各保護帯の最初のX個のセグメント（たとえばX＝20）のそれぞれはオブジェクト・チャネルおよびオブジェクト関係メタデータを含み、前記各保護帯の残りのセグメントのそれぞれは保護帯シンボルを含んでいてもよい。いくつかの実施形態では、ドルビーEビットストリームのオブジェクト・チャネルおよびオブジェクト関係メタデータは、メタデータ・コンテナに含まれる。各コンテナはコア・ヘッダをもち、一つまたは複数のペイロードを含む（または一つまたは複数のペイロードに関連付けられる）。（Auxフィールドに含まれるコンテナのまたは該コンテナに関連付けられた）一つのそのようなペイロードは、（やはり当該プログラムによって示されるスピーカー・チャネルのベッドに関係する）本発明のオブジェクト・チャネルの一つまたは複数の各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたオブジェクト関係メタデータとの組であってもよい。各コンテナのコア・ヘッダは典型的には、当該コンテナに含まれるまたは関連付けられたペイロード（単数または複数）の型を示す少なくとも一つのID値と；サブストリーム関連付け指示（そのコア・ヘッダがどのサブストリームと関連付けられているかを示す）と；保護ビットとを含む。典型的には、各ペイロードは独自のヘッダ（または「ペイロード識別子」）をもつ。オブジェクト・レベル・メタデータがオブジェクト・チャネルである各サブストリームにおいて担持されてもよい。

いくつかの実施形態では、（本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータをパースするよう構成されていない）レガシー・デコーダおよびレガシー・レンダリング・システムによって、オブジェクト・ベース・オーディオ・プログラム（たとえば、図６のシステムのサブシステム２０または図７のシステムの要素５０、５１、５３に入力されるプログラム）はデコード可能であり、そのスピーカー・チャネル・コンテンツはレンダリング可能である。同じプログラムが、本発明のオブジェクト・チャネルおよびオブジェクト関係メタデータをパースし、プログラムによって示されるスピーカー・チャネルおよびオブジェクト・チャネル・コンテンツの混合をレンダリングするよう（本発明の実施形態に従って）構成されたセットトップデバイス（または他のデコードおよびレンダリング・システム）によって、本発明のいくつかの実施形態に従ってレンダリングされてもよい。

本発明のいくつかの実施形態は、放送プログラムに応答して最終消費者のためのパーソナル化された（そして好ましくは没入的な）オーディオ経験を提供するおよび／または放送パイプラインにおいてメタデータを使う新たな方法を提供するよう意図される。いくつかの実施形態はマイクロホン捕捉（たとえばスタジアム・マイクロホン捕捉）を改善して、最終消費者のためのより没入的な経験を提供するオーディオ・プログラムを生成し、本発明のオブジェクト・ベース・オーディオ・プログラム（単数または複数）のオブジェクト・チャネル（単数または複数）およびメタデータがプロフェッショナル・チェーンを通じて流れることを許容するよう既存の制作、寄与および配送作業フローを修正し、通常放送されるオーディオ（たとえば、本発明の放送オーディオ・プログラムのいくつかの実施形態に含まれるスピーカー・チャネルのベッド）のほかに本発明のオブジェクト・チャネルおよびメタデータをサポートする新たな再生パイプライン（たとえば、セットトップデバイスにおいて実装されるもの）を作り出す。

図８は、放送のための、本発明のある実施形態に基づくオブジェクト・ベース・オーディオ・プログラム（および対応するビデオ・プログラム）を生成するよう構成された放送システムのブロック図である。図８のシステムのマイクロホン１００、１０１、１０２、１０３を含むX個のマイクロホン（Xは整数）の集合が、プログラムに含められるべきオーディオ・コンテンツを捕捉するよう位置されており、それらの出力がオーディオ・コンソール１０４の入力に結合されている。

あるクラスの実施形態では、プログラムは、観客イベント（たとえばサッカーまたはラグビー試合、自動車またはオートバイ・レースまたは別のスポーツ・イベント）内でのまたは観客イベントにおける雰囲気および／または観客イベントについてのコメンタリーを示す対話的オーディオ・コンテンツを含む。いくつかの実施形態では、プログラムのオーディオ・コンテンツは、（ユーザー選択可能な諸オブジェクトまたは諸オブジェクト集合および典型的にはユーザーによるオブジェクト選択がないときにレンダリングされるオブジェクトのデフォルト集合も含む）複数のオーディオ・オブジェクトと、プログラムのスピーカー・チャネルの混合（「ベッド」）とを示す。スピーカー・チャネルのベッドは、オブジェクト・チャネルを含まない通常の放送プログラムに含まれてもよい型のスピーカー・チャネルの通常の混合（たとえば5.1チャネル混合）であってもよい。

マイクロホン（たとえばマイクロホン１００および１０１、また任意的にはその出力がオーディオ・コンソール１０４に結合されている他のマイクロホン）の部分集合は、動作の際、（スピーカー・チャネルのベッドとしてエンコードされ、送達されるべき）オーディオを捕捉する通常のマイクロホン・アレイである。動作において、マイクロホン（たとえばマイクロホン１０２および１０３、また任意的にはその出力がオーディオ・コンソール１０４に結合されている他のマイクロホン）の別の部分集合は、プログラムのオブジェクト・チャネルとしてエンコードされ、送達されるべきオーディオ（たとえば群衆ノイズおよび／または他の「オブジェクト」）を捕捉する。たとえば、図８のシステムのマイクロホン・アレイは、音場マイクロホンとして実装され、スタジアムに恒久的に設定されている（たとえば音場マイクロホンがそれとともに設置されたヒーターをもつ）少なくとも一つのマイクロホン（たとえばマイクロホン１００）；一方のチーム（たとえばホーム・チーム）をサポートする観客の位置に向けられた少なくとも一つのステレオ・マイクロホン（たとえば、Sennheiser MKH416マイクロホンまたは他のステレオ・マイクロホンとして実装されたマイクロホン１０２）および他方のチーム（たとえば遠征チーム）をサポートする観客の位置に向けられた少なくとも一つの他のステレオ・マイクロホン（たとえば、Sennheiser MKH416マイクロホンまたは他のステレオ・マイクロホンとして実装されたマイクロホン１０３）を含んでいてもよい。

本発明の放送システムは、スタジアム（または他のイベント位置）の外部に位置する可動ユニット（これはトラックであってもよく、時に「試合トラック」と称される）を含んでいてもよい。この可動ユニットは、スタジアム（または他のイベント位置）内のマイクロホンからのオーディオ・フィードの最初の受領者である。試合トラックは、（放送されるべき）オブジェクト・ベース・オーディオ・プログラムを生成する。これは、送達のためのマイクロホンからのオーディオ・コンテンツをプログラムのオブジェクト・チャネルとしてエンコードし、対応するオブジェクト関係メタデータ（たとえば、各オブジェクトがレンダリングされるべき空間位置を示すメタデータ）を生成し、そのようなメタデータをプログラム中に含め、送達のためのいくつかのマイクロホンからのオーディオ・コンテンツをプログラムのスピーカー・チャネルのベッドとしてエンコードすることによることを含む。

たとえば、図８のシステムでは、コンソール１０４、オブジェクト処理サブシステム１０６（コンソール１０４の出力に結合されている）、埋め込みサブシステム１０８および寄与エンコーダ１１０が試合トラック内に設置されてもよい。サブシステム１０６において生成されるオブジェクト・ベース・オーディオ・プログラムは、（たとえばサブシステム１０８内で）（たとえばスタジアム内に位置されるカメラからの）ビデオ・コンテンツと組み合わされて、組み合わされたオーディオおよびビデオ信号を生成してもよい。該組み合わされた信号がその後（たとえばエンコーダ１１０によって）エンコードされて、それにより（たとえば図５の送達サブシステム５による）放送のためのエンコードされたオーディオ／ビデオ信号を生成する。そのようなエンコードされたオーディオ／ビデオ信号をデコードおよびレンダリングする再生システムは、送達されるオーディオ／ビデオ信号のオーディオ・コンテンツおよびビデオ・コンテンツをパースするためのサブシステム（個別には図示せず）と、本発明の実施形態に基づいてオーディオ・コンテンツをデコードおよびレンダリングするためのサブシステム（たとえば図６のシステムと同様または同一のもの）と、ビデオ・コンテンツをデコードおよびレンダリングするためのもう一つのサブシステム（個別には図示せず）とを含むことになる。

コンソール１０４のオーディオ出力は、スポーツ・イベントにおいて捕捉された音を示す5.1スピーカー・チャネル・ベッド（図８では「5.1中立」とラベル付けされている）と、イベントに臨場するホーム・チームのファンからの群衆ノイズを示すステレオ・オブジェクト・チャネルのオーディオ・コンテンツ（「2.0ホーム」とラベル付けされている）と、イベントに臨場する遠征チームのファンからの群衆ノイズを示すステレオ・オブジェクト・チャネルのオーディオ・コンテンツ（「2.0アウェー」とラベル付けされている）と、ホーム・チームの都市からのアナウンサーによるコメンタリーを示すオブジェクト・チャネル・オーディオ・コンテンツ（「1.0cmm1」とラベル付けされている）と、遠征チームの都市からのアナウンサーによるコメンタリーを示すオブジェクト・チャネル・オーディオ・コンテンツ（「1.0cmm2」とラベル付けされている）と、スポーツ・イベント参加者によってボールが打たれる際の試合ボールによって生成される音を示すオブジェクト・チャネル・オーディオ・コンテンツ（「1.0ボールキック」とラベル付けされている）とを含んでいてもよい。

オブジェクト処理サブシステム１０６は、コンソール１０４からのオーディオ・ストリームをオブジェクト・チャネルに（たとえば、「2.0アウェー」とラベル付けされた左右のオーディオ・ストリームを遠征群衆ノイズ・オブジェクト・チャネルにグループ化）および／またはオブジェクト・チャネルの諸セットに編成（たとえばグループ化）し、それらのオブジェクト・チャネル（またはオブジェクト・チャネル・セット）を示すオブジェクト関係メタデータを生成し、それらのオブジェクト・チャネル（またはオブジェクト・チャネル・セット）、オブジェクト関係メタデータおよびスピーカー・チャネル・ベッド（コンソール１０４からのオーディオ・ストリームから決定される）をオブジェクト・ベース・オーディオ・プログラム（たとえば、ドルビーEビットストリームとしてエンコードされるオブジェクト・ベース・オーディオ・プログラム）としてエンコードするよう構成される。典型的にはまた、サブシステム１０６は、オブジェクト・チャネル（および／またはオブジェクト・チャネル・セット）およびスピーカー・チャネル・ベッドの少なくとも選択された部分集合をレンダリング（そしてスタジオ・モニタ・スピーカーのセットで再生）する（これはオブジェクト関係メタデータを使って選択されたオブジェクト・チャネルおよびスピーカー・チャネルを示す混合を生成することによることを含む）よう構成され、それにより再生される音はコンソール１０４およびサブシステム１０６の操作者（単数または複数）によってモニタリングされることができる（図８の「モニター経路」によって示されるように）。

サブシステム１０４の出力とサブシステム１０６の入力との間のインターフェースは、マルチチャネル・オーディオ・デジタル・インターフェース（MADI）であってもよい。

動作では、図８のシステムのサブシステム１０８は、サブシステム１０６において生成されたオブジェクト・ベース・オーディオ・プログラムを（たとえばスタジアム内に位置されたカメラからの）ビデオ・コンテンツと組み合わせて、組み合わされたオーディオおよびビデオ信号を生成し、それがエンコーダ１１０に呈される。サブシステム１０８の出力とサブシステム１１０の入力との間のインターフェースは、高精細度シリアル・デジタル・インターフェース（HD-SDI）であってもよい。動作では、エンコーダ１１０はサブシステム１０８の出力をエンコードし、それにより（たとえば図５の送達サブシステム５による）放送のためのエンコードされたオーディオ／ビデオ信号を生成する。

いくつかの実施形態では、放送施設（たとえば図８のシステムのサブシステム１０６、１０８および１１０）は、捕捉された音を示す複数のオブジェクト・ベース・オーディオ・プログラム（たとえば、図８のサブシステム１１０から出力される複数のエンコードされたオーディオ／ビデオ信号によって示されるオブジェクト・ベース・オーディオ・プログラム）を生成するよう構成される。そのようなオブジェクト・ベース・オーディオ・プログラムの例は、5.1の平坦化された混合、国際混合および国内混合を含む。たとえば、すべてのプログラムは、スピーカー・チャネルの共通ベッドを含んでいてもよいが、プログラムのオブジェクト・チャネル（および／またはプログラムによって決定される選択可能なオブジェクト・チャネルおよび／またはオブジェクト・チャネルをレンダリングおよび混合するための選択可能もしくは選択可能でないレンダリング・パラメータのメニュー）はプログラムによって異なっていてもよい。

いくつかの実施形態では、放送局または他のコンテンツ・クリエーターの施設（たとえば、図８のシステムのサブシステム１０６、１０８および１１０）は、多様な異なる再生環境（たとえば、5.1チャネル国内再生システム、5.1チャネル国際再生システムおよびステレオ再生システム）の任意のものにおいてレンダリングできる単一のオブジェクト・ベース・オーディオ・プログラム（すなわちマスター）を生成するよう構成される。マスターは、いかなる特定の環境における消費者への放送のために混合される（たとえばダウンミックスされる）必要もない。

上記のように、本発明のいくつかの実施形態では、プログラムのオブジェクト関係メタデータ（またはプログラムと一緒に送達されるメタデータによって指示されるのでない、再生またはレンダリング・システムの事前構成設定）は、オブジェクトおよびベッド（スピーカー・チャネル）・コンテンツの選択可能な混合に対する制約条件または条件を与える。たとえば、図６のシステムのある実装は、DRM階層を実装して、ユーザーがオブジェクト・ベース・オーディオ・プログラムに含まれる一組のオーディオ・チャネルへの階層的な（tiered）アクセスをもつことを許容してもよい。ユーザーがより多くの金額を（たとえば放送局に）支払うなら、ユーザーは当該プログラムのより多くのオブジェクト・チャネルをデコードし、選択し、レンダリングすることを許諾されうる。

オブジェクト（またはオブジェクト群）のユーザー選択に対する制約条件および条件の例について、図９を参照して述べる。図９では、プログラムP0は七つのオブジェクト・チャネルを含む：中立的な群衆ノイズを示すオブジェクト・チャネルN0、ホーム群衆ノイズを示すオブジェクト・チャネルN1、アウェー群衆ノイズを示すオブジェクト・チャネルN2、イベントについての公式コメンタリー（たとえば商業ラジオ・アナウンサーによる放送コメンタリー）を示すオブジェクト・チャネルN3、イベントについてのファン・コメンタリーを示すオブジェクト・チャネルN4、イベントにおける公共アナウンスを示すオブジェクト・チャネルN5およびイベントに関する着信ツイッター接続（テキスト音声化システムによって変換される）を示すオブジェクト・チャネルN5。

プログラムP0に含まれるデフォルト指示メタデータは、プログラムによって示される「ベッド」スピーカー・チャネル・コンテンツおよびオブジェクト・チャネル・コンテンツのレンダリングされる混合に（デフォルトで）含められるべきデフォルト・オブジェクト・セット（一つまたは複数の「デフォルト」オブジェクト）およびデフォルト・レンダリング・パラメータ・セット（たとえば、デフォルト・オブジェクト・セット内の各デフォルト・オブジェクトの空間位置）を示す。たとえば、デフォルト・オブジェクト・セットは、拡散式に（たとえばいかなる特定の源位置から発しているようにも知覚されないよう）レンダリングされるオブジェクト・チャネルN0（中立的な群衆ノイズを示す）と、聴取者の真正面の（すなわち、聴取者に対して方位角0度の）源位置から発しているように知覚されるようレンダリングされるオブジェクト・チャネルN3（公式コメンタリーを示す）との混合であってもよい。

（図９の）プログラムP0は、ユーザー選択可能なプリセット混合の複数のセットを示すメタデータをも含む。各プリセット混合は、プログラムのオブジェクト・チャネルの部分集合および対応するレンダリング・パラメータ・セットによって決定される。ユーザー選択可能なプリセット混合は、再生システムのコントローラのユーザー・インターフェース上にメニュー（たとえば、図６のシステムのコントローラ２３によって表示されるメニュー）として呈示されてもよい。たとえば、一つのそのようなプリセット混合は、図９のオブジェクト・チャネルN0（中立的な群衆ノイズを示す）とオブジェクト・チャネルN1（ホーム群衆ノイズを示す）とオブジェクト・チャネルN4（ファン・コメンタリーを示す）との混合であり、該混合中のチャネルN0およびN1コンテンツは聴取者の真後ろの（すなわち聴取者に対して180度の方位角の）源位置から発しているように知覚され、該混合中のチャネルN1のコンテンツのレベルは該混合中のチャネルN0のレベルより3dB低く、該混合中のチャネルN4のコンテンツは拡散式に（たとえば、いかなる特定の源位置から発しているようにも知覚されないよう）レンダリングされるよう、レンダリングされる。

再生システムは、オブジェクト・チャネルN0、N1、N2のうちの少なくとも一つを含む各ユーザー選択可能なプリセット混合は、オブジェクト・チャネルN0のコンテンツのみ、あるいはオブジェクト・チャネルN0のコンテンツにオブジェクト・チャネルN1およびN2の少なくとも一方のコンテンツを混合したものを含まなければならないという規則（たとえば、プログラムのメタデータによって決定される図９に示されるグループ化規則「G」）を実装してもよい。再生システムは、オブジェクト・チャネルN0のコンテンツにオブジェクト・チャネルN1およびN2の少なくとも一方のコンテンツを混合したものを含む各ユーザー選択可能なプリセット混合は、オブジェクト・チャネルN0のコンテンツにオブジェクト・チャネルN1のコンテンツを混合したものを含まなければならないまたはオブジェクト・チャネルN0のコンテンツにオブジェクト・チャネルN2のコンテンツを混合したものを含まなければならないという規則（たとえば、プログラムのメタデータによって決定される図９に示される条件規則「C1」）をも実装してもよい。

再生システムはまた、オブジェクト・チャネルN3およびN4の少なくとも一方のコンテンツを含む各ユーザー選択可能なプリセット混合は、オブジェクト・チャネルN3のコンテンツのみを含まなければならないまたはオブジェクト・チャネルN4のコンテンツのみを含まなければならないという規則（たとえば、プログラムのメタデータによって決定される図９に示される条件規則「C2」）をも実装してもよい。

本発明のいくつかの実施形態は、オブジェクト・ベース・オーディオ・プログラムのオブジェクト・チャネルの条件付きデコード（および／またはレンダリング）を実装する。たとえば、再生システムは、オブジェクト・チャネルが再生環境またはユーザーの権利に基づいて条件付きでデコードされることを許容するよう構成されていてもよい。たとえば、DRM階層が顧客が、オブジェクト・ベース・オーディオ・プログラムに含まれるオーディオ・オブジェクト・チャネルのセットへの「階層的な（tiered）」アクセスをもつことを許容するよう実装される場合、再生システムは、該再生システムがユーザーが少なくとも一つの条件（たとえばコンテンツ・プロバイダーに特定の金額を支払うこと）を満足したことを通知されるのでない限り、オブジェクトのいくつかのレンダリングのためのデコードおよび選択を防止するよう（プログラムのメタデータに含まれる制御ビットによって）自動的に構成されてもよい。たとえば、ユーザーは、図９のプログラムP0の「公式コメンタリー」オブジェクト・チャネルN3を聴くために権利を購入する必要があってもよく、再生システムは、図９に示される条件規則「C2」を実装してもよい。それにより、再生システムのユーザーが必要な権利を購入したことを再生システムが通知されるのでない限り、オブジェクト・チャネルN3は選択されることができない。

もう一つの例として、再生システムは、再生スピーカー・アレイが条件を満たさない場合には、オブジェクトのうちいくつかの、デコードおよび選択を防止するよう（利用可能な再生スピーカー・アレイの特定のフォーマットを示す、プログラムのメタデータに含まれる制御ビットによって）自動的に構成されてもよい。（たとえば、再生システムは、図９に示される条件規則「C1」を実装してもよい。それにより、5.1スピーカー・アレイが選択されるコンテンツをレンダリングするために利用可能であることを再生システムが通知されるのでない限り、オブジェクト・チャネルN0およびN1のプリセット混合は選択されることができない。利用可能なスピーカー・アレイが2.0スピーカー・アレイだけであるときはだめである。）
いくつかの実施形態では、本発明は、少なくとも一つのあらかじめ決定された規則がオブジェクト・ベース・オーディオ・プログラムのどのオブジェクト・チャネル（単数または複数）が（たとえばスピーカー・チャネルのベッドと一緒に）レンダリングされるかを決定する、規則ベースのオブジェクト・チャネル選択を実装する。ユーザーは、オブジェクト・チャネル選択のための少なくとも一つの規則を（たとえば再生システム・コントローラのユーザー・インターフェースによって呈示される利用可能な規則のメニューから選択することによって）指定してもよく、再生システム（たとえば図６のシステムのオブジェクト処理サブシステム２２）は、そのような各規則を適用して、レンダリングされるべきオブジェクト・ベース・オーディオ・プログラムのどのオブジェクト・チャネルが（たとえば図６のシステムのサブシステム２４またはサブシステム２４および３５によって）レンダリングされるべき混合中に含められるべきかを決定するよう構成されていてもよい。再生システムは、プログラムのどのオブジェクト・チャネルが所定の規則（単数または複数）を満たすかをプログラム中のオブジェクト関係メタデータから決定してもよい。

簡単な例として、オブジェクト・ベース・オーディオ・プログラムがスポーツ・イベントを示す場合を考える。プログラムに含まれるオブジェクト（たとえば特定のチームまたは自動車またはオートバイからのラジオ・コメンタリー）の特定の集合の静的な選択を実行するためにコントローラ（たとえば図６のコントローラ２３）を操作する代わりに、ユーザーはコントローラを操作して、（たとえば、どれであれ勝っているまたは一位であるチームまたは自動車またはオートバイを示すオブジェクト・チャネルをレンダリングのために自動的に選択するよう）規則を設定する。この規則は、再生システムによって適用されて、（単一のプログラムまたは異なるプログラムのシーケンスのレンダリングの間に）プログラムに含まれる諸オブジェクト（オブジェクト・チャネル）の異なる部分集合のシーケンスの動的な選択を実装する。（たとえば、あるチームを示すオブジェクトの第一の部分集合、第二のチームがスコアして現在勝っているチームになる場合には自動的に第二のチームを示すオブジェクトの第二の集合がこれに続く。）このように、いくつかのそのような実施形態では、リアルタイムのイベントがどのオブジェクト・チャネルがレンダリングされる混合に含められるかを制御するまたはこれに影響する。再生システム（たとえば、図６のシステムのオブジェクト処理サブシステム２２）はプログラムに含まれるメタデータ（たとえば、少なくとも一つの対応するオブジェクトが現在勝っているチームを示す、たとえば該チームのファンの群衆ノイズまたは勝っているチームに関連付けられたラジオ・アナウンサーのコメンタリーを示すことを示すメタデータ）に応答して、どのオブジェクト・チャネルがレンダリングされるべきスピーカーおよびオブジェクト・チャネルの混合に含められるべきかを選択してもよい。たとえば、コンテンツ・クリエーターは、プログラムの少なくともいくつかのオーディオ・オブジェクト・チャネルの各チャネルの順位（または順序階層）を示す（たとえば、どのオブジェクト・チャネルが現在一位であるチームまたは自動車に対応するか、どのオブジェクト・チャネルが二位であるチームまたは自動車に対応するかなどを示す）メタデータを（オブジェクト・ベース・オーディオ・プログラムに）含めてもよい。再生システムは、ユーザー指定された規則を満たすオブジェクト・チャネル（たとえば、プログラムのオブジェクト関係メタデータによって示されるn位のチームに関係するオブジェクト・チャネル（単数または複数））のみを選択し、レンダリングすることによって、そのようなメタデータに応答するよう構成されていてもよい。

本発明のオブジェクト・ベース・オーディオ・プログラムのオブジェクト・チャネルに関するオブジェクト関係メタデータの例は：オブジェクト・チャネルをどのようにレンダリングするかについての詳細情報を示すメタデータ；動的な時間的メタデータ（たとえば、オブジェクトのパンのための軌跡、オブジェクト・サイズ、利得などを示す）；およびオブジェクト・チャネルを（たとえば利用可能な再生スピーカー・アレイの編成の知識を用いて）レンダリングするためにAVR（または本発明のいくつかの実装のデコードおよびオブジェクト処理サブシステムから下流の他の装置またはシステム）によって使うためのメタデータを含む（ただしそれに限定されない）。そのようなメタデータは、オブジェクト位置、利得、ミュートまたは他のレンダリング・パラメータについての制約条件および／またはオブジェクトがどのように他のオブジェクトと相互作用するかについての制約条件（たとえば、特定のオブジェクトが選択されることが与えられたとき、どの追加的なオブジェクトが選択されうるかについての制約条件）を指定してもよく、および／または（他のオブジェクトおよび／またはレンダリング・パラメータのユーザー選択がないときに使用される）デフォルトのオブジェクトおよび／またはデフォルトのレンダリング・パラメータを指定してもよい。

いくつかの実装では、本発明のオブジェクト・ベース・オーディオ・プログラムの少なくともいくつかのオブジェクト関係メタデータが（および任意的にはオブジェクト・チャネルの少なくともいくつかも）プログラムのスピーカー・チャネルのベッドおよび通常のメタデータとは別個のビットストリームまたは他のコンテナ内で（たとえば受領および／または利用するためにユーザーが追加料金を支払う必要があってもよいサイド混合として）送られる。そのようなオブジェクト関係メタデータ（またはオブジェクト関係メタデータおよびオブジェクト・チャネル）へのアクセスなしでは、ユーザーはスピーカー・チャネルのベッドをデコードしてレンダリングすることはできるが、プログラムのオーディオ・オブジェクトを選択することはできず、スピーカー・チャネル・ベッドによって示されるオーディオとの混合においてプログラムのオーディオ・オブジェクトをレンダリングすることはできない。本発明のオブジェクト・ベース・オーディオ・プログラムの各フレームは、複数のオブジェクト・チャネルおよび対応するオブジェクト関係メタデータのオーディオ・コンテンツを含んでいてもよい。

本発明のいくつかの実施形態に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、スピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能な混合）を示す層構成のグラフ（時に層構成の「混合グラフ」と称される）を示すメタデータとを含む。たとえば、混合グラフは、スピーカーおよびオブジェクト・チャネルの部分集合の選択に適用可能な各規則を示す。典型的には、エンコードされたオーディオ・ビットストリームは、プログラムのオーディオ・コンテンツ（たとえば、スピーカー・チャネルのベッドと、プログラムのオブジェクト・チャネルの少なくとも一部）およびオブジェクト関係メタデータ（混合グラフを示すメタデータを含む）の少なくともいくらか（すなわち少なくとも一部）を示し、任意的にはまた、少なくとも一つの追加的なエンコードされたオーディオ・ビットストリームまたはファイルが、プログラムのオーディオ・コンテンツおよび／またはオブジェクト関係メタデータの一部を示す。

層構成の混合グラフは、ノード（各ノードは選択可能なチャネルまたはチャネル集合または選択可能なチャネルまたはチャネル集合のカテゴリーを示していてもよい）およびノード間の接続（たとえば、それらのノードへの制御インターフェースおよび／またはチャネルを選択するための規則）を示し、本質的なデータ（「基本」層）および任意的な（すなわち任意的に省略される）データ（少なくとも一つの「拡張」層）を含む。典型的には、層構成の混合グラフは、プログラムを示すエンコードされたオーディオ・ビットストリームの一つに含められ、（再生システム、たとえばエンドユーザーの再生システムによって実施される）グラフをたどることによって評価されて、チャネルのデフォルト混合および該デフォルト混合を修正するためのオプションを判別することができる。

混合グラフが木グラフとして表現できる場合には、基本層は木グラフの枝（または二本以上の枝）であることができ、各拡張層は木グラフの別の枝（または二本以上の枝の別の集合）であることができる。たとえば、（基本層によって示される）木グラフのある枝は、すべてのエンドユーザーに利用可能な選択可能なチャネルおよびチャネル集合を示していてもよく、（拡張層によって示される）木グラフの別の枝は、一部のエンドユーザーにのみ利用可能な追加的な選択可能なチャネルおよび／またはチャネル集合を示していてもよい（そのような拡張層は、それを使うことが許諾されたエンドユーザーのみに提供されるだけであってもよい）。図９は、オブジェクト・チャネル・ノード（オブジェクト・チャネルN0、N1、N2、N3、N4、N5、N6を示すノード）および混合グラフの他の要素を含む木グラフの例である。

典型的には、基本層は、グラフ構造およびグラフのノードへの制御インターフェース（たとえば、パンおよび利得制御インターフェース）を含む（示す）。基本層は任意の対話をデコード／レンダリング・プロセスにマッピングするために必要である。

各拡張層は、基本層への拡張を含む（示す）。拡張は、ユーザー対話をデコード・プロセスにマッピングするためにただちに必要なわけではなく、よってより遅いレートで伝送されたり、および／または遅延もしくは省略されたりすることができる。

いくつかの実施形態では、基本層はプログラムの独立サブストリームのメタデータとして含められる（たとえば、独立サブストリームのメタデータとして伝送される）。

本発明のいくつかの実施形態に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、スピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能な混合）を示す（層構成の混合グラフであってもなくてもよい）混合グラフを示すメタデータとを含む。エンコードされたオーディオ・ビットストリーム（たとえばドルビーEまたはE-AC-3ビットストリーム）は、プログラムの少なくとも一部分を示し、混合グラフを（典型的には選択可能なオブジェクトおよび／またはスピーカー・チャネルも）示すメタデータがビットストリームの毎フレームに（またはビットストリームのフレームの部分集合の各フレームに）含まれる。たとえば、各フレームは、少なくとも一つのメタデータ・セグメントおよび少なくとも一つのオーディオ・データ・セグメントを含んでいてもよく、混合グラフは各フレームの少なくとも一つのメタデータ・セグメントに含められてもよい。各メタデータ・セグメント（これは「コンテナ」と称されてもよい）は、メタデータ・セグメント・ヘッダ（および任意的には他の要素も）と、該メタデータ・セグメント・ヘッダに続く一つまたは複数のメタデータ・ペイロードとを含むフォーマットを有していてもよい。各メタデータ・ペイロード自身はペイロード・ヘッダによって同定される。混合グラフは、メタデータ・セグメント中に存在すれば、メタデータ・セグメントのメタデータ・ペイロードの一つに含まれる。

いくつかの実施形態では、本発明に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも二つのベッドと、少なくとも一つのオブジェクト・チャネルと、（層構成の混合グラフであってもなくてもよい）混合グラフを示すメタデータとを含む。混合グラフは、スピーカー・チャネルおよびオブジェクト・チャネルの選択可能な諸混合を示し、少なくとも一つの「ベッド混合」ノードを含む。各「ベッド混合」ノードは、スピーカー・チャネル・ベッドのあらかじめ決定された混合を定義し、よってプログラムの二つ以上のスピーカー・ベッドのスピーカー・チャネルを混合するための混合規則（任意的にはユーザー選択可能なパラメータをもつ）のあらかじめ決定された集合を示すまたは実装する。

オーディオ・プログラムがスタジアムにおけるチームA（ホーム・チーム）とチームBの間のサッカー（フットボール）試合に関連し、スタジアム内の群中全体についての（マイクロホン・フィードによって決定される）5.1スピーカー・チャネル・ベッドと、チームAに向けて偏った群衆の部分についてのステレオ・フィード（すなわち、チームAのファンによって主として占められるスタジアムのセクションに座っている観客から捕捉されたオーディオ）と、チームBに向けて偏った群衆の部分についてのもう一つのステレオ・フィード（すなわち、チームBのファンによって主として占められるスタジアムのセクションに座っている観客から捕捉されたオーディオ）とを含む例を考える。これら三つのフィード（5.1チャネル中立ベッド、2.0チャネル「チームA」ベッドおよび2.0チャネル「チームB」ベッド）をミキシング・コンソール上で混合して次の四つの5.1スピーカー・チャネル・ベッド（これらは「ファン・ゾーン」ベッドと称されてもよい）を生成することが可能である：偏りのない、ホームに偏った（中立およびチームAのベッドの混合）、アウェーに偏った（中立およびチームBのベッドの混合）および対立（中立ベッドを、部屋の一方の側にパンされたチームAベッドおよび部屋の反対側にパンされたチームBベッドと混合したもの）。しかしながら、四つの5.1チャネル・ベッドの伝送は、ビットレートの点で高価である。そこで、本発明のビットストリームのある実施形態は、ユーザー混合選択（単数または複数）に基づいて（たとえばエンドユーザーの家庭における）再生システムによって実装されるべき（たとえば上記の四つの混合された5.1チャネル・ベッドを生成するよう、スピーカー・チャネル・ベッドを混合するための）ベッド混合規則を指定するメタデータと、該規則に従って混合されることのできるスピーカー・チャネル・ベッド（たとえば、もとの5.1チャネル・ベッドおよび二つの偏ったステレオ・スピーカー・チャネル・ベッド）とを含む。混合グラフのベッド混合ノードに応答して、再生システムは、ユーザーに対して、四つの上記の混合された5.1チャネル・ベッドのうちの一つを選択するオプション（図６のシステムのコントローラ２３によって実装されるユーザー・インターフェースを介して表示される）を呈示することができる。この混合された5.1チャネル・ベッドのユーザー選択に応答して、再生システム（たとえば図６のシステムのサブシステム２２）は、ビットストリームにおいて伝送される（混合されない）スピーカー・チャネル・ベッドを使って選択された混合を生成する。

いくつかの実施形態では、ベッド混合規則は、以下の動作を考えている（これらは、あらかじめ決定されたパラメータまたはユーザー選択可能なパラメータを有していてもよい）。

ベッド「回転」（すなわち、左、右、前または後へのスピーカー・チャネル・ベッドのパン）。たとえば、上述した「対立」混合を生成するために、ステレオのチームAベッドは再生スピーカー・アレイの左側に回転され（チームAベッドのLおよびRチャネルは再生システムのLおよびLsチャネルにマップされる）、ステレオのチームBベッドは再生スピーカー・アレイの右側に回転される（チームBベッドのLおよびRチャネルは再生システムのRおよびRsチャネルにマップされる）。このように、再生システムのユーザー・インターフェースは、上述した四つの「偏りのない」「ホームに偏った」「アウェーに偏った」および「対立」ベッド混合のうちの一つの選択をエンドユーザーに対して呈示してもよく、「対立」ベッド混合がユーザー選択されると、再生システムは、「対立」ベッド混合のレンダリングの間に適切なベッド回転を実施する。

ベッド混合中の特定のスピーカー・チャネル（目標チャネル）の（典型的には上余地を作るための）ダッキング（すなわち減衰）。たとえば、上述したサッカー試合の例において、再生システムのユーザー・インターフェースは、上述した四つの「偏りのない」「ホームに偏った」「アウェーに偏った」および「対立」ベッド混合のうちの一つの選択をエンドユーザーに対して呈示してもよく、「対立」ベッド混合のユーザー選択に応答して、再生システムは、中立的な5.1チャネル・ベッドのL、Ls、R、Rsチャネルのそれぞれを（ビットストリーム中のメタデータによって指定される）所定量だけダッキング（減衰）してから、減衰された5.1チャネル・ベッドをステレオの「チームA」および「チームB」ベッドと混合して「対立」ベッド混合を生成することによって、「対立」ベッド混合のレンダリングの間に目標ダッキングを実施してもよい。

別のクラスの実施形態では、本発明に従って生成される（または伝送、記憶、バッファリング、デコード、レンダリングまたは他の処理をされる）オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、オブジェクト関係メタデータとを含む。オブジェクト関係メタデータは、「サブストリーム」メタデータ（プログラムのサブストリーム構造および／またはそれらのサブストリームがデコードされるべき仕方を示す）を、および典型的にはスピーカー・チャネルおよびオブジェクト・チャネル（単数または複数）の選択可能な混合（たとえばあらゆる選択可能な混合）を示す混合グラフをも含む。サブストリーム・メタデータは、プログラムのどのサブストリームがプログラムの他のサブストリームと独立にデコードされるべきかおよびプログラムのどのサブストリームがプログラムの少なくとも一つの他のサブストリームとの関連でデコードされるべきかを示してもよい。

たとえば、いくつかの実施形態では、エンコードされたオーディオ・ビットストリームは、プログラムのオーディオ・コンテンツ（たとえば、スピーカー・チャネルの少なくとも一つのベッドと、プログラムのオブジェクト・チャネルの少なくとも一部）およびメタデータ（たとえば混合グラフおよびサブストリーム・メタデータおよび任意的には他のメタデータも）の少なくともいくらか（すなわち少なくとも一部）を示し、少なくとも一つの追加的なエンコードされたオーディオ・ビットストリーム（またはファイル）が、プログラムのオーディオ・コンテンツおよび／またはメタデータの一部を示す。各サブストリームがドルビーEビットストリームである（またはAES3シリアル・デジタル・オーディオ・ビットストリーム内に非pcmデータを担持するSMPTE337フォーマットに整合する仕方でエンコードされている）場合、それらのビットストリームは集団的に、8チャネルまでのオーディオ・コンテンツのいくつかを示すことができる。各ビットストリームは8チャネルまでのオーディオ・データを担持し、典型的にはメタデータも含む。各ビットストリームは、すべてのオーディオ・データおよびすべてのビットストリームによって担持されるメタデータを示す組み合わされたビットストリームのサブストリームと考えられることができる。

もう一つの例として、いくつかの実施形態では、エンコードされたオーディオ・ビットストリームは、少なくとも一つのオーディオ・プログラムの、メタデータ（たとえば、混合グラフおよびサブストリーム・メタデータおよび任意的には他のオブジェクト関係メタデータも）およびオーディオ・コンテンツの複数のサブストリームを示す。典型的には、各サブストリームは、プログラムのチャネル（および典型的にはメタデータも）の一つまたは複数を示す。いくつかの場合には、エンコードされたオーディオ・ビットストリームの複数のサブストリームは、いくつかのオーディオ・プログラム、たとえば「メイン」オーディオ・プログラム（これはマルチチャネル・プログラムであってもよい）および少なくとも一つの他のオーディオ・プログラム（たとえばメイン・オーディオ・プログラムについてのコメンタリーであるプログラム）のオーディオ・コンテンツを示す。

少なくとも一つのオーディオ・プログラムを示すエンコードされたオーディオ・ビットストリームは、オーディオ・コンテンツの少なくとも一つの「独立」サブストリームを必ず含む。独立サブストリームは、オーディオ・プログラムの少なくとも一つのチャネルを示す（たとえば、独立サブストリームは、通常の5.1チャネル・オーディオ・プログラムの五つのフルレンジ・チャネルを示してもよい）。ここで、このオーディオ・プログラムは「メイン」プログラムと称される。

いくつかの場合には、エンコードされたオーディオ・ビットストリームは、二つ以上のオーディオ・プログラム（「メイン」プログラムおよび少なくとも一つの他のオーディオ・プログラム）を示す。そのような場合、ビットストリームは、二つ以上の独立サブストリームを含む。メイン・プログラムの少なくとも一つのチャネルを示す第一の独立サブストリームと、別のオーディオ・プログラム（メイン・プログラムとは異なるプログラム）の少なくとも一つのチャネルを示す少なくとも一つの他の独立サブストリームである。各独立ビットストリームは、独立にデコードされることができ、デコーダは、エンコードされたビットストリームの独立サブストリームのうちの部分集合（全部ではない）のみをデコードするよう動作できる。

任意的に、メイン・プログラム（および任意的には少なくとも一つの他のオーディオ・プログラムも）を示すエンコードされたオーディオ・ビットストリームは、オーディオ・コンテンツの少なくとも一つの「従属」サブストリームを含む。各従属サブストリームは、ビットストリームの一つの独立サブストリームに関連付けられており、関連付けられた独立サブストリームによって示されるコンテンツをもつ当該プログラム（たとえばメイン・プログラム）の少なくとも一つの追加的チャネルを示す（すなわち、従属サブストリームは、関連付けられた独立サブストリームによって示されているのではないプログラムの少なくとも一つのチャネルを示し、関連付けられた独立サブストリームはプログラムの少なくとも一つのチャネルを示す）。

（メイン・プログラムの少なくとも一つのチャネルを示す）独立サブストリームを含むエンコードされたビットストリームでは、ビットストリームは、メイン・プログラムの一つまたは複数の追加的スピーカー・チャネルを示す（独立ビットストリームに関連付けられた）従属サブストリームをも含む。そのような追加的なスピーカー・チャネルは、独立サブストリームによって示されるメイン・プログラム・チャネルに対して追加的である。たとえば、独立サブストリームが7.1チャネル・メイン・プログラムの標準フォーマットの左、右、中央、左サラウンド、右サラウンドのフルレンジ・スピーカー・チャネルを示す場合、従属サブストリームは、メイン・プログラムの残りの二つのフルレンジ・スピーカー・チャネルを示してもよい。

E-AC-3規格によれば、通常のE-AC-3ビットストリームは、少なくとも一つの独立サブストリーム（たとえば単一のAC-3ビットストリーム）を示す必要があり、八つまでの独立サブストリームを示してもよい。E-AC-3ビットストリームの各独立サブストリームは、八つまでの従属サブストリームに関連付けられてもよい。

ある例示的実施形態（図１１を参照して後述）では、オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、少なくとも一つのオブジェクト・チャネルと、メタデータとを含む。メタデータは、（プログラムのオーディオ・コンテンツのサブストリーム構造および／またはプログラムのオーディオ・コンテンツのサブストリームがデコードされるべき仕方を示す）「サブストリーム」メタデータを含み、典型的には、スピーカー・チャネルおよびオブジェクト・チャネルの選択可能な混合を示す混合グラフをも含む。サッカー試合に関連付けられたオーディオ・プログラム。エンコードされたオーディオ・ビットストリーム（たとえばE-AC-3ビットストリーム）は、プログラムのオーディオ・コンテンツおよびメタデータを示す。プログラムの（よってビットストリームの）オーディオ・コンテンツは、図１１に示されるように四つの独立サブストリームを含む。一つの独立サブストリーム（図１１においてサブストリームI0とラベル付けされている）は、サッカー試合における中立の群衆ノイズを示す5.1スピーカー・チャネル・ベッドを示す。別の独立サブストリーム（図１１においてサブストリームI1とラベル付けされている）は、一方のチーム（「チームA」）寄りに偏っている試合群衆の部分からの音を示す2.0チャネルの「チームA」ベッド（「M群衆」）、他方のチーム（「チームB」）寄りに偏っている試合群衆の部分からの音を示す2.0チャネルの「チームB」ベッド（「LibP群衆」）および試合についてのコメンタリーを示すモノフォニック・オブジェクト・チャネル（「Sky comm1」）を示す。第三の独立サブストリーム（図１１においてサブストリームI2とラベル付けされている）は、サッカー試合イベント参加者によってボールが打撃された際に試合ボールによって出される音を示すオブジェクト・チャネル・オーディオ・コンテンツ（「2/0ボールキック」とラベル付けされている）およびサッカー試合についての異なるコメンタリーをそれぞれ示す三つのオブジェクト・チャネル（「Sky comm2」、「Man comm」および「Liv Comm」）を示す。第四の独立サブストリーム（図１１ではサブストリームI3とラベル付けされている）は、サッカー試合におけるスタジアムの公共アナウンス・システムによって生成される音を示すオブジェクト・チャネル（「PA」とラベル付けされている）、サッカー試合のラジオ放送を示すオブジェクト・チャネル（「ラジオ」とラベル付けされている）およびサッカー試合の間のゴールのスコアすることを示すオブジェクト・チャネル（「ゴールフラッシュ」とラベル付けされている）を示す。

図１１の例では、サブストリームI0は、プログラムについての混合グラフと、サブストリーム・メタデータの少なくとも一部および少なくともいくらかのオブジェクト・チャネル関係メタデータを含むメタデータ（「obj md」）とを含む。サブストリームI1、I2およびI3のそれぞれは、少なくともいくらかのオブジェクト・チャネル関係メタデータおよび任意的には少なくともいくらかのサブストリーム・メタデータのメタデータ（「obj md」）を含む。

図１１の例では、ビットストリームのサブストリーム・メタデータは、デコードの間に、独立サブストリームの各対の間で結合が「オフ」であるべきであることを示す（それにより、各独立サブストリームは他の独立サブストリームとは独立にデコードされる）。ビットストリームのサブストリーム・メタデータは、各サブストリーム内の、結合が「オン」であるべき（よってこれらのチャネルは互いと独立にはデコードされない）または「オフ」であるべき（よってこれらのチャネルは互いと独立にデコードされる）プログラム・チャネルを示す。たとえば、サブストリーム・メタデータは、結合が、サブストリームI1の二つのステレオ・スピーカー・チャネル・ベッド（2.0チャネルの「チームA」ベッドおよび2.0チャネルの「チームB」ベッド）のそれぞれの内部では「オン」であるべきだが、サブストリームI1のスピーカー・チャネル・ベッド間、および、（モノフォニック・オブジェクト・チャネルとスピーカー・チャネル・ベッドが互いに独立にデコードされるよう）サブストリームI1のモノフォニック・オブジェクト・チャネルと各スピーカー・チャネル・ベッドとの間では無効にされるべきであることを示す。同様に、サブストリーム・メタデータは、結合が、（当該ベッドのスピーカー・チャネルが互いとの関連でデコードされるよう）サブストリームI0の5.1スピーカー・チャネル・ベッドの内部では「オン」であるべきであることを示す。

いくつかの実施形態では、スピーカー・チャネルおよびオブジェクト・チャネルは、プログラムの混合グラフに適切な仕方でオーディオ・プログラムのサブストリーム内に含められる（「パッキングされる」）。たとえば、混合グラフが木グラフであれば、グラフのある枝のすべてのチャネルが一つのサブストリーム内に含まれてもよく、グラフの別の枝のすべてのチャネルは別のサブストリーム内に含まれてもよい。

あるクラスの実施形態では、本発明は、オブジェクト・ベース・オーディオ・プログラムを生成する方法である。前記方法は：
捕捉されたオーディオ・コンテンツ（たとえば図８のシステムのマイクロホンの出力または図１０のシステムのサブシステム２１０への入力）を示すオーディオ信号の集合の第一の部分集合のオーディオ・コンテンツを示すスピーカー・チャネルのベッドを決定する段階と；
オーディオ信号の前記集合の第二の部分集合のオーディオ・コンテンツを示すオブジェクト・チャネルの集合を決定する段階と；
前記オブジェクト・チャネルを示すオブジェクト関係メタデータを生成する段階と；
前記オブジェクト・ベース・オーディオ・プログラムを生成する段階とを含む。それにより、前記オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの前記ベッドと、前記オブジェクト・チャネルと、前記オブジェクト関係メタデータとを示し、スピーカー・チャネルの前記ベッドによって示される第一のオーディオ・コンテンツと前記オブジェクト・チャネルの選択された部分集合によって示される第二のオーディオ・コンテンツとの混合として知覚される音を与えるようレンダリング可能であり、前記第二のオーディオ・コンテンツは前記オブジェクト・チャネルの前記選択された部分集合によって決定される源位置から発しているものとして知覚されるようにされる。典型的には、前記オブジェクト関係メタデータの少なくともいくらか（すなわち少なくとも一部）は、前記オブジェクト・チャネルの少なくともいくつかの各チャネルの識別情報を示す、および／または前記オブジェクト関係メタデータの少なくとも一部は、オブジェクト・チャネルの前記集合の部分集合のエンドユーザーによる選択がないときにレンダリングされるべきオブジェクト・チャネルの前記集合のデフォルトの部分集合を示す。このクラスのいくつかの実施形態は、（たとえば観客イベントにおいて）オーディオ・コンテンツを捕捉することによることを含め、オーディオ信号の前記集合を生成する段階をも含む。

別のクラスの実施形態では、本発明は、オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする方法である。前記プログラムは、スピーカー・チャネルのベッドと、オブジェクト・チャネルの集合と、オブジェクト関係メタデータとを含む。本方法は：
（ａ）オブジェクト・チャネルの前記集合の選択された部分集合を決定する段階と；
（ｂ）前記オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする段階とを含む。該レンダリングは、スピーカー・チャネルの前記ベッドによって示される第一のオーディオ・コンテンツおよび前記オブジェクト・チャネルの前記選択された部分集合によって示される第二のオーディオ・コンテンツの混合を決定することによることを含む。

いくつかの実施形態では、本方法は、スピーカーのセットを含む再生システムによって実行され、（ｂ）は、前記第一のオーディオ・コンテンツおよび前記第二のオーディオ・コンテンツの混合に応答して、音を発するようスピーカーの前記セットを駆動するためのスピーカー・フィードを生成する段階を含む。該音は、前記第二のオーディオ・コンテンツを示すオブジェクト・チャネル音を含み、該オブジェクト・チャネル音は、前記オブジェクト・チャネルの前記選択された部分集合によって決定される見かけの源位置から発しているものとして知覚できる。スピーカー・チャネルの前記ベッドは、スピーカーの前記セットにおける各スピーカーについてのスピーカー・チャネルを含んでいてもよい。

図１０は、本発明のある実施形態を実装するシステムのブロック図である。

図１０のシステムのオブジェクト処理システム（オブジェクト・プロセッサ）２００は、メタデータ生成サブシステム２１０と、中間（mezzanine）エンコーダ２１２と、エミュレーション・サブシステム２１１とを図のように結合されて含んでいる。メタデータ生成サブシステム２１０は、捕捉されたオーディオ・ストリーム（たとえば、観客イベントのところに位置されているマイクロホンによって捕捉された音を示すストリームおよび任意的には他のオーディオ・ストリームも）を受領するよう結合され、コンソール１０４からのオーディオ・ストリームをスピーカー・チャネルのベッドおよびいくつかのオブジェクト・チャネルおよび／またはオブジェクト・チャネル集合に編成（たとえばグループ化）するよう構成されている。サブシステム２１０は、オブジェクト・チャネル（および／またはオブジェクト・チャネル集合）を示すオブジェクト関係メタデータを生成するようにも構成されている。エンコーダ２１２は、オブジェクト・チャネル（および／またはオブジェクト・チャネル集合）、オブジェクト関係メタデータおよびスピーカー・チャネル・ベッドを中間（mezzanine）型オブジェクト・ベース・オーディオ・プログラム（たとえば、ドルビーEビットストリームとしてエンコードされたオブジェクト・ベース・オーディオ・プログラム）としてエンコードするよう構成されている。

オブジェクト・プロセッサ２００のエミュレーション・サブシステム２１１は、オブジェクト・チャネル（および／またはオブジェクト・チャネル集合）およびスピーカー・チャネル・ベッドの少なくとも選択された部分集合をレンダリング（およびスタジオ・モニタ・スピーカーで再生）して（オブジェクト関係メタデータを使って選択されたオブジェクト・チャネルおよびスピーカー・チャネルを示す混合を生成することによることを含む）、再生された音がサブシステム２００の操作者によってモニタリングできるようにするよう構成されている。

図１０のシステムのトランスコーダ２０２は、中間デコーダ・サブシステム（中間デコーダ）２１３およびエンコーダ２１４を図のように結合されて含む。中間デコーダ２１３は、オブジェクト・プロセッサ２００から出力される中間型オブジェクト・ベース・オーディオ・プログラムを受領してデコードするよう結合され、構成されている。デコーダ２１３のデコードされた出力は、エンコーダ２１４によって放送に好適なフォーマットに再エンコードされる。ある実施形態では、エンコーダ２１４から出力されるエンコードされたオブジェクト・ベース・オーディオ・プログラムはE-AC-3ビットストリームである（よって、エンコーダ２１４は図１０では「DD+エンコーダ」とラベル付けされている）。他の実施形態では、エンコーダ２１４から出力されるエンコードされたオブジェクト・ベース・オーディオ・プログラムはAC-3ビットストリームであるまたは他の何らかのフォーマットをもつ。トランスコーダ２０２のオブジェクト・ベース・オーディオ・プログラム出力は、幾人かのエンドユーザーに放送される（または他の仕方で送達される）。

デコーダ２０４は、あるそのようなエンドユーザーの再生システムに含まれる。デコーダ２０４は、デコーダ２１５およびレンダリング・サブシステム（レンダラー）２１６を図のように結合されて含む。デコーダ２１５は、トランスコーダ２０２から送達されるオブジェクト・ベース・オーディオ・プログラムを受け入れ（受領しまたは読み出し）、デコードする。デコーダ２１５が本発明の典型的な実施形態に従って構成されている場合、典型的な動作におけるデコーダ２１５の出力は、プログラムのスピーカー・チャネルのベッドを示すオーディオ・サンプルのストリームと、プログラムのオブジェクト・チャネル（たとえばユーザー選択可能なオーディオ・オブジェクト・チャネル）を示すオーディオ・サンプルのストリームと、オブジェクト関係メタデータの対応するストリームとを含む。ある実施形態では、デコーダ２１５に入力されるエンコードされたオブジェクト・ベース・オーディオ・プログラムはE-AC-3ビットストリームであり、よってデコーダ２１５は図１０では「DD+デコーダ」とラベル付けされている。

デコーダ２０４のレンダラー２１６は、送達されたプログラムのデコードされたスピーカー・チャネル、オブジェクト・チャネルおよびオブジェクト関係メタデータを（デコーダ２１５から）受領するよう結合されているオブジェクト処理サブシステムを含む。レンダラー２１６は、オブジェクト処理サブシステムによって決定されたオーディオ・コンテンツを、再生システムのスピーカー（図示せず）による再生のためにレンダリングするよう構成されたレンダリング・サブシステムをも含む。

典型的には、レンダラー２１６のオブジェクト処理サブシステムは、レンダラー２１６のレンダリング・サブシステムに対して、プログラムによって示されるオブジェクト・チャネルのフル・セットの選択された部分集合と、対応するオブジェクト関係メタデータとを出力するよう構成される。レンダラー２１６のオブジェクト処理サブシステムは、典型的には、デコーダ２１５からのデコードされたスピーカー・チャネルを不変のまま（レンダリング・サブシステムに）通過させるようにも構成される。オブジェクト処理サブシステムによって実行されるオブジェクト・チャネル選択は、本発明のある実施形態に基づいて、たとえばユーザー選択（単数または複数）および／またはレンダラー２１６が実装するようプログラムされているまたは他の仕方で構成されている（たとえば条件および／または制約を示す）規則によって、決定される。

図１０の要素２００、２０２および２０４のそれぞれ（および図８の要素１０４、１０６、１０８および１１０のそれぞれ）は、ハードウェア・システムとして実装されてもよい。プロセッサ２００（またはプロセッサ１０６）のそのようなハードウェア実装の入力は典型的にはマルチチャネル・オーディオ・デジタル・インターフェース（MADI）入力である。典型手金は、図８のプロセッサ１０６および図１０のエンコーダ２１２および２１４のそれぞれは、フレーム・バッファを含む。典型的には、このフレーム・バッファは、エンコードされた入力オーディオ・ビットストリームを受領するよう結合されたバッファ・メモリであり、動作では、バッファ・メモリは、エンコードされたオーディオ・ビットストリームの少なくとも一つのフレームを（たとえば非一時的な仕方で）記憶し、エンコードされたオーディオ・ビットストリームのフレームのシーケンスはバッファ・メモリから下流の装置またはシステムに呈される。また、典型的には、図１０のデコーダ２１３および２１５のそれぞれは、フレーム・バッファを含む。典型的には、このフレーム・バッファは、エンコードされた入力オーディオ・ビットストリームを受領するよう結合されたバッファ・メモリであり、動作では、バッファ・メモリは、デコーダ２１３または２１５によってデコードされるべきエンコードされたオーディオ・ビットストリームの少なくとも一つのフレームを（たとえば非一時的な仕方で）記憶する。

図８のプロセッサ１０６（または図１０のサブシステム２００、２０２および／または２０４）のコンポーネントまたは要素はいずれも、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせにおいて、一つまたは複数のプロセスおよび／または一つまたは複数の回路（たとえばASIC、FPGAまたは他の集積回路）として実装されてもよい。

本発明のある側面は、本発明の方法の任意の実施形態を実行するよう構成されたオーディオ処理ユニット（APU）である。APUの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、コーデック、前処理システム（前処理器）、後処理システム（後処理器）、オーディオ・ビットストリーム処理システムおよびそのような要素の組み合わせを含むがそれに限定されるものではない。

あるクラスの実施形態では、本発明は、本発明の方法の任意の実施形態によって生成されたオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルのベッドとオブジェクト・チャネルとのオーディオ・コンテンツおよびオブジェクト関係メタデータを含む）を（たとえば非一時的な仕方で）記憶するバッファ・メモリ（バッファ）を含むAPUである。たとえば、図５のプロダクション・ユニット３は、バッファ３Ａを含んでいてもよく、これがユニット３によって生成されたオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルのベッドとオブジェクト・チャネルとのオーディオ・コンテンツおよびオブジェクト関係メタデータを含む）を（たとえば非一時的な仕方で）記憶する。もう一つの例として、図５のデコーダ７は、バッファ７Ａを含んでいてもよく、これがサブシステム５からデコーダ７に送達されたオブジェクト・ベース・オーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルのベッドとオブジェクト・チャネルとのオーディオ・コンテンツおよびオブジェクト関係メタデータを含む）を（たとえば非一時的な仕方で）記憶する。

本発明の実施形態は、ハードウェア、ファームウェアまたはソフトウェアまたはそれらの組み合わせにおいて（たとえばプログラム可能な論理アレイとして）実装されてもよい。たとえば、図８または図７のシステムのサブシステム１０６または図６のシステムの要素２０、２２、２４、２５、２６、２９、３５、３１、３５の全部もしくは一部または図１０の要素２００、２０２、２０４の全部もしくは一部は、適切にプログラムされた（または他の仕方で構成された）ハードウェアまたはファームウェアにおいて、たとえばプログラムされた汎用プロセッサ、デジタル信号プロセッサまたはマイクロプロセッサとして実装されてもよい。特に断わりのない限り、本発明の一部として含まれるアルゴリズムまたはプロセスは、いかなる特定のコンピュータまたは他の装置にも本来的に関係していない。特に、さまざまな汎用機械が、本願の教示に従って書かれたプログラムとともに使用されてもよく、あるいは必要とされる方法ステップを実行するためにより特化した装置（たとえば集積回路）を構築することがより便利であることがある。このように、本発明は、一つまたは複数のプログラム可能なコンピュータ・システム（たとえば、図６の要素２０、２２、２４、２５、２６、２９、３５、３１、３５の全部もしくは一部の実装）上で実行される一つまたは複数のコンピュータ・プログラムにおいて実装されてもよい。各コンピュータ・システムは、少なくとも一つのプロセッサ、少なくとも一つのデータ記憶システム（揮発性および不揮発性メモリおよび／または記憶要素を含む）、少なくとも一つの入力装置またはポートおよび少なくとも一つの出力装置またはポートを有する。本稿に記載される機能を実行し、出力情報を生成するようプログラム・コードが入力データに適用される。出力情報は、既知の仕方で一つまたは複数の出力装置に適用される。

そのような各プログラムは、コンピュータ・システムと通信するためにいかなる所望されるコンピュータ言語（機械、アセンブリーまたは高水準手続き型、論理的またはオブジェクト指向のプログラミング言語を含む）において実装されてもよい。いずれの場合にも、言語はコンパイルされる言語でもインタープリットされる言語でもよい。

たとえば、コンピュータ・ソフトウェア命令のシーケンスによって実装されるとき、本発明の実施形態のさまざまな機能および段階は、好適なデジタル信号処理ハードウェアにおいて実行されるマルチスレッド式のソフトウェア命令シーケンスによって実装されてもよく、その場合、実施形態のさまざまな装置、段階および機能は、ソフトウェア命令の諸部分に対応してもよい。

そのような各コンピュータ・プログラムは好ましくは、汎用または専用のプログラム可能なコンピュータによって読み取り可能な記憶媒体またはデバイス（たとえば半導体メモリまたはメディアまたは磁気式もしくは光学式メディア）に記憶されるまたはダウンロードされ、記憶媒体またはデバイスがコンピュータ・システムによって読まれたときに、本稿に記載される手順を実行するようコンピュータを構成するまたは動作させる。本発明のシステムは、コンピュータ・プログラムをもって構成された（すなわちコンピュータ・プログラムを記憶している）コンピュータ可読記憶媒体として実装されてもよく、そのように構成された記憶媒体はコンピュータ・システムに、本稿に記載される機能を実行するよう特定のあらかじめ定義された仕方で動作させる。

本発明のいくつかの実施形態を記述してきたが、本発明の精神および範囲から外れることなくさまざまな修正がなしうることは理解しておくべきである。上記の教示に照らして、本発明の数多くの修正および変形が可能である。付属の請求項の範囲内で、本発明が、本稿で具体的に記載される以外の仕方で実施されてもよいことは理解される。
いくつかの態様を記載しておく。
〔態様１〕
オブジェクト・ベース・オーディオ・プログラムを生成する方法であって：
捕捉されたオーディオ・コンテンツを示すオーディオ信号の集合の第一の部分集合のオーディオ・コンテンツを示すスピーカー・チャネルの少なくとも一つのベッドを決定する段階と；
オーディオ信号の前記集合の第二の部分集合のオーディオ・コンテンツを示すオブジェクト・チャネルの集合を決定する段階と；
前記オブジェクト・チャネルを示すオブジェクト関係メタデータを生成する段階と；
前記オブジェクト・ベース・オーディオ・プログラムを生成する段階であって、前記オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの各前記ベッドと、前記オブジェクト・チャネルと、前記オブジェクト関係メタデータとを示し、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツと前記オブジェクト・チャネルの選択された部分集合によって示される第二のオーディオ・コンテンツとの混合として知覚される音を与えるようレンダリング可能であり、前記第二のオーディオ・コンテンツは前記オブジェクト・チャネルの前記選択された部分集合によって決定される源位置から発しているものとして知覚されるようにされる、段階とを含む、
方法。
〔態様２〕
前記オブジェクト関係メタデータの少なくとも一部は、オブジェクト・チャネルの前記集合の部分集合のエンドユーザーによる選択がないときにレンダリングされるべきオブジェクト・チャネルの前記集合のデフォルトの部分集合を示す、態様１記載の方法。
〔態様３〕
前記オブジェクト関係メタデータの少なくとも一部は、オブジェクト・チャネルの前記集合のどのオブジェクト・チャネルが少なくとも一つのオブジェクト選択規則を満たすかを示す、態様１記載の方法。
〔態様４〕
前記オブジェクト・ベース・オーディオ・プログラムを生成する段階が、前記オブジェクト・ベース・オーディオ・プログラムが、エンコードされたオーディオ・ビットストリームおよび少なくとも一つのサイド混合を含むように実行され、前記エンコードされたオーディオ・ビットストリームは、スピーカー・チャネルの少なくとも一つの前記ベッドのオーディオ・コンテンツおよび前記オブジェクト・チャネルの第一の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、少なくとも一つの前記サイド混合は、前記オブジェクト・チャネルおよび／または前記オブジェクト関係メタデータの第二の部分集合のオーディオ・コンテンツを示す、態様１記載の方法。
〔態様５〕
前記第一のオーディオ・コンテンツが観客イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの少なくとも一つによって示されるオーディオ・コンテンツが、前記観客イベントにおける群衆ノイズまたは前記観客イベントについてのコメンタリーの少なくとも一方を示す、態様１記載の方法。
〔態様６〕
前記第一のオーディオ・コンテンツがスポーツ・イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの一つによって示されるオーディオ・コンテンツが、前記スポーツ・イベントにおけるホーム・チーム群衆ノイズまたはアウェー・チーム群衆ノイズを示す、態様１記載の方法。
〔態様７〕
前記第一のオーディオ・コンテンツが観客イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの一つによって示されるオーディオ・コンテンツが、前記観客イベントについてのコメンタリーを示す、態様１記載の方法。
〔態様８〕
前記オブジェクト・ベース・オーディオ・プログラムの前記オブジェクト関係メタデータが、耐久メタデータおよび非耐久メタデータを含み、当該方法はさらに：
前記オブジェクト・ベース・オーディオ・プログラムを少なくとも一つの再生システムに送達する段階を含み、前記非耐久メタデータの少なくとも一部は前記オブジェクト・ベース・プログラムを送達する段階の間に修正されるが、前記耐久メタデータは前記オブジェクト・ベース・プログラムを送達する段階の間、保存される、態様１記載の方法。
〔態様９〕
前記耐久メタデータの少なくとも一部は同期語を示し、前記同期語は、前記プログラムの少なくとも一部のオーディオ・コンテンツの、前記プログラムの少なくとも一つの他の要素のタイミングに対するタイミングを示し、前記オブジェクト・ベース・オーディオ・プログラムは、前記オブジェクト・ベース・オーディオ・プログラムがエンコードされたオーディオ・ビットストリームおよび少なくとも一つのサイド混合を含み、前記エンコードされたオーディオ・ビットストリームは、スピーカー・チャネルの少なくとも一つの前記ベッドのオーディオ・コンテンツおよび前記オブジェクト・チャネルの第一の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、少なくとも一つの前記サイド混合は、前記オブジェクト・チャネルの第二の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示すように生成され、
前記同期語の第一の部分集合が前記エンコードされたオーディオ・ビットストリームに含められ、前記同期語の第二の部分集合が少なくとも一つの前記サイド混合に含められる、
態様８記載の方法。
〔態様１０〕
前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドに含まれる、態様１記載の方法。
〔態様１１〕
前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームのaddbsiフィールドに含まれる、態様１記載の方法。
〔態様１２〕
前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、態様１記載の方法。
〔態様１３〕
オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする方法であって、前記プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、オブジェクト・チャネルの集合と、オブジェクト関係メタデータとを含み、当該方法は：
（ａ）オブジェクト・チャネルの前記集合の選択された部分集合を決定する段階と；
（ｂ）前記オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする段階とを含み、該レンダリングは、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツおよびオブジェクト・チャネルの前記集合の前記選択された部分集合によって示される第二のオーディオ・コンテンツの混合を決定することによることを含む、
方法。
〔態様１４〕
段階（ｂ）は、オブジェクト・チャネルの前記選択された部分集合のユーザー選択と、オブジェクト・チャネルの前記集合の前記選択された部分集合によって示される少なくとも一つのオブジェクトについてのユーザー指定された利得と、オブジェクト・チャネルの前記集合の前記選択された部分集合によって示される少なくとも一つのオブジェクトの、レンダリング環境内におけるユーザー指定された位置とに基づいて、前記オーディオ・コンテンツを条件付きでレンダリングする段階を含む、態様１３記載の方法。
〔態様１５〕
当該方法が、スピーカーのセットを含む再生システムによって実行され、段階（ｂ）が：
前記第一のオーディオ・コンテンツおよび前記第二のオーディオ・コンテンツの混合に応答して、音を発するようスピーカーの前記セットを駆動するためのスピーカー・フィードを生成する段階を含む。該音は、前記第二のオーディオ・コンテンツを示すオブジェクト・チャネル音を含み、該オブジェクト・チャネル音は、オブジェクト・チャネルの前記集合の前記選択された部分集合によって決定される見かけの源位置から発しているものとして知覚可能である、
態様１３記載の方法。
〔態様１６〕
段階（ａ）が：
選択のために利用可能である前記オブジェクト・チャネルの諸部分集合のメニューを提供する段階と；
前記メニューによって示される前記オブジェクト・チャネルの前記諸部分集合のうちの一つを選択することによって、オブジェクト・チャネルの前記集合の前記選択された部分集合を決定する段階とを含む、
態様１３記載の方法。
〔態様１７〕
前記メニューがコントローラのユーザー・インターフェースによって呈示され、前記コントローラがセットトップデバイスに結合され、前記セットトップデバイスは前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合され、段階（ｂ）を実行するよう構成されている、態様１６記載の方法。
〔態様１８〕
前記第一のオーディオ・コンテンツが観客イベントにおける音を示し、オブジェクト・チャネルの前記集合の前記選択された部分集合のオブジェクト・チャネルの少なくとも一つによって示されるオーディオ・コンテンツが、前記観客イベントにおける群衆ノイズまたは前記観客イベントについてのコメンタリーの少なくとも一方を示す、態様１３記載の方法。
〔態様１９〕
前記第一のオーディオ・コンテンツがスポーツ・イベントにおける音を示し、オブジェクト・チャネルの前記集合の前記選択された部分集合のオブジェクト・チャネルの一つによって示されるオーディオ・コンテンツが、前記スポーツ・イベントにおけるホーム・チーム群衆ノイズまたはアウェー・チーム群衆ノイズを示す、態様１３記載の方法。
〔態様２０〕
前記第一のオーディオ・コンテンツが観客イベントにおける音を示し、オブジェクト・チャネルの前記集合の前記選択された部分集合のオブジェクト・チャネルの一つによって示されるオーディオ・コンテンツが、前記観客イベントについてのコメンタリーを示す、態様１３記載の方法。
〔態様２１〕
前記オブジェクト・ベース・オーディオ・プログラムが、エンコードされたオーディオ・ビットストリームおよび少なくとも一つのサイド混合を含み、前記エンコードされたオーディオ・ビットストリームは、スピーカー・チャネルの前記ベッドのオーディオ・コンテンツおよび前記オブジェクト・チャネルの第一の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、少なくとも一つの前記サイド混合は、前記オブジェクト・チャネルの第二の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示す、態様１３記載の方法。
〔態様２２〕
前記オブジェクト関係メタデータの少なくとも一部が前記オブジェクト・チャネルの少なくともいくつかの各オブジェクト・チャネルの識別情報を示す、態様１３記載の方法。
〔態様２３〕
前記オブジェクト関係メタデータの少なくとも一部が、オブジェクト・チャネルの前記集合の部分集合のエンドユーザーによる選択がないときにレンダリングされるべきオブジェクト・チャネルの前記集合のデフォルトの部分集合を示す、態様１３記載の方法。
〔態様２４〕
前記オブジェクト関係メタデータの少なくとも一部が同期語を示し、前記同期語は、前記プログラムの少なくとも一部のオーディオ・コンテンツの、前記プログラムの少なくとも一つの他の要素のタイミングに対するタイミングを示し、前記オブジェクト・ベース・オーディオ・プログラムは、エンコードされたオーディオ・ビットストリームおよび少なくとも一つのサイド混合を含み、前記エンコードされたオーディオ・ビットストリームは、スピーカー・チャネルの少なくとも一つの前記ベッドのオーディオ・コンテンツおよび前記オブジェクト・チャネルの第一の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、少なくとも一つの前記サイド混合は、前記オブジェクト・チャネルの第二の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、
前記同期語の第一の部分集合が前記エンコードされたオーディオ・ビットストリームに含められ、前記同期語の第二の部分集合が少なくとも一つの前記サイド混合に含められ、当該方法が、前記同期語の少なくとも一部を使って、前記エンコードされたオーディオ・ビットストリームの、少なくとも一つの前記サイド混合との時間整列を実行する段階を含む、
態様１３記載の方法。
〔態様２５〕
段階（ａ）が：
オーディオ・コンテンツの諸混合のメニューを提供する段階であって、選択可能な諸混合のそれぞれは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツとオブジェクト・チャネルの前記集合の部分集合のオーディオ・コンテンツの異なる混合を示し、前記オブジェクト関係メタデータの少なくとも一部は、前記選択可能な諸混合のどれが前記メニューに含められるかについての少なくとも一つの制約条件または条件を示す、段階と；
前記メニューから前記選択可能な諸混合のうちの一つを選択し、それによりオブジェクト・チャネルの前記集合の前記選択された部分集合を決定する段階とを含む、
態様１３記載の方法。
〔態様２６〕
前記オブジェクト関係メタデータの少なくとも一部が前記オブジェクト・チャネルのそれぞれの識別情報およびそれらの間の関係を示し、前記オブジェクト関係メタデータの前記少なくとも一部は、前記選択可能な諸混合のどれが前記メニューに含められるかについての前記少なくとも一つの制約条件または条件を決定する、態様２５記載の方法。
〔態様２７〕
当該方法が再生システムによって実行され、段階（ａ）が：
オーディオ・コンテンツの選択可能な諸混合のメニューを提供する段階であって、選択可能な諸混合のそれぞれは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツとオブジェクト・チャネルの前記集合の部分集合のオーディオ・コンテンツの異なる混合を示し、前記再生システムの事前構成設定が、前記選択可能な諸混合のどれが前記メニューに含められるかについての少なくとも一つの制約条件または条件を決定する、段階と；
前記メニューから前記選択可能な諸混合のうちの一つを選択し、それによりオブジェクト・チャネルの前記集合の前記選択された部分集合を決定する段階とを含む、
態様１３記載の方法。
〔態様２８〕
（ｃ）段階（ａ）を実行する前に、オブジェクト・チャネル選択についての少なくとも一つの規則を決定する段階をさらに含み、
段階（ａ）は、前記少なくとも一つの規則に従って、オブジェクト・チャネルの前記集合の前記選択された部分集合を決定する段階を含む、
態様１３記載の方法。
〔態様２９〕
段階（ｃ）が：
オブジェクト・チャネル選択についての選択可能な諸規則のメニューを提供する段階と；
前記メニューから前記選択可能な諸規則のうちの一つを選択し、それにより前記少なくとも一つの規則を決定する段階とを含む、
態様２８記載の方法。
〔態様３０〕
前記オブジェクト関係メタデータの少なくとも一部は、オブジェクト・チャネルの前記集合のどのオブジェクト・チャネルが前記少なくとも一つの規則を満たすかを示し、段階（ａ）は、前記オブジェクト関係メタデータの前記少なくとも一部に応答してオブジェクト・チャネルの前記集合の前記選択された部分集合を決定する段階を含む、態様２８記載の方法。
〔態様３１〕
前記オブジェクト・ベース・オーディオ・プログラムがビットストリームの集合を含み、段階（ａ）および（ｂ）は、再生システムによって実行され、当該方法は：
（ｃ）前記オブジェクト・ベース・オーディオ・プログラムの前記ビットストリームを前記再生システムに伝送する段階を含む、
態様１３記載の方法。
〔態様３２〕
前記ビットストリームのうちの一つはオブジェクト・チャネルの前記集合の第一の部分集合を示し、前記ビットストリームのうちの別の一つはオブジェクト・チャネルの前記集合の第二の部分集合を示す、態様３１記載の方法。
〔態様３３〕
前記オブジェクト・ベース・オーディオ・プログラムがビットストリームの集合を含み、段階（ａ）および（ｂ）は、再生システムによって実行され、当該方法は：
（ｃ）段階（ａ）を実行する前に、前記再生システムにおいて並列に前記オブジェクト・ベース・オーディオ・プログラムの前記ビットストリームを受領する段階を含む、
態様１３記載の方法。
〔態様３４〕
前記ビットストリームのうちの一つはオブジェクト・チャネルの前記集合の第一の部分集合を示し、前記ビットストリームのうちの別の一つはオブジェクト・チャネルの前記集合の第二の部分集合を示す、態様３１記載の方法。
〔態様３５〕
当該方法が第一のサブシステムおよび第二のサブシステムを含む再生システムにおいて実行され、前記第二のサブシステムは、前記第一のサブシステムより下流で前記第一のサブシステムに結合されており、段階（ａ）は前記再生システムの前記第一のサブシステムにおいて実行され、段階（ｂ）は少なくとも部分的には前記再生システムの前記第二のサブシステムにおいて実行される、態様１３記載の方法。
〔態様３６〕
段階（ｂ）が：
前記再生システムの前記第二のサブシステムにおいて、前記第一のオーディオ・コンテンツおよび前記第二のオーディオ・コンテンツの前記混合を決定する段階と；
前記再生システムの前記第二のサブシステムにおいて、前記第一のオーディオ・コンテンツおよび前記第二のオーディオ・コンテンツの前記混合に応答して、前記再生システムのスピーカーのセットを駆動するためのスピーカー・フィードを生成する段階とを含む、
態様３５記載の方法。
〔態様３７〕
前記再生システムの前記第一のサブシステムがセットトップデバイスにおいて実装され、前記再生システムの前記第二のサブシステムが前記セットトップデバイスに結合された下流の装置において実装される、態様３５記載の方法。
〔態様３８〕
前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドに含まれる、態様１３記載の方法。
〔態様３９〕
前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームのaddbsiフィールドに含まれる、態様１３記載の方法。
〔態様４０〕
前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、態様１３記載の方法。
〔態様４１〕
前記オブジェクト関係メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、態様１記載の方法。
〔態様４２〕
前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記混合グラフを示すオブジェクト関係メタデータを含む、態様１記載の方法。
〔態様４３〕
当該方法が、オーディオ信号の前記集合の部分集合を示す少なくとも二つのスピーカー・チャネル・ベッドを決定する段階を含み、前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記混合グラフは、前記スピーカー・チャネル・ベッドのあらかじめ決定された混合を示す少なくとも一つのベッド混合ノードを含む、態様１記載の方法。
〔態様４４〕
前記オブジェクト・ベース・オーディオ・プログラムがサブストリームを含み、前記オブジェクト関係メタデータの少なくとも一部が、前記プログラムのサブストリーム構造または前記サブストリームがデコードされるべき仕方のうちの少なくとも一方を示すサブストリーム・メタデータである、態様１記載の方法。
〔態様４５〕
オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするシステムであって、前記プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、オブジェクト・チャネルの集合と、オブジェクト関係メタデータとを含み、当該システムは：
前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合され、前記スピーカー・チャネル、前記オブジェクト・チャネルおよび前記オブジェクト関係メタデータをパースし、前記オブジェクト・チャネルの選択された部分集合を決定するよう構成された第一のサブシステムと；
前記オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするよう構成された、前記第一のサブシステムに結合されたレンダリング・サブシステムであって、該レンダリングは、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツおよびオブジェクト・チャネルの前記選択された部分集合によって示される第二のオーディオ・コンテンツの混合を決定することによることを含む、レンダリング・サブシステムとを有する、
システム。
〔態様４６〕
当該システムがスピーカーのセットを含むまたはスピーカーのセットに結合されるよう構成されており、前記レンダリング・サブシステムは、前記第一のオーディオ・コンテンツおよび前記第二のオーディオ・コンテンツの前記混合に応答してスピーカー・フィードを生成するよう構成されており、前記スピーカーのセットは、前記スピーカー・フィードによって駆動されるとき、該生成は、前記第二のオーディオ・コンテンツを示すオブジェクト・チャネル音を含む音を発するように行なわれ、該オブジェクト・チャネル音は、前記オブジェクト・チャネルの前記選択された部分集合によって決定される見かけの源位置から発しているものとして知覚可能である、態様４５記載のシステム。
〔態様４７〕
前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、選択のために利用可能である前記オブジェクト・チャネルの諸部分集合のメニューを提供し、前記メニューによって示される前記オブジェクト・チャネルの前記諸部分集合のうちの一つのユーザー選択に応答して、前記オブジェクト・チャネルの前記選択された部分集合を決定するよう構成されている、態様４５記載のシステム。
〔態様４８〕
前記コントローラが、前記メニューを表示するユーザー・インターフェースを実装するよう構成されている、態様４７記載のシステム。
〔態様４９〕
前記第一のサブシステムがセットトップデバイスにおいて実装され、前記コントローラが前記セットトップデバイスに結合されている、態様４７記載のシステム。
〔態様５０〕
前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、オーディオ・コンテンツの選択可能な諸混合のメニューを提供するよう構成されており、前記選択可能な諸混合のそれぞれは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツと前記オブジェクト・チャネルの部分集合のオーディオ・コンテンツの異なる混合を示し、前記オブジェクト関係メタデータの少なくとも一部は、前記選択可能な諸混合のどれが前記メニューに含められるかについての少なくとも一つの制約条件または条件を示し、前記コントローラは、前記メニューからの前記選択可能な諸混合のうちの一つのユーザー選択に応答して、前記オブジェクト・チャネルの前記選択された部分集合を決定するよう構成されている、態様４５記載のシステム。
〔態様５１〕
前記コントローラが、前記メニューを表示するユーザー・インターフェースを実装するよう構成されている、態様５０記載のシステム。
〔態様５２〕
前記第一のオーディオ・コンテンツが観客イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの少なくとも一つによって示されるオーディオ・コンテンツが、前記観客イベントにおける群衆ノイズまたは前記観客イベントについてのコメンタリーの少なくとも一方を示す、態様４５記載のシステム。
〔態様５３〕
前記第一のオーディオ・コンテンツがスポーツ・イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの一つによって示されるオーディオ・コンテンツが、前記スポーツ・イベントにおけるホーム・チーム群衆ノイズまたはアウェー・チーム群衆ノイズを示す、態様４５記載のシステム。
〔態様５４〕
前記第一のオーディオ・コンテンツが観客イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの一つによって示されるオーディオ・コンテンツが、前記観客イベントについてのコメンタリーを示す、態様４５記載のシステム。
〔態様５５〕
前記オブジェクト・ベース・オーディオ・プログラムが、エンコードされたオーディオ・ビットストリームおよび少なくとも一つのサイド混合を含み、前記エンコードされたオーディオ・ビットストリームは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツおよび前記オブジェクト・チャネルの第一の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、少なくとも一つの前記サイド混合は、前記オブジェクト・チャネルの第二の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示す、態様４５記載のシステム。
〔態様５６〕
前記オブジェクト関係メタデータの少なくとも一部が、前記オブジェクト・チャネルの部分集合のエンドユーザーによる選択がないときにレンダリングされるべき前記オブジェクト・チャネルのデフォルトの部分集合を示す、態様４５記載のシステム。
〔態様５７〕
前記オブジェクト関係メタデータの少なくとも一部が同期語を示し、前記同期語は、前記プログラムの少なくとも一部のオーディオ・コンテンツの、前記プログラムの少なくとも一つの他の要素のタイミングに対するタイミングを示し、前記オブジェクト・ベース・オーディオ・プログラムは、エンコードされたオーディオ・ビットストリームおよび少なくとも一つのサイド混合を含み、前記エンコードされたオーディオ・ビットストリームは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツおよび前記オブジェクト・チャネルの第一の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、少なくとも一つの前記サイド混合は、前記オブジェクト・チャネルの第二の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、
前記同期語の第一の部分集合が前記エンコードされたオーディオ・ビットストリームに含められ、前記同期語の第二の部分集合が少なくとも一つの前記サイド混合に含められ、前記第一のサブシステムが、前記同期語の少なくとも一部を使って、前記エンコードされたオーディオ・ビットストリームの、少なくとも一つの前記サイド混合との時間整列を実行するよう構成されている、
態様４５記載のシステム。
〔態様５８〕
前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、オーディオ・コンテンツの選択可能な諸混合のメニューを提供するよう構成されており、前記選択可能な諸混合のそれぞれは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツと前記オブジェクト・チャネルの部分集合のオーディオ・コンテンツの異なる混合を示し、前記第一のサブシステムの事前構成設定が、前記選択可能な諸混合のどれが前記メニューに含められるかについての少なくとも一つの制約条件または条件を決定し、前記コントローラは、前記メニューから前記選択可能な諸混合のうちの一つのユーザー選択に応答して、前記オブジェクト・チャネルの前記選択された部分集合を決定するよう構成されている、態様４５記載のシステム。
〔態様５９〕
前記コントローラが、前記メニューを表示するユーザー・インターフェースを実装するよう構成されている、態様５８記載のシステム。
〔態様６０〕
前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、オブジェクト・チャネル選択についての選択可能な諸規則のメニューを提供するよう構成されており、前記コントローラは、前記メニューから前記選択可能な諸規則のうちの一つのユーザー選択に応答して、オブジェクト・チャネル選択のための少なくとも一つの規則を適用するよう前記第一のサブシステムを構成するよう構成されている、態様４５記載のシステム。
〔態様６１〕
前記オブジェクト関係メタデータの少なくとも一部は、オブジェクト・チャネルの前記集合のどのオブジェクト・チャネルが前記少なくとも一つの規則を満たすかを示す、態様６０記載のシステム。
〔態様６２〕
前記レンダリング・サブシステムは、第一のレンダリング・サブシステムおよび第二のレンダリング・サブシステムを含む再生システムにおいて実行され、前記第二のレンダリング・サブシステムは、前記第一のレンダリング・サブシステムより下流で前記第一のレンダリング・サブシステムに結合されている、態様４５記載のシステム。
〔態様６３〕
前記第二のレンダリング・サブシステムは、前記第一のオーディオ・コンテンツおよび前記第二のオーディオ・コンテンツの前記混合を決定するよう構成されており、前記第二のレンダリング・サブシステムは、前記第一のオーディオ・コンテンツおよび前記第二のオーディオ・コンテンツの前記混合に応答して、スピーカーのセットを駆動するためのスピーカー・フィードを生成するよう構成されている、態様６２記載のシステム。
〔態様６４〕
前記第一のレンダリング・サブシステムがセットトップデバイスにおいて実装され、前記第二のレンダリング・サブシステムが前記セットトップデバイスに結合された下流の装置において実装される、態様６３記載のシステム。
〔態様６５〕
前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、態様４５記載のシステム。
〔態様６６〕
前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、態様４５記載のシステム。
〔態様６７〕
前記オブジェクト関係メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、態様４５記載のシステム。
〔態様６８〕
前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記混合グラフを示すオブジェクト関係メタデータを含む、態様４５記載のシステム。
〔態様６９〕
前記プログラムが、少なくとも二つのスピーカー・チャネル・ベッドを示し、前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記混合グラフは、前記スピーカー・チャネル・ベッドのあらかじめ決定された混合を示す少なくとも一つのベッド混合ノードを含む、態様４５記載のシステム。
〔態様７０〕
前記オブジェクト・ベース・オーディオ・プログラムがサブストリームを含み、前記オブジェクト関係メタデータの少なくとも一部が、前記プログラムのサブストリーム構造または前記サブストリームがデコードされるべき仕方のうちの少なくとも一方を示すサブストリーム・メタデータである、態様４５記載のシステム。
〔態様７１〕
オブジェクト・ベース・オーディオ・プログラムを生成するシステムであって：
捕捉されたオーディオ・コンテンツを示すオーディオ信号の集合の第一の部分集合のオーディオ・コンテンツを示すスピーカー・チャネルの少なくとも一つのベッドを決定し、オーディオ信号の前記集合の第二の部分集合のオーディオ・コンテンツを示すオブジェクト・チャネルの集合を決定し、前記オブジェクト・チャネルを示すオブジェクト関係メタデータを生成するよう構成されている第一のサブシステムと；
前記オブジェクト・ベース・オーディオ・プログラムを生成するよう構成された、前記第一のサブシステムに結合されたエンコード・サブシステムであって、前記オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの各前記ベッドと、前記オブジェクト・チャネルと、前記オブジェクト関係メタデータとを示し、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツと前記オブジェクト・チャネルの選択された部分集合によって示される第二のオーディオ・コンテンツとの混合として知覚される音を与えるようレンダリング可能であり、前記第二のオーディオ・コンテンツは前記オブジェクト・チャネルの前記選択された部分集合によって決定される源位置から発しているものとして知覚されるようにされる、エンコード・サブシステムとを含む、
システム。
〔態様７２〕
前記オブジェクト関係メタデータの少なくとも一部は、オブジェクト・チャネルの前記集合の部分集合のエンドユーザーによる選択がないときにレンダリングされるべきオブジェクト・チャネルの前記集合のデフォルトの部分集合を示す、態様７１記載のシステム。
〔態様７３〕
前記オブジェクト関係メタデータの少なくとも一部は、オブジェクト・チャネルの前記集合のどのオブジェクト・チャネルが少なくとも一つのオブジェクト選択規則を満たすかを示す、態様７１記載のシステム。
〔態様７４〕
前記エンコード・サブシステムが、前記オブジェクト・ベース・オーディオ・プログラムを生成することを、前記オブジェクト・ベース・オーディオ・プログラムが、エンコードされたオーディオ・ビットストリームおよび少なくとも一つのサイド混合を含むように実行するよう構成されており、前記エンコードされたオーディオ・ビットストリームは、スピーカー・チャネルの少なくとも一つの前記ベッドのオーディオ・コンテンツおよび前記オブジェクト・チャネルの第一の部分集合のオーディオ・コンテンツおよび／または前記オブジェクト関係メタデータを示し、少なくとも一つの前記サイド混合は、前記オブジェクト・チャネルおよび／または前記オブジェクト関係メタデータの第二の部分集合のオーディオ・コンテンツを示す、態様７１記載のシステム。
〔態様７５〕
前記第一のオーディオ・コンテンツが観客イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの少なくとも一つによって示されるオーディオ・コンテンツが、前記観客イベントにおける群衆ノイズまたは前記観客イベントについてのコメンタリーの少なくとも一方を示す、態様７１記載のシステム。
〔態様７６〕
前記第一のオーディオ・コンテンツがスポーツ・イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの一つによって示されるオーディオ・コンテンツが、前記スポーツ・イベントにおけるホーム・チーム群衆ノイズまたはアウェー・チーム群衆ノイズを示す、態様７１記載のシステム。
〔態様７７〕
前記第一のオーディオ・コンテンツが観客イベントにおける音を示し、前記オブジェクト・チャネルの前記選択された部分集合のオブジェクト・チャネルの一つによって示されるオーディオ・コンテンツが、前記観客イベントについてのコメンタリーを示す、態様７１記載のシステム。
〔態様７８〕
前記オブジェクト・ベース・オーディオ・プログラムの前記オブジェクト関係メタデータが、耐久メタデータを含む、態様７１記載のシステム。
〔態様７９〕
前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、態様７１記載のシステム。
〔態様８０〕
前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、態様７１記載のシステム。
〔態様８１〕
バッファ・メモリおよび前記バッファ・メモリに結合された少なくとも一つのオーディオ処理サブシステムを含むオーディオ処理ユニットであって、
前記バッファ・メモリは、オブジェクト・ベース・オーディオ・プログラムの少なくとも一つのセグメントを記憶し、前記プログラムは、スピーカー・チャネルの少なくとも一つのベッド、オブジェクト・チャネルの集合およびオブジェクト関係メタデータを示し、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツと、前記オブジェクト・チャネルの選択された部分集合によって示される第二のオーディオ・コンテンツとの混合として知覚される音を与えるようレンダリング可能であり、前記第二のオーディオ・コンテンツは前記オブジェクト・チャネルの前記選択された部分集合によって決定される源位置から発しているものとして知覚されるようにされ、
各前記セグメントは、スピーカー・チャネルの少なくとも一つの前記ベッドのオーディオ・コンテンツを示すデータ、前記オブジェクト・チャネルのうち少なくとも一つのオブジェクト・チャネルのオーディオ・コンテンツを示すデータおよび前記オブジェクト関係メタデータの少なくとも一部を含む、
オーディオ処理ユニット。
〔態様８２〕
前記オブジェクト・ベース・オーディオ・プログラムがフレームを含むエンコードされたビットストリームであり、前記各セグメントは該フレームの一つである、態様８１記載のオーディオ処理ユニット。
〔態様８３〕
前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記フレームのそれぞれは、前記オブジェクト・チャネルのうちの少なくとも一つのオブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記フレームの各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、態様８２記載のオーディオ処理ユニット。
〔態様８４〕
前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、態様８１記載のオーディオ処理ユニット。
〔態様８５〕
前記バッファ・メモリが前記セグメントを非一時的な仕方で記憶する、態様８１記載のオーディオ処理ユニット。
〔態様８６〕
前記オーディオ処理サブシステムがエンコーダである、態様８１記載のオーディオ処理ユニット。
〔態様８７〕
前記オーディオ処理サブシステムが、前記スピーカー・チャネル、前記オブジェクト・チャネルおよび前記オブジェクト関係メタデータをパースし、前記オブジェクト・チャネルの選択された部分集合を決定するよう構成されている、態様８１記載のオーディオ処理ユニット。
〔態様８８〕
前記オーディオ処理サブシステムが、前記オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするよう構成されており、該レンダリングは、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツおよび前記オブジェクト・チャネルの前記選択された部分集合によって示される第二のオーディオ・コンテンツの混合を決定することによることを含む、態様８１記載のオーディオ処理ユニット。
〔態様８９〕
当該オーディオ処理ユニットがデジタル信号プロセッサである、態様８１記載のオーディオ処理ユニット。
〔態様９０〕
前記オブジェクト関係メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、態様８１記載のオーディオ処理ユニット。
〔態様９１〕
前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、各前記セグメントは、前記混合グラフを示すオブジェクト関係メタデータを含む、態様８１記載のオーディオ処理ユニット。
〔態様９２〕
前記プログラムが、少なくとも二つのスピーカー・チャネル・ベッドを示し、前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記混合グラフは、前記スピーカー・チャネル・ベッドのあらかじめ決定された混合を示す少なくとも一つのベッド混合ノードを含む、態様８１記載のオーディオ処理ユニット。
〔態様９３〕
前記オブジェクト・ベース・オーディオ・プログラムがサブストリームを含み、前記オブジェクト関係メタデータの少なくとも一部が、前記プログラムのサブストリーム構造または前記サブストリームがデコードされるべき仕方のうちの少なくとも一方を示すサブストリーム・メタデータである、態様８１記載のオーディオ処理ユニット。

Claims (30)

1. オブジェクト・ベース・オーディオ・プログラムを生成する方法であって：
   捕捉されたオーディオ・コンテンツを示すオーディオ信号の集合の第一の部分集合のオーディオ・コンテンツを示すスピーカー・チャネルの少なくとも一つのベッドを決定する段階と；
   オーディオ信号の前記集合の第二の部分集合のオーディオ・コンテンツを示すオブジェクト・チャネルの集合を決定する段階と；
   前記オブジェクト・チャネルを示すオブジェクト関係メタデータを生成する段階と；
   前記オブジェクト・ベース・オーディオ・プログラムを生成する段階であって、前記オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの前記少なくとも一つのベッドと、前記オブジェクト・チャネルと、前記オブジェクト関係メタデータとを示し、スピーカー・チャネルの一つの前記少なくとも一つのベッドのうちの一つによって示される第一のオーディオ・コンテンツと前記オブジェクト・チャネルの選択された部分集合によって示される第二のオーディオ・コンテンツとの混合として知覚される音を与えるようレンダリング可能であり、前記第二のオーディオ・コンテンツは前記オブジェクト・チャネルの前記選択された部分集合によって決定される源位置から発しているものとして知覚されるようにされる、段階とを含む、
   方法。
2. 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドに含まれる、請求項１記載の方法。
3. 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームのaddbsiフィールドに含まれる、請求項１記載の方法。
4. 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、請求項１記載の方法。
5. 前記オブジェクト関係メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、請求項１記載の方法。
6. 前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記混合グラフを示すオブジェクト関係メタデータを含む、請求項１記載の方法。
7. オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする方法であって、前記プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、オブジェクト・チャネルの集合と、オブジェクト関係メタデータとを含み、当該方法は：
   （ａ）ユーザー入力に基づいてオブジェクト・チャネルの前記集合の選択された部分集合を決定する段階と；
   （ｂ）前記オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングする段階とを含み、該レンダリングは、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツおよびオブジェクト・チャネルの前記集合の前記選択された部分集合によって示される第二のオーディオ・コンテンツの混合を決定することによることを含む、
   方法。
8. 段階（ａ）が：
   オーディオ・コンテンツの諸混合のメニューを提供する段階であって、選択可能な諸混合のそれぞれは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツとオブジェクト・チャネルの前記集合の部分集合のオーディオ・コンテンツの異なる混合を示し、前記オブジェクト関係メタデータの少なくとも一部は、前記選択可能な諸混合のどれが前記メニューに含められるかについての少なくとも一つの制約条件または条件を示す、段階と；
   前記メニューから前記選択可能な諸混合のうちの一つを選択し、それによりオブジェクト・チャネルの前記集合の前記選択された部分集合を決定する段階とを含む、
   請求項７記載の方法。
9. 前記オブジェクト関係メタデータの少なくとも一部が前記オブジェクト・チャネルのそれぞれの識別情報およびそれらの間の関係を示し、前記オブジェクト関係メタデータの前記少なくとも一部は、前記選択可能な諸混合のどれが前記メニューに含められるかについての前記少なくとも一つの制約条件または条件を決定する、請求項８記載の方法。
10. 当該方法が再生システムによって実行され、段階（ａ）が：
    オーディオ・コンテンツの選択可能な諸混合のメニューを提供する段階であって、選択可能な諸混合のそれぞれは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツとオブジェクト・チャネルの前記集合の部分集合のオーディオ・コンテンツの異なる混合を示し、前記再生システムの事前構成設定が、前記選択可能な諸混合のどれが前記メニューに含められるかについての少なくとも一つの制約条件または条件を決定する、段階と；
    前記メニューから前記選択可能な諸混合のうちの一つを選択し、それによりオブジェクト・チャネルの前記集合の前記選択された部分集合を決定する段階とを含む、
    請求項７記載の方法。
11. 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドに含まれる、請求項７記載の方法。
12. 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームのaddbsiフィールドに含まれる、請求項７記載の方法。
13. 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、請求項７記載の方法。
14. オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするシステムであって、前記プログラムは、スピーカー・チャネルの少なくとも一つのベッドと、オブジェクト・チャネルの集合と、オブジェクト関係メタデータとを含み、当該システムは：
    前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合され、前記スピーカー・チャネル、前記オブジェクト・チャネルおよび前記オブジェクト関係メタデータをパースし、ユーザー入力に基づいて前記オブジェクト・チャネルの選択された部分集合を決定するよう構成された第一のサブシステムと；
    前記オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするよう構成された、前記第一のサブシステムに結合されたレンダリング・サブシステムであって、該レンダリングは、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツおよびオブジェクト・チャネルの前記選択された部分集合によって示される第二のオーディオ・コンテンツの混合を決定することによることを含む、レンダリング・サブシステムとを有する、
    システム。
15. 前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、オーディオ・コンテンツの選択可能な諸混合のメニューを提供するよう構成されており、前記選択可能な諸混合のそれぞれは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツと前記オブジェクト・チャネルの部分集合のオーディオ・コンテンツの異なる混合を示し、前記オブジェクト関係メタデータの少なくとも一部は、前記選択可能な諸混合のどれが前記メニューに含められるかについての少なくとも一つの制約条件または条件を示し、前記コントローラは、前記メニューからの前記選択可能な諸混合のうちの一つのユーザー選択に応答して、前記オブジェクト・チャネルの前記選択された部分集合を決定するよう構成されている、請求項１４記載のシステム。
16. 前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、オーディオ・コンテンツの選択可能な諸混合のメニューを提供するよう構成されており、前記選択可能な諸混合のそれぞれは、スピーカー・チャネルの一つの前記ベッドのオーディオ・コンテンツと前記オブジェクト・チャネルの部分集合のオーディオ・コンテンツの異なる混合を示し、前記第一のサブシステムの事前構成設定が、前記選択可能な諸混合のどれが前記メニューに含められるかについての少なくとも一つの制約条件または条件を決定し、前記コントローラは、前記メニューから前記選択可能な諸混合のうちの一つのユーザー選択に応答して、前記オブジェクト・チャネルの前記選択された部分集合を決定するよう構成されている、請求項１４記載のシステム。
17. 前記第一のサブシステムに結合されたコントローラをさらに含み、前記コントローラは、オブジェクト・チャネル選択についての選択可能な諸規則のメニューを提供するよう構成されており、前記コントローラは、前記メニューから前記選択可能な諸規則のうちの一つのユーザー選択に応答して、オブジェクト・チャネル選択のための少なくとも一つの規則を適用するよう前記第一のサブシステムを構成するよう構成されている、請求項１４記載のシステム。
18. 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、請求項１４記載のシステム。
19. 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、請求項１４記載のシステム。
20. 前記オブジェクト関係メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、請求項１４記載のシステム。
21. 前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記混合グラフを示すオブジェクト関係メタデータを含む、請求項１４記載のシステム。
22. オブジェクト・ベース・オーディオ・プログラムを生成するシステムであって：
    捕捉されたオーディオ・コンテンツを示すオーディオ信号の集合の第一の部分集合のオーディオ・コンテンツを示すスピーカー・チャネルの少なくとも一つのベッドを決定し、オーディオ信号の前記集合の第二の部分集合のオーディオ・コンテンツを示すオブジェクト・チャネルの集合を決定し、前記オブジェクト・チャネルを示すオブジェクト関係メタデータを生成するよう構成されている第一のサブシステムと；
    前記オブジェクト・ベース・オーディオ・プログラムを生成するよう構成された、前記第一のサブシステムに結合されたエンコード・サブシステムであって、前記オブジェクト・ベース・オーディオ・プログラムは、スピーカー・チャネルの前記少なくとも一つのベッドと、前記オブジェクト・チャネルと、前記オブジェクト関係メタデータとを示し、スピーカー・チャネルの一つの前記少なくとも一つのベッドのうちの一つによって示される第一のオーディオ・コンテンツと前記オブジェクト・チャネルの選択された部分集合によって示される第二のオーディオ・コンテンツとの混合として知覚される音を与えるようレンダリング可能であり、前記第二のオーディオ・コンテンツは前記オブジェクト・チャネルの前記選択された部分集合によって決定される源位置から発しているものとして知覚されるようにされる、エンコード・サブシステムとを含む、
    システム。
23. 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、請求項２２記載のシステム。
24. 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、請求項２２記載のシステム。
25. バッファ・メモリおよび前記バッファ・メモリに結合された少なくとも一つのオーディオ処理サブシステムを含むオーディオ処理ユニットであって、
    前記バッファ・メモリは、オブジェクト・ベース・オーディオ・プログラムの少なくとも一つのセグメントを記憶し、前記プログラムは、スピーカー・チャネルの少なくとも一つのベッド、オブジェクト・チャネルの集合およびオブジェクト関係メタデータを示し、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツと、前記オブジェクト・チャネルの選択された部分集合によって示される第二のオーディオ・コンテンツとの混合として知覚される音を与えるようレンダリング可能であり、前記第二のオーディオ・コンテンツは前記オブジェクト・チャネルの前記選択された部分集合によって決定される源位置から発しているものとして知覚されるようにされ、
    各前記セグメントは、スピーカー・チャネルの少なくとも一つの前記ベッドのオーディオ・コンテンツを示すデータ、前記オブジェクト・チャネルのうち少なくとも一つのオブジェクト・チャネルのオーディオ・コンテンツを示すデータおよび前記オブジェクト関係メタデータの少なくとも一部を含み、
    前記オーディオ処理サブシステムが、前記オブジェクト・ベース・オーディオ・プログラムによって決定されるオーディオ・コンテンツをレンダリングするよう構成されており、該レンダリングは、スピーカー・チャネルの一つの前記ベッドによって示される第一のオーディオ・コンテンツおよび前記オブジェクト・チャネルの、ユーザー入力に基づいて選択された部分集合によって示される第二のオーディオ・コンテンツの混合を決定することによることを含む、
    オーディオ処理ユニット。
26. 前記オブジェクト・ベース・オーディオ・プログラムがフレームを含むエンコードされたビットストリームであり、前記各セグメントは該フレームの一つである、請求項２５記載のオーディオ処理ユニット。
27. 前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記フレームのそれぞれは、前記オブジェクト・チャネルのうちの少なくとも一つのオブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記フレームの各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、請求項２６記載のオーディオ処理ユニット。
28. 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであり、各保護帯は、セグメントのシーケンスからなり、保護帯のうち少なくともいくつかの各保護帯の最初のX個のセグメントのそれぞれは前記オブジェクト・チャネルの一部のコンテンツおよび前記オブジェクト関係メタデータの一部を含み、Xは数である、請求項２５記載のオーディオ処理ユニット。
29. 前記オブジェクト関係メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、請求項２５記載のオーディオ処理ユニット。
30. 前記オブジェクト関係メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な諸混合を示し、各前記セグメントは、前記混合グラフを示すオブジェクト関係メタデータを含む、請求項２５記載のオーディオ処理ユニット。
    

Images