JP6407155B2 - オーディオデータ生成装置及びオーディオデータ再生装置 - Google Patents

Description

以下の説明は、オーディオデータを生成する方法及びオーディオデータを再生する方法に関する。

近年、３ＤＴＶやＵＨＤＴＶなどのような次世代ＴＶシステム開発と共に、オーディオシステムに対する様々なオーディオ技術が開発されている。これはＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄ ＢＳ．７７５で定義した５．１チャネル方式より複数のラウドスピーカを用いるマルチチャネルオーディオシステムに対する技術である。

しかし、最近発表されたマルチチャネルオーディオシステムは、独自の方式でマルチチャネルオーディオ信号を表現しているため、特定オーディオ機器を利用しなければ、マルチチャネルオーディオ信号を充分再生することができない問題を抱えている。

したがって、様々なマルチチャネルオーディオ信号を表現しながら、次世代オーディオシステムに適用可能なマルチチャネルオーディオ表現法又は技術法の定義が求められる。

一実施形態に係るオーディオデータ再生装置は、オーディオデータ生成装置によって生成されたビットストリームからマルチチャネルオーディオ信号に関するディスクリプタを抽出するディスクリプタ抽出部と、前記抽出したディスクリプタに基づいて前記マルチチャネルオーディオ信号を再生する再生部とを含む。
一実施形態に係るオーディオデータ再生装置において、前記ディスクリプタは、前記マルチチャネルオーディオ信号に含まれたオーディオ信号に関する情報を含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記ディスクリプタは、サウンドエッセンスディスクリプタ、サウンドフィールド構成ディスクリプタ、及びサウンドチャネルディスクリプタのうち少なくとも１つを含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記サウンドチャネルディスクリプタは、チャネルラベルディスクリプタ及びチャネル位置ディスクリプタのうち少なくとも１つを含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記チャネルラベルディスクリプタは、オーディオ信号の配置順序、オーディオチャネルのラベル、及びチャネルコンポーネントオブジェクトのタイプのうち少なくとも１つに関する情報を含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記オーディオチャネルのラベルは、水平チャネルラベル、垂直チャネルラベル、距離チャネルラベル、及びオブジェクトチャネルラベルのうち少なくとも１つを含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記チャネルコンポーネントオブジェクトのタイプは、チャネルコンポーネントの周波数特性情報、チャネルコンポーネントの方向性情報、及び動きのあるオブジェクトに関する情報のうち少なくとも１つを含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記チャネル位置ディスクリプタは、オーディオ信号の配置順序、空間位置データ、距離位置データ、空間位置の許容範囲、距離位置の許容範囲、及びチャネルコンポーネントオブジェクトのタイプのうち少なくとも１つに関する情報を含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記空間位置データは、オーディオ信号が再生する空間上の位置を示す方位角及び仰角のうち少なくとも１つに関する情報を含んでもよい。前記空間位置データは、オーディオ信号再生空間における位置を示す時間の動き情報（ｍｏｖｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｉｍｅ）に関する情報を含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記空間位置の許容範囲に関する情報は、水平方向の許容範囲、垂直方向の許容範囲、及び空間的位置許容範囲の動き情報（ｍｏｖｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ｐｏｓｉｔｉｏｎ ｔｏｌｅｒａｎｃｅ）のうち少なくとも１つに関する情報を含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記距離位置の許容範囲に関する情報は、距離位置許容範囲（ｔｏｌｅｒａｎｃｅ ｏｆ ｔｈｅ ｄｉｓｔａｎｃｅ ｐｏｓｉｔｉｏｎ）、及び距離位置許容範囲の動き情報（ｍｏｖｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｄｉｓｔａｎｃｅ ｐｏｓｉｔｉｏｎ ｔｏｌｅｒａｎｃｅ）のうち少なくとも１つに関する情報を含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記チャネルコンポーネントオブジェクトのタイプは、チャネルコンポーネントの周波数特性情報及びチャネルコンポーネントの方向性情報のうち少なくとも１つを含んでもよい。

一実施形態に係るオーディオデータ再生装置において、前記ディスクリプタに含まれた情報を画面上に表示する表示部をさらに含んでもよい。

一実施形態に係るオーディオデータ生成装置は、マルチチャネルオーディオ信号を表現するためのディスクリプタを生成するディスクリプタ生成部と、前記ディスクリプタと前記マルチチャネルオーディオ信号をビットストリームに生成するビットストリーム生成部とを含む。

一実施形態に係るオーディオデータ生成装置において、前記ビットストリーム生成部は、前記ディスクリプタ及び前記マルチチャネルオーディオ信号を符号化し、多重化してビットストリームを生成してもよい。

一実施形態に係るオーディオデータ生成装置は、前記生成されたビットストリームをオーディオデータ再生装置に送信する送信部をさらに含んでもよい。

一実施形態に係るオーディオデータ再生方法は、オーディオデータ生成装置によって生成されたビットストリームからマルチチャネルオーディオ信号を表現するためのディスクリプタを抽出するステップと、前記抽出したディスクリプタに基づいて前記マルチチャネルオーディオ信号を再生するステップとを含み、前記ディスクリプタは、前記マルチチャネルオーディオ信号に含まれたオーディオ信号に関する情報を含んでもよい。

一実施形態に係るオーディオデータ生成方法は、マルチチャネルオーディオ信号を表現するためのディスクリプタを生成するステップと、前記ディスクリプタと前記マルチチャネルオーディオ信号をビットストリームに生成するステップとを含み、前記ディスクリプタは、前記マルチチャネルオーディオ信号に含まれたオーディオ信号に関する情報を含んでもよい。

一実施形態に係る生成されたオーディオデータを再生する動作を説明するための図である。 一実施形態に係るオーディオデータ生成装置の細部構成を示す図である。 一実施形態に係るオーディオデータ再生装置の細部構成を示す図である。 一実施形態に係るオーディオデータを生成する一例を説明するための図である。 一実施形態に係るオーディオデータを再生する一例を説明するための図である。 一実施形態に係るオーディオデータ生成方法の動作を示すフローチャートである。 一実施形態に係るオーディオデータ再生方法の動作を示すフローチャートである。

以下、実施形態を添付する図面を参照しながら詳細に説明する。以下の特定した構造的ないし機能的な説明は、単に発明の実施形態を説明するための目的で例示されたものであり、発明の範囲が本文に説明された実施形態に限定されるものと解釈されることはない。一実施形態に係るオーディオデータ生成方法はオーディオデータ生成装置によって行われてもよく、オーディオデータ再生方法はオーディオデータ再生装置によって行われてもよい。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係る生成されたオーディオデータを再生する動作を説明するための図である。

図１を参照すると、オーディオデータ生成装置１１０は、マルチチャネルオーディオ信号を含むオーディオデータを生成する。マルチチャネルオーディオ信号は、チャネルベースオーディオ信号及びオブジェクトベースオーディオ信号を含む。例えば、マルチチャネルオーディオ信号は、１０．２チャネル、２２．２チャネルなどのマルチチャネル音響コンテンツを示す。オーディオデータ生成装置１１０は、オーディオデータ、オーディオデータを再生するために必要なメタデータをビットストリームに生成する。メタデータは、マルチチャネルオーディオ信号を表現できるディスクリプタ（ｄｅｓｃｒｉｐｔｏｒ）を含んでもよい。ディスクリプタは、マルチチャネルオーディオ信号に含まれたオーディオ信号の再生位置などに関する情報を含んでもよい。ディスクリプタは、いかなるオーディオチャネルがどのような位置で再生するかを示す情報などを含んでもよい。オーディオデータ生成装置１１０は、生成されたビットストリームをオーディオデータ再生装置１２０に送信する。

オーディオデータ再生装置１２０は、ビットストリームからマルチチャネルオーディオ信号及びメタデータを抽出する。オーディオデータ再生装置１２０は、メタデータに含まれたディスクリプタに基づいてマルチチャネルオーディオ信号を再生する。例えば、オーディオデータ再生装置１２０は、ディスクリプタに含まれた再生情報に基づいてマルチチャネルオーディオ信号をレンダリングしてもよい。オーディオデータ再生装置１２０は、オーディオデータ再生装置１２０の再生環境に応じてマルチチャネルオーディオ信号をミキシングし、ミキシングされたマルチチャネルオーディオ信号を再生する。

図２は、一実施形態に係るオーディオデータ生成装置２１０の細部構成を示す図である。

図２を参照すると、オーディオデータ生成装置２１０は、ディスクリプタ生成部２２０及びビットストリーム生成部２３０を含む。オーディオデータ生成装置２１０は送信部２４０及びマルチチャネルオーディオ信号生成部２５０をさらに含んでもよい。

マルチチャネルオーディオ信号生成部２５０は、マルチチャネルオーディオ信号を生成する。例えば、マルチチャネルオーディオ信号生成部２５０は、複数のチャネルオーディオ信号、オブジェクトオーディオ信号、または、チャネルオーディオ信号及びオブジェクトオーディオ信号を用いてマルチチャネルオーディオ信号を生成してもよい。

ディスクリプタ生成部２２０は、マルチチャネルオーディオ信号を表現するためのディスクリプタを生成する。ディスクリプタは、マルチチャネルオーディオ信号に含まれたオーディオ信号の再生位置に関する情報などを含んでもよい。生成されたディスクリプタは、メタデータを用いてマルチチャネルオーディオフォーマット信号のヘッダに格納されたり、又はマルチチャネルオーディオ信号を構成するそれぞれのオーディオチャネルの各ヘッダに格納される。メタデータは、活用性によって何種類に区分されるが、マルチチャネル音響コンテンツを構成、交換するために適用されることを基本構造（ｂａｓｉｃ ｓｔｒｕｃｔｕｒｅ）と定義する。例えば、基本構造ディスクリプタは、マルチチャネル音響コンテンツ（ｃｏｍｐｌｅｔｅ ｍｉｘ）の製造、交換に用いてもよい。

以下、一実施形態に係るディスクリプタの基本構造を説明するようにする。

ディスクリプタで用いられる用語は次の表１のように定義する。

サウンドエッセンス（Ｓｏｕｎｄ Ｅｓｓｅｎｃｅ）はプログラムに関する表現、音場（Ｓｏｕｎｄ−ｆｉｅｌｄ）に関する表現（又は、名称）、その他に関連する情報を記述する。サウンドフィールド（Ｓｏｕｎｄ−ｆｉｅｌｄ）は、階層的な構成を有するサウンドフィールド構成（Ｓｏｕｎｄ−ｆｉｅｌｄ ｃｏｎｆｉｇｕｒａｔｉｏｎ）によって表現されてもよい。サウンドフィールド構成は、複数のサウンドチャネル（Ｓｏｕｎｄ Ｃｈａｎｎｅｌ）で構成される。サウンドチャネルは、チャネルラベル（Ｃｈａｎｎｅｌ ｌａｂｅｌ）及びチャネル位置（Ｃｈａｎｎｅｌ ｐｏｓｉｔｉｏｎ）のうち少なくとも１つによる表現で記述される。ディスクリプタ生成部２２０は、マルチチャネル音響コンテンツが交換される様々なシナリオに応じて必要なディスクリプタを選択する。

ディスクリプタは、サウンドエッセンスディスクリプタ、サウンドフィールド構成ディスクリプタ、及びサウンドチャネルディスクリプタのうち少なくとも１つを含んでもよい。

サウンドエッセンスディスクリプタは、プログラムの名前、サウンドエッセンスのタイプ、サウンドフィールド構成の名前、及び音の大きさ値のうち少なくとも１つに関する情報を含んでもよい。

一実施形態に係るサウンドエッセンスディスクリプタの構成は、次の表２のように示すことができる。

サウンドフィールド構成ディスクリプタは、マルチチャネル配列データを記述する。サウンドフィールド構成ディスクリプタは、サウンドフィールド構成の名前（ｎａｍｅ ｏｆ Ｓｏｕｎｄ−ｆｉｅｌｄ ｃｏｎｆｉｇｕｒａｔｉｏｎ）、オーディオチャネルの個数（ｔｈｅ ｎｕｍｂｅｒ ｏｆ ａｕｄｉｏ ｃｈａｎｎｅｌｓ）、マルチチャネルオーディオ信号の配列（ｍｕｌｔｉｃｈａｎｎｅｌ ｓｏｕｎｄ ａｒｒａｎｇｅｍｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ）、オーディオチャネルの割当（ｌｉｓｔ ｏｆ ｃｈａｎｎｅｌ ａｌｌｏｃａｔｉｏｎ）、タウンミキシング係数（ｄｏｗｎ−ｍｉｘｉｎｇ ｃｏｅｆｆｉｃｉｅｎｔ）のうち少なくとも１つに関する情報を含んでもよい。

一実施形態に係るサウンドフィールド構成ディスクリプタの構成は、次の表３のように示すことができる。

サウンドチャネルディスクリプタは、チャネルラベルディスクリプタ（ｃｈａｎｎｅｌ ｌａｂｅｌ ｄｅｓｃｒｉｐｔｏｒｓ）及びチャネル位置ディスクリプタ（ｃｈａｎｎｅｌ ｐｏｓｉｔｉｏｎ ｄｅｓｃｒｉｐｔｏｒｓ）のうち少なくとも１つを含んでもよい。

一実施形態に係るサウンドチャネルディスクリプタの指示子は、次の表４のよう示すことができる。

チャネルラベルディスクリプタは、チャネルラベルデータを記述する。チャネルラベルディスクリプタは、オーディオ信号の配置順序（ａｌｌｏｃａｔｉｏｎ ｎｕｍｂｅｒ）、オーディオチャネルのラベル（ｃｈａｎｎｅｌ ｌａｂｅｌ）及びチャネルコンポーネントオブジェクトのタイプ（ｔｙｐｅ ｏｆ ｃｈａｎｎｅｌ ｃｏｍｐｏｎｅｎｔ ｏｂｊｅｃｔ）のうち少なくとも１つに関する情報を含んでもよい。

オーディオチャネルのラベルは、水平チャネルラベル、垂直チャネルラベル、距離チャネルラベル、及びオブジェクトチャネルラベルのうち少なくとも１つを含んでもよい。

チャネルコンポーネントオブジェクトのタイプは、チャネルコンポーネントの周波数特性情報（Ｎｏｍｉｎａｌ ｆｒｅｑｕｅｎｃｙ ｒａｎｇｅ）、チャネルコンポーネントの方向性情報（Ｔｙｐｅ ｏｆ ｃｈａｎｎｅｌ ｃｏｍｐｏｎｅｎｔ ｄｉｒｅｃｔｉｖｉｔｙ）、及び動きのあるオブジェクトに関する情報（Ｍｏｖｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）のうち少なくとも１つを含んでもよい。

一実施形態に係るチャネルラベルディスクリプタの構成は、次の表５のように示すことができる。

チャネル位置ディスクリプタは、チャネル位置データを記述する。チャネル位置ディスクリプタは、オーディオ信号の配置順序（ａｌｌｏｃａｔｉｏｎ ｎｕｍｂｅｒ）、空間位置データ（ｓｐａｔｉａｌ ｐｏｓｉｔｉｏｎ ｄａｔａ）、距離位置データ（ｄｉｓｔａｎｃｅ ｐｏｓｉｔｉｏｎ ｄａｔａ）、空間位置の許容範囲（ｔｏｌｅｒａｎｃｅ ｏｆ ｓｐａｔｉａｌ ｐｏｓｉｔｉｏｎ）、距離位置の許容範囲（ｔｏｌｅｒａｎｃｅ ｏｆ ｄｉｓｔａｎｃｅ ｐｏｓｉｔｉｏｎ）、及びチャネルコンポーネントオブジェクトのタイプ（ｔｙｐｅ ｏｆ ｃｈａｎｎｅｌ ｃｏｍｐｏｎｅｎｔ ｏｂｊｅｃｔ）のうち少なくとも１つに関する情報を含んでもよい。

空間位置データは、オーディオ信号が再生する空間上の位置を示す方位角及び仰角のうち少なくとも１つに関する情報を含んでもよい。

距離位置データは、オーディオ再生空間の中心からオーディオ信号が再生する空間上の位置までの距離を示す。空間位置データは、オーディオ信号再生空間における位置を示す時間の動き情報（ｍｏｖｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｉｍｅ）に関する情報を含んでもよい。

空間位置の許容範囲に関する情報は、水平方向の許容範囲、垂直方向の許容範囲、及び空間的位置許容範囲の動き情報（ｍｏｖｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ｐｏｓｉｔｉｏｎ ｔｏｌｅｒａｎｃｅ）のうち少なくとも１つに関する情報を含んでもよい。

距離位置の許容範囲に関する情報は、オーディオ再生空間の中心からオーディオ信号が再生する空間上の位置までの距離許容範囲、及び動きのあるオブジェクトに関する距離位置許容範囲の動き情報（ｍｏｖｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｄｉｓｔａｎｃｅ ｐｏｓｉｔｉｏｎ ｔｏｌｅｒａｎｃｅ）のうち少なくとも１つに関する情報を含んでもよい。

チャネルコンポーネントオブジェクトのタイプは、チャネルコンポーネントの周波数特性情報及びチャネルコンポーネントの方向性情報のうち少なくとも１つを含んでもよい。

一実施形態に係るチャネル位置ディスクリプタの構成は、次の表６のように示すことができる。

次は、２２．２チャネルでマルチチャネルオーディオ信号を記述するためのディスクリプタ構成の一例を示す。

＜第１実施形態＞
＜第２実施形態＞

上記のようなディスクリプタ技術方法によって次世代マルチチャネルオーディオ信号を一般の家庭や他国、スタジオでＵＨＤＴＶなどのような次世代Ａ／Ｖシステムで活用することができる。

ビットストリーム生成部２３０は、ディスクリプタとマルチチャネルオーディオ信号をビットストリームに生成する。ビットストリーム生成部２３０は、ディスクリプタマルチチャネルオーディオ信号を符号化し、多重化してビットストリームを生成する。

送信部２４０は、生成されたビットストリームをオーディオデータ再生装置に送信する。

図３は、一実施形態に係るオーディオデータ再生装置３１０の細部構成を示す図である。

図３を参照すると、オーディオデータ再生装置３１０は、ディスクリプタ抽出部３２０及び再生部３３０を含む。オーディオデータ再生装置３１０は表示部３４０及びマルチチャネルオーディオ信号抽出部３５０をさらに含んでもよい。

マルチチャネルオーディオ信号抽出部３５０は、オーディオデータ生成装置によって生成されたビットストリームからマルチチャネルオーディオ信号を抽出してもよい。

ディスクリプタ抽出部３２０は、ビットストリームからマルチチャネルオーディオ信号に関するディスクリプタを抽出する。ディスクリプタ抽出部３２０は、マルチチャネルオーディオフォーマット信号のヘッダ又はマルチチャネルオーディオ信号を構成するそれぞれのオーディオチャネルのヘッダでディスクリプタを抽出する。ディスクリプタは、マルチチャネルオーディオ信号に含まれたオーディオ信号の再生位置に関する情報を含んでもよい。ディスクリプタは、サウンドエッセンスディスクリプタ、サウンドフィールド構成ディスクリプタ、及びサウンドチャネルディスクリプタのうち少なくとも１つを含んでもよい。ディスクリプタに関する内容は、図２と関連して記載された内容を参考する。

再生部３３０は、抽出したディスクリプタに基づいてマルチチャネルオーディオ信号を再生する。再生部３３０は、ディスクリプタに記述されたマルチチャネルオーディオ信号の再生情報に基づいてマルチチャネルオーディオ信号を再生する。再生部３３０は、ディスクリプタに含まれた再生位置情報に基づいて、マルチチャネルオーディオ信号に含まれたそれぞれのオーディオ信号をレンダリングする。

再生部３３０は、オーディオデータ再生装置３１０のユーザ環境情報に基づいて、マルチチャネルオーディオ信号をタウンミキシングする。例えば、再生部３３０は、２２．２チャネルでミキシングされたオーディオデータを１０．２チャネル環境のオーディオデータ再生装置３１０で再生するために、２２．２チャネルのオーディオデータを１０．２チャネルのオーディオデータにダウンミキシングしてもよい。ユーザ環境情報は、オーディオ再生装置のチャネル環境、ラウドスピーカ配置情報などを含む。

表示部３４０は、メタデータ又はディスクリプタに含まれた情報を画面上に表示する。例えば、表示部３４０は、オーディオ信号の再生位置情報、再生しているオーディオ信号の識別情報などを表示してもよい。

図４は、一実施形態に係るオーディオデータを生成する一例を説明するための図である。

オーディオデータ生成装置は、オーディオデータを受信する受信端でオーディオ信号の修正、変換、交換などを容易に実行するよう、基本構造のディスクリプタに基づいてオーディオデータを生成する。オーディオデータ生成装置は、ディスクリプタ情報をマルチチャネルオーディオフォーマット信号のヘッダ又はマルチチャネルを構成するそれぞれのオーディオチャネルのヘッダに格納させた後、受信端に送信してもよい。

一実施形態に係るオーディオデータ生成装置は、ミキシング部４２０、コーディング部４６０、及び多重化部４７０を含む。ミキシング部４２０は、様々なオーディオソース４１０をミキシングしてチャネルベースオーディオ信号４３０、オブジェクトベースオーディオ信号４４０を出力する。コーディング部４６０は、ディスクリプタを含むメタデータ４５０及びマルチチャネルオーディオ信号をコーディングする。マルチチャネルオーディオ信号は、チャネルベースオーディオ信号４３０だけではなく、オブジェクトベースオーディオ信号４４０を含んでもよい。ディスクリプタは、マルチチャネルの構成を表現する情報を含む。マルチチャネルコーディング部４６０は、様々な方式を用いてオーディオ信号とディスクリプタを別にコーディングしたり、又はマルチチャネルオーディオ信号とディスクリプタをともにコーディングしてもよい。多重化部４７０は、コーディングされたマルチチャネルオーディオ信号とメタデータ４５０を多重化してビットストリームを生成する。

図５は、一実施形態に係るオーディオデータを再生する一例を説明するための図である。

オーディオデータ再生装置は、逆多重化部５１０、デコーディング部５２０、レンダリング部５６０、表示部５８０を含む。

逆多重化部５１０は、受信したビットストリームを逆多重化する。デコーディング部５２０は、逆多重化されたビットストリームを復号化してマルチチャネルオーディオ信号とメタデータ５５０をレンダリング部５６０に出力する。マルチチャネルオーディオ信号は、チャネルベースオーディオ信号５３０、オブジェクトベースオーディオ信号５４０を含む。レンダリング部５６０は、メタデータ５５０に基づいてマルチチャネルオーディオ信号を再生する。レンダリング部５６０は、ラウドスピーカの配置情報又はオブジェクトベースオーディオ信号の位置情報などに基づいて、マルチチャネルオーディオ信号を再生する。ラウドスピーカの配置情報、オブジェクトベースオーディオ信号の位置情報は、ユーザによってオーディオデータ再生装置に入力されてもよい。

オーディオデータ再生装置のユーザ環境情報５７０に基づいて、マルチチャネルオーディオ信号を再生する。オーディオデータ再生装置は、オーディオデータ再生装置の再生環境に応じて、本来のマルチチャネルオーディオ信号をそのまま再生したり、又はマルチチャネルオーディオ信号をタウンミキシングしてもよい。マルチチャネルオーディオ信号は、オーディオデータ再生装置の再生環境に合わせて再生してもよい。

オーディオデータ再生装置が初期のミキシングステップで２２．２チャネルに製造された信号が、再生環境の１０．２チャネル構造に合わせてタウンミキシングする方法の一例は、下記の表７のように示すことができる。ダウンミキシング係数ディスクリプタは、その他にも様々なマルチャンネル間の変換を記述する。

レンダリング部５６０は、マルチチャネルオーディオ信号を構成するオーディオ信号はディスクリプタのチャネル位置データに定義されたように、オーディオ信号の配置順序に応じてチャネル順に空間位置データに提示された方位角及び仰角情報に基づいて再生する。レンダリング部５６０は、チャネルコンポーネントオブジェクトのタイプの動きのあるオブジェクトに関する情報（又は、空間位置の許容範囲の再生時間による音像定位やＭｏｖｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｐｏｓｉｔｉｏｎ）に記述されている時間の動き情報に基づいて、オブジェクトベースオーディオ信号を再生する。一例によると、ユーザは、任意にオブジェクトベースオーディオ信号がレンダリングされる空間上の位置を制御することができる。

表示部５８０は、ディスクリプタに記述された情報を画面上に表示する。ユーザは、ディスクリプタの空間位置の許容範囲情報を用いて、最適の再生位置に比べて本人のスピーカ配置などの環境がどれほど流動的であるかを確認し、ディスクリプタのチャネルラベル情報を用いて個別チャネルの名前情報を確認する。マルチチャネルオーディオ信号にオブジェクトベースオーディオ信号が含まれている場合、ユーザは、チャネルラベルのオブジェクトチャネルラベルを介して当該オブジェクトベースオーディオ信号がどのような音の情報であるかを確認する。

図６は、一実施形態に係るオーディオデータ生成方法の動作を示すフローチャートである。

ステップ６１０で、オーディオデータ生成装置はマルチチャネルオーディオ信号を表現するためのディスクリプタを生成する。ディスクリプタは、マルチチャネルオーディオ信号に含まれたオーディオ信号の再生位置に関する情報を含む。オーディオデータ生成装置は、生成されたディスクリプタをメタデータを用いて、マルチチャネルオーディオフォーマット信号のヘッダに格納したり、又はマルチチャネルオーディオ信号を構成するそれぞれのオーディオチャネルの各ヘッダに格納してもよい。ディスクリプタは、サウンドエッセンスディスクリプタ、サウンドフィールド構成ディスクリプタ、及びサウンドチャネルディスクリプタのうち少なくとも１つを含んでもよい。

ステップ６２０で、オーディオデータ生成装置は、ディスクリプタとマルチチャネルオーディオ信号をビットストリームに生成する。オーディオデータ生成装置は、ディスクリプタマルチチャネルオーディオ信号を符号化し、多重化してビットストリームを生成してもよい。

ステップ６３０で、オーディオデータ生成装置は、生成されたビットストリームをオーディオデータ再生装置に送信する。

図７は、一実施形態に係るオーディオデータ再生方法の動作を示すフローチャートである。

ステップ７１０で、オーディオデータ再生装置は、オーディオデータ生成装置によって生成されたビットストリームからマルチチャネルオーディオ信号を表現するためのディスクリプタを抽出する。オーディオデータ再生装置は、マルチチャネルオーディオフォーマット信号のヘッダ又はマルチチャネルオーディオ信号を構成するそれぞれのオーディオチャネルのヘッダでディスクリプタを抽出してもよい。

ステップ７２０で、オーディオデータ再生装置は、抽出したディスクリプタに基づいてマルチチャネルオーディオ信号を再生する。オーディオデータ再生装置は、ディスクリプタに記述されたマルチチャネルオーディオ信号の再生情報に基づいてマルチチャネルオーディオ信号を再生してもよい。オーディオデータ再生装置は、ディスクリプタに含まれた再生位置情報に基づいて、マルチチャネルオーディオ信号に含まれたそれぞれのオーディオ信号をレンダリングしてもよい。オーディオデータ再生装置は、オーディオ再生装置のチャネル環境、ラウドスピーカ配置情報などのようなユーザ環境情報に応じて、マルチチャネルオーディオ信号をダウンミキシングしてもよい。

一実施形態によると、オーディオデータ再生装置は、メタデータ又はディスクリプタに含まれた情報を画面上に表示できる。オーディオデータ再生装置は、オーディオ信号の再生位置情報、再生しているオーディオ信号の識別情報などを表示できる。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１１０：オーディオデータ生成装置
１２０：オーディオデータ再生装置

Claims (10)

1. オーディオデータ生成装置によって生成されたビットストリームからマルチチャネルオーディオ信号に関するディスクリプタを抽出するディスクリプタ抽出部と、
   前記抽出したディスクリプタに基づいて前記マルチチャネルオーディオ信号を再生する再生部と、
   を含み、
   前記ディスクリプタは、前記マルチチャネルオーディオ信号に含まれたオーディオ信号に関する情報を含み、
   前記マルチチャネルオーディオ信号は、
   チャネルベースオーディオ信号とオブジェクトベースオーディオ信号とを含み、
   前記ディスクリプタは、
   （ｉ）オーディオチャネルのラベルに関する情報、（ｉｉ）オーディオ再生空間の中心からオーディオ信号が再生する空間上の位置までの距離に関する情報、及び（ｉｉｉ）動きのあるオブジェクトに基づく時間と位置に関する情報を含むオーディオデータ再生装置。
2. 前記マルチチャネルオーディオ信号は、
   ２２．２チャネルのマルチチャネルオーディオ信号を含み、
   前記２２．２チャネルは、
   ＦＬ、ＦＲ、ＦＣ、Ｌ、ＢＬ、ＢＲ、ＦＬｃ、ＦＲｃ、ＢＣ、Ｒ、ＳｉＬ、ＳｉＲ、ＴｐＦＬ、ＴｐＦＲ、ＴｐＦＣ、ＴｐＣ、ＴｐＢＲ、ＴｐＢＬ、ＴｐＳｉＬ、ＴｐＳｉＲ、ＴｐＢＣ、ＢｔＦＣ、ＢｔＦＬ、及びＢｔＦＲのチャネルラベルを有するチャネルを含む請求項１に記載のオーディオデータ再生装置。
3. 前記ディスクリプタは、
   サウンドチャネルディスクリプタを含み、
   前記サウンドチャネルディスクリプタは、チャネルラベルディスクリプタ及びチャネル位置ディスクリプタのうち少なくとも１つを含むことを特徴とする請求項１に記載のオーディオデータ再生装置。
4. 前記チャネルラベルディスクリプタは、オーディオ信号の配置順序、オーディオチャネルのラベル、及びチャネルコンポーネントオブジェクトのタイプのうち少なくとも１つに関する情報を含み、
   前記オーディオチャネルのラベルは、水平チャネルラベル、垂直チャネルラベル、距離チャネルラベル、及びオブジェクトチャネルラベルのうち少なくとも１つを含み、
   前記チャネルコンポーネントオブジェクトのタイプは、チャネルコンポーネントの周波数特性情報、チャネルコンポーネントの方向性情報、及び動きのあるオブジェクトに関する情報のうち少なくとも１つを含むことを特徴とする請求項３に記載のオーディオデータ再生装置。
5. 前記チャネル位置ディスクリプタは、オーディオ信号の配置順序、空間位置データ、距離位置データ、空間位置の許容範囲、距離位置の許容範囲、及びチャネルコンポーネントオブジェクトのタイプのうち少なくとも１つに関する情報を含むことを特徴とする請求項３に記載のオーディオデータ再生装置。
6. 前記空間位置データは、オーディオ信号が再生する空間上の位置を示す方位角及び仰角のうち少なくとも１つに関する情報を含み、
   前記空間位置の許容範囲に関する情報は、水平方向の許容範囲、垂直方向の許容範囲、及び再生時間による音像定位のうち少なくとも１つに関する情報を含み、
   前記距離位置の許容範囲に関する情報は、オーディオ再生空間の中心からオーディオ信号が再生する空間上の位置までの距離、及び動きのあるオブジェクトに関する情報のうち少なくとも１つに関する情報を含み、
   前記チャネルコンポーネントオブジェクトのタイプは、チャネルコンポーネントの周波数特性情報及びチャネルコンポーネントの方向性情報のうち少なくとも１つを含むことを特徴とする請求項５に記載のオーディオデータ再生装置。
7. 前記ディスクリプタは、
   サウンドエッセンスディスクリプタと、サウンドフィールド構成ディスクリプタとを含み、
   前記サウンドエッセンスディスクリプタは、プログラムの名前、サウンドエッセンスのタイプ、サウンドフィールド構成の名前、及び音の大きさ値のうち少なくとも１つに関する情報を含み、
   前記サウンドフィールド構成ディスクリプタは、サウンドフィールド構成の名前、オーディオチャネルの個数、マルチチャネルオーディオ信号の配列、オーディオチャネルの割当、タウンミキシング係数のうち少なくとも１つに関する情報を含むことを特徴とする請求項１に記載のオーディオデータ再生装置。
8. マルチチャネルオーディオ信号を表現するためのディスクリプタを生成するディスクリプタ生成部と、
   前記ディスクリプタと前記マルチチャネルオーディオ信号をビットストリームに生成するビットストリーム生成部と、
   を含み、
   前記ディスクリプタは、前記マルチチャネルオーディオ信号に含まれたオーディオ信号に関する情報を含み、
   前記マルチチャネルオーディオ信号は、
   チャネルベースオーディオ信号とオブジェクトベースオーディオ信号とを含み、
   前記ディスクリプタは、
   （ｉ）オーディオチャネルのラベルに関する情報、（ｉｉ）オーディオ再生空間の中心からオーディオ信号が再生する空間上の位置までの距離に関する情報、及び（ｉｉｉ）動きのあるオブジェクトに基づく時間と位置に関する情報を含むオーディオデータ生成装置。
9. 前記ディスクリプタは、
   サウンドエッセンスディスクリプタ、サウンドフィールド構成ディスクリプタ、及びサウンドチャネルディスクリプタのうち少なくとも１つを含むことを特徴とする請求項８に記載のオーディオデータ生成装置。
10. 前記ディスクリプタは、空間位置データ、距離位置データ、空間位置の許容範囲、距離位置の許容範囲、及びチャネルコンポーネントオブジェクトのタイプのうち少なくとも１つに関する情報を含むことを特徴とする請求項８に記載のオーディオデータ生成装置。