JP5238707B2 - オブジェクトベースオーディオ信号のエンコーディング／デコーディング方法及びその装置 - Google Patents

Description

本発明は、各オブジェクトオーディオ信号に対して所定の位置に音像が定位できるようにしたオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置に関する。

一般に、マルチチャネルオーディオエンコーディング及びデコーディング技術において、マルチチャネル信号の多チャネル信号は、より少ない数のチャネル信号にダウンミックスされ、元のチャネル信号に関する付加情報が転送され、元のマルチチャネル信号と同一な程度の多チャネルを持つマルチチャネル信号に復元される。

オブジェクトベースオーディオエンコーディング及びデコーディング技術は、数個の音源をより少ない数の音源信号にダウンミックスし、元の音源に関する付加情報を転送する点で、マルチチャネルオーディオエンコーディング及びデコーディング技術と基本的に同様である。しかし、オブジェクトベースオーディオエンコーディング及びデコーディング技術において、チャネル信号の基本的な成分（例えば、楽器または人の声）であるオブジェクト信号は、マルチチャネルオーディオエンコーディング及びデコーディング技術のチャネル信号と同様に取り扱ってコーディングすることができる。

すなわち、オブジェクトベースオーディオエンコーディング及びデコーディング技術では、各オブジェクト信号はコーディングされる個体と見なされる。これに関連して、マルチチャネルオーディオコーディング動作が、コーディングされるチャネル信号の成分の数によらずチャネル間情報に基づいて簡単に実行されるという点で、オブジェクトベースオーディオエンコーディング及びデコーディング技術はマルチチャネルオーディオエンコーディング及びデコーディング技術と異なる。

本発明の目的は、各オブジェクトオーディオ信号に対して所定の位置に音像が定位することができるように、オーディオ信号をエンコーディングまたはデコーディングするオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置を提供することにある。

本発明の一態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、前記処理されたダウンミックス信号及び前記チャネルベース付加情報を用いてマルチチャネルオーディオ信号を生成する、オーディオデコーディング方法が提供される。

本発明の他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成するパラメータコンバーティング部と、前記ダウンミックス信号がステレオダウンミックス信号である場合、デコリレートされたダウンミックス信号によって前記ダウンミックス信号を修正するダウンミックスプロセシング部と、前記ダウンミックスプロセシング部及び前記チャネルベース付加情報によって得た修正されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、を含むオーディオデコーディング装置が提供される。

本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて１つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、オーディオデコーディング方法が提供される。

本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて１つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成するパラメータコンバーティング部と、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正するチャネルプロセシング部と、を含むオーディオデコーディング装置が提供される。

本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、前記チャネルベース付加情報及びスワッピングによって得た前記処理されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成する、オーディオデコーディング方法を記録した、コンピュータ読取可能記録媒体が提供される。

本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて１つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、オーディオデコーディング方法を記録した、コンピュータ読取可能記録媒体が提供される。

各オブジェクトオーディオ信号に対して所定の位置に音像が位置できるようにオーディオ信号をエンコーディングまたはデコーディングすることができるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置を提供することが可能になる。

一般的なオブジェクトベースオーディオエンコーディング／デコーディングシステムを示すブロック図である。 本発明の第１実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第２実施例によるオーディオデコーディング装置を示すブロック図である。 互いに独立した振幅差及び時間差の音像の定位への影響を説明するためのグラフである。 予め定められた位置に音像を位置させるのに要求される振幅差及び時間差間の対応に関する関数のグラフである。 調和情報を含む制御情報のフォーマットを示す図である。 本発明の第３実施例によるオーディオデコーディング装置を示すブロック図である。 図７に示すオーディオデコーディング装置に用いられうるアーティスティックダウンミックスゲイン（ＡＤＧ；ａｒｔｉｓｔｉｃ ｄｏｗｎｍｉｘ ｇａｉｎ）を示すブロック図である。 本発明の第４実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第５実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第６実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第７実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第８実施例によるオーディオデコーディング装置を示すブロック図である。 図１３に示すオーディオデコーディング装置によるフレームへの３次元（３Ｄ）情報の適用を説明するための図である。 本発明の第９実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の第１０実施例によるオーディオデコーディング装置を示すブロック図である。 本発明の一実施例によるオーディオデコーディング方法を説明するための図である。 本発明の一実施例によるオーディオデコーディング方法を説明するための図である。 本発明の一実施例によるオーディオデコーディング方法を説明するための図である。 本発明の一実施例によるオーディオエンコーディング装置を示すブロック図である。

以下、図面を参照しながら本発明の例示的な実施例を用いて本発明について詳細に説明する。

本発明によるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置は、オブジェクトベースオーディオ処理動作に適用することができるが、本発明はこれに限定されるものではない。言い換えると、本発明によるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置は、オブジェクトベースオーディオ処理動作の他、数多くの信号処理動作に適用することもできる。

図１は、一般のオブジェクトベースオーディオエンコーディング／デコーディングシステムを示すブロック図である。一般に、オブジェクトベースオーディオエンコーディング装置に入力されたオーディオ信号は、マルチチャネル信号のチャネルと一致しないが、独立したオブジェクト信号である。この点で、オブジェクトベースオーディオエンコーディング装置は、マルチチャネル信号のチャネル信号が入力されるマルチチャネルオーディオエンコーディング装置と区別される。

例えば、５．１チャネル信号のフロントレフトチャネル信号及びフロントライトチャネル信号のようなチャネル信号は、マルチチャネルオーディオ信号に入力することができるのに対し、チャネル信号よりも小さい個体（ｅｎｔｉｔｙ）である人の声または楽器の音（バイオリンまたはピアノの音）のようなオブジェクトオーディオ信号は、オブジェクトベースオーディオエンコーディング装置に入力することができる。

図１を参照すると、オブジェクトベースオーディオエンコーディング／デコーディングシステムは、オブジェクトベースオーディオエンコーディング装置及びオブジェクトベースオーディオデコーディング装置を含む。オブジェクトベースオーディオエンコーディング装置は、オブジェクトエンコーディング部１００を含み、オブジェクトベースオーディオデコーディング装置は、オブジェクトデコーディング部１１１及びレンダリング部１１３を含む。

オブジェクトエンコーディング部１００は、Ｎ個のオブジェクトオーディオ信号を受信し、エネルギ差、位相差及び相関値のようなＮ個のオブジェクトオーディオ信号から抽出された多数の情報を含む付加情報及び１つ以上のチャネルを持つオブジェクトベースダウンミックス信号を生成する。付加情報及びオブジェクトベースダウンミックス信号は１つのビットストリームに統合され、このビットストリームはオブジェクトベースデコーディング装置に転送される。

付加情報は、チャネルベースオーディオコーディングを実行するか或いはオブジェクトベースオーディオコーディングを実行するかを表すフラッグを含むことができ、この付加情報のフラッグに基づいてオブジェクトベースオーディオコーディングを実行するかチャネルベースオーディオコーディングを実行するかを決定することができる。この付加情報は、オブジェクト信号に関するエンベロープ情報、グルーピング情報、無音期間情報及び遅延情報も含むことができる。付加情報は、オブジェクトレベル差情報、オブジェクト間相互相関情報、ダウンミックス利得情報、ダウンミックスチャネルレベル差情報及び絶対的オブジェクトエネルギ情報を含むことができる。

オブジェクトデコーディング部１１１は、オブジェクトベースオーディオエンコーディング装置から付加情報及びオブジェクトベースダウンミックス信号を受信し、オブジェクトベースダウンミックス信号及び付加情報に基づいてＮ個のオブジェクトオーディオ信号の特性と同一の特性を持つオブジェクト信号を復元する。オブジェクトデコーディング部１１１により生成されたオブジェクト信号は、マルチチャネル空間内の所定の位置にまだ割り当てられていない。したがって、レンダリング部１１３は、オブジェクトデコーディング部１１１により生成されたオブジェクト信号のそれぞれを、マルチチャネル空間内の予め定められた位置に割り当て、オブジェクト信号のレベルを決定し、これにより、レンダリング部１１３により指定されたそれぞれの対応する位置からオブジェクト信号がレンダリング部１１３により決定されたそれぞれの対応するレベルで再生されるようにする。オブジェクトデコーディング部１１１により生成されたオブジェクト信号のそれぞれに関する制御情報は、オーバータイムを変えることができるので、オブジェクトデコーディング部１１１により生成されたオブジェクト信号のレベル及び空間位置は制御情報によって変わりうる。

図２は、本発明の第１実施例によるオーディオデコーディング装置１２０を示すブロック図である。図２を参照すると、オーディオデコーディング装置１２０は、オブジェクトデコーディング部１２１、レンダリング部１２３及びパラメータコンバーティング部１２５を含む。オーディオデコーディング装置１２０は、入力されたビットストリームからの付加情報及びダウンミックス信号を抽出するデマルチプレクサ（図示せず）を含んでも良く、これは、本発明の他の実施例によるオーディオデコーディング装置のいずれにも適用することができる。

オブジェクトデコーディング部１２１は、パラメータコンバーティング部１２５により提供された修正された付加情報及びダウンミックス信号に基づいて多くのオブジェクト信号を生成する。レンダリング部１２３は、マルチチャネル空間内の予め定められた位置に、オブジェクトデコーディング部１２１により生成されたオブジェクト信号のそれぞれを割り当て、制御情報によってオブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルを決定する。パラメータコンバーティング部１２５は、付加情報と制御情報とを結合させることによって修正された付加情報を生成する。続いて、パラメータコンバーティング部１２５は、修正された付加情報をオブジェクトデコーディング部１２１に転送する。

オブジェクトデコーディング部１２１は、修正された付加情報中の制御情報を分析することによって適切なデコーディングを実行することができる。

例えば、第１オブジェクト信号及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ且つ同一レベルを持つということを制御情報が表すと、一般のオーディオデコーディング装置は、第１及び第２オブジェクト信号を個別にデコーディングでき、続いてミキシング／レンダリング動作を通じてマルチチャネル空間内にそれらを配置することができる。

これに対し、オーディオデコーディング装置１２０のオブジェクトデコーディング部１２１は、修正された付加情報中の制御情報から、第１及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ、これらが１つの音源のように同一レベルを持つということがわかる。したがって、オブジェクトデコーディング部１２１は、第１及び第２オブジェクト信号を個別にデコーディングせずに、１つの音源として取扱ってデコーディングする。その結果、デコーディングの複雑度は減少する。しかも、処理されるべき音源数の減少によって、ミキシング／レンダリングの複雑度も減少する。

複数のオブジェクト信号が同一空間位置に割り当てられることは殆どないので、オーディオデコーディング装置１２０は、オブジェクト信号の数を出力チャネルの数よりも多い状況で有用に用いることができる。

また、オーディオデコーディング装置１２０は、第１オブジェクト信号及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられるが、異なるレベルを持つ状況で用いることができる。この場合、オーディオデコーディング装置１２０は、第１及び第２オブジェクト信号を個別にデコーディングし、デコーディングされた第１及び第２オブジェクト信号をレンダリング部１２３に転送する代わりに、第１及び第２オブジェクト信号を１つとして取扱って第１及び第２オブジェクト信号をデコーディングする。より詳細には、オブジェクトデコーディング部１２１は、修正された付加情報中の制御情報から第１及び第２オブジェクト信号のレベル間の差に関する情報を獲得でき、獲得された情報に基づいて第１及び第２オブジェクト信号をデコーディングすることができる。その結果、第１及び第２オブジェクト信号が異なるレベルを持つ場合であっても、第１及び第２オブジェクト信号は１つの音源のようにデコーディングすることができる。

また、オブジェクトデコーディング部１２１は、制御情報によってオブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルを調節できる。続いて、オブジェクトデコーディング部１２１は、レベル調節されたオブジェクト信号をデコーディングすることができる。したがって、レンダリング部１２３は、オブジェクトデコーディング部１２１から供給されたデコーディングされたオブジェクト信号のレベルを調節する必要はなく、単に、オブジェクトデコーディング部１２１から供給されたデコーディングされたオブジェクト信号をマルチチャネル空間内に配置する。要するに、オブジェクトデコーディング部１２１が制御情報によってオブジェクトデコーディング部１２１で生成されたオブジェクト信号のレベルを調節するので、オブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルをさらに調節する必要が無く、レンダリング部１２３は、オブジェクトデコーディング部１２１により生成されたオブジェクト信号をマルチチャネル空間内に容易に配置することができる。したがって、ミキシング／レンダリングの複雑度を減少させることが可能になる。

図２の実施例によれば、オーディオデコーディング装置１２０のオブジェクトデコーディング部は、制御情報の分析を通じてデコーディング動作を適切に実行することによって、デコーディングの複雑度及びミキシング／レンダリングの複雑度を減少させることができる。オーディオデコーディング装置１２０により実行された上記の方法の組合せを用いることができる。

図３は、本発明の第２実施例によるオーディオデコーディング装置１３０を示すブロック図である。図３を参照すると、オーディオデコーディング装置１３０は、オブジェクトデコーディング部１３１及びレンダリング部１３３を含む。オーディオデコーディング装置１３０は、付加情報をオブジェクトデコーディング部１３１だけでなくレンダリング部１３３にも供給するという特徴を有する。

オーディオデコーディング装置１３０は、無音期間に相応するオブジェクト信号がある場合にもデコーディング動作を効果的に実行することができる。例えば、第２乃至第４オブジェクト信号は、楽器が演奏される間の音楽演奏期間に対応することができ、第１オブジェクト信号は伴奏が演奏される間の無音期間に対応することができる。この場合、複数のオブジェクト信号のいずれかが無音期間に対応するかを表す情報を付加情報に含むことができ、この付加情報は、オブジェクトデコーディング部１３１だけでなくレンダリング部１３３にも供給することができる。

オブジェクトデコーディング部１３１は、無音期間に対応するオブジェクト信号をデコーディングしないことによってデコーディングの複雑度を最小化することができる。オブジェクトデコーディング部１３１は、０値に対応するオブジェクト信号を設定し、このオブジェクト信号のレベルをレンダリング部１３３に転送する。通常、０値を持つオブジェクト信号は０でない値を持つオブジェクト信号と同様に取り扱われてミキシング／レンダリング動作が行われることがある。

これに対し、オーディオデコーディング装置１３０は、複数のオブジェクト信号のいずれかが無音期間に相応するかを表す情報を含む付加情報をレンダリング部１３３に転送するため、無音期間に対応するオブジェクト信号がレンダリング部１３３でミキシング／レンダリングされるのを防ぐことができる。したがって、オーディオデコーディング装置１３０は、ミキシング／レンダリングの余分な複雑度の増加を防止することができる。

レンダリング部１３３は、ステレオ場面に各オブジェクト信号の音像を定位させる目的で、制御情報中に含まれたミキシングパラメータ情報を用いることができる。ミキシングパラメータ情報は、振幅情報のみを含んだり、振幅情報及び時間情報の両方を含むことができる。ミキシングパラメータ情報は、ステレオ音像の定位の他に、利用者による空間音質の心理音響認知にも影響を及ぼすことができる。

例えば、時間パンニング方法及び振幅パンニング方法のそれぞれを用いて生成され、２−チャネルステレオスピーカを用いて同一位置に再生された２つの音像を比較すると、振幅パンニング方法が音像の正確な定位に寄与し、時間パンニング方法が空間の深い感じを持つ自然な音を提供することが分かる。したがって、マルチチャネル空間にオブジェクト信号を配置する上でレンダリング部１３３が振幅パンニング方法のみを利用するとすれば、レンダリング部１３３は、各音像を正確に配置することはできるが、時間パンニング方法を利用する場合のように音の奥深い感じを提供することはできない。利用者は、音源の種類によって音像の正確な定位よりも音の奥深い感じを好む場合もあり、その反対の場合もある。

図４（ａ）及び図４（ｂ）では、２−チャネルステレオスピーカで信号の再生を実行する際に、音像の定位上の時間差及び強度（振幅差）の影響を説明する。図４（ａ）及び図４（ｂ）を参照すると、音像は互いに独立した振幅差及び時間差によって予め定められた角度に位置することができる。例えば、約８ｄＢの振幅差、または約８ｄＢの振幅差と等価である約０.５ｍｓの時間差を、２０゜の角度に音像を定位させるために用いることができる。したがって、振幅差のみがミキシングパラメータ情報として提供される場合であっても、音像の定位の間に、振幅差を該振幅差と等価である時間差に変換することによって、異なる特性を持つ様々な音を得ることが可能である。

図５は、１０゜、２０゜及び３０゜の角度に音像を定位させるのに必要な振幅差と時間差間の対応に関する関数を示す。図５に示す関数は、図４（ａ）及び図４（ｂ）に基づいて得ることができる。図５を参照すると、様々な振幅差−時間差の組合せが、予め定められた位置に音像を定位させるために提供することができる。例えば、２０゜の角度に音像を定位させるために８ｄＢの振幅差がミキシングパラメータ情報として提供されると仮定する。図５に示す関数によって、また３ｄＢの振幅差と０．３ｍｓの時間差の組合せを用いて音像は２０゜の角度に位置することができる。この場合、振幅差情報だけでなく時間差情報がミキシングパラメータ情報として提供されることができ、これによって空間の感じ（ｆｅｅｌｉｎｇ ｏｆ ｓｐａｃｅ）を向上させることができる。

したがって、ミキシング／レンダリング動作の間に利用者の所望する特性を持つ音を生成すべく、ミキシングパラメータ情報は、振幅パンニングと時間パンニングのうち、利用者に適しているいずれかが実行されうるように適切に変換することができる。すなわち、ミキシングパラメータ情報が振幅差情報のみを含み、利用者が空間の奥深い感じを持つ音を希望する場合には、振幅差情報は心理音響的データを参照して振幅差情報と等価である時間差情報に変換することができる。また、利用者が空間の奥深い感じを持つ音及び音像の正確な定位を希望する場合には、振幅差情報は、元来の振幅情報と等価である時間差情報と振幅差情報の組合せに変換することができる。

また、ミキシングパラメータ情報が時間差情報のみを含み、利用者が音像の正確な定位を好む場合には、時間差情報は、時間差情報と等価である振幅差情報に変換したり、音像定位の正確性及び空間の感じを両方とも向上させることによって利用者の好みを満足させることのできる振幅差情報と時間差情報との組合せに変換することができる。

また、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が音像の正確な定位を好む場合には、振幅差情報と時間差情報との組合せは、元来の振幅差情報と時間差情報との組合せと等価である振幅差情報に変換することができる。一方、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が空間感の向上を好む場合には、振幅差情報と時間差情報との組合せは、振幅差情報と元来の時間差情報との組合せと等価である時間差情報に変換することができる。

図６において、制御情報は、１つ以上のオブジェクト信号に関する調和情報及びミキシング／レンダリング情報を含むことができる。調和情報は、ピッチ情報、基本周波数情報、１つ以上のオブジェクト信号に関する優勢周波数バンド情報、及びオブジェクト信号のそれぞれの各サブバンドのエネルギ及びスペクトラムの説明のうち少なくとも１つを含むことができる。

サブバンド部でのレンダリング動作を実行するレンダリング部の解像度が充分でないから、調和情報はレンダリング動作中にオブジェクト信号を処理するのに用いることができる。

調和情報が１つ以上のオブジェクト信号に関するピッチ情報を含む場合には、オブジェクト信号のそれぞれの利得は、コムフィルタまたは逆コムフィルタを用いて予め定められた周波数ドメインを弱化させたり強化させたりすることによって調節することができる。例えば、複数のオブジェクト信号の１つが音声信号であれば、オブジェクト信号は、音声信号のみを弱化させることによってカラオケとして用いることができる。また、調和情報が１つ以上のオブジェクト信号に関する優勢周波数ドメイン情報を含む場合には、優勢周波数ドメインを弱化させたり強化させる処理を実行することができる。また、調和情報が１つ以上のオブジェクト信号に関するスペクトラム情報を含む場合には、オブジェクト信号のそれぞれの利得はサブバンド境界によって制限されずに弱化または強化を実行することによって制御することができる。

図７は、本発明の第３実施例によるオーディオデコーディング装置１４０を示すブロック図である。図７を参照すると、オーディオデコーディング装置１４０は、オブジェクトデコーディング部及びレンダリング部の代わりに、マルチチャネルデコーディング部１４１を採用し、オブジェクト信号がマルチチャネル空間内に適当に配置された後に複数のオブジェクト信号をデコーディングする。

より詳細には、オーディオデコーディング装置１４０は、マルチチャネルデコーディング部１４１及びパラメータコンバーティング部１４５を含む。マルチチャネルデコーディング部１４１は、パラメータコンバーティング部１４５より提供されたチャネルベース付加情報である空間パラメータ情報及びダウンミックス信号に基づいて、マルチチャネル空間内にそのオブジェクト信号が既に配置されたマルチチャネル信号を生成する。パラメータコンバーティング部１４５は、オーディオエンコーディング装置（図示せず）より転送された制御情報及び付加情報を分析し、分析結果に基づく空間パラメータ情報を生成する。より詳細には、パラメータコンバーティング部１４５は、プレイバック構成情報及びミキシング情報を含む制御情報と付加情報とを結合させることによって空間パラメータ情報を生成する。すなわち、パラメータコンバーティング部１４５は、付加情報と制御情報との組合せをＯＴＴ（Ｏｎｅ−Ｔｏ−Ｔｗｏ ｂｏｘ）またはＴＴＴ（Ｔｗｏ−Ｔｏ−Ｔｈｒｅｅ ｂｏｘ）に対応する空間データへの変換を実行する。

オーディオデコーディング装置１４０は、オブジェクトベースデコーディング動作及びミキシング／レンダリング動作が統合されるようにマルチチャネルデコーディングを実行でき、各オブジェクト信号のデコーディングをスキップすることができる。したがって、デコーディング及び／またはミキシング／レンダリングの複雑度を減少させることが可能になる。

例えば、１０個のオブジェクト信号が存在し、１０個のオブジェクト信号に基づいて獲得されたマルチチャネル信号が５．１チャネルスピーカ再生システムにより再生される場合、一般のオブジェクトベースオーディオデコーディング装置は、ダウンミックス信号及び付加情報に基づく１０個のオブジェクト信号に対応してデコーディングされた信号を個別に生成し、続いて、それらオブジェクト信号が５．１チャネルスピーカ環境に適合するようにマルチチャネル空間内に１０個のオブジェクト信号を適切に配置することによって５．１チャネル信号を生成する。しかし、５．１チャネル信号の生成の際に１０個のオブジェクト信号を生成するということは非効率であり、この問題は、生成されたマルチチャネル信号のチャネル数とオブジェクト信号数との差が増加するほどより深刻化する。

これに対し、図７の実施例によれば、オーディオデコーディング装置１４０は、付加情報及び制御情報に基づいて５．１チャネル信号に適合した空間パラメータ情報を生成し、空間パラメータ情報及びダウンミックス信号をマルチチャネルデコーディング部１４１に供給する。続いて、マルチチャネルデコーディング部１４１は、空間パラメータ情報及びダウンミックス信号に基づいて５．１チャネル信号を生成する。言い換えると、出力されるチャネルの数が５．１チャネルである場合、オーディオデコーディング装置１４０は、１０個のオブジェクト信号を生成せずに、ダウンミックス信号に基づいて５．１チャネル信号を迅速に生成でき、よって、複雑度において一般のオーディオデコーディング装置に比べてより効果的となる。

オーディオエンコーディング装置より転送された制御情報及び付加情報の分析を通じて、ＯＴＴ ｂｏｘ及びＴＴＴ ｂｏｘそれぞれに対応する空間パラメータ情報を計算するのに必要な計算量が、各オブジェクト信号のデコーディング後にミキシング／レンダリング動作を実行するのに必要な計算量よりも少ない場合に、オーディオデコーディング装置１４０は効率的なものと見なされる。

オーディオデコーディング装置１４０は、付加情報及び制御情報の分析を通じて空間パラメータ情報を生成するためのモジュールを、一般のマルチチャネルオーディオデコーディング装置に加えることによって簡単に得ることができ、したがって、一般のマルチチャネルオーディオデコーディング装置と互換性を維持することができる。また、エンベロープシェーパ、サブバンド時間処理（ＳＴＰ；ｓｕｂ−ｂａｎｄ ｔｅｍｐｏｒａｌ ｐｒｏｃｅｓｓｉｎｇ）ツール及びデコリレータのような一般のマルチチャネルオーディオデコーディング装置の現存するツールを用いて、オーディオデコーディング装置１４０は音質を向上させることができる。与えられたこれら全てから、一般のマルチチャネルオーディオデコーディング方法の全て利点は、オブジェクトオーディオデコーディング方法に容易に適用することができるという結論が導かれる。

パラメータコンバーティング部１４５よりマルチチャネルデコーディング部１４１に転送された空間パラメータ情報は、転送するのに適合するように圧縮することができる。また、空間パラメータ情報は、一般のマルチチャネルエンコーディング装置より転送されたデータのフォーマットと同一のフォーマットを持つことができる。すなわち、空間パラメータ情報は、ハフマンデコーディング動作またはパイロットデコーディング動作を行なうことができ、よって、圧縮されていない空間キューデータとして各モジュールに転送することができる。ハフマンデコーディング動作は、空間パラメータ情報を遠隔位置のマルチチャネルオーディオデコーディング装置に転送するのに適合し、パイロットデコーディング動作は、マルチチャネルオーディオデコーディング装置が、圧縮された空間キューデータを、デコーディング動作に容易に用いられうる圧縮されていない空間キューデータに変換する必要がないという点で便利である。

付加情報及び制御情報の分析に基づく空間パラメータ情報の構成は、ダウンミックス信号と空間パラメータ情報間の遅延を引き起こすことができる。これをアドレスするために、ダウンミックス信号及び空間パラメータ情報が互いに同期化するように追加的なバッファをダウンミックス信号または空間パラメータ情報のために提供することができる。しかし、これらの方法は、追加的なバッファの提供が要求されるという点で不便である。また、付加情報は、ダウンミックス信号と空間パラメータ情報間の遅延発生の可能性を考慮し、ダウンミックス信号に先立って転送することができる。この場合に、付加情報と制御情報とを結合することによって得られた空間パラメータ情報は調節されることなく容易に用いることができる。

ダウンミックス信号の複数のオブジェクト信号が、異なるレベルを持つ場合、ダウンミックス信号を直接補償できるＡＤＧモジュールが、オブジェクト信号の相対的なレベルを決定することができ、よって、オブジェクト信号のそれぞれは、チャネルレベル差情報、チャネル間相関（ＩＣＣ；ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｃｏｒｒｅｌａｔｉｏｎ）情報及びチャネル予測係数（ＣＰＣ；ｃｈａｎｎｅｌ ｐｒｅｄｉｃｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）のような空間キューデータを用いてマルチチャネル空間内の予め定められた位置に割り当てることができる。

例えば、予め定められたオブジェクト信号がマルチチャネル空間内の予め定められた位置に割り当てられ、他のオブジェクト信号よりも高いレベルを持つということを制御情報が示す場合には、一般のマルチチャネルデコーディング部はダウンミックス信号のチャネルエネルギ間の差を計算し、このダウンミックス信号を計算の結果に基づいて多くの出力チャネルに分割することができる。しかし、一般のマルチチャネルデコーディング部は、ダウンミックス信号中の特定の音のボリュームを上げたり下げたりすることはできない。言い換えると、一般のマルチチャネルデコーディング部は、ダウンミックス信号を多くの出力チャネルに簡単に分配し、よって、ダウンミックス信号中の音のボリュームを上げたり下げたりすることができない。

オブジェクトエンコーディング部により生成されたダウンミックス信号の複数のオブジェクト信号のそれぞれを制御情報によってマルチチャネル空間内の予め定められた位置に割り当てることは比較的易しい。しかし、予め定められたオブジェクト信号の振幅を増やしたり減らしたりするには特別な技術が要求される。言い換えると、オブジェクトエンコーディング部により生成されたダウンミックス信号をそのまま利用するとしたらダウンミックス信号のそれぞれのオブジェクト信号の振幅は減らし難い。

したがって、本発明の実施例によって、オブジェクト信号の相対的な振幅が、図８に示すＡＤＧモジュールを用いて制御情報によって変わりうる。より詳細には、オブジェクトエンコーディング部より転送されたダウンミックス信号の複数のオブジェクト信号のいずれか１つの振幅は、ＡＤＧモジュール１４７によって増加されたり減少されたりすることができる。ＡＤＧモジュール１４７により実行された補償によって得られたダウンミックス信号はマルチチャネルデコーディングすることができる。

ダウンミックス信号のオブジェクト信号の相対的な振幅が、ＡＤＧモジュール１４７を用いて適切に調節される場合には、一般のマルチチャネルデコーディング部を用いてオブジェクトデコーディングを実行することができる。オブジェクトエンコーディング部により生成されたダウンミックス信号がモノまたはステレオ信号または３以上のチャネルを持つマルチチャネル信号であると、ダウンミックス信号は、ＡＤＧモジュール１４７により処理することができる。オブジェクトエンコーディング部により生成されたダウンミックス信号が２以上のチャネルを有し、ＡＤＧモジュール１４７により調節されるべき予め定められたオブジェクト信号がダウンミックス信号の１つのチャネルでのみ存在する場合には、ＡＤＧモジュール１４７は、ダウンミックス信号の全てのチャネルに適用される代わりに、予め定められたオブジェクト信号を含むチャネルにのみ適用することができる。上記の方法でＡＤＧモジュール１４７により処理されたダウンミックス信号は、マルチチャネルデコーディング部の構造を修正することなく一般のマルチチャネルデコーディング部を用いて容易に処理することができる。

最終出力信号が、マルチチャネルスピーカにより再生されうるマルチチャネル信号ではなくバイノーラル信号である場合であっても、ＡＤＧモジュール１４７は、最終出力信号のオブジェクト信号の相対的な振幅を調節するのに用いることができる。

ＡＤＧモジュール１４７を用いる代わりに、複数のオブジェクト信号の生成期間に各オブジェクト信号に適用される利得値を特定する利得情報を制御情報中に含むことができる。このため、一般のマルチチャネルデコーディング部の構造は修正することができる。存在するマルチチャネルデコーディング部の構造の修正を必要とするとはいえ、この方法は、ＡＤＧを計算して各オブジェクト信号を補償することなく、デコーディング動作の間に各オブジェクト信号に利得値を適用するから、デコーディングの複雑度を低減する上で便利である。

図９は、本発明の第４実施例によるオーディオデコーディング装置１５０を示すブロック図である。図９を参照すると、オーディオデコーディング装置１５０は、バイノーラル信号を生成することに特徴がある。

より詳細には、オーディオデコーディング装置１５０は、マルチチャネルバイノーラルデコーディング部１５１、第１パラメータコンバーティング部１５７及び第２パラメータコンバーティング部１５９を含む。

第２パラメータコンバーティング部１５９は、オーディオエンコーディング装置より供給された制御情報及び付加情報を分析し、分析の結果に基づいて空間パラメータ情報を構成する。第１パラメータコンバーティング部１５７は、頭部伝達関数（ＨＲＴＦ；ｈｅａｄ−ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）パラメータのような３次元（３Ｄ）情報を空間パラメータ情報に追加することによって、マルチチャネルバイノーラルデコーディング部１５１で使用できるようなバイノーラルパラメータ情報を構成する。マルチチャネルバイノーラルデコーディング部１５１は、仮想３Ｄパラメータ情報をダウンミックス信号に適用することによって仮想３Ｄ信号を生成する。

第１パラメータコンバーティング部１５７及び第２パラメータコンバーティング部１５９は、付加情報、制御情報及びＨＲＴＦパラメータを受信し、これら付加情報、制御情報及びＨＲＴＦパラメータに基づいてバイノーラルパラメータ情報を構成する単一モジュール、すなわち、パラメータ変換モジュール１５５に取って代わっても良い。

一般に、ヘッドホンで１０個のオブジェクト信号を含むダウンミックス信号の再生のためのバイノーラル信号を生成するために、オブジェクト信号は、ダウンミックス信号及び付加情報に基づく１０個のオブジェクト信号に対応するそれぞれの１０個のデコーディングされた信号を生成しなければならない。その後、レンダリング部は、５−チャネルスピーカ環境に適合するように制御情報を参照してマルチチャネル空間内の予め定められた位置に１０個のオブジェクト信号のそれぞれを割り当てる。その後に、レンダリング部は、５−チャネルスピーカを用いて再生できる５−チャネル信号を生成する。その後、レンダリング部は、ＨＲＴＦパラメータを５−チャネル信号に適用して２−チャネル信号を生成する。要するに、上記の一般的なオーディオデコーディング方法は、１０個のオブジェクト信号を再生する段階、１０個のオブジェクト信号を５−チャネル信号に変換する段階、及び５−チャネル信号に基づく２−チャネル信号を生成する段階を含み、効果的でない。

これに対し、オーディオデコーディング装置１５０は、オブジェクトオーディオ信号に基づいてヘッドホンを用いて再生できるバイノーラル信号を容易に生成できる。しかも、オーディオデコーディング装置１５０は、付加情報及び制御情報の分析を通じて空間パラメータ情報を構成し、よって、一般的なマルチチャネルバイノーラルデコーディング部を用いてバイノーラル信号を生成できる。さらに、付加情報、制御情報及びＨＲＴＦパラメータを受信する統合されたパラメータコンバーティング部が組み込まれる場合においても、オーディオデコーディング装置１５０は一般的なマルチチャネルバイノーラルデコーディング部を依然として利用でき、付加情報、制御情報及びＨＲＴＦパラメータに基づくバイノーラルパラメータ情報を構成できる。

図１０は、本発明の第５実施例によるオーディオデコーディング装置１６０を示すブロック図である。図１０を参照すると、オーディオデコーディング装置１６０は、ダウンミックスプロセシング部１６１、マルチチャネルデコーディング部１６３及びパラメータコンバーティング部１６５を含む。ダウンミックスプロセシング部１６１及びパラメータコンバーティング部１６３は、単一モジュール１６７としても良い。

パラメータコンバーティング部１６５は、マルチチャネルデコーディング部１６３で使用可能な空間パラメータ情報及びダウンミックスプロセシング部１６１で使用可能なパラメータ情報を生成する。ダウンミックスプロセシング部１６１は、ダウンミックス信号に前処理動作を実行し、前処理動作により生成されたダウンミックス信号をマルチチャネルデコーディング部１６３に転送する。マルチチャネルデコーディング部１６３は、ダウンミックスプロセシング部１６１より転送されたダウンミックス信号にデコーディング動作を実行し、ステレオ信号、バイノーラルステレオ信号またはマルチチャネル信号を出力する。ダウンミックスプロセシング部１６１により実行された前処理動作の例には、フィルタリングを用いた時間ドメインまたは周波数ドメインへのダウンミックス信号の変換または修正が含まれる。

オーディオデコーディング装置１６０に入力されたダウンミックス信号がステレオ信号であれば、マルチチャネルデコーディング部１６３は、複数のチャネルの１つであるレフトチャネルに対応するダウンミックス信号の成分を複数のチャネルの他の１つであるライトチャネルにマッピングできないから、ダウンミックス信号は、マルチチャネルデコーディング部１６３に入力される前にダウンミックスプロセシング部１６１で実行されたダウンミックス前処理することができる。したがって、レフトチャネルに分類されたオブジェクト信号の位置をライトチャネルの方向に移動させるために、オーディオデコーディング装置１６０に入力されたダウンミックス信号は、ダウンミックスプロセシング部１６１により前処理することができ、前処理されたダウンミックス信号は、マルチチャネルデコーディング部１６３に入力することができる。

ステレオダウンミックス信号の前処理は、付加情報及び制御情報から獲得された前処理した情報に基づいて実行することができる。

図１１は、本発明の第６実施例によるオーディオデコーディング装置１７０のブロック図である。図１１を参照すると、オーディオデコーディング装置１７０は、マルチチャネルデコーディング部１７１、チャネルプロセシング部１７３及びパラメータコンバーティング部１７５を含む。

パラメータコンバーティング部１７５は、マルチチャネルデコーディング部１７３で使用可能な空間パラメータ情報及びチャネルプロセシング部１７３で使用可能なパラメータ情報を生成する。チャネルプロセシング部１７３は、マルチチャネルデコーディング部１７３より出力された信号に後処理動作を実行する。マルチチャネルデコーディング部１７３より出力された信号の例には、ステレオ信号、バイノーラルステレオ信号及びマルチチャネル信号を含む。

ポストプロセシング部１７３により実行された後処理動作には、出力信号の各チャネルまたは全てのチャネルの修正及び変換が含まれる。例えば、付加情報が予め定められたオブジェクト信号に関する基本周波数情報を含む場合には、チャネルプロセシング部１７３は、基本周波数情報を参照して予め定められたオブジェクト信号から調和成分を除去することができる。マルチチャネルオーディオデコーディング方法は、カラオケシステムに用いるには充分に効果的でない場合もあり得る。しかし、音声オブジェクト信号に関する基本周波数情報が付加情報内に含まれ、音声オブジェクト信号の調和成分が後処理動作中に除去される場合には、図１１の実施例を用いる高性能カラオケシステムを実現することができる。図１１の実施例は、音声オブジェクト信号を除くオブジェクト信号に適用することができる。例えば、図１１の実施例を用いて予め定められた楽器の音を除去することが可能である。また、図１１の実施例を用いてオブジェクト信号に関する基本周波数情報によって予め定められた調和成分を増幅することができる。

チャネルプロセシング部１７３は、ダウンミックス信号に追加的なエフェクトプロセシングを実行することができる。また、チャネルプロセシング部１７３は、追加的なエフェクトプロセシングによって得た信号を、マルチチャネルデコーディング部１７１より出力された信号に付加することができる。チャネルプロセシング部１７３は、必要時にオブジェクトのスペクトラムを変化させたりダウンミックス信号を修正したりすることができる。ダウンミックス信号への反射のようなエフェクトプロセシング動作を直接実行し、エフェクトプロセシング動作によって得られた信号をマルチチャネルデコーディング部１７１に転送することが適切でない場合には、ダウンミックスプロセシング部１７３は、ダウンミックス信号へのエフェクトプロセシングを実行する代わりに、エフェクトプロセシング動作によって得た信号をマルチチャネルデコーディング部１７１の出力に付加することができる。

オーディオデコーディング装置１７０は、チャネルプロセシング部１７３の他、ダウンミックスプロセシング部を含むように作製することができる。この場合に、ダウンミックスプロセシング部は、マルチチャネルデコーディング部１７３の前に配置することができ、チャネルプロセシング部１７３はマルチチャネルデコーディング部１７３の後に配置することができる。

図１２は、本発明による第７実施例によるオーディオデコーディング装置２１０を示すブロック図である。図１２を参照すると、オーディオデコーディング装置２１０は、オブジェクトデコーディング部の代わりに、マルチチャネルデコーディング部２１３を用いる。より詳細には、オーディオデコーディング装置２１０は、マルチチャネルデコーディング部２１３、トランスコーディング部２１５、レンダリング部２１７及び３Ｄ情報データベース２１９を含む。

レンダリング部２１７は、制御情報に含まれたインデックスデータに対応する３Ｄ情報に基づいて複数のオブジェクト信号の３Ｄ位置を決定する。トランスコーディング部２１５は、レンダリング部２１７により適用された３Ｄ情報に複数のオブジェクトオーディオ信号に関する位置情報を合成することによってチャネルベース付加情報を生成する。マルチチャネルデコーディング部２１３は、チャネルベース付加情報をダウンミックス信号に適用することによって３Ｄ信号を出力する。

ＨＲＴＦは３Ｄ情報として用いることができる。ＨＲＴＦは、任意位置における音源と鼓膜との間の音波の転送を説明し、音源の高度及び方向によって変わる値を返す伝達関数である。方向性を持たない信号がＨＲＴＦを用いてフィルタリングされると、信号は、特定の方向から再生されるかのように聞こえる。

入力ビットストリームを受信する場合、オーディオデコーディング装置２１０は、デマルチプレクサ（図示せず）を用いて入力ビットストリームからオブジェクトベースパラメータ情報及びオブジェクトベースダウンミックス信号を抽出する。その後、レンダリング部２１７は、複数のオブジェクトオーディオ信号の位置を決定するのに用いられる制御情報からインデックスデータを抽出し、３Ｄ情報データベース２１９から抽出されたインデックスデータに対応する３Ｄ情報を回収する。

より詳細には、オーディオデコーディング装置２１０で用いられる制御情報に含まれたミキシングパラメータ情報は、３Ｄ情報を検索するのに必要なレベル情報だけでなく、インデックスデータも含むことができる。このミキシングパラメータ情報は、レベル情報及び時間情報を適切に結合することによって得られた１つ以上のパラメータ、位置情報及びチャネル間の時間差に関する時間情報を含むことができる。

オブジェクトオーディオ信号の位置は、デフォルトミキシングパラメータ情報によって初期に決定することができ、利用者が希望する位置に対応する３Ｄ情報をオブジェクトオーディオ信号に適用することによって後で変更することができる。また、利用者が３Ｄ効果をいくつかのオブジェクトオーディオ信号に適用することを希望する場合には、利用者が３Ｄ効果を適用することを希望しない他のオブジェクトオーディオ信号に関する時間情報及びレベル情報は、ミキシングパラメータ情報として用いることができる。

レンダリング部２１７によってＨＲＴＦのような３Ｄ情報が適用される複数のオブジェクト信号の位置情報とオーディオエンコーディング装置より転送されたＮ個のオブジェクト信号に関するオブジェクトベースパラメータ情報とを合成することによって、トランスコーディング部２１５はＭ個のチャネルに関するチャネルベース付加情報を生成する。

マルチチャネルデコーディング部２１３は、トランスコーディング部２１５より供給されたチャネルベース付加情報及びダウンミックス信号に基づくオーディオ信号を生成し、チャネルベース付加情報に含まれた３Ｄ情報を用いて３Ｄレンダリング動作を実行することによって３Ｄマルチチャネル信号を生成する。

図１３は、本発明の第８実施例によるオーディオデコーディング装置２２０を示すブロック図である。図１３を参照すると、オーディオデコーディング装置２２０は、トランスコーディング部２２５がチャネルベース付加情報と３Ｄ情報を個別にマルチチャネルデコーディング部２２３に転送するという点で、図１２に示すオーディオデコーディング装置２１０と異なる。言い換えると、オーディオデコーディング装置２１０のトランスコーディング部２１５は、３Ｄ情報を含むチャネルベース付加情報をマルチチャネルデコーディング部２１３に転送する一方、オーディオデコーディング装置２２０のトランスコーディング部２２５はＮ個のオブジェクト信号に関するオブジェクトベースパラメータ情報からＭ個のチャネルに関するチャネルベース付加情報を得、Ｎ個のオブジェクト信号のそれぞれに適用された３Ｄ情報をマルチチャネルデコーディング部２２３に転送する。

図１４を参照すると、チャネルベース付加情報及び３Ｄ情報は、複数のフレームインデックスなどを含むことができる。したがって、マルチチャネルデコーディング部２２３は、３Ｄ情報及びチャネルベース付加情報のそれぞれのフレームインデックスを参照した３Ｄ情報及びチャネルベース付加情報を同期化することができ、よって、３Ｄ情報を、３Ｄ情報に対応するビットストリームのフレームに適用することができる。例えば、インデックス２を持つ３Ｄ情報は、インデックス２を持つフレーム２の始部に適用することができる。

チャネルベース付加情報及び３Ｄ情報はいずれもフレームインデックスを含むので、３Ｄ情報が時間を超過して更新されても、３Ｄ情報の適用されるチャネルベース付加情報の時間的位置を効果的に決定することができる。言い換えると、トランスコーディング部２２５は、チャネルベース付加情報中に複数のフレームインデックス及び３Ｄ情報を含み、よって、マルチチャネルデコーディング部２２３はチャネルベース付加情報と３Ｄ情報を容易に同期化することができる。

ダウンミックスプロセシング部２３１、トランスコーディング部２３５、レンダリング部２３７及び３Ｄ情報データベースは、単一モジュール２３９にしても良い。

図１５は、本発明の第９実施例によるオーディオデコーディング装置２３０を示すブロック図である。図１５を参照すると、オーディオデコーディング装置２３０は、ダウンミックスプロセシング部２３１をさらに含むという点で、図１４に示すオーディオデコーディング装置２２０と区別される。

より詳細には、オーディオデコーディング装置２３０は、トランスコーディング部２３５、レンダリング部２３７、３Ｄ情報データベース２３９、マルチチャネルデコーディング部２３３及びダウンミックスプロセシング部２３１を含む。トランスコーディング部２３５、レンダリング部２３７、３Ｄ情報データベース２３９及びマルチチャネルデコーディング部２３３は、図１４におけるそれらとそれぞれ同一である。ダウンミックスプロセシング部２３１は、位置調節のためにステレオダウンミックス信号に前処理動作を実行する。３Ｄ情報データベース２３９はレンダリング部２３７と統合することができる。予め定められた効果をダウンミックス信号に適用するためのモジュールもこのオーディオデコーディング装置２３０内に組み込むことができる。

図１６は、本発明の第１０実施例によるオーディオデコーディング装置２４０を示すブロック図である。図１６を参照すると、オーディオデコーディング装置２４０は、多点制御部コンバイナ２４１を含むという点で、図１５に示すオーディオデコーディング装置２３０と区別される。

すなわち、オーディオデコーディング装置２３０と同様に、オーディオデコーディング装置２４０は、ダウンミックスプロセシング部２４３、マルチチャネルデコーディング部２４４、トランスコーディング部２４５、レンダリング部２４７及び３Ｄ情報データベース２４９を含む。多点制御部コンバイナ２４１は、オブジェクトベースエンコーディングによって得た複数のビットストリームを結合して単一のビットストリームを得る。例えば、第１オーディオ信号のための第１ビットストリームと第２オーディオ信号のための第２ビットストリームが入力される場合、多点制御部コンバイナ２４１は、第１ビットストリームから第１ダウンミックス信号を抽出し、第２ビットストリームから第２ダウンミックス信号を抽出した後、第１及び第２ダウンミックス信号を結合させることによって第３ダウンミックス信号を生成する。なお、多点制御部コンバイナ２４１は、第１ビットストリームから第１オブジェクトベース付加情報を抽出し、第２ビットストリームから第２オブジェクトベース付加情報を抽出した後、第１オブジェクトベース付加情報と第２オブジェクトベース付加情報とを結合させることによって第３オブジェクトベース付加情報を生成する。その後、多点制御部コンバイナ２４１は、第３ダウンミックス信号と第３オブジェクトベース付加情報とを結合させることによってビットストリームを生成し、生成されたビットストリームを出力する。

したがって、各オブジェクト信号をエンコーディングまたはデコーディングする場合に比べて、本発明の第１０実施例によると、２以上の通信相手より転送された信号まで効果的に処理することが可能になる。

多点制御部コンバイナ２４１が、複数のビットストリームから個別に抽出され、他の圧縮コーデックで結合された複数のダウンミックス信号を単一のダウンミックス信号内に統合するようにするために、これらのダウンミックス信号は、ダウンミックス信号の圧縮コーデックの種類によって予め定められた周波数ドメインの信号またはパルスコード変調（ＰＣＭ；ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）信号に変換する必要があり、この変換によって得た信号またはＰＣＭ信号は共に結合する必要があり、この結合によって得られた信号は、予め定められた圧縮コーデックを用いて変換する必要がある。この場合に、ダウンミックス信号が予め定められた周波数ドメインの信号またはＰＣＭ信号に統合されるか否かによって遅延が発生しうる。しかし、遅延はデコーディング部によって正確に推定することができない。したがって、遅延はビットストリームに含まれ、ビットストリームと共に転送する必要がある。遅延は、ＰＣＭ信号内の遅延サンプルの数または予め定められた周波数ドメイン内の遅延サンプルの数を表す。

一般的なマルチチャネルコーディング動作（例えば、５．１チャネルまたは７．１チャネルコーディング動作）中に一般的に処理された入力信号の数に比べてオブジェクトベースオーディオコーディング動作中に多くの入力信号が時々処理されるべき場合がる。したがって、オブジェクトベースオーディオコーディング方法は、一般的なチャネルベースマルチチャネルオーディオコーディング方法に比べてより高いビットレートを必要とする。しかし、オブジェクトベースオーディオコーディング方法は、チャネル信号よりも少ない数のオブジェクト信号の処理を含むから、オブジェクトベースオーディオコーディング方法を用いて動的な出力信号を生成することが可能である。

以下、本発明の一実施例によるオーディオエンコーディング方法を、図１７乃至図２０を参照して詳細に説明する。

オブジェクトベースオーディオエンコーディング方法において、オブジェクト信号は、人の声または楽器の音のような個別の音を表すように定義することができる。また、弦楽器（例えば、バイオリン、ヴィオラ及びチェロ）の音のような類似の特性を持つ音、同一周波数バンドを持つ音またはこれら音源の方向及び角度によって同一カテゴリーに分類される音は一緒にグルーピングすることができ、同一オブジェクト信号によって定義することができる。また、オブジェクト信号は上記の方法の組合せを用いて定義することができる。

複数のオブジェクト信号は、ダウンミックス信号及び付加情報として転送することができる。転送される情報が生成される間に、ダウンミックス信号またはダウンミックス信号の複数のオブジェクト信号のそれぞれのエネルギまたはパワーは、ダウンミックス信号のエンベロープを検出する目的で最初から計算される。この計算の結果は、オブジェクト信号またはダウンミックス信号を転送するのに用いられたり、オブジェクト信号のレベルの比を計算するのに用いることができる。

線形予測コーディング（ＬＰＣ；ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇ）アルゴリズムを、ビットレートをより下げるのに用いることができる。より詳細には、信号のエンベロープを表す多くのＬＰＣ係数は信号の分析を通じて生成され、信号に関するエンベロープ情報を転送する代わりにＬＰＣ係数が転送される。この方法は、ビットレートにおいて効果的である。しかし、これらＬＰＣ係数は信号の実際エンベロープから非常にずれやすいため、この方法は誤り訂正のような追加プロセスを必要とする。要するに、信号のエンベロープ情報を転送することを含む方法は、高音質を保障することはできるが、転送されるべき情報量が相当増加してしまう。一方、ＬＰＣ係数の利用を含む方法は、転送されるへぎ情報量を低減することはできるが、誤り訂正のような追加的なプロセスが必要とされ、音質低下を招く。

本発明の一実施例によって、これらの方法の組合せを用いることができる。言い換えると、信号のエンベロープは、信号のパワーまたはエネルギまたはインデックス値または信号のパワーまたはエネルギに対応するＬＰＣ係数のような他の値で表現することができる。

信号に関するエンベロープ情報は、時間セクションまたは周波数セクションのユニットで得ることができる。より詳細には、図１７を参照すると、信号に関するエンベロープ情報は、フレームユニットで得ることができる。また、信号がＱＭＦ（ｑｕａｄｒａｔｕｒｅ ｍｉｒｒｏｒ ｆｉｌｔｅｒ）バンクのようなフィルタバンクを用いて周波数バンド構造で表現されるとしたら、信号に関するエンベロープ情報は、周波数サブバンド、周波数サブバンドよりも小さい個体である周波数サブバンドパーティション、周波数サブバンドのグループまたは周波数サブバンドパーティションのグループのユニットで得られる。また、フレームベースの方法、周波数サブバンドベースの方法及び周波数サブバンドパーティションベースの方法の組合せを本発明の範囲内で用いることができる。

また、信号の低周波成分が信号の高周波成分よりも一般的により多くの情報を持つとすれば、信号の低周波成分と関連したエンベロープ情報はそれ自体のまま転送することができるが、信号の高周波成分に関するエンベロープ情報はＬＰＣ係数または他の値で表現することができ、信号の高周波成分に関するエンベロープ情報の代わりにＬＰＣ係数または他の値を転送することができる。しかし、信号の低周波成分が必ずしも信号の高周波成分よりも多い情報を持つというわけではない。したがって、上記の方法は、環境によって柔軟に適用すれば良い。

本発明の実施例によって、時間／周波数軸上にドミナントとして現れる信号の一部（以下、主要部という。）に対応するインデックスデータまたはエンベロープ情報は転送することができ、信号のドミナントでない部分に対応するインデックスデータ及びエンベロープ情報はいずれも転送しなくても良い。また、信号のドミナント部分のエネルギ及びパワーを表す値（例えば、ＬＰＣ係数）を転送することができ、信号のドミナントでない部分に対応するかかる値は転送しなくても良い。また、信号のドミナント部分に対応するインデックスデータまたはエンベロープ情報は転送することができ、信号のドミナントでない部分のエネルギまたはパワーを表す値も転送しても良い。また、信号のドミナントでない部分が信号のドミナント部分に関する情報に基づいて推定されるように、信号のドミナント部分にのみ関連した情報を転送しても良い。また、上記の方法の組合せを用いても良い。

例えば、図１８を参照すると、信号がドミナント期間とドミナントでない期間とに分けられる場合は、信号に関する情報は（ａ）乃至（ｄ）で表記された通り、４つの異なる方法で転送することができる。

ダウンミックス信号及び付加情報の組合せとして複数のオブジェクト信号を転送するために、デコーディング動作の一部として、例えば、オブジェクト信号のレベルの比を考慮し、ダウンミックス信号は複数の成分に分けられるように要求される。ダウンミックス信号の成分間の独立性を保障するために、デコリレーション動作がさらに実行される必要がある。

オブジェクトベースコーディング方法においてコーディングユニットであるオブジェクト信号は、マルチチャネルコーディング方法においてコーディングユニットであるチャネル信号よりも独立的である。言い換えると、チャネル信号は、オブジェクト信号を含むから、デコリレートする必要がある。これに対し、オブジェクト信号は互いに独立しており、よって、チャネル分離が、デコリレーション動作を要求することなく、単純にオブジェクト信号の特性を用いて容易に実行することができる。

より詳細には、図１９を参照すると、オブジェクト信号Ａ、Ｂ及びＣは、周波数軸上にドミナントとして順に現れる。この場合に、オブジェクト信号Ａ、Ｂ及びＣのレベルの比によってダウンミックス信号を多くの信号に分け、デコリレーションを行う必要がない。その代わりに、オブジェクト信号Ａ、Ｂ及びＣのドミナント期間に関する情報が転送されたり、利得値がオブジェクト信号Ａ、Ｂ及びＣのそれぞれの各周波数成分に適用され、デコリレーションをスキップすることができる。これにより、計算量の低減が可能となり、デコリレーションに必要な付加情報によって要求されうる量のビットレートを減らすことが可能となる。

要するに、ダウンミックス信号のオブジェクト信号の比によってダウンミックス信号を分けて得られた複数の信号間の独立性を保障すべく実行されるデコリレーションをスキップする目的で、各オブジェクト信号を含む周波数ドメインに関する情報を付加情報として転送することができる。また、相異なる利得値が、各オブジェクト信号がドミナントとして現れる期間であるドミナント期間、及び各オブジェクト信号がより少なくドミナントとして現れる期間であるドミナントでない期間に適用することができ、したがって、ドミナント期間に関する情報は付加情報として主に提供することができる。また、このドミナント期間に関する情報は、付加情報として転送することができ、ドミナントでない期間に関する情報は転送されなくても良い。なお、デコリレーション方法の代案として上述された方法の組合せを用いても良い。

デコリレーション方法の代案である上記の方法は、全てのオブジェクト信号または容易に区別可能なドミナント期間を持つ一部のオブジェクト信号にのみ適用することができる。また、デコリレーション方法の代案である上記の方法は、フレームのユニットに可変的に適用することができる。

以下、残余信号を用いたオブジェクトオーディオ信号のエンコーディングについて詳細に説明する。

一般に、オブジェクトベースオーディオコーディング方法において、複数のオブジェクト信号がエンコーディングされ、これらエンコーディングの結果がダウンミックス信号と付加情報との組合せとして転送される。続いて、複数のオブジェクト信号が付加情報によってデコーディングを通じてダウンミックス信号から復元され、これら復元されたオブジェクト信号が、例えば、制御情報によって利用者の要請に応じて適切に混合され、最終チャネル信号が生成される。オブジェクトベースオーディオコーディング方法は、ミキサを用いて制御情報によって出力チャネル信号を自由に変えるのを一般的な目標としている。しかし、オブジェクトベースオーディオコーディング方法は、制御情報によらず、予め定義された方法でチャネル出力を生成するのに用いても良い。

このため、付加情報は、ダウンミックス信号から複数のオブジェクト信号を得るのに必要な情報だけでなく、チャネル信号を生成するのに必要なミキシングパラメータ情報を含むことができる。したがって、ミキサを用いずに最終チャネル出力信号を生成することが可能である。この場合、残余コーディングのようなアルゴリズムを、音質を向上させるために用いることができる。

一般的な残余コーディング方法は、信号をコーディングし、コーディングされた信号と元の信号間の誤り、すなわち残余信号をコーディングすることを含む。デコーディング動作の間に、コーディングされた信号は、該コーディングされた信号と元の信号間の誤りを補償すると同時にデコーディングされ、これにより、可能な限り元の信号と類似の信号を復元する。コーディングされた信号と元の信号間の誤りは通常少ないので、残余コーディングを実行するのに追加的に必要な情報の量を減らすことが可能である。

デコーディング部の最終チャネル出力が固定される場合には、最終チャネル信号を生成するのに必要なミキシングパラメータ情報だけでなく残余コーディング情報を付加情報として提供することができる。この場合、音質を向上させることが可能である。

図２０は、本発明の一実施例によるオーディオエンコーディング装置３１０を示すブロック図である。図２０を参照すると、オーディオエンコーディング装置３１０は、残余信号を用いることに特徴がある。

より詳細には、オーディオエンコーディング装置３１０は、エンコーディング部３１１、デコーディング部３１３、第１ミキサ３１５、第２ミキサ３１９、加算器３１７及びビットストリーム生成器３２１を含む。

第１ミキサ３１５は、元の信号にミキシング動作を実行し、第２ミキサ３１９は、エンコーディング動作を実行することによって得られた信号にミキシング動作を実行し、続いて元の信号にデコーディング動作を実行する。加算器３１７は、第１ミキサ３１５より出力された信号と第２ミキサ３１９より出力された信号間の残余信号を計算する。ビットストリーム生成器３２１は、付加情報に残余信号を加え、その結果を転送する。この方法で、音質を向上させることができる。

残余信号の計算は、信号の全ての部分にまたは信号の低周波数部分にのみ適用することができる。また、残余信号の計算は、フレーム対フレームに基づくドミナント信号を含む周波数ドメインにのみ可変的に適用しても良い。また、上記の方法の組合せを用いても良い。

残余信号情報を含む付加情報の量が、残余信号情報を含まない付加情報の量よりも多いため、残余信号の計算は、音質に直接影響を与える信号の一部分にのみ適用することができ、これにより、ビットレートの過度な増加を抑止することができる。

本発明は、コンピュータが読取り可能な記録媒体上に書き込まれた、コンピュータが読取り可能なコードとして実現することができる。コンピュータが読取り可能な記録媒体は、コンピュータが読取り可能な方法でデータが記憶される記録装置の１つとすることができる。コンピュータが読取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光学データ記憶装置及びキャリアウェーブ（例えば、インターネットを通じたデータ転送）が含まれる。コンピュータが読取り可能な記録媒体は、コンピュータが読取り可能なコードがそこに書き込まれ、分散された方法でそこから実行されるように、ネットワークに連結された複数のコンピュータシステムに分配することができる。本発明を実現するのに必要な機能的プログラム、コード、コード断片は、この分野における通常の知識を持つ者によって容易に解析することができる。

本発明によると、オブジェクトベースオーディオエンコーディング及びデコーディング方法の利点によって、音像が各オブジェクトオーディオ信号に対して定位する。その結果、オブジェクトオーディオ信号の再生を通じてより実際的な音を提供することが可能になる。なお、本発明は双方向ゲームに適用することができ、利用者にとってはより現実的な仮想現実経験が可能になる。

以上では好適な実施例を挙げて本発明を説明してきたが、説明及び形態における様々な変形が、請求の範囲に定義された本発明の範囲及び思想を逸脱しない限度内で可能であることは、当該分野における通常の知識を持つ者にとっては自明である。

Claims (12)

1. オーディオ信号から付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号は少なくとも１つのオブジェクト信号をダウンミックスすることにより生成され、前記付加情報は前記少なくとも１つのオブジェクト信号が前記ダウンミックス信号にダウンミックスされた場合に生成され、
   前記少なくとも１つのオブジェクト信号のマルチチャネル空間内での位置及びレベルを制御するための制御情報を受信し、
   前記付加情報及び前記制御情報に基づいて、空間パラメータ情報を生成し、
   前記少なくとも１つのオブジェクト信号の位置を制御するために、前記ダウンミックス信号、前記付加情報及び前記制御情報に基づいて、処理されたダウンミックス信号を生成し、
   前記処理されたダウンミックス信号及び前記空間パラメータ情報を用いて、マルチチャネルオーディオ信号を生成し、
   前記ダウンミックス信号及び前記処理されたダウンミックス信号の両者はレフトチャネル及びライトチャネルからなる、
   ことを特徴とするオーディオデコーディング方法。
2. さらに前記制御情報及び前記付加情報を用いて、前記処理されたダウンミックス信号を生成するためにパラメータ情報を生成する、請求項１に記載のオーディオデコーディング方法。
3. 前記処理されたダウンミックス信号を生成する場合において、前記ダウンミックス信号に、レベル調節、音像処理及び効果付加のうち少なくとも１つを実行する、請求項１に記載のオーディオデコーディング方法。
4. 前記処理されたダウンミックス信号を生成する場合において、さらに時間ドメインまたは周波数ドメインのいずれかで前記ダウンミックス信号を修正する、請求項３に記載のオーディオデコーディング方法。
5. さらに前記マルチチャネルオーディオ信号に残響処理を実行する、請求項３に記載のオーディオデコーディング方法。
6. さらにエフェクトプロセシングによって得た予め定められた信号を前記マルチチャネルオーディオ信号に付加する、請求項３に記載のオーディオデコーディング方法。
7. オーディオ信号から付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号は少なくとも１つのオブジェクト信号をダウンミックスすることにより生成され、前記付加情報は前記少なくとも１つのオブジェクト信号が前記ダウンミックス信号にダウンミックスされた場合に生成される、デマルチプレクサと、
   前記少なくとも１つのオブジェクト信号のマルチチャネル空間内での位置及びレベルを制御するための制御情報を受信し、前記付加情報及び前記制御情報に基づいて、空間パラメータ情報を生成するパラメータコンバーティング部と、
   前記少なくとも１つのオブジェクト信号の位置を制御するために、前記ダウンミックス信号、前記付加情報及び前記制御情報に基づいて、処理されたダウンミックス信号を生成するダウンミックスプロセシング部と、
   前記空間パラメータ情報及び前記処理されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、を有し、
   前記ダウンミックス信号及び前記処理されたダウンミックス信号の両者はレフトチャネル及びライトチャネルからなる、
   ことを特徴とするオーディオデコーディング装置。
8. 前記パラメータコンバータは、前記制御情報及び前記付加情報を用いて、前記処理されたダウンミックス信号を生成するためにパラメータ情報を生成する、請求項７に記載のオーディオデコーディング装置。
9. 前記ダウンミックスプロセシング部は、時間ドメインまたは周波数ドメインのいずれかで前記ダウンミックス信号を修正する、請求項７に記載のオーディオデコーディング装置。
10. オーディオ信号から付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号は少なくとも１つのオブジェクト信号をダウンミックスすることにより生成され、前記付加情報は前記少なくとも１つのオブジェクト信号が前記ダウンミックス信号にダウンミックスされた場合に生成され、
    前記少なくとも１つのオブジェクト信号のマルチチャネル空間内での位置及びレベルを制御するための制御情報を受信し、
    前記付加情報及び前記制御情報に基づいて、空間パラメータ情報を生成し、
    前記少なくとも１つのオブジェクト信号の位置を制御するために、前記ダウンミックス信号、前記付加情報及び前記制御情報に基づいて、処理されたダウンミックス信号を生成し、
    前記処理されたダウンミックス信号及び前記空間パラメータ情報を用いて、マルチチャネルオーディオ信号を生成し、
    前記ダウンミックス信号及び前記処理されたダウンミックス信号の両者はレフトチャネル及びライトチャネルからなる、
    オーディオデコーディング方法を実行するためのコンピュータプログラムを記録したコンピュータ読取可能記録媒体。
11. さらに前記制御情報及び前記付加情報を用いて、前記処理されたダウンミックス信号を生成するためにパラメータ情報を生成する、請求項１０に記載のコンピュータ読取可能記録媒体。
12. 前記処理されたダウンミックス信号を生成する場合において、さらに時間ドメインまたは周波数ドメインのいずれかで前記ダウンミックス信号を修正する、請求項１０に記載のコンピュータ読取可能記録媒体。

Images