JP5291096B2 - オーディオ信号処理方法及び装置 - Google Patents

Description

本発明は、オーディオ信号の処理方法及び装置に係り、より詳細には、デジタル媒体、放送信号などを通じて受信したオーディオ信号を処理できるオーディオ信号の処理方法及び装置に関する。

オブジェクトベースのオーディオ信号を処理するにあたり、一般に、入力信号を構成する一つのオブジェクトは独立したオブジェクトとして処理される。このとき、各オブジェクト間には相関性が存在しうるため、このような相関性を用いてコーディングするとより効率的なコーディングが可能となる。

本発明の目的は、オーディオ信号の処理効率を上げることにある。

本発明は、オブジェクトベースのオーディオ信号を処理するにあたり、補助パラメータを用いることによってより効率的な信号処理方法を提供する。

本発明は、一部のオブジェクト信号のみを制御することによってより効率的な信号処理方法を提供する。

本発明は、オブジェクトベースのオーディオ信号を処理するにあたり、各オブジェクト間の相関性を用いて信号を処理できる方法を提供する。

本発明は、グルーピングされたオブジェクトの相関性を示す情報を取得する方法を提供する。

本発明は、信号をより効率的に送信できる方法を提供する。

本発明は、様々な音響効果が得られる信号処理方法を提供する。

本発明は、ユーザがソース信号を用いてミックス信号を変形できる信号処理方法を提供する。

このために、一つの側面において本発明は、少なくとも一つのオブジェクト信号がダウンミックスされたダウンミックス情報を受信し、前記オブジェクト情報を含む付加情報、及びミックス情報を取得し、前記取得された付加情報及びミックス情報に基づいて複数のチャネル情報を生成し、前記複数のチャネル情報を用いて、前記ダウンミックス情報から出力チャネル信号を生成し、前記オブジェクト情報は、前記オブジェクト信号のレベル情報、相関情報、利得情報及びそれらの補充情報のうち少なくとも一つを含むことを特徴とするオーディオ信号処理方法を提供する。

また、前記補充情報は、前記オブジェクト信号の利得情報の実際値と推定値との差分情報を含むことを特徴とする。

また、前記ミックス情報は、前記オブジェクト信号の位置情報、利得情報及び再生環境情報のうち少なくとも一つに基づいて生成されることを特徴とする。

また、上記方法は、さらに前記オブジェクト情報及び前記ミックス情報を用いて逆処理を行うか否かを決定し、前記決定によって逆処理が行われる場合、利得補償のための逆処理利得値を取得し、前記逆処理は、変更されるオブジェクトの個数が変更されないオブジェクトの個数よりも多い場合、前記変更されないオブジェクトを基準に利得補償することを意味し、前記出力チャネル信号は、前記逆処理利得値に基づいて生成されることを特徴とする。

また、前記オブジェクト信号のレベル情報は、前記ミックス情報に基づいて修正されたレベル情報を含み、前記複数のチャネル情報は、前記修正されたレベル情報に基づいて生成されることを特徴とする。

また、前記修正されたレベル情報は、特定オブジェクト信号の大きさが所定の閾値を基準に増幅または減少する場合、前記オブジェクト信号のレベル情報に１よりも大きい定数を乗算して生成されることを特徴とする。

また、他の側面において本発明は、少なくとも一つのオブジェクト信号がダウンミックスされたダウンミックス情報を受信し、オブジェクト情報を含む付加情報、及びミックス情報を取得し、前記取得された付加情報及びミックス情報に基づいて複数のチャネル情報を生成し、前記複数のチャネル情報を用いて、前記ダウンミックス情報から出力チャネル信号を生成し、前記オブジェクト情報は、前記オブジェクト信号のレベル情報、相関情報及び利得情報のうち少なくとも一つを含み、前記オブジェクト情報及び前記ミックス情報のうち少なくとも一つは量子化されていることを特徴とするオーディオ信号処理方法を提供する。

また、本方法は、さらにあるオブジェクトが他のオブジェクトにグルーピングされているか否かを示すカップリング情報を取得し、前記オブジェクト信号の相関情報は、前記カップリング情報に基づいて取得されることを特徴とする。

また、さらに前記カップリング情報に基づいてグルーピングされたオブジェクトに共通している一つのメタ情報を取得することを特徴とする。

また、前記メタ情報は、メタデータの文字数及び各文字情報を含むことを特徴とする。

また、さらに他の側面において本発明は、少なくとも一つのオブジェクト信号がダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びカップリング情報を含む付加情報と、ミックス情報とを取得し、前記取得された付加情報及びミックス情報に基づいて複数のチャネル情報を生成し、前記複数のチャネル情報を用いて、前記ダウンミックス情報から出力チャネル信号を生成し、前記オブジェクト信号は、独立オブジェクト信号とバックグラウンドオブジェクト信号とに区別され、前記オブジェクト情報は、前記オブジェクト信号のレベル情報、相関情報及び利得情報のうち少なくとも一つを含み、前記オブジェクト信号の相関情報は、前記カップリング情報に基づいて取得されることを特徴とするオーディオ信号処理方法を提供する。

また、前記独立オブジェクト信号は、ボーカルオブジェクト信号を含むことを特徴とする。

また、前記バックグラウンドオブジェクト信号は、伴奏オブジェクト信号を含むことを特徴とする。

また、前記バックグラウンドオブジェクト信号は、一つ以上のチャネルベース信号を含むことを特徴とする。

また、前記オブジェクト信号は、フラグ情報に基づいて独立オブジェクト信号とバックグラウンドオブジェクト信号とに区別されることを特徴とする。

また、前記オーディオ信号は、放送信号として受信されることを特徴とする。

また、前記オーディオ信号は、デジタル媒体を通じて受信されることを特徴とする。

また、さらに他の側面において本発明は、上記の方法を実行するためのプログラムが格納された、コンピュータ読み取り可能記録媒体を提供する。

また、さらに他の側面において本発明は、少なくとも一つのオブジェクト信号がダウンミックスされたダウンミックス情報を受信するダウンミックス処理部と、オブジェクト情報を含む付加情報と、ミックス情報とを取得し、前記取得された付加情報及びミックス情報に基づいて複数のチャネル情報を生成する情報生成部と、前記複数のチャネル情報を用いて、前記ダウンミックス情報から出力チャネル信号を生成するマルチチャネルデコーディング部と、を含み、前記オブジェクト情報は、前記オブジェクト信号のレベル情報、相関情報、利得情報及びそれらの補充情報のうち少なくとも一つを含むことを特徴とするオーディオ信号処理装置を提供する。

また、さらに他の側面において本発明は、少なくとも一つのオブジェクト信号がダウンミックスされたダウンミックス情報を受信するダウンミックス処理部と、オブジェクト情報を含む付加情報と、ミックス情報とを取得し、前記取得された付加情報及びミックス情報に基づいて複数のチャネル情報を生成する情報生成部と、前記複数のチャネル情報を用いて、前記ダウンミックス情報から出力チャネル信号を生成するマルチチャネルデコーディング部と、を含み、前記オブジェクト情報は、前記オブジェクト信号のレベル情報、相関情報及び利得情報のうち少なくとも一つを含み、前記オブジェクト情報及び前記ミックス情報のうち少なくとも一つは量子化されていることを特徴とする。

また、さらに他の側面において本発明は、少なくとも一つのオブジェクト信号がダウンミックスされたダウンミックス情報を受信するダウンミックス処理部と、オブジェクト情報及びカップリング情報を含む付加情報と、ミックス情報とを取得し、前記取得された付加情報及びミックス情報に基づいて複数のチャネル情報を生成する情報生成部と、前記複数のチャネル情報を用いて、前記ダウンミックス情報から出力チャネル信号を生成するマルチチャネルデコーディング部と、を含み、前記オブジェクト信号は、独立オブジェクト信号とバックグラウンドオブジェクト信号とに区別され、前記オブジェクト情報は、前記オブジェクト信号のレベル情報、相関情報及び利得情報のうち少なくとも一つを含み、前記オブジェクト信号の相関情報は、前記カップリング情報に基づいて取得されることを特徴とするオーディオ信号処理装置を提供する。

互いに密接な相関性を有するオブジェクト信号の場合、それらの相関性を利用することによってオーディオ信号の処理効率を上げることができる。また、各オブジェクトに関する具体的な属性情報を送信することによって、ユーザが所望するオブジェクトに対して直接的で細密なコントロールを可能とすることができる。

本発明の実施例によるオーディオ信号処理装置の構成図である。 本発明の実施例による、ミックス情報を用いて出力チャネル信号を生成する方法を説明するための図である。 本発明の実施例による、より効率的なオーディオ信号の処理方法を説明するためのフローチャートである。 本発明の実施例による、より効率的にオブジェクト信号を送信するためのオーディオ信号処理装置の概略的なブロック図である。 本発明の実施例による、逆制御を用いたオブジェクト信号の処理方法を説明するためのフローチャートである。 本発明の他の実施例による、逆制御を用いてオブジェクト信号を処理するオーディオ信号処理装置のブロック図である。 本発明の他の実施例による、逆制御を用いてオブジェクト信号を処理するオーディオ信号処理装置のブロック図である。 本発明の実施例による、オブジェクトに対するメタ情報を含むビットストリームの構造を示す図である。 本発明の実施例による、効率的なオーディオ信号を送信するためのシンタックス構造を示す図である。 本発明の実施例による、ソースパワーの送信のための無損失コーディング過程を説明するための図である。 本発明の実施例による、ソースパワーの送信のための無損失コーディング過程を説明するための図である。 本発明の実施例による、ソースパワーの送信のための無損失コーディング過程を説明するための図である。 本発明の実施例による、ユーザインタフェースを説明するための図である。

以下、添付の図面を参照しつつ、本発明の実施例の構成及びその作用について説明し、図面に基づいて説明される本発明の構成及び作用は単なる一実施例として説明されるもので、これによって本発明の技術的思想、その核心構成及び作用が制限されることはない。

なお、本発明で使われる用語は、可能なかぎり、現在広く使われている一般的な用語を選択したが、場合によっては、出願人が任意に選定した用語を使って説明する。その場合は、該当部分の詳細な説明においてその意味を明確に記載しておくので、本発明は、当該用語の単純な名称で解釈してはならず、その意味を把握して解釈しなければならない。

特に、本明細書でいう情報は、値、パラメータ、係数、成分などの意味を含むものとして解釈される用語で、その意味が場合によってそれぞれ解釈されるので、本発明はそれに限定されない。

図１は、本発明の実施例によるオーディオ信号処理装置を示す構成図である。

図１を参照すると、本発明の実施例によるオーディオ信号処理装置１００は、情報生成ユニット１１０、ダウンミックス処理ユニット１２０、マルチチャネルデコーダ１３０を含むことができる。

情報生成ユニット１１０は、オブジェクト情報（object information；ＯＩ）などを含む付加情報を、オーディオ信号ビットストリームを通じて受信し、ユーザインタフェースを通じてミックス情報（mix information；ＭＸＩ）を受信することができる。ここで、オブジェクト情報（ＯＩ）は、ダウンミックス信号中に含まれているオブジェクトに関する情報であり、オブジェクトレベル情報、オブジェクト相関情報、オブジェクト利得情報、メタ情報などを含むことができる。

オブジェクトレベル情報は、参照情報を用いてオブジェクトレベルを正規化することによって生成されたもので、参照情報は、オブジェクトレベルの一つであってもよく、特に、全オブジェクトレベルのうち最も大きいレベルとなりうる。オブジェクト相関情報は、二つのオブジェクト間の連関性を示すもので、選択された二つのオブジェクトが同一起源を有するステレオ出力のそれぞれ異なるチャネルの信号であることを示すことができる。オブジェクト利得情報は、それぞれのダウンミックス信号のチャネルに対するオブジェクトの寄与度に関する値を示すことができ、特に、オブジェクトの寄与度を変形させるための値を示すことができる。

また、プリセット情報（preset information；ＰＩ）は、プリセット位置情報、プリセット利得情報、及び再生環境情報などに基づいて生成された情報を示すことができる。

プリセット位置情報は、それぞれのオブジェクトの位置またはパニングを制御するために設定された情報を示すことができる。プリセット利得情報は、それぞれのオブジェクトの利得を制御するために設定された情報で、オブジェクト別利得ファクタを含み、オブジェクト別利得ファクタは時間によって変わることができる。

プリセット情報（ＰＩ）は、オーディオ信号に対して特定の音場感または効果を得るために、特定モードに該当するオブジェクト位置情報、オブジェクト利得情報、及び再生環境情報を既に設定したものを意味する。例えば、プリセット情報のうちカラオケモードは、ボーカルオブジェクトの利得を０値にするプリセット利得情報を含むことができる。または、プリセット情報のうちスタジアムモードは、オーディオ信号が広い空間にあるような効果を付与するためのプリセット位置情報及びプリセット利得情報を含むことができる。したがって、ユーザがそれぞれのオブジェクトの利得またはパニングを調節することなく、既に設定されたプリセット情報（ＰＩ）のうち所望のモードを選択することによって容易にオブジェクトの利得またはパニングを調節することができる。

ダウンミックス処理ユニット１２０は、ダウンミックス情報（以下、ダウンミックス信号（ＤＭＸ）という。）を受信し、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス信号（ＤＭＸ）を処理する。オブジェクトのパニングまたは利得を調節するためにダウンミックス信号（ＤＭＸ）を処理することができる。

マルチチャネルデコーダ１３０は、処理されたダウンミックスを受信し、マルチチャネル情報（ＭＩ）を用いて、処理されたダウンミックス信号をアップミキシングし、マルチチャネル信号を生成することができる。

［式１］

本発明の実施例として、Ｍ個（０≦Ｍ≦Ｉ）のソース信号がリミックスされるように、これらソース信号を含むステレオ信号を修正することができる。これらソース信号は、互いに異なる利得ファクタを有しながらステレオ信号にリミックスすることができる。リミックス信号は、下記の式２で表現することができる。

［式２］

ここで、「ｃ_i」及び「ｄ_i」は、リミックスされるＭ個のソース信号に対する新しい利得ファクタである。「ｃ_i」及び「ｄ_i」は、デコーダ端より提供されうる。

本発明の実施例として、送信された入力チャネル信号は、ミックス情報に基づいて出力チャネル信号に変形することができる。

ここで、ミックス情報（ＭＸＩ）とは、オブジェクト位置情報、オブジェクト利得情報、及び再生環境情報などに基づいて生成された情報を示すことができる。ここで、オブジェクト位置情報は、ユーザが各オブジェクトの位置またはパニングを制御するために入力した情報を示すことができる。オブジェクト利得情報は、ユーザが各オブジェクトの利得を制御するために入力した情報を示すことができる。そして、再生環境情報は、スピーカの個数、スピーカの位置、アンビエント情報（スピーカの仮想位置）などを含む情報で、ユーザから受信しても良く、あらかじめ格納されていても良く、他の装置から受信しても良い。

また、ミックス情報は、特定オブジェクトが特定出力チャネルに含まれる程度を直接示すことも可能であり、入力チャネルの状態に対する差分値のみを示すことも可能である。このミックス情報は、一つのコンテンツ内で同一値を使用することもでき、あるいは、時変する値を使用することもできる。時間変化する場合、開始状態と終了状態、変化時間を入力して利用することも可能であり、変化する時点の時間インデックスとその時点の状態に対する値を入力して利用することも可能である。

本発明の実施例では、説明の便宜のために、ミックス情報が、式１のような形態で特定オブジェクトが特定出力チャネルに含まれる程度を示す場合について説明する。この場合、各出力チャネルは、式２のように構成することができる。ここで、「ａ_i」及び「ｂ_i」と「ｃ_i」及び「ｄ_i」とを区別するために、「ａ_i」及び「ｂ_i」をミックス利得とし、「ｃ_i」及び「ｄ_i」を再生ミックス利得とする。

もし、ミックス情報が再生ミックス利得として与えられずに、利得及びパニングとして与えられる場合を考える。利得（ｇ_i）及びパニング（ｌ_i）は、下記の式３のように与えられる。

［式３］
g_i = 10 log₁₀(c_i ² + d_i ²)
l_i = 20 log₁₀(d_i/c_i)

したがって、ｇ_i、ｌ_iを用いてｃ_i、ｄ_iを得ることができる。ここで、利得とパニング、ミックス利得の関係式は、他の形態でも表現できることは自明である。

図２は、本発明の実施例による、ミックス情報を用いて出力チャネル信号を生成する方法を説明するための図である。

図１のダウンミックス処理ユニット１２０では、入力チャネル信号に特定係数を乗算して出力チャネル信号を得ることができる。図２を参照すると、ｘ１、ｘ２を入力チャネル信号とし、ｙ１、ｙ２を出力チャネル信号とする場合、実際の出力チャネル信号は下記の式４で表すことができる。

［式４］
y1_hat = w11 * x1 + w12 * x2
y2_hat = w21 * x1 + w22 * x2

ここで、yi_hatは、式２で誘導した理論的な出力値と区別するための出力値を表す。w11〜w22は、重み付けファクタを表す。そして、xi、wij、yiはそれぞれ特定時間における特定周波数の信号を表す。

本発明の一実施例では、重み付けファクタを用いて効率的な出力チャネルを取得できる方法を提供する。

これらの重み付けファクタは様々な方法で推定でき、本発明では最小二乗推定法を利用することができる。このとき、生成される推定誤差は、下記の式５のように定義できる。

［数５］
e1 = y1 - y1_hat
e2 = y2 - y2_hat

これらの重み付けファクタは、平均自乗誤差、E｛e1²｝及びE｛e2²｝が最小となるようにサブバンド別に生成することができる。このとき、推定誤差がx1及びx2に直交するときに平均自乗誤差が最小となるということを利用することができる。w11及びw12は、下記の式６のように表現することができる。

［式６］

そして、E｛x₁y₁｝及びE｛x₂y₁｝は、下記の式７のように求められる。

［式７］

同様に、w21及びw22は、下記の式８のように求められる。

［式８］

そして、E｛x₂y₁｝及びE｛x₂y₂｝は、下記の式９のように表現することができる。

［式９］

本発明が適用される実施例として、オブジェクトベースのコーディングにおいて、付加情報を構成したり出力信号を生成したりするためにオブジェクト信号のエネルギー情報（またはレベル情報）を利用することができる。

例えば、付加情報を構成する場合、オブジェクト信号のエネルギーを送信すること、オブジェクト信号間の相対的なエネルギー値を送信すること、または、オブジェクト信号とチャネル信号間の相対的なエネルギー値を送信することが可能である。また、出力信号を生成する場合にも、オブジェクト信号のエネルギーを用いることができる。

入力チャネル信号、付加情報、及びミックス情報を用いて所望の音響効果を持つ出力チャネル信号を生成することができる。該出力チャネル信号を生成する過程でオブジェクト信号のエネルギー情報を用いることができる。オブジェクト信号のエネルギー情報は、付加情報に含めることができ、あるいは、付加情報及びチャネル信号を用いて推定することができる。また、オブジェクト信号のエネルギー情報を変形して使用することも可能である。

本発明の実施例では、出力チャネル信号の品質を向上させるために、オブジェクト信号のエネルギー情報を変形する方法を提案する。本発明によれば、ユーザのコントロールによって送信されたエネルギー情報を変形することができる。

上記の式７及び９を参照すると、オブジェクト信号のエネルギー情報E｛s_i ²｝が出力チャネル信号の生成のための重み付けファクタ（w11〜w22）を取得するために用いられることがわかる。本発明の実施例は、自己チャネル係数（w11、w22）と交差チャネル係数（w21、w12）を用いて出力チャネル信号を生成する方法に関するものであるが、他の方法を用いる場合にも上記のようにオブジェクト信号のエネルギー情報を利用することができることは明らかである。

本発明では、出力チャネルの重み付けファクタを取得するための過程において、オブジェクト信号のレベル情報（またはエネルギー情報）を修正して使用する方法を提案する。例えば、下記の式１０を利用することができる。

［式１０］
E｛x1*y1｝ = E｛x1²｝ + Σ [a_i*(c_i - a_i)E_mod｛s_i ²｝]
E｛x2*y1｝ = E｛x1*x2｝ + Σ [b_i*(c_i - a_i)E_mod｛s_i ²｝]
E｛x1*y2｝ = E｛x1*x2｝ + Σ [a_i*(d_i - b_i)E_mod｛s_i ²｝]
E｛x2*y2｝ = E｛x2²｝ + Σ [b_i*(d_i - b_i)E_mod｛s_i ²｝]

上記修正されたレベル情報（E_mod）はオブジェクト信号によって独立して適用することもでき、全てのオブジェクト信号に対して同様に適用することもできる。

また、オブジェクト信号の修正されたレベル情報は、ミックス情報に基づいて生成することができる。そして、修正されたレベル情報に基づいて複数のチャネル情報を生成することができる。例えば、特定オブジェクト信号の大きさを大きく変化させる場合、特定オブジェクト信号のレベル情報に一定の値を乗算することによって、修正されたレベル情報を取得することができる。ここで、特定オブジェクト信号の大きさは、所定の閾値を基準に大きく増幅または減少したか否かを判断することができる。所定の閾値は、例えば、他のオブジェクト信号の大きさに対する相対的な値となりうる。または、人間の知覚心理による特定値であっても、様々な実験による計算値であっても良い。そして、特定オブジェクト信号のレベル情報に乗算される一定の値は、例えば、１よりも大きい定数とすることができる。これらの例は、より詳細に後述する。

式１０のE_mod｛s_i ²｝は、E｛s_i ²｝を用いて下記の式１１のように変形することができる。

［式１１］
E_mod｛s_i ²｝ = alpha * E｛s_i ²｝

ここで、alphaは、再生ミックス情報と元のミックス利得との関係によって次のように与えられる。そして、各オブジェクト信号によって独立してオブジェクト信号のエネルギー情報が変形される場合、alphaはalpha_iで表現可能であるということは自明である。例えば、s_iが大きく減少する場合、alpha＞１となり得る。s_iが適切に減少したり増加したりする場合、alpha＝１となり得る。そして、s_iが大きく増加する場合、alpha＞１となり得る。

ここで、s_iが減少したり増加したりすることは、元のミックス利得であるa_i、b_iと再生ミックス利得であるc_i、d_iとの関係からわかる。例えば、 a_i ² + b_i ² > c_i ² + d_i ²なら、s_iは減少し、逆に、 a_i ² + b_i ² < c_i ² + d_i ²なら、s_iは増加する。したがって、下記の式１２〜１４のような方式でalpha値を調節することが可能である。

［式１２］
(a_i ² + b_i ²) / (c_i ² + d_i ²)> Thr_atten
alpha = alpha_atten, alpha_atten > 1

［式１３］
(a_i ² + b_i ²) / (c_i ² + d_i ²) < Thr_boost
alpha = alpha_boost, alpha_boost > 1

［式１４］
Thr_atten > (a_i ² + b_i ²) / (c_i ² + d_i ²) > Thr_boost
alpha = 1

ここで、Thr_attenとThr_boostは閾値を表す。この閾値は、例えば、人間の知覚心理による特定値であっても良く、様々な実験による計算値であっても良い。また、alpha_attenは、alpha_atten≧alpha_boostの特性を有することができる。

また、本発明では、E_mod｛s_i ²｝がE｛s_i ²｝に比べて２ｄＢの利得が得られるようにalpha_attenを利用することができる。

また、本発明では、alpha_atten値として１０^0.2を用いることができる。

本発明の他の実施例では、同一のE_mod｛s_i ²｝を用いるのではなく、重み付けファクタの取得において独立したE_mod｛s_i ²｝を用いることができる。

例えば、下記の式１５を利用することができる。

［式１５］
E｛x1*y1｝ = E｛x1²｝ + Σ [a_i*(c_i - a_i)E_mod1｛s_i ²｝]
E｛x2*y1｝ = E｛x1*x2｝ + Σ [b_i*(c_i - a_i)E_mod1｛s_i ²｝]
E｛x1*y2｝ = E｛x1*x2｝ + Σ [a_i*(d_i - b_i)E_mod2｛s_i ²｝]
E｛x2*y2｝ = E｛x2²｝ + Σ [b_i*(d_i - b_i)E_mod2｛s_i ²｝]

同様に、上記の式１５のE_mod1｛s_i ²｝とE_mod2｛s_i ²｝は、E｛s_i ²｝を用いて下記の式１６のように変形できる。

［式１６］
E_mod1｛s_i ²｝ = alpha1 * E｛s_i ²｝
E_mod2｛s_i ²｝ = alpha2 * E｛s_i ²｝

ここで、E_mod1、alpha1は、y1を生成するのに寄与する値であり、E_mod2、alpha2は、y2を生成するのに寄与する値である。

式１１で利用されるE_mod_i｛s_i ²｝は、次のように区別して使用することができる。例えば、s_iが出力チャネル信号において一つのチャネルに対してのみ減少／増加すると仮定する。このとき、反対チャネルに対してはE｛s_i ²｝を変形して使用する必要はない。上記の例では、s_iが左側チャネルでのみ抑圧されるとすれば、左側出力チャネル信号を生成するのに使用されるw11、w12に対してのみE_mod値を用いることができる。このとき、alpha1＝alpha_atten、alpha2＝１を利用することができる。そして、alpha_iの値を決定する条件としては式１２〜１４を用いることができる。すなわち、特定オブジェクト信号が特定出力チャネルで減少／増加する程度を判断し、alpha_i値を使用することができる。

本発明の他の実施例として、下記の式１７及び１８を利用することができる。

［式１７］
E｛x1*y1｝ = E｛x1²｝ + Σ [a_i*(c_i - a_i)E_mod11｛s_i ²｝]
E｛x2*y1｝ = E｛x1*x2｝ + Σ [b_i*(c_i - a_i)E_mod21｛s_i ²｝]
E｛x1*y2｝ = E｛x1*x2｝ + Σ [a_i*(d_i - b_i)E_mod12｛s_i ²｝]
E｛x2*y2｝ = E｛x2²｝ + Σ [b_i*(d_i - b_i)E_mod22｛s_i ²｝]

［式１８］
E_mod11｛s_i ²｝ = alpha11 * E｛s_i ²｝
E_mod21｛s_i ²｝ = alpha21 * E｛s_i ²｝
E_mod12｛s_i ²｝ = alpha12 * E｛s_i ²｝
E_mod22｛s_i ²｝ = alpha22 * E｛s_i ²｝

本発明の他の実施例として、過度な減少／増加が要求される場合、出力チャネル信号の品質向上のためにE｛s_i ²｝を変形して使用することができる。しかし、交差チャネルを用いる場合、E｛s_i ²｝を変形することなく使用することが要求されることがある。この場合、alpha21＝alpha12＝１として使用することからこのような要求を満たすことができる。

逆に、自己チャネルに対してはオブジェクト信号のエネルギー情報を変形せずに、交差チャネルに対してのみ変形することが要求される場合がある。この場合、alpha11＝alpha22＝１として使用することからこのような要求を満たすことができる。

例示してはいないが、上記と類似の方法でalpha11〜22を任意の値として使用することが可能であり、これらのalpha値の選択には入力チャネル信号、付加情報、再生ミックス情報などを利用しても良く、元のミックス利得と再生ミックス利得との関係を利用しても良い。

また、上記の例ではalpha値が１と等しい、または１よりも大きい場合について説明したが、alpha値が１よりも小さい場合も用いることができることは自明である。

一方、エンコーダでは、オブジェクト信号のエネルギー情報を付加情報に含める、または、オブジェクト信号間の相対的なエネルギー値あるいはオブジェクト信号とチャネル信号間の相対的なエネルギー値を付加情報に含むことが可能である。この場合、エンコーダでは、オブジェクト信号のエネルギー情報を変更して付加情報を構成することができる。例えば、再生効果を極大化するために特定オブジェクト信号のエネルギーを変更したり、全体オブジェクト信号のエネルギーを変更したりして付加情報を構成することができる。この場合、デコーダでは、上記変更を復元して信号処理を行うことができる。

例えば、式１１のような変形によりE_mod｛s_i ²｝が付加情報として送信される場合について説明する。この場合、デコーダでは、E_mod｛s_i ²｝をalphaで除算してE｛s_i ²｝を得ることができる。このとき、デコーダでは、選択的に送信されるE_mod｛s_i ²｝及び／またはE｛s_i ²｝を用いることができる。alpha値は付加情報に含んで送信することもでき、あるいは、送信された入力チャネル信号と付加情報を用いてデコーダで推定することもできる。

本発明が適用される実施例として、ユーザが意図する音響効果を作るために重み付けファクタを用いることができる。この場合、重み付けファクタの一部の重み付けファクタのみを用いても良い。このような重み付けファクタの選択には入力チャネル間の関係、入力チャネルの特性、送信された付加情報の特性、ミックス情報、推定された重み付けファクタの特性などを用いることができる。ここで、説明の便宜上、w11、w22を自己チャネル係数とし、w12、w21を交差チャネル係数とする。

本発明の実施例として、重み付けファクタの一部を利用しない場合または一部のみを利用する場合、用いられる重み付けファクタを再推定することができる。例えば、w11、w12、w21、w22を推定した後、自己チャネル係数のみ利用すると決定した場合は、w11、w22を用いずに、w1、w2を推定した後にw1、w2を用いることが可能である。これは、交差チャネル係数を用いない場合、y_i_hatが下記の式１８のように変更され、これによる最小二乗推定法が変わるためである。

［式１８］
y_1_hat = w1 * x1
y_2_hat = w2 * x2

このとき、e_iを最小化するw1、w2は、下記の式１９のように推定することができる。

［式１９］
w1 = E｛x1*y1｝ / E｛x1²｝
w2 = E｛x2*y2｝ / E｛x2²｝

一方、重み付けファクタの一部のみを用いる場合、その場合に適合するようにy_i_hatをモデリングし、最適の重み付けファクタを推定して用いることができる。

以下、重み付けファクタを利用できる様々な実施例について説明する。

第一の実施例として、入力チャネルのコヒーレンスに基づく方法がある。

入力信号のチャネル間相関度が非常に高いと、各チャネルに含まれる信号は互いに非常に似ていることがある。このような場合、交差チャネル係数を用いずに、自己チャネル係数のみを用いても、交差チャネル係数を用いたような効果を得ることができる。

例えば、下記の式２０を用いて入力チャネル間の相関程度を推定することができる。

［式２０］
Pi = E｛x1*x2｝ / sqrt (E｛x1²｝E｛x2²｝)

ここで、Pi値が閾値よりも大きい場合、すなわち、Pi＞Pi_Thresholdの場合、w12とw21は、０に設定することができる。Pi_Thresholdは閾値を意味する。この閾値は、例えば、人間の知覚心理による特定値であっても良く、様々な実験による計算値であっても良い。w11、w22は、既存のw11、w22を使用することもでき、あるいは、w11＝w1、w22＝w2のように、w11、w22と異なる重み付けファクタを使用することもできる。w1、w2を求める方法は、上記の式１９のような方法を利用すると良い。

第二の実施例として、重み付けファクタのノルムを用いる方法がある。

本実施例では、重み付けファクタのノルムを用いて、ダウンミックス処理ユニット１２０に用いられる重み付けファクタを選択することができる。

まず、交差チャネルが用いられる重み付けファクタのw12、w21を含めて重み付けファクタw11〜w22を求めることができる。このとき、重み付けファクタのノルムは、下記の式２１のように求めることができる。

［式２１］
A = w11² + w12² + w21² + w22²

そして、交差チャネルを利用しない重み付けファクタw1、w2を求めることができる。このとき、重み付けファクタのノルムは、下記の式２２のように求めることができる。

［式２２］
B = w1² + w2²

ここで、A＜Bの場合には重み付けファクタw11〜w22を利用し、B＜Aの場合には重み付けファクタw1、w2を利用することができる。すなわち、４個の重み付けファクタを用いる場合と一部の重み付けファクタを用いる場合とを比較し、より効率的な方法を選択すると良い。上記の方法を利用すると、重み付けファクタの大きさが大きすぎ、システムが不安定になることを防止することができる。

第三の実施例として、入力チャネルのエネルギーを利用する方法がある。

特定チャネルがエネルギーを有しない場合、すなわち、例えば、一方のチャネルにのみ信号がある場合に対して既存の方法によりw11〜w22を求めると、所望でない結果が出ることがある。このような場合には、エネルギーを有していない入力チャネルは出力に寄与できないため、エネルギーのない入力チャネルの重み付けファクタは０に設定することができる。

特定入力チャネルがエネルギーを有しているか否かは、下記の式２３のような方法で推定することができる。

［式２３］
E｛xi²｝ < Threshold

この場合、w11、w12は、既存の方法で求めた値を用いるのではなく、ｘ２がエネルギーを有しない場合であることを考慮し、新しい方法で推定すればよい。同様に、Threshold値は閾値を意味する。この閾値は、例えば、人間の知覚心理による特定値であっても良く、様々な実験による計算値であっても良い。

例えば、ｘ２がエネルギーを有しないと、出力信号は下記の式２４の通りになる。

［式２４］
y_1_hat = w11 * x1
y_2_hat = w21 * x2

そして、w11、w21を、下記の式２５のように推定することができる。

［式２５］
w11 = E｛x1*y1｝ / E｛x1²｝
w21 = E｛x1*y2｝ / E｛x1²｝

ここで、w12 = w22 = 0 となる。

第四の実施例として、ミックス利得情報を利用する方法がある。

オブジェクトベースのコーディングにおいて交差チャネルに対する重み付けファクタが必要な場合として、自己チャネルの入力信号から自己チャネルの出力信号を生成できない場合がある。これは、一方のチャネルにのみ含まれた信号（あるいは、一方のチャネルに主に含まれた信号）を他方のチャネルに移す場合に発生しうる。すなわち、特定オブジェクトが特定チャネルにパニングされた入力に対してそのパニング特性を変更しようとする場合に発生しうる。

この場合、所望の音響効果を得るには、必ず交差チャネルに対する重み付けファクタを利用しなければならない。このような場合を検出する方法及びその場合に重み付けファクタをどのように用いるかに関する方法が必要である。本実施例では、上記の検出方法及び重み付けファクタ利用方法を提案する。

例えば、処理されるオブジェクト信号がモノである場合を考える。まず、オブジェクト信号がモノか否かを判断する。当該オブジェクト信号がモノの場合、側面にパニングされているか否かを判断することができる。このとき、側面へのパニングは、ai/biを用いて判断することができる。具体的には、ai/bi＝１なら、オブジェクト信号は各チャネルに同一のレベルとして含まれていることがわかり、これは、オブジェクト信号が音響空間上で中央に位置することを意味する。一方、ai/bi＜Thr_Bなら、オブジェクト信号はbiが指し示す側（右側）にパニングされた状態であることがわかる。逆に、ai/bi＞Thr_Aなら、オブジェクト信号はaiが指し示す側（左側）にパニングされた状態であることがわかる。ここで、Thr_A値とThr_B値は閾値を意味する。閾値は、例えば、人間の知覚心理による特定値であっても良く、様々な実験による計算値であっても良い。

判断の結果、側面パニングが行われたとすれば、再生ミックス利得によってパニングが変わるか否かを判断する。パニングが変わるか否かは、ai/bi値とci/di値とを比較して判断することができる。例えば、ai/biが右側にパニングされた状態とする。このとき、ci/diが右側にさらにパニングされる場合、交差チャネル係数は不要となりうる。しかし、ci/diが左側にパニングされる場合、交差チャネル係数を用いて左側出力チャネルにオブジェクト信号成分を含めることができる。

また、ai/bi値とci/di値とを比較する場合、ai/biまたはci/diに適切な加重値を適用して比較の敏感性を調節することができる。例えば、ci/diをai/biと比較する代わりに、下記の式２６を利用することができる。

［式２６］
(ci / di) * alpha > ai / bi
(ci / di) * beta < ai / bi

式２６を利用する場合、alpha、betaを適切に調節することによって交差チャネル係数の使用に対する敏感性を調節することが可能である。

また、側面パニングされたオブジェクト信号のパニングが変わった場合においても、オブジェクト信号が充分なエネルギーを持っていない場合では、交差チャネル係数を利用せずに自己チャネル係数のみを利用することも可能である。例えば、側面パニングされ、再生ミックス利得によりパニングが変わるオブジェクト信号が該当コンテンツの前部にのみ存在し、それ以後には存在しない場合では、オブジェクト信号が存在する区間に対してのみ交差チャネル係数を使用することができる。

本発明の実施例で提案するように、該当オブジェクトのエネルギー情報を用いて交差チャネル係数を利用するか否かを選択することが可能である。該当オブジェクトのエネルギーは付加情報の形態で送信されることもでき、あるいは、送信された付加情報と入力信号を用いて推定することもできる。

第五の実施例として、オブジェクト特性を用いる方法がある。

オブジェクト信号が多チャネルオブジェクト信号である場合、オブジェクト信号の特性によって処理することができる。説明の便宜のために、ステレオオブジェクト信号の場合について説明する。

第一の例として、ステレオオブジェクト信号をダウンミックスしてモノオブジェクト信号を生成し、元のステレオオブジェクト信号の各チャネル間の関係をサブ付加情報として表して処理することができる。ここで、サブ付加情報は、既存の付加情報と区別するための用語で、階層的には付加情報の下位概念を示す。オブジェクトベースのコーディングにおいて、オブジェクトのエネルギー情報を付加情報として利用する場合では、モノオブジェクト信号のエネルギーを付加情報とすることができる。

第二の例として、オブジェクト信号の各チャネルをそれぞれ一つの独立したモノオブジェクト信号として処理することができる。例えば、オブジェクト信号のエネルギー情報を付加情報として利用する場合では、各チャネルのエネルギーを付加情報として利用することができる。このような場合、上記第一の例に比べて送信すべき付加情報の数が増えることがある。

上記第一の例では、先の第四の実施例である「ミックス利得情報を用いる方法」によって交差チャネル係数を利用するか否かを判断できる。このとき、ミックス利得情報と共にサブ付加情報を利用することができる。

上記第二の例では、左側チャネルオブジェクト信号がs_iなら、右側チャネルオブジェクト信号はs_i+1となりうる。そして、左側チャネルオブジェクト信号の場合、b_i＝０、右側チャネルオブジェクト信号の場合、a_i+1＝０となる。すなわち、第二の例においては、二つのモノオブジェクトとして処理されるが、一方のチャネルにのみ含まれるので、b_i ＝ a_i+1 ＝ ０の特性を持つ。

上記第二の例のステレオオブジェクト信号に対してオブジェクトベースのコーディングを行うためには、下記のような２つの方法を利用することができる。

第一の方法として、交差チャネル係数を利用しない場合がある。例えば、再生ミックス利得が下記の式２７のように与えられたとする。

［式２７］
c_i = alpha
c_i+1 = beta

ステレオオブジェクト信号の場合、a_i+１＝０と表現することができる。このとき、c_i+1が０でなければ、右側に含まれるs_i+1オブジェクト信号を左側にも含めなければならないので、交差チャネル係数が必要となる。

しかし、ステレオオブジェクト信号の場合、各チャネルに含まれる成分が似ていると仮定することができる。これは、下記の式２８の通りである。

［式２８］
c_i_hat = c_i + c_i+1,
c_i+1_hat = 0

したがって、交差チャネル係数を使用する必要がない。

同様に、下記の式２９のように処理し、交差チャネル係数は使用されない。

［式２９］
d_i_hat=0
d_i+1_hat=d_i + d_i+1

第二の方法として、交差チャネル係数を用いる場合がある。

ステレオオブジェクト信号の左側にのみ含まれる信号を右側出力信号に含めたい場合、交差チャネル係数を使用しなければならない。したがって、再生ミックス利得を分析し、必要な場合に限って交差チャネル係数を使用することができる。

他の例として、ステレオオブジェクト信号の場合、追加的にオブジェクト信号の特性をさらに利用することができる。ステレオオブジェクト信号の場合、特定時間帯に特定周波数帯域の信号は非常に類似した信号が各チャネル信号を構成している場合がある。この場合、デコーダでステレオオブジェクト信号の相関性を表す値が閾値よりも高い場合、交差チャネル係数を用いずに、式２８，２９のように処理することが可能である。

各チャネルの相関性を分析するために、チャネル間のコヒーレンスを測定する方法などを用いることができる。または、エンコーダでステレオオブジェクト信号のチャネル間のコヒーレンスに関連する情報をビットストリームに含めることができる。または、エンコーダでステレオオブジェクト信号に対して、コヒーレンスの高い時間／周波数領域に対してモノ化して処理し、コヒーレンスの低い時間／周波数領域に対してはステレオ化してコーディングすることができる。

第六の実施例として、選択的係数を用いる方法がある。

例えば、左側信号は右側チャネルに送るが、右側信号は左側チャネルに含まれないとすれば、w21は用いるがw12は用いないのが良い。したがって、交差チャネル係数を用いる場合であっても、全ての交差係数を用いるのではなく、元のミックス利得と再生ミックス利得を確認して必要な交差のみを許容することができる。

上述した通り、特定オブジェクトのパニングが変わる場合、該パニングを許容するのに必要な交差チャネル係数のみを使用することが可能である。もし、他のオブジェクトのパニングが反対方向になっていると、２個の交差チャネル係数の両方とも利用することが可能である。

例えば、w11、w12、w22が利用される場合、すなわち、w21が利用されない場合、w11、w12、w22はw11〜w22の４個の係数が全て利用される場合のw11、w12、w22と異なることがある。このときのw11、w12、w22は、前述した方法のようにy_1_hat、y_2_hatをモデリングし、最小二乗推定法によって用いることができる。このとき、w11、w12が使用されるのでy_1_hatは一般の場合と同一である。したがって、w11、w12も既存の値をそのまま使用することができる。ただし、w22のみ利用されるので、y_2_hatは、w2のみ使用されるときのy_2_hatと同一であり、よって、w22は式１１のw2を用いることができる。

したがって、本発明では、必要に応じて単方向の交差チャネル係数のみを許容する方法を提案し、これを判断するために元のミックス利得と再生ミックス利得を利用することができる。

また、単方向交差チャネル係数が利用される場合は、重み付けファクタ推定を新規に行うことができる。

第七の実施例として、交差チャネル係数のみを用いる方法がある。

極端なパニング特性を持つ入力信号に対して、各オブジェクト信号を反対方向にパニングする場合、w11〜w22を用いるよりも、w21、w12のみを用いるのがより効果的となりうる。交差チャネル係数のみを用いるために次のような条件を利用することができる。例えば、第一に、入力信号のミックス利得が側面にパニングされた状態なのか、第二に、側面パニングされたオブジェクト信号が反対方向にパニングされるのか、第三に、第一と第二の両方を満たすオブジェクトの数と全体オブジェクト数との関係、第四に、第一と第二を満たさないオブジェクトの元のパニング状態と要求されるパニング状態とを含むことができる。ただし、第四の場合、元のパニングが側面であり、要求されるパニングも同じ側面であれば、交差チャネル係数のみを用いることが不利な場合もある。

また、様々な方法を選択的に、共にまたは部分的に利用することもできる。

図３は、本発明の実施例による、より効率的なオーディオ信号の処理方法を説明するためのフローチャートである。

まず、少なくとも一つのオブジェクト信号がダウンミックスされたダウンミックス情報を受信することができる（Ｓ３１０）。そして、オブジェクト情報を含む付加情報、及びミックス情報を取得することができる（Ｓ３２０）。

ここで、オブジェクト情報は、オブジェクト信号のレベル情報、相関情報、利得情報及びそれらの補充情報のうち少なくとも一つを含むことができる。補充情報は、レベル情報の補充情報、相関情報の補充情報及び利得情報の補充情報を含むことができる。例えば、利得情報の補充情報は、オブジェクト信号の利得情報の実際値と推定値間の差分情報を含むことができる。

ミックス情報は、オブジェクト信号の位置情報、利得情報及び再生環境情報のうち少なくとも一つに基づいて生成することができる。

付加情報及びミックス情報に基づいて複数のチャネル情報を生成することができる（Ｓ３３０）。そして、複数のチャネル情報を用いて、ダウンミックス情報から出力チャネル信号を生成できる（Ｓ３４０）。以下、具体的な実施例について説明する。

図４は、本発明の実施例による、より効率的にオブジェクト信号を送信するためのオーディオ信号処理装置の概略的なブロック図である。

図４を参照すると、オーディオ信号処理装置は、大きく、エンハンストリミックスエンコーダ４００、ミックス信号エンコーディング部４３０、ミックス信号デコーディング部４４０、パラメータ生成部４６０、リミックスレンダリング部４５０を含むことができる。エンハンストリミックスエンコーダ４００は、付加情報生成部４１０、リミックスエンコーディング部４２０を含むことができる。

リミックスレンダリング部４５０でレンダリングを行うにあたり、重み付けファクタを生成するために上記付加情報が必要となりうる。例えば、付加情報には、ミックス利得推定値（ai_est、bi_est）、再生ミックス利得（ci、di）、ソース信号のエネルギー（Ps）などがある。パラメータ生成部４６０では、付加情報を用いて重み付けファクタを生成することができる。

本発明の一実施例として、エンハンストリミックスエンコーダ４００では、付加情報としてミックス利得（ai、bi）の推定値、すなわち、ミックス利得推定値（ai_est、bi_est）を送信することができる。ミックス利得推定値とは、ミックス信号と各オブジェクト信号とを用いて、ミックス利得（ai、bi）値を推定したものを意味する。エンコーダよりミックス利得推定値を送信すると、これらミックス利得推定値とci/diを用いて重み付けファクタ（w11〜w22）を生成することができる。他の実施例として、各オブジェクト信号が実際にミキシングされる過程で使われたai/biの実際の値を別の情報としてエンコーダが有することができる。例えば、エンコーダ自体でミキシング信号を生成する場合や、外部でミキシング信号を生成する時、ai/biをどのような値として利用したかを別のミックス制御情報として送信することができる。

例えば、ci/diは、ユーザ所望のリミックスシーンを意味し、ai/biは、ミキシングされた信号を意味する場合、実際のレンダリングはこれら両値の差に基づいて行うことができる。

例えば、ai＝１、bi＝１の特定オブジェクトに対してci＝１、di＝１．５という制御情報を受けたとすれば、これは、左側チャネル信号は（ai→ci）とそのまま維持し、右側チャネル信号は（bi→di）と０．５だけ利得を増幅するとの指示となりうる。

しかし、上記の例で、もし、ai/biの代わりにミックス利得推定値（ai_est、bi_est）のみを送信すると問題となる可能性がある。ミックス利得推定値（ai_est、bi_est）は、エンコーダで計算により推定される値であるから、実際の値ai、biと異なる値、例えば、ai_est＝０．９、bi_est＝１．１を持つ場合がある。この場合、デコーダでは、ユーザの実際の意図（右側チャネルに限って０．５だけ増幅）とは違い、左側チャネルはai_estとciとの差である＋０．１の利得だけ増幅され、右側チャネルは＋０．４しか増幅できない。すなわち、ユーザの意図と異なる制御が生じる。したがって、ミックス利得推定値（ai_est、bi_est）の他にai、biの実際の値を送信すると、所望の信号により近く復元することができる。

一方、ユーザの入力がci/diの形態でインタフェースされるのではなく、利得とパニングとして入力される場合、デコーダでは、利得とパニングをci/diの形態に変換して適用することができる。このとき、変換はai/biを基準にしても良く、ai_est/bi_estを基準にしても良い。

他の実施例として、ai/bi、ai_est、bi_estを全て送信する場合、それぞれＰＣＭ信号として送信する代わりに、aiとai_estとの差分値、biとbi_estとの差分値として送信することができる。これは、aiとai_est、biとbi_estが互いに非常に類似の特性を有するためである。例えば、ai、ai_delta＝ai-ai_est、bi、bi_delta＝bi-bi_estを送信することができる。

本発明が適用される実施例として、ミックス情報を送信するときに量子化した値を送信することができる。例えば、デコーダでai/biとci/diとの相対的な関係を用いてリミキシングする時、実際に送信される値はai_q/bi_qの量子化された値となりうる。このとき、量子化されたai_q/bi_qと実数のci/diとを比較する場合、再び誤差が発生することがある。したがって、ci/diも、ci_q/di_qの量子化された値を利用することができる。

一方、ci/diは、主に、ユーザがデコーダに入力することができる。また、プリセット値としてビットストリームに含めて送信してもよい。ビットストリームは、付加情報とは別にあるいは共に送信してもよい。

エンコーダから送信されるビットストリームは、ダウンミックス信号、オブジェクト情報、及びプリセット情報を含む統合した単一のビットストリームであってもよい。オブジェクト情報及びプリセット情報は、ダウンミックス信号ビットストリームの付加領域に格納されてもよい。または、独立したビット列として格納及び送信されてもよい。例えば、ダウンミックス信号は第１ビットストリームにより送信されてもよく、オブジェクト情報及びプリセット情報は第２ビットストリームにより送信されてもよい。他の実施例では、ダウンミックス信号及びオブジェクト情報は第１ビットストリームにより送信され、プリセット情報のみ別の第２ビットストリームにより送信されてもよい。また、さらに他の実施例では、ダウンミックス信号、オブジェクト情報及びプリセット情報は、別の３つのビットストリームによりそれぞれ送信されてもよい。

このような第１ビットストリーム及び第２ビットストリームまたは別のビットストリームは、同一のビット率または異なるビット率で送信されてもよく、特に、プリセット情報の場合、オーディオ信号の復元後に、ダウンミックス信号またはオブジェクト情報と別に分離されて格納したり送信したりすることができる。

本発明が適用される他の実施例として、ci/diは、必要に応じて時変値とすることができる。すなわち、時間の関数として表現される利得値とすることができる。このように、再生ミックス利得を表すユーザミックスパラメータを、時間による値として表すために、適用時点を表すタイムスタンプの形で入力することができる。

このとき、時間インデックスは、後続するci/diが適用される時間軸上の時点を示す値であっても良く、ミックスされたオーディオ信号のサンプル位置を示す値であっても良い。または、オーディオ信号をフレーム単位で示すとき、フレーム位置を示す値であっても良い。サンプル値であるときは、特定サンプル単位でのみ表現することができる。

一般的には、時間インデックスに対応するci/diの適用は、新しい時間インデックス及びci/diが現れるまで継続することができる。一方、時間インデックスの代わりに時間間隔値を使用することができるが、これは、該当するci/diが適用される区間を意味する。

また、ビットストリーム内にリミックスを行うか否かを示すフラグ情報を定義することができる。フラグ情報が「偽」なら、該当区間ではci/diが送信されず、本来のai/biによるステレオ信号を出力することができる。すなわち、該当区間ではリミックス過程が進行せずに済む。このような方法でci/diビットストリームを構成する場合、ビット率を最小化でき、所望でないリミックスが行われるのを防止することができる。

図５は、本発明の実施例による、逆制御を用いたオブジェクト信号の処理方法を説明するためのフローチャートである。

オブジェクトベースのコーディングを行うにあたり、一部のオブジェクト信号に対してのみ制御する必要がある場合がある。例えば、アカペラのように、特定オブジェクト信号のみを残し、残りのオブジェクト信号は全て抑圧する形態のミキシングを利用することができる。または、バックグラウンド音楽と共にボーカルがある場合は、ボーカルをよく聞くためにバックグラウンド音楽の大きさを下げる。すなわち、変更されないオブジェクト信号よりも変更されるオブジェクト信号の数が多い場合、あるいは、より複雑な場合を含むことができる。その場合、逆処理をした後に全体利得を補償する形態で処理すると、音質をより向上させることができる。例えば、アカペラの場合、ボーカルオブジェクト信号のみを増幅した後、本来のボーカルオブジェクト信号の利得値に合わせて全体利得を補償することができる。

まず、少なくとも一つのオブジェクト信号がダウンミックスされたダウンミックス情報を受信することができる（Ｓ５１０）。そして、オブジェクト情報を含む付加情報、及びミックス情報を取得することができる（Ｓ５２０）。

ここで、オブジェクト情報は、オブジェクト信号のレベル情報、相関情報、利得情報及びそれらの補充情報のうち少なくとも一つを含むことができる。例えば、利得情報の補充情報は、オブジェクト信号の利得情報の実際値と推定値との差分情報を含むことができる。そして、ミックス情報は、オブジェクト信号の位置情報、利得情報及び再生環境情報のうち少なくとも一つに基づいて生成することができる。

オブジェクト信号は、独立オブジェクト信号とバックグラウンドオブジェクト信号とに区別することができる。例えば、フラグ情報を用いて、オブジェクト信号が独立オブジェクト信号なのか、バックグラウンドオブジェクト信号なのかを決定できる。独立オブジェクト信号は、ボーカルオブジェクト信号を含むことができる。バックグラウンドオブジェクト信号は、伴奏オブジェクト信号を含むことができる。そして、バックグラウンドオブジェクト信号は、一つ以上のチャネルベース信号を含むことができる。また、エンハンストオブジェクト情報を用いて、独立オブジェクト信号及びバックグラウンドオブジェクト信号を区別することができる。例えば、エンハンストオブジェクト情報は、レジデュアル信号を含むことができる。

上記オブジェクト情報とミックス情報を用いて逆処理をするか否かを決定することができる（Ｓ５３０）。逆処理は、変更されるオブジェクトの個数が変更されないオブジェクトの個数よりも多い場合、該変更されないオブジェクトを基準に利得補償を行うことを意味する。例えば、伴奏オブジェクトの利得を変更しようとするとき、変更しようとする伴奏オブジェクトの個数が、変更しないボーカルオブジェクトの個数よりも多い場合、逆に個数の少ないボーカルオブジェクトの利得を変更することができる。このように、逆処理が行われる場合、利得補償のための逆処理利得値を取得することができる（Ｓ５４０）。この逆処理利得値に基づいて出力チャネル信号を生成することができる（Ｓ５５０）。

図６及び図７は、本発明の他の実施例による、逆制御を用いてオブジェクト信号を処理するオーディオ信号処理装置のブロック図である。

図６を参照すると、オーディオ信号処理装置は、逆処理制御部６１０、パラメータ生成部６２０、リミックスレンダリング部６３０及び逆処理部６４０を含むことができる。

逆処理を行うか否かの決定は、ai/bi、ci/diを用いて逆処理制御部６１０で行うことができる。パラメータ生成部６２０では、決定によって逆処理が行われる場合、それに対応する重み付けファクタ（w11〜w22）を生成し、利得補償のための逆処理利得値を計算して逆処理部６４０に送信する。リミックスレンダリング部６３０では、これら重み付けファクタに基づいてレンダリングを行う。

例えば、ai/bi及びci/diが、ai/bi＝｛1/1、1/1、1/0、0/1｝、ci/di＝｛1/1、0.1/0.1、0.1/0、0/0.1｝と与えられているとする。これは、１番目のオブジェクト信号を除く残りのオブジェクト信号をいずれも１／１０に抑圧するためのものである。このような場合、次のような逆重み付けファクタ比（ci_rev/di_rev）及び逆処理利得を用いて、より所望の信号に近い信号を得ることができる。
ci_rev/di_rev＝｛10/10、1/1、1/0、0/1｝、reverse_gain＝0.1

本発明の他の実施例として、特定オブジェクト信号の複雑性を示すフラグ情報をビットストリームに含めることができる。例えば、オブジェクト信号の複雑性の有無を示すcomplex_object_flagを定義することができる。この複雑性の有無は、固定値を基準に決定することもでき、相対的な値を基準に決定することもできる。

例えば、２個のオブジェクト信号で構成されたオーディオ信号であり、そのいずれか一方のオブジェクト信号は、ＭＲ（Music Recorded）伴奏のようなバックグラウンド音楽であり、いずれか他方のオブジェクト信号はボーカルとする。このバックグラウンド音楽は、ボーカルよりもはるかに多い楽器の組合せにより構成された複雑なオブジェクト信号である場合がある。この場合、complex_object_flag情報を送信すると、逆処理制御部では簡単に逆処理を行うか否かを決定できる。すなわち、ci/diがバックグラウンド音楽を−２４ｄＢと抑圧してアカペラを具現化するように要請する場合、フラグ情報によって、逆にボーカルを＋２４ｄＢ増幅した後、逆処理利得を−２４ｄＢとすることによって意図した信号を生成することができる。このような方法は、全時間、全帯域に対して一括的に適用することもでき、特定時間または特定帯域に対してのみ選択的に適用することもできる。

本発明の他の実施例として、極端なパニングが発生する場合に逆処理を行う方法について説明する。

例えば、大部分の左側チャネルにあったオブジェクトが右側に移動し、右側にあったオブジェクトが左側に移動するようにリミックス要請が入る場合がある。この場合、上記で説明した方法で行うよりは、左／右チャネルを交換した後に、交換された状態でリミックスを行う方がより効率的となりうる。

図７を参照すると、オーディオ信号処理装置は、逆処理制御部７１０、チャネル交換部７２０、リミックスレンダリング部７３０及びパラメータ生成部７４０を含むことができる。

逆処理制御部７１０では、ai/bi及びci/diに関する分析を通じてオブジェクト信号を交換するか否かを決定できる。チャネル交換部７２０では、上記決定によって交換することが好ましい場合、チャネル交換を行うこととなる。リミックスレンダリング部７３０では、チャネル交換されたオーディオ信号を用いてレンダリングを行う。このとき、重み付けファクタ（w11〜w22）は、上記交換されたチャネルを基準に生成することができる。

例えば、ai/bi＝｛1/0、1/0、0.5/0.5、0/1｝、ci/di＝｛0/1、0.1/0.9、0.5/0.5、1/0｝とする。上記のようなパニングを行いたい場合は、１、２、４番目のオブジェクト信号は極めて極端なパニングを行わなければならない。このとき、本発明によってチャネル交換が行われると、１、３、４番目のオブジェクト信号は変化させる必要がなく、２番目のオブジェクト信号のみを細かく調節すればよい。

このような方法は、全時間、全帯域に対して一括して適用することもでき、特定時間、特定帯域に対してのみ選択的に適用することもできる。

本発明の他の実施例として、相関性の高いオブジェクト信号を効率的に処理するための方法を提案する。

リミックスのためのオブジェクト信号のうち、ステレオオブジェクト信号を有する場合が多い。ステレオオブジェクト信号の場合、それぞれのチャネル（Ｌ／Ｒ）を独立したモノオブジェクトとみなして独立したパラメータを送信し、送信されたパラメータを用いてリミックスすることができる。一方、リミックスでは、ステレオオブジェクト信号に対してどのオブジェクト２つがカップリングしてステレオオブジェクト信号を構成するかに関する情報を送信することができる。例えば、この情報をsrc_typeと定義することができる。このsrc_typeはオブジェクト別に送信することができる。

他の例として、ステレオオブジェクト信号中には左／右チャネル信号が事実上ほとんど同一の値を有する場合がある。この場合には、ステレオオブジェクト信号として取扱うよりは、モノオブジェクト信号として取扱う方が、リミキシングにおいてより容易であり、送信に必要なビット率も減少させることができる。

例えば、ステレオオブジェクト信号が入力された場合、リミックスエンコーダ内でこれをモノオブジェクト信号と見なすか、それとも、ステレオオブジェクト信号と見なすかを決定できる。そして、それに対応するパラメータをビット列に含めることができる。このとき、ステレオオブジェクト信号として処理をする場合には、ai/biが左側チャネル及び右側チャネルに対してそれぞれ１対ずつ必要である。この場合、左側チャネルに対するbi＝０、右側チャネルに対するai＝０が好ましい。ソースのパワー（Ps）もそれぞれ１対ずつ必要である。

他の例として、左側オブジェクト信号と右側オブジェクト信号が、事実上同一の信号である、または、相関性の非常に高い信号である場合は、両信号の和である仮想のオブジェクト信号を生成することができる。そして、仮想のオブジェクト信号を基準にai/bi及びPsを生成して送信することができる。このような方法でai/bi、Psを送信すると、ビット率を減少させることができる。そして、デコーダでは、レンダリングを行う時に、余分のパニング動作が省かれ、より安定した動作が可能となる。

ここで、モノダウンミックス信号を生成する方法には様々な方法がある。例えば、左側オブジェクト信号と右側オブジェクト信号とを合算する方法がある。または、合算したオブジェクト信号を、正規化された利得値で除算する方法がある。それぞれどのように生成するかによって、送信されるai/bi、Psの値が異なってくる。

また、特定オブジェクト信号がモノなのか、ステレオなのか、または、本来はステレオだったがエンコーダによりモノになったのかを区別できるような情報をデコーダに送信することができる。こうすると、デコーダにおけるci/diインタフェース時に互換性を維持することができる。例えば、モノである場合は、src_type＝０、ステレオのうち、左側チャネル信号である場合はsrc_type＝１、右側チャネル信号の場合はsrc_type＝２とし、ステレオ信号をモノ信号にダウンミックスした場合はsrc_type＝３と定義することができる。

一方、デコーダでは、ステレオオブジェクト信号のコントロールのために、左側チャネル信号に対するci/diと右側チャネル信号に対するci/diを送信することができる。このとき、オブジェクト信号のsrc_type＝３に該当する場合、左側チャネル信号及び右側チャネル信号に対するci/diが合算された形態で適用することが好ましい。合算する形態は、仮想のオブジェクト信号を生成する方法とすればよい。

このような方法は全時間、全帯域に対して一括して適用することもでき、特定時間または特定帯域に対してのみ選択的に適用することもできる。

本発明の他の実施例として、各オブジェクト信号が各チャネル信号に１：１にマッチングする場合、フラグ情報を用いて送信量を減らすことができる。この場合、実際のレンダリングのためにリミックスアルゴリズムを全て適用するよりは、単純なミックス過程を通じてより容易で正確にレンダリングすることができる。

例えば、２つのオブジェクト信号Obj1、Obj2があり、このObj1、Obj2に対するai/biが｛1/0、0/1｝なら、ミックスされた信号の左側チャネル信号にはObj1のみが存在し、右側チャネル信号にはObj2のみが存在する。この場合は、ソースパワー（Ps）も該ミックスされた信号から抽出できるので、別に送信する必要がない。また、レンダリングを行う場合、重み付けファクタ（w11〜w22）はci/di及びai/biの関係から直接得ることができ、Psを用いた演算は別途要求されない。したがって、上記の例では、関連フラグ情報を用いることによってより容易に処理することができる。

図８は、本発明の実施例による、オブジェクトに対するメタ情報を含むビットストリームの構造を示す図である。

オブジェクトベースのオーディオコーディングでは、オブジェクトに対するメタ情報を受信することができる。例えば、複数個のオブジェクトをモノまたはステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号からメタ情報を抽出することができる。そして、メタ情報は、ユーザの選択によってコントロールすることができる。

ここで、メタ情報は、メタデータを意味する。メタデータとは、データについてのデータであり、情報リソースの属性を記述するデータを意味する。すなわち、メタデータとは、実際に格納しようとするデータ（例えば、ビデオ、オーディオ等）ではないが、このデータと直接的にあるいは間接的に関連した情報を提供するデータのことを意味する。このようなメタデータを使用すると、ユーザ所望のデータに該当するか否かが確認でき、容易で迅速に所望のデータを見つけることができる。すなわち、データを所有している側面では管理の容易性が、データを使用している側面では検索の容易性が保障される。

オブジェクトベースのオーディオコーディングにおいて、メタ情報はオブジェクトの属性を示す情報を意味する。例えば、メタ情報は、音源を構成する複数個のオブジェクト信号のうち、ボーカルオブジェクトなのか、またはバックグラウンドオブジェクトなのかなどを示すことができる。または、ボーカルオブジェクトのうち、左側チャネルに対するオブジェクトなのか、右側チャネルに対するオブジェクトなのかを示すことができる。または、バックグラウンドオブジェクトのうち、ピアノオブジェクトなのか、ドラムオブジェクトなのか、ギターオブジェクトなのか、その他の楽器オブジェクトなのかなどを示すことができる。

一方、ビットストリームとは、パラメータやデータの束を意味し、送信あるいは格納のために圧縮された形態の一般的な意味のビットストリームを意味する。また、ビットストリームで表現される前のパラメータの形態を指すものとして、広い意味に解釈することもできる。デコーディング装置は、オブジェクトベースのビットストリームからオブジェクト情報を取得することができる。次に、オブジェクトベースのビットストリームに含まれる情報について説明する。

図８を参照すると、オブジェクトベースのビットストリームは、ヘッダ及びデータを含むことができる。ヘッダ１は、メタ情報及びパラメータ情報などを含むことができる。メタ情報は、次のような情報を含むことができる。例えば、オブジェクト名、オブジェクトを示すインデックス、オブジェクトに関する具体的な属性情報、オブジェクトの個数情報、メタデータの説明情報、メタデータの文字の個数情報、メタデータの文字情報、メタデータフラグ情報などを含むことができる。

ここで、オブジェクト名は、ボーカルオブジェクト、楽器オブジェクト、ギターオブジェクト、ピアノオブジェクトなど、オブジェクトの属性を示す情報を意味する。オブジェクトを示すインデックスは、オブジェクトに関する属性情報をインデックスとして割り当てた情報を意味する。例えば、楽器名ごとにインデックスを割り当て、あらかじめテーブルとして定めておくことができる。オブジェクトに関する具体的な属性情報は、下位オブジェクトの個別的な属性情報を意味する。ここで、下位オブジェクトは、類似のオブジェクトがグルーピングされて一つのグループオブジェクトをなしたとき、それら類似のオブジェクトのそれぞれを意味する。例えば、ボーカルオブジェクトの場合、左側チャネルオブジェクトを示す情報と右側チャネルオブジェクトを示す情報とを挙げることができる。

また、オブジェクトの個数情報（オブジェクト数）は、オブジェクトベースのオーディオ信号パラメータが送信されたオブジェクトの個数を意味する。メタデータの説明情報は、エンコーディングされたオブジェクトのためのメタデータの説明情報を意味する。メタデータの文字の個数情報は、一つのオブジェクトのメタデータ説明のために利用される文字の個数を意味する。メタデータの文字情報（単一文字）は、一つのオブジェクトのメタデータの各文字を意味する。メタデータフラグ情報は、エンコーディングされたオブジェクトのメタデータ情報が送信されるか否かを知らせるフラグを意味する。

一方、パラメータ情報は、サンプリング周波数、サブバンドの数、ソース信号の数、ソースタイプなどを含むことができる。また、選択的にソース信号の再生環境情報などを含むことができる。

データは、一つ以上のフレームデータを含むことができる。必要な場合、フレームデータと一緒にヘッダ２を含むことができる。ヘッダ２は、アップデートが必要な情報を含むことができる。

上記フレームデータは、各フレームに含まれるデータタイプに関する情報を含むことができる。例えば、０番目のデータタイプである場合(Type 0)、フレームデータは最小の情報を含むことができる。具体的には、付加情報と関連したソースパワーのみを含むことができる。１番目のデータタイプ（Type 1）である場合、フレームデータは、追加的にアップデートされる利得を含むことができる。２番目及び３番目のデータタイプである場合、フレームデータは、将来の使用のために保留領域として割り当てられる。万一、ビットストリームが放送用に用いられる場合、保留領域は、放送信号のチューニングを合わせるために必要な情報（例えば、サンプリング周波数、サブバンド数等）を含むことができる。

図９は、本発明の実施例による、効率的なオーディオ信号を送信するためのシンタックス構造を示す図である。

ソースパワー（Ps）は、フレーム内でパーティション（周波数バンド）と同数のものが送信される。パーティションは、心理音響モデルに基づく不均一バンドであり、通常、２０個を使用する。したがって、各ソース信号当たり２０個のソースパワーを送信することとなる。量子化されたソースパワーはいずれも正の値を有し、このソースパワーをそのまま線形ＰＣＭ信号として送信する代わりに、差分符号化して送ることが有利である。時間または周波数差分符号化、あるいは、ＰＢＣ（pilot-based coding）のうち、最適の方法を選択して選択的に送信することができる。ステレオソースの場合は、カップリングされたソースとの差分値を送ることもできる。このとき、ソースパワーの差分値は、正または負のいずれの符号を有しても良い。

差分符号化されたソースパワー値は再びハフマン符号化して送信する。この場合、ハフマン符号化テーブルは、正の値のみを取扱うテーブルもあり、正と負の値を全て有するテーブルもある。正の値のみを持つアンサインドテーブルを使用する場合、符号に該当するビットを別に送信する。

本発明では、アンサインドハフマンテーブル使用時に符号ビットを送信する方法を提案する。

各差分値サンプルごとに符号ビットを送信せずに、一つのパーティションに対応する２０個の差分値に対する符号ビットを一括して送信することができる。このとき、送信される符号ビットに対して同一符号を使用するか否かを知らせるuni_signフラグを送信することができる。uni_signが１の場合は、２０個の差分値の符号がいずれも同一であるということを意味し、この場合は、各サンプル別符号ビットを送信せずに、全体の符号ビットのみを１ビット送信する。uni_signが０の場合は、各差分値別に符号ビットを送信する。このとき、差分値が０のサンプルに対しては符号ビットを送信しない。２０個の差分値がいずれも０の場合は、uni_signフラグも送信しない。

このような方法により符号がいずれも同一の差分値を持つ領域に対しては、符号ビット送信に必要なビット数を減らすことができる。実際のソースパワー値の場合、ソース信号が時間領域で一時的な特性を有するので、時間差分値は、しばしば一つの符号を有する。したがって、本発明によると、信号送信方法の効率が向上する。

図１０〜図１２は、本発明の実施例による、ソースパワーの送信のための無損失コーディング過程を説明するための図である。

図１０を参照して、ソースパワーの送信のための無損失コーディング過程を説明する。時間あるいは周波数軸における差分信号を生成した後、差分ＰＣＭ値に対して圧縮の観点で最も有利なハフマンコードブックを用いて符号化する。

差分値がいずれも０の場合は、Huff_AZの場合と見なすことができ、この場合、実際には差分値は送信せず、Huff_AZが採択された点だけでもデコーダでは差分値がいずれも０であるという事実がわかる。差分値の大きさが小さく、０値を持つ場合が相対的に高いから、２個あるいは４個と対をなして符号化する２Ｄ／４Ｄハフマン符号化方法が効率的となりうる。各テーブル別に符号化できる最大絶対値はそれぞれ異なることがあり、通常、４Ｄテーブルは、最大値が１と非常に低いことが好ましい。

アンサインドハフマン符号化を用いる場合、前述したように、uni_signを用いたサインコーディング方法を適用することができる。

一方、各次元でのハフマンテーブルは、それぞれ異なる統計的な特性を有する複数個のテーブルのうちのいずれかを選択的に使用することができる。または、FREQ_DIFFなのか、TIME_DIFFなのかによって、異なるテーブルを使用することができる。どの差分信号またはどのハフマン符号化が用いられたかは、別のフラグとしてビットストリーム内に含まれうる。

また、無駄なビットを最小化するために、フラグを用いて特定の組合せの符号化方法は用いないと定義することができる。例えば、Freq_diffとHuff_4Dの組合せはほとんど用いられないとすれば、当該組合せによる符号化は採択しない。

また、フラグの組合せにもよく使用する場合があり、よって、これに対するインデックスもハフマン符号化して送信すると、追加的にデータを圧縮することができる。

図１１を参照して、他の無損失符号化方法について説明する。差分符号化方法には、様々な例がある。例えば、CH_DIFFは、ステレオオブジェクト信号の場合、各チャネルに対応するソース間の差分値を用いて送信する方法である。そして、パイロットに基づく差分符号化、時間差分符号化もある。ここで、時間差分符号化の場合、ＦＷＤあるいはＢＷＤのいずれかを選択して使用する符号化方法を追加する。ハフマン符号化の場合、サインドハフマン符号化を追加する。

一般に、ステレオオブジェクト信号を処理するにあたり、オブジェクト信号の各チャネルを、それぞれの独立したオブジェクト信号として処理できる。例えば、第１チャネル（例えば、左側チャネル）信号をs_i、第２チャネル（例えば、右側チャネル）信号をs_i+1の独立したモノオブジェクト信号と見なして処理することができる。このような場合、送信されるオブジェクト信号のパワーは、Ps_i、Ps_i+1になる。しかし、ステレオオブジェクト信号の場合、両チャネル間の特性が非常に類似している場合が多い。したがって、Ps_i、Ps_i+1を符号化する際に一緒に考慮する方が有効といえよう。図１０を参照すると、このようなカップリングの一例が示されている。Ps_iの符号化には図８〜図９の方法を利用し、Ps_i+1の符号化は、Ps_i+１とPs_iとの差を求め、その差を符号化して送ればよい。

本発明の他の実施例として、チャネル間の類似性を用いてオーディオ信号を処理する方法について説明する。

第一の実施例として、ソースパワーとチャネル間レベル差を用いる方法がある。特定チャネルのソースパワーを量子化して送り、他のチャネルのソースパワーは、特定チャネルのソースパワーに対する相対的な値から取得することができる。ここで、相対的な値は電力比（例えば、Ps_i+1/Ps_i）であっても良く、電力値にlogを取った値間の差分値であっても良い。例えば、10log₁₀(Ps_i+1)-10log₁₀(Ps_i)＝10log₁₀(Ps_i+1/Ps_i)である。あるいは、量子化した後のインデックス差分値を送信することもできる。

このような形態を用いる場合、ステレオ信号の各チャネルのソースパワーは非常に類似した値を有するから、量子化及び圧縮送信に非常に有利である。また、量子化前に差分値を求める場合、より正確なソースパワーを送信することもできる。

第二の実施例として、ソースパワーあるいは元の信号の和と差を用いる方法がある。この場合、本来のチャネル信号を送信する場合よりも送信効率が高い他、量子化誤差のバランスの面でも有効である。

図１２を参照すると、特定周波数領域に対してのみカップリングを用いることができる、あるいは、カップリングの起きた周波数領域に対する情報をビットストリームに含めることができる。例えば、主に、低周波帯域の信号においては左側チャネルと右側チャネルとが類似の特性を有し、高周波帯域の信号においては左側チャネルと右側チャネルとの差が大きい。したがって、低周波帯域に対してカップリングを行う方が圧縮効率の向上にも役立つ。次に、カップリングを行う様々な方法について説明する。

例えば、低周波帯域の信号に対してのみカップリングを行うことができる。この場合、あらかじめ約束された帯域に対してのみカップリングを行うから、カップリングの適用された帯域に関する情報を別に送信する必要がない。または、カップリングの行われた帯域に関する情報を送信する方法がある。最適の圧縮効率を得るために、エンコーダが任意にカップリングの行われる帯域を定め、該カップリングの行われた帯域情報をビットストリームに含めることができる。

または、カップリングインデックスを用いる方法がある。カップリングの起きる帯域の可能な組合に対してインデックスを付与し、実際にはインデックスのみを送信することができる。例えば、２０個の周波数バンドに分割して処理する場合、下記の表１のように、インデックスにより、どのバンドがカップリングされたかがわかる。

インデックスは、既に定められたものを利用しても良く、該当コンテンツの最適値を定めてインデックステーブルを送信しても良い。または、各ステレオオブジェクト信号ごとに独立した値を使用することもできる。

本発明が適用される実施例として、グルーピングされたオブジェクトの相関性を示す情報を取得する方法について説明する。

オブジェクトベースのオーディオ信号を処理するにあたり、入力信号を構成する一つのオブジェクトは、独立したオブジェクトとして処理される。例えば、ボーカルを構成するステレオ信号がある場合、左側チャネル信号、右側チャネル信号をそれぞれ一つのオブジェクトとして認識して処理することができる。このような方式でオブジェクト信号を構成する場合、信号の起源が同じオブジェクト間には相関性が存在し、このような相関性を用いてコーディングする場合、より効率的なコーディングが可能となる。例えば、ボーカルを構成するステレオ信号の左側チャネル信号で構成されたオブジェクトと右側チャネル信号で構成されたオブジェクトとの間には相関性が存在し、この相関性に関する情報を送信して利用することができる。

また、上記の相関性が存在するオブジェクトをグルーピングし、グルーピングされたオブジェクトに対して共通の情報を一回のみ送信することによって、より効率的なコーディングが可能となる。

ビットストリームを通じて送信される情報であって、bsRelatedToは、一つのオブジェクトがステレオまたはマルチチャネルオブジェクトの一部分であるとき、他のオブジェクトが上記同一のステレオまたはマルチチャネルオブジェクトの一部分であるか否かを示す情報となりうる。このbsRelatedToは、１ビットの情報をビットストリームから得ることができる。例えば、bsRelatedTo[i][j]＝１の場合、オブジェクトｉとオブジェクトｊは、同一のステレオまたはマルチチャネルオブジェクトのチャネルであることを意味する。

bsRelatedTo値に基づいてオブジェクトがグループを構成したか否かを確認することができる。そして、各オブジェクトごとにbsRelatedTo値を確認することによって各オブジェクト間の相関性に関する情報を確認することができる。このように、相関性の存在するグルーピングされたオブジェクトに対しては同一の情報（例えば、メタ情報）を１回のみ送信することによって、より効率的なコーディングが図られる。

図１３は、本発明の実施例による、ユーザインタフェースを説明するための図である。

まず、メインコントロールウィンドウは、音楽リスト領域、一般的な再生コントロール領域、リミックスコントロール領域を含むことができる。例えば、音楽リスト領域は、少なくとも一つのサンプル音楽を含むことができる。一般的な再生コントロール領域は、再生、一時停止、停止、早送り、巻き戻し、ポジションスライド、ボリュームなどを調節することができる。リミックスコントロール領域は、サブウィンド領域を含むことができる。サブウィンド領域は、改善コントロール領域を含むことができ、この改善コントロール領域ではユーザ所望の項目をコントロールすることができる。

ＣＤプレーヤーの場合、ユーザはＣＤをロードして音楽を聞くことができる。ＰＣプレーヤーでは、ユーザがＰＣにディスクをロードすると、自動でリミックスプレーヤーを実行させることができる。そして、プレーヤーのファイルリストから再生する曲を選択することができる。プレーヤーは、ＣＤに収録されたＰＣＭ音源と *.rmx ファイルを共に読んで自動で再生することができる。このプレーヤーは一般的な再生コントロールだけでなくフルリミックスコントロールもすることができる。フルリミックスコントロールの例に、トラックコントロール、パニングコントロールがある。または、簡単なリミックスコントロールも可能である。簡単なリミックスコントロールモードに切り替わる場合、いくつかの機能しかコントロールできない。例えば、この簡単なリミックスコントロールモードは、カラオケ及びアカペラのように、特定オブジェクトのみを容易に調節できる簡単制御ウィンドウを意味する。また、サブウィンド領域で、ユーザはより詳細に制御することができる。

以上の通り、本発明が適用される信号処理装置は、ＤＭＢ（Digital Multimedia Broadcasting）のようなマルチメディア放送送／受信装置に設けられ、オーディオ信号及びデータ信号などを復号化するのに用いることができる。また、マルチメディア放送の送／受信装置は、移動通信端末機を含むことができる。

また、本発明が適用される信号処理方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ読取可能記録媒体に格納することができ、本発明によるデータ構造を有するマルチメディアデータも、コンピュータ読取可能記録媒体に格納することができる。コンピュータ読取可能記録媒体は、コンピュータシステムによって読み取られるデータが記憶されるいずれの種類の記憶装置をも含む。コンピュータ読取可能記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、なお、キャリアウェーブ（例えば、インターネットを通じた送信）により実現されるものも含む。また、上記の信号処理方法により生成されたビットストリームは、コンピュータ読取可能記録媒体に格納され、または有／無線通信網を用いて送信することができる。

以上の本発明の好ましい実施例は、例示の目的のために開示されたもので、当業者にとっては、特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施例として改良、変更、代替または付加などが可能であるということは自明である。

Claims (14)

1. オブジェクト信号をダウンミックスすることによって生成されたダウンミックス信号を受信し、
   オブジェクト情報を含む付加情報、及びミックス情報を取得し、
   前記付加情報及び前記ミックス情報に基づいて複数のチャネル情報を生成し、
   前記複数のチャネル情報を用いて、前記ダウンミックス信号から出力チャネル信号を生成し、
   前記オブジェクト情報は、前記オブジェクト信号のレベル情報、前記オブジェクト信号の相関情報、前記オブジェクト信号の利得情報、及びそれらの補充情報であって、前記オブジェクト信号の利得情報の実際値と推定値との差分情報を含む補充情報を含む、
   ことを特徴とするオーディオ信号処理方法。
2. オブジェクト信号をダウンミックスすることによって生成されたダウンミックス信号を受信し、
   オブジェクト情報を含む付加情報、及びミックス情報を取得し、
   前記付加情報及び前記ミックス情報に基づいて複数のチャネル情報を生成し、
   前記複数のチャネル情報を用いて、前記ダウンミックス信号から出力チャネル信号を生成し、
   前記オブジェクト情報は、前記オブジェクト信号のレベル情報、前記オブジェクト信号の相関情報、及び前記オブジェクト信号の利得情報を含み、
   前記ミックス情報は、量子化されたプリセット情報を含む、
   ことを特徴とするオーディオ信号処理方法。
3. さらに、あるオブジェクトが他のオブジェクトにグルーピングされたか否かを示すカップリング情報を取得する、請求項１または２に記載のオーディオ信号処理方法。
4. さらに、前記カップリング情報に基づいてグルーピングされたオブジェクトに共通している一つのメタ情報を取得する、請求項３に記載のオーディオ信号処理方法。
5. 前記メタ情報は、メタデータの文字数及び前記メタデータの各文字情報を含む、請求項４に記載のオーディオ信号処理方法。
6. オブジェクト信号をダウンミックスすることによって生成されたダウンミックス信号を受信し、
   オブジェクト情報及びカップリング情報を含む付加情報と、ミックス情報とを取得し、
   前記付加情報及び前記ミックス情報に基づいて複数のチャネル情報を生成し、
   前記複数のチャネル情報を用いて、前記ダウンミックス信号から出力チャネル信号を生成し、
   前記オブジェクト信号は、独立オブジェクト信号とバックグラウンドオブジェクト信号とに区別され、
   前記オブジェクト情報は、前記オブジェクト信号のレベル情報、前記オブジェクト信号の相関情報、及び前記オブジェクト信号の利得情報を含む、
   ことを特徴とするオーディオ信号処理方法。
7. 前記独立オブジェクト信号は、ボーカルオブジェクト信号を含む、請求項６に記載のオーディオ信号処理方法。
8. 前記バックグラウンドオブジェクト信号は、伴奏オブジェクト信号を含む、請求項６に記載のオーディオ信号処理方法。
9. 前記バックグラウンドオブジェクト信号は、一つ以上のチャネルベース信号を含む、請求項６に記載のオーディオ信号処理方法。
10. 前記オブジェクト信号は、フラグ情報に基づいて前記独立オブジェクト信号と前記バックグラウンドオブジェクト信号とに区別される、請求項６に記載のオーディオ信号処理方法。
11. さらに前記オブジェクト情報及び前記ミックス情報を用いて逆処理を行うか否かを決定し、
    前記の決定によって前記逆処理が行われる場合、利得補償のための逆処理利得値を取得し、
    前記逆処理は、変更されるオブジェクトの個数が変更されないオブジェクトの個数よりも多い場合、前記変更されないオブジェクトを基準に前記利得補償が実行されることを意味し、
    前記出力チャネル信号は、前記逆処理利得値に基づいて生成される、請求項６に記載のオーディオ信号処理方法。
12. オブジェクト信号をダウンミックスすることによって生成されたダウンミックス信号を受信するダウンミックス処理部と、
    オブジェクト情報を含む付加情報と、ミックス情報とを取得し、前記付加情報及びミックス情報に基づいて複数のチャネル情報を生成する情報生成部と、
    前記複数のチャネル情報を用いて、前記ダウンミックス信号から出力チャネル信号を生成するマルチチャネルデコーディング部と、
    を有し、
    前記オブジェクト情報は、前記オブジェクト信号のレベル情報、前記オブジェクト信号の相関情報、前記オブジェクト信号の利得情報、及びそれらの補充情報であって、前記オブジェクト信号の利得情報の実際値と推定値との差分情報を含む補充情報を含む、
    ことを特徴とするオーディオ信号処理装置。
13. オブジェクト信号をダウンミックスすることによって生成されたダウンミックス信号を受信するダウンミックス処理部と、
    オブジェクト情報を含む付加情報と、ミックス情報とを取得し、前記付加情報及び前記ミックス情報に基づいて複数のチャネル情報を生成する情報生成部と、
    前記複数のチャネル情報を用いて、前記ダウンミックス信号から出力チャネル信号を生成するマルチチャネルデコーディング部と、
    を有し、
    前記オブジェクト情報は、前記オブジェクト信号のレベル情報、前記オブジェクト信号の相関情報、及び前記オブジェクト信号の利得情報を含み、
    前記ミックス情報は、量子化されたプリセット情報を含む、
    ことを特徴とするオーディオ信号処理装置。
14. オブジェクト信号をダウンミックスすることによって生成されたダウンミックス信号を受信するダウンミックス処理部と、
    オブジェクト情報及びカップリング情報を含む付加情報と、ミックス情報とを取得し、前記付加情報及び前記ミックス情報に基づいて複数のチャネル情報を生成する情報生成部と、
    前記複数のチャネル情報を用いて、前記ダウンミックス信号から出力チャネル信号を生成するマルチチャネルデコーディング部と、
    を有し、
    前記オブジェクト信号は、独立オブジェクト信号とバックグラウンドオブジェクト信号とに区別され、
    前記オブジェクト情報は、前記オブジェクト信号のレベル情報、前記オブジェクト信号の利得情報、及び前記オブジェクト信号の相関情報を含む、
    ことを特徴とするオーディオ信号処理装置。

Images