本発明は、特にモノラル信号を用いてLチャネル信号(左チャネル信号)とRチャネル信号(右チャネル信号)を生成するチャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法に関する。
移動体通信システムでは、電波資源等の有効利用のために、音声信号を低ビットレートに圧縮して伝送することが要求されている。その一方で、通話音声の品質向上や臨場感の高い通話サービスの実現も望まれており、その実現には、モノラル信号のみならず、多チャンネル音響信号、特にステレオ音響信号を高品質に符号化することが望ましい。
ステレオ音響信号を低ビットレートで符号化する方式として、インテンシティステレオ方式が知られている。インテンシティステレオ方式では、モノラル信号にスケーリング係数を乗じてLチャネル信号とRチャネル信号とを生成する手法を採る。このような手法は振幅パニング(amplitude panning)とも呼ばれる。
振幅パニングの最も基本的な手法は、時間領域におけるモノラル信号に振幅パニング用の利得係数(パニング利得係数)を乗じてLチャネル信号およびRチャネル信号を求めるものである(例えば非特許文献1参照)。また、別な手法として、周波数領域において、個々の周波数成分ごと、または周波数グループごとにモノラル信号にパニング利得係数を乗じて、Lチャネル信号およびRチャネル信号を求めるものもある(例えば非特許文献2参照)。
また、パニング利得係数をパラメトリックステレオの符号化パラメータとして利用すると、ステレオ信号のスケーラブル符号化(モノラル−ステレオスケーラブル符号化)を実現することができる(例えば特許文献1および特許文献2参照)。パニング利得係数は、特許文献1においてはバランスパラメータとして、特許文献2においてはILD(レベル差)として、それぞれ説明されている。
また、音響信号を周波数領域に変換する際、変換効率が高くフレーム境界歪が生じにくいという特徴から、一般に変形離散コサイン変換(以下「MDCT:Modified Discrete Cosine Transform」と記載する)が用いられる。
特表2004−535145号公報
特表2005−533271号公報
しかしながら、従来の装置においては、周波数領域変換にMDCTを用い、モノラル信号にバランスパラメータを乗じてLチャネル信号およびRチャネル信号を予測する手法において、Lチャネル信号とRチャネル信号とに位相差がある場合に、Lチャネル信号とRチャネル信号の予測性能が大きく低下するという問題がある。
これは、次に述べるMDCTの特性に起因している。即ち、MDCTは、前述したように、変換効率が高く、フレーム境界歪が生じにくいという利点がある一方で、分析対象波形の位相の違いによって、算出されるMDCT係数に大きな違いが生じるという特性がある。この特性の一例を図1及び図2を用いて説明する。図1は、周波数が1kHzの位相の異なる2つのサイン波を示す図であり、図2は、図1のサイン波をMDCTして求めたMDCT係数を示す図である。また、図1において、実線はサイン波1の波形を示し、破線はサイン波2の波形を示す。また、図2において、実線は図1のサイン波1をMDCTして求めたMDCT係数1を示し、破線は図1のサイン波2をMDCTして求めたMDCT係数2を示す。
図1及び図2より、ほぼ1kHzの周波数において、サイン波1とサイン波2の両波形ともエネルギーの大きいMDCT係数が得られている。しかし、サイン波1とサイン波2とは位相が異なることにより、図2に示すように、算出されるMDCT係数の値が大きく異なっている。つまり、MDCTは位相の違いに敏感な変換方法と言える。
このようなMDCTの特性は、Lチャネル信号とRチャネル信号とに位相差が生じる場合に、モノラル信号からLチャネル信号およびRチャネル信号を予測する予測性能を大きく低下させてしまうという問題がある。
本発明の目的は、モノラル信号からLチャネル信号およびRチャネル信号を予測する予測性能の低下を回避することができ、高音質な符号化を実現することができるチャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法を提供することである。
本発明のチャネル信号生成装置は、音響信号を構成する、第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域モノラル信号を用いて、前記第1チャネルに関する周波数領域第1チャネル信号と前記第2チャネルに関する周波数領域第2チャネル信号とを生成するチャネル信号生成装置であって、入力される判定データに応じて、前記第1ステレオ信号と前記第2ステレオ信号との間の位相差を補償する変更処理を前記周波数領域モノラル信号に対して行うことにより前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とを生成する生成手段、を具備する構成を採る。
本発明の音響信号符号化装置は、第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域モノラル信号を用いてステレオ符号化データを生成する音響信号符号化装置であって、上記のチャネル信号生成装置と、前記チャネル信号生成装置により生成した前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とを用いた予測処理を行うことにより、前記第1チャネルの第1チャネル予測候補信号と前記第2チャネルの第2チャネル予測候補信号とを生成する予測手段と、複数の前記第1チャネル予測候補信号の中から1つを第1チャネル予測信号として決定し、複数の前記第2チャネル予測候補信号の中から1つを第2チャネル予測信号として決定し、前記第1ステレオ信号を周波数領域変換して生成された周波数領域第1ステレオ信号と前記第1チャネル予測信号との誤差である第1誤差信号と、前記第2ステレオ信号を周波数領域変換して生成された周波数領域第2ステレオ信号と前記第2チャネル予測信号との誤差である第2誤差信号とを用いて符号化を行う符号化手段と、を具備する構成を採る。
本発明の音響信号符号化装置は、第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域モノラル信号を用いてステレオ符号化データを生成する音響信号符号化装置であって、前記周波数領域モノラル信号に対して、前記第1チャネルの第1バランスパラメータ候補及び前記第2チャネルの第2バランスパラメータ候補をそれぞれ適用した予測処理を行うことにより、第1チャネルの第1チャネル予測候補信号と第2チャネルの第2チャネル予測候補信号とを生成する予測手段と、上記のチャネル信号生成装置と、前記第1ステレオ信号を周波数領域変換して生成された周波数領域第1ステレオ信号と前記周波数領域第1チャネル信号との誤差である第1誤差信号と、前記第2ステレオ信号を周波数領域変換して生成された周波数領域第2ステレオ信号と前記周波数領域第2チャネル信号との誤差である第2誤差信号とを用いて符号化を行う符号化手段と、を具備する構成を採る。
本発明の音響信号復号装置は、音響信号符号化装置において第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域第1モノラル信号を用いた符号化により生成されたステレオ符号化データを受信して復号する音響信号復号装置であって、前記ステレオ符号化データからバランスパラメータ符号化データを取り出して出力する受信手段と、入力される判定データに応じて、前記第1ステレオ信号と前記第2ステレオ信号との間の位相差を補償する変更処理を、入力される周波数領域第2モノラル信号に対して行うことにより、前記第1チャネルに関する周波数領域第1チャネル信号と前記第2チャネルに関する周波数領域第2チャネル信号とを生成する生成手段、前記バランスパラメータ符号化データを用いて得られるバランスパラメータを、前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とに適用する予測処理を行うことにより、前記第1チャネルの第1チャネル予測信号と前記第2チャネルの第2チャネル予測信号とを生成する予測手段と、前記第1チャネル予測信号と前記第2チャネル予測信号とを用いて復号を行う復号手段と、を具備する構成を採る。
本発明の音響信号符号化方法は、第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域モノラル信号を用いてステレオ符号化データを生成する音響信号符号化方法であって、入力される判定データに応じて、前記第1ステレオ信号と前記第2ステレオ信号との間の位相差を補償する変更処理を前記周波数領域モノラル信号に対して行うことにより周波数領域第1チャネル信号と周波数領域第2チャネル信号とを生成する生成ステップと、前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とを用いた予測処理を行うことにより、前記第1チャネルの第1チャネル予測候補信号と前記第2チャネルの第2チャネル予測候補信号とを生成する予測ステップと、複数の前記第1チャネル予測候補信号の中から1つを第1チャネル予測信号として決定し、複数の前記第2チャネル予測候補信号の中から1つを第2チャネル予測信号として決定し、前記第1ステレオ信号を周波数領域変換して生成された周波数領域第1ステレオ信号と前記第1チャネル予測信号との誤差である第1誤差信号と、前記第2ステレオ信号を周波数領域変換して生成された周波数領域第2ステレオ信号と前記第2チャネル予測信号との誤差である第2誤差信号とを用いて符号化を行う符号化ステップと、を具備するようにした。
本発明の音響信号復号方法は、音響信号符号化装置において第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域第1モノラル信号を用いた符号化により生成されたステレオ符号化データを受信して復号する音響信号復号方法であって、前記ステレオ符号化データからバランスパラメータ符号化データを取り出して出力する受信ステップと、入力される判定データに応じて、前記第1ステレオ信号と前記第2ステレオ信号との間の位相差を補償する変更処理を、入力される周波数領域第2モノラル信号に対して行うことにより、前記第1チャネルに関する周波数領域第1チャネル信号と前記第2チャネルに関する周波数領域第2チャネル信号とを生成する生成ステップ、前記バランスパラメータ符号化データを用いて得られるバランスパラメータを、前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とに適用する予測処理を行うことにより、前記第1チャネルの第1チャネル予測信号と前記第2チャネルの第2チャネル予測信号とを生成する予測ステップと、前記第1チャネル予測信号と前記第2チャネル予測信号とを用いて復号を行う復号ステップと、を具備するようにした。
本発明によれば、モノラル信号からLチャネル信号およびRチャネル信号を予測する予測性能の低下を回避することができ、高音質な符号化を実現することができる。
周波数が1kHzの位相の異なる2つのサイン波を示す図
図1のサイン波をMDCTして求めたMDCT係数を示す図
本発明の実施の形態1に係る音響信号送信装置の構成を示すブロック図
本発明の実施の形態1に係る音響信号受信装置の構成を示すブロック図
本発明の実施の形態1に係るステレオ符号化部の構成を示すブロック図
本発明の実施の形態1に係るステレオ復号部の構成を示すブロック図
本発明の実施の形態2に係る音響信号送信装置の構成を示すブロック図
本発明の実施の形態3に係る音響信号送信装置の構成を示すブロック図
本発明の実施の形態3に係る音響信号受信装置の構成を示すブロック図
本発明の実施の形態3に係るステレオ符号化部の構成を示すブロック図
本発明の実施の形態3に係るモノラルMDCT係数修正部の構成を示すブロック図
本発明の実施の形態3に係るステレオ復号部の構成を示すブロック図
本発明の実施の形態4に係るステレオ符号化部の構成を示すブロック図
本発明の実施の形態4に係る変形誤差MDCT係数算出部の構成を示すブロック図
本発明の実施の形態4に係るステレオ復号部の構成を示すブロック図
本発明の実施の形態4に係る変形MDCT係数算出部の構成を示すブロック図
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
図3は、本発明の実施の形態1に係る音響信号送信装置100の構成を示すブロック図である。
音響信号送信装置100は、ダウンミックス部101と、モノラル符号化部102と、周波数領域変換部103と、周波数領域変換部104と、位相判定部105と、ステレオ符号化部106と、多重化部107とから主に構成される。以下に、各構成について、詳細に説明する。
ダウンミックス部101は、Lチャネル信号(L(n))とRチャネル信号(R(n))とからなるステレオ信号のダウンミックス処理を行いモノラル信号(M(n))を生成する。そして、ダウンミックス部101は、生成したモノラル信号をモノラル符号化部102へ出力する。
モノラル符号化部102は、ダウンミックス部101から入力したモノラル信号の符号化を行い、符号化結果であるモノラル符号化データを多重化部107へ出力する。また、モノラル符号化部102は、ダウンミックス部101から入力したモノラル信号の符号化処理によって得られた復号モノラルMDCT係数(M’(k))をステレオ符号化部106へ出力する。
周波数領域変換部103は、入力したLチャネル信号を時間領域信号から周波数領域信号に変換する周波数領域変換を行ってスペクトル(L(k))を算出する。そして、周波数領域変換部103は、算出したスペクトルをステレオ符号化部106へ出力する。ここで、周波数領域変換にはMDCTを用いる。従って、周波数領域変換部103で得られるスペクトルは、LチャネルMDCT係数である。なお、以後は、周波数領域変換にはMDCTを用いるものとして説明する。
周波数領域変換部104は、入力したRチャネル信号の周波数領域変換を行って、RチャネルMDCT係数(R(k))を算出する。そして、周波数領域変換部104は、算出したRチャネルMDCT係数をステレオ符号化部106へ出力する。
位相判定部105は、入力したLチャネル信号と入力したRチャネル信号との相関分析によって、Lチャネル信号とRチャネル信号との時間のずれである位相差を求める。そして、位相判定部105は、求めた位相差を位相データとしてステレオ符号化部106および多重化部107へ出力する。
ステレオ符号化部106は、モノラル符号化部102から入力した復号モノラルMDCT係数、及び位相判定部105から入力した位相データを利用して、周波数領域変換部103から入力したLチャネルMDCT係数、および周波数領域変換部104から入力したRチャネルMDCT係数の符号化を行ってバランスパラメータ符号化データを生成する。また、ステレオ符号化部106は、生成したバランスパラメータ符号化データ等を含むステレオ符号化データを多重化部107へ出力する。なお、ステレオ符号化部106の構成の詳細については後述する。
多重化部107は、モノラル符号化部102から入力したモノラル符号化データと、ステレオ符号化部106から入力したステレオ符号化データと、位相判定部105から入力した位相データとを多重化して多重化データを生成する。そして、多重化部107は、生成した多重化データを図示しない通信路に出力する。
以上で音響信号送信装置100の構成の説明を終了する。
次に、本実施の形態に係る音響信号受信装置200について、図4を用いて説明する。図4は、音響信号受信装置200の構成を示すブロック図である。
音響信号受信装置200は、分離部201と、モノラル復号部202と、ステレオ復号部203と、時間領域変換部204と、時間領域変換部205とから主に構成される。以下に、各構成について、詳細に説明する。
分離部201は、音響信号送信装置100から送出された多重化データを受信し、受信した多重化データをモノラル符号化データと、ステレオ符号化データと、位相データとに分離する。そして、分離部201は、モノラル符号化データをモノラル復号部202へ出力し、ステレオ符号化データおよび位相データをステレオ復号部203へ出力する。
モノラル復号部202は、分離部201から入力したモノラル符号化データを用いてモノラル信号を復号し、復号モノラル信号のMDCT係数である復号モノラルMDCT係数(M’(k))をステレオ復号部203へ出力する。
ステレオ復号部203は、モノラル復号部202から入力した復号モノラルMDCT係数と、分離部201から入力したステレオ符号化データおよび位相データとを用いてLチャネル復号MDCT係数(L’(k))、Rチャネル復号MDCT係数(R’(k))を算出する。そして、ステレオ復号部203は、算出したLチャネル復号MDCT係数を時間領域変換部204へ出力するとともに、算出したRチャネル復号MDCT係数を時間領域変換部205へ出力する。なお、ステレオ復号部203の構成の詳細については後述する。
時間領域変換部204は、ステレオ復号部203から入力したLチャネル復号MDCT係数を周波数領域信号から時間領域信号に変換してLチャネル復号信号(L’(n))を取得し、取得したLチャネル復号信号を出力する。
時間領域変換部205は、ステレオ復号部203から入力したRチャネル復号MDCT係数を周波数領域信号から時間領域信号に変換してRチャネル復号信号(R’(n))を取得し、取得したRチャネル復号信号を出力する。
以上で、音響信号受信装置200の構成の説明を終了する。
次に、ステレオ符号化部106の構成について、図5を用いて説明する。図5は、ステレオ符号化部106の構成を示すブロック図である。ステレオ符号化部106は、音響信号符号化装置としての基本機能を有する。
ステレオ符号化部106は、モノラルMDCT係数修正部301と、乗算器302と、乗算器303と、最適バランスパラメータ判定部304と、誤差MDCT係数算出部305と、誤差MDCT係数量子化部306と、多重化部307とから主に構成される。以下に、各構成について、詳細に説明する。
モノラルMDCT係数修正部301は、位相判定部105から入力した位相データに基づいて、モノラル符号化部102から入力した復号モノラルMDCT係数に対して、Lチャネル信号とRチャネル信号との位相差を補償するように調整する処理を加えてLチャネル変更モノラルMDCT係数(UL(k))及びRチャネル変更モノラルMDCT係数(UR(k))を生成する。すなわち、モノラルMDCT係数修正部301は、復号モノラルMDCT係数を、Lチャネル変更モノラルMDCT係数及びRチャネル変更モノラルMDCT係数に変更する機能を有する。そして、モノラルMDCT係数修正部301は、生成したLチャネル変更モノラルMDCT係数を乗算器302へ出力するとともに、生成したRチャネル変更モノラルMDCT係数を乗算器303へ出力する。なお、モノラルMDCT係数修正部301におけるLチャネル変更モノラルMDCT係数及びRチャネル変更モノラルMDCT係数を生成する具体的な方法については後述する。
乗算器302は、モノラルMDCT係数修正部301から入力したLチャネル変更モノラルMDCT係数に、第i(iは2以上の整数)候補のバランスパラメータ(WL(i))を乗じた乗算結果(UL(k)・WL(i))すなわちLチャネル予測信号の候補を最適バランスパラメータ判定部304へ出力する。
乗算器303は、モノラルMDCT係数修正部301から入力したRチャネル変更モノラルMDCT係数に、第i候補のバランスパラメータ(WR(i))を乗じた乗算結果(UR(k)・WR(i))すなわちRチャネル予測信号の候補を最適バランスパラメータ判定部304へ出力する。
最適バランスパラメータ判定部304は、周波数領域変換部103から入力したLチャネルMDCT係数とLチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部304は、周波数領域変換部104から入力したRチャネルMDCT係数とRチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部304は、両者の誤差の和が最も小さくなるときのバランスパラメータ(WL(iopt)、WR(iopt))を決定する。このときのLチャネル及びRチャネルの予測信号の候補が、それぞれLチャネル及びRチャネルの予測信号となる。そして、最適バランスパラメータ判定部304は、決定したバランスパラメータを特定するインデックスを符号化してバランスパラメータ符号化データとして多重化部307へ出力する。ここで、ioptは、最適なバランスパラメータを特定するインデックスである。さらに、最適バランスパラメータ判定部304は、Lチャネル予測信号及びRチャネル予測信号を誤差MDCT係数算出部305へ出力する。
誤差MDCT係数算出部305は、最適バランスパラメータ判定部304から入力したLチャネル予測信号を、周波数領域変換部103から入力したLチャネルMDCT係数から減じて、Lチャネル誤差MDCT係数(EL(k))を求める。また、誤差MDCT係数算出部305は、最適バランスパラメータ判定部304から入力したRチャネル予測信号を、周波数領域変換部104から入力したRチャネルMDCT係数から減じて、Rチャネル誤差MDCT係数(ER(k))を求める。そして、誤差MDCT係数算出部305は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部306へ出力する。
誤差MDCT係数量子化部306は、誤差MDCT係数算出部305から入力したLチャネル誤差MDCT係数およびRチャネル誤差MDCT係数を量子化して、誤差MDCT係数符号化データを求める。そして、誤差MDCT係数量子化部306は、求めた誤差MDCT係数符号化データを多重化部307へ出力する。
多重化部307は、最適バランスパラメータ判定部304から入力したバランスパラメータ符号化データと、誤差MDCT係数量子化部306から入力した誤差MDCT係数符号化データとを多重化してステレオ符号化データとして多重化部107へ出力する。なお、多重化部307は、本実施の形態では必ずしも必要ではなく、最適バランスパラメータ判定部304は、バランスパラメータ符号化データを多重化部107に直接出力するとともに、誤差MDCT係数量子化部306は、誤差MDCT係数符号化データを多重化部107に直接出力しても良い。
以上で、ステレオ符号化部106の構成の説明を終了する。
次に、ステレオ復号部203の構成について、図6を用いて説明する。図6は、ステレオ復号部203の構成を示すブロック図である。ステレオ復号部203は、音響信号復号装置としての基本機能を有する。
ステレオ復号部203は、分離部401と、モノラルMDCT係数修正部402と、乗算部403と、誤差MDCT係数復号部404と、ステレオMDCT係数復号部405とから主に構成される。以下に、各構成について、詳細に説明する。
分離部401は、分離部201から入力したステレオ符号化データを、バランスパラメータ符号化データおよび誤差MDCT係数符号化データに分離する。そして、分離部401は、バランスパラメータ符号化データを乗算部403へ出力するとともに、誤差MDCT係数符号化データを誤差MDCT係数復号部404へ出力する。なお、分離部401は、本実施の形態では必ずしも必要ではなく、分離部201は、バランスパラメータ符号化データと誤差MDCT係数符号化データとに分離して、バランスパラメータ符号化データを乗算部403に直接出力するとともに、誤差MDCT係数符号化データを誤差MDCT係数復号部404に直接出力しても良い。
モノラルMDCT係数修正部402は、符号化装置側で行った、復号モノラルMDCT係数に対して、Lチャネル信号とRチャネル信号との位相差を補償する変更処理と同様の処理を行う。すなわち、モノラルMDCT係数修正部402は、分離部201から入力した位相データに基づき、予め設計して記憶してある複数の変形行列の中から、LチャネルとRチャネルとの組み合わせからなる1セットの変形行列を選択する。そして、モノラルMDCT係数修正部402は、選択した変形行列を用いて、モノラル復号部202から入力した復号モノラルMDCT係数を変更することにより、Lチャネル変更モノラルMDCT係数(UL(k))およびRチャネル変更モノラルMDCT係数(UR(k))を生成する。そして、モノラルMDCT係数修正部402は、生成したLチャネル変更モノラルMDCT係数およびRチャネル変更モノラルMDCT係数を乗算部403へ出力する。
乗算部403は、乗算器403aにおいて、モノラルMDCT係数修正部402から入力したLチャネル変更モノラルMDCT係数に、分離部401から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WL(iopt))を乗じて乗算結果(WL(iopt)・UL(k))すなわちLチャネル予測信号を取得する。また、乗算部403は、乗算器403bにおいて、モノラルMDCT係数修正部402から入力したRチャネル変更モノラルMDCT係数に、分離部401から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WR(iopt))を乗じて乗算結果(WR(iopt)・UR(k))すなわちRチャネル予測信号を取得する。そして、乗算部403は、取得した各乗算結果をステレオMDCT係数復号部405へ出力する。
誤差MDCT係数復号部404は、分離部401から入力した誤差MDCT係数符号化データを用いて、Lチャネル誤差MDCT係数を復号し、復号結果(EL’(k))をステレオMDCT係数復号部405へ出力する。また、誤差MDCT係数復号部404は、分離部401から入力した誤差MDCT係数符号化データを用いて、Rチャネル誤差MDCT係数を復号し、復号結果(ER’(k))をステレオMDCT係数復号部405へ出力する。
ステレオMDCT係数復号部405は、乗算部403の乗算器403aから入力したLチャネル予測信号に、誤差MDCT係数復号部404から入力したLチャネル誤差MDCT係数の復号結果を加算してLチャネル復号MDCT係数(L’(k))を求めて、求めたLチャネル復号MDCT係数を出力する。また、ステレオMDCT係数復号部405は、乗算部403の乗算器403bから入力したRチャネル予測信号に、誤差MDCT係数復号部404から入力したRチャネル誤差MDCT係数の復号結果を加算してRチャネル復号MDCT係数(R’(k))を求めて、求めたRチャネル復号MDCT係数を出力する。
以上で、ステレオ復号部203の構成の説明を終了する。
次に、モノラルMDCT係数修正部301におけるLチャネル変更モノラルMDCT係数及びRチャネル変更モノラルMDCT係数を生成する具体的な方法について説明する。
モノラルMDCT係数修正部301は、予め設計してある複数の変形行列を記憶している。そして、モノラルMDCT係数修正部301は、位相判定部105より与えられる位相データを用いて、LチャネルとRチャネルとからなる1セットの変形行列を選択し、(1)式に従い、復号モノラルMDCT係数を変更して、Lチャネル変更モノラルMDCT係数(U
L(k))およびRチャネル変更モノラルMDCT係数(U
R(k))を生成する。
ここで、Lチャネル用の変形行列およびRチャネル用の変形行列の設計法として、例えば、種々の位相差のLチャネル信号とRチャネル信号とを用意する。また、Lチャネル信号及びRチャネル信号より求められるモノラル信号、Lチャネル信号、及びRチャネル信号をそれぞれMDCTする。そして、モノラルMDCT変換係数に対するLチャネルMDCT変換係数の変化量を平均化してLチャネル変形行列を求める。同様に、モノラルMDCT変換係数に対するRチャネルMDCT変換係数の変化量を平均化してRチャネル変形行列を求める。そして、種々の位相差Dに対して、前述したような設計法によりLチャネル用の変形行列及びRチャネル用の変形行列を設計する。
モノラルMDCT係数修正部301は、このようにして設計しておいた複数の変形行列の中から、位相判定部105より与えられる位相データに応じて1セットの変形行列を選択して、復号モノラルMDCT係数の変更に用いる。
このように、本実施の形態によれば、Lチャネル信号とRチャネル信号との位相差に応じて修正されたモノラル信号を用いて、Lチャネル信号とRチャネル信号とを予測する。これにより、モノラル信号から、Lチャネル信号およびRチャネル信号を予測する予測性能の低下を回避することができ、高音質な符号化を実現することができる。
なお、本実施の形態において、Lチャネル変更モノラルMDCT係数およびRチャネル変更モノラルMDCT係数を用いて符号化しているが、本実施の形態はこれに限らず、片側のチャネルのみに対してモノラルMDCT係数を変更する処理を行っても良い。この場合、LチャネルMDCT係数とRチャネルMDCT係数とのエネルギーを比較し、エネルギーの小さいチャネルについて変更されたモノラルMDCT係数を用いる。これは次の理由による。
エネルギーの小さいチャネルの方がエネルギーの大きいチャネルよりも位相差によるMDCT係数の変化量が大きい。つまり、エネルギーの小さいチャネルの方が位相差の影響を受けやすい。従って、エネルギーの小さいチャネルを選択し、選択したエネルギーの小さいチャネルについてのみ、モノラルMDCT係数の変更処理を行うことで、本実施の形態の効果を維持したままで、演算量及びメモリー量の増加を抑えることができる。
(実施の形態2)
図7は、本発明の実施の形態2に係る音響信号送信装置700の構成を示すブロック図である。
図7に示す音響信号送信装置700は、図3に示す実施の形態1に係る音響信号送信装置100に対して、周波数領域変換部702を追加し、モノラル符号化部102の代わりにモノラル符号化部701を有し、ステレオ符号化部106の代わりにステレオ符号化部703を有する。なお、図7において、図3と同一構成である部分には同一の符号を付してその説明を省略する。
音響信号送信装置700は、ダウンミックス部101と、周波数領域変換部103と、周波数領域変換部104と、位相判定部105と、多重化部107と、モノラル符号化部701と、周波数領域変換部702と、ステレオ符号化部703とから主に構成される。以下に、各構成について、詳細に説明する。
ダウンミックス部101は、Lチャネル信号(L(n))とRチャネル信号(R(n))とからなるステレオ信号のダウンミックス処理を行いモノラル信号(M(n))を生成する。そして、ダウンミックス部101は、生成したモノラル信号をモノラル符号化部701及び周波数領域変換部702へ出力する。
モノラル符号化部701は、ダウンミックス部101から入力したモノラル信号の符号化を行い、符号化結果であるモノラル符号化データを多重化部107へ出力する。
周波数領域変換部702は、ダウンミックス部101から入力したモノラル信号を時間領域信号から周波数領域信号に周波数変換してモノラルMDCT係数(M(k))を算出する。そして、周波数領域変換部702は、算出したモノラルMDCT係数をステレオ符号化部703へ出力する。
周波数領域変換部103は、入力したLチャネル信号の周波数領域変換を行って、LチャネルMDCT係数(L(k))を算出する。そして、周波数領域変換部103は、算出したLチャネルMDCT係数をステレオ符号化部703へ出力する。
周波数領域変換部104は、入力したRチャネル信号の周波数領域変換を行って、RチャネルMDCT係数(R(k))を算出する。そして、周波数領域変換部104は、算出したRチャネルMDCT係数をステレオ符号化部703へ出力する。
位相判定部105は、入力したLチャネル信号と入力したRチャネル信号との相関分析によって、Lチャネル信号とRチャネル信号との時間のずれである位相差を求める。そして、位相判定部105は、求めた位相差を位相データとしてステレオ符号化部703および多重化部107へ出力する。
ステレオ符号化部703は、音響信号符号化装置としての基本機能を有する。ステレオ符号化部703は、周波数領域変換部702から入力したモノラルMDCT係数を利用して、周波数領域変換部103から入力したLチャネルMDCT係数、および周波数領域変換部104から入力したRチャネルMDCT係数の符号化を行ってバランスパラメータ符号化データを生成する。ステレオ符号化部703の内部構成は、図5のステレオ符号化部106において、入力の一つである復号モノラルMDCT係数M’(k)を、モノラルMDCT係数M(k)に置き換えた構成と同様となる。また、ステレオ符号化部703は、生成したバランスパラメータ符号化データ等を含むステレオ符号化データを多重化部107へ出力する。
なお、本実施の形態における音響信号受信装置の構成は図4と同一構成であり、また、モノラルMDCT係数修正部におけるLチャネル変更モノラルMDCT係数及びRチャネル変更モノラルMDCT係数を生成する具体的な方法は上記の実施の形態1と同一であるので、その説明を省略する。
このように、本実施の形態によれば、Lチャネル信号とRチャネル信号との位相差に応じて修正されたモノラル信号を用いて、Lチャネル信号とRチャネル信号とを予測する。これにより、モノラル信号から、Lチャネル信号およびRチャネル信号を予測する予測性能の低下を回避することができ、高音質な符号化を実現することができる。
(実施の形態3)
図8は、本発明の実施の形態3に係る音響信号送信装置800の構成を示すブロック図である。
図8に示す音響信号送信装置800は、図3に示す実施の形態1に係る音響信号送信装置100に対して、位相判定部105を除き、ステレオ符号化部106の代わりにステレオ符号化部801を有し、多重化部107の代わりに多重化部802を有する。なお、図8において、図3と同一構成である部分には同一の符号を付してその説明を省略する。
音響信号送信装置800は、ダウンミックス部101と、モノラル符号化部102と、周波数領域変換部103と、周波数領域変換部104と、ステレオ符号化部801と、多重化部802とから主に構成される。以下に、各構成について、詳細に説明する。
モノラル符号化部102は、ダウンミックス部101から入力したモノラル信号の符号化を行い、符号化結果であるモノラル符号化データを多重化部802へ出力する。また、モノラル符号化部102は、ダウンミックス部101から入力したモノラル信号の符号化処理によって得られた復号モノラルMDCT係数(M’(k))をステレオ符号化部801へ出力する。
周波数領域変換部103は、入力したLチャネル信号の周波数領域変換を行って、LチャネルMDCT係数(L(k))を算出する。そして、周波数領域変換部103は、算出したLチャネルMDCT係数をステレオ符号化部801へ出力する。
周波数領域変換部104は、入力したRチャネル信号の周波数領域変換を行って、RチャネルMDCT係数(R(k))を算出する。そして、周波数領域変換部104は、算出したRチャネルMDCT係数をステレオ符号化部801へ出力する。
ステレオ符号化部801は、モノラル符号化部102から入力した復号モノラルMDCT係数を利用して、周波数領域変換部103から入力したLチャネルMDCT係数、および周波数領域変換部104から入力したRチャネルMDCT係数の符号化を行ってバランスパラメータを取得する。この際、ステレオ符号化部801は、LチャネルMDCT係数とRチャネルMDCT係数とのエネルギーを比較して、エネルギーの小さいチャネルに用いる復号モノラルMDCT係数に対して変更処理を行い、変更処理後の復号モノラルMDCT係数を利用する。また、ステレオ符号化部801は、符号化処理によって取得したバランスパラメータ符号化データ等を含むステレオ符号化データを多重化部802へ出力する。なお、ステレオ符号化部801の構成の詳細については後述する。
多重化部802は、モノラル符号化部102から入力したモノラル符号化データと、ステレオ符号化部801から入力したステレオ符号化データとを多重化して多重化データを生成する。そして、多重化部802は、生成した多重化データを図示しない通信路に出力する。
以上で、音響信号送信装置800の構成についての説明を終了する。
次に、音響信号受信装置900の構成について、図9を用いて説明する。図9は、音響信号受信装置900の構成を示すブロック図である。
図9に示す音響信号受信装置900は、図4に示す実施の形態1に係る音響信号受信装置200に対して、分離部201の代わりに分離部901を有し、ステレオ復号部203の代わりにステレオ復号部902を有する。なお、図9において、図4と同一構成である部分には同一の符号を付してその説明を省略する。
音響信号受信装置900は、モノラル復号部202と、時間領域変換部204と、時間領域変換部205と、分離部901と、ステレオ復号部902とから主に構成される。以下に、各構成について、詳細に説明する。
分離部901は、音響信号送信装置800から送出された多重化データを受信し、受信した多重化データをモノラル符号化データと、ステレオ符号化データとに分離する。そして、分離部901は、モノラル符号化データをモノラル復号部202へ出力し、ステレオ符号化データをステレオ復号部902へ出力する。
モノラル復号部202は、分離部901から入力したモノラル符号化データを用いてモノラル信号を復号し、復号モノラル信号のMDCT係数である復号モノラルMDCT係数(M’(k))をステレオ復号部902へ出力する。
ステレオ復号部902は、モノラル復号部202から入力した復号モノラルMDCT係数と、分離部901から入力したステレオ符号化データとを用いてLチャネル復号MDCT係数(L’(k))、Rチャネル復号MDCT係数(R’(k))を算出する。そして、ステレオ復号部902は、算出したLチャネル復号MDCT係数を時間領域変換部204へ出力するとともに、算出したRチャネル復号MDCT係数を時間領域変換部205へ出力する。なお、ステレオ復号部902の構成の詳細については後述する。
以上で、音響信号受信装置900の構成の説明を終了する。
次に、ステレオ符号化部801の構成について、図10を用いて説明する。図10は、ステレオ符号化部801の構成を示すブロック図である。ステレオ符号化部801は、音響信号符号化装置としての基本機能を有する。
ステレオ符号化部801は、エネルギー比較部1001と、モノラルMDCT係数修正部1002と、乗算器1003と、乗算器1004と、最適バランスパラメータ判定部1005と、誤差MDCT係数算出部1006と、誤差MDCT係数量子化部1007と、多重化部1008とから主に構成される。以下に、各構成について、詳細に説明する。
エネルギー比較部1001は、周波数領域変換部103から入力したLチャネルMDCT係数のエネルギーの大きさと、周波数領域変換部104から入力したRチャネルMDCT係数のエネルギーの大きさとを比較し、エネルギーの小さいチャネルを表す判定データをモノラルMDCT係数修正部1002及び多重化部1008へ出力する。
モノラルMDCT係数修正部1002は、エネルギー比較部1001から入力した判定データに基づいて、モノラル符号化部102から入力した復号モノラルMDCT係数に対して、Lチャネル信号とRチャネル信号との位相差を補償するように処理を加えてLチャネル変更モノラルMDCT係数(UL(k))、またはRチャネル変更モノラルMDCT係数(UR(k))を生成する。そして、モノラルMDCT係数修正部1002は、Lチャネル変更モノラルMDCT係数を生成した場合には、生成したLチャネル変更モノラルMDCT係数を乗算器1003へ出力するとともに、復号モノラルMDCT係数を乗算器1004へ出力する。一方、モノラルMDCT係数修正部1002は、Rチャネル変更モノラルMDCT係数を生成した場合には、生成したRチャネル変更モノラルMDCT係数を乗算器1004へ出力するとともに、復号モノラルMDCT係数を乗算器1003へ出力する。なお、モノラルMDCT係数修正部1002の構成の詳細については後述する。
乗算器1003は、モノラルMDCT係数修正部1002から入力したLチャネル変更モノラルMDCT係数、または復号モノラルMDCT係数に、第i候補のバランスパラメータ(WL(i))を乗じた乗算結果(UL(k)・WL(i)またはM’(k)・WL(i))すなわちLチャネル予測信号の候補を最適バランスパラメータ判定部1005へ出力する。
乗算器1004は、モノラルMDCT係数修正部1002から入力したRチャネル変更モノラルMDCT係数、または復号モノラルMDCT係数に、第i候補のバランスパラメータ(WR(i))を乗じた乗算結果(UR(k)・WR(i)またはM’(k)・WR(i))すなわちRチャネル予測信号の候補を最適バランスパラメータ判定部1005へ出力する。
最適バランスパラメータ判定部1005は、周波数領域変換部103から入力したLチャネルMDCT係数とLチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部1005は、周波数領域変換部104から入力したRチャネルMDCT係数とRチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部1005は、両者の誤差の和が最も小さくなるときのバランスパラメータ(WL(iopt)、WR(iopt))を決定する。このときのLチャネル及びRチャネルの予測信号の候補が、それぞれLチャネル及びRチャネルの予測信号となる。そして、最適バランスパラメータ判定部1005は、決定したバランスパラメータを特定するインデックスを符号化してバランスパラメータ符号化データを生成する。そして、最適バランスパラメータ判定部1005は、生成したバランスパラメータ符号化データを多重化部1008へ出力する。さらに、最適バランスパラメータ判定部1005は、Lチャネル予測信号及びRチャネル予測信号を誤差MDCT係数算出部1006へ出力する。
誤差MDCT係数算出部1006は、最適バランスパラメータ判定部1005から入力したLチャネル予測信号を、周波数領域変換部103から入力したLチャネルMDCT係数から減じて、Lチャネル誤差MDCT係数(EL(k))を求める。また、誤差MDCT係数算出部1006は、最適バランスパラメータ判定部1005から入力したRチャネル予測信号を、周波数領域変換部104から入力したRチャネルMDCT係数から減じて、Rチャネル誤差MDCT係数(ER(k))を求める。そして、誤差MDCT係数算出部1006は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部1007へ出力する。
誤差MDCT係数量子化部1007は、誤差MDCT係数算出部1006から入力したLチャネル誤差MDCT係数およびRチャネル誤差MDCT係数を量子化して、誤差MDCT係数符号化データを求める。そして、誤差MDCT係数量子化部1007は、求めた誤差MDCT係数符号化データを多重化部1008へ出力する。
多重化部1008は、最適バランスパラメータ判定部1005から入力したバランスパラメータ符号化データと、誤差MDCT係数量子化部1007から入力した誤差MDCT係数符号化データと、エネルギー比較部1001から入力した判定データとを多重化する。そして、多重化部1008は、多重化したデータをステレオ符号化データとして多重化部802へ出力する。なお、多重化部1008は、本実施の形態では必ずしも必要ではない。多重化部1008を削除した場合、最適バランスパラメータ判定部1005は、バランスパラメータ符号化データを多重化部802に直接出力してもよい。また、誤差MDCT係数量子化部1007は、誤差MDCT係数符号化データを多重化部802に直接出力してもよい。また、エネルギー比較部1001は、判定データを多重化部802に直接出力してもよい。
以上で、ステレオ符号化部801の構成の説明を終了する。
次に、モノラルMDCT係数修正部1002の構成について、図11を用いて説明する。図11は、モノラルMDCT係数修正部1002の構成を示すブロック図である。
モノラルMDCT係数修正部1002は、切替部1101と、符号反転部1102と、符号反転部1103と、切替部1104とから主に構成される。以下に、各構成について、詳細に説明する。
切替部1101は、LチャネルMDCT係数のエネルギーよりもRチャネルMDCT係数のエネルギーが小さいという判定データを、エネルギー比較部1001より入力した場合は、切替端子1101aと切替端子1101bとを接続する。これにより、切替部1101は、復号モノラルMDCT係数(M’(k))を切替部1104及び符号反転部1102へ出力する。また、切替部1101は、RチャネルMDCT係数のエネルギーよりもLチャネルMDCT係数のエネルギーが小さいという判定データを、エネルギー比較部1001より入力した場合は、切替端子1101aと切替端子1101cとを接続する。これにより、切替部1101は、復号モノラルMDCT係数を符号反転部1103及び切替部1104へ出力する。
符号反転部1102は、切替部1101から入力した復号モノラルMDCT係数の符号を反転して切替部1104へ出力する。即ち、符号反転部1102は、LチャネルMDCT係数のエネルギーよりもRチャネルMDCT係数のエネルギーが小さい場合に、復号モノラルMDCT係数の符号を反転して、Rチャネル変更モノラルMDCT係数(UR(k))として切替部1104へ出力する。
符号反転部1103は、切替部1101から入力した復号モノラルMDCT係数の符号を反転して切替部1104へ出力する。即ち、符号反転部1103は、RチャネルMDCT係数のエネルギーよりもLチャネルMDCT係数のエネルギーが小さい場合に、復号モノラルMDCT係数の符号を反転して、Lチャネル変更モノラルMDCT係数(UL(k))として切替部1104へ出力する。
切替部1104は、LチャネルMDCT係数のエネルギーよりもRチャネルMDCT係数のエネルギーが小さいという判定データを、エネルギー比較部1001より入力した場合は、切替端子1104aと切替端子1104eとを接続するとともに、切替端子1104bと切替端子1104fとを接続する。これにより、切替部1104は、切替部1101から入力した復号モノラルMDCT係数を乗算器1003へ出力するとともに、符号反転部1102から入力したRチャネル変更モノラルMDCT係数を乗算器1004へ出力する。また、切替部1104は、RチャネルMDCT係数のエネルギーよりもLチャネルMDCT係数のエネルギーが小さいという判定データを、エネルギー比較部1001より入力した場合は、切替端子1104cと切替端子1104eとを接続するとともに、切替端子1104dと切替端子1104fとを接続する。これにより、切替部1104は、符号反転部1103から入力したLチャネル変更モノラルMDCT係数を乗算器1003へ出力するとともに、切替部1101から入力した復号モノラルMDCT係数を乗算器1004へ出力する。
以上で、モノラルMDCT係数修正部1002の構成の説明を終了する。
なお、最適バランスパラメータ判定部1005において、復号モノラルMDCT係数の符号を反転するか否かを切替えても良い。この場合、復号モノラルMDCT係数の符号を反転したときの誤差MDCT係数と復号モノラルMDCT係数の符号を反転しない場合の誤差MDCT係数とを算出し、両方の誤差MDCT係数のエネルギーを比較する。そして、最適バランスパラメータ判定部1005は、誤差MDCT係数のエネルギーが小さくなる方を選択し、復号モノラルMDCT係数の符号を反転するか否かを表す情報を出力する、という構成であっても良い。この場合、ステレオ符号化部801はこの情報も含めてステレオ符号化データを生成し、音響信号送信装置800はこのステレオ符号化データを含む多重化データを送信する。この場合の音響信号受信装置900は、この多重化データを受信し、分離部901においてこの情報を分離する。そしてこの情報は、ステレオ復号部902へ入力される。
次に、ステレオ復号部902の構成について、図12を用いて説明する。図12は、ステレオ復号部902の構成を示すブロック図である。ステレオ復号部902は、音響信号復号装置としての基本機能を有する。
ステレオ復号部902は、分離部1201と、モノラルMDCT係数修正部1202と、乗算部1203と、誤差MDCT係数復号部1204と、ステレオMDCT係数復号部1205とから主に構成される。以下に、各構成について、詳細に説明する。
分離部1201は、分離部901から入力したステレオ符号化データを、バランスパラメータ符号化データと、誤差MDCT係数符号化データと、判定データとに分離する。そして、分離部1201は、バランスパラメータ符号化データを乗算部1203へ出力し、誤差MDCT係数符号化データを誤差MDCT係数復号部1204へ出力するとともに、判定データをモノラルMDCT係数修正部1202へ出力する。なお、分離部1201は、本実施の形態では必ずしも必要ではなく、分離部901が、バランスパラメータ符号化データと、誤差MDCT係数符号化データと、判定データとに分離して、バランスパラメータ符号化データを乗算部1203に直接出力し、誤差MDCT係数符号化データを誤差MDCT係数復号部1204に直接出力するとともに、判定データをモノラルMDCT係数修正部1202に直接出力しても良い。
モノラルMDCT係数修正部1202は、符号化装置側で行った、復号モノラルMDCT係数に対して、Lチャネル信号とRチャネル信号との位相差を補償する変更処理と同様の処理を行う。すなわち、モノラルMDCT係数修正部1202は、分離部1201から入力した判定データに基づいて、分離部901から入力した復号モノラルMDCT係数(M’(k))に対して、Lチャネル信号とRチャネル信号との位相差を補償するように修正を加えてLチャネル変更モノラルMDCT係数(UL(k))、またはRチャネル変更モノラルMDCT係数(UR(k))を生成する。そして、モノラルMDCT係数修正部1202は、Lチャネル変更モノラルMDCT係数を生成した場合には、生成したLチャネル変更モノラルMDCT係数及び復号モノラルMDCT係数を乗算部1203へ出力する。また、モノラルMDCT係数修正部1202は、Rチャネル変更モノラルMDCT係数を生成した場合には、生成したRチャネル変更モノラルMDCT係数及び復号モノラルMDCT係数を乗算部1203へ出力する。
乗算部1203は、モノラルMDCT係数修正部1202からLチャネル変更モノラルMDCT係数と復号モノラルMDCT係数とが入力した場合に、乗算器1203aにおいて、モノラルMDCT係数修正部1202から入力したLチャネル変更モノラルMDCT係数に、分離部1201から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WL(iopt))を乗じて乗算結果(WL(iopt)・UL(k))すなわちLチャネル予測信号を取得するとともに、乗算器1203bにおいて、モノラルMDCT係数修正部1202から入力した復号モノラルMDCT係数に、分離部1201から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WR(iopt))を乗じて乗算結果(WR(iopt)・M’(k))すなわちRチャネル予測信号を取得する。また、乗算部1203は、モノラルMDCT係数修正部1202からRチャネル変更モノラルMDCT係数と復号モノラルMDCT係数とが入力した場合に、乗算器1203aにおいて、モノラルMDCT係数修正部1202から入力した復号モノラルMDCT係数に、分離部1201から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WL(iopt))を乗じて乗算結果(WL(iopt)・M’(k))すなわちLチャネル予測信号を取得するとともに、乗算器1203bにおいて、モノラルMDCT係数修正部1202から入力したRチャネル変更モノラルMDCT係数に、分離部1201から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WR(iopt))を乗じて乗算結果(WR(iopt)・UR(k))すなわちRチャネル予測信号を取得する。そして、乗算部1203は、取得した各予測信号をステレオMDCT係数復号部1205へ出力する。
誤差MDCT係数復号部1204は、分離部1201から入力した誤差MDCT係数符号化データを用いて、Lチャネル誤差MDCT係数を復号し、復号結果(EL’(k))をステレオMDCT係数復号部1205へ出力する。また、誤差MDCT係数復号部1204は、分離部1201から入力した誤差MDCT係数符号化データを用いて、Rチャネル誤差MDCT係数を復号し、復号結果(ER’(k))をステレオMDCT係数復号部1205へ出力する。
ステレオMDCT係数復号部1205は、乗算部1203の乗算器1203aから入力したLチャネル予測信号に、誤差MDCT係数復号部1204から入力したLチャネル誤差MDCT係数の復号結果を加算してLチャネル復号MDCT係数(L’(k))を求めて、求めたLチャネル復号MDCT係数を出力する。また、ステレオMDCT係数復号部1205は、乗算部1203の乗算器1203bから入力したRチャネル予測信号に、誤差MDCT係数復号部1204から入力したRチャネル誤差MDCT係数の復号結果を加算してRチャネル復号MDCT係数(R’(k))を求めて、求めたRチャネル復号MDCT係数を出力する。
以上で、ステレオ復号部902の構成の説明を終了する。
このように、本実施の形態によれば、上記の実施の形態1の効果に加えて、修正後のモノラルMDCT係数を用いてLチャネル信号及びRチャネル信号を予測する際に、位相差の影響を大きく受けるエネルギーの小さいチャネルを選択して、復号モノラルMDCT係数を変更することにより、Lチャネル信号及びRチャネル信号の予測性能の向上を維持したままで演算量及びメモリー量の増加を抑えることができる。
なお、本実施の形態において、予めLチャネルMDCT係数及びRチャネルMDCT係数を複数のサブバンドに分割し、サブバンド毎にLチャネルとRチャネルとのエネルギーを比較し、サブバンド毎にエネルギーの小さいチャネルを選択しても良い。ここで、LチャネルとRチャネルとのエネルギーの差がサブバンド毎に大きく異なる特性の信号も存在する。そのような信号に対しては、符号反転されたモノラルMDCT係数を用いるチャネルをサブバンド毎に選択することにより、サブバンド毎のLチャネルとRチャネルとのエネルギーに応じた予測を行うことができ、予測性能を更に向上させることができる。
また、予めモノラルMDCT係数を複数のサブバンドに分割し、モノラルMDCT係数のエネルギーが所定値よりも大きいサブバンドを所定の数だけ選択し、選択したサブバンドに対して、LチャネルとRチャネルとのエネルギーを比較し、サブバンド毎にエネルギーの小さいチャネルを選択しても良い。この場合、エネルギーの大きいサブバンド、即ち位相誤差による影響の大きいサブバンドに対して本実施の形態を適用するので、予測性能は向上させることができ、かつ選択情報は所定の数に限定されるため多重化データのデータ量の増大を抑制することができる。
(実施の形態4)
図13は、本発明の実施の形態4に係るステレオ符号化部1300の構成を示すブロック図である。ステレオ符号化部1300は、音響信号符号化装置としての基本機能を有する。なお、本実施の形態において、音響信号送信装置の構成は、ステレオ符号化部1300以外は図3と同一構成であるので、その説明を省略する。また、以下の説明において、ステレオ符号化部1300以外は、図3の参照符号を用いて説明する。
ステレオ符号化部1300は、乗算器1301と、乗算器1302と、最適バランスパラメータ判定部1303と、変形誤差MDCT係数算出部1304と、誤差MDCT係数量子化部1305と、多重化部1306とから主に構成される。以下に、各構成について、詳細に説明する。
乗算器1301は、モノラル符号化部102から入力した復号モノラルMDCT係数(M’(k))に、第i候補のバランスパラメータ(WL(i))を乗じた乗算結果(M’(k)・WL(i))すなわちLチャネル予測信号の候補を最適バランスパラメータ判定部1303へ出力する。
乗算器1302は、モノラル符号化部102から入力した復号モノラルMDCT係数(M’(k))に、第i候補のバランスパラメータ(WR(i))を乗じた乗算結果(M’(k)・WR(i))すなわちRチャネル予測信号の候補を最適バランスパラメータ判定部1303へ出力する。
最適バランスパラメータ判定部1303は、周波数領域変換部103から入力したLチャネルMDCT係数(L(k))と、Lチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部1303は、周波数領域変換部104から入力したRチャネルMDCT係数(R(k))と、Rチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部1303は、両者の誤差の和が最も小さくなるときのバランスパラメータ(WL(iopt)、WR(iopt))を決定する。このときのLチャネル及びRチャネルの予測信号の候補が、それぞれLチャネル及びRチャネルの予測信号となる。そして、最適バランスパラメータ判定部1303は、決定したバランスパラメータを特定するインデックスを符号化してバランスパラメータ符号化データとして変形誤差MDCT係数算出部1304及び多重化部1306へ出力する。
変形誤差MDCT係数算出部1304は、最適バランスパラメータ判定部1303から入力したバランスパラメータ符号化データと、周波数領域変換部103から入力したLチャネルMDCT係数と、周波数領域変換部104から入力したRチャネルMDCT係数と、モノラル符号化部102から入力した復号モノラルMDCT係数とを用いて、Lチャネル誤差MDCT係数(EL(k))及びRチャネル誤差MDCT係数(ER(k))を求める。そして、変形誤差MDCT係数算出部1304は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部1305へ出力する。なお、変形誤差MDCT係数算出部1304の構成の詳細については後述する。
誤差MDCT係数量子化部1305は、変形誤差MDCT係数算出部1304から入力したLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を量子化して、誤差MDCT係数符号化データを求める。そして、誤差MDCT係数量子化部1305は、求めた誤差MDCT係数符号化データを多重化部1306へ出力する。
多重化部1306は、最適バランスパラメータ判定部1303から入力したバランスパラメータ符号化データと、誤差MDCT係数量子化部1305から入力した誤差MDCT係数符号化データとを多重化してステレオ符号化データとして多重化部107へ出力する。なお、多重化部1306は、本実施の形態では必ずしも必要ではなく、最適バランスパラメータ判定部1303は、バランスパラメータ符号化データを多重化部107に直接出力するとともに、誤差MDCT係数量子化部1305は、誤差MDCT係数符号化データを多重化部107に直接出力しても良い。
以上で、ステレオ符号化部1300の構成の説明を終了する。
次に、変形誤差MDCT係数算出部1304の構成について、図14を用いて説明する。図14は、変形誤差MDCT係数算出部1304の構成を示すブロック図である。
変形誤差MDCT係数算出部1304は、判定部1401と、切替部1402と、符号反転部1403と、符号反転部1404と、切替部1405と、誤差MDCT係数算出部1406とから主に構成される。以下に、各構成について、詳細に説明する。
判定部1401は、最適バランスパラメータ判定部1303から入力したバランスパラメータ符号化データを用いてバランスパラメータを復号する。そして、判定部1401は、LチャネルのバランスパラメータとRチャネルのバランスパラメータとを比較して、バランスパラメータの小さい方のLチャネルまたはRチャネルを示す判定情報を切替部1402及び切替部1405へ出力する。
切替部1402は、判定部1401から入力した判定情報に基づいて信号線を切り替える。具体的には、切替部1402は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1402aと切替端子1402bとを接続する。これにより、切替部1402は、モノラル符号化部102から入力した復号モノラルMDCT係数(M’(k))を符号反転部1403及び切替部1405へ出力する。また、切替部1402は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1402aと切替端子1402cとを接続する。これにより、切替部1402は、モノラル符号化部102から入力した復号モノラルMDCT係数を符号反転部1404及び切替部1405へ出力する。
符号反転部1403は、切替部1402から入力した復号モノラルMDCT係数の符号を反転して切替部1405へ出力する。即ち、符号反転部1403は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さい場合に、復号モノラルMDCT係数の符号を反転して、Rチャネル変更モノラルMDCT係数(UR(k))として切替部1405へ出力する。
符号反転部1404は、切替部1402から入力した復号モノラルMDCT係数の符号を反転して切替部1405へ出力する。即ち、符号反転部1404は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さい場合に、復号モノラルMDCT係数の符号を反転して、Lチャネル変更モノラルMDCT係数(UL(k))として切替部1405へ出力する。
切替部1405は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1405aと切替端子1405eとを接続するとともに、切替端子1405bと切替端子1405fとを接続する。これにより、切替部1405は、切替部1402から入力した復号モノラルMDCT係数及び符号反転部1403から入力したRチャネル変更モノラルMDCT係数を誤差MDCT係数算出部1406へ出力する。また、切替部1405は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1405cと切替端子1405eとを接続するとともに、切替端子1405dと切替端子1405fとを接続する。これにより、切替部1405は、切替部1402から入力した復号モノラルMDCT係数及び符号反転部1404から入力したLチャネル変更モノラルMDCT係数を誤差MDCT係数算出部1406へ出力する。
誤算MDCT係数算出部1406は、切替部1405から復号モノラルMDCT係数及びRチャネル変更モノラルMDCT係数を入力した場合には、以下の処理を行う。即ち、誤差MDCT係数算出部1406は、切替部1405から入力した復号モノラルMDCT係数を、周波数領域変換部103から入力したLチャネルMDCT係数(L(k))から減じて、Lチャネル誤差MDCT係数(EL(k))を求める。また、誤差MDCT係数算出部1406は、切替部1405から入力したRチャネル変更モノラルMDCT係数を、周波数領域変換部104から入力したRチャネルMDCT係数(R(k))から減じて、Rチャネル誤差MDCT係数(ER(k))を求める。そして、誤差MDCT係数算出部1406は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部1305へ出力する。
一方、誤差MDCT係数算出部1406は、切替部1405から復号モノラルMDCT係数及びLチャネル変更モノラルMDCT係数を入力した場合には、以下の処理を行う。即ち、誤差MDCT係数算出部1406は、切替部1405から入力した復号モノラルMDCT係数を、周波数領域変換部104から入力したRチャネルMDCT係数から減じて、Rチャネル誤差MDCT係数(ER(k))を求める。また、誤差MDCT係数算出部1406は、切替部1405から入力したLチャネル変更モノラルMDCT係数を、周波数領域変換部103から入力したLチャネルMDCT係数から減じて、Lチャネル誤差MDCT係数(EL(k))を求める。そして、誤差MDCT係数算出部1406は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部1305へ出力する。
以上で、変形誤差MDCT係数算出部1304の構成の説明を終了する。
なお、変形誤差MDCT係数算出部1304において、復号モノラルMDCT係数の符号を反転するか否かを切替えても良い。この場合、復号モノラルMDCT係数の符号を反転したときの誤差MDCT係数と復号モノラルMDCT係数の符号を反転しない場合の誤差MDCT係数とを算出し、両方の誤差MDCT係数のエネルギーを比較する。そして、変形誤差MDCT係数算出部1304は、誤差MDCT係数のエネルギーが小さくなる方を選択し、復号モノラルMDCT係数の符号を反転するか否かを表す情報を出力する、という構成であっても良い。この場合、ステレオ符号化部1300はこの情報も含めてステレオ符号化データを生成し、音響信号送信装置はこのステレオ符号化データを含む多重化データを送信する。この場合の音響信号受信装置は、この多重化データを受信し、分離部においてこの情報を分離する。そしてこの情報は、ステレオ復号部へ入力される。
次に、本実施の形態に係るステレオ復号部1500の構成について、図15を用いて説明する。図15は、ステレオ復号部1500の構成を示すブロック図である。ステレオ復号部1500は、音響信号復号装置としての基本機能を有する。なお、本実施の形態において、音響信号受信装置の構成は、ステレオ復号部1500以外は図4と同一構成であるので、その説明を省略する。また、以下の説明において、ステレオ復号部1500以外は、図4の参照符号を用いて説明する。
ステレオ復号部1500は、分離部1501と、乗算部1502と、変形MDCT係数算出部1503と、誤差MDCT係数復号部1504と、ステレオMDCT係数復号部1505とから主に構成される。以下に、各構成について、詳細に説明する。
分離部1501は、分離部201から入力したステレオ符号化データを、バランスパラメータ符号化データおよび誤差MDCT係数符号化データに分離する。そして、分離部1501は、バランスパラメータ符号化データを乗算部1502及び変形MDCT係数算出部1503へ出力するとともに、誤差MDCT係数符号化データを誤差MDCT係数復号部1504へ出力する。なお、分離部1501は、本実施の形態では必ずしも必要ではなく、分離部201が、バランスパラメータ符号化データと誤差MDCT係数符号化データとに分離して、バランスパラメータ符号化データを乗算部1502及び変形MDCT係数算出部1503に直接出力するとともに、誤差MDCT係数符号化データを誤差MDCT係数復号部1504に直接出力しても良い。
乗算部1502は、乗算器1502aにおいて、モノラル復号部202から入力した復号モノラルMDCT係数(M’(k))に、分離部1501から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WL(iopt))を乗じて乗算結果(WL(iopt)・M’(k))すなわちLチャネル予測信号を取得する。また、乗算部1502は、乗算器1502bにおいて、モノラル復号部202から入力した復号モノラルMDCT係数に、分離部1501から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WR(iopt))を乗じて乗算結果(WR(iopt)・M’(k))すなわちRチャネル予測信号を取得する。そして、乗算部1502は、取得した各予測信号を変形MDCT係数算出部1503へ出力する。
変形MDCT係数算出部1503は、分離部1501から入力したバランスパラメータ符号化データ、及び乗算部1502から入力した予測信号を用いて、どちらか一方のチャネルの符号を反転した予測信号をステレオMDCT係数復号部1505へ出力する。なお、変形MDCT係数算出部1503の構成の詳細については後述する。
誤差MDCT係数復号部1504は、分離部1501から入力した誤差MDCT係数符号化データを用いて、Lチャネル誤差MDCT係数を復号し、復号結果(EL’(k))をステレオMDCT係数復号部1505へ出力する。また、誤差MDCT係数復号部1504は、分離部1501から入力した誤差MDCT係数符号化データを用いて、Rチャネル誤差MDCT係数を復号し、復号結果(ER’(k))をステレオMDCT係数復号部1505へ出力する。
ステレオMDCT係数復号部1505は、変形MDCT係数算出部1503から入力した予測信号に、誤差MDCT係数復号部1504から入力したLチャネル誤差MDCT係数を加算してLチャネル復号MDCT係数(L’(k))を求めて、求めたLチャネル復号MDCT係数を出力する。また、ステレオMDCT係数復号部1505は、変形MDCT係数算出部1503から入力した予測信号に、誤差MDCT係数復号部1504から入力したRチャネル誤差MDCT係数を加算してRチャネル復号MDCT係数(R’(k))を求めて、求めたRチャネル復号MDCT係数を出力する。
以上で、ステレオ復号部1500の構成の説明を終了する。
次に、変形MDCT係数算出部1503の構成について、図16を用いて説明する。図16は、変形MDCT係数算出部1503の構成を示すブロック図である。
変形MDCT係数算出部1503は、判定部1601と、切替部1602と、符号反転部1603と、符号反転部1604と、切替部1605とから主に構成される。
判定部1601は、分離部1501から入力したバランスパラメータ符号化データを用いて最適バランスパラメータを復号する。そして、判定部1601は、LチャネルのバランスパラメータとRチャネルのバランスパラメータとを比較して、バランスパラメータの小さい方のLチャネルまたはRチャネルを示す判定情報を切替部1602及び切替部1605へ出力する。
切替部1602は、判定部1601から入力した判定情報に基づいて信号線を切り替える。具体的には、切替部1602は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1602aと切替端子1602cとを接続するとともに、切替端子1602bと切替端子1602dとを接続する。これにより、切替部1602は、乗算部1502の乗算器1502aから入力した予測信号(WL(iopt)・M’(k))を切替部1605へ出力するとともに、乗算部1502の乗算器1502bから入力した予測信号(WR(iopt)・M’(k))を符号反転部1603へ出力する。また、切替部1602は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1602aと切替端子1602eとを接続するとともに、切替端子1602bと切替端子1602fとを接続する。これにより、切替部1602は、乗算部1502の乗算器1502aから入力した予測信号を符号反転部1604へ出力するとともに、乗算部1502の乗算器1502bから入力した予測信号を切替部1605へ出力する。
符号反転部1603は、切替部1602から入力した予測信号の符号を反転することにより、Rチャネル変更モノラルMDCT係数と最適バランスパラメータとの乗算結果(WR(iopt)・UR(k))すなわちRチャネル予測信号として切替部1605へ出力する。
符号反転部1604は、切替部1602から入力した乗算結果の符号を反転することにより、Lチャネル変更モノラルMDCT係数と最適バランスパラメータとの乗算結果(WL(iopt)・UL(k))すなわちLチャネル予測信号として切替部1605へ出力する。
切替部1605は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さいという判定情報を判定部1601から入力した場合には、切替端子1605aと切替端子1605eとを接続するとともに、切替端子1605bと切替端子1605fとを接続する。これにより、切替部1605は、切替部1602から入力した復号モノラルMDCT係数と最適バランスパラメータとの乗算結果、及び符号反転部1603から入力したRチャネル変更モノラルMDCT係数と最適バランスパラメータとの乗算結果をそれぞれLチャネル及びRチャネルの予測信号としてステレオMDCT係数復号部1505へ出力する。また、切替部1605は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さいという判定情報を判定部1601から入力した場合には、切替端子1605cと切替端子1605eとを接続するとともに、切替端子1605dと切替端子1605fとを接続する。これにより、切替部1605は、切替部1602から入力した復号モノラルMDCT係数と最適バランスパラメータとの乗算結果、及び符号反転部1604から入力したLチャネル変更モノラルMDCT係数と最適バランスパラメータとの乗算結果をそれぞれRチャネル及びLチャネルの予測信号としてステレオMDCT係数復号部1505へ出力する。
以上で、変形MDCT係数算出部1503の構成の説明を終了する。
このように、本実施の形態によれば、上記の実施の形態1の効果に加えて、バランスパラメータを利用してエネルギーの大きいと推定されるチャネル、即ち位相誤差による影響が大きいと推定されるチャネルを選択することにより、判定データを送信する必要がないので、付加情報を増加させることなしに、予測性能を向上させることができる。
なお、上記の各実施の形態において、ダウンミックスの際に、Lチャネル信号とRチャネル信号との比が1に近似するようにスケーリングし、スケーリング係数の情報も多重化データに含めて音響信号受信装置に伝送する構成でも良い。また、上記の各実施の形態において、音響信号送信装置が入力する入力信号、または音響信号受信装置が出力する出力信号は、音声信号とオーディオ信号との何れも適用することが可能であり、両方の信号が混在していても適用することができる。
また、上記の各実施の形態においては、Lチャネルを左チャネル、Rチャネルを右チャネルとして説明したが、本発明はこれに限定されない。すなわち、LチャネルとRチャネルとを任意の2つのチャネルとしても本発明は実施可能であり、同様の効果を有する。
また、上記の各実施の形態においては、周波数領域変換方法としてMDCTを用いて説明したが、本発明はこれに限定されない。すなわち、他の周波数領域変換方法を用いても本発明は実施可能であり、特に、位相の違いに敏感な周波数領域変換方法、例えば離散コサイン変換(DCT)や離散サイン変換(DST)等を用いる場合には同様の効果を有する。
また、上記の各実施の形態では、音響信号送信装置100、700、800から出力された多重化データを音響信号受信装置200、900で受信するとしたが、本発明はこれに限るものではない。すなわち、音響信号受信装置200、900は、音響信号送信化装置100、700、800の構成において生成された多重化データでなくても、復号化に必要な符号化データを有する多重化データを生成可能な音響信号送信装置により生成された多重化データであれば、復号可能である。
また、上記の各実施の形態における音響信号符号化装置或いは音響信号復号装置等を、基地局装置あるいは端末装置に適用することも可能である。
また、上記の各本実施の形態においては、ハードウェアで構成する場合を例に説明したが、本発明はこれに限らず、ソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいてコンピュータ等の情報処理手段によって実行させることにより、本発明に係る音響信号符号化装置或いは音響信号復号装置等と同様の機能を実現することができる。
また、上記の各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
2009年2月26日出願の特願2009−44806の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
本発明にかかるチャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法は、特にモノラル信号を用いてLチャネル信号とRチャネル信号を生成するのに好適である。
本発明は、特にモノラル信号を用いてLチャネル信号(左チャネル信号)とRチャネル信号(右チャネル信号)を生成するチャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法に関する。
移動体通信システムでは、電波資源等の有効利用のために、音声信号を低ビットレートに圧縮して伝送することが要求されている。その一方で、通話音声の品質向上や臨場感の高い通話サービスの実現も望まれており、その実現には、モノラル信号のみならず、多チャンネル音響信号、特にステレオ音響信号を高品質に符号化することが望ましい。
ステレオ音響信号を低ビットレートで符号化する方式として、インテンシティステレオ方式が知られている。インテンシティステレオ方式では、モノラル信号にスケーリング係数を乗じてLチャネル信号とRチャネル信号とを生成する手法を採る。このような手法は振幅パニング(amplitude panning)とも呼ばれる。
振幅パニングの最も基本的な手法は、時間領域におけるモノラル信号に振幅パニング用の利得係数(パニング利得係数)を乗じてLチャネル信号およびRチャネル信号を求めるものである(例えば非特許文献1参照)。また、別な手法として、周波数領域において、個々の周波数成分ごと、または周波数グループごとにモノラル信号にパニング利得係数を乗じて、Lチャネル信号およびRチャネル信号を求めるものもある(例えば非特許文献2参照)。
また、パニング利得係数をパラメトリックステレオの符号化パラメータとして利用すると、ステレオ信号のスケーラブル符号化(モノラル−ステレオスケーラブル符号化)を実現することができる(例えば特許文献1および特許文献2参照)。パニング利得係数は、特許文献1においてはバランスパラメータとして、特許文献2においてはILD(レベル差)として、それぞれ説明されている。
また、音響信号を周波数領域に変換する際、変換効率が高くフレーム境界歪が生じにくいという特徴から、一般に変形離散コサイン変換(以下「MDCT:Modified Discrete Cosine Transform」と記載する)が用いられる。
特表2004−535145号公報
特表2005−533271号公報
しかしながら、従来の装置においては、周波数領域変換にMDCTを用い、モノラル信号にバランスパラメータを乗じてLチャネル信号およびRチャネル信号を予測する手法において、Lチャネル信号とRチャネル信号とに位相差がある場合に、Lチャネル信号とRチャネル信号の予測性能が大きく低下するという問題がある。
これは、次に述べるMDCTの特性に起因している。即ち、MDCTは、前述したように、変換効率が高く、フレーム境界歪が生じにくいという利点がある一方で、分析対象波形の位相の違いによって、算出されるMDCT係数に大きな違いが生じるという特性がある。この特性の一例を図1及び図2を用いて説明する。図1は、周波数が1kHzの位相の異なる2つのサイン波を示す図であり、図2は、図1のサイン波をMDCTして求めたMDCT係数を示す図である。また、図1において、実線はサイン波1の波形を示し、破線はサイン波2の波形を示す。また、図2において、実線は図1のサイン波1をMDCTして求めたMDCT係数1を示し、破線は図1のサイン波2をMDCTして求めたMDCT係数2を示す。
図1及び図2より、ほぼ1kHzの周波数において、サイン波1とサイン波2の両波形ともエネルギーの大きいMDCT係数が得られている。しかし、サイン波1とサイン波2とは位相が異なることにより、図2に示すように、算出されるMDCT係数の値が大きく異なっている。つまり、MDCTは位相の違いに敏感な変換方法と言える。
このようなMDCTの特性は、Lチャネル信号とRチャネル信号とに位相差が生じる場合に、モノラル信号からLチャネル信号およびRチャネル信号を予測する予測性能を大きく低下させてしまうという問題がある。
本発明の目的は、モノラル信号からLチャネル信号およびRチャネル信号を予測する予測性能の低下を回避することができ、高音質な符号化を実現することができるチャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法を提供することである。
本発明のチャネル信号生成装置は、音響信号を構成する、第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域モノラル信号を用いて、前記第1チャネルに関する周波数領域第1チャネル信号と前記第2チャネルに関する周波数領域第2チャネル信号とを生成するチャネル信号生成装置であって、入力される判定データに応じて、前記第1ステレオ信号と前記第2ステレオ信号との間の位相差を補償する変更処理を前記周波数領域モノラル信号に対して行うことにより前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とを生成する生成手段、を具備する構成を採る。
本発明の音響信号符号化装置は、第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域モノラル信号を用いてステレオ符号化データを生成する音響信号符号化装置であって、上記のチャネル信号生成装置と、前記チャネル信号生成装置により生成した前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とを用いた予測処理を行うことにより、前記第1チャネルの第1チャネル予測候補信号と前記第2チャネルの第2チャネル予測候補信号とを生成する予測手段と、複数の前記第1チャネル予測候補信号の中から1つを第1チャネル予測信号として決定し、複数の前記第2チャネル予測候補信号の中から1つを第2チャネル予測信号として決定し、前記第1ステレオ信号を周波数領域変換して生成された周波数領域第1ス
テレオ信号と前記第1チャネル予測信号との誤差である第1誤差信号と、前記第2ステレオ信号を周波数領域変換して生成された周波数領域第2ステレオ信号と前記第2チャネル予測信号との誤差である第2誤差信号とを用いて符号化を行う符号化手段と、を具備する構成を採る。
本発明の音響信号符号化装置は、第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域モノラル信号を用いてステレオ符号化データを生成する音響信号符号化装置であって、前記周波数領域モノラル信号に対して、前記第1チャネルの第1バランスパラメータ候補及び前記第2チャネルの第2バランスパラメータ候補をそれぞれ適用した予測処理を行うことにより、第1チャネルの第1チャネル予測候補信号と第2チャネルの第2チャネル予測候補信号とを生成する予測手段と、上記のチャネル信号生成装置と、前記第1ステレオ信号を周波数領域変換して生成された周波数領域第1ステレオ信号と前記周波数領域第1チャネル信号との誤差である第1誤差信号と、前記第2ステレオ信号を周波数領域変換して生成された周波数領域第2ステレオ信号と前記周波数領域第2チャネル信号との誤差である第2誤差信号とを用いて符号化を行う符号化手段と、を具備する構成を採る。
本発明の音響信号復号装置は、音響信号符号化装置において第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域第1モノラル信号を用いた符号化により生成されたステレオ符号化データを受信して復号する音響信号復号装置であって、前記ステレオ符号化データからバランスパラメータ符号化データを取り出して出力する受信手段と、入力される判定データに応じて、前記第1ステレオ信号と前記第2ステレオ信号との間の位相差を補償する変更処理を、入力される周波数領域第2モノラル信号に対して行うことにより、前記第1チャネルに関する周波数領域第1チャネル信号と前記第2チャネルに関する周波数領域第2チャネル信号とを生成する生成手段、前記バランスパラメータ符号化データを用いて得られるバランスパラメータを、前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とに適用する予測処理を行うことにより、前記第1チャネルの第1チャネル予測信号と前記第2チャネルの第2チャネル予測信号とを生成する予測手段と、前記第1チャネル予測信号と前記第2チャネル予測信号とを用いて復号を行う復号手段と、を具備する構成を採る。
本発明の音響信号符号化方法は、第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域モノラル信号を用いてステレオ符号化データを生成する音響信号符号化方法であって、入力される判定データに応じて、前記第1ステレオ信号と前記第2ステレオ信号との間の位相差を補償する変更処理を前記周波数領域モノラル信号に対して行うことにより周波数領域第1チャネル信号と周波数領域第2チャネル信号とを生成する生成ステップと、前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とを用いた予測処理を行うことにより、前記第1チャネルの第1チャネル予測候補信号と前記第2チャネルの第2チャネル予測候補信号とを生成する予測ステップと、複数の前記第1チャネル予測候補信号の中から1つを第1チャネル予測信号として決定し、複数の前記第2チャネル予測候補信号の中から1つを第2チャネル予測信号として決定し、前記第1ステレオ信号を周波数領域変換して生成された周波数領域第1ステレオ信号と前記第1チャネル予測信号との誤差である第1誤差信号と、前記第2ステレオ信号を周波数領域変換して生成された周波数領域第2ステレオ信号と前記第2チャネル予測信号との誤差である第2誤差信号とを用いて符号化を行う符号化ステップと、を具備するようにした。
本発明の音響信号復号方法は、音響信号符号化装置において第1チャネルに関する第1ステレオ信号と第2チャネルに関する第2ステレオ信号とを用いて生成された周波数領域第1モノラル信号を用いた符号化により生成されたステレオ符号化データを受信して復号
する音響信号復号方法であって、前記ステレオ符号化データからバランスパラメータ符号化データを取り出して出力する受信ステップと、入力される判定データに応じて、前記第1ステレオ信号と前記第2ステレオ信号との間の位相差を補償する変更処理を、入力される周波数領域第2モノラル信号に対して行うことにより、前記第1チャネルに関する周波数領域第1チャネル信号と前記第2チャネルに関する周波数領域第2チャネル信号とを生成する生成ステップ、前記バランスパラメータ符号化データを用いて得られるバランスパラメータを、前記周波数領域第1チャネル信号と前記周波数領域第2チャネル信号とに適用する予測処理を行うことにより、前記第1チャネルの第1チャネル予測信号と前記第2チャネルの第2チャネル予測信号とを生成する予測ステップと、前記第1チャネル予測信号と前記第2チャネル予測信号とを用いて復号を行う復号ステップと、を具備するようにした。
本発明によれば、モノラル信号からLチャネル信号およびRチャネル信号を予測する予測性能の低下を回避することができ、高音質な符号化を実現することができる。
周波数が1kHzの位相の異なる2つのサイン波を示す図
図1のサイン波をMDCTして求めたMDCT係数を示す図
本発明の実施の形態1に係る音響信号送信装置の構成を示すブロック図
本発明の実施の形態1に係る音響信号受信装置の構成を示すブロック図
本発明の実施の形態1に係るステレオ符号化部の構成を示すブロック図
本発明の実施の形態1に係るステレオ復号部の構成を示すブロック図
本発明の実施の形態2に係る音響信号送信装置の構成を示すブロック図
本発明の実施の形態3に係る音響信号送信装置の構成を示すブロック図
本発明の実施の形態3に係る音響信号受信装置の構成を示すブロック図
本発明の実施の形態3に係るステレオ符号化部の構成を示すブロック図
本発明の実施の形態3に係るモノラルMDCT係数修正部の構成を示すブロック図
本発明の実施の形態3に係るステレオ復号部の構成を示すブロック図
本発明の実施の形態4に係るステレオ符号化部の構成を示すブロック図
本発明の実施の形態4に係る変形誤差MDCT係数算出部の構成を示すブロック図
本発明の実施の形態4に係るステレオ復号部の構成を示すブロック図
本発明の実施の形態4に係る変形MDCT係数算出部の構成を示すブロック図
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
図3は、本発明の実施の形態1に係る音響信号送信装置100の構成を示すブロック図である。
音響信号送信装置100は、ダウンミックス部101と、モノラル符号化部102と、周波数領域変換部103と、周波数領域変換部104と、位相判定部105と、ステレオ符号化部106と、多重化部107とから主に構成される。以下に、各構成について、詳細に説明する。
ダウンミックス部101は、Lチャネル信号(L(n))とRチャネル信号(R(n))とからなるステレオ信号のダウンミックス処理を行いモノラル信号(M(n))を生成
する。そして、ダウンミックス部101は、生成したモノラル信号をモノラル符号化部102へ出力する。
モノラル符号化部102は、ダウンミックス部101から入力したモノラル信号の符号化を行い、符号化結果であるモノラル符号化データを多重化部107へ出力する。また、モノラル符号化部102は、ダウンミックス部101から入力したモノラル信号の符号化処理によって得られた復号モノラルMDCT係数(M’(k))をステレオ符号化部106へ出力する。
周波数領域変換部103は、入力したLチャネル信号を時間領域信号から周波数領域信号に変換する周波数領域変換を行ってスペクトル(L(k))を算出する。そして、周波数領域変換部103は、算出したスペクトルをステレオ符号化部106へ出力する。ここで、周波数領域変換にはMDCTを用いる。従って、周波数領域変換部103で得られるスペクトルは、LチャネルMDCT係数である。なお、以後は、周波数領域変換にはMDCTを用いるものとして説明する。
周波数領域変換部104は、入力したRチャネル信号の周波数領域変換を行って、RチャネルMDCT係数(R(k))を算出する。そして、周波数領域変換部104は、算出したRチャネルMDCT係数をステレオ符号化部106へ出力する。
位相判定部105は、入力したLチャネル信号と入力したRチャネル信号との相関分析によって、Lチャネル信号とRチャネル信号との時間のずれである位相差を求める。そして、位相判定部105は、求めた位相差を位相データとしてステレオ符号化部106および多重化部107へ出力する。
ステレオ符号化部106は、モノラル符号化部102から入力した復号モノラルMDCT係数、及び位相判定部105から入力した位相データを利用して、周波数領域変換部103から入力したLチャネルMDCT係数、および周波数領域変換部104から入力したRチャネルMDCT係数の符号化を行ってバランスパラメータ符号化データを生成する。また、ステレオ符号化部106は、生成したバランスパラメータ符号化データ等を含むステレオ符号化データを多重化部107へ出力する。なお、ステレオ符号化部106の構成の詳細については後述する。
多重化部107は、モノラル符号化部102から入力したモノラル符号化データと、ステレオ符号化部106から入力したステレオ符号化データと、位相判定部105から入力した位相データとを多重化して多重化データを生成する。そして、多重化部107は、生成した多重化データを図示しない通信路に出力する。
以上で音響信号送信装置100の構成の説明を終了する。
次に、本実施の形態に係る音響信号受信装置200について、図4を用いて説明する。図4は、音響信号受信装置200の構成を示すブロック図である。
音響信号受信装置200は、分離部201と、モノラル復号部202と、ステレオ復号部203と、時間領域変換部204と、時間領域変換部205とから主に構成される。以下に、各構成について、詳細に説明する。
分離部201は、音響信号送信装置100から送出された多重化データを受信し、受信した多重化データをモノラル符号化データと、ステレオ符号化データと、位相データとに分離する。そして、分離部201は、モノラル符号化データをモノラル復号部202へ出
力し、ステレオ符号化データおよび位相データをステレオ復号部203へ出力する。
モノラル復号部202は、分離部201から入力したモノラル符号化データを用いてモノラル信号を復号し、復号モノラル信号のMDCT係数である復号モノラルMDCT係数(M’(k))をステレオ復号部203へ出力する。
ステレオ復号部203は、モノラル復号部202から入力した復号モノラルMDCT係数と、分離部201から入力したステレオ符号化データおよび位相データとを用いてLチャネル復号MDCT係数(L’(k))、Rチャネル復号MDCT係数(R’(k))を算出する。そして、ステレオ復号部203は、算出したLチャネル復号MDCT係数を時間領域変換部204へ出力するとともに、算出したRチャネル復号MDCT係数を時間領域変換部205へ出力する。なお、ステレオ復号部203の構成の詳細については後述する。
時間領域変換部204は、ステレオ復号部203から入力したLチャネル復号MDCT係数を周波数領域信号から時間領域信号に変換してLチャネル復号信号(L’(n))を取得し、取得したLチャネル復号信号を出力する。
時間領域変換部205は、ステレオ復号部203から入力したRチャネル復号MDCT係数を周波数領域信号から時間領域信号に変換してRチャネル復号信号(R’(n))を取得し、取得したRチャネル復号信号を出力する。
以上で、音響信号受信装置200の構成の説明を終了する。
次に、ステレオ符号化部106の構成について、図5を用いて説明する。図5は、ステレオ符号化部106の構成を示すブロック図である。ステレオ符号化部106は、音響信号符号化装置としての基本機能を有する。
ステレオ符号化部106は、モノラルMDCT係数修正部301と、乗算器302と、乗算器303と、最適バランスパラメータ判定部304と、誤差MDCT係数算出部305と、誤差MDCT係数量子化部306と、多重化部307とから主に構成される。以下に、各構成について、詳細に説明する。
モノラルMDCT係数修正部301は、位相判定部105から入力した位相データに基づいて、モノラル符号化部102から入力した復号モノラルMDCT係数に対して、Lチャネル信号とRチャネル信号との位相差を補償するように調整する処理を加えてLチャネル変更モノラルMDCT係数(UL(k))及びRチャネル変更モノラルMDCT係数(UR(k))を生成する。すなわち、モノラルMDCT係数修正部301は、復号モノラルMDCT係数を、Lチャネル変更モノラルMDCT係数及びRチャネル変更モノラルMDCT係数に変更する機能を有する。そして、モノラルMDCT係数修正部301は、生成したLチャネル変更モノラルMDCT係数を乗算器302へ出力するとともに、生成したRチャネル変更モノラルMDCT係数を乗算器303へ出力する。なお、モノラルMDCT係数修正部301におけるLチャネル変更モノラルMDCT係数及びRチャネル変更モノラルMDCT係数を生成する具体的な方法については後述する。
乗算器302は、モノラルMDCT係数修正部301から入力したLチャネル変更モノラルMDCT係数に、第i(iは2以上の整数)候補のバランスパラメータ(WL(i))を乗じた乗算結果(UL(k)・WL(i))すなわちLチャネル予測信号の候補を最適バランスパラメータ判定部304へ出力する。
乗算器303は、モノラルMDCT係数修正部301から入力したRチャネル変更モノラルMDCT係数に、第i候補のバランスパラメータ(WR(i))を乗じた乗算結果(UR(k)・WR(i))すなわちRチャネル予測信号の候補を最適バランスパラメータ判定部304へ出力する。
最適バランスパラメータ判定部304は、周波数領域変換部103から入力したLチャネルMDCT係数とLチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部304は、周波数領域変換部104から入力したRチャネルMDCT係数とRチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部304は、両者の誤差の和が最も小さくなるときのバランスパラメータ(WL(iopt)、WR(iopt))を決定する。このときのLチャネル及びRチャネルの予測信号の候補が、それぞれLチャネル及びRチャネルの予測信号となる。そして、最適バランスパラメータ判定部304は、決定したバランスパラメータを特定するインデックスを符号化してバランスパラメータ符号化データとして多重化部307へ出力する。ここで、ioptは、最適なバランスパラメータを特定するインデックスである。さらに、最適バランスパラメータ判定部304は、Lチャネル予測信号及びRチャネル予測信号を誤差MDCT係数算出部305へ出力する。
誤差MDCT係数算出部305は、最適バランスパラメータ判定部304から入力したLチャネル予測信号を、周波数領域変換部103から入力したLチャネルMDCT係数から減じて、Lチャネル誤差MDCT係数(EL(k))を求める。また、誤差MDCT係数算出部305は、最適バランスパラメータ判定部304から入力したRチャネル予測信号を、周波数領域変換部104から入力したRチャネルMDCT係数から減じて、Rチャネル誤差MDCT係数(ER(k))を求める。そして、誤差MDCT係数算出部305は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部306へ出力する。
誤差MDCT係数量子化部306は、誤差MDCT係数算出部305から入力したLチャネル誤差MDCT係数およびRチャネル誤差MDCT係数を量子化して、誤差MDCT係数符号化データを求める。そして、誤差MDCT係数量子化部306は、求めた誤差MDCT係数符号化データを多重化部307へ出力する。
多重化部307は、最適バランスパラメータ判定部304から入力したバランスパラメータ符号化データと、誤差MDCT係数量子化部306から入力した誤差MDCT係数符号化データとを多重化してステレオ符号化データとして多重化部107へ出力する。なお、多重化部307は、本実施の形態では必ずしも必要ではなく、最適バランスパラメータ判定部304は、バランスパラメータ符号化データを多重化部107に直接出力するとともに、誤差MDCT係数量子化部306は、誤差MDCT係数符号化データを多重化部107に直接出力しても良い。
以上で、ステレオ符号化部106の構成の説明を終了する。
次に、ステレオ復号部203の構成について、図6を用いて説明する。図6は、ステレオ復号部203の構成を示すブロック図である。ステレオ復号部203は、音響信号復号装置としての基本機能を有する。
ステレオ復号部203は、分離部401と、モノラルMDCT係数修正部402と、乗算部403と、誤差MDCT係数復号部404と、ステレオMDCT係数復号部405とから主に構成される。以下に、各構成について、詳細に説明する。
分離部401は、分離部201から入力したステレオ符号化データを、バランスパラメータ符号化データおよび誤差MDCT係数符号化データに分離する。そして、分離部401は、バランスパラメータ符号化データを乗算部403へ出力するとともに、誤差MDCT係数符号化データを誤差MDCT係数復号部404へ出力する。なお、分離部401は、本実施の形態では必ずしも必要ではなく、分離部201は、バランスパラメータ符号化データと誤差MDCT係数符号化データとに分離して、バランスパラメータ符号化データを乗算部403に直接出力するとともに、誤差MDCT係数符号化データを誤差MDCT係数復号部404に直接出力しても良い。
モノラルMDCT係数修正部402は、符号化装置側で行った、復号モノラルMDCT係数に対して、Lチャネル信号とRチャネル信号との位相差を補償する変更処理と同様の処理を行う。すなわち、モノラルMDCT係数修正部402は、分離部201から入力した位相データに基づき、予め設計して記憶してある複数の変形行列の中から、LチャネルとRチャネルとの組み合わせからなる1セットの変形行列を選択する。そして、モノラルMDCT係数修正部402は、選択した変形行列を用いて、モノラル復号部202から入力した復号モノラルMDCT係数を変更することにより、Lチャネル変更モノラルMDCT係数(UL(k))およびRチャネル変更モノラルMDCT係数(UR(k))を生成する。そして、モノラルMDCT係数修正部402は、生成したLチャネル変更モノラルMDCT係数およびRチャネル変更モノラルMDCT係数を乗算部403へ出力する。
乗算部403は、乗算器403aにおいて、モノラルMDCT係数修正部402から入力したLチャネル変更モノラルMDCT係数に、分離部401から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WL(iopt))を乗じて乗算結果(WL(iopt)・UL(k))すなわちLチャネル予測信号を取得する。また、乗算部403は、乗算器403bにおいて、モノラルMDCT係数修正部402から入力したRチャネル変更モノラルMDCT係数に、分離部401から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WR(iopt))を乗じて乗算結果(WR(iopt)・UR(k))すなわちRチャネル予測信号を取得する。そして、乗算部403は、取得した各乗算結果をステレオMDCT係数復号部405へ出力する。
誤差MDCT係数復号部404は、分離部401から入力した誤差MDCT係数符号化データを用いて、Lチャネル誤差MDCT係数を復号し、復号結果(EL’(k))をステレオMDCT係数復号部405へ出力する。また、誤差MDCT係数復号部404は、分離部401から入力した誤差MDCT係数符号化データを用いて、Rチャネル誤差MDCT係数を復号し、復号結果(ER’(k))をステレオMDCT係数復号部405へ出力する。
ステレオMDCT係数復号部405は、乗算部403の乗算器403aから入力したLチャネル予測信号に、誤差MDCT係数復号部404から入力したLチャネル誤差MDCT係数の復号結果を加算してLチャネル復号MDCT係数(L’(k))を求めて、求めたLチャネル復号MDCT係数を出力する。また、ステレオMDCT係数復号部405は、乗算部403の乗算器403bから入力したRチャネル予測信号に、誤差MDCT係数復号部404から入力したRチャネル誤差MDCT係数の復号結果を加算してRチャネル復号MDCT係数(R’(k))を求めて、求めたRチャネル復号MDCT係数を出力する。
以上で、ステレオ復号部203の構成の説明を終了する。
次に、モノラルMDCT係数修正部301におけるLチャネル変更モノラルMDCT係
数及びRチャネル変更モノラルMDCT係数を生成する具体的な方法について説明する。
モノラルMDCT係数修正部301は、予め設計してある複数の変形行列を記憶している。そして、モノラルMDCT係数修正部301は、位相判定部105より与えられる位相データを用いて、LチャネルとRチャネルとからなる1セットの変形行列を選択し、(1)式に従い、復号モノラルMDCT係数を変更して、Lチャネル変更モノラルMDCT係数(U
L(k))およびRチャネル変更モノラルMDCT係数(U
R(k))を生成する。
ここで、Lチャネル用の変形行列およびRチャネル用の変形行列の設計法として、例えば、種々の位相差のLチャネル信号とRチャネル信号とを用意する。また、Lチャネル信号及びRチャネル信号より求められるモノラル信号、Lチャネル信号、及びRチャネル信号をそれぞれMDCTする。そして、モノラルMDCT変換係数に対するLチャネルMDCT変換係数の変化量を平均化してLチャネル変形行列を求める。同様に、モノラルMDCT変換係数に対するRチャネルMDCT変換係数の変化量を平均化してRチャネル変形行列を求める。そして、種々の位相差Dに対して、前述したような設計法によりLチャネル用の変形行列及びRチャネル用の変形行列を設計する。
モノラルMDCT係数修正部301は、このようにして設計しておいた複数の変形行列の中から、位相判定部105より与えられる位相データに応じて1セットの変形行列を選択して、復号モノラルMDCT係数の変更に用いる。
このように、本実施の形態によれば、Lチャネル信号とRチャネル信号との位相差に応じて修正されたモノラル信号を用いて、Lチャネル信号とRチャネル信号とを予測する。これにより、モノラル信号から、Lチャネル信号およびRチャネル信号を予測する予測性能の低下を回避することができ、高音質な符号化を実現することができる。
なお、本実施の形態において、Lチャネル変更モノラルMDCT係数およびRチャネル変更モノラルMDCT係数を用いて符号化しているが、本実施の形態はこれに限らず、片側のチャネルのみに対してモノラルMDCT係数を変更する処理を行っても良い。この場合、LチャネルMDCT係数とRチャネルMDCT係数とのエネルギーを比較し、エネルギーの小さいチャネルについて変更されたモノラルMDCT係数を用いる。これは次の理由による。
エネルギーの小さいチャネルの方がエネルギーの大きいチャネルよりも位相差によるMDCT係数の変化量が大きい。つまり、エネルギーの小さいチャネルの方が位相差の影響を受けやすい。従って、エネルギーの小さいチャネルを選択し、選択したエネルギーの小さいチャネルについてのみ、モノラルMDCT係数の変更処理を行うことで、本実施の形態の効果を維持したままで、演算量及びメモリー量の増加を抑えることができる。
(実施の形態2)
図7は、本発明の実施の形態2に係る音響信号送信装置700の構成を示すブロック図である。
図7に示す音響信号送信装置700は、図3に示す実施の形態1に係る音響信号送信装置100に対して、周波数領域変換部702を追加し、モノラル符号化部102の代わりにモノラル符号化部701を有し、ステレオ符号化部106の代わりにステレオ符号化部703を有する。なお、図7において、図3と同一構成である部分には同一の符号を付してその説明を省略する。
音響信号送信装置700は、ダウンミックス部101と、周波数領域変換部103と、周波数領域変換部104と、位相判定部105と、多重化部107と、モノラル符号化部701と、周波数領域変換部702と、ステレオ符号化部703とから主に構成される。以下に、各構成について、詳細に説明する。
ダウンミックス部101は、Lチャネル信号(L(n))とRチャネル信号(R(n))とからなるステレオ信号のダウンミックス処理を行いモノラル信号(M(n))を生成する。そして、ダウンミックス部101は、生成したモノラル信号をモノラル符号化部701及び周波数領域変換部702へ出力する。
モノラル符号化部701は、ダウンミックス部101から入力したモノラル信号の符号化を行い、符号化結果であるモノラル符号化データを多重化部107へ出力する。
周波数領域変換部702は、ダウンミックス部101から入力したモノラル信号を時間領域信号から周波数領域信号に周波数変換してモノラルMDCT係数(M(k))を算出する。そして、周波数領域変換部702は、算出したモノラルMDCT係数をステレオ符号化部703へ出力する。
周波数領域変換部103は、入力したLチャネル信号の周波数領域変換を行って、LチャネルMDCT係数(L(k))を算出する。そして、周波数領域変換部103は、算出したLチャネルMDCT係数をステレオ符号化部703へ出力する。
周波数領域変換部104は、入力したRチャネル信号の周波数領域変換を行って、RチャネルMDCT係数(R(k))を算出する。そして、周波数領域変換部104は、算出したRチャネルMDCT係数をステレオ符号化部703へ出力する。
位相判定部105は、入力したLチャネル信号と入力したRチャネル信号との相関分析によって、Lチャネル信号とRチャネル信号との時間のずれである位相差を求める。そして、位相判定部105は、求めた位相差を位相データとしてステレオ符号化部703および多重化部107へ出力する。
ステレオ符号化部703は、音響信号符号化装置としての基本機能を有する。ステレオ符号化部703は、周波数領域変換部702から入力したモノラルMDCT係数を利用して、周波数領域変換部103から入力したLチャネルMDCT係数、および周波数領域変換部104から入力したRチャネルMDCT係数の符号化を行ってバランスパラメータ符号化データを生成する。ステレオ符号化部703の内部構成は、図5のステレオ符号化部106において、入力の一つである復号モノラルMDCT係数M’(k)を、モノラルMDCT係数M(k)に置き換えた構成と同様となる。また、ステレオ符号化部703は、生成したバランスパラメータ符号化データ等を含むステレオ符号化データを多重化部107へ出力する。
なお、本実施の形態における音響信号受信装置の構成は図4と同一構成であり、また、モノラルMDCT係数修正部におけるLチャネル変更モノラルMDCT係数及びRチャネル変更モノラルMDCT係数を生成する具体的な方法は上記の実施の形態1と同一であるので、その説明を省略する。
このように、本実施の形態によれば、Lチャネル信号とRチャネル信号との位相差に応じて修正されたモノラル信号を用いて、Lチャネル信号とRチャネル信号とを予測する。これにより、モノラル信号から、Lチャネル信号およびRチャネル信号を予測する予測性能の低下を回避することができ、高音質な符号化を実現することができる。
(実施の形態3)
図8は、本発明の実施の形態3に係る音響信号送信装置800の構成を示すブロック図である。
図8に示す音響信号送信装置800は、図3に示す実施の形態1に係る音響信号送信装置100に対して、位相判定部105を除き、ステレオ符号化部106の代わりにステレオ符号化部801を有し、多重化部107の代わりに多重化部802を有する。なお、図8において、図3と同一構成である部分には同一の符号を付してその説明を省略する。
音響信号送信装置800は、ダウンミックス部101と、モノラル符号化部102と、周波数領域変換部103と、周波数領域変換部104と、ステレオ符号化部801と、多重化部802とから主に構成される。以下に、各構成について、詳細に説明する。
モノラル符号化部102は、ダウンミックス部101から入力したモノラル信号の符号化を行い、符号化結果であるモノラル符号化データを多重化部802へ出力する。また、モノラル符号化部102は、ダウンミックス部101から入力したモノラル信号の符号化処理によって得られた復号モノラルMDCT係数(M’(k))をステレオ符号化部801へ出力する。
周波数領域変換部103は、入力したLチャネル信号の周波数領域変換を行って、LチャネルMDCT係数(L(k))を算出する。そして、周波数領域変換部103は、算出したLチャネルMDCT係数をステレオ符号化部801へ出力する。
周波数領域変換部104は、入力したRチャネル信号の周波数領域変換を行って、RチャネルMDCT係数(R(k))を算出する。そして、周波数領域変換部104は、算出したRチャネルMDCT係数をステレオ符号化部801へ出力する。
ステレオ符号化部801は、モノラル符号化部102から入力した復号モノラルMDCT係数を利用して、周波数領域変換部103から入力したLチャネルMDCT係数、および周波数領域変換部104から入力したRチャネルMDCT係数の符号化を行ってバランスパラメータを取得する。この際、ステレオ符号化部801は、LチャネルMDCT係数とRチャネルMDCT係数とのエネルギーを比較して、エネルギーの小さいチャネルに用いる復号モノラルMDCT係数に対して変更処理を行い、変更処理後の復号モノラルMDCT係数を利用する。また、ステレオ符号化部801は、符号化処理によって取得したバランスパラメータ符号化データ等を含むステレオ符号化データを多重化部802へ出力する。なお、ステレオ符号化部801の構成の詳細については後述する。
多重化部802は、モノラル符号化部102から入力したモノラル符号化データと、ステレオ符号化部801から入力したステレオ符号化データとを多重化して多重化データを
生成する。そして、多重化部802は、生成した多重化データを図示しない通信路に出力する。
以上で、音響信号送信装置800の構成についての説明を終了する。
次に、音響信号受信装置900の構成について、図9を用いて説明する。図9は、音響信号受信装置900の構成を示すブロック図である。
図9に示す音響信号受信装置900は、図4に示す実施の形態1に係る音響信号受信装置200に対して、分離部201の代わりに分離部901を有し、ステレオ復号部203の代わりにステレオ復号部902を有する。なお、図9において、図4と同一構成である部分には同一の符号を付してその説明を省略する。
音響信号受信装置900は、モノラル復号部202と、時間領域変換部204と、時間領域変換部205と、分離部901と、ステレオ復号部902とから主に構成される。以下に、各構成について、詳細に説明する。
分離部901は、音響信号送信装置800から送出された多重化データを受信し、受信した多重化データをモノラル符号化データと、ステレオ符号化データとに分離する。そして、分離部901は、モノラル符号化データをモノラル復号部202へ出力し、ステレオ符号化データをステレオ復号部902へ出力する。
モノラル復号部202は、分離部901から入力したモノラル符号化データを用いてモノラル信号を復号し、復号モノラル信号のMDCT係数である復号モノラルMDCT係数(M’(k))をステレオ復号部902へ出力する。
ステレオ復号部902は、モノラル復号部202から入力した復号モノラルMDCT係数と、分離部901から入力したステレオ符号化データとを用いてLチャネル復号MDCT係数(L’(k))、Rチャネル復号MDCT係数(R’(k))を算出する。そして、ステレオ復号部902は、算出したLチャネル復号MDCT係数を時間領域変換部204へ出力するとともに、算出したRチャネル復号MDCT係数を時間領域変換部205へ出力する。なお、ステレオ復号部902の構成の詳細については後述する。
以上で、音響信号受信装置900の構成の説明を終了する。
次に、ステレオ符号化部801の構成について、図10を用いて説明する。図10は、ステレオ符号化部801の構成を示すブロック図である。ステレオ符号化部801は、音響信号符号化装置としての基本機能を有する。
ステレオ符号化部801は、エネルギー比較部1001と、モノラルMDCT係数修正部1002と、乗算器1003と、乗算器1004と、最適バランスパラメータ判定部1005と、誤差MDCT係数算出部1006と、誤差MDCT係数量子化部1007と、多重化部1008とから主に構成される。以下に、各構成について、詳細に説明する。
エネルギー比較部1001は、周波数領域変換部103から入力したLチャネルMDCT係数のエネルギーの大きさと、周波数領域変換部104から入力したRチャネルMDCT係数のエネルギーの大きさとを比較し、エネルギーの小さいチャネルを表す判定データをモノラルMDCT係数修正部1002及び多重化部1008へ出力する。
モノラルMDCT係数修正部1002は、エネルギー比較部1001から入力した判定
データに基づいて、モノラル符号化部102から入力した復号モノラルMDCT係数に対して、Lチャネル信号とRチャネル信号との位相差を補償するように処理を加えてLチャネル変更モノラルMDCT係数(UL(k))、またはRチャネル変更モノラルMDCT係数(UR(k))を生成する。そして、モノラルMDCT係数修正部1002は、Lチャネル変更モノラルMDCT係数を生成した場合には、生成したLチャネル変更モノラルMDCT係数を乗算器1003へ出力するとともに、復号モノラルMDCT係数を乗算器1004へ出力する。一方、モノラルMDCT係数修正部1002は、Rチャネル変更モノラルMDCT係数を生成した場合には、生成したRチャネル変更モノラルMDCT係数を乗算器1004へ出力するとともに、復号モノラルMDCT係数を乗算器1003へ出力する。なお、モノラルMDCT係数修正部1002の構成の詳細については後述する。
乗算器1003は、モノラルMDCT係数修正部1002から入力したLチャネル変更モノラルMDCT係数、または復号モノラルMDCT係数に、第i候補のバランスパラメータ(WL(i))を乗じた乗算結果(UL(k)・WL(i)またはM’(k)・WL(i))すなわちLチャネル予測信号の候補を最適バランスパラメータ判定部1005へ出力する。
乗算器1004は、モノラルMDCT係数修正部1002から入力したRチャネル変更モノラルMDCT係数、または復号モノラルMDCT係数に、第i候補のバランスパラメータ(WR(i))を乗じた乗算結果(UR(k)・WR(i)またはM’(k)・WR(i))すなわちRチャネル予測信号の候補を最適バランスパラメータ判定部1005へ出力する。
最適バランスパラメータ判定部1005は、周波数領域変換部103から入力したLチャネルMDCT係数とLチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部1005は、周波数領域変換部104から入力したRチャネルMDCT係数とRチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部1005は、両者の誤差の和が最も小さくなるときのバランスパラメータ(WL(iopt)、WR(iopt))を決定する。このときのLチャネル及びRチャネルの予測信号の候補が、それぞれLチャネル及びRチャネルの予測信号となる。そして、最適バランスパラメータ判定部1005は、決定したバランスパラメータを特定するインデックスを符号化してバランスパラメータ符号化データを生成する。そして、最適バランスパラメータ判定部1005は、生成したバランスパラメータ符号化データを多重化部1008へ出力する。さらに、最適バランスパラメータ判定部1005は、Lチャネル予測信号及びRチャネル予測信号を誤差MDCT係数算出部1006へ出力する。
誤差MDCT係数算出部1006は、最適バランスパラメータ判定部1005から入力したLチャネル予測信号を、周波数領域変換部103から入力したLチャネルMDCT係数から減じて、Lチャネル誤差MDCT係数(EL(k))を求める。また、誤差MDCT係数算出部1006は、最適バランスパラメータ判定部1005から入力したRチャネル予測信号を、周波数領域変換部104から入力したRチャネルMDCT係数から減じて、Rチャネル誤差MDCT係数(ER(k))を求める。そして、誤差MDCT係数算出部1006は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部1007へ出力する。
誤差MDCT係数量子化部1007は、誤差MDCT係数算出部1006から入力したLチャネル誤差MDCT係数およびRチャネル誤差MDCT係数を量子化して、誤差MDCT係数符号化データを求める。そして、誤差MDCT係数量子化部1007は、求めた誤差MDCT係数符号化データを多重化部1008へ出力する。
多重化部1008は、最適バランスパラメータ判定部1005から入力したバランスパラメータ符号化データと、誤差MDCT係数量子化部1007から入力した誤差MDCT係数符号化データと、エネルギー比較部1001から入力した判定データとを多重化する。そして、多重化部1008は、多重化したデータをステレオ符号化データとして多重化部802へ出力する。なお、多重化部1008は、本実施の形態では必ずしも必要ではない。多重化部1008を削除した場合、最適バランスパラメータ判定部1005は、バランスパラメータ符号化データを多重化部802に直接出力してもよい。また、誤差MDCT係数量子化部1007は、誤差MDCT係数符号化データを多重化部802に直接出力してもよい。また、エネルギー比較部1001は、判定データを多重化部802に直接出力してもよい。
以上で、ステレオ符号化部801の構成の説明を終了する。
次に、モノラルMDCT係数修正部1002の構成について、図11を用いて説明する。図11は、モノラルMDCT係数修正部1002の構成を示すブロック図である。
モノラルMDCT係数修正部1002は、切替部1101と、符号反転部1102と、符号反転部1103と、切替部1104とから主に構成される。以下に、各構成について、詳細に説明する。
切替部1101は、LチャネルMDCT係数のエネルギーよりもRチャネルMDCT係数のエネルギーが小さいという判定データを、エネルギー比較部1001より入力した場合は、切替端子1101aと切替端子1101bとを接続する。これにより、切替部1101は、復号モノラルMDCT係数(M’(k))を切替部1104及び符号反転部1102へ出力する。また、切替部1101は、RチャネルMDCT係数のエネルギーよりもLチャネルMDCT係数のエネルギーが小さいという判定データを、エネルギー比較部1001より入力した場合は、切替端子1101aと切替端子1101cとを接続する。これにより、切替部1101は、復号モノラルMDCT係数を符号反転部1103及び切替部1104へ出力する。
符号反転部1102は、切替部1101から入力した復号モノラルMDCT係数の符号を反転して切替部1104へ出力する。即ち、符号反転部1102は、LチャネルMDCT係数のエネルギーよりもRチャネルMDCT係数のエネルギーが小さい場合に、復号モノラルMDCT係数の符号を反転して、Rチャネル変更モノラルMDCT係数(UR(k))として切替部1104へ出力する。
符号反転部1103は、切替部1101から入力した復号モノラルMDCT係数の符号を反転して切替部1104へ出力する。即ち、符号反転部1103は、RチャネルMDCT係数のエネルギーよりもLチャネルMDCT係数のエネルギーが小さい場合に、復号モノラルMDCT係数の符号を反転して、Lチャネル変更モノラルMDCT係数(UL(k))として切替部1104へ出力する。
切替部1104は、LチャネルMDCT係数のエネルギーよりもRチャネルMDCT係数のエネルギーが小さいという判定データを、エネルギー比較部1001より入力した場合は、切替端子1104aと切替端子1104eとを接続するとともに、切替端子1104bと切替端子1104fとを接続する。これにより、切替部1104は、切替部1101から入力した復号モノラルMDCT係数を乗算器1003へ出力するとともに、符号反転部1102から入力したRチャネル変更モノラルMDCT係数を乗算器1004へ出力する。また、切替部1104は、RチャネルMDCT係数のエネルギーよりもLチャネルMDCT係数のエネルギーが小さいという判定データを、エネルギー比較部1001より
入力した場合は、切替端子1104cと切替端子1104eとを接続するとともに、切替端子1104dと切替端子1104fとを接続する。これにより、切替部1104は、符号反転部1103から入力したLチャネル変更モノラルMDCT係数を乗算器1003へ出力するとともに、切替部1101から入力した復号モノラルMDCT係数を乗算器1004へ出力する。
以上で、モノラルMDCT係数修正部1002の構成の説明を終了する。
なお、最適バランスパラメータ判定部1005において、復号モノラルMDCT係数の符号を反転するか否かを切替えても良い。この場合、復号モノラルMDCT係数の符号を反転したときの誤差MDCT係数と復号モノラルMDCT係数の符号を反転しない場合の誤差MDCT係数とを算出し、両方の誤差MDCT係数のエネルギーを比較する。そして、最適バランスパラメータ判定部1005は、誤差MDCT係数のエネルギーが小さくなる方を選択し、復号モノラルMDCT係数の符号を反転するか否かを表す情報を出力する、という構成であっても良い。この場合、ステレオ符号化部801はこの情報も含めてステレオ符号化データを生成し、音響信号送信装置800はこのステレオ符号化データを含む多重化データを送信する。この場合の音響信号受信装置900は、この多重化データを受信し、分離部901においてこの情報を分離する。そしてこの情報は、ステレオ復号部902へ入力される。
次に、ステレオ復号部902の構成について、図12を用いて説明する。図12は、ステレオ復号部902の構成を示すブロック図である。ステレオ復号部902は、音響信号復号装置としての基本機能を有する。
ステレオ復号部902は、分離部1201と、モノラルMDCT係数修正部1202と、乗算部1203と、誤差MDCT係数復号部1204と、ステレオMDCT係数復号部1205とから主に構成される。以下に、各構成について、詳細に説明する。
分離部1201は、分離部901から入力したステレオ符号化データを、バランスパラメータ符号化データと、誤差MDCT係数符号化データと、判定データとに分離する。そして、分離部1201は、バランスパラメータ符号化データを乗算部1203へ出力し、誤差MDCT係数符号化データを誤差MDCT係数復号部1204へ出力するとともに、判定データをモノラルMDCT係数修正部1202へ出力する。なお、分離部1201は、本実施の形態では必ずしも必要ではなく、分離部901が、バランスパラメータ符号化データと、誤差MDCT係数符号化データと、判定データとに分離して、バランスパラメータ符号化データを乗算部1203に直接出力し、誤差MDCT係数符号化データを誤差MDCT係数復号部1204に直接出力するとともに、判定データをモノラルMDCT係数修正部1202に直接出力しても良い。
モノラルMDCT係数修正部1202は、符号化装置側で行った、復号モノラルMDCT係数に対して、Lチャネル信号とRチャネル信号との位相差を補償する変更処理と同様の処理を行う。すなわち、モノラルMDCT係数修正部1202は、分離部1201から入力した判定データに基づいて、分離部901から入力した復号モノラルMDCT係数(M’(k))に対して、Lチャネル信号とRチャネル信号との位相差を補償するように修正を加えてLチャネル変更モノラルMDCT係数(UL(k))、またはRチャネル変更モノラルMDCT係数(UR(k))を生成する。そして、モノラルMDCT係数修正部1202は、Lチャネル変更モノラルMDCT係数を生成した場合には、生成したLチャネル変更モノラルMDCT係数及び復号モノラルMDCT係数を乗算部1203へ出力する。また、モノラルMDCT係数修正部1202は、Rチャネル変更モノラルMDCT係数を生成した場合には、生成したRチャネル変更モノラルMDCT係数及び復号モノラル
MDCT係数を乗算部1203へ出力する。
乗算部1203は、モノラルMDCT係数修正部1202からLチャネル変更モノラルMDCT係数と復号モノラルMDCT係数とが入力した場合に、乗算器1203aにおいて、モノラルMDCT係数修正部1202から入力したLチャネル変更モノラルMDCT係数に、分離部1201から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WL(iopt))を乗じて乗算結果(WL(iopt)・UL(k))すなわちLチャネル予測信号を取得するとともに、乗算器1203bにおいて、モノラルMDCT係数修正部1202から入力した復号モノラルMDCT係数に、分離部1201から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WR(iopt))を乗じて乗算結果(WR(iopt)・M’(k))すなわちRチャネル予測信号を取得する。また、乗算部1203は、モノラルMDCT係数修正部1202からRチャネル変更モノラルMDCT係数と復号モノラルMDCT係数とが入力した場合に、乗算器1203aにおいて、モノラルMDCT係数修正部1202から入力した復号モノラルMDCT係数に、分離部1201から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WL(iopt))を乗じて乗算結果(WL(iopt)・M’(k))すなわちLチャネル予測信号を取得するとともに、乗算器1203bにおいて、モノラルMDCT係数修正部1202から入力したRチャネル変更モノラルMDCT係数に、分離部1201から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WR(iopt))を乗じて乗算結果(WR(iopt)・UR(k))すなわちRチャネル予測信号を取得する。そして、乗算部1203は、取得した各予測信号をステレオMDCT係数復号部1205へ出力する。
誤差MDCT係数復号部1204は、分離部1201から入力した誤差MDCT係数符号化データを用いて、Lチャネル誤差MDCT係数を復号し、復号結果(EL’(k))をステレオMDCT係数復号部1205へ出力する。また、誤差MDCT係数復号部1204は、分離部1201から入力した誤差MDCT係数符号化データを用いて、Rチャネル誤差MDCT係数を復号し、復号結果(ER’(k))をステレオMDCT係数復号部1205へ出力する。
ステレオMDCT係数復号部1205は、乗算部1203の乗算器1203aから入力したLチャネル予測信号に、誤差MDCT係数復号部1204から入力したLチャネル誤差MDCT係数の復号結果を加算してLチャネル復号MDCT係数(L’(k))を求めて、求めたLチャネル復号MDCT係数を出力する。また、ステレオMDCT係数復号部1205は、乗算部1203の乗算器1203bから入力したRチャネル予測信号に、誤差MDCT係数復号部1204から入力したRチャネル誤差MDCT係数の復号結果を加算してRチャネル復号MDCT係数(R’(k))を求めて、求めたRチャネル復号MDCT係数を出力する。
以上で、ステレオ復号部902の構成の説明を終了する。
このように、本実施の形態によれば、上記の実施の形態1の効果に加えて、修正後のモノラルMDCT係数を用いてLチャネル信号及びRチャネル信号を予測する際に、位相差の影響を大きく受けるエネルギーの小さいチャネルを選択して、復号モノラルMDCT係数を変更することにより、Lチャネル信号及びRチャネル信号の予測性能の向上を維持したままで演算量及びメモリー量の増加を抑えることができる。
なお、本実施の形態において、予めLチャネルMDCT係数及びRチャネルMDCT係数を複数のサブバンドに分割し、サブバンド毎にLチャネルとRチャネルとのエネルギー
を比較し、サブバンド毎にエネルギーの小さいチャネルを選択しても良い。ここで、LチャネルとRチャネルとのエネルギーの差がサブバンド毎に大きく異なる特性の信号も存在する。そのような信号に対しては、符号反転されたモノラルMDCT係数を用いるチャネルをサブバンド毎に選択することにより、サブバンド毎のLチャネルとRチャネルとのエネルギーに応じた予測を行うことができ、予測性能を更に向上させることができる。
また、予めモノラルMDCT係数を複数のサブバンドに分割し、モノラルMDCT係数のエネルギーが所定値よりも大きいサブバンドを所定の数だけ選択し、選択したサブバンドに対して、LチャネルとRチャネルとのエネルギーを比較し、サブバンド毎にエネルギーの小さいチャネルを選択しても良い。この場合、エネルギーの大きいサブバンド、即ち位相誤差による影響の大きいサブバンドに対して本実施の形態を適用するので、予測性能は向上させることができ、かつ選択情報は所定の数に限定されるため多重化データのデータ量の増大を抑制することができる。
(実施の形態4)
図13は、本発明の実施の形態4に係るステレオ符号化部1300の構成を示すブロック図である。ステレオ符号化部1300は、音響信号符号化装置としての基本機能を有する。なお、本実施の形態において、音響信号送信装置の構成は、ステレオ符号化部1300以外は図3と同一構成であるので、その説明を省略する。また、以下の説明において、ステレオ符号化部1300以外は、図3の参照符号を用いて説明する。
ステレオ符号化部1300は、乗算器1301と、乗算器1302と、最適バランスパラメータ判定部1303と、変形誤差MDCT係数算出部1304と、誤差MDCT係数量子化部1305と、多重化部1306とから主に構成される。以下に、各構成について、詳細に説明する。
乗算器1301は、モノラル符号化部102から入力した復号モノラルMDCT係数(M’(k))に、第i候補のバランスパラメータ(WL(i))を乗じた乗算結果(M’(k)・WL(i))すなわちLチャネル予測信号の候補を最適バランスパラメータ判定部1303へ出力する。
乗算器1302は、モノラル符号化部102から入力した復号モノラルMDCT係数(M’(k))に、第i候補のバランスパラメータ(WR(i))を乗じた乗算結果(M’(k)・WR(i))すなわちRチャネル予測信号の候補を最適バランスパラメータ判定部1303へ出力する。
最適バランスパラメータ判定部1303は、周波数領域変換部103から入力したLチャネルMDCT係数(L(k))と、Lチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部1303は、周波数領域変換部104から入力したRチャネルMDCT係数(R(k))と、Rチャネル予測信号の候補との誤差を求める。また、最適バランスパラメータ判定部1303は、両者の誤差の和が最も小さくなるときのバランスパラメータ(WL(iopt)、WR(iopt))を決定する。このときのLチャネル及びRチャネルの予測信号の候補が、それぞれLチャネル及びRチャネルの予測信号となる。そして、最適バランスパラメータ判定部1303は、決定したバランスパラメータを特定するインデックスを符号化してバランスパラメータ符号化データとして変形誤差MDCT係数算出部1304及び多重化部1306へ出力する。
変形誤差MDCT係数算出部1304は、最適バランスパラメータ判定部1303から入力したバランスパラメータ符号化データと、周波数領域変換部103から入力したLチャネルMDCT係数と、周波数領域変換部104から入力したRチャネルMDCT係数と
、モノラル符号化部102から入力した復号モノラルMDCT係数とを用いて、Lチャネル誤差MDCT係数(EL(k))及びRチャネル誤差MDCT係数(ER(k))を求める。そして、変形誤差MDCT係数算出部1304は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部1305へ出力する。なお、変形誤差MDCT係数算出部1304の構成の詳細については後述する。
誤差MDCT係数量子化部1305は、変形誤差MDCT係数算出部1304から入力したLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を量子化して、誤差MDCT係数符号化データを求める。そして、誤差MDCT係数量子化部1305は、求めた誤差MDCT係数符号化データを多重化部1306へ出力する。
多重化部1306は、最適バランスパラメータ判定部1303から入力したバランスパラメータ符号化データと、誤差MDCT係数量子化部1305から入力した誤差MDCT係数符号化データとを多重化してステレオ符号化データとして多重化部107へ出力する。なお、多重化部1306は、本実施の形態では必ずしも必要ではなく、最適バランスパラメータ判定部1303は、バランスパラメータ符号化データを多重化部107に直接出力するとともに、誤差MDCT係数量子化部1305は、誤差MDCT係数符号化データを多重化部107に直接出力しても良い。
以上で、ステレオ符号化部1300の構成の説明を終了する。
次に、変形誤差MDCT係数算出部1304の構成について、図14を用いて説明する。図14は、変形誤差MDCT係数算出部1304の構成を示すブロック図である。
変形誤差MDCT係数算出部1304は、判定部1401と、切替部1402と、符号反転部1403と、符号反転部1404と、切替部1405と、誤差MDCT係数算出部1406とから主に構成される。以下に、各構成について、詳細に説明する。
判定部1401は、最適バランスパラメータ判定部1303から入力したバランスパラメータ符号化データを用いてバランスパラメータを復号する。そして、判定部1401は、LチャネルのバランスパラメータとRチャネルのバランスパラメータとを比較して、バランスパラメータの小さい方のLチャネルまたはRチャネルを示す判定情報を切替部1402及び切替部1405へ出力する。
切替部1402は、判定部1401から入力した判定情報に基づいて信号線を切り替える。具体的には、切替部1402は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1402aと切替端子1402bとを接続する。これにより、切替部1402は、モノラル符号化部102から入力した復号モノラルMDCT係数(M’(k))を符号反転部1403及び切替部1405へ出力する。また、切替部1402は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1402aと切替端子1402cとを接続する。これにより、切替部1402は、モノラル符号化部102から入力した復号モノラルMDCT係数を符号反転部1404及び切替部1405へ出力する。
符号反転部1403は、切替部1402から入力した復号モノラルMDCT係数の符号を反転して切替部1405へ出力する。即ち、符号反転部1403は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さい場合に、復号モノラルMDCT係数の符号を反転して、Rチャネル変更モノラルMDCT係数(UR(k))として切替部1405へ出力する。
符号反転部1404は、切替部1402から入力した復号モノラルMDCT係数の符号を反転して切替部1405へ出力する。即ち、符号反転部1404は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さい場合に、復号モノラルMDCT係数の符号を反転して、Lチャネル変更モノラルMDCT係数(UL(k))として切替部1405へ出力する。
切替部1405は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1405aと切替端子1405eとを接続するとともに、切替端子1405bと切替端子1405fとを接続する。これにより、切替部1405は、切替部1402から入力した復号モノラルMDCT係数及び符号反転部1403から入力したRチャネル変更モノラルMDCT係数を誤差MDCT係数算出部1406へ出力する。また、切替部1405は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1405cと切替端子1405eとを接続するとともに、切替端子1405dと切替端子1405fとを接続する。これにより、切替部1405は、切替部1402から入力した復号モノラルMDCT係数及び符号反転部1404から入力したLチャネル変更モノラルMDCT係数を誤差MDCT係数算出部1406へ出力する。
誤算MDCT係数算出部1406は、切替部1405から復号モノラルMDCT係数及びRチャネル変更モノラルMDCT係数を入力した場合には、以下の処理を行う。即ち、誤差MDCT係数算出部1406は、切替部1405から入力した復号モノラルMDCT係数を、周波数領域変換部103から入力したLチャネルMDCT係数(L(k))から減じて、Lチャネル誤差MDCT係数(EL(k))を求める。また、誤差MDCT係数算出部1406は、切替部1405から入力したRチャネル変更モノラルMDCT係数を、周波数領域変換部104から入力したRチャネルMDCT係数(R(k))から減じて、Rチャネル誤差MDCT係数(ER(k))を求める。そして、誤差MDCT係数算出部1406は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部1305へ出力する。
一方、誤差MDCT係数算出部1406は、切替部1405から復号モノラルMDCT係数及びLチャネル変更モノラルMDCT係数を入力した場合には、以下の処理を行う。即ち、誤差MDCT係数算出部1406は、切替部1405から入力した復号モノラルMDCT係数を、周波数領域変換部104から入力したRチャネルMDCT係数から減じて、Rチャネル誤差MDCT係数(ER(k))を求める。また、誤差MDCT係数算出部1406は、切替部1405から入力したLチャネル変更モノラルMDCT係数を、周波数領域変換部103から入力したLチャネルMDCT係数から減じて、Lチャネル誤差MDCT係数(EL(k))を求める。そして、誤差MDCT係数算出部1406は、求めたLチャネル誤差MDCT係数及びRチャネル誤差MDCT係数を誤差MDCT係数量子化部1305へ出力する。
以上で、変形誤差MDCT係数算出部1304の構成の説明を終了する。
なお、変形誤差MDCT係数算出部1304において、復号モノラルMDCT係数の符号を反転するか否かを切替えても良い。この場合、復号モノラルMDCT係数の符号を反転したときの誤差MDCT係数と復号モノラルMDCT係数の符号を反転しない場合の誤差MDCT係数とを算出し、両方の誤差MDCT係数のエネルギーを比較する。そして、変形誤差MDCT係数算出部1304は、誤差MDCT係数のエネルギーが小さくなる方を選択し、復号モノラルMDCT係数の符号を反転するか否かを表す情報を出力する、という構成であっても良い。この場合、ステレオ符号化部1300はこの情報も含めてステ
レオ符号化データを生成し、音響信号送信装置はこのステレオ符号化データを含む多重化データを送信する。この場合の音響信号受信装置は、この多重化データを受信し、分離部においてこの情報を分離する。そしてこの情報は、ステレオ復号部へ入力される。
次に、本実施の形態に係るステレオ復号部1500の構成について、図15を用いて説明する。図15は、ステレオ復号部1500の構成を示すブロック図である。ステレオ復号部1500は、音響信号復号装置としての基本機能を有する。なお、本実施の形態において、音響信号受信装置の構成は、ステレオ復号部1500以外は図4と同一構成であるので、その説明を省略する。また、以下の説明において、ステレオ復号部1500以外は、図4の参照符号を用いて説明する。
ステレオ復号部1500は、分離部1501と、乗算部1502と、変形MDCT係数算出部1503と、誤差MDCT係数復号部1504と、ステレオMDCT係数復号部1505とから主に構成される。以下に、各構成について、詳細に説明する。
分離部1501は、分離部201から入力したステレオ符号化データを、バランスパラメータ符号化データおよび誤差MDCT係数符号化データに分離する。そして、分離部1501は、バランスパラメータ符号化データを乗算部1502及び変形MDCT係数算出部1503へ出力するとともに、誤差MDCT係数符号化データを誤差MDCT係数復号部1504へ出力する。なお、分離部1501は、本実施の形態では必ずしも必要ではなく、分離部201が、バランスパラメータ符号化データと誤差MDCT係数符号化データとに分離して、バランスパラメータ符号化データを乗算部1502及び変形MDCT係数算出部1503に直接出力するとともに、誤差MDCT係数符号化データを誤差MDCT係数復号部1504に直接出力しても良い。
乗算部1502は、乗算器1502aにおいて、モノラル復号部202から入力した復号モノラルMDCT係数(M’(k))に、分離部1501から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WL(iopt))を乗じて乗算結果(WL(iopt)・M’(k))すなわちLチャネル予測信号を取得する。また、乗算部1502は、乗算器1502bにおいて、モノラル復号部202から入力した復号モノラルMDCT係数に、分離部1501から入力したバランスパラメータ符号化データによって特定される最適バランスパラメータ(WR(iopt))を乗じて乗算結果(WR(iopt)・M’(k))すなわちRチャネル予測信号を取得する。そして、乗算部1502は、取得した各予測信号を変形MDCT係数算出部1503へ出力する。
変形MDCT係数算出部1503は、分離部1501から入力したバランスパラメータ符号化データ、及び乗算部1502から入力した予測信号を用いて、どちらか一方のチャネルの符号を反転した予測信号をステレオMDCT係数復号部1505へ出力する。なお、変形MDCT係数算出部1503の構成の詳細については後述する。
誤差MDCT係数復号部1504は、分離部1501から入力した誤差MDCT係数符号化データを用いて、Lチャネル誤差MDCT係数を復号し、復号結果(EL’(k))をステレオMDCT係数復号部1505へ出力する。また、誤差MDCT係数復号部1504は、分離部1501から入力した誤差MDCT係数符号化データを用いて、Rチャネル誤差MDCT係数を復号し、復号結果(ER’(k))をステレオMDCT係数復号部1505へ出力する。
ステレオMDCT係数復号部1505は、変形MDCT係数算出部1503から入力した予測信号に、誤差MDCT係数復号部1504から入力したLチャネル誤差MDCT係
数を加算してLチャネル復号MDCT係数(L’(k))を求めて、求めたLチャネル復号MDCT係数を出力する。また、ステレオMDCT係数復号部1505は、変形MDCT係数算出部1503から入力した予測信号に、誤差MDCT係数復号部1504から入力したRチャネル誤差MDCT係数を加算してRチャネル復号MDCT係数(R’(k))を求めて、求めたRチャネル復号MDCT係数を出力する。
以上で、ステレオ復号部1500の構成の説明を終了する。
次に、変形MDCT係数算出部1503の構成について、図16を用いて説明する。図16は、変形MDCT係数算出部1503の構成を示すブロック図である。
変形MDCT係数算出部1503は、判定部1601と、切替部1602と、符号反転部1603と、符号反転部1604と、切替部1605とから主に構成される。
判定部1601は、分離部1501から入力したバランスパラメータ符号化データを用いて最適バランスパラメータを復号する。そして、判定部1601は、LチャネルのバランスパラメータとRチャネルのバランスパラメータとを比較して、バランスパラメータの小さい方のLチャネルまたはRチャネルを示す判定情報を切替部1602及び切替部1605へ出力する。
切替部1602は、判定部1601から入力した判定情報に基づいて信号線を切り替える。具体的には、切替部1602は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1602aと切替端子1602cとを接続するとともに、切替端子1602bと切替端子1602dとを接続する。これにより、切替部1602は、乗算部1502の乗算器1502aから入力した予測信号(WL(iopt)・M’(k))を切替部1605へ出力するとともに、乗算部1502の乗算器1502bから入力した予測信号(WR(iopt)・M’(k))を符号反転部1603へ出力する。また、切替部1602は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さいという判定情報を入力した場合には、切替端子1602aと切替端子1602eとを接続するとともに、切替端子1602bと切替端子1602fとを接続する。これにより、切替部1602は、乗算部1502の乗算器1502aから入力した予測信号を符号反転部1604へ出力するとともに、乗算部1502の乗算器1502bから入力した予測信号を切替部1605へ出力する。
符号反転部1603は、切替部1602から入力した予測信号の符号を反転することにより、Rチャネル変更モノラルMDCT係数と最適バランスパラメータとの乗算結果(WR(iopt)・UR(k))すなわちRチャネル予測信号として切替部1605へ出力する。
符号反転部1604は、切替部1602から入力した乗算結果の符号を反転することにより、Lチャネル変更モノラルMDCT係数と最適バランスパラメータとの乗算結果(WL(iopt)・UL(k))すなわちLチャネル予測信号として切替部1605へ出力する。
切替部1605は、RチャネルのバランスパラメータがLチャネルのバランスパラメータより小さいという判定情報を判定部1601から入力した場合には、切替端子1605aと切替端子1605eとを接続するとともに、切替端子1605bと切替端子1605fとを接続する。これにより、切替部1605は、切替部1602から入力した復号モノラルMDCT係数と最適バランスパラメータとの乗算結果、及び符号反転部1603から
入力したRチャネル変更モノラルMDCT係数と最適バランスパラメータとの乗算結果をそれぞれLチャネル及びRチャネルの予測信号としてステレオMDCT係数復号部1505へ出力する。また、切替部1605は、LチャネルのバランスパラメータがRチャネルのバランスパラメータより小さいという判定情報を判定部1601から入力した場合には、切替端子1605cと切替端子1605eとを接続するとともに、切替端子1605dと切替端子1605fとを接続する。これにより、切替部1605は、切替部1602から入力した復号モノラルMDCT係数と最適バランスパラメータとの乗算結果、及び符号反転部1604から入力したLチャネル変更モノラルMDCT係数と最適バランスパラメータとの乗算結果をそれぞれRチャネル及びLチャネルの予測信号としてステレオMDCT係数復号部1505へ出力する。
以上で、変形MDCT係数算出部1503の構成の説明を終了する。
このように、本実施の形態によれば、上記の実施の形態1の効果に加えて、バランスパラメータを利用してエネルギーの大きいと推定されるチャネル、即ち位相誤差による影響が大きいと推定されるチャネルを選択することにより、判定データを送信する必要がないので、付加情報を増加させることなしに、予測性能を向上させることができる。
なお、上記の各実施の形態において、ダウンミックスの際に、Lチャネル信号とRチャネル信号との比が1に近似するようにスケーリングし、スケーリング係数の情報も多重化データに含めて音響信号受信装置に伝送する構成でも良い。また、上記の各実施の形態において、音響信号送信装置が入力する入力信号、または音響信号受信装置が出力する出力信号は、音声信号とオーディオ信号との何れも適用することが可能であり、両方の信号が混在していても適用することができる。
また、上記の各実施の形態においては、Lチャネルを左チャネル、Rチャネルを右チャネルとして説明したが、本発明はこれに限定されない。すなわち、LチャネルとRチャネルとを任意の2つのチャネルとしても本発明は実施可能であり、同様の効果を有する。
また、上記の各実施の形態においては、周波数領域変換方法としてMDCTを用いて説明したが、本発明はこれに限定されない。すなわち、他の周波数領域変換方法を用いても本発明は実施可能であり、特に、位相の違いに敏感な周波数領域変換方法、例えば離散コサイン変換(DCT)や離散サイン変換(DST)等を用いる場合には同様の効果を有する。
また、上記の各実施の形態では、音響信号送信装置100、700、800から出力された多重化データを音響信号受信装置200、900で受信するとしたが、本発明はこれに限るものではない。すなわち、音響信号受信装置200、900は、音響信号送信化装置100、700、800の構成において生成された多重化データでなくても、復号化に必要な符号化データを有する多重化データを生成可能な音響信号送信装置により生成された多重化データであれば、復号可能である。
また、上記の各実施の形態における音響信号符号化装置或いは音響信号復号装置等を、基地局装置あるいは端末装置に適用することも可能である。
また、上記の各本実施の形態においては、ハードウェアで構成する場合を例に説明したが、本発明はこれに限らず、ソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいてコンピュータ等の情報処理手段によって実行させることにより、本発明に係る音響信号符号化装置或いは音響信号復号装置等と同様の機能を実現することができる。
また、上記の各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
2009年2月26日出願の特願2009−44806の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
本発明にかかるチャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法は、特にモノラル信号を用いてLチャネル信号とRチャネル信号を生成するのに好適である。