JPWO2009157213A1 - 音響信号復号装置および音響信号復号装置におけるバランス調整方法 - Google Patents

Abstract

復号信号の定位の揺らぎを抑えてステレオ感を保つこと。選択部（２２０）は、利得係数復号部（２１０）からバランスパラメータの入力がある場合はそのバランスパラメータを選択し、利得係数復号部（２１０）からバランスパラメータの入力がない場合は利得係数算出部（２２３）から入力されるバランスパラメータを選択し、選択したバランスパラメータを乗算部（２２１）へ出力し、乗算部（２２１）は、選択部（２２０）から入力された利得係数をモノラル復号部（２０２）より入力された復号モノラル信号に乗算してバランス調整処理を行う。

Description

本発明は、音響信号復号装置および音響信号復号装置におけるバランス調整方法に関する。

ステレオ音響信号を低ビットレートで符号化する方式として、インテンシティステレオ方式が知られている。インテンシティステレオ方式では、モノラル信号にスケーリング係数を乗じてＬチャネル信号（左チャネル信号）とＲチャネル信号（右チャネル信号）とを生成する手法を採る。このような手法は振幅パニング（amplitude panning）とも呼ばれる。

振幅パニングの最も基本的な手法は、時間領域におけるモノラル信号に振幅パニング用の利得係数（パニング利得係数）を乗じてＬチャネル信号およびＲチャネル信号を求めるものである（例えば非特許文献１参照）。また、別な手法として、周波数領域において個々の周波数成分ごと（または周波数グループごと）にモノラル信号にパニング利得係数を乗じてＬチャネル信号およびＲチャネル信号を求めるものもある（例えば非特許文献２および特許文献３参照）。

パニング利得係数をパラメトリックステレオの符号化パラメータとして利用すると、ステレオ信号のスケーラブル符号化（モノラル−ステレオスケーラブル符号化）を実現することができる（例えば特許文献１および特許文献２参照）。パニング利得係数は、特許文献１においてはバランスパラメータとして、特許文献２においてはＩＬＤ（レベル差）として、それぞれ説明されている。

また、パニングをモノラル−ステレオ予測に用い、パニングによって得られるステレオ信号と入力ステレオ信号との誤差を符号化する、モノラル−ステレオスケーラブル符号化も提案されている（例えば特許文献３）。

特表２００４−５３５１４５号公報 特表２００５−５３３２７１号公報 国際公開第２００９／０３８５１２号公報

V.Pulkki and M.Karjalainen，"Localization of amplitude-panned virtual sources I: Stereophonic panning"，Journal of the Audio Engineering Society，Vol.49，No.9，2001年9月，pp.739-752 B.Cheng，C.Ritz and I.Burnett，"Principles and analysis of the squeezing approach to low bit rate spatial audio coding"，proc.IEEE ICASSP2007，pp.I-13-I-16，2007年4月

しかしながら、モノラル−ステレオスケーラブル符号化において、ステレオ符号化データが伝送路上で失われてしまい、復号装置側に受信されないことがある。また、伝送路上においてステレオ符号化データに誤りが発生し、復号装置側においてそのステレオ符号化データが廃棄されることがある。このような場合、復号装置では、ステレオ符号化データに含まれるバランスパラメータ（パニング利得係数）を利用できないため、ステレオとモノラルとが切り替わることが発生し、復号される音響信号の定位が揺らいでしまう。その結果、ステレオ音響信号の品質が劣化してしまう。

本発明の目的は、復号信号の定位の揺らぎを抑えてステレオ感を保つことができる音響信号復号装置および音響信号復号装置におけるバランス調整（振幅パニング）方法を提供することである。

本発明の音響信号復号装置は、ステレオ符号化データから第１バランスパラメータを復号する復号手段と、過去に得られたステレオ信号の第１チャネル信号および第２チャネル信号を用いて第２バランスパラメータを算出する算出手段と、前記第１バランスパラメータが利用不可能な場合に、前記第２バランスパラメータをバランス調整パラメータとして用いてモノラル信号に対するバランス調整処理を行うバランス調整手段と、を具備する構成を採る。

本発明のバランス調整方法は、ステレオ符号化データから第１バランスパラメータを復号する復号ステップと、過去に得られたステレオ信号の第１チャネル信号および第２チャネル信号を用いて第２バランスパラメータを算出する算出ステップと、前記第１バランスパラメータが利用不可能な場合に、前記第２バランスパラメータをバランス調整パラメータとして用いてモノラル信号に対するバランス調整処理を行うバランス調整ステップと、を具備するようにした。

本発明によれば、復号信号の定位の揺らぎを抑えてステレオ感を保つことができる。

本発明の実施の形態１に係る音響信号符号化装置および音響信号復号装置の構成を示すブロック図 本発明の実施の形態１に係るステレオ復号部の構成の一例を示すブロック図 本発明の実施の形態１に係るバランス調整部の構成の一例を示すブロック図 本発明の実施の形態１に係る利得係数算出部の構成の一例を示すブロック図 本発明の実施の形態１に係るステレオ復号部の構成の一例を示すブロック図 本発明の実施の形態１に係るバランス調整部の構成の一例を示すブロック図 本発明の実施の形態１に係る利得係数算出部の構成の一例を示すブロック図 本発明の実施の形態２に係るバランス調整部の構成の一例を示すブロック図 本発明の実施の形態２に係る利得係数算出部の構成の一例を示すブロック図 本発明の実施の形態２に係るバランス調整部の構成の一例を示すブロック図 本発明の実施の形態２に係る利得係数算出部の構成の一例を示すブロック図 本発明の実施の形態２に係る利得係数算出部の構成の一例を示すブロック図

以下、本発明の実施の形態について、図面を用いて説明する。なお、本願におけるバランス調整処理とは、モノラル信号にバランスパラメータを乗じてステレオ信号に変換する処理のことを意味し、振幅パニング処理に相当する。また、本願においてバランスパラメータは、モノラル信号をステレオ信号に変換する際にモノラル信号に乗じる利得係数として定義され、振幅パニングにおけるパニング利得係数（gain factor）に相当する。

（実施の形態１）
図１に、実施の形態１に係る音響信号符号化装置１００および音響信号復号装置２００の各構成を示す。

図１に示すように、音響信号符号化装置１００は、Ａ／Ｄ変換部１０１、モノラル符号化部１０２、ステレオ符号化部１０３および多重化部１０４を具備する。

Ａ／Ｄ変換部１０１は、アナログステレオ信号（Ｌチャネル信号：Ｌ，Ｒチャネル信号：Ｒ）を入力とし、このアナログステレオ信号をデジタルステレオ信号に変換してモノラル符号化部１０２およびステレオ符号化部１０３へ出力する。

モノラル符号化部１０２は、デジタルステレオ信号にダウンミックス処理を行ってモノラル信号に変換し、そのモノラル信号を符号化し、符号化結果（モノラル符号化データ）を多重化部１０４へ出力する。また、モノラル符号化部１０２は、符号化処理によって得られた情報（モノラル符号化情報）をステレオ符号化部１０３へ出力する。

ステレオ符号化部１０３は、デジタルステレオ信号をモノラル符号化情報を用いてパラメトリックに符号化し、バランスパラメータを含む符号化結果（ステレオ符号化データ）を多重化部１０４へ出力する。

多重化部１０４は、モノラル符号化データとステレオ符号化データとを多重化し、多重化結果（多重化データ）を音響信号復号装置２００の多重化分離部２０１へ送出する。

なお、多重化部１０４と多重化分離部２０１との間には電話回線、パケット網などの伝送路（図示せず）が存在し、多重化部１０４から出力される多重化データは必要に応じてパケット化などの処理が行われた後に伝送路へ送出される。

一方、音響信号復号装置２００は、多重化分離部２０１、モノラル復号部２０２、ステレオ復号部２０３およびＤ／Ａ変換部２０４を具備する。

多重化分離部２０１は、音響信号符号化装置１００から送出された多重化データを受信し、その多重化データをモノラル符号化データとステレオ符号化データとに分離し、モノラル符号化データをモノラル復号部２０２へ出力し、ステレオ符号化データをステレオ復号部２０３へ出力する。

モノラル復号部２０２は、モノラル符号化データをモノラル信号に復号し、その復号モノラル信号をステレオ復号部２０３へ出力する。また、モノラル復号部２０２は、この復号処理によって得られた情報（モノラル復号情報）をステレオ復号部２０３へ出力する。

なお、モノラル復号部２０２は、復号されたモノラル信号を、アップミックス処理されたステレオ信号としてステレオ復号部２０３へ出力してもよい。モノラル復号部２０２でアップミックス処理が行われない場合は、アップミックス処理に必要な情報がモノラル復号部２０２からステレオ復号部２０３へ出力され、ステレオ復号部２０３において、復号されたモノラル信号のアップミックス処理を行ってもよい。

ここで、アップミックス処理には特別な情報が必要ない場合が一般的である。しかし、Ｌチャネル−Ｒチャネル間の位相を合わせるダウンミックス処理が行われる場合には、位相差情報がアップミックス処理に必要な情報として考えられる。また、Ｌチャネル−Ｒチャネル間の振幅レベルを合わせるダウンミックス処理が行われる場合には、振幅レベルを合わせるためのスケーリング係数などがアップミックス処理に必要な情報として考えられる。

ステレオ復号部２０３は、ステレオ符号化データとモノラル復号情報とを用いて、復号モノラル信号をデジタルステレオ信号に復号し、そのデジタルステレオ信号をＤ／Ａ変換部２０４へ出力する。

Ｄ／Ａ変換部２０４は、デジタルステレオ信号をアナログステレオ信号に変換して、そのアナログステレオ信号を復号ステレオ信号（Ｌチャネル復号信号：Ｌ＾信号，Ｒチャネル復号信号：Ｒ＾信号）として出力する。

次いで図２に、音響信号復号装置２００のステレオ復号部２０３の構成の一例を示す。本実施の形態では、一例として、バランス調整処理により、ステレオ信号をパラメトリックに表現する構成を説明する。

図２に示すように、ステレオ復号部２０３は、利得係数復号部２１０およびバランス調整部２１１を具備する。

利得係数復号部２１０は、多重化分離部２０１から入力されたステレオ符号化データからバランスパラメータを復号し、このバランスパラメータをバランス調整部２１１へ出力する。図２には、Ｌチャネル用のバランスパラメータとＲチャネル用のバランスパラメータの各々が利得係数復号部２１０から出力される例が示されている。

バランス調整部２１１は、これらのバランスパラメータを用いて、モノラル信号に対するバランス調整処理を行う。すなわち、バランス調整部２１１は、これらのバランスパラメータを、モノラル復号部２０２より入力された復号モノラル信号に乗じて、Ｌチャネル復号信号とＲチャネル復号信号とを生成する。ここで、復号モノラル信号は周波数領域の信号（例えば、ＦＦＴ（Fast Fourier Transform）係数、ＭＤＣＴ（Modified Discrete Cosine Transform）係数等）であるとする。よって、これらのバランスパラメータは周波数毎に復号モノラル信号に乗算される。

通常の音響信号復号装置では、復号モノラル信号に対する処理はサブバンド毎に行われ、各サブバンドの幅は通常、周波数が高くなるに従って広くなるように設定される。本実施の形態においても、１つのサブバンドに対して１つのバランスパラメータが復号され、各サブバンド内の各周波数成分に対して同一のバランスパラメータが用いられる。なお、復号モノラル信号を時間領域の信号として扱うことも可能である。

次いで図３に、バランス調整部２１１の構成の一例を示す。

図３に示すように、バランス調整部２１１は、選択部２２０、乗算部２２１、周波数−時間変換部２２２および利得係数算出部２２３を具備する。

利得係数復号部２１０より入力されるバランスパラメータは、選択部２２０を介して乗算部２２１へ入力される。

選択部２２０は、利得係数復号部２１０からバランスパラメータの入力がある場合（ステレオ符号化データに含まれるバランスパラメータの利用が可能な場合）はそのバランスパラメータを選択し、利得係数復号部２１０からバランスパラメータの入力がない場合（ステレオ符号化データに含まれるバランスパラメータの利用が不可能な場合）は利得係数算出部２２３から入力されるバランスパラメータを選択し、選択したバランスパラメータを乗算部２２１へ出力する。選択部２２０は、例えば図３に示すように２つの切替スイッチにより構成される。一方の切替スイッチはＬチャネル用、他方の切替スイッチはＲチャネル用であり、これらの切替スイッチが連動して切り替わることにより上記選択が行われる。

ここで、利得係数復号部２１０から選択部２２０へのバランスパラメータの入力がない場合としては、ステレオ符号化データが伝送路上で失われて音響信号復号装置２００に受信されなかった場合、または、音響信号復号装置２００に受信されたステレオ符号化データに誤りが検出されて廃棄された場合等がある。つまり、利得係数復号部２１０からバランスパラメータの入力がない場合とは、ステレオ符号化データに含まれるバランスパラメータを利用できない場合に相当する。そこで、ステレオ符号化データに含まれるバランスパラメータの利用可否を示す制御信号が選択部２２０に入力され、この制御信号に基づき選択部２２０の切替スイッチの接続状態が切り替わる。

なお、例えばビットレートを下げるために、ステレオ符号化データに含まれるバランスパラメータを使用しない場合に、選択部２２０が利得係数算出部２２３から入力されるバランスパラメータを選択してもよい。

乗算部２２１は、選択部２２０から入力されたＬチャネル用のバランスパラメータとＲチャネル用のバランスパラメータのそれぞれを、モノラル復号部２０２より入力された復号モノラル信号（周波数領域パラメータであるモノラル信号）に乗算し、Ｌチャネル用およびＲチャネル用それぞれの乗算結果（周波数領域パラメータであるステレオ信号）を周波数−時間変換部２２２および利得係数算出部２２３へ出力する。つまり、乗算部２２１は、モノラル信号に対するバランス調整処理を行う。

周波数−時間変換部２２２は、乗算部２２１でのＬチャネルおよびＲチャネルそれぞれにおける乗算結果を時間信号に変換して、ＬチャネルおよびＲチャネルそれぞれのデジタルステレオ信号としてＤ／Ａ変換部２０４へ出力する。

利得係数算出部２２３は、乗算部２２１でのＬチャネルおよびＲチャネルそれぞれにおける乗算結果からＬチャネルおよびＲチャネルそれぞれのバランスパラメータを算出し、それらのバランスパラメータを選択部２２０へ出力する。

利得係数算出部２２３でのバランスパラメータの具体的算出方法の一例を以下に示す。

ｉ番目の周波数成分における、Ｌチャネル用のバランスパラメータをＧＬ［ｉ］、Ｒチャネル用のバランスパラメータをＧＲ［ｉ］、Ｌチャネルの復号ステレオ信号をＬ［ｉ］、Ｒチャネルの復号ステレオ信号をＲ［ｉ］とする。利得係数算出部２２３は、式（１），式（２）に従ってＧＬ［ｉ］およびＧＲ［ｉ］を算出する。
ＧＬ［ｉ］＝｜Ｌ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜） …式（１）
ＧＲ［ｉ］＝｜Ｒ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜） …式（２）

なお、式（１）および式（２）において、絶対値をとらないことも可能である。また、分母の計算において、ＬとＲを加算してから絶対値を求めてもよい。ただし、ＬとＲを加算してから絶対値を求める場合、ＬとＲが異符号だとバランスパラメータが大きくなりすぎてしまうことがある。よって、この場合には、バランスパラメータの大きさに対する閾値を設けてバランスパラメータをクリッピングするなどの対策が必要となる。

また、乗算部２２１の出力信号と、Ｌチャネル信号およびＲチャネル信号それぞれとの誤差を量子化したものが復号される場合には、その復号された量子化誤差を加算した後のＬチャネル信号およびＲチャネル信号を用いて式（１）および式（２）による利得係数算出を行うのがよい。これにより、バランス調整処理のみによる符号化性能（入力信号を忠実に表現する能力）が不十分な場合でも適切なバランスパラメータを求めることができる。また、上記誤差を量子化したものを復号するためには、図３におけるバランス調整部２１１は、乗算部２２１と周波数−時間変換部２２２との間に、バランス調整処理後の復号Ｌチャネル信号（すなわち、バランス調整を用いて量子化されたステレオ入力のＬチャネル信号）とステレオ入力信号のＬチャネル信号との誤差を量子化したもの、および、バランス調整処理後の復号Ｒチャネル信号（すなわち、バランス調整を用いて量子化されたステレオ入力のＲチャネル信号）とステレオ入力信号のＲチャネル信号との誤差を量子化したものをそれぞれ復号する量子化誤差復号部が挿入された構成となる（図示せず）。量子化誤差復号部は、乗算部２２１からＬチャネルおよびＲチャネルそれぞれの復号ステレオ信号を入力するとともに、多重化分離部２０１から量子化誤差符号化データを入力して復号を行い、得られる量子化誤差復号信号をＬチャネルおよびＲチャネルそれぞれの復号ステレオ信号に加算して、それらの加算結果を最終的な復号ステレオ信号として時間−周波数変換部２２２へ出力する。

次いで図４に、利得係数算出部２２３の構成の一例を示す。

図４に示すように、利得係数算出部２２３は、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、Ｒチャネル平滑化処理部２３３、Ｌチャネル利得係数算出部２３４、Ｒチャネル利得係数算出部２３５、加算部２３６およびスケーリング部２３７を具備する。

Ｌチャネル絶対値算出部２３０は、乗算部２２１より入力されるＬチャネル信号の周波数領域パラメータの各周波数成分の絶対値を求めてＬチャネル平滑化処理部２３２へ出力する。

Ｒチャネル絶対値算出部２３１は、乗算部２２１より入力されるＲチャネル信号の周波数領域パラメータの各周波数成分の絶対値を求めてＲチャネル平滑化処理部２３３へ出力する。

Ｌチャネル平滑化処理部２３２は、Ｌチャネル信号の周波数領域パラメータの各周波数成分の絶対値に対し、周波数軸での平滑化処理を行い、Ｌチャネル信号を周波数軸上で平滑化した周波数領域パラメータをＬチャネル利得係数算出部２３４および加算部２３６に出力する。

ここで、周波数軸での平滑化処理とは、周波数領域パラメータに対して周波数軸上でローパスフィルタ処理を施すことに相当する。

具体的には式（３）に示すように各周波数成分に対して前後１成分を加算して平均値を求める、すなわち３点の移動平均を計算する、などの処理を行う。式（３）において、ＬＦ（ｆ）はＬチャネル信号の周波数領域パラメータ（絶対値をとった後のパラメータ）、ＬＦｓ（ｆ）はＬチャネル信号の平滑化処理後の周波数領域パラメータであり、ｆは周波数番号（整数）である。
ＬＦｓ（ｆ）＝（ＬＦ（ｆ−１）＋ＬＦ（ｆ）＋ＬＦ（ｆ＋１））／３ …式（３）

なお、式（４）に示すように、自己回帰型のローパスフィルタ処理を用いて周波数軸での平滑化処理を行うことも可能である。αは平滑化係数である。
ＬＦｓ（ｆ）＝ＬＦ（ｆ）＋α×ＬＦｓ（ｆ−１） ０＜α＜１ …式（４）

Ｒチャネル平滑化処理部２３３は、Ｒチャネル信号の周波数領域パラメータの各周波数成分の絶対値に対し、周波数軸での平滑化処理を行い、Ｒチャネル信号を周波数軸上で平滑化した周波数領域パラメータをＲチャネル利得係数算出部２３５および加算部２３６に出力する。

Ｒチャネル平滑化処理部２３３での平滑化処理としては、Ｌチャネル平滑化処理部２３２での平滑化処理と同様に、式（５）に示すように各周波数成分に対して前後１成分を加算して平均値を求める、すなわち３点の移動平均を計算する、などの処理を行う。式（５）において、ＲＦ（ｆ）はＲチャネル信号の周波数領域パラメータ（絶対値をとった後のパラメータ）であり、ＲＦｓ（ｆ）はＲチャネル信号の平滑化処理後の周波数領域パラメータである。
ＲＦｓ（ｆ）＝（ＲＦ（ｆ−１）＋ＲＦ（ｆ）＋ＲＦ（ｆ＋１））／３ …式（５）

なお、上記同様、式（６）に示すように、自己回帰型のローパスフィルタ処理を用いて周波数軸での平滑化処理を行うことも可能である。
ＲＦｓ（ｆ）＝ＲＦ（ｆ）＋α×ＲＦｓ（ｆ−１） ０＜α＜１ …式（６）

なお、Ｌチャネルの平滑化処理とＲチャネルの平滑化処理とは必ずしも同一の処理でなくてもよい。例えば、Ｌチャネルの信号特性とＲチャネルの信号特性とが異なる場合、意図的に異なる平滑化処理を用いた方がよい場合もある。

加算部２３６は、Ｌチャネル信号の平滑化された周波数領域パラメータと、Ｒチャネル信号の平滑化された周波数領域パラメータとを周波数成分ごとに加算して、加算結果をＬチャネル利得係数算出部２３４とＲチャネル利得係数算出部２３５とに出力する。

Ｌチャネル利得係数算出部２３４は、Ｌチャネル信号の平滑化された周波数領域パラメータ（ＬＦｓ（ｆ））と、加算部２３６から入力される加算結果（ＬＦｓ（ｆ）＋ＲＦｓ（ｆ））との振幅比を算出し、その振幅比をスケーリング部２３７へ出力する。すなわち、Ｌチャネル利得係数算出部２３４は、式（７）に示すｇＬ（ｆ）を算出する。
ｇＬ（ｆ）＝ＬＦｓ（ｆ）／（ＬＦｓ（ｆ）＋ＲＦｓ（ｆ）） …式（７）

Ｒチャネル利得係数算出部２３５は、Ｒチャネル信号の平滑化された周波数領域パラメータ（ＲＦｓ（ｆ））と、加算部２３６から入力される加算結果（ＬＦｓ（ｆ）＋ＲＦｓ（ｆ））との振幅比を算出し、その振幅比をスケーリング部２３７へ出力する。すなわち、Ｒチャネル利得係数算出部２３５は、式（８）に示すｇＲ（ｆ）を算出する。
ｇＲ（ｆ）＝ＲＦｓ（ｆ）／（ＬＦｓ（ｆ）＋ＲＦｓ（ｆ）） …式（８）

スケーリング部２３７は、ｇＬ（ｆ）およびｇＲ（ｆ）に対してスケーリング処理を行ってＬチャネル用のバランスパラメータＧＬ（ｆ）およびＲチャネル用のバランスパラメータＧＲ（ｆ）を算出し、１フレーム遅延後に、これらのバランスパラメータを選択部２２０へ出力する。

ここで、モノラル信号Ｍ（ｆ）が、例えばＭ（ｆ）＝０.５（Ｌ（ｆ）＋Ｒ（ｆ））で定義される場合、スケーリング部２３７はＧＬ（ｆ）＋ＧＲ（ｆ）＝２.０となるように、ｇＬ（ｆ）およびｇＲ（ｆ）のスケーリング処理を行う。具体的には、スケーリング部２３７は、２／（ｇＬ（ｆ）＋ｇＲ（ｆ））をｇＬ（ｆ）およびｇＲ（ｆ）にそれぞれ乗じてＧＬ（ｆ）およびＧＲ（ｆ）を算出する。

なお、ＧＬ（ｆ）＋ＧＲ（ｆ）＝２．０の関係を満たすように、ＧＬ（ｆ）およびＧＲ（ｆ）が、Ｌチャネル利得係数算出部２３４およびＲチャネル利得係数算出部２３５でそれぞれ算出される場合には、スケーリング部２３７においてスケーリング処理を行う必要は無い。例えば、Ｌチャネル利得係数算出部２３４においてＧＬ（ｆ）が算出された後で、ＧＲ（ｆ）がＧＲ（ｆ）＝２．０−ＧＬ（ｆ）で算出される場合にはスケーリング部２３７にてスケーリング処理を行う必要は無い。よって、この場合にはＬチャネル利得係数算出部２３４およびＲチャネル利得係数算出部２３５の出力を選択部２２０へ入力するようにしても良い。本構成の詳細については、図１２を用いて後述する。また、ここでは、Ｌチャネル利得係数を先に算出する形態で説明したが、Ｒチャネル利得係数を先に算出し、Ｌチャネル利得係数ＧＬ（ｆ）を、ＧＬ（ｆ）＝２．０−ＧＲ（ｆ）にて算出するようにしても良い。

なお、ステレオ符号化データに含まれるバランスパラメータが連続して利用不可能な場合には、利得係数算出部２２３から出力されるバランスパラメータが選択される状態が続く。この場合でも、利得係数算出部２２３での上記処理を繰り返すようにすれば、上記平滑化処理が繰り返されることにより、利得係数算出部２２３において算出されるバランスパラメータは全帯域に渡って徐々に平均化され、Ｌチャネル−Ｒチャネル間のレベルバランスを適切なレベルバランスに収束させることができる。

また、利得係数算出部２２３から出力されるバランスパラメータが選択される状態が続く場合には、バランスパラメータを、最初に算出されたバランスパラメータから徐々に１.０に近づける（すなわちモノラルに近づける）処理を行ってもよい。例えば、式（９）に示す処理を行ってもよい。この場合は、バランスパラメータが最初に利用不可能になるフレーム以外において、上記の平滑化処理は不要となる。よって、この処理を用いることにより、上記の平滑化処理を行う場合に比べて、利得係数算出に係る演算量を低減することができる。なお、βは平滑化係数である。
ＧＬ（ｆ）＝βＧＬ（ｆ）＋（１−β） ０＜β＜１ …式（９）

また、利得係数算出部２２３から出力されるバランスパラメータが選択される状態が続いた後、利得係数復号部２１０から出力されるバランスパラメータが選択される状態に切り替わる場合には、音像または定位が急変する現象が発生する。このような急変により主観的な品質が損なわれることがある。そこで、この場合には、利得係数復号部２１０から出力されたバランスパラメータと、選択状態が切り替わる直前に利得係数算出部２２３から出力されたバランスパラメータとの中間値を、乗算部２２１に入力するバランスパラメータとして用いてもよい。例えば、乗算部２２１に入力するバランスパラメータを式（１０）に従って求めてもよい。ここでは、利得係数復号部２１０から入力されるバランスパラメータをＧ＾、利得係数算出部２２３から最後に出力されたバランスパラメータをＧｐ、乗算部２２１に入力するバランスパラメータをＧｍとする。γは内分係数であり、βはγを平滑化するための平滑化係数である。
Ｇｍ＝γＧｐ＋（１−γ）Ｇ＾ γ＝βγ ０＜β＜１ …式（１０）

このようにすれば、利得係数復号部２１０から出力されるバランスパラメータが選択される状態が続くとともに、すなわち式（１０）の処理が繰り返される度に、γが０に近づき、利得係数復号部２１０から出力されるバランスパラメータが選択される状態がある程度のフレーム数続けば、Ｇｍ＝Ｇ＾となる。Ｇｍ＝Ｇ＾になるまでのフレーム数を予め決めておき、利得係数復号部２１０から出力されるバランスパラメータが選択される状態がそのフレーム数だけ続いた時点でＧｍ＝Ｇ＾に設定するようにしてもよい。このように、乗算部２２１に入力されるバランスパラメータを、利得係数復号部２１０から入力されるバランスパラメータに徐々に近づけることにより、音像または定位の急変による主観的な品質の劣化を回避することができる。

このように、本実施の形態では、ステレオ符号化データに含まれるバランスパラメータを利用できない（あるいは利用しない）場合には、過去に得られたステレオ信号のＬチャネル信号およびＲチャネル信号から算出されるバランスパラメータを用いて、モノラル信号に対するバランス調整処理を行う。よって、本実施の形態によれば、復号信号の定位の揺らぎを抑えてステレオ感を保つことができる。

また、本実施の形態では、ステレオ信号のＬチャネル信号とＲチャネル信号とを加算した信号に対するＬチャネル信号の振幅比またはＲチャネル信号の振幅比を用いてバランスパラメータを算出する。よって、本実施の形態によれば、モノラル信号に対するＬチャネル信号の振幅比またはＲチャネル信号の振幅比を用いるよりも適切なバランスパラメータを求めることができる。

また、本実施の形態では、バランスパラメータの算出において、Ｌチャネル信号およびＲチャネル信号に対して周波数軸での平滑化処理を行う。よって、本実施の形態によれば、バランス調整処理を行う周波数単位（周波数分解能）が細かい場合でも安定した定位とステレオ感を得ることができる。

よって、本実施の形態によれば、バランスパラメータ等のバランス調整情報をパラメトリックステレオパラメータとして利用できない場合にも、高品質な擬似ステレオ信号を生成することができる。

（変形例）
図５に、音響信号復号装置２００のステレオ復号部２０３ａの構成の変形例を示す。本変形例では、図２の構成に加えて、多重化分離部３０１と残差信号復号部３０２とを備える。図５において、図２と同じ動作をするブロックは図２と同じ番号を付し、その動作の説明を省略する。

多重化分離部３０１は、多重化分離部２０１が出力したステレオ符号化データを入力し、バランスパラメータ符号化データと残差信号符号化データとに分離し、バランスパラメータ符号化データを利得係数復号部２１０に、残差信号符号化データを残差信号復号部３０２に、それぞれ出力する。

残差信号復号部３０２は、多重化分離部３０１が出力した残差信号符号化データを入力し、復号した各チャネルの残差信号をバランス調整部２１１ａへ出力する。

この変形例では、バランス調整処理により、ステレオ信号をパラメトリックに表現するとともにパラメトリックに表現しきれない誤差成分を残差信号として符号化するモノラル−ステレオスケーラブル符号化が行われる構成（つまり、例えば、特許文献３のFig.10に示されるような構成）に、本発明が適用される場合について説明されている。

次いで、図６に、本変形例におけるバランス調整部２１１ａの構成を示す。

図６に示すように、本変形例におけるバランス調整部２１１ａは、図３の構成に加えて、加算部３０３，３０４と、選択部３０５とをさらに備える。図６において、図３と同じ動作を行うブロックについては、同じ番号を付し、その動作説明を省略する。

加算部３０３は、乗算部２２１から出力されたＬチャネル信号と、選択部３０５から出力されるＬチャネル残差信号と、をそれぞれ入力し、両者の加算処理を行い、加算結果を周波数−時間変換部２２２および利得係数算出部２２３へ出力する。

加算部３０４は、乗算部２２１から出力されたＲチャネル信号と、選択部３０５から出力されるＲチャネル残差信号と、をそれぞれ入力し、両者の加算処理を行い、加算結果を周波数−時間変換部２２２および利得係数算出部２２３へ出力する。

選択部３０５は、残差信号復号部３０２から残差信号の入力がある場合（つまり、ステレオ符号化データに含まれる残差信号の利用が可能な場合）には、その残差信号を選択し、加算部３０３および加算部３０４へ出力する。また、選択部３０５は、残差信号復号部３０２から残差信号の入力がない場合（つまり、ステレオ符号化データに含まれる残差信号の利用が不可能な場合）には、何も出力しないか、又は、全零信号を加算部３０３および加算部３０４へ出力する。選択部３０５は、例えば、図６に示すように２つの切替スイッチにより構成される。一方の切替スイッチはＬチャネル用で加算部３０３に出力端子が接続されており、他方の切替スイッチはＲチャネル用で加算部３０４に出力端子が接続されている。そして、これらの切替スイッチが連動して切り替わることにより上記選択が行われる。

ここで、残差信号復号部３０２から選択部３０５への残差信号の入力がないケースとしては、ステレオ符号化データが伝送路上で失われて音響信号復号装置２００に受信されなかったケース、又は、音響信号復号装置２００に受信されたステレオ符号化データに誤りが検出されて破棄されたケースなどが想定される。つまり、残差信号復号部３０２から残差信号の入力がない場合とは、ステレオ符号化データに含まれる残差信号を何らかの理由により利用できない場合のことである。図６には、ステレオ符号化データに含まれる残差信号の利用可否を示す制御信号が選択部３０５に入力され、この制御信号に基づいて選択部３０５の切替スイッチの接続状態が切り替わる構成が示されている。

なお、例えばビットレートを下げる目的で、ステレオ符号化データに含まれる残差信号を使用しない場合に、選択部３０５が切替スイッチを開放して何も出力しないようにしても良いし、又は、全零信号を出力するようにしても良い。

周波数−時間変換部２２２は、加算部３０３から出力された加算結果と、加算部３０４から出力された加算結果とを時間信号に変換して、ＬチャネルおよびＲチャネルそれぞれのデジタルステレオ信号としてＤ／Ａ変換部２０４へ出力する。

利得係数算出部２２３でのバランスパラメータの具体的算出方法は、図４を参照して説明したものと同様である。ただし、Ｌチャネル絶対値算出部２３０への入力は加算部３０３の出力結果であり、Ｒチャネル絶対値算出部２３１への入力は加算部３０４の出力結果であるところのみが異なる。この様子は、図７に示されている。

（実施の形態２）
実施の形態２に係る音響信号復号装置の説明を行う。実施の形態２に係る音響信号復号装置の構成と実施の形態１に係る音響信号復号装置２００の構成とが異なるのは、バランス調整部のみである。従って、以下では、主にバランス調整部の構成および動作について説明を行う。

図８に、実施の形態２に係るバランス調整部５１１の構成を示す。図８に示すように、バランス調整部５１１は、選択部２２０、乗算部２２１、周波数−時間変換部２２２および利得係数算出部５２３を具備する。選択部２２０、乗算部２２１および周波数−時間変換部２２２は、バランス調整部２１１を構成する各同一名称部と同一の動作をするので、説明を省略する。

利得係数算出部５２３は、モノラル復号部２０２より入力される復号モノラル信号、選択部２２０より入力されるＬＲ両チャネルのバランスパラメータ、および、乗算部２２１より入力されるＬチャネルおよびＲチャネルそれぞれにおける乗算結果（つまり、ＬＲ両チャネルの周波数領域パラメータ）を用いて補償用のバランスパラメータを算出する。補償用バランスパラメータは、ＬチャネルおよびＲチャネルそれぞれについて算出される。これらの補償用バランスパラメータは、選択部２２０に出力される。

次いで図９に、利得係数算出部５２３の構成を示す。

図９に示すように、利得係数算出部５２３は、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、Ｒチャネル平滑化処理部２３３、Ｌチャネル利得係数記憶部６０１、Ｒチャネル利得係数記憶部６０２、主要成分利得係数算出部６０３、主要成分検出部６０４および切替スイッチ６０５を具備する。Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３は、実施の形態１で説明した利得係数算出部２２３を構成する各同一名称部と同一の動作をする。

主要成分検出部６０４は、モノラル復号部２０２より復号モノラル信号を受け取る。この復号モノラル信号は、周波数領域パラメータである。主要成分検出部６０４は、入力された復号モノラル信号に含まれる周波数成分のうち振幅が閾値を超える周波数成分を検出し、この検出周波数成分を主要成分周波数情報として主要成分利得係数算出部６０３および切替スイッチ６０５に出力する。ここで、検出に用いる閾値は、固定値としても良いし、周波数領域パラメータ全体の平均振幅に対する一定比としても良い。また、主要成分周波数情報として出力される検出周波数成分の数は特に限定されるものではなく、閾値を超える周波数成分のすべてとしても良いし、予め決められた数としても良い。

Ｌチャネル利得係数記憶部６０１は、選択部２２０よりＬチャネルのバランスパラメータが入力され、記憶する。記憶されたＬチャネルのバランスパラメータは、次フレーム以降に切替スイッチ６０５に出力される。また、Ｒチャネル利得係数記憶部６０２は、選択部２２０よりＲチャネルのバランスパラメータが入力され、記憶する。記憶されたＲチャネルのバランスパラメータは、次フレーム以降に切替スイッチ６０５に出力される。

ここで、選択部２２０は、利得係数復号部２１０で得られたバランスパラメータおよび利得係数算出部５２３から出力されたバランスパラメータのうちの一方を、乗算部２２１において次に用いられるバランスパラメータ（例えば、現フレームで用いられるバランスパラメータ）として選択する。この選択されたバランスパラメータは、Ｌチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２にも入力され、乗算部２２１で前回用いられたバランスパラメータ（例えば、１つ前のフレームで用いられたバランスパラメータ）として記憶される。また、バランスパラメータは周波数毎に記憶される。

主要成分利得係数算出部６０３は、Ｌチャネル利得係数算出部２３４、Ｒチャネル利得係数算出部２３５、加算部２３６およびスケーリング部２３７より構成される。主要成分利得係数算出部６０３を構成する各部位は、利得係数算出部２２３を構成する各同一名称部と同一の動作をする。

ただし、主要成分利得係数算出部６０３は、主要成分検出部６０４より入力される主要成分周波数情報、並びに、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３より受け取る平滑化処理後の周波数領域パラメータに基づいて、主要成分周波数情報として与えられる周波数成分についてのみバランスパラメータを算出する。

すなわち、主要成分検出部６０４より入力された主要成分周波数情報をｊとすると、例えば、上記した式（１）および式（２）に従って、ＧＬ［ｊ］、ＧＲ［ｊ］が算出される。ただし、ｊ∈ｉの条件が満たされる。なお、ここでは説明を簡単にするために、平滑化処理は考慮されていない。

このように算出された主要周波数に対応するバランスパラメータは、切替スイッチ６０５へ出力される。

切替スイッチ６０５は、主要成分利得係数算出部６０３、Ｌチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２からそれぞれバランスパラメータが入力される。切替スイッチ６０５は、主要成分検出部６０４から入力される主要成分周波数情報に基づいて、主要成分利得係数算出部６０３から受け取るバランスパラメータ、又は、Ｌチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２から受け取るバランスパラメータを周波数成分毎に選択し、選択したバランスパラメータを選択部２２０へ出力する。

具体的には、切り換えスイッチ６０５は、主要成分周波数情報をｊとすると、周波数成分ｊに対しては主要成分利得係数算出部６０３からの入力であるバランスパラメータＧＬ［ｊ］およびＧＲ［ｊ］を選択し、それ以外の周波数成分に対してはＬチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２からの入力であるバランスパラメータを選択する。

以上のように本実施の形態によれば、利得係数算出部５２３において、主要成分利得係数算出部６０３が主要周波数成分についてのみバランスパラメータを算出し、切り換えスイッチ６０５は、主要周波数成分のバランスパラメータとしては主要成分利得係数算出部６０３で得られたバランスパラメータを選択的に出力する一方、主要周波数成分以外の周波数成分のバランスパラメータとしてはＬチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２に記憶されているバランスパラメータを選択的に出力する。

こうすることで、振幅が大きい周波数成分でのみバランスパラメータが算出されて使用され、それ以外の周波数成分では過去のバランスパラメータが使用されるので、少ない処理量で高品質な擬似ステレオ信号を生成することができる。

（変形例１）
図１０に、実施の形態２の変形例に係るバランス調整部５１１ａの構成を示す。本変形例では、図８の構成に加えて、加算部３０３，３０４と、選択部３０５とを備える。図８に追加された構成要素の動作は、図６に示したものと同じであるので、同じ番号を付しその動作説明を省略する。

図１１に、本変形例における利得係数算出部５２３の構成を示す。構成および動作は図９と同一であるので同じ番号を付し説明を省略する。Ｌチャネル絶対値算出部２３０への入力が加算部３０３の出力である点と、Ｒチャネル絶対値算出部２３１への入力が加算部３０４の出力である点のみが異なる。

（変形例２）
Ｌチャネル平滑化処理部２３２、Ｒチャネル平滑化処理部２３３で行う平滑化処理が、式（３）および式（５）のように主要成分周波数周辺の周波数成分のみを用いて平滑化処理を行う形態の場合には、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３のそれぞれで行われる処理は、全周波数成分で行われる必要はなく、必要な周波数成分でのみ行われれば良い。こうすることで、利得係数算出部５２３における処理量をさらに削減することができる。具体的には、主要成分周波数情報をｊとすると、ｊ−１、ｊ、ｊ＋１の周波数成分に対してＬチャネル絶対値算出部２３０およびＲチャネル絶対値算出部２３１を動作させる。この結果を用いて、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３は、周波数成分ｊに対してのみ平滑化した周波数領域パラメータを算出すれば良い。

図１２に、本変形例における利得係数算出部５２３ａの構成を示す。なお、実施の形態１で触れた、右チャネル利得係数ＧＲ（ｆ）を、ＧＲ（ｆ）＝２．０−ＧＬ（ｆ）により算出する構成も合わせて、図１２に示されている。図１１の構成と、同一の構成、動作するものは同じ番号を付し、説明を省略する。図１１とは、主要成分利得係数算出部の内部構成が主に異なる。

主要成分利得係数算出部６０６は、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、Ｒチャネル平滑化処理部２３３、Ｌチャネル利得係数算出部２３４、Ｒチャネル利得係数算出部６０７、および加算部２３６により構成される。

主要成分利得係数算出部６０６は、主要成分検出部６０４より入力された主要成分周波数情報ｊに対してのみバランスパラメータを算出する。ここでは、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３における平滑化処理が、上記した式（３）および式（５）に示す３点の平滑化を用いる場合を例にとって説明する。このため本変形例では、主要成分利得係数算出部６０６は、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、およびＲチャネル平滑化処理部２３３を含めた構成を示すものとする。

Ｌチャネル絶対値算出部２３０およびＲチャネル絶対値算出部２３１は、ｊ−１、ｊ、ｊ＋１の周波数成分に対してのみ絶対値処理を行う。

Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３は、ｊ−１、ｊ、ｊ＋１の各チャネルの周波数成分の絶対値がそれぞれ入力され、周波数成分ｊに対する平滑値を算出し、加算部２３６に出力する。Ｌチャネル平滑化処理部２３２の出力は、Ｌチャネル利得係数算出部２３４にも入力される。

Ｌチャネル利得係数算出部２３４は、図１１と同様に、周波数成分ｊの左チャネル用のバランスパラメータを算出する。算出されたＬチャネル用バランスパラメータは、切替スイッチ６０５およびＲチャネル利得係数算出部６０７に出力される。

Ｒチャネル利得係数算出部６０７は、Ｌチャネル用バランスパラメータが入力されると、ＧＲ（ｆ）＝２．０−ＧＬ（ｆ）の関係から、ＧＲ（ｆ）を算出する。このように算出されるバランスパラメータは、ＧＬ（ｆ）＋ＧＲ（ｆ）＝２．０を満たすので、スケーリング部２３７によるスケーリング処理は不要となる。算出されたＲチャネル用バランスパラメータは切替スイッチ６０５に出力される。

このような構成をとることにより、絶対値処理、平滑化処理、バランスパラメータ算出を主要成分についてのみ行うため、より少ない処理量にてバランスパラメータを算出することができる。

なお、利得係数算出部５２３ａの構成を図８の利得係数算出部５２３に適用する場合には、Ｌチャネル絶対値算出部２３０およびＲチャネル絶対値算出部２３１への入力は、乗算部２２１の出力となる。

また、図９および図１１の利得係数算出部５２３の構成では、主要成分利得係数算出部６０３において、主要成分周波数についてのみの処理を行うこととした。しかし、図９および図１１の利得係数算出部５２３においても、図１２の利得係数算出部５２３ａと同様に、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、およびＲチャネル平滑化処理部２３３を含む構成を主要成分利得係数算出部とし、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、およびＲチャネル平滑化処理部２３３における処理についても、主要成分周波数についてのみの処理としても良い。

以上、本発明の実施の形態およびその変形例について説明した。

なお、本発明の説明に用いた音響信号は、オーディオ信号、音声信号、等の信号を総称して用いたものである。本発明は、これら信号のいずれかでも、混在する場合でも適用可能である。

また、各実施の形態およびその変形例では、左チャネル信号をＬ、右チャネル信号をＲとして説明したが、Ｌ、Ｒという表記により位置に関する条件が特定されるものではない。

また、各実施の形態およびその変形例では、ＬとＲの２チャネルの構成を例として説明したが、複数のチャネルの平均信号をモノラル信号として定義し、各チャネルの信号への重み係数をバランスパラメータとしてモノラル信号に乗じることにより各チャネルの信号を表現するマルチチャネル符号化方式のフレーム消失隠蔽処理においても、本発明は適用可能である。この場合、式（１）、（２）に対応して、例えば３チャネルの場合は、以下のようにバランスパラメータを定義することができる。ここで、Ｃは３番目のチャネルの信号を、ＧＣは３番目のチャネルのバランスパラメータを、それぞれ表す。
ＧＬ［ｉ］＝｜Ｌ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜＋｜Ｃ［ｉ］｜）
…式（１１）
ＧＲ［ｉ］＝｜Ｒ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜＋｜Ｃ［ｉ］｜）
…式（１２）
ＧＣ［ｉ］＝｜Ｃ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜＋｜Ｃ［ｉ］｜）
…式（１３）

また、各実施の形態およびその変形例に係る音響信号復号装置は、本実施の形態に係る音響信号符号化装置が送信した多重化データ（ビットストリーム）を受信して処理を行う場合を例にとって説明したが、本発明はこれに限定されず、各実施の形態に係る音響信号復号装置が受信して処理するビットストリームは、この音響信号復号装置で処理可能なビットストリームを生成可能な音響信号符号化装置が送信したものであれば良い。

また、本発明に係る音響信号復号装置は、上記実施の形態およびその変形例に限定されず、種々変更して実施することが可能である。

また、本発明に係る音響信号復号装置は、移動体通信システムにおける通信端末装置または基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置および移動体通信システムを提供することができる。

また、各実施の形態およびその変形例では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係る音響信号復号方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明の音響信号復号装置と同様の機能を実現することができる。

また、各実施の形態およびその変形例の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２００８年６月２７日出願の特願２００８−１６８１８０及び２００８年１１月１９日出願の特願２００８−２９５８１４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る音響信号復号装置は、利用可能なメモリ量に制限があり、かつ、低速での無線通信を強いられる携帯電話等の通信端末装置に特に有用である。

本発明は、音響信号復号装置および音響信号復号装置におけるバランス調整方法に関する。

ステレオ音響信号を低ビットレートで符号化する方式として、インテンシティステレオ方式が知られている。インテンシティステレオ方式では、モノラル信号にスケーリング係数を乗じてＬチャネル信号（左チャネル信号）とＲチャネル信号（右チャネル信号）とを生成する手法を採る。このような手法は振幅パニング（amplitude panning）とも呼ばれる。

振幅パニングの最も基本的な手法は、時間領域におけるモノラル信号に振幅パニング用の利得係数（パニング利得係数）を乗じてＬチャネル信号およびＲチャネル信号を求めるものである（例えば非特許文献１参照）。また、別な手法として、周波数領域において個々の周波数成分ごと（または周波数グループごと）にモノラル信号にパニング利得係数を乗じてＬチャネル信号およびＲチャネル信号を求めるものもある（例えば非特許文献２および特許文献３参照）。

パニング利得係数をパラメトリックステレオの符号化パラメータとして利用すると、ステレオ信号のスケーラブル符号化（モノラル−ステレオスケーラブル符号化）を実現することができる（例えば特許文献１および特許文献２参照）。パニング利得係数は、特許文献１においてはバランスパラメータとして、特許文献２においてはＩＬＤ（レベル差）として、それぞれ説明されている。

また、パニングをモノラル−ステレオ予測に用い、パニングによって得られるステレオ信号と入力ステレオ信号との誤差を符号化する、モノラル−ステレオスケーラブル符号化も提案されている（例えば特許文献３）。

特表２００４−５３５１４５号公報 特表２００５−５３３２７１号公報 国際公開第２００９／０３８５１２号公報

V.Pulkki and M.Karjalainen，"Localization of amplitude-panned virtual sources I: Stereophonic panning"，Journal of the Audio Engineering Society，Vol.49，No.9，2001年9月，pp.739-752 B.Cheng，C.Ritz and I.Burnett，"Principles and analysis of the squeezing approach to low bit rate spatial audio coding"，proc.IEEE ICASSP2007，pp.I-13-I-16，2007年4月

しかしながら、モノラル−ステレオスケーラブル符号化において、ステレオ符号化データが伝送路上で失われてしまい、復号装置側に受信されないことがある。また、伝送路上
においてステレオ符号化データに誤りが発生し、復号装置側においてそのステレオ符号化データが廃棄されることがある。このような場合、復号装置では、ステレオ符号化データに含まれるバランスパラメータ（パニング利得係数）を利用できないため、ステレオとモノラルとが切り替わることが発生し、復号される音響信号の定位が揺らいでしまう。その結果、ステレオ音響信号の品質が劣化してしまう。

本発明の目的は、復号信号の定位の揺らぎを抑えてステレオ感を保つことができる音響信号復号装置および音響信号復号装置におけるバランス調整（振幅パニング）方法を提供することである。

本発明の音響信号復号装置は、ステレオ符号化データから第１バランスパラメータを復号する復号手段と、過去に得られたステレオ信号の第１チャネル信号および第２チャネル信号を用いて第２バランスパラメータを算出する算出手段と、前記第１バランスパラメータが利用不可能な場合に、前記第２バランスパラメータをバランス調整パラメータとして用いてモノラル信号に対するバランス調整処理を行うバランス調整手段と、を具備する構成を採る。

本発明のバランス調整方法は、ステレオ符号化データから第１バランスパラメータを復号する復号ステップと、過去に得られたステレオ信号の第１チャネル信号および第２チャネル信号を用いて第２バランスパラメータを算出する算出ステップと、前記第１バランスパラメータが利用不可能な場合に、前記第２バランスパラメータをバランス調整パラメータとして用いてモノラル信号に対するバランス調整処理を行うバランス調整ステップと、を具備するようにした。

本発明によれば、復号信号の定位の揺らぎを抑えてステレオ感を保つことができる。

本発明の実施の形態１に係る音響信号符号化装置および音響信号復号装置の構成を示すブロック図 本発明の実施の形態１に係るステレオ復号部の構成の一例を示すブロック図 本発明の実施の形態１に係るバランス調整部の構成の一例を示すブロック図 本発明の実施の形態１に係る利得係数算出部の構成の一例を示すブロック図 本発明の実施の形態１に係るステレオ復号部の構成の一例を示すブロック図 本発明の実施の形態１に係るバランス調整部の構成の一例を示すブロック図 本発明の実施の形態１に係る利得係数算出部の構成の一例を示すブロック図 本発明の実施の形態２に係るバランス調整部の構成の一例を示すブロック図 本発明の実施の形態２に係る利得係数算出部の構成の一例を示すブロック図 本発明の実施の形態２に係るバランス調整部の構成の一例を示すブロック図 本発明の実施の形態２に係る利得係数算出部の構成の一例を示すブロック図 本発明の実施の形態２に係る利得係数算出部の構成の一例を示すブロック図

以下、本発明の実施の形態について、図面を用いて説明する。なお、本願におけるバランス調整処理とは、モノラル信号にバランスパラメータを乗じてステレオ信号に変換する処理のことを意味し、振幅パニング処理に相当する。また、本願においてバランスパラメータは、モノラル信号をステレオ信号に変換する際にモノラル信号に乗じる利得係数として定義され、振幅パニングにおけるパニング利得係数（gain factor）に相当する。

（実施の形態１）
図１に、実施の形態１に係る音響信号符号化装置１００および音響信号復号装置２００の各構成を示す。

図１に示すように、音響信号符号化装置１００は、Ａ／Ｄ変換部１０１、モノラル符号化部１０２、ステレオ符号化部１０３および多重化部１０４を具備する。

Ａ／Ｄ変換部１０１は、アナログステレオ信号（Ｌチャネル信号：Ｌ，Ｒチャネル信号：Ｒ）を入力とし、このアナログステレオ信号をデジタルステレオ信号に変換してモノラル符号化部１０２およびステレオ符号化部１０３へ出力する。

モノラル符号化部１０２は、デジタルステレオ信号にダウンミックス処理を行ってモノラル信号に変換し、そのモノラル信号を符号化し、符号化結果（モノラル符号化データ）を多重化部１０４へ出力する。また、モノラル符号化部１０２は、符号化処理によって得られた情報（モノラル符号化情報）をステレオ符号化部１０３へ出力する。

ステレオ符号化部１０３は、デジタルステレオ信号をモノラル符号化情報を用いてパラメトリックに符号化し、バランスパラメータを含む符号化結果（ステレオ符号化データ）を多重化部１０４へ出力する。

多重化部１０４は、モノラル符号化データとステレオ符号化データとを多重化し、多重化結果（多重化データ）を音響信号復号装置２００の多重化分離部２０１へ送出する。

なお、多重化部１０４と多重化分離部２０１との間には電話回線、パケット網などの伝送路（図示せず）が存在し、多重化部１０４から出力される多重化データは必要に応じてパケット化などの処理が行われた後に伝送路へ送出される。

一方、音響信号復号装置２００は、多重化分離部２０１、モノラル復号部２０２、ステレオ復号部２０３およびＤ／Ａ変換部２０４を具備する。

多重化分離部２０１は、音響信号符号化装置１００から送出された多重化データを受信し、その多重化データをモノラル符号化データとステレオ符号化データとに分離し、モノラル符号化データをモノラル復号部２０２へ出力し、ステレオ符号化データをステレオ復号部２０３へ出力する。

モノラル復号部２０２は、モノラル符号化データをモノラル信号に復号し、その復号モノラル信号をステレオ復号部２０３へ出力する。また、モノラル復号部２０２は、この復号処理によって得られた情報（モノラル復号情報）をステレオ復号部２０３へ出力する。

なお、モノラル復号部２０２は、復号されたモノラル信号を、アップミックス処理されたステレオ信号としてステレオ復号部２０３へ出力してもよい。モノラル復号部２０２でアップミックス処理が行われない場合は、アップミックス処理に必要な情報がモノラル復号部２０２からステレオ復号部２０３へ出力され、ステレオ復号部２０３において、復号されたモノラル信号のアップミックス処理を行ってもよい。

ここで、アップミックス処理には特別な情報が必要ない場合が一般的である。しかし、Ｌチャネル−Ｒチャネル間の位相を合わせるダウンミックス処理が行われる場合には、位相差情報がアップミックス処理に必要な情報として考えられる。また、Ｌチャネル−Ｒチャネル間の振幅レベルを合わせるダウンミックス処理が行われる場合には、振幅レベルを合わせるためのスケーリング係数などがアップミックス処理に必要な情報として考えられ
る。

ステレオ復号部２０３は、ステレオ符号化データとモノラル復号情報とを用いて、復号モノラル信号をデジタルステレオ信号に復号し、そのデジタルステレオ信号をＤ／Ａ変換部２０４へ出力する。

Ｄ／Ａ変換部２０４は、デジタルステレオ信号をアナログステレオ信号に変換して、そのアナログステレオ信号を復号ステレオ信号（Ｌチャネル復号信号：Ｌ＾信号，Ｒチャネル復号信号：Ｒ＾信号）として出力する。

次いで図２に、音響信号復号装置２００のステレオ復号部２０３の構成の一例を示す。本実施の形態では、一例として、バランス調整処理により、ステレオ信号をパラメトリックに表現する構成を説明する。

図２に示すように、ステレオ復号部２０３は、利得係数復号部２１０およびバランス調整部２１１を具備する。

利得係数復号部２１０は、多重化分離部２０１から入力されたステレオ符号化データからバランスパラメータを復号し、このバランスパラメータをバランス調整部２１１へ出力する。図２には、Ｌチャネル用のバランスパラメータとＲチャネル用のバランスパラメータの各々が利得係数復号部２１０から出力される例が示されている。

バランス調整部２１１は、これらのバランスパラメータを用いて、モノラル信号に対するバランス調整処理を行う。すなわち、バランス調整部２１１は、これらのバランスパラメータを、モノラル復号部２０２より入力された復号モノラル信号に乗じて、Ｌチャネル復号信号とＲチャネル復号信号とを生成する。ここで、復号モノラル信号は周波数領域の信号（例えば、ＦＦＴ（Fast Fourier Transform）係数、ＭＤＣＴ（Modified Discrete Cosine Transform）係数等）であるとする。よって、これらのバランスパラメータは周波数毎に復号モノラル信号に乗算される。

通常の音響信号復号装置では、復号モノラル信号に対する処理はサブバンド毎に行われ、各サブバンドの幅は通常、周波数が高くなるに従って広くなるように設定される。本実施の形態においても、１つのサブバンドに対して１つのバランスパラメータが復号され、各サブバンド内の各周波数成分に対して同一のバランスパラメータが用いられる。なお、復号モノラル信号を時間領域の信号として扱うことも可能である。

次いで図３に、バランス調整部２１１の構成の一例を示す。

図３に示すように、バランス調整部２１１は、選択部２２０、乗算部２２１、周波数−時間変換部２２２および利得係数算出部２２３を具備する。

利得係数復号部２１０より入力されるバランスパラメータは、選択部２２０を介して乗算部２２１へ入力される。

選択部２２０は、利得係数復号部２１０からバランスパラメータの入力がある場合（ステレオ符号化データに含まれるバランスパラメータの利用が可能な場合）はそのバランスパラメータを選択し、利得係数復号部２１０からバランスパラメータの入力がない場合（ステレオ符号化データに含まれるバランスパラメータの利用が不可能な場合）は利得係数算出部２２３から入力されるバランスパラメータを選択し、選択したバランスパラメータを乗算部２２１へ出力する。選択部２２０は、例えば図３に示すように２つの切替スイッ
チにより構成される。一方の切替スイッチはＬチャネル用、他方の切替スイッチはＲチャネル用であり、これらの切替スイッチが連動して切り替わることにより上記選択が行われる。

ここで、利得係数復号部２１０から選択部２２０へのバランスパラメータの入力がない場合としては、ステレオ符号化データが伝送路上で失われて音響信号復号装置２００に受信されなかった場合、または、音響信号復号装置２００に受信されたステレオ符号化データに誤りが検出されて廃棄された場合等がある。つまり、利得係数復号部２１０からバランスパラメータの入力がない場合とは、ステレオ符号化データに含まれるバランスパラメータを利用できない場合に相当する。そこで、ステレオ符号化データに含まれるバランスパラメータの利用可否を示す制御信号が選択部２２０に入力され、この制御信号に基づき選択部２２０の切替スイッチの接続状態が切り替わる。

なお、例えばビットレートを下げるために、ステレオ符号化データに含まれるバランスパラメータを使用しない場合に、選択部２２０が利得係数算出部２２３から入力されるバランスパラメータを選択してもよい。

乗算部２２１は、選択部２２０から入力されたＬチャネル用のバランスパラメータとＲチャネル用のバランスパラメータのそれぞれを、モノラル復号部２０２より入力された復号モノラル信号（周波数領域パラメータであるモノラル信号）に乗算し、Ｌチャネル用およびＲチャネル用それぞれの乗算結果（周波数領域パラメータであるステレオ信号）を周波数−時間変換部２２２および利得係数算出部２２３へ出力する。つまり、乗算部２２１は、モノラル信号に対するバランス調整処理を行う。

周波数−時間変換部２２２は、乗算部２２１でのＬチャネルおよびＲチャネルそれぞれにおける乗算結果を時間信号に変換して、ＬチャネルおよびＲチャネルそれぞれのデジタルステレオ信号としてＤ／Ａ変換部２０４へ出力する。

利得係数算出部２２３は、乗算部２２１でのＬチャネルおよびＲチャネルそれぞれにおける乗算結果からＬチャネルおよびＲチャネルそれぞれのバランスパラメータを算出し、それらのバランスパラメータを選択部２２０へ出力する。

利得係数算出部２２３でのバランスパラメータの具体的算出方法の一例を以下に示す。

ｉ番目の周波数成分における、Ｌチャネル用のバランスパラメータをＧＬ［ｉ］、Ｒチャネル用のバランスパラメータをＧＲ［ｉ］、Ｌチャネルの復号ステレオ信号をＬ［ｉ］、Ｒチャネルの復号ステレオ信号をＲ［ｉ］とする。利得係数算出部２２３は、式（１），式（２）に従ってＧＬ［ｉ］およびＧＲ［ｉ］を算出する。
ＧＬ［ｉ］＝｜Ｌ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜） …式（１）
ＧＲ［ｉ］＝｜Ｒ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜） …式（２）

なお、式（１）および式（２）において、絶対値をとらないことも可能である。また、分母の計算において、ＬとＲを加算してから絶対値を求めてもよい。ただし、ＬとＲを加算してから絶対値を求める場合、ＬとＲが異符号だとバランスパラメータが大きくなりすぎてしまうことがある。よって、この場合には、バランスパラメータの大きさに対する閾値を設けてバランスパラメータをクリッピングするなどの対策が必要となる。

また、乗算部２２１の出力信号と、Ｌチャネル信号およびＲチャネル信号それぞれとの誤差を量子化したものが復号される場合には、その復号された量子化誤差を加算した後のＬチャネル信号およびＲチャネル信号を用いて式（１）および式（２）による利得係数算
出を行うのがよい。これにより、バランス調整処理のみによる符号化性能（入力信号を忠実に表現する能力）が不十分な場合でも適切なバランスパラメータを求めることができる。また、上記誤差を量子化したものを復号するためには、図３におけるバランス調整部２１１は、乗算部２２１と周波数−時間変換部２２２との間に、バランス調整処理後の復号Ｌチャネル信号（すなわち、バランス調整を用いて量子化されたステレオ入力のＬチャネル信号）とステレオ入力信号のＬチャネル信号との誤差を量子化したもの、および、バランス調整処理後の復号Ｒチャネル信号（すなわち、バランス調整を用いて量子化されたステレオ入力のＲチャネル信号）とステレオ入力信号のＲチャネル信号との誤差を量子化したものをそれぞれ復号する量子化誤差復号部が挿入された構成となる（図示せず）。量子化誤差復号部は、乗算部２２１からＬチャネルおよびＲチャネルそれぞれの復号ステレオ信号を入力するとともに、多重化分離部２０１から量子化誤差符号化データを入力して復号を行い、得られる量子化誤差復号信号をＬチャネルおよびＲチャネルそれぞれの復号ステレオ信号に加算して、それらの加算結果を最終的な復号ステレオ信号として時間−周波数変換部２２２へ出力する。

次いで図４に、利得係数算出部２２３の構成の一例を示す。

図４に示すように、利得係数算出部２２３は、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、Ｒチャネル平滑化処理部２３３、Ｌチャネル利得係数算出部２３４、Ｒチャネル利得係数算出部２３５、加算部２３６およびスケーリング部２３７を具備する。

Ｌチャネル絶対値算出部２３０は、乗算部２２１より入力されるＬチャネル信号の周波数領域パラメータの各周波数成分の絶対値を求めてＬチャネル平滑化処理部２３２へ出力する。

Ｒチャネル絶対値算出部２３１は、乗算部２２１より入力されるＲチャネル信号の周波数領域パラメータの各周波数成分の絶対値を求めてＲチャネル平滑化処理部２３３へ出力する。

Ｌチャネル平滑化処理部２３２は、Ｌチャネル信号の周波数領域パラメータの各周波数成分の絶対値に対し、周波数軸での平滑化処理を行い、Ｌチャネル信号を周波数軸上で平滑化した周波数領域パラメータをＬチャネル利得係数算出部２３４および加算部２３６に出力する。

ここで、周波数軸での平滑化処理とは、周波数領域パラメータに対して周波数軸上でローパスフィルタ処理を施すことに相当する。

具体的には式（３）に示すように各周波数成分に対して前後１成分を加算して平均値を求める、すなわち３点の移動平均を計算する、などの処理を行う。式（３）において、ＬＦ（ｆ）はＬチャネル信号の周波数領域パラメータ（絶対値をとった後のパラメータ）、ＬＦｓ（ｆ）はＬチャネル信号の平滑化処理後の周波数領域パラメータであり、ｆは周波数番号（整数）である。
ＬＦｓ（ｆ）＝（ＬＦ（ｆ−１）＋ＬＦ（ｆ）＋ＬＦ（ｆ＋１））／３ …式（３）

なお、式（４）に示すように、自己回帰型のローパスフィルタ処理を用いて周波数軸での平滑化処理を行うことも可能である。αは平滑化係数である。
ＬＦｓ（ｆ）＝ＬＦ（ｆ）＋α×ＬＦｓ（ｆ−１） ０＜α＜１ …式（４）

Ｒチャネル平滑化処理部２３３は、Ｒチャネル信号の周波数領域パラメータの各周波数
成分の絶対値に対し、周波数軸での平滑化処理を行い、Ｒチャネル信号を周波数軸上で平滑化した周波数領域パラメータをＲチャネル利得係数算出部２３５および加算部２３６に出力する。

Ｒチャネル平滑化処理部２３３での平滑化処理としては、Ｌチャネル平滑化処理部２３２での平滑化処理と同様に、式（５）に示すように各周波数成分に対して前後１成分を加算して平均値を求める、すなわち３点の移動平均を計算する、などの処理を行う。式（５）において、ＲＦ（ｆ）はＲチャネル信号の周波数領域パラメータ（絶対値をとった後のパラメータ）であり、ＲＦｓ（ｆ）はＲチャネル信号の平滑化処理後の周波数領域パラメータである。
ＲＦｓ（ｆ）＝（ＲＦ（ｆ−１）＋ＲＦ（ｆ）＋ＲＦ（ｆ＋１））／３ …式（５）

なお、上記同様、式（６）に示すように、自己回帰型のローパスフィルタ処理を用いて周波数軸での平滑化処理を行うことも可能である。
ＲＦｓ（ｆ）＝ＲＦ（ｆ）＋α×ＲＦｓ（ｆ−１） ０＜α＜１ …式（６）

なお、Ｌチャネルの平滑化処理とＲチャネルの平滑化処理とは必ずしも同一の処理でなくてもよい。例えば、Ｌチャネルの信号特性とＲチャネルの信号特性とが異なる場合、意図的に異なる平滑化処理を用いた方がよい場合もある。

加算部２３６は、Ｌチャネル信号の平滑化された周波数領域パラメータと、Ｒチャネル信号の平滑化された周波数領域パラメータとを周波数成分ごとに加算して、加算結果をＬチャネル利得係数算出部２３４とＲチャネル利得係数算出部２３５とに出力する。

Ｌチャネル利得係数算出部２３４は、Ｌチャネル信号の平滑化された周波数領域パラメータ（ＬＦｓ（ｆ））と、加算部２３６から入力される加算結果（ＬＦｓ（ｆ）＋ＲＦｓ（ｆ））との振幅比を算出し、その振幅比をスケーリング部２３７へ出力する。すなわち、Ｌチャネル利得係数算出部２３４は、式（７）に示すｇＬ（ｆ）を算出する。
ｇＬ（ｆ）＝ＬＦｓ（ｆ）／（ＬＦｓ（ｆ）＋ＲＦｓ（ｆ）） …式（７）

Ｒチャネル利得係数算出部２３５は、Ｒチャネル信号の平滑化された周波数領域パラメータ（ＲＦｓ（ｆ））と、加算部２３６から入力される加算結果（ＬＦｓ（ｆ）＋ＲＦｓ（ｆ））との振幅比を算出し、その振幅比をスケーリング部２３７へ出力する。すなわち、Ｒチャネル利得係数算出部２３５は、式（８）に示すｇＲ（ｆ）を算出する。
ｇＲ（ｆ）＝ＲＦｓ（ｆ）／（ＬＦｓ（ｆ）＋ＲＦｓ（ｆ）） …式（８）

スケーリング部２３７は、ｇＬ（ｆ）およびｇＲ（ｆ）に対してスケーリング処理を行ってＬチャネル用のバランスパラメータＧＬ（ｆ）およびＲチャネル用のバランスパラメータＧＲ（ｆ）を算出し、１フレーム遅延後に、これらのバランスパラメータを選択部２２０へ出力する。

ここで、モノラル信号Ｍ（ｆ）が、例えばＭ（ｆ）＝０.５（Ｌ（ｆ）＋Ｒ（ｆ））で定義される場合、スケーリング部２３７はＧＬ（ｆ）＋ＧＲ（ｆ）＝２.０となるように、ｇＬ（ｆ）およびｇＲ（ｆ）のスケーリング処理を行う。具体的には、スケーリング部２３７は、２／（ｇＬ（ｆ）＋ｇＲ（ｆ））をｇＬ（ｆ）およびｇＲ（ｆ）にそれぞれ乗じてＧＬ（ｆ）およびＧＲ（ｆ）を算出する。

なお、ＧＬ（ｆ）＋ＧＲ（ｆ）＝２．０の関係を満たすように、ＧＬ（ｆ）およびＧＲ（ｆ）が、Ｌチャネル利得係数算出部２３４およびＲチャネル利得係数算出部２３５でそれぞれ算出される場合には、スケーリング部２３７においてスケーリング処理を行う必要
は無い。例えば、Ｌチャネル利得係数算出部２３４においてＧＬ（ｆ）が算出された後で、ＧＲ（ｆ）がＧＲ（ｆ）＝２．０−ＧＬ（ｆ）で算出される場合にはスケーリング部２３７にてスケーリング処理を行う必要は無い。よって、この場合にはＬチャネル利得係数算出部２３４およびＲチャネル利得係数算出部２３５の出力を選択部２２０へ入力するようにしても良い。本構成の詳細については、図１２を用いて後述する。また、ここでは、Ｌチャネル利得係数を先に算出する形態で説明したが、Ｒチャネル利得係数を先に算出し、Ｌチャネル利得係数ＧＬ（ｆ）を、ＧＬ（ｆ）＝２．０−ＧＲ（ｆ）にて算出するようにしても良い。

なお、ステレオ符号化データに含まれるバランスパラメータが連続して利用不可能な場合には、利得係数算出部２２３から出力されるバランスパラメータが選択される状態が続く。この場合でも、利得係数算出部２２３での上記処理を繰り返すようにすれば、上記平滑化処理が繰り返されることにより、利得係数算出部２２３において算出されるバランスパラメータは全帯域に渡って徐々に平均化され、Ｌチャネル−Ｒチャネル間のレベルバランスを適切なレベルバランスに収束させることができる。

また、利得係数算出部２２３から出力されるバランスパラメータが選択される状態が続く場合には、バランスパラメータを、最初に算出されたバランスパラメータから徐々に１.０に近づける（すなわちモノラルに近づける）処理を行ってもよい。例えば、式（９）に示す処理を行ってもよい。この場合は、バランスパラメータが最初に利用不可能になるフレーム以外において、上記の平滑化処理は不要となる。よって、この処理を用いることにより、上記の平滑化処理を行う場合に比べて、利得係数算出に係る演算量を低減することができる。なお、βは平滑化係数である。
ＧＬ（ｆ）＝βＧＬ（ｆ）＋（１−β） ０＜β＜１ …式（９）

また、利得係数算出部２２３から出力されるバランスパラメータが選択される状態が続いた後、利得係数復号部２１０から出力されるバランスパラメータが選択される状態に切り替わる場合には、音像または定位が急変する現象が発生する。このような急変により主観的な品質が損なわれることがある。そこで、この場合には、利得係数復号部２１０から出力されたバランスパラメータと、選択状態が切り替わる直前に利得係数算出部２２３から出力されたバランスパラメータとの中間値を、乗算部２２１に入力するバランスパラメータとして用いてもよい。例えば、乗算部２２１に入力するバランスパラメータを式（１０）に従って求めてもよい。ここでは、利得係数復号部２１０から入力されるバランスパラメータをＧ＾、利得係数算出部２２３から最後に出力されたバランスパラメータをＧｐ、乗算部２２１に入力するバランスパラメータをＧｍとする。γは内分係数であり、βはγを平滑化するための平滑化係数である。
Ｇｍ＝γＧｐ＋（１−γ）Ｇ＾ γ＝βγ ０＜β＜１ …式（１０）

このようにすれば、利得係数復号部２１０から出力されるバランスパラメータが選択される状態が続くとともに、すなわち式（１０）の処理が繰り返される度に、γが０に近づき、利得係数復号部２１０から出力されるバランスパラメータが選択される状態がある程度のフレーム数続けば、Ｇｍ＝Ｇ＾となる。Ｇｍ＝Ｇ＾になるまでのフレーム数を予め決めておき、利得係数復号部２１０から出力されるバランスパラメータが選択される状態がそのフレーム数だけ続いた時点でＧｍ＝Ｇ＾に設定するようにしてもよい。このように、乗算部２２１に入力されるバランスパラメータを、利得係数復号部２１０から入力されるバランスパラメータに徐々に近づけることにより、音像または定位の急変による主観的な品質の劣化を回避することができる。

このように、本実施の形態では、ステレオ符号化データに含まれるバランスパラメータを利用できない（あるいは利用しない）場合には、過去に得られたステレオ信号のＬチャ
ネル信号およびＲチャネル信号から算出されるバランスパラメータを用いて、モノラル信号に対するバランス調整処理を行う。よって、本実施の形態によれば、復号信号の定位の揺らぎを抑えてステレオ感を保つことができる。

また、本実施の形態では、ステレオ信号のＬチャネル信号とＲチャネル信号とを加算した信号に対するＬチャネル信号の振幅比またはＲチャネル信号の振幅比を用いてバランスパラメータを算出する。よって、本実施の形態によれば、モノラル信号に対するＬチャネル信号の振幅比またはＲチャネル信号の振幅比を用いるよりも適切なバランスパラメータを求めることができる。

また、本実施の形態では、バランスパラメータの算出において、Ｌチャネル信号およびＲチャネル信号に対して周波数軸での平滑化処理を行う。よって、本実施の形態によれば、バランス調整処理を行う周波数単位（周波数分解能）が細かい場合でも安定した定位とステレオ感を得ることができる。

よって、本実施の形態によれば、バランスパラメータ等のバランス調整情報をパラメトリックステレオパラメータとして利用できない場合にも、高品質な擬似ステレオ信号を生成することができる。

（変形例）
図５に、音響信号復号装置２００のステレオ復号部２０３ａの構成の変形例を示す。本変形例では、図２の構成に加えて、多重化分離部３０１と残差信号復号部３０２とを備える。図５において、図２と同じ動作をするブロックは図２と同じ番号を付し、その動作の説明を省略する。

多重化分離部３０１は、多重化分離部２０１が出力したステレオ符号化データを入力し、バランスパラメータ符号化データと残差信号符号化データとに分離し、バランスパラメータ符号化データを利得係数復号部２１０に、残差信号符号化データを残差信号復号部３０２に、それぞれ出力する。

残差信号復号部３０２は、多重化分離部３０１が出力した残差信号符号化データを入力し、復号した各チャネルの残差信号をバランス調整部２１１ａへ出力する。

この変形例では、バランス調整処理により、ステレオ信号をパラメトリックに表現するとともにパラメトリックに表現しきれない誤差成分を残差信号として符号化するモノラル−ステレオスケーラブル符号化が行われる構成（つまり、例えば、特許文献３のFig.10に示されるような構成）に、本発明が適用される場合について説明されている。

次いで、図６に、本変形例におけるバランス調整部２１１ａの構成を示す。

図６に示すように、本変形例におけるバランス調整部２１１ａは、図３の構成に加えて、加算部３０３，３０４と、選択部３０５とをさらに備える。図６において、図３と同じ動作を行うブロックについては、同じ番号を付し、その動作説明を省略する。

加算部３０３は、乗算部２２１から出力されたＬチャネル信号と、選択部３０５から出力されるＬチャネル残差信号と、をそれぞれ入力し、両者の加算処理を行い、加算結果を周波数−時間変換部２２２および利得係数算出部２２３へ出力する。

加算部３０４は、乗算部２２１から出力されたＲチャネル信号と、選択部３０５から出力されるＲチャネル残差信号と、をそれぞれ入力し、両者の加算処理を行い、加算結果を
周波数−時間変換部２２２および利得係数算出部２２３へ出力する。

選択部３０５は、残差信号復号部３０２から残差信号の入力がある場合（つまり、ステレオ符号化データに含まれる残差信号の利用が可能な場合）には、その残差信号を選択し、加算部３０３および加算部３０４へ出力する。また、選択部３０５は、残差信号復号部３０２から残差信号の入力がない場合（つまり、ステレオ符号化データに含まれる残差信号の利用が不可能な場合）には、何も出力しないか、又は、全零信号を加算部３０３および加算部３０４へ出力する。選択部３０５は、例えば、図６に示すように２つの切替スイッチにより構成される。一方の切替スイッチはＬチャネル用で加算部３０３に出力端子が接続されており、他方の切替スイッチはＲチャネル用で加算部３０４に出力端子が接続されている。そして、これらの切替スイッチが連動して切り替わることにより上記選択が行われる。

ここで、残差信号復号部３０２から選択部３０５への残差信号の入力がないケースとしては、ステレオ符号化データが伝送路上で失われて音響信号復号装置２００に受信されなかったケース、又は、音響信号復号装置２００に受信されたステレオ符号化データに誤りが検出されて破棄されたケースなどが想定される。つまり、残差信号復号部３０２から残差信号の入力がない場合とは、ステレオ符号化データに含まれる残差信号を何らかの理由により利用できない場合のことである。図６には、ステレオ符号化データに含まれる残差信号の利用可否を示す制御信号が選択部３０５に入力され、この制御信号に基づいて選択部３０５の切替スイッチの接続状態が切り替わる構成が示されている。

なお、例えばビットレートを下げる目的で、ステレオ符号化データに含まれる残差信号を使用しない場合に、選択部３０５が切替スイッチを開放して何も出力しないようにしても良いし、又は、全零信号を出力するようにしても良い。

周波数−時間変換部２２２は、加算部３０３から出力された加算結果と、加算部３０４から出力された加算結果とを時間信号に変換して、ＬチャネルおよびＲチャネルそれぞれのデジタルステレオ信号としてＤ／Ａ変換部２０４へ出力する。

利得係数算出部２２３でのバランスパラメータの具体的算出方法は、図４を参照して説明したものと同様である。ただし、Ｌチャネル絶対値算出部２３０への入力は加算部３０３の出力結果であり、Ｒチャネル絶対値算出部２３１への入力は加算部３０４の出力結果であるところのみが異なる。この様子は、図７に示されている。

（実施の形態２）
実施の形態２に係る音響信号復号装置の説明を行う。実施の形態２に係る音響信号復号装置の構成と実施の形態１に係る音響信号復号装置２００の構成とが異なるのは、バランス調整部のみである。従って、以下では、主にバランス調整部の構成および動作について説明を行う。

図８に、実施の形態２に係るバランス調整部５１１の構成を示す。図８に示すように、バランス調整部５１１は、選択部２２０、乗算部２２１、周波数−時間変換部２２２および利得係数算出部５２３を具備する。選択部２２０、乗算部２２１および周波数−時間変換部２２２は、バランス調整部２１１を構成する各同一名称部と同一の動作をするので、説明を省略する。

利得係数算出部５２３は、モノラル復号部２０２より入力される復号モノラル信号、選択部２２０より入力されるＬＲ両チャネルのバランスパラメータ、および、乗算部２２１より入力されるＬチャネルおよびＲチャネルそれぞれにおける乗算結果（つまり、ＬＲ両
チャネルの周波数領域パラメータ）を用いて補償用のバランスパラメータを算出する。補償用バランスパラメータは、ＬチャネルおよびＲチャネルそれぞれについて算出される。これらの補償用バランスパラメータは、選択部２２０に出力される。

次いで図９に、利得係数算出部５２３の構成を示す。

図９に示すように、利得係数算出部５２３は、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、Ｒチャネル平滑化処理部２３３、Ｌチャネル利得係数記憶部６０１、Ｒチャネル利得係数記憶部６０２、主要成分利得係数算出部６０３、主要成分検出部６０４および切替スイッチ６０５を具備する。Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３は、実施の形態１で説明した利得係数算出部２２３を構成する各同一名称部と同一の動作をする。

主要成分検出部６０４は、モノラル復号部２０２より復号モノラル信号を受け取る。この復号モノラル信号は、周波数領域パラメータである。主要成分検出部６０４は、入力された復号モノラル信号に含まれる周波数成分のうち振幅が閾値を超える周波数成分を検出し、この検出周波数成分を主要成分周波数情報として主要成分利得係数算出部６０３および切替スイッチ６０５に出力する。ここで、検出に用いる閾値は、固定値としても良いし、周波数領域パラメータ全体の平均振幅に対する一定比としても良い。また、主要成分周波数情報として出力される検出周波数成分の数は特に限定されるものではなく、閾値を超える周波数成分のすべてとしても良いし、予め決められた数としても良い。

Ｌチャネル利得係数記憶部６０１は、選択部２２０よりＬチャネルのバランスパラメータが入力され、記憶する。記憶されたＬチャネルのバランスパラメータは、次フレーム以降に切替スイッチ６０５に出力される。また、Ｒチャネル利得係数記憶部６０２は、選択部２２０よりＲチャネルのバランスパラメータが入力され、記憶する。記憶されたＲチャネルのバランスパラメータは、次フレーム以降に切替スイッチ６０５に出力される。

ここで、選択部２２０は、利得係数復号部２１０で得られたバランスパラメータおよび利得係数算出部５２３から出力されたバランスパラメータのうちの一方を、乗算部２２１において次に用いられるバランスパラメータ（例えば、現フレームで用いられるバランスパラメータ）として選択する。この選択されたバランスパラメータは、Ｌチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２にも入力され、乗算部２２１で前回用いられたバランスパラメータ（例えば、１つ前のフレームで用いられたバランスパラメータ）として記憶される。また、バランスパラメータは周波数毎に記憶される。

主要成分利得係数算出部６０３は、Ｌチャネル利得係数算出部２３４、Ｒチャネル利得係数算出部２３５、加算部２３６およびスケーリング部２３７より構成される。主要成分利得係数算出部６０３を構成する各部位は、利得係数算出部２２３を構成する各同一名称部と同一の動作をする。

ただし、主要成分利得係数算出部６０３は、主要成分検出部６０４より入力される主要成分周波数情報、並びに、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３より受け取る平滑化処理後の周波数領域パラメータに基づいて、主要成分周波数情報として与えられる周波数成分についてのみバランスパラメータを算出する。

すなわち、主要成分検出部６０４より入力された主要成分周波数情報をｊとすると、例えば、上記した式（１）および式（２）に従って、ＧＬ［ｊ］、ＧＲ［ｊ］が算出される。ただし、ｊ∈ｉの条件が満たされる。なお、ここでは説明を簡単にするために、平滑化
処理は考慮されていない。

このように算出された主要周波数に対応するバランスパラメータは、切替スイッチ６０５へ出力される。

切替スイッチ６０５は、主要成分利得係数算出部６０３、Ｌチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２からそれぞれバランスパラメータが入力される。切替スイッチ６０５は、主要成分検出部６０４から入力される主要成分周波数情報に基づいて、主要成分利得係数算出部６０３から受け取るバランスパラメータ、又は、Ｌチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２から受け取るバランスパラメータを周波数成分毎に選択し、選択したバランスパラメータを選択部２２０へ出力する。

具体的には、切り換えスイッチ６０５は、主要成分周波数情報をｊとすると、周波数成分ｊに対しては主要成分利得係数算出部６０３からの入力であるバランスパラメータＧＬ［ｊ］およびＧＲ［ｊ］を選択し、それ以外の周波数成分に対してはＬチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２からの入力であるバランスパラメータを選択する。

以上のように本実施の形態によれば、利得係数算出部５２３において、主要成分利得係数算出部６０３が主要周波数成分についてのみバランスパラメータを算出し、切り換えスイッチ６０５は、主要周波数成分のバランスパラメータとしては主要成分利得係数算出部６０３で得られたバランスパラメータを選択的に出力する一方、主要周波数成分以外の周波数成分のバランスパラメータとしてはＬチャネル利得係数記憶部６０１およびＲチャネル利得係数記憶部６０２に記憶されているバランスパラメータを選択的に出力する。

こうすることで、振幅が大きい周波数成分でのみバランスパラメータが算出されて使用され、それ以外の周波数成分では過去のバランスパラメータが使用されるので、少ない処理量で高品質な擬似ステレオ信号を生成することができる。

（変形例１）
図１０に、実施の形態２の変形例に係るバランス調整部５１１ａの構成を示す。本変形例では、図８の構成に加えて、加算部３０３，３０４と、選択部３０５とを備える。図８に追加された構成要素の動作は、図６に示したものと同じであるので、同じ番号を付しその動作説明を省略する。

図１１に、本変形例における利得係数算出部５２３の構成を示す。構成および動作は図９と同一であるので同じ番号を付し説明を省略する。Ｌチャネル絶対値算出部２３０への入力が加算部３０３の出力である点と、Ｒチャネル絶対値算出部２３１への入力が加算部３０４の出力である点のみが異なる。

（変形例２）
Ｌチャネル平滑化処理部２３２、Ｒチャネル平滑化処理部２３３で行う平滑化処理が、式（３）および式（５）のように主要成分周波数周辺の周波数成分のみを用いて平滑化処理を行う形態の場合には、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３のそれぞれで行われる処理は、全周波数成分で行われる必要はなく、必要な周波数成分でのみ行われれば良い。こうすることで、利得係数算出部５２３における処理量をさらに削減することができる。具体的には、主要成分周波数情報をｊとすると、ｊ−１、ｊ、ｊ＋１の周波数成分に対してＬチャネル絶対値算出部２３０およびＲチャネル絶対値算出部２３１を動作させ
る。この結果を用いて、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３は、周波数成分ｊに対してのみ平滑化した周波数領域パラメータを算出すれば良い。

図１２に、本変形例における利得係数算出部５２３ａの構成を示す。なお、実施の形態１で触れた、右チャネル利得係数ＧＲ（ｆ）を、ＧＲ（ｆ）＝２．０−ＧＬ（ｆ）により算出する構成も合わせて、図１２に示されている。図１１の構成と、同一の構成、動作するものは同じ番号を付し、説明を省略する。図１１とは、主要成分利得係数算出部の内部構成が主に異なる。

主要成分利得係数算出部６０６は、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、Ｒチャネル平滑化処理部２３３、Ｌチャネル利得係数算出部２３４、Ｒチャネル利得係数算出部６０７、および加算部２３６により構成される。

主要成分利得係数算出部６０６は、主要成分検出部６０４より入力された主要成分周波数情報ｊに対してのみバランスパラメータを算出する。ここでは、Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３における平滑化処理が、上記した式（３）および式（５）に示す３点の平滑化を用いる場合を例にとって説明する。このため本変形例では、主要成分利得係数算出部６０６は、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、およびＲチャネル平滑化処理部２３３を含めた構成を示すものとする。

Ｌチャネル絶対値算出部２３０およびＲチャネル絶対値算出部２３１は、ｊ−１、ｊ、ｊ＋１の周波数成分に対してのみ絶対値処理を行う。

Ｌチャネル平滑化処理部２３２およびＲチャネル平滑化処理部２３３は、ｊ−１、ｊ、ｊ＋１の各チャネルの周波数成分の絶対値がそれぞれ入力され、周波数成分ｊに対する平滑値を算出し、加算部２３６に出力する。Ｌチャネル平滑化処理部２３２の出力は、Ｌチャネル利得係数算出部２３４にも入力される。

Ｌチャネル利得係数算出部２３４は、図１１と同様に、周波数成分ｊの左チャネル用のバランスパラメータを算出する。算出されたＬチャネル用バランスパラメータは、切替スイッチ６０５およびＲチャネル利得係数算出部６０７に出力される。

Ｒチャネル利得係数算出部６０７は、Ｌチャネル用バランスパラメータが入力されると、ＧＲ（ｆ）＝２．０−ＧＬ（ｆ）の関係から、ＧＲ（ｆ）を算出する。このように算出されるバランスパラメータは、ＧＬ（ｆ）＋ＧＲ（ｆ）＝２．０を満たすので、スケーリング部２３７によるスケーリング処理は不要となる。算出されたＲチャネル用バランスパラメータは切替スイッチ６０５に出力される。

このような構成をとることにより、絶対値処理、平滑化処理、バランスパラメータ算出を主要成分についてのみ行うため、より少ない処理量にてバランスパラメータを算出することができる。

なお、利得係数算出部５２３ａの構成を図８の利得係数算出部５２３に適用する場合には、Ｌチャネル絶対値算出部２３０およびＲチャネル絶対値算出部２３１への入力は、乗算部２２１の出力となる。

また、図９および図１１の利得係数算出部５２３の構成では、主要成分利得係数算出部６０３において、主要成分周波数についてのみの処理を行うこととした。しかし、図９お
よび図１１の利得係数算出部５２３においても、図１２の利得係数算出部５２３ａと同様に、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、およびＲチャネル平滑化処理部２３３を含む構成を主要成分利得係数算出部とし、Ｌチャネル絶対値算出部２３０、Ｒチャネル絶対値算出部２３１、Ｌチャネル平滑化処理部２３２、およびＲチャネル平滑化処理部２３３における処理についても、主要成分周波数についてのみの処理としても良い。

以上、本発明の実施の形態およびその変形例について説明した。

なお、本発明の説明に用いた音響信号は、オーディオ信号、音声信号、等の信号を総称して用いたものである。本発明は、これら信号のいずれかでも、混在する場合でも適用可能である。

また、各実施の形態およびその変形例では、左チャネル信号をＬ、右チャネル信号をＲとして説明したが、Ｌ、Ｒという表記により位置に関する条件が特定されるものではない。

また、各実施の形態およびその変形例では、ＬとＲの２チャネルの構成を例として説明したが、複数のチャネルの平均信号をモノラル信号として定義し、各チャネルの信号への重み係数をバランスパラメータとしてモノラル信号に乗じることにより各チャネルの信号を表現するマルチチャネル符号化方式のフレーム消失隠蔽処理においても、本発明は適用可能である。この場合、式（１）、（２）に対応して、例えば３チャネルの場合は、以下のようにバランスパラメータを定義することができる。ここで、Ｃは３番目のチャネルの信号を、ＧＣは３番目のチャネルのバランスパラメータを、それぞれ表す。
ＧＬ［ｉ］＝｜Ｌ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜＋｜Ｃ［ｉ］｜）
…式（１１）
ＧＲ［ｉ］＝｜Ｒ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜＋｜Ｃ［ｉ］｜）
…式（１２）
ＧＣ［ｉ］＝｜Ｃ［ｉ］｜／（｜Ｌ［ｉ］｜＋｜Ｒ［ｉ］｜＋｜Ｃ［ｉ］｜）
…式（１３）

また、各実施の形態およびその変形例に係る音響信号復号装置は、本実施の形態に係る音響信号符号化装置が送信した多重化データ（ビットストリーム）を受信して処理を行う場合を例にとって説明したが、本発明はこれに限定されず、各実施の形態に係る音響信号復号装置が受信して処理するビットストリームは、この音響信号復号装置で処理可能なビットストリームを生成可能な音響信号符号化装置が送信したものであれば良い。

また、本発明に係る音響信号復号装置は、上記実施の形態およびその変形例に限定されず、種々変更して実施することが可能である。

また、本発明に係る音響信号復号装置は、移動体通信システムにおける通信端末装置または基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置および移動体通信システムを提供することができる。

また、各実施の形態およびその変形例では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係る音響信号復号方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明の音響信号復号装置と同様の機能を実現することができる。

また、各実施の形態およびその変形例の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２００８年６月２７日出願の特願２００８−１６８１８０及び２００８年１１月１９日出願の特願２００８−２９５８１４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る音響信号復号装置は、利用可能なメモリ量に制限があり、かつ、低速での無線通信を強いられる携帯電話等の通信端末装置に特に有用である。

Claims (7)

1. ステレオ符号化データから第１バランスパラメータを復号する復号手段と、
   過去に得られたステレオ信号の第１チャネル信号および第２チャネル信号を用いて第２バランスパラメータを算出する算出手段と、
   前記第１バランスパラメータが利用不可能な場合に、前記第２バランスパラメータをバランス調整パラメータとして用いてモノラル信号に対するバランス調整処理を行うバランス調整手段と、
   を具備する音響信号復号装置。
2. 前記算出手段は、前記第１チャネル信号と前記第２チャネル信号とを加算した信号に対する前記第１チャネル信号の振幅比および前記第２チャネル信号の振幅比を用いて前記第２バランスパラメータを算出する、
   請求項１記載の音響信号復号装置。
3. 前記バランス調整手段で過去に用いられたバランスパラメータを記憶する記憶手段と、
   前記モノラル信号に含まれ且つ振幅閾値以上の振幅値を有する周波数成分を検出する検出手段と、
   をさらに具備し、
   前記算出手段は、前記検出周波数成分についてのみ前記第２バランスパラメータを算出し、
   前記バランス調整手段は、前記検出周波数成分以外の成分において、前記第２バランスパラメータの代わりに、前記記憶手段に記憶された前記バランスパラメータを前記バランス調整パラメータとする、
   請求項１記載の音響信号復号装置。
4. 前記算出手段は、
   前記第１チャネル信号および前記第２チャネル信号に対して周波数軸での平滑化処理を行う平滑化処理手段を具備し、
   平滑化処理後の第１チャネル信号および第２チャネル信号を用いて前記第２バランスパラメータを算出する、
   請求項２に記載の音響信号復号装置。
5. 前記算出手段は、
   前記第１チャネル信号および前記第２チャネル信号に対して周波数軸での平滑化処理を行う平滑化処理手段を具備し、
   平滑化処理後の第１チャネル信号および第２チャネル信号を用いて前記第２バランスパラメータを算出する、
   請求項３に記載の音響信号復号装置。
6. ステレオ符号化データから第１バランスパラメータを復号する復号ステップと、
   過去に得られたステレオ信号の第１チャネル信号および第２チャネル信号を用いて第２バランスパラメータを算出する算出ステップと、
   前記第１バランスパラメータが利用不可能な場合に、前記第２バランスパラメータをバランス調整パラメータとして用いてモノラル信号に対するバランス調整処理を行うバランス調整ステップと、
   を具備するバランス調整方法。
7. 前記バランス調整ステップにおいて過去に用いられたバランスパラメータをメモリに格納する格納ステップと、
   前記モノラル信号に含まれ且つ振幅閾値以上の振幅値を有する周波数成分を検出する検出ステップと、
   をさらに具備し、
   前記算出ステップでは、前記検出周波数成分についてのみ前記第２バランスパラメータを算出し、
   前記バランス調整ステップでは、前記検出周波数成分以外の成分において、前記第２バランスパラメータの代わりに、前記格納ステップにおいて前記メモリに格納された前記バランスパラメータを前記バランス調整パラメータとして用いる、
   請求項６記載のバランス調整方法。

Images