JP5419876B2 - スペクトル平滑化装置、符号化装置、復号装置、通信端末装置、基地局装置及びスペクトル平滑化方法 - Google Patents

Description

本発明は、音声信号のスペクトルを平滑化するスペクトル平滑化装置、符号化装置、復号装置、通信端末装置、基地局装置及びスペクトル平滑化方法に関する。

インターネット通信に代表されるパケット通信システムや、移動通信システムなどで音声・楽音信号を伝送する場合、音声・楽音信号の伝送効率を高めるため、圧縮・符号化技術がよく使われる。また、近年では、単に低ビットレートで音声・楽音信号を符号化するという一方で、より高品質の音声・楽音信号を符号化する技術に対するニーズが高まっている。

このようなニーズに対して、音声信号を直交変換（時間−周波数変換）し、音声信号の周波数成分（スペクトル）を算出し、算出したスペクトルに対して、線形変換及び非線形変換等の処理を行い復号信号の品質を高めるための様々な技術が開発されてきている（例えば、特許文献１参照）。特許文献１に開示される方法では、まず一定時間長の音声信号から当該音声信号に含まれる周波数スペクトルを分析し、分析したスペクトルに対し、スペクトル強度の値が大きいほど、より強調する非線形変換処理を行う。次に、非線形変換処理されたスペクトルに対し、周波数領域で線形の平滑化処理を行う。その後、非線形変換特性を打ち消すための逆非線形変換処理を行い、さらに平滑化特性を打ち消すための逆平滑化処理を行うことによって、音声信号に含まれる全帯域の雑音成分を抑制する。このように、特許文献１に開示される方法では、音声信号から得られるスペクトルの全サンプルに対し非線形変換処理を行った後、スペクトルの平滑化を行うことにより、良好な品質の音声信号を得る。なお、特許文献１には、非線形処理の例として、べき乗、対数変換等の変換方法が挙げられている。

特開２００２−２４４６９５号公報 国際公開第２００７／０３７３６１号パンフレット

Yuichiro TAKAMIZAWA, Toshiyuki NOMURA and Masao IKEKAWA, "High-Quality and Processor-Efficient Implementation of and MPEG-2 AAC Encoder", IEICE TRANS. INF. &SYST., VOL.E86-D, No.3 MARCH 2003

しかしながら、特許文献１に開示される方法では、音声信号から得られるスペクトルの全サンプルに対し非線形変換処理を行うため、処理演算量が膨大となるという問題点が存在する。また、処理演算量を削減するために、単純に、スペクトルのサンプルから一部のサンプルを抽出し、抽出したサンプルに対し非線形変換処理を行うだけでは、非線形変換後にスペクトルの平滑化を行っても、十分に高い音声品質を得ることができるとは限らない。

本発明の目的は、音声信号から算出されるスペクトルに対して、非線形変換した後に、平滑化を行う構成において、良好な音声品質を維持しつつ、処理演算量を大幅に削減させ
ることができるスペクトル平滑化装置、符号化装置、復号装置、通信端末装置、基地局装置及びスペクトル平滑化方法を提供することである。

本発明のスペクトル平滑化装置は、入力される信号を時間−周波数変換して周波数成分を生成する時間−周波数変換手段と、前記周波数成分を複数のサブバンドに分割するサブバンド分割手段と、前記分割された各サブバンドに対して、算術平均の計算及びその計算結果を用いた乗算演算を用いてサブバンドの代表値を算出する代表値算出手段と、前記サブバンド毎の代表値に対して非線形変換を行う非線形変換手段と、前記非線形変換された代表値を周波数領域で平滑化する平滑化手段と、を具備する構成を採る。

本発明のスペクトル平滑化方法は、入力される信号を時間−周波数変換して周波数成分を生成する時間−周波数変換ステップと、前記周波数成分を複数のサブバンドに分割するサブバンド分割ステップと、前記分割された各サブバンドに対して、算術平均の計算及びその計算結果を用いた乗算演算を用いてサブバンドの代表値を算出する代表値算出ステップと、前記サブバンド毎の代表値に対して非線形変換を行う非線形変換ステップと、前記非線形変換された代表値を周波数領域で平滑化する平滑化ステップと、を有するようにした。

本発明によれば、良好な音声品質を維持しつつ、処理演算量を大幅に削減させることが可能となる。

本発明の実施の形態１に係る処理の概要を示すスペクトル概略図 実施の形態１に係るスペクトル平滑化装置の要部構成を示すブロック図 実施の形態１に係る代表値算出部の要部構成を示すブロック図 実施の形態１における入力信号のサブバンド及びサブグループの構成を示す概略図 本発明の実施の形態２に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図 実施の形態２に係る図５に示した符号化装置の内部の主要な構成を示すブロック図 実施の形態２に係る図６に示した第２レイヤ符号化部の内部の主要な構成を示すブロック図 実施の形態２に係る図７に示したスペクトル平滑部の主要な構成を示すブロック図 実施の形態２に係る図７に示したフィルタリング部におけるフィルタリング処理の詳細について説明するための図 実施の形態２に係る図７に示した探索部においてサブバンドＳＢ_ｐに対して最適ピッチ係数Ｔ_ｐ’を探索する処理の手順を示すフロー図 実施の形態２に係る図５に示した復号装置の内部の主要な構成を示すブロック図 実施の形態２に係る図１１に示した第２レイヤ復号部の内部の主要な構成を示すブロック図

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
先ず、本発明の実施の形態に係るスペクトル平滑化方法の概要について、図１を用いて説明する。図１は、本実施の形態に係るスペクトル平滑化方法の概要を説明するためのスペクトル図である。

図１Ａに、入力信号のスペクトルを示す。本実施の形態では、まず、入力信号のスペクトルを複数のサブバンドに分割する。図１Ｂに、複数のサブバンドに分割された入力信号のスペクトルの様子を示す。なお、図１のスペクトル図は、本発明の概要を説明するためのものであり、例えば、本発明は、図中のサブバンド数に制限されるものではない。

次に、各サブバンド毎に代表値を算出する。具体的には、サブバンド内のサンプルを更に複数のサブグループに分割する。そして、サブグループ毎にスペクトルの絶対値の算術平均（相加平均）を算出する。

次に、各サブグループの算術平均値の幾何平均（相乗平均）をサブバンド毎に算出する。なお、上記の幾何平均値は、この時点ではまだ正確な幾何平均値ではなく、各サブグループの算術平均値を単純に掛け合わせた値を算出し、正確な幾何平均値は、後述する非線形変換の後に求めることとする。上記の処理は更なる演算量削減のためであり、もちろんこの時点で正確な幾何平均値を求めても構わない。

上記の幾何平均値を各サブバンドの代表値とする。図１Ｃに、点線で示す入力信号のスペクトルに重ねて、各サブバンドの代表値を示す。なお、説明をわかりやすくするため、図１Ｃには、各サブグループの算術平均値を単純に掛け合わせた値に代えて、正確な幾何平均値を代表値として示す。

次に、各サブバンドの代表値に対して、入力信号のスペクトルに対しスペクトル強度の値が大きいほど、より強調する非線形変換（例えば、対数変換）を行った後、周波数領域で平滑化処理を行う。その後、逆非線形変換（例えば、対数逆変換）を行い、各サブバンド毎に平滑化スペクトルを算出する。図１Ｄに、点線で示す入力信号のスペクトルに重ねて、各サブバンド毎の平滑化スペクトルを示す。

このような処理により、対数領域におけるスペクトルの平滑化を、音声品質の劣化を抑えつつ、かつ、処理演算量を大幅に削減することができる。以下、当該効果を得る本発明の実施の形態に係るスペクトル平滑化装置の構成について説明する。

本実施の形態に係るスペクトル平滑化装置は、入力スペクトルを平滑化し、平滑化後のスペクトル（以下「平滑化スペクトル」という）を出力信号として出力する。より具体的には、スペクトル平滑化装置は、入力信号をＮサンプルずつに区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に平滑化処理を行う。ここで、平滑化処理の対象となる入力信号をｘ_ｎ（ｎ＝０、…、Ｎ−１）と表す。ｘ_ｎは、Ｎサンプルずつ区切られた入力信号のうち、ｎ＋１番目のサンプルを示す。

図２に、本実施の形態に係るスペクトル平滑化装置１００の要部構成を示す。

図２に示すスペクトル平滑化装置１００は、時間−周波数変換処理部１０１、サブバンド分割部１０２、代表値算出部１０３、非線形変換部１０４、平滑化部１０５、及び逆非線形変換部１０６から主に構成される。

時間−周波数変換処理部１０１は、入力信号ｘ_ｎに対して高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行い、周波数成分のスペクトルＳ１(ｋ)（以下、入力スペクトル）を算出する。

そして、時間−周波数変換処理部１０１は、入力スペクトルＳ１(ｋ)をサブバンド分割部１０２に出力する。

サブバンド分割部１０２は、時間−周波数変換処理部１０１から入力される入力スペクトルＳ１(ｋ)をＰ個（Ｐは２以上の整数）のサブバンドに分割する。以下では、サブバンド分割部１０２が、各サブバンドのサンプル数が等しくなるように、入力スペクトルＳ１(ｋ)を分割する場合を例に説明する。なお、各サブバンドのサンプル数は、サブバンド毎に異なっていてもよい。サブバンド分割部１０２は、サブバンドに分割されたスペクトル（以下「サブバンドスペクトル」ともいう）を代表値算出部１０３に出力する。

代表値算出部１０３は、サブバンド分割部１０２から入力される、サブバンドに分割された入力スペクトルの各サブバンドに対して代表値を算出し、算出したサブバンド毎の代表値を非線形変換部１０４へ出力する。代表値算出部１０３の詳しい処理については後述する。

図３に、代表値算出部１０３の内部構成を示す。図３に示す代表値算出部１０３は、相加平均算出部２０１、及び相乗平均算出部２０２を備える。

まず、サブバンド分割部１０２からサブバンドスペクトルが相加平均算出部２０１に入力される。

相加平均算出部２０１は、入力されたサブバンドスペクトルの各サブバンドを、さらにＱ個（Ｑは２以上の整数）のサブグループ（第０サブグループ〜第Ｑ−１サブグループ）に分割する。なお、以下では、Ｑ個の各サブグループが、それぞれＲ個（Ｒは２以上の整数）のサンプルから構成される場合を例に説明する。なお、ここではＱ個の各サブグループが全てＲ個のサンプルから構成される場合について説明するが、各サブグループ内のサンプルはもちろん異なる数であっても構わない。

図４に、サブバンド及びサブグループの構成例を示す。図４は、一例として、１サブバンドを構成するサンプル数が８であり、サブバンドを構成するサブグループ数Ｑが２であり、サブグループ内のサンプル数Ｒが４である場合を示す。

次に、相加平均算出部２０１は、Ｑ個のサブグループそれぞれに対して、式（１）を用いて、各サブグループに含まれるスペクトル（ＦＦＴ係数）の絶対値の算術平均（相加平均）を算出する。

なお、式（１）において、ＡＶＥ１_ｑは、第ｑサブグループに含まれるスペクトル（ＦＦＴ係数）の絶対値の算術平均（相加平均）であり、ＢＳ_ｑは、第ｑサブグループの先頭サンプルのインデックスを示す。

次に、相加平均算出部２０１は、算出したサブバンド毎の算術平均（相加平均）値スペクトルＡＶＥ１_ｑ（ｑ＝０〜Ｑ−１）（サブバンド算術平均値スペクトル）を相乗平均算出部２０２に出力する。

相乗平均算出部２０２は、相加平均算出部２０１から入力されるサブバンド毎の算術平均値（相加平均）スペクトルＡＶＥ１_ｑ（ｑ＝０〜Ｑ−１）を、式（２）に示すように全
て掛け合わせ、サブバンド毎に代表値スペクトル（サブバンド代表値スペクトル）ＡＶＥ２_ｐ（ｐ＝０〜Ｐ−１）を算出する。

式（２）において、Ｐは、サブバンド数である。

次に、相乗平均算出部２０２は、算出したサブバンド代表値スペクトルＡＶＥ２_ｐ（ｐ＝０〜Ｐ−１）を非線形変換部１０４に出力する。

非線形変換部１０４は、相乗平均算出部２０２から入力されるサブバンド代表値スペクトルＡＶＥ２_ｐ（ｐ＝０〜Ｐ−１）に対して、式（３）を用いて、各代表値に対して値が大きいほどより強調する特性の非線形変換を行い、第１サブバンド対数代表値スペクトルＡＶＥ３_ｐ（ｐ＝０〜Ｐ−１）を算出する。ここでは、非線形変換処理として対数変換を行う場合について説明する。

次に、非線形変換部１０４は、式（４）を用いて、算出した第１サブバンド対数代表値スペクトルＡＶＥ３_ｐ（ｐ＝０〜Ｐ−１）に対して、サブグループ数Ｑの逆数を乗じることにより第２サブバンド対数代表値スペクトルＡＶＥ４_ｐ（ｐ＝０〜Ｐ−１）を算出する。

相乗平均算出部２０２における式（２）の処理では、単純に各サブバンドのサブバンド算術平均値スペクトルＡＶＥ１_ｐが掛け合わせられただけであったが、非線形変換部１０４における式（４）の処理により幾何平均（相乗平均）が算出されることになる。このように、本実施の形態では、式（３）を用いて対数領域に変換した後に、式（４）を用いてサブグループ数Ｑの逆数を乗じる。これにより、演算量が大きい累乗根の計算を、単純な除算に置き換えることができる。さらに、サブグループ数Ｑが定数である場合には、Ｑの逆数を予め算出しておくことにより、累乗根の計算を単純な乗算に置き換えることができるので、演算量をより削減することが可能となる。

次に、非線形変換部１０４は、式（４）を用いて算出した第２サブバンド対数代表値スペクトルＡＶＥ４_ｐ（ｐ＝０〜Ｐ−１）を平滑化部１０５に出力する。

再度、図２に戻り、平滑化部１０５は、非線形変換部１０４から入力される第２サブバンド対数代表値スペクトルＡＶＥ４_ｐ（ｐ＝０〜Ｐ−１）に対して、式（５）を用いて、周波数領域で平滑化し、対数平滑化スペクトルＡＶＥ５_ｐ（ｐ＝０〜Ｐ−１）を算出する。

なお、式（５）は、平滑化フィルタリング処理を示し、式（５）において、ＭＡ＿ＬＥＮは平滑化フィルタリングの次数を示し、Ｗ_ｉは平滑化フィルタの重みを示す。

また、式（５）は、サブバンドインデックスｐが、ｐ≧（ＭＡ＿ＬＥＮ−１）／２であり、かつ、ｐ≦Ｐ−１−（ＭＡ＿ＬＥＮ−１）／２の場合の対数平滑化スペクトルの算出方法である。サブバンドインデックスｐが先頭、あるいは、最後尾付近の場合には、境界条件を考慮し、式（６）、及び式（７）を用いてそれぞれスペクトルを平滑化する。

なお、平滑化部１０５は、上述したように平滑化フィルタリング処理による平滑化処理として、単純な移動平均による平滑化を行っても良い（Ｗ_ｉが全てのｉに対して１の時には、移動平均による平滑化になる）。また、窓関数（重み）は、ハニング窓やその他の窓関数を利用してもよい。

次に、平滑化部１０５は算出した対数平滑化スペクトルＡＶＥ５_ｐ（ｐ＝０〜Ｐ−１）を逆非線形変換部１０６に出力する。

逆非線形変換部１０６は、平滑化部１０５から入力される対数平滑化スペクトルＡＶＥ５_ｐ（ｐ＝０〜Ｐ−１）に対して逆非線形変換として、対数逆変換を行い、対数平滑化スペクトルを対数領域の値から線形領域の値に変換する。逆非線形変換部１０６は、式（８）を用いて、対数平滑化スペクトルＡＶＥ５_ｐ（ｐ＝０〜Ｐ−１）に対して対数逆変換を行い、平滑化スペクトルＡＶＥ６_ｐ（ｐ＝０〜Ｐ−１）を算出する。

さらに、逆非線形変換部１０６は、各サブバンド内のサンプルの値を、算出した線形領域の平滑化スペクトルＡＶＥ６_ｐ（ｐ＝０〜Ｐ−１）の値として、全サンプルの平滑化スペクトルを算出する。

逆非線形変換部１０６は、全サンプルの平滑化スペクトル値をスペクトル平滑化装置１００の処理結果として出力する。

以上、本発明に係るスペクトル平滑化装置及びスペクトル平滑化方法について説明した。

以上のように、本実施の形態では、サブバンド分割部１０２は、入力スペクトルを複数のサブバンドに分割し、代表値算出部１０３は、サブバンド毎に、算術平均、及び、乗算演算あるいは幾何平均を用いて代表値を算出し、非線形変換部１０４は、各代表値に対し
て値が大きいほどより強調する特性の非線形変換を行い、平滑化部１０５は、当該サブバンド毎の非線形変換された代表値を周波数領域で平滑化する。

このように、スペクトルの全サンプルを複数のサブバンドに分割し、各サブバンドに対して、算術平均（相加平均）と、乗算演算あるいは幾何平均（相乗平均）とを組み合せて代表値を得、当該代表値を非線形変換した後に平滑化することにより、良好な音声品質を維持しつつ、かつ、処理演算量を大幅に減らすことができるようになる。

上述したように、本発明においてサブバンド内のサンプルの算術平均と、乗算演算あるいは幾何平均とを組み合せてサブバンドの代表値を算出する構成を採ることにより、サブバンド内のサンプル値の算術平均値（相加平均値）、すなわち、線形領域での平均値を、単純に各サブバンドの代表値とする場合において、サブバンド内のサンプル値の大きさのばらつきによって発生し得る音声品質の劣化を回避することができる。

なお、本実施の形態では、時間−周波数変換処理として高速フーリエ変換（ＦＦＴ）を例に挙げて説明したが、本発明はこれに限定されず、高速フーリエ変換（ＦＦＴ）以外の時間−周波数変換方法を利用する場合にも同様に適用される。例えば、非特許文献１では、聴覚マスキング値の算出（図２参照）に際し、高速フーリエ変換（ＦＦＴ）ではなく、修正離散コサイン変換（ＭＤＣＴ：Modified Discrete Cosine Transform）を用いて周波数成分（スペクトル）を算出している。このように時間−周波数変換処理部において、修正離散コサイン変換（ＭＤＣＴ）やその他の時間−周波数変換方法を用いる構成に対しても、同様に本発明は適用される。

なお、上述した構成では、相乗平均算出部２０２は、算術平均（相加平均）値スペクトルＡＶＥ１_ｑ（ｑ＝０〜Ｑ−１）を掛け合わせただけであり、累乗根の計算を行っていない。そのため、相乗平均算出部２０２は、正確には、相乗平均値を算出しているわけではない。これは、上述したように、非線形変換部１０４において、非線形変換処理として式（３）を用いて対数領域に変換した後に、式（４）を用いてサブグループ数Ｑの逆数を乗じることにより、累乗根の計算を単純な除算（乗算）に置き換えることができるため、演算量をより削減することができるからである。

したがって、本発明は、必ずしも上述の構成に限定されるものではない。例えば、相乗平均算出部２０２において、算術平均（相加平均）値スペクトルＡＶＥ１_ｑ（ｑ＝０〜Ｑ−１）に対して、サブバンド毎に全サブグループの算術平均値スペクトルの値を掛け合わせた後に、サブグループ数の累乗根を算出し、算出した累乗根をサブバンド代表値スペクトルＡＶＥ２_ｐ（ｐ＝０〜Ｐ−１）として非線形変換部１０４に出力する構成においても同様に本発明を適用することができる。すなわち、いずれの場合も、平滑化部１０５は、非線形変換されたサブバンド毎の代表値を得ることができる。なお、この場合には、非線形変換部１０４において、式（４）の演算を省略すればよい。

なお、本実施の形態では、サブバンド毎の代表値を、まずサブグループの算術平均値を求め、次にサブバンド内の全サブグループの算術平均値の幾何平均値とする場合について説明した。しかし、本発明はこれに限定されず、サブグループを構成するサンプル数が１である場合、つまり各サブグループの算術平均値を算出せず、サブバンド内の全サンプルの幾何平均値をサブバンドの代表値とする場合にも同様に適用できる。なお、この構成においても、上述したように、正確に幾何平均値を算出せず、非線形変換を行った後にサブグループ数の逆数を乗じることによって対数領域で幾何平均値を算出してもよい。

なお、以上の説明では、逆非線形変換部１０６において、同一サブバンド内のサンプルのスペクトル値を全て同じ値とした。しかし、本発明はこれに限定されず、逆非線形変換
部１０６の後段に、逆平滑化処理部を設け、逆平滑化処理部が、各サブバンド内でサンプル毎に重みをつけて逆平滑化処理を行ってもよい。また、この逆平滑化処理は、平滑化部１０５と全く逆の変換でなくてもよい。

また、以上の説明では、非線形変換部１０４が、非線形変換処理として対数変換を行い、逆非線形変換部１０６が、逆非線形変換処理として対数逆変換を行う場合を例に説明したが、非線形変換処理は、これに限られず、べき乗等を用いてもよく、逆非線形変換処理に、当該非線形変換処理の逆処理を行うようにすればよい。ただし、式（４）を用いてサブグループ数Ｑの逆数を乗じることにより、累乗根の計算を単純な除算（乗算）に置き換えることができるため、演算量をより削減することができるのは、非線形変換部１０４が、非線形変換として対数変換を行うことによる。したがって、非線形変換処理として、対数変換以外の処理を行う場合には、サブグループ毎の算術平均値に対し幾何平均値を算出することにより、サブバンド毎の代表値を算出し、当該代表値に対し非線形処理を施せばよい。

また、サブバンド数、サブグループ数としては、例えば、入力信号のサンプリング周波数が３２ｋＨｚであり、１フレーム長が２０ｍｓｅｃの場合、つまり、入力信号が６４０サンプルある場合、サブバンド数を８０に設定し、サブグループ数を２に設定し、各サブグループのサンプル数を４に設定し、平滑化フィルタリングの次数を７に設定するという場合が一例として挙げられる。但し、本発明は、当該設定に限定されるものではなく、これらが他の数値に設定される場合にも同様に適用することができる。

また、本発明に係るスペクトル平滑化装置及びスペクトル平滑化方法は、音声符号化装置及び音声符号化方法、音声復号装置及び音声復号方法、音声認識装置及び音声認識方法など、スペクトル領域において平滑化を行うスペクトル平滑化部分の全てに適用可することができる。例えば、特許文献２に公開されている帯域拡張技術では、高域スペクトルを生成するパラメータを算出するために行う低域スペクトルに対する前処理として、ＬＰＣ（Linear Predictive Coefficient）からスペクトル包絡を算出し、算出したスペクトル包絡を用いて低域スペクトルからスペクトル包絡を除去する処理を行っているが、特許文献２のスペクトル包絡除去処理に利用するスペクトル包絡に代えて、本発明に係るスペクトル平滑化方法を低域スペクトルに適用して算出した平滑化スペクトルを用いることも可能である。

また、本実施の形態では、入力される入力スペクトルＳ１(ｋ)を各サブバンドのサンプル数が等しいＰ個（Ｐは２以上の整数）のサブバンドに分割する構成について説明したが、本発明はこれに限らず、各サブバンドのサンプル数が異なる構成についても同様に適用できる。例えば、低域側のサブバンドほどサンプル数が少なく、高域側のサブバンドほどサンプル数が多くなるようにサブバンドを分割する構成が例として挙げられる。一般的に、人間の聴感は、高域側ほど周波数分解能が低いということが言えるため、上記のような構成にすることによって、より効率的にスペクトルを平滑化することができる。また、各サブバンドを構成するサブグループについても同様である。つまり、本実施の形態では、Ｑ個の各サブグループが全てＲ個のサンプルから構成される場合について説明したが、本発明はこれに限らず、低域側のサブグループほどサンプル数が少なく、高域側のサブグループほどサンプル数が多くなるようにサブグループを分割するような構成に対しても同様に適用することができる。

また、本実施の形態では、平滑化処理として重み付け移動平均を例として説明したが、本発明はこれに限らず、種々の平滑化処理に対しても同様に適用することができる。例えば、上述したように、各サブバンドのサンプル数が異なる（高域ほどサンプル数が多くなる）構成において、移動平均のフィルタのタップ数が左右対称ではなく、高域ほど小さい
タップ数にしてもかまわない。高域のサブバンドほどサンプル数が多い場合には、高域側のタップ数が小さい移動平均フィルタを用いることで、聴感的により適した平滑化処理が可能となる。もちろん、本発明は、高域ほど大きいタップ数である、左右非対称の移動平均フィルタを利用する場合にも同様に適用することができる。

（実施の形態２）
本実施の形態では、実施の形態１で説明したスペクトル平滑化処理を、特許文献２などに公開されている帯域拡張符号化時の前処理に利用する場合の構成を説明する。

図５は、本発明の実施の形態２に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図である。図５において、通信システムは、符号化装置と復号装置とを備え、それぞれ伝送路を介して通信可能な状態となっている。なお、符号化装置および復号装置はいずれも、通常、基地局装置あるいは通信端末装置等に搭載されて用いられる。

符号化装置３０１は、入力信号をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号をｘ_ｎ（ｎ＝０、…、Ｎ−１）と表すこととする。ｎは、Ｎサンプルずつ区切られた入力信号のうち、ｎ＋１番目の信号要素を示す。符号化された入力情報（符号化情報）は、伝送路３０２を介して復号装置３０３に送信される。

復号装置３０３は、伝送路３０２を介して、符号化装置３０１から送信された符号化情報を受信し、これを復号し出力信号を得る。

図６は、図５に示した符号化装置３０１の内部の主要な構成を示すブロック図である。入力信号のサンプリング周波数をＳＲ_{ｉｎｐｕｔ}とすると、ダウンサンプリング処理部３１１は、入力信号のサンプリング周波数をＳＲ_{ｉｎｐｕｔ}からＳＲ_ｂａｓｅまでダウンサンプリングし（ＳＲ_ｂａｓｅ＜ＳＲ_{ｉｎｐｕｔ}）、ダウンサンプリングした入力信号をダウンサンプリング後入力信号として、第１レイヤ符号化部３１２に出力する。

第１レイヤ符号化部３１２は、ダウンサンプリング処理部３１１から入力されるダウンサンプリング後入力信号に対して、例えばＣＥＬＰ（Code Excited Linear Prediction）方式の音声符号化方法を用いて符号化を行って第１レイヤ符号化情報を生成し、生成した第１レイヤ符号化情報を第１レイヤ復号部３１３および符号化情報統合部３１７に出力する。

第１レイヤ復号部３１３は、第１レイヤ符号化部３１２から入力される第１レイヤ符号化情報に対して、例えばＣＥＬＰ方式の音声復号方法を用いて復号を行って第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号をアップサンプリング処理部３１４に出力する。

アップサンプリング処理部３１４は、第１レイヤ復号部３１３から入力される第１レイヤ復号信号のサンプリング周波数をＳＲ_ｂａｓｅからＳＲ_{ｉｎｐｕｔ}までアップサンプリングし、アップサンプリングした第１レイヤ復号信号をアップサンプリング後第１レイヤ復号信号として、時間−周波数変換処理部３１５に出力する。

遅延部３１８は、入力信号に所定の長さの遅延を与える。この遅延は、ダウンサンプリング処理部３１１、第１レイヤ符号化部３１２、第１レイヤ復号部３１３、およびアップサンプリング処理部３１４で生じる時間遅れを補正するためのものである。

時間−周波数変換処理部３１５は、バッファｂｕｆ１_ｎおよびｂｕｆ２_ｎ（ｎ＝０、…、Ｎ−１）を内部に有し、入力信号ｘ_ｎおよびアップサンプリング処理部３１４から入力されるアップサンプリング後第１レイヤ復号信号ｙ_ｎを修正離散コサイン変換（ＭＤＣＴ：Modified Discrete Cosine Transform）する。

次に、時間−周波数変換処理部３１５における直交変換処理について、その計算手順と内部バッファへのデータ出力に関して説明する。

まず、時間−周波数変換処理部３１５は、下記の式（９）および式（１０）によりバッファｂｕｆ１_ｎおよびｂｕｆ２_ｎそれぞれを、「０」を初期値として初期化する。

次いで、時間−周波数変換処理部３１５は、入力信号ｘ_ｎ、アップサンプリング後第１レイヤ復号信号ｙ_ｎに対し下記の式（１１）および式（１２）に従ってＭＤＣＴし、入力信号のＭＤＣＴ係数（以下、入力スペクトルと呼ぶ）Ｓ２(ｋ)およびアップサンプリング後第１レイヤ復号信号ｙ_nのＭＤＣＴ係数（以下、第１レイヤ復号スペクトルと呼ぶ）Ｓ１(ｋ)を求める。

ここで、ｋは１フレームにおける各サンプルのインデックスを示す。時間−周波数変換処理部３１５は、入力信号ｘ_ｎとバッファｂｕｆ１_ｎとを結合させたベクトルであるｘ_ｎ’を下記の式（１３）により求める。また、時間−周波数変換処理部３１５は、アップサンプリング後第１レイヤ復号信号ｙ_ｎとバッファｂｕｆ２_ｎとを結合させたベクトルであるｙ_ｎ’を下記の式（１４）により求める。

次に、時間−周波数変換処理部３１５は、式（１５）および式（１６）によりバッファｂｕｆ１_ｎおよびｂｕｆ２_ｎを更新する。

そして、時間−周波数変換処理部３１５は、入力スペクトルＳ２(ｋ)および第１レイヤ復号スペクトルＳ１(ｋ)を第２レイヤ符号化部３１６に出力する。

第２レイヤ符号化部３１６は、時間−周波数変換処理部３１５から入力される入力スペクトルＳ２(ｋ)および第１レイヤ復号スペクトルＳ１(ｋ)を用いて第２レイヤ符号化情報を生成し、生成した第２レイヤ符号化情報を符号化情報統合部３１７に出力する。なお、第２レイヤ符号化部３１６の詳細については後述する。

符号化情報統合部３１７は、第１レイヤ符号化部３１２から入力される第１レイヤ符号化情報と、第２レイヤ符号化部３１６から入力される第２レイヤ符号化情報とを統合し、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路３０２に出力する。

次に、図６に示した第２レイヤ符号化部３１６の内部の主要な構成について図７を用いて説明する。

第２レイヤ符号化部３１６は、帯域分割部３６０、スペクトル平滑化部３６１、フィルタ状態設定部３６２、フィルタリング部３６３、探索部３６４、ピッチ係数設定部３６５、ゲイン符号化部３６６および多重化部３６７を備え、各部は以下の動作を行う。

帯域分割部３６０は、時間−周波数変換処理部３１５から入力される入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）をＰ個のサブバンドＳＢ_ｐ（ｐ＝０，１，…，Ｐ−１）に分割する。そして、帯域分割部３６０は、分割した各サブバンドのバンド幅ＢＷ_ｐ（ｐ＝０，１，…，Ｐ−１）および先頭インデックスＢＳ_ｐ（ｐ＝０，１，…，Ｐ−１）（ＦＬ≦ＢＳ_ｐ＜ＦＨ）を帯域分割情報としてフィルタリング部３６３、探索部３６４および多重化部３６７に出力する。以下、入力スペクトルＳ２(ｋ)のうち、サブバンドＳＢ_ｐに対応する部分をサブバンドスペクトルＳ２_ｐ(ｋ)（ＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐ）と記す。

スペクトル平滑化部３６１は、時間−周波数変換処理部３１５から入力される第１レイヤ復号スペクトルＳ１(ｋ)（０≦ｋ＜ＦＬ）に対して平滑化処理を施し、平滑化処理後の平滑化第１レイヤ復号スペクトルＳ１’(ｋ)（０≦ｋ＜ＦＬ）をフィルタ状態設定部３６２に出力する。

図８にスペクトル平滑化部３６１の内部構成を示す。スペクトル平滑化部３６１は、サブバンド分割部１０２、代表値算出部１０３、非線形変換部１０４、平滑化部１０５、逆非線形変換部１０６とから主に構成される。ここで、各処理部は、実施の形態１で説明した処理部と同一であるため、同一の符号を付して説明を省略する。

フィルタ状態設定部３６２は、スペクトル平滑化部３６１から入力される平滑化第１レイヤ復号スペクトルＳ１’(ｋ)（０≦ｋ＜ＦＬ）を、後段のフィルタリング部３６３で用いるフィルタの内部状態として設定する。フィルタリング部３６３における全周波数帯域のスペクトルＳ(ｋ)の０≦ｋ＜ＦＬの帯域に、平滑化第１レイヤ復号スペクトルＳ１’(ｋ)がフィルタの内部状態（フィルタ状態）として格納される。

フィルタリング部３６３は、マルチタップのピッチフィルタを備え、フィルタ状態設定
部３６２により設定されたフィルタ状態と、ピッチ係数設定部３６５から入力されるピッチ係数と、帯域分割部３６０から入力される帯域分割情報とに基づいて、第１レイヤ復号スペクトルをフィルタリングし、各サブバンドＳＢ_ｐ（ｐ＝０，１，…，Ｐ−１）の推定値スペクトルＳ２_ｐ’(ｋ)（ＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐ）（ｐ＝０，１，…，Ｐ−１）（以下、「サブバンドＳＢ_ｐの推定スペクトル」と称す）を算出する。フィルタリング部３６３は、サブバンドＳＢ_ｐの推定スペクトルＳ２_ｐ’(ｋ)を探索部３６４に出力する。なお、フィルタリング部３６３におけるフィルタリング処理の詳細については後述する。なお、マルチタップのタップ数は１以上の任意の値（整数）をとることができるものとする。

探索部３６４は、帯域分割部３６０から入力される帯域分割情報に基づき、フィルタリング部３６３から入力されるサブバンドＳＢ_ｐの推定スペクトルＳ２_ｐ’(ｋ)と、時間−周波数変換処理部３１５から入力される入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）における各サブバンドスペクトルＳ２_ｐ(ｋ)との類似度を算出する。この類似度の算出は、例えば相関演算等により行われる。また、フィルタリング部３６３、探索部３６４およびピッチ係数設定部３６５の処理は、サブバンド毎に閉ループの探索処理を構成し、各閉ループにおいて、探索部３６４は、ピッチ係数設定部３６５からフィルタリング部３６３に入力されるピッチ係数Ｔを種々に変化させることにより、各ピッチ係数に対応する類似度を算出する。探索部３６４は、サブバンド毎の閉ループにおいて、例えば、サブバンドＳＢ_ｐに対応する閉ループにおいて類似度が最大となる最適ピッチ係数Ｔ_ｐ’（ただしＴｍｉｎ〜Ｔｍａｘの範囲）を求め、Ｐ個の最適ピッチ係数を多重化部３６７に出力する。探索部３６４は、各最適ピッチ係数Ｔ_ｐ’を用いて、各サブバンドＳＢ_ｐに類似する、第１レイヤ復号スペクトルの一部帯域を算出する。また、探索部３６４は、各最適ピッチ係数Ｔ_ｐ’（ｐ＝０，１，…，Ｐ−１）に対応する推定スペクトルＳ２_ｐ’(ｋ)をゲイン符号化部３６６に出力する。なお、探索部３６４における最適ピッチ係数Ｔ_ｐ’（ｐ＝０，１，…，Ｐ−１）の探索処理の詳細については後述する。

ピッチ係数設定部３６５は、探索部３６４の制御の下、フィルタリング部３６３および探索部３６４とともに、第１サブバンドＳＢ_０に対応する閉ループの探索処理を行う場合には、ピッチ係数Ｔを、予め定められた探索範囲Ｔｍｉｎ〜Ｔｍａｘの中で少しずつ変化させながら、フィルタリング部３６３に順次出力する。

ゲイン符号化部３６６は、時間−周波数変換処理部３１５から入力される入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）についてのゲイン情報を算出する。具体的には、ゲイン符号化部３６６は、周波数帯域ＦＬ≦ｋ＜ＦＨをＪ個のサブバンドに分割し、入力スペクトルＳ２(ｋ)のサブバンド毎のスペクトルパワを求める。この場合、第ｊ＋１サブバンドのスペクトルパワＢ_ｊは下記の式（１７）で表される。

式（１７）において、ＢＬ_ｊは第ｊ＋１サブバンドの最小周波数、ＢＨ_ｊは第ｊ＋１サブバンドの最大周波数を表す。また、ゲイン符号化部３６６は、探索部３６４から入力される各サブバンドの推定スペクトルＳ２_ｐ’(ｋ)（ｐ＝０，１，…，Ｐ−１）を周波数領域で連続させて入力スペクトルの高域部の推定スペクトルＳ２’(ｋ)を構成する。そして、ゲイン符号化部３６６は、入力スペクトルＳ２(ｋ)に対してスペクトルパワを算出した場合と同様に、推定スペクトルＳ２’(ｋ)のサブバンド毎のスペクトルパワＢ’_ｊを下記の式（１８）に従い算出する。次いで、ゲイン符号化部３６６は、入力スペクトルＳ２(ｋ)に対する推定スペクトルのＳ２’(ｋ)のサブバンド毎のスペクトルパワの変動量Ｖ_ｊ
を式（１９）に従い算出する。

そして、ゲイン符号化部３６６は、変動量Ｖ_ｊを符号化し、符号化後の変動量ＶＱ_ｊに対応するインデックスを多重化部３６７に出力する。

多重化部３６７は、帯域分割部３６０から入力される帯域分割情報と、探索部３６４から入力される各サブバンドＳＢ_ｐ（ｐ＝０，１，…，Ｐ−１）に対する最適ピッチ係数Ｔ_ｐ’と、ゲイン符号化部３６６から入力される変動量ＶＱ_ｊのインデックスと、を第２レイヤ符号化情報として多重化し、符号化情報統合部３１７に出力する。なお、Ｔ_ｐ’と、ＶＱ_ｊのインデックスとを直接、符号化情報統合部３１７に入力して、符号化情報統合部３１７にて第１レイヤ符号化情報と多重化しても良い。

次いで、図７に示したフィルタリング部３６３におけるフィルタリング処理の詳細について、図９を用いて説明する。

フィルタリング部３６３は、フィルタ状態設定部３６２から入力されるフィルタ状態と、ピッチ係数設定部３６５から入力されるピッチ係数Ｔと、帯域分割部３６０から入力される帯域分割情報とを用いて、サブバンドＳＢ_ｐ（ｐ＝０，１，…，Ｐ−１）に対して、帯域ＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐ（ｐ＝０，１，…，Ｐ−１）における推定スペクトルを生成する。フィルタリング部３６３において用いるフィルタの伝達関数Ｆ（ｚ）は下記の式（２０）で表される。

以下、サブバンドＳＢ_ｐを例にとり、サブバンドスペクトルＳ２_ｐ(ｋ)の推定スペクトルＳ２_ｐ’(ｋ)を生成する処理を説明する。

式（２０）において、Ｔはピッチ係数設定部３６５から与えられるピッチ係数、β_ｉは予め内部に記憶されているフィルタ係数を表している。例えば、タップ数が３の場合、フィルタ係数の候補は（β_−１、β_０、β_１）＝（０．１、０．８、０．１）が例として挙げられる。この他に（β_−１、β_０、β_１）＝（０．２、０．６、０．２）、（０．３、０．４、０．３）などの値も適当である。また、（β_−１、β_０、β_１）＝（０．０、１．０、０．０）の値でも良く、この場合には帯域０≦ｋ＜ＦＬの第１レイヤ復号スペクトルの一部帯域をその形状を変化させずにそのままＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐの帯域にコピーすることを意味する。また、式（２０）においてＭ＝１とする。Ｍはタップ数に関する指標である。

フィルタリング部３６３における全周波数帯域のスペクトルＳ(ｋ)の０≦ｋ＜ＦＬの帯域には、平滑化第１レイヤ復号スペクトルＳ１’(ｋ)がフィルタの内部状態（フィルタ状
態）として格納される。

Ｓ(ｋ)のＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐの帯域には、以下の手順のフィルタリング処理によりサブバンドＳＢ_ｐの推定スペクトルＳ２_ｐ’(ｋ)が格納される。すなわち、Ｓ２_ｐ’(ｋ)には、基本的に、このｋよりＴだけ低い周波数のスペクトルＳ(ｋ−Ｔ)が代入される。ただし、スペクトルの円滑性を増すために、実際には、スペクトルＳ(ｋ−Ｔ)からｉだけ離れた近傍のスペクトルＳ(ｋ−Ｔ＋ｉ)に所定のフィルタ係数β_ｉを乗じたスペクトルβ_ｉ・Ｓ(ｋ−Ｔ＋ｉ)を、全てのｉについて加算したスペクトルをＳ２_ｐ’(ｋ)に代入する。この処理は下記の式（２１）で表される。

上記演算を、周波数の低いｋ＝ＢＳ_ｐから順に、ｋをＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐの範囲で変化させて行うことにより、ＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐにおける推定スペクトルＳ２_ｐ’(ｋ)を算出する。

以上のフィルタリング処理は、ピッチ係数設定部３６５からピッチ係数Ｔが与えられる度に、ＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐの範囲において、その都度Ｓ(ｋ)をゼロクリアして行われる。すなわち、ピッチ係数Ｔが変化するたびにＳ(ｋ)は算出され、探索部３６４に出力される。

図１０は、図７に示した探索部３６４においてサブバンドＳＢ_ｐに対して最適ピッチ係数Ｔ_ｐ’を探索する処理の手順を示すフロー図である。なお、探索部３６４は、図１０に示した手順を繰り返すことにより、各サブバンドＳＢ_ｐ（ｐ＝０，１，…，Ｐ−１）に対応する最適ピッチ係数Ｔ_ｐ’（ｐ＝０，１，…，Ｐ−１）を探索する。

まず、探索部３６４は、類似度の最小値を保存するための変数である最小類似度Ｄ_ｍｉｎを「＋∞」に初期化する（ＳＴ１１０）。次いで、探索部３６４は、下記の式（２２）に従い、あるピッチ係数における入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）と、推定スペクトルＳ２_ｐ’(ｋ)との類似度Ｄを算出する（ＳＴ１２０）。

式（２２）において、Ｍ’は、類似度Ｄを算出する際のサンプル数を示し、各サブバンドのバンド幅以下の任意の値で良い。なお、式（２２）中にはＳ２_ｐ’(ｋ)が存在しないが、これはＢＳ_ｐとＳ２’(ｋ)を用いてＳ２_ｐ’(ｋ)を表しているためである。

次いで、探索部３６４は算出した類似度Ｄが最小類似度Ｄ_ｍｉｎより小さいか否かを判定する（ＳＴ１３０）。ＳＴ１２０において算出された類似度Ｄが最小類似度Ｄ_ｍｉｎより小さい場合（ＳＴ１３０：「ＹＥＳ」）には、探索部３６４は、類似度Ｄを最小類似度Ｄ_ｍｉｎに代入する（ＳＴ１４０）。一方、ＳＴ１２０において算出された類似度Ｄが最小類似度Ｄ_ｍｉｎ以上である場合（ＳＴ１３０：「ＮＯ」）には、探索部３６４は、探索範囲にわたる処理が終了した否かを判定する。すなわち、探索部３６４は、探索範囲内の
すべてのピッチ係数それぞれに対し、ＳＴ１２０において上記の式（２２）に従って類似度を算出したか否かを判定する（ＳＴ１５０）。探索範囲にわたって処理が終了していなかった場合（ＳＴ１５０：「ＮＯ」）には、探索部３６４は処理を再びＳＴ１２０に戻す。そして、探索部３６４は、前回のＳＴ１２０の手順において式（２２）に従って類似度を算出した場合とは異なるピッチ係数に対して、式（２２）に従い類似度を算出する。一方、探索範囲にわたる処理が終了した場合（ＳＴ１５０：「ＹＥＳ」）には、探索部３６４には、最小類似度Ｄ_ｍｉｎに対応するピッチ係数Ｔを最適ピッチ係数Ｔ_ｐ’として多重化部３６７に出力する（ＳＴ１６０）。

次いで、図５に示した復号装置３０３について説明する。

図１１は、復号装置３０３の内部の主要な構成を示すブロック図である。

図１１において、符号化情報分離部３３１は、入力された符号化情報の中から第１レイヤ符号化情報と第２レイヤ符号化情報とを分離し、第１レイヤ符号化情報を第１レイヤ復号部３３２に出力し、第２レイヤ符号化情報を第２レイヤ復号部３３５に出力する。

第１レイヤ復号部３３２は、符号化情報分離部３３１から入力される第１レイヤ符号化情報に対して復号を行い、生成された第１レイヤ復号信号をアップサンプリング処理部３３３に出力する。ここで、第１レイヤ復号部３３２の動作は、図６に示した第１レイヤ復号部３１３と同様であるため、詳細な説明は省略する。

アップサンプリング処理部３３３は、第１レイヤ復号部３３２から入力される第１レイヤ復号信号に対してサンプリング周波数をＳＲ_ｂａｓｅからＳＲ_{ｉｎｐｕｔ}までアップサンプリングする処理を行い、得られるアップサンプリング後第１レイヤ復号信号を時間−周波数変換処理部３３４に出力する。

時間−周波数変換処理部３３４は、アップサンプリング処理部３３３から入力されるアップサンプリング後第１レイヤ復号信号に対して直交変換処理（ＭＤＣＴ）を施し、得られるアップサンプリング後第１レイヤ復号信号のＭＤＣＴ係数（以下、第１レイヤ復号スペクトルと呼ぶ）Ｓ１(ｋ)を第２レイヤ復号部３３５に出力する。ここで、時間−周波数変換処理部３３４の動作は、図６に示した時間−周波数変換処理部３１５のアップサンプリング後第１レイヤ復号信号に対する処理と同様であるため、詳細な説明は省略する。

第２レイヤ復号部３３５は、時間−周波数変換処理部３３４から入力される第１レイヤ復号スペクトルＳ１(ｋ)、符号化情報分離部３３１から入力される第２レイヤ符号化情報を用いて、高域成分を含む第２レイヤ復号信号を生成し出力信号として出力する。

図１２は、図１１に示した第２レイヤ復号部３３５の内部の主要な構成を示すブロック図である。

分離部３５１は、符号化情報分離部３３１から入力される第２レイヤ符号化情報を、各サブバンドのバンド幅ＢＷ_ｐ（ｐ＝０，１，…，Ｐ−１）、先頭インデックスＢＳ_ｐ（ｐ＝０，１，…，Ｐ−１）（ＦＬ≦ＢＳ_ｐ＜ＦＨ）を含む帯域分割情報と、フィルタリングに関する情報である最適ピッチ係数Ｔ_ｐ’（ｐ＝０，１，…，Ｐ−１）と、ゲインに関する情報である符号化後変動量ＶＱ_ｊ（ｊ＝０，１，…，Ｊ−１）のインデックスと、に分離する。また、分離部３５１は、帯域分割情報および最適ピッチ係数Ｔ_ｐ’（ｐ＝０，１，…，Ｐ−１）をフィルタリング部３５４に出力し、符号化後変動量ＶＱ_ｊ（ｊ＝０，１，…，Ｊ−１）のインデックスをゲイン復号部３５５に出力する。なお、符号化情報分離部３３１において、帯域分割情報と、Ｔ_ｐ’（ｐ＝０，１，…，Ｐ−１）と、ＶＱ_ｊ（ｊ
＝０，１，…，Ｊ−１）のインデックスとを分離済みの場合は、分離部３５１を配置しなくても良い。

スペクトル平滑化部３５２は、時間−周波数変換処理部３３４から入力される第１レイヤ復号スペクトルＳ１(ｋ)（０≦ｋ＜ＦＬ）に対して平滑化処理を施し、平滑化後の平滑化第１レイヤ復号スペクトルＳ１’(ｋ)（０≦ｋ＜ＦＬ）をフィルタ状態設定部３５３に出力する。スペクトル平滑化部３５２の処理は、第２レイヤ符号化部３１６内のスペクトル平滑化部３６１と同様であるため、ここでは説明を省略する。

フィルタ状態設定部３５３は、スペクトル平滑化部３５２から入力される平滑化第１レイヤ復号スペクトルＳ１’(ｋ)（０≦ｋ＜ＦＬ）を、フィルタリング部３５４で用いるフィルタ状態として設定する。ここで、フィルタリング部３５４における全周波数帯域０≦ｋ＜ＦＨのスペクトルを便宜的にＳ(ｋ)と呼ぶ場合、Ｓ(ｋ)の０≦ｋ＜ＦＬの帯域に、平滑化第１レイヤ復号スペクトルＳ１’(ｋ)がフィルタの内部状態（フィルタ状態）として格納される。ここで、フィルタ状態設定部３５３の構成および動作は、図７に示したフィルタ状態設定部３６２と同様であるため、詳細な説明は省略する。

フィルタリング部３５４は、マルチタップ（タップ数が１より多い）のピッチフィルタを備える。フィルタリング部３５４は、分離部３５１から入力される帯域分割情報と、フィルタ状態設定部３５３により設定されたフィルタ状態と、分離部３５１から入力されるピッチ係数Ｔ_ｐ’（ｐ＝０，１，…，Ｐ−１）と、予め内部に格納しているフィルタ係数とに基づき、平滑化第１レイヤ復号スペクトルＳ１’(ｋ)をフィルタリングし、上記の式（２１）に示す、各サブバンドＳＢ_ｐ（ｐ＝０，１，…，Ｐ−１）の推定値スペクトルＳ２_ｐ’(ｋ)（ＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐ）（ｐ＝０，１，…，Ｐ−１）を算出する。フィルタリング部３５４でも、上記の式（２０）に示したフィルタ関数が用いられる。ただし、この場合のフィルタリング処理およびフィルタ関数は、式（２０）、式（２１）におけるＴをＴ_ｐ’に置き換えたものとする。

ゲイン復号部３５５は、分離部３５１から入力される、符号化後変動量ＶＱ_ｊのインデックスを復号し、変動量Ｖ_ｊの量子化値である変動量ＶＱ_ｊを求める。

スペクトル調整部３５６は、フィルタリング部３５４から入力される各サブバンドＳＢ_ｐ（ｐ＝０，１，…，Ｐ−１）の推定値スペクトルＳ２_ｐ’(ｋ)（ＢＳ_ｐ≦ｋ＜ＢＳ_ｐ＋ＢＷ_ｐ）（ｐ＝０，１，…，Ｐ−１）を周波数領域で連続させて入力スペクトルの推定スペクトルＳ２’(ｋ)を求める。また、スペクトル調整部３５６は、下記の式（２３）に従い、推定スペクトルＳ２’(ｋ)にゲイン復号部３５５から入力されるサブバンド毎の変動量ＶＱ_ｊを乗じる。これにより、スペクトル調整部３５６は、推定スペクトルＳ２’(ｋ)の周波数帯域ＦＬ≦ｋ＜ＦＨにおけるスペクトル形状を調整し、復号スペクトルＳ３(ｋ)を生成して時間−周波数変換処理部３５７に出力する。

次に、スペクトル調整部３５６は、式（２４）のようにして、時間−周波数変換処理部３３４から入力される第１レイヤ復号スペクトルＳ１(ｋ)（０≦ｋ＜ＦＬ）を復号スペクトルＳ３(ｋ)の低域部（０≦ｋ＜ＦＬ）に代入する。ここで、復号スペクトルＳ３(ｋ)の低域部（０≦ｋ＜ＦＬ）は、第１レイヤ復号スペクトルＳ１(ｋ)からなり、復号スペクトルＳ３(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）は、スペクトル形状調整後の推定スペクトルＳ２’(ｋ)からなる。

時間−周波数変換処理部３５７は、スペクトル調整部３５６から入力される復号スペクトルＳ３(ｋ)を時間領域の信号に直交変換し、得られる第２レイヤ復号信号を出力信号として出力する。ここでは、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行い、フレーム間に生じる不連続を回避する。

以下、時間−周波数変換処理部３５７における具体的な処理について説明する。

時間−周波数変換処理部３５７は、バッファｂｕｆ’(ｋ)を内部に有しており、下記の式（２５）に示すようにバッファｂｕｆ’(ｋ)を初期化する。

また、時間−周波数変換処理部３５７は、スペクトル調整部３５６から入力される第２レイヤ復号スペクトルＳ３(ｋ)を用いて下記の式（２６）に従い、第２レイヤ復号信号ｙ_ｎ”を求めて出力する。

式（２６）において、Ｚ４(ｋ)は、下記の式（２７）に示すように、復号スペクトルＳ３(ｋ)とバッファｂｕｆ’(ｋ)とを結合させたベクトルである。

次に、時間−周波数変換処理部３５７は、下記の式（２８）に従いバッファｂｕｆ’(ｋ)を更新する。

次に、時間−周波数変換処理部３５７は、復号信号ｙ_ｎ”を出力信号として出力する。

このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化／復号において、前処理として低域部のスペクトルに対して相加平均と相乗平均を組み合わせた平滑化処理を施す。これにより、帯域拡張符号化方式に対しても、復号信号に大きな品質劣化を発生させることなく、処理演算量を大幅に削減することができる。

また、本実施の形態では、帯域拡張符号化時に、復号して得られる低域復号スペクトルに対して平滑化処理を行い、平滑化された低域復号スペクトルを用いて高域スペクトルを推定し、符号化する構成について説明したが、本発明はこれに限らず、入力信号の低域スペクトルに対して平滑化処理を行い、平滑化された入力スペクトルから高域スペクトルを
推定し、符号化する構成についても同様に適用できる。

また、本発明に係るスペクトル平滑化装置およびスペクトル平滑化方法は、上記実施の形態に限定されず、種々変更して実施することができる。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。

また、信号処理プログラムを、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用および効果を得ることができる。

また、上記実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル／プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２００８年８月８日出願の特願２００８−２０５６４５及び２００９年４月１０日出願の特願２００９−０９６２２２に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。

本発明にかかるスペクトル平滑化装置、符号化装置、復号装置、通信端末装置、基地局装置及びスペクトル平滑化方法は、スペクトル領域での平滑化を少ない演算量で実現することができ、例えば、パケット通信システム、移動通信システムなどに適用できる。

１００ スペクトル平滑化装置
１０１，３１５，３３４，３５７ 時間−周波数変換処理部
１０２ サブバンド分割部
１０３ 代表値算出部
１０４ 非線形変換部
１０５ 平滑化部
１０６ 逆非線形変換部
２０１ 相加平均算出部
２０２ 相乗平均算出部
３０１ 符号化装置
３０２ 伝送路
３０３ 復号装置
３１１ ダウンサンプリング処理部
３１２ 第１レイヤ符号化部
３１３，３３２ 第１レイヤ復号部
３１４，３３３ アップサンプリング処理部
３１６ 第２レイヤ符号化部
３１７ 符号化情報統合部
３１８ 遅延部
３３１ 符号化情報分離部
３３５ 第２レイヤ復号部
３５１ 分離部
３５２，３６１ スペクトル平滑化部
３５３，３６２ フィルタ状態設定部
３５４，３６３ フィルタリング部
３５５ ゲイン復号部
３５６ スペクトル調整部
３６０ 帯域分割部
３６４ 探索部
３６５ ピッチ係数設定部
３６６ ゲイン符号化部
３６７ 多重化部

Claims (12)

1. 入力される信号を時間−周波数変換して周波数成分を生成する時間−周波数変換手段と、
   前記周波数成分を複数のサブバンドに分割するサブバンド分割手段と、
   前記分割された各サブバンドに対して、算術平均の計算及びその計算結果を用いた乗算演算を用いてサブバンドの代表値を算出する代表値算出手段と、
   前記サブバンド毎の代表値に対して非線形変換を行う非線形変換手段と、
   前記非線形変換された代表値を周波数領域で平滑化する平滑化手段と、
   を具備し、
   前記代表値算出手段は、各サブバンドをさらに複数のサブグループに分割し、前記サブグループ毎に算術平均値を算出し、前記サブグループ毎の算術平均値を用いた前記乗算演算を行った結果を用いて幾何平均値を算出することにより、前記サブバンド毎の代表値を算出する、
   スペクトル平滑化装置。
2. 入力される信号を時間−周波数変換して周波数成分を生成する時間−周波数変換手段と、
   前記周波数成分を複数のサブバンドに分割するサブバンド分割手段と、
   前記分割された各サブバンドに対して、算術平均の計算及びその計算結果を用いた乗算演算を用いてサブバンドの代表値を算出する代表値算出手段と、
   前記サブバンド毎の代表値に対して非線形変換を行う非線形変換手段と、
   前記非線形変換された代表値を周波数領域で平滑化する平滑化手段と、
   を具備し、
   前記代表値算出手段は、
   各サブバンドをさらに複数のサブグループに分割し、前記サブグループ毎に算術平均値を算出し、前記サブグループ毎の算術平均値を掛け合わせた値を、前記サブバンド毎の代表値として算出し、
   前記非線形変換手段は、
   前記サブバンド毎の代表値に対して前記非線形変換を行うことによりサブバンド毎の中間値を算出し、前記サブバンド毎の中間値に対して、各サブバンド内のサブグループ数の逆数を乗じて得られる値を、前記非線形変換された代表値として算出する、
   スペクトル平滑化装置。
3. 平滑化された代表値に対して、前記非線形変換と逆特性の逆非線形変換を行う逆非線形変換手段と、を更に具備する、
   請求項１又は２記載のスペクトル平滑化装置。
4. 前記非線形変換手段は、
   前記各代表値に対して、値が大きいほど、より強調する特性の非線形変換を行う、
   請求項１又は２記載のスペクトル平滑化装置。
5. 前記非線形変換手段は、
   前記非線形変換として対数変換を行う、
   請求項１又は２記載のスペクトル平滑化装置。
6. 前記代表値算出手段は、
   前記乗算演算の結果を用いて幾何平均の計算を行うことにより、前記サブバンドの代表値を算出する、
   請求項１又は２記載のスペクトル平滑化装置。
7. 入力信号の所定周波数以下の低域部分を符号化して第１符号化情報を生成する第１符号化手段と、
   前記第１符号化情報を復号して復号信号を生成する復号手段と、
   前記入力信号の前記所定周波数より高い高域部分を複数のサブバンドに分割し、前記入力信号または前記復号信号から前記複数のサブバンドをそれぞれ推定することにより第２符号化情報を生成する第２符号化手段と、を具備する帯域拡張符号化を行う符号化装置であって、
   前記第２符号化手段は、
   前記復号信号を入力して平滑化する請求項１から請求項６のいずれかに記載のスペクトル平滑化装置を具備し、
   前記入力信号または平滑化後の前記復号信号から前記複数のサブバンドをそれぞれ推定する、
   符号化装置。
8. 符号化装置において生成された、符号化側入力信号の所定周波数以下の低域部分を符号化して得られる第１符号化情報と、前記符号化側入力信号の前記所定周波数より高い高域部分を複数のサブバンドに分割し、前記符号化側入力信号または前記第１符号化情報を復号して得られる第１復号信号から、前記複数のサブバンドをそれぞれ推定することにより生成された第２符号化情報と、を受信する受信手段と、
   前記第１符号化情報を復号して第２復号信号を生成する第１復号手段と、
   前記第２符号化情報を用いて、前記第２復号信号から前記符号化側入力信号の高域部分を推定することにより第３復号信号を生成する第２復号手段と、を具備する帯域拡張復号を行う復号装置であって、
   前記第２復号手段は、
   前記第２復号信号を入力して平滑化する請求項１から請求項６のいずれかに記載のスペクトル平滑化装置を具備し、
   平滑化後の前記第２復号信号から前記符号化側入力信号の高域部分を推定する、
   復号装置。
9. 請求項１から請求項６のいずれかに記載のスペクトル平滑化装置を具備する通信端末装置。
10. 請求項１から請求項６のいずれかに記載のスペクトル平滑化装置を具備する基地局装置。
11. 入力される信号を時間−周波数変換して周波数成分を生成する時間−周波数変換ステップと、
    前記周波数成分を複数のサブバンドに分割するサブバンド分割ステップと、
    前記分割された各サブバンドに対して、算術平均の計算及びその計算結果を用いた乗算演算を用いてサブバンドの代表値を算出する代表値算出ステップと、
    前記サブバンド毎の代表値に対して非線形変換を行う非線形変換ステップと、
    前記非線形変換された代表値を周波数領域で平滑化する平滑化ステップと、
    を有し、
    前記代表値算出ステップは、各サブバンドをさらに複数のサブグループに分割し、前記サブグループ毎に算術平均値を算出し、前記サブグループ毎の算術平均値を用いた前記乗算演算を行った結果を用いて幾何平均値を算出することにより、前記サブバンド毎の代表値を算出する、
    スペクトル平滑化方法。
12. 入力される信号を時間−周波数変換して周波数成分を生成する時間−周波数変換ステップと、
    前記周波数成分を複数のサブバンドに分割するサブバンド分割ステップと、
    前記分割された各サブバンドに対して、算術平均の計算及びその計算結果を用いた乗算演算を用いてサブバンドの代表値を算出する代表値算出ステップと、
    前記サブバンド毎の代表値に対して非線形変換を行う非線形変換ステップと、
    前記非線形変換された代表値を周波数領域で平滑化する平滑化ステップと、
    を有し、
    前記代表値算出ステップは、
    各サブバンドをさらに複数のサブグループに分割し、前記サブグループ毎に算術平均値を算出し、前記サブグループ毎の算術平均値を掛け合わせた値を、前記サブバンド毎の代表値として算出し、
    前記非線形変換ステップは、
    前記サブバンド毎の代表値に対して前記非線形変換を行うことによりサブバンド毎の中間値を算出し、前記サブバンド毎の中間値に対して、各サブバンド内のサブグループ数の逆数を乗じて得られる値を、前記非線形変換された代表値として算出する、
    スペクトル平滑化方法。
    

Images