JP5404418B2 - 符号化装置、復号装置および符号化方法 - Google Patents

Description

本発明は、信号を符号化して伝送する通信システムに用いられる符号化装置、復号装置および符号化方法に関する。

インターネット通信に代表されるパケット通信システムや、移動通信システムなどで音声／楽音信号を伝送する場合、音声／楽音信号（音楽信号）の伝送効率を高めるため、圧縮／符号化技術がよく使われる。また、近年では、単に低ビットレートで音声／楽音信号を符号化するという一方で、より広帯域の音声／楽音信号を符号化する技術に対するニーズが高まっている。

このようなニーズに対して、周波数帯域の広い信号を低ビットレートで符号化する技術がある（例えば、特許文献１参照）。これによれば、入力信号を低域部の信号と高域部の信号とに分け、高域部の信号のスペクトルを低域部の信号のスペクトルで置換することにより符号化して、全体のビットレートを低減させる。
特表２００１−５２１６４８号公報

しかしながら、特許文献１に開示された帯域拡張技術においては、入力信号のスペクトルの低域部、あるいは復号スペクトルの低域部の調波構造を考慮していない。例えば、上記の帯域拡張技術においては、入力信号が楽音信号であるかまたは音声信号であるかを区別せずに帯域拡張処理を行う。しかし、一般的に楽音信号に比べ音声信号は、調波構造が弱く、スペクトル包絡の形状が複雑である場合が多い。このため、帯域拡張を行う際に、楽音信号のスペクトル包絡に割り当てたビット数と同様なビット数を、音声信号のスペクトル包絡に割り当てると、符号化の品質が劣化し、結果として復号信号の音質が劣化する可能性がある。また、逆に楽音信号のように入力信号の調波構造が非常に強い場合にも、調波構造を表すためには特に多くのビットを割り当てる必要がある。要するに、復号信号の音質を向上するためには、調波構造の強度に応じて帯域拡張の具体的な処理を切り替える必要がある。

図１は、スペクトル特性の大きく異なる２つの入力信号のスペクトル特性を示す図である。図１において、横軸は周波数を示し、縦軸はスペクトルの振幅を示す。図１Ａは、周期性が非常に高いスペクトルを示し、一方、図１Ｂは、周期性が非常に低いスペクトルを示す。特許文献１には、高域スペクトルを生成するために低域スペクトルのどの帯域を利用するかの選択基準については詳しく言及されていないが、フレーム毎に高域スペクトルと最も類似する部分を低域スペクトルの中から探索する方法が最も一般的な手法と考えられる。この場合、従来手法では帯域拡張技術によって高域部分のスペクトルを生成する際、リファレンスとなる入力信号のスペクトルを区別せずに同一の方式（同一の類似探索方法、同一のスペクトル包絡量子化方法など）で帯域拡張処理を行う。しかし、図１Ａのスペクトルは、図１Ｂのスペクトルに比べ周期性が非常に高いため、図１Ａのスペクトルを利用して帯域拡張を行う際には、高域部のスペクトルの山谷の位置を適切に符号化しないと、復号信号の音質が大きく劣化してしまう。つまりこの場合は、高域スペクトルを生成するためにどの帯域の低域スペクトルを利用するかに対する情報量を大きくする必要がある。一方、図１Ｂのスペクトルを利用して帯域拡張を行う際には、スペクトルの調波構造はそれほど重要ではなく、復号信号の音質にも大きな影響を及ぼさない。従来は、このようなスペクトル特性が大きく異なる入力信号に対しても同一の方法で帯域を拡張するため
、十分に品質の高い復号信号を提供することが出来ないという問題点がある。

本発明の目的は、入力信号のスペクトルの低域部、あるいは復号スペクトルの低域部の調波構造を考慮して帯域拡張を行うことにより、帯域拡張による復号信号の品質の劣化を抑えることができる符号化装置、復号装置および符号化方法を提供することである。

本発明の符号化装置は、入力信号を符号化して第１符号化情報を生成する第１符号化手段と、前記第１符号化情報を復号して復号信号を生成する復号手段と、前記入力信号の調波構造の強度を分析し、分析結果を示す調波特性情報を生成する特性判定手段と、前記入力信号に対する前記復号信号の差分を符号化して第２符号化情報を生成するとともに、前記調波特性情報に基づいて、前記第２符号化情報を構成する複数のパラメータに割り当てるビット数を変更する第２符号化手段と、を具備する構成を採る。

本発明の復号装置は、符号化装置において入力信号を符号化して得られた第１符号化情報と、前記第１符号化情報を復号した復号信号と前記入力信号との差分を符号化して得られた第２符号化情報と、前記入力信号の調波構造の強度を分析した分析結果に基づき生成された調波特性情報と、を受信する受信手段と、前記第１符号化情報を用いて第１レイヤの復号を行い第１復号信号を得る第１復号手段と、前記第２符号化情報と前記第１復号信号とを用いて第２レイヤの復号を行い第２復号信号を得る第２復号手段と、を具備し、前記第２復号手段は、前記符号化装置において前記調波特性情報に基づいてビット数が割り当てられた、前記第２符号化情報を構成する複数のパラメータを用いて、前記第２レイヤの復号を行う構成を採る。

本発明の符号化方法は、入力信号を符号化して第１符号化情報を生成する第１符号化ステップと、前記第１符号化情報を復号して復号信号を生成する復号ステップと、前記入力信号の調波構造の強度を分析し、分析結果を示す調波特性情報を生成する特性判定ステップと、前記入力信号に対する前記復号信号の差分を符号化して第２符号化情報を生成するとともに、前記調波特性情報に基づいて、前記第２符号化情報を構成する複数のパラメータに割り当てるビット数を変更する第２符号化ステップと、を具備するようにした。

本発明によれば、調波構造が大きく異なる様々な入力信号に対して品質の良い復号信号を得ることができる。

本発明について、その概略の一例を挙げると、入力信号の高域部と、復号信号のスペクトルの低域部または入力信号の低域部の何れかとの調波構造の差異を考慮し、この差異が予め設定されたレベル以上である場合には、広帯域信号の低域部のスペクトルデータに基づいて高域部のスペクトルデータを符号化する方法（帯域拡張方法）を切り替えることにより、調波構造が大きく異なる様々な入力信号に対して品質の良い復号信号を得ることができるというものである。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明に係る符号化装置および復号装置として、音声符号化装置および音声復号装置を例にとって説明する。

（実施の形態１）
図２は、本発明の実施の形態１に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図である。図２において、通信システムは、符号化装置と復号装置とを備え、それぞれ伝送路を介して通信可能な状態となっている。

符号化装置１０１は、入力信号をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号をｘ_ｎ（ｎ＝０、…、Ｎ−１）と表すこととする。ｎは、Ｎサンプルずつ区切られた入力信号のうち、信号要素のｎ＋１番目であることを示す。符号化された入力情報（符号化情報）は伝送路１０２を介して復号装置１０３に符号化情報を送信する。

復号装置１０３は、伝送路１０２を介して符号化装置１０１から送信された符号化情報を受信し、これを復号し出力信号を得る。

図３は、図２に示した符号化装置１０１の内部の主要な構成を示すブロック図である。

入力信号のサンプリング周波数をＳＲ_{ｉｎｐｕｔ}とすると、ダウンサンプリング処理部２０１は、入力信号のサンプリング周波数をＳＲ_{ｉｎｐｕｔ}からＳＲ_ｂａｓｅまでダウンサンプリングし（ＳＲ_ｂａｓｅ＜ＳＲ_{ｉｎｐｕｔ}）、ダウンサンプリングした入力信号をダウンサンプリング後入力信号として、第１レイヤ符号化部２０２に出力する。

第１レイヤ符号化部２０２は、ダウンサンプリング処理部２０１から入力されるダウンサンプリング後入力信号に対して、例えばＣＥＬＰ(Code Excited Linear Prediction)方式の音声符号化方法を用いて符号化を行って第１レイヤ符号化情報を生成する。第１レイヤ符号化部２０２は、生成した第１レイヤ符号化情報を第１レイヤ復号部２０３および符号化情報統合部２０８に出力し、第１レイヤ符号化情報に含まれる量子化適応音源利得を特性判定部２０６に出力する。

第１レイヤ復号部２０３は、第１レイヤ符号化部２０２から入力される第１レイヤ符号化情報に対して、例えばＣＥＬＰ方式のタイプの音声復号方法を用いて復号を行って第１
レイヤ復号信号を生成し、生成した第１レイヤ復号信号をアップサンプリング処理部２０４に出力する。なお、第１レイヤ復号部２０３の詳細については後述する。

アップサンプリング処理部２０４は、第１レイヤ復号部２０３から入力される第１レイヤ復号信号のサンプリング周波数をＳＲ_ｂａｓｅからＳＲ_{ｉｎｐｕｔ}までアップサンプリングし、アップサンプリングした第１レイヤ復号信号をアップサンプリング後第１レイヤ復号信号として、直交変換処理部２０５に出力する。

直交変換処理部２０５は、バッファｂｕｆ１_ｎ、およびｂｕｆ２_ｎ（ｎ＝０、…、Ｎ−１）を内部に有し、入力信号ｘ_ｎ、およびアップサンプリング処理部２０４から入力されるアップサンプリング後第１レイヤ復号信号ｙ_ｎを修正離散コサイン変換（ＭＤＣＴ：Modified Discrete Cosine Transform）する。

次に、直交変換処理部２０５における直交変換処理について、その計算手順と内部バッファへのデータ出力に関して説明する。

まず、直交変換処理部２０５は、下記の式（１）および式（２）によりバッファｂｕｆ１_ｎ、およびｂｕｆ２_ｎそれぞれを、「０」を初期値として初期化する。

次いで、直交変換処理部２０５は、入力信号ｘ_ｎ、アップサンプリング後第１レイヤ復号信号ｙ_ｎに対し下記の式（３）および式（４）に従ってＭＤＣＴし、入力信号のＭＤＣＴ係数（以下、入力スペクトルと呼ぶ）Ｓ２（ｋ）、およびアップサンプリング後第１レイヤ復号信号ｙ_nのＭＤＣＴ係数（以下、第１レイヤ復号スペクトルと呼ぶ）Ｓ１（ｋ）を求める。

ここで、ｋは１フレームにおける各サンプルのインデックスを示す。直交変換処理部２０５は、入力信号ｘ_ｎとバッファｂｕｆ１_ｎとを結合させたベクトルであるｘ'_ｎを下記の式（５）により求める。また、直交変換処理部２０５は、アップサンプリング後第１レイヤ復号信号ｙ_ｎとバッファｂｕｆ２_ｎとを結合させたベクトルであるｙ'_ｎを下記の式（６）により求める。

次に、直交変換処理部２０５は、式（７）および式（８）によりバッファｂｕｆ１_ｎおよびｂｕｆ２_ｎを更新する。

そして、直交変換処理部２０５は、入力スペクトルＳ２（ｋ）および第１レイヤ復号スペクトルＳ１（ｋ）を第２レイヤ符号化部２０７に出力する。

特性判定部２０６は、第１レイヤ符号化部２０２から入力される第１レイヤ符号化情報に含まれる量子化適応音源利得の値に応じて特性情報を生成し、第２レイヤ符号化部２０７に出力する。なお、特性判定部２０６の詳細については後述する。

第２レイヤ符号化部２０７は、特性判定部２０６から入力される特性情報に基づき、直交変換処理部２０５から入力される入力スペクトルＳ２（ｋ）および第１レイヤ復号スペクトルＳ１（ｋ）を用いて第２レイヤ符号化情報を生成し、生成した第２レイヤ符号化情報を符号化情報統合部２０８に出力する。なお、第２レイヤ符号化部２０７の詳細については後述する。

符号化情報統合部２０８は、第１レイヤ符号化部２０２から入力される第１レイヤ符号化情報と、第２レイヤ符号化部２０７から入力される第２レイヤ符号化情報とを統合し、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路１０２に出力する。

図４は、第１レイヤ符号化部２０２の内部の主要な構成を示すブロック図である。

図４において、前処理部３０１は、入力信号に対し、ＤＣ成分を取り除くハイパスフィルタ処理、後続する符号化処理の性能改善を図る波形整形処理又はプリエンファシス処理を行い、これらの処理を施して得られた信号XinをＬＰＣ（Linear Prediction Coefficients）分析部３０２および加算部３０５に出力する。

ＬＰＣ分析部３０２は、前処理部３０１から入力されるXinを用いて線形予測分析を行い、分析結果（線形予測係数）をＬＰＣ量子化部３０３に出力する。

ＬＰＣ量子化部３０３は、ＬＰＣ分析部３０２から入力される線形予測係数（ＬＰＣ）の量子化処理を行い、量子化ＬＰＣを合成フィルタ３０４に出力すると共に、量子化ＬＰＣを表す符号（Ｌ）を多重化部３１４に出力する。

合成フィルタ３０４は、ＬＰＣ量子化部３０３から入力される量子化ＬＰＣに基づくフィルタ係数により、後述する加算部３１１から入力される駆動音源に対してフィルタ合成を行って合成信号を生成し、合成信号を加算部３０５に出力する。

加算部３０５は、合成フィルタ３０４から入力される合成信号の極性を反転させて、極性を反転させた合成信号を前処理部３０１から入力されるXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部３１２に出力する。

適応音源符号帳３０６は、過去に加算部３１１によって出力された駆動音源をバッファに記憶しており、後述するパラメータ決定部３１３から入力される信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して、乗算部３０９に出力する。

量子化利得生成部３０７は、パラメータ決定部３１３から入力される信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部３０９および乗算部３１０に出力する。

固定音源符号帳３０８は、パラメータ決定部３１３から入力される信号によって特定される形状を有するパルス音源ベクトルを固定音源ベクトルとして乗算部３１０に出力する。なお、パルス音源ベクトルに拡散ベクトルを乗算して得られたものを固定音源ベクトルとして乗算部３１０に出力しても良い。

乗算部３０９は、量子化利得生成部３０７から入力される量子化適応音源利得を、適応音源符号帳３０６から入力される適応音源ベクトルに乗じて、加算部３１１に出力する。また、乗算部３１０は、量子化利得生成部３０７から入力される量子化固定音源利得を、固定音源符号帳３０８から入力される固定音源ベクトルに乗じて、加算部３１１に出力する。

加算部３１１は、乗算部３０９から入力される利得乗算後の適応音源ベクトルと、乗算部３１０から入力される利得乗算後の固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ３０４および適応音源符号帳３０６に出力する。なお、適応音源符号帳３０６に出力された駆動音源は、適応音源符号帳３０６のバッファに記憶される。

聴覚重み付け部３１２は、加算部３０５から入力される誤差信号に対して聴覚的な重み付けを行って符号化歪みとしてパラメータ決定部３１３に出力する。

パラメータ決定部３１３は、聴覚重み付け部３１２から入力される符号化歪みを最小とする適応音源ベクトル、固定音源ベクトルおよび量子化利得を、適応音源符号帳３０６、固定音源符号帳３０８および量子化利得生成部３０７からそれぞれ選択し、選択結果を示す適応音源ベクトル符号（Ａ）、固定音源ベクトル符号（Ｆ）および量子化利得符号（Ｇ）を多重化部３１４に出力する。また、パラメータ決定部３１３は、多重化部３１４に出力する量子化利得符号（Ｇ）に含まれる量子化適応音源利得（Ｇ＿Ａ）を特性判定部２０６に出力する。

多重化部３１４は、ＬＰＣ量子化部３０３から入力される量子化ＬＰＣを表す符号（Ｌ）、パラメータ決定部３１３から入力される適応音源ベクトル符号（Ａ）、固定音源ベクトル符号（Ｆ）および量子化利得符号（Ｇ）を多重化して第１レイヤ符号化情報として、第１レイヤ復号部２０３に出力する。

図５は、第１レイヤ復号部２０３の内部の主要な構成を示すブロック図である。

図５において、多重化分離部４０１は、第１レイヤ符号化部２０２から入力される第１レイヤ符号化情報を個々の符号（Ｌ）、（Ａ）、（Ｇ）、（Ｆ）に分離する。分離されたＬＰＣ符号（Ｌ）はＬＰＣ復号部４０２に出力され、分離された適応音源ベクトル符号（Ａ）は適応音源符号帳４０３に出力され、分離された量子化利得符号（Ｇ）は量子化利得生成部４０４に出力され、分離された固定音源ベクトル符号（Ｆ）は固定音源符号帳４０５に出力される。

ＬＰＣ復号部４０２は、多重化分離部４０１から入力される符号（Ｌ）から量子化ＬＰＣを復号し、復号した量子化ＬＰＣを合成フィルタ４０９に出力する。

適応音源符号帳４０３は、多重化分離部４０１から入力される適応音源ベクトル符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部４０６に出力する。

量子化利得生成部４０４は、多重化分離部４０１から入力される量子化利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得とを復号し、量子化適応音源利得を乗算部４０６に出力し、量子化固定音源利得を乗算部４０７に出力する。

固定音源符号帳４０５は、多重化分離部４０１から入力される固定音源ベクトル符号（Ｆ）で指定される固定音源ベクトルを生成し、乗算部４０７に出力する。

乗算部４０６は、適応音源符号帳４０３から入力される適応音源ベクトルに量子化利得生成部４０４から入力される量子化適応音源利得を乗算して、加算部４０８に出力する。また、乗算部４０７は、固定音源符号帳４０５から入力される固定音源ベクトルに量子化利得生成部４０４から入力される量子化固定音源利得を乗算して、加算部４０８に出力する。

加算部４０８は、乗算部４０６から入力される利得乗算後の適応音源ベクトルと、乗算部４０７から入力される利得乗算後の固定音源ベクトルとを加算して駆動音源を生成し、駆動音源を合成フィルタ４０９および適応音源符号帳４０３に出力する。

合成フィルタ４０９は、ＬＰＣ復号部４０２によって復号されたフィルタ係数を用いて、加算部４０８から入力される駆動音源のフィルタ合成を行い、合成した信号を後処理部４１０に出力する。

後処理部４１０は、合成フィルタ４０９から入力される信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、第１レイヤ復号信号としてアップサンプリング処理部２０４に出力する。

図６は、特性判定部２０６において特性情報を生成する処理の手順を示すフロー図である。なお、以下の説明ではステップを「ＳＴ」と記す。

まず、特性判定部２０６は、第１レイヤ符号化部２０２のパラメータ決定部３１３から量子化適応音源利得Ｇ＿Ａが入力される（ＳＴ１０１０）。次いで、特性判定部２０６は、量子化適応音源利得Ｇ＿Ａが閾値ＴＨより小さいか否かを判定する（ＳＴ１０２０）。ＳＴ１０２０において、Ｇ＿ＡがＴＨより小さいと判定した場合（ＳＴ１０２０：「ＹＥ
Ｓ」）には、特性判定部２０６は、特性情報の値を「０」に設定する（ＳＴ１０３０）。一方、ＳＴ１０２０において、Ｇ＿ＡがＴＨ以上であると判定した場合（ＳＴ１０２０：「ＮＯ」）には、特性判定部２０６は、特性情報の値を「１」に設定する（ＳＴ１０４０）。このように、特性情報は、「１」という値を用いて、入力スペクトルの調波構造の強度が予め定められたレベル以上であることを表し、「０」という値を用いて、入力スペクトルの調波構造の強度が予め定められたレベルより低いことを表す。次いで、特性判定部２０６は、特性情報を第２レイヤ符号化部２０７に出力する（ＳＴ１０５０）。

ここで、調波構造の強度とは、スペクトルの周期性および振幅の変動（山谷の大きさ）を表すパラメータであり、例えば周期性がはっきりするほど、また振幅の変動が大きいほど、調波構造が強いと言う。

図７は、第２レイヤ符号化部２０７の内部の主要な構成を示すブロック図である。

第２レイヤ符号化部２０７は、フィルタ状態設定部５０１、フィルタリング部５０２、探索部５０３、ピッチ係数設定部５０４、ゲイン符号化部５０５、および多重化部５０６を備え、各部は以下の動作を行う。

フィルタ状態設定部５０１は、直交変換処理部２０５から入力される第１レイヤ復号スペクトルＳ１(ｋ)［０≦ｋ＜ＦＬ］を、フィルタリング部５０２で用いるフィルタ状態として設定する。フィルタリング部５０２における全周波数帯域０≦ｋ＜ＦＨのスペクトルＳ(ｋ)の０≦ｋ＜ＦＬの帯域に、第１レイヤ復号スペクトルＳ１(ｋ)がフィルタの内部状態（フィルタ状態）として格納される。

フィルタリング部５０２は、マルチタップ（タップ数が１より多い）のピッチフィルタを備え、フィルタ状態設定部５０１により設定されたフィルタ状態と、ピッチ係数設定部５０４から入力されるピッチ係数に基づいて、第１レイヤ復号スペクトルをフィルタリングし、入力スペクトルの推定値Ｓ２’(ｋ)（ＦＬ≦ｋ＜ＦＨ）（以下、推定スペクトルと称す）を算出する。フィルタリング部５０２は、推定スペクトルＳ２’(ｋ)を探索部５０３に出力する。なお、フィルタリング部５０２におけるフィルタリング処理の詳細については後述する。

探索部５０３は、直交変換処理部２０５から入力される入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）と、フィルタリング部５０２から入力される推定スペクトルＳ２’(ｋ)との類似度を算出する。この類似度の算出は、例えば相関演算等により行われる。フィルタリング部５０２、探索部５０３、およびピッチ係数設定部５０４の処理は閉ループを構成する。この閉ループにおいて、探索部５０３は、ピッチ係数設定部５０４からフィルタリング部５０２に入力されるピッチ係数Ｔを種々に変化させることにより、各ピッチ係数に対応する類似度を算出する。そのうち類似度が最大となるピッチ係数、すなわち最適ピッチ係数Ｔ’を多重化部５０６に出力する。また、探索部５０３は、最適ピッチ係数Ｔ’に対応する推定スペクトルＳ２’(ｋ)をゲイン符号化部５０５に出力する。

ピッチ係数設定部５０４は、特性判定部２０６から入力される特性情報に基づき最適ピッチ係数Ｔ’の探索範囲を切り替える。そして、ピッチ係数設定部５０４は、探索部５０３の制御の下、ピッチ係数Ｔを探索範囲の中で少しずつ変化させながら、フィルタリング部５０２に順次出力する。例えば、ピッチ係数設定部５０４は、特性情報の値が「０」である場合には、Ｔｍｉｎ〜Ｔｍａｘ０を探索範囲とし、特性情報の値が「１」である場合には、Ｔｍｉｎ〜Ｔｍａｘ１を探索範囲とする。ここでは、Ｔｍａｘ０＜Ｔｍａｘ１とする。すなわち、特性情報の値が「１」である場合には、ピッチ係数設定部５０４は、最適ピッチ係数Ｔ’の探索範囲をより大きい探索範囲に切り替えることにより、ピッチ係数Ｔ
に割り当てるビット数を増加させる。また、特性情報の値が「０」である場合には、ピッチ係数設定部５０４は、最適ピッチ係数Ｔ’の探索範囲をより小さい探索範囲に切り替えることにより、ピッチ係数Ｔに割り当てるビット数を減少させる。

ゲイン符号化部５０５は、特性判定部２０６から入力される特性情報に基づき、直交変換処理部２０５から入力される入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）についてのゲイン情報を算出する。具体的には、ゲイン符号化部５０５は、周波数帯域ＦＬ≦ｋ＜ＦＨをＪ個のサブバンドに分割し、入力スペクトルＳ２（ｋ）のサブバンド毎のスペクトルパワを求める。この場合、第ｊサブバンドのスペクトルパワＢ(ｊ)は下記の式（９）で表される。

式（９）において、ＢＬ(ｊ)は第ｊサブバンドの最小周波数、ＢＨ(ｊ)は第ｊサブバンドの最大周波数を表す。また、ゲイン符号化部５０５は、同様に、探索部５０３から入力される推定スペクトルＳ２’(ｋ)のサブバンド毎のスペクトルパワＢ’(ｊ)を下記の式（１０）に従い算出する。次いで、ゲイン符号化部５０５は、入力スペクトルＳ２（ｋ）に対する推定スペクトルのサブバンド毎の変動量Ｖ(ｊ)を式（１１）に従い算出する。

そして、ゲイン符号化部５０５は、特性情報の値に応じて変動量Ｖ（ｊ）の符号化に用いるコードブックを切り替え、変動量Ｖ(ｊ)を符号化し、符号化後の変動量Ｖ_ｑ(ｊ)に対応するインデックスを多重化部５０６に出力する。ゲイン符号化部５０５は、特性情報の値が「０」である場合には、コードブックサイズがＳｉｚｅ０のコードブックに切り替え、特性情報の値が「１」である場合には、コードブックサイズがＳｉｚｅ１のコードブックに切り替え、変動量Ｖ（ｊ）の符号化を行う。ここで、Ｓｉｚｅ１＜Ｓｉｚｅ０とする。すなわち、ゲイン符号化部５０５は、特性情報の値が「０」である場合には、ゲインの変動量Ｖ（ｊ）の符号化に利用するコードブックをより大きいサイズ（コードベクトルのエントリ数）のコードブックに切り替えることにより、ゲインの変動量Ｖ（ｊ）の符号化に割り当てるビット数を増加させる。また、ゲイン符号化部５０５は、特性情報の値が「１」である場合には、ゲインの変動量Ｖ（ｊ）の符号化に利用するコードブックをより小さいサイズのコードブックに切り替えることにより、ゲインの変動量Ｖ（ｊ）の符号化に割り当てるビット数を減少させる。なお、ゲイン符号化部５０５においてゲインの変動量Ｖ（ｊ）に割り当てるビット数の変化量を、ピッチ係数設定部５０４においてピッチ係数Ｔに割り当てるビット数の変化量と同様にすれば、第２レイヤ符号化部２０７における符号化に用いるビット数を一定にすることができる。例えば、特性情報の値が「０」である場合には、ゲイン符号化部５０５においてゲインの変動量Ｖ（ｊ）に割り当てるビット数の増加量を、ピッチ係数設定部５０４においてピッチ係数Ｔに割り当てるビット数の減少量と同様にすれば良い。

多重化部５０６は、探索部５０３から入力される最適ピッチ係数Ｔ’と、ゲイン符号化部５０５から入力される変動量Ｖ(ｊ)のインデックスと、特性判定部２０６から入力される特性情報と、を第２レイヤ符号化情報として多重化し、符号化情報統合部２０８に出力する。なお、Ｔ’、Ｖ（ｊ）、特性情報を直接、符号化情報統合部２０８に入力して、符号化情報統合部２０８にて第１レイヤ符号化情報と多重化しても良い。

次いで、フィルタリング部５０２におけるフィルタリング処理の詳細について、図８を用いて説明する。

フィルタリング部５０２は、ピッチ係数設定部５０４から入力されるピッチ係数Ｔを用いて、帯域ＦＬ≦ｋ＜ＦＨのスペクトルを生成する。フィルタリング部５０２の伝達関数は下記の式（１２）で表される。

式（１２）において、Ｔはピッチ係数設定部５０４から与えられるピッチ係数、β_ｉは予め内部に記憶されているフィルタ係数を表している。例えば、タップ数が３の場合、フィルタ係数の候補は（β_−１、β_０、β_１）＝（０．１、０．８、０．１）が例として挙げられる。この他に（β_−１、β_０、β_１）＝（０．２、０．６、０．２）、（０．３、０．４、０．３）などの値も適当である。また、式（１２）においてＭ＝１とする。Ｍはタップ数に関する指標である。

フィルタリング部５０２における全周波数帯域のスペクトルＳ(ｋ)の０≦ｋ＜ＦＬの帯域には、第１レイヤ復号スペクトルＳ１(ｋ)がフィルタの内部状態（フィルタ状態）として格納される。

Ｓ(ｋ)のＦＬ≦ｋ＜ＦＨの帯域には、以下の手順のフィルタリング処理により、推定スペクトルＳ２’(ｋ)が格納される。すなわち、Ｓ２’(ｋ)には、基本的に、このｋよりＴだけ低い周波数のスペクトルＳ(ｋ−Ｔ)が代入される。ただし、スペクトルの円滑性を増すために、実際には、スペクトルＳ(ｋ−Ｔ)からｉだけ離れた近傍のスペクトルＳ(ｋ−Ｔ＋ｉ)にフィルタ係数β_ｉを乗じたスペクトルβ_ｉ・Ｓ(ｋ−Ｔ＋ｉ)を、全てのｉについて加算したスペクトルをＳ２’(ｋ)に代入する。この処理は下記の式（１３）で表される。

上記演算を、周波数の低いｋ＝ＦＬから順に、ｋをＦＬ≦ｋ＜ＦＨの範囲で変化させて行うことにより、ＦＬ≦ｋ＜ＦＨにおける推定スペクトルＳ２’(ｋ)を算出する。

以上のフィルタリング処理は、ピッチ係数設定部５０４からピッチ係数Ｔが与えられる度に、ＦＬ≦ｋ＜ＦＨの範囲において、その都度Ｓ(ｋ)をゼロクリアして行われる。すなわち、ピッチ係数Ｔが変化するたびにＳ(ｋ)は算出され、探索部５０３に出力される。

次いで、探索部５０３において最適ピッチ係数Ｔ’を探索する処理の手順について、図９を用いて説明する。図９は、探索部５０３において最適ピッチ係数Ｔ’を探索する処理
の手順を示すフロー図である。

まず、探索部５０３は、類似度の最小値を保存するための変数である最小類似度Ｄ_ｍｉｎを［＋∞］に初期化する（ＳＴ４０１０）。次いで、探索部５０３は、下記の式（１４）に従い、あるピッチ係数における入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）と、推定スペクトルＳ２’(ｋ)との類似度Ｄを算出する（ＳＴ４０２０）。

式（１４）において、Ｍ’は、類似度Ｄを算出する際のサンプル数を示し、高域部のサンプル長（ＦＨ−ＦＬ＋１）以下の任意の値で良い。

なお、上述したように、フィルタリング部５０２において生成される推定スペクトルは、第１レイヤ復号スペクトルをフィルタリングして得られるスペクトルである。従って、探索部５０３において算出される入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）と、推定スペクトルＳ２’(ｋ)との類似度は、入力スペクトルＳ２(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）と、第１レイヤ復号スペクトルとの類似度を表すことにもなる。

次いで、探索部５０３は、算出した類似度Ｄが最小類似度Ｄ_ｍｉｎより小さいか否かを判定する（ＳＴ４０３０）。ＳＴ４０２０において算出された類似度が最小類似度Ｄ_ｍｉｎより小さい場合（ＳＴ４０３０：「ＹＥＳ」）には、探索部５０３は、類似度Ｄを最小類似度Ｄ_ｍｉｎに代入する（ＳＴ４０４０）。一方、ＳＴ４０２０において算出された類似度が最小類似度Ｄ_ｍｉｎ以上である場合（ＳＴ４０３０：「ＮＯ」）には、探索部５０３は、探索範囲が終了したか否かを判定する。すなわち、探索部５０３は、探索範囲内のすべてのピッチ係数それぞれに対し、ＳＴ４０２０において上記の式（１４）に従って類似度を算出したか否かを判定する（ＳＴ４０５０）。探索範囲が終了しなかった場合（ＳＴ４０５０：「ＮＯ」）には、探索部５０３は処理を再びＳＴ４０２０に戻す。そして、探索部５０３は、前回ＳＴ４０２０の手順において式（１４）に従って類似度を算出した場合とは異なるピッチ係数に対して、式（１４）に従い類似度を算出する。一方、探索範囲が終了した場合（ＳＴ４０５０：「ＹＥＳ」）には、探索部５０３は、最小類似度Ｄ_ｍｉｎに対応するピッチ係数Ｔを最適ピッチ係数Ｔ’として多重化部５０６に出力する（ＳＴ４０６０）。

次いで、図２に示した復号装置１０３について説明する。

図１０は、復号装置１０３の内部の主要な構成を示すブロック図である。

図１０において、符号化情報分離部６０１は、入力された符号化情報の中から第１レイヤ符号化情報と第２レイヤ符号化情報とを分離し、分離した第１レイヤ符号化情報を第１レイヤ復号部６０２に出力し、分離した第２レイヤ符号化情報を第２レイヤ復号部６０５に出力する。

第１レイヤ復号部６０２は、符号化情報分離部６０１から入力される第１レイヤ符号化情報に対して復号を行い、生成された第１レイヤ復号信号をアップサンプリング処理部６０３に出力する。ここで、第１レイヤ復号部６０２の構成および動作は、図３に示した第１レイヤ復号部２０３と同様であるため、詳細な説明は省略する。

アップサンプリング処理部６０３は、第１レイヤ復号部６０２から入力される第１レイヤ復号信号に対してサンプリング周波数をＳＲ_ｂａｓｅからＳＲ_{ｉｎｐｕｔ}までアップサンプリングする処理を行い、アップサンプリングする処理により得られるアップサンプリング後第１レイヤ復号信号を直交変換処理部６０４に出力する。

直交変換処理部６０４は、アップサンプリング処理部６０３から入力されるアップサンプリング後第１レイヤ復号信号に対して直交変換処理（ＭＤＣＴ）を施し、得られるアップサンプリング後第１レイヤ復号信号のＭＤＣＴ係数（以下、第１レイヤ復号スペクトルと呼ぶ）Ｓ１(ｋ)を第２レイヤ復号部６０５に出力する。ここで、直交変換処理部６０４の構成および動作は、図３に示した直交変換処理部２０５と同様であるため、詳細な説明は省略する。

第２レイヤ復号部６０５は、直交変換処理部６０４から入力される第１レイヤ復号スペクトルＳ１(ｋ)、および符号化情報分離部６０１から入力される第２レイヤ符号化情報から、高域成分を含む第２レイヤ復号信号を生成し、これを出力信号として出力する。

図１１は、図１０に示した第２レイヤ復号部６０５の内部の主要な構成を示すブロック図である。

図１１において、分離部７０１は、符号化情報分離部６０１から入力される第２レイヤ符号化情報を、フィルタリングに関する情報である最適ピッチ係数Ｔ’と、ゲインに関する情報である符号化後変動量Ｖ_ｑ(ｊ)のインデックスと、調波構造に関する情報である特性情報と、に分離し、最適ピッチ係数Ｔ’をフィルタリング部７０３に出力し、符号化後変動量Ｖ_ｑ(ｊ)のインデックスと、特性情報とをゲイン復号部７０４に出力する。なお、符号化情報分離部６０１において、最適ピッチ係数Ｔ’、符号化後変動量Ｖ_ｑ(ｊ)のインデックス、特性情報を分離済みの場合は、分離部７０１を配置しなくても良い。

フィルタ状態設定部７０２は、直交変換処理部６０４から入力される第１レイヤ復号スペクトルＳ１(ｋ)［０≦ｋ＜ＦＬ］を、フィルタリング部７０３で用いるフィルタ状態として設定する。ここで、フィルタリング部７０３における全周波数帯域０≦ｋ＜ＦＨのスペクトルを便宜的にＳ(ｋ)と呼ぶ場合、Ｓ(ｋ)の０≦ｋ＜ＦＬの帯域に、第１レイヤ復号スペクトルＳ１(ｋ)がフィルタの内部状態（フィルタ状態）として格納される。ここで、フィルタ状態設定部７０２の構成および動作は、図７に示したフィルタ状態設定部５０１と同様であるため、詳細な説明は省略する。

フィルタリング部７０３は、マルチタップ（タップ数が１より多い）のピッチフィルタを備える。フィルタリング部７０３は、フィルタ状態設定部７０２により設定されたフィルタ状態と、分離部７０１から入力される最適ピッチ係数Ｔ’と、予め内部に格納しているフィルタ係数とに基づき、第１レイヤ復号スペクトルＳ１(ｋ)をフィルタリングし、上記の式（１３）に示す、入力スペクトルＳ２(ｋ)の推定スペクトルＳ２’(ｋ)を算出する。フィルタリング部７０３でも、上記の式（１２）に示したフィルタ関数が用いられる。

ゲイン復号部７０４は、分離部７０１から入力される特性情報を用いて、符号化後変動量Ｖ_ｑ(ｊ)のインデックスを復号し、変動量Ｖ(ｊ)の量子化値である変動量Ｖ_ｑ(ｊ)を求める。ここで、ゲイン復号部７０４は、特性情報の値に応じて、符号化後変動量Ｖ_ｑ(ｊ)のインデックスの復号に用いるコードブックを切り替える。ゲイン復号部７０４におけるコードブックの切り替え方法は、ゲイン符号化部５０５におけるコードブックの切り替え方法と同様である。すなわち、ゲイン復号部７０４は、特性情報の値が「０」である場合には、コードブックサイズがＳｉｚｅ０のコードブックに切り替え、特性情報の値が「１
」である場合には、コードブックサイズがＳｉｚｅ１のコードブックに切り替える。ここでも、Ｓｉｚｅ１＜Ｓｉｚｅ０とする。

スペクトル調整部７０５は、下記の式（１５）に従い、フィルタリング部７０３から入力される推定スペクトルＳ２’(ｋ)に、ゲイン復号部７０４から入力されるサブバンド毎の変動量Ｖ_ｑ(ｊ)を乗じる。これにより、スペクトル調整部７０５は、推定スペクトルＳ２’(ｋ)の周波数帯域ＦＬ≦ｋ＜ＦＨにおけるスペクトル形状を調整し、第２レイヤ復号スペクトルＳ３(ｋ)を生成して直交変換処理部７０６に出力する。

ここで、第２レイヤ復号スペクトルＳ３(ｋ)の低域部（０≦ｋ＜ＦＬ）は第１レイヤ復号スペクトルＳ１（ｋ）からなり、第２レイヤ復号スペクトルＳ３(ｋ)の高域部（ＦＬ≦ｋ＜ＦＨ）はスペクトル形状調整後の推定スペクトルＳ２’(ｋ)からなる。

直交変換処理部７０６は、スペクトル調整部７０５から入力される第２レイヤ復号スペクトルＳ３（ｋ）を時間領域の信号に変換し、得られる第２レイヤ復号信号を出力信号として出力する。ここでは、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行い、フレーム間に生じる不連続を回避する。

以下、直交変換処理部７０６における具体的な処理について説明する。

直交変換処理部７０６は、バッファｂｕｆ’（ｋ）を内部に有しており、下記の式（１６）に示すようにバッファｂｕｆ’（ｋ）を初期化する。

また、直交変換処理部７０６は、スペクトル調整部７０５から入力される第２レイヤ復号スペクトルＳ３（ｋ）を用いて下記の式（１７）に従い、第２レイヤ復号信号ｙ”_ｎを求めて出力する。

式（１７）において、Ｚ５（ｋ）は、下記の式（１８）に示すように、復号スペクトルＳ３（ｋ）とバッファｂｕｆ’（ｋ）とを結合させたベクトルである。

次に、直交変換処理部７０６は、下記の式（１９）に従いバッファｂｕｆ’（ｋ）を更新する。

次に、直交変換処理部７０６は、復号信号ｙ”_ｎを出力信号として出力する。

このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化／復号において、符号化装置は量子化適応音源利得を用いて入力スペクトルの調波構造の強度を分析し、その分析結果に応じて符号化パラメータ間のビットアロケーションを適切に変更するため、復号装置で得られる復号信号の音質を向上することができる。

具体的には、本実施の形態に係る符号化装置は、量子化適応音源利得が閾値以上である場合には、入力スペクトルの調波構造が比較的強いと判断し、閾値未満である場合には、入力スペクトルの調波構造が比較的弱いと判断する。そして、前者の場合においては、帯域拡張のフィルタリングに用いる最適ピッチ係数を探索するためのビット数を増加させる代わりに、ゲインに関する情報を符号化するためのビット数を減少させる。また、後者の場合においては、帯域拡張のフィルタリングに用いる最適ピッチ係数を探索するためのビット数を減少させる代わりに、ゲインに関する情報を符号化するためのビット数を増加させる。これにより、入力スペクトルの調波構造に応じた適切なビットアロケーションで符号化を行うことができ、復号装置において復号信号の音質を向上することができる。

なお、本実施の形態では、特性判定部２０６は、量子化適応音源利得を利用して特性情報を生成する場合を例にとって説明した。ただし、本発明はこれに限定されず、特性判定部２０６は、第１レイヤ符号化情報に含まれるその他のパラメータ、例えば適応音源ベクトルを利用して特性情報を決定しても良い。また、特性情報の決定に利用するパラメータの数は１つに限らず、複数あるいは第１レイヤ符号化情報に含まれる全てであっても良い。

また、本実施の形態では、特性判定部２０６は、第１レイヤ符号化情報に含まれる量子化適応音源利得を利用して特性情報を生成する場合を例にとって説明した。ただし、本発明はこれに限定されず、特性判定部２０６は、直接、入力スペクトルの調波構造の強度を分析し特性情報を生成しても良い。入力スペクトルの調波構造の強度の分析方法としては、例えば入力信号のフレーム毎のエネルギ変化量を算出する方法などが挙げられる。以下、図１２および図１３を用いてこのような方法について説明する。図１２は、エネルギ変化量により特性情報を生成する符号化装置１１１の内部の主要な構成を示すブロックである。符号化装置１１１は、特性判定部２０６の代わりに特性判定部２１６を備える点において図３に示した符号化装置１０１と相違する。図１２において、特性判定部２１６には直接、入力信号が入力される。図１３は、特性判定部２１６において特性情報を生成する処理の手順を示すフロー図である。まず、特性判定部２１６は、入力信号の現フレームのエネルギＥ＿ｃｕｒを算出する（ＳＴ２０１０）。次いで、特性判定部２１６は、現フレームのエネルギＥ＿ｃｕｒと１つ前のフレームのエネルギＥ＿Ｐｒｅとの差の絶対値｜Ｅ＿ｃｕｒ−Ｅ＿Ｐｒｅ｜が閾値ＴＨ以上であるか否かを判定する（ＳＴ２０２０）。特性判定部２１６は、｜Ｅ＿ｃｕｒ−Ｅ＿Ｐｒｅ｜がＴＨ以上である場合（ＳＴ２０２０：「ＹＥＳ」）には、特性情報の値を「０」に設定し（ＳＴ２０３０）、｜Ｅ＿ｃｕｒ−Ｅ＿Ｐｒｅ｜がＴＨ未満である場合（ＳＴ２０２０：「ＮＯ」）には、特性情報の値を「１」に設定する（ＳＴ２０４０）。次いで、特性判定部２１６は、特性情報を第２レイヤ符号化部２０７に出力し（ＳＴ２０５０）、現フレームのエネルギＥ＿ｃｕｒを用いて１つ前のフレームのエネルギＥ＿Ｐｒｅを更新する（ＳＴ２０６０）。なお、特性判定部２１６は、過去の数フレームそれぞれにおけるエネルギを記憶しており、過去のフレームに対する現フレームのエネルギの変動量の算出に用いても良い。

また、本実施の形態では、第２レイヤ符号化部２０７中のピッチ係数設定部５０４において、設定するピッチ係数の範囲の大きさ（エントリ数）を変更するとともに、ゲイン符
号化部５０５において符号化時のコードブックサイズのサイズ（エントリ数）を変更することにより、入力信号の特性に対応してビットアロケーションを変更する場合について説明した。ただし、本発明はこれに限定されず、単純なピッチ係数の範囲の大きさやコードブックサイズの変更以外の方法で符号化処理を切り替える場合についても同様に適用できる。例えば、ピッチ係数の設定方法については、単純にピッチ係数の設定範囲を「Ｔｍｉｎ〜Ｔｍａｘ０」及び「Ｔｍｉｎ〜Ｔｍａｘ１」のいずれかに切り替えるのではなく、非連続的に切り替えることもできる。つまり、特性情報の値が「０」の場合は、「Ｔｍｉｎ〜Ｔｍａｘ０（エントリ数はＴｍａｘ０−Ｔｍｉｎ）」を探索するが、特性情報の値が「１」の場合は、「Ｔｍｉｎ〜Ｔｍａｘ２の範囲でｋ個おき（エントリ数はＴｍａｘ１−Ｔｍｉｎ）」という条件で探索を行うことも可能である。なお、エントリ数については前述した条件で行う。このように、単純にピッチ係数のエントリ数を連続的に変化させるだけでなく、エントリ数が（Ｔｍａｘ１−Ｔｍｉｎ）という条件で非連続的にピッチ係数を変化させることで、より入力信号の特性に応じたピッチ係数の設定方法を採ることが可能である。この切替方法は、本実施の形態で説明した切替方法に比べ、入力信号の低域部の広範囲に渡って類似探索を行うことが可能になるため、入力信号のスペクトル特性が、低域全体で大きく異なっている場合に特に有効である。

また、コードブックサイズについては、単純にコードブックサイズがＳｉｚｅ０であるコードブックとＳｉｚｅ１であるコードブックとを切り替えるという方法だけではなく、符号化するゲインの構成自体を変化させることもできる。例えば、ゲイン符号化部５０５は、特性情報の値が「０」の場合は、周波数帯域ＦＬ≦ｋ＜ＦＨをＪ個のサブバンドではなくＫ個のサブバンド（Ｋ＞Ｊ）に分割し、各サブバンドのゲインの変動量を符号化することもできる。ここでは、Ｋ個のサブバンドのゲインの変動量を、前述したコードブックサイズがＳｉｚｅ０である場合に必要とする情報量で符号化するものとする。このように、単純にゲインの変動量を符号化する時のコードブックサイズを変更するのではなく、サブバンドのバンド幅を減らし、サブバンド数を増やした条件でゲインの変動量を符号化することにより、より入力信号の特性に応じたゲインの符号化をすることが可能である。この方法は、高域のゲインのサブバンド数を変更することで、周波数軸上でのゲインの分解能を向上させることができ、入力信号の高域のスペクトルのパワーが周波数軸上で大きく変動している場合に特に有効である。

（実施の形態２）
本発明の実施の形態１では、時間領域の信号または符号化情報を用いて特性情報を生成する場合を例にとって説明した。これに対し、本発明の実施の形態２では、入力信号を周波数領域に変換し、調波構造の強度を分析して特性情報を生成する場合について、図１４及び図１５を用いて説明する。

本実施の形態に係る通信システムは、本発明の実施の形態１に係る通信システムと同様であり、符号化装置１０１の代わりに符号化装置１２１を備える点のみにおいて相違する。

図１４は、本発明の実施の形態２に係る符号化装置１２１の内部の主要な構成を示すブロック図である。なお、図１４に示す符号化装置１２１は、図３に示した符号化装置１０１と基本的に同様であり、特性判定部２０６の代わりに特性判定部２２６を備える点のみが相違する。

特性判定部２２６は、直交変換処理部２０５から入力される入力スペクトルの調波構造の強度を分析し、この分析結果に基づき特性情報を生成して第２レイヤ符号化部２０７に出力する。なお、ここでは、入力スペクトルの調波構造としてスペクトルフラットネスメジャー（ＳＦＭ：Spectral Flatness Measure）を用いる場合を例にとって説明する。Ｓ
ＦＭは、振幅スペクトルの幾何平均と算術平均との比（＝幾何平均／算術平均）で表される。スペクトルのピーク性が強いほどＳＦＭは０．０に近づき、スペクトルの雑音性が強いほどＳＦＭは１．０に近づく。特性判定部２２６は、入力信号スペクトルのＳＦＭを算出し、下記の式（２０）のように予め定められた閾値ＳＦＭ_ｔｈと比較して特性情報Ｈを生成する。

図１５は、特性判定部２２６において特性情報を生成する処理の手順を示すフロー図である。

まず、特性判定部２２６は、入力スペクトルの調波構造の強度の分析結果としてＳＦＭを算出する（ＳＴ３０１０）。次いで、特性判定部２２６は、入力スペクトルのＳＦＭが閾値ＳＦＭ_ｔｈ以上であるか否かを判定する（ＳＴ３０２０）。入力スペクトルのＳＦＭがＳＦＭ_ｔｈ以上である場合（ＳＴ３０２０：「ＹＥＳ」）には、特性情報Ｈの値を「０」に設定し（ＳＴ３０３０）、入力スペクトルのＳＦＭがＳＦＭ_ｔｈ未満である場合（ＳＴ３０２０：「ＮＯ」）には、特性情報Ｈの値を「１」に設定する（ＳＴ３０４０）。次いで、特性判定部２２６は、特性情報を第２レイヤ符号化部２０７に出力する（ＳＴ３０５０）。

このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化／復号において、符号化装置は入力信号を周波数領域に変換して得られる入力スペクトルの調波構造の強度を分析し、その分析結果に応じて符号化パラメータ間のビットアロケーションを変更する。このため、復号装置で得られる復号信号の音質を向上することができる。

なお、本実施の形態では、入力スペクトルの調波構造としてＳＦＭを用いて特性情報を生成する場合を例にとって説明した。ただし、本発明はこれに限定されず、入力信号スペクトルの調波構造として他のパラメータを用いても良い。例えば、特性判定部２２６は、入力スペクトルに対して、振幅が予め定められた閾値以上であるピークの個数をカウントし（入力スペクトルが連続して閾値以上である場合には、連続する部分を１つのピークとしてカウントする）、その個数が予め定められた数未満である場合には調波構造が強いと判定する（すなわち特性情報Ｈの値を「１」に設定する）。なお、ピークの個数が閾値以上である場合と閾値未満である場合に特性情報Ｈの値を逆にしても構わない。また、特性判定部２２６は、第１レイヤ符号化部２０２で算出されるピッチ周期を利用したコムフィルタを用いて入力スペクトルをフィルタリングし、各周波数帯域毎のエネルギを算出し、算出されたエネルギが予め定められた閾値以上である場合には調波構造が強いと判定しても良い。また、特性判定部２２６は、ダイナミックレンジを利用して入力スペクトルの調波構造を分析し特性情報を生成しても良い。また、特性判定部２２６は、入力スペクトルに対してｔｏｎａｌｉｔｙ（調波性）を算出し、算出したｔｏｎａｌｉｔｙに応じて、第２レイヤ符号化部２０７の符号化処理を切替えても良い。ｔｏｎａｌｉｔｙについては、ＭＰＥＧ−２ ＡＡＣ（ＩＳＯ／ＩＥＣ １３８１８−７）に開示されているため、ここでは説明を省略する。

また、本実施の形態では、入力スペクトルに対し処理フレーム毎に特性情報を生成する場合を例にとって説明した。ただし、本発明はこれに限定されず、入力スペクトルに対しサブバンド毎に特性情報を生成しても良い。すなわち、特性判定部２２６は、入力スペクトルのサブバンド毎の調波構造の強度の判定を行い特性情報を生成しても良い。ここで、
調波構造の強度の判定を行うサブバンドとしては、ゲイン符号化部５０５およびゲイン復号部７０４におけるサブバンドと同一構成にしても良く、ゲイン符号化部５０５およびゲイン復号部７０４におけるサブバンドと同一構成にしなくても良い。このようにサブバンド毎に調波構造を分析し、分析結果に応じて第２レイヤ符号化部２０７において帯域拡張処理を切り替えれば、さらに効率よく入力信号を符号化することができる。

以上、本発明の各実施の形態について説明した。

なお、上記各実施の形態では、探索部５０３が入力スペクトルの高域部Ｓ２（ｋ）（ＦＬ≦ｋ＜ＦＨ）と推定スペクトルＳ２’（ｋ）との近似部分を探索する際、すなわち、最適ピッチ係数Ｔ’を探索する際、各スペクトルの全部分に対して、特性情報の値に応じて探索範囲を切り替えて探索を行う場合を例にとって説明した。ただし、本発明はこれに限定されず、各スペクトルの一部分、例えば、先頭部分などに対してのみ、特性情報の値に応じて探索範囲を切り替えて探索を行っても良い。

また、上記各実施の形態では、ゲイン復号部において、特性情報を用いてコードブックを切り替える例を説明したが、特性情報を使用せず、コードブックを切り替えずに復号を行うことも可能である。

また、上記各実施の形態では、特性情報の値として「０」および「１」を用いる場合を例にとって説明した。ただし、本発明はこれに限定されず、調波構造の強度と比較される閾値を２つ以上設けて、特性情報を３種類以上の値に設定しても良い。この場合、探索部５０３、ゲイン符号化部５０５、およびゲイン復号部７０４においては、それぞれ３種類以上の探索範囲、およびコードブックサイズが異なる３種類以上のコードブックを用意し、特性情報に応じて探索範囲またはコードブックを適宜切り替える。

また、上記各実施の形態では、特性情報の値に応じて、探索部５０３、ゲイン符号化部５０５、およびゲイン復号部７０４において、それぞれ探索範囲またはコードブックを切り替え、ピッチ係数またはゲインの符号化に割り当てるビット数を変化させる場合を例にとって説明した。ただし、本発明はこれに限定されず、特性情報の値に応じて、ピッチ係数またはゲイン以外の符号化パラメータに割り当てるビット数を変化させても良い。

また、上記各実施の形態では、入力スペクトルの調波構造の強度に応じて最適ピッチ係数Ｔ’を探索する探索範囲を切替える場合を例にとって説明した。ただし、本発明はこれに限定されず、入力スペクトルの調波構造が予め設定されたレベル以下である場合には、探索部５０３において最適ピッチ係数Ｔ’を探索せず、常にあるピッチ係数を固定的に選択し、その反面、ゲイン符号化により多くのビット数を割り当てても良い。その理由は、適応音源利得が非常に小さい場合には、入力信号の低域スペクトルのピッチ性が非常に弱いことを意味し、探索部５０３において最適なピッチ係数を探索するために多くのビットを使うよりも、高域スペクトルのゲインの符号化により多くのビットを使った方が、全体的な符号化精度を向上することができるからである。

また、上記各実施の形態では、特性情報の値に応じて、ゲイン符号化部５０５およびゲイン復号部７０４においてコードブックサイズが異なる複数のコードブックを切り替える場合を例にとって説明した。ただし、本発明はこれに限定されず、同一コードブックに対して符号化に用いられるエントリ数のみを切り替えても良い。これにより、符号化装置および復号装置内に必要とするメモリ量を削減することができる。また、この場合、同一コードブックに格納されているコードの並び順を、用いられるエントリ数それぞれに対応させれば、より効率的に符号化を行うことができる。

また、上記各実施の形態では、第１レイヤ符号化部２０２および第１レイヤ復号部２０３はＣＥＬＰ方式の音声符号化／復号を行う場合を例にとって説明した。ただし、本発明はこれに限定されず、第１レイヤ符号化部２０２および第１レイヤ復号部２０３はＣＥＬＰ方式以外の音声符号化／復号を行っても良い。

また、比較に用いる閾値、レベル、または個数は、固定値であっても、条件等により適宜設定される可変の値であっても良く、比較が実行されるまでに予め設定された値であれば良い。

また、上記各実施の形態における復号装置は、上記各実施の形態における符号化装置から伝送されたビットストリームを用いて処理を行うとしたが、本発明はこれに限定されず、必要なパラメータやデータを含むビットストリームであれば、必ずしも上記各実施の形態における符号化装置からのビットストリームでなくても処理は可能である。

また、信号処理プログラムを、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用および効果を得ることができる。

また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル／プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２００７年１２月２１日出願の特願２００７−３３０８３８の日本出願、及び２００８年５月１６日出願の特願２００８−１２９７１０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明にかかる符号化装置、復号装置および符号化方法は、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する際に、復号信号の品質を向上することができ、例えば、パケット通信システム、移動通信システムなどに適用できる。

従来の帯域拡張技術におけるスペクトル特性を示す図 本発明の実施の形態１に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図 図２に示した符号化装置の内部の主要な構成を示すブロック図 図３に示した第１レイヤ符号化部の内部の主要な構成を示すブロック図 図３に示した第１レイヤ復号部の内部の主要な構成を示すブロック図 図３に示した特性判定部において特性情報を生成する処理の手順を示すフロー図 図３に示した第２レイヤ符号化部の内部の主要な構成を示すブロック図 図７に示したフィルタリング部におけるフィルタリング処理の詳細について説明するための図 図７に示した探索部において最適ピッチ係数Ｔ’を探索する処理の手順を示すフロー図 図２に示した復号装置の内部の主要な構成を示すブロック図 図１０に示した第２レイヤ復号部の内部の主要な構成を示すブロック図 図３に示した符号化装置のバリエーションの内部の主要な構成を示すブロック図 図１２に示した特性判定部において特性情報を生成する処理の手順を示すフロー図 本発明の実施の形態２に係る符号化装置の内部の主要な構成を示すブロック図 図１４に示した特性判定部において特性情報を生成する処理の手順を示すフロー図

Claims (14)

1. 入力信号を符号化して第１符号化情報を生成する第１符号化手段と、
   前記第１符号化情報を復号して第１復号信号を生成する復号手段と、
   前記入力信号の調波構造の強度を分析し、分析した前記入力信号の調波構造の強度と所定の閾値との比較結果に応じて異なる値の調波特性情報を生成する特性判定手段と、
   前記入力信号に対する前記第１復号信号の差分を符号化して第２符号化情報を生成するとともに、前記調波特性情報に基づいて、前記第２符号化情報を構成する複数のパラメータに割り当てるビット数を変更する第２符号化手段と、
   を具備する符号化装置。
2. 前記第１符号化手段は、
   前記入力信号に対して、ＣＥＬＰ(Code Excited Linear Prediction)方式の音声符号化を行い、量子化適応音源利得を含む前記第１符号化情報を生成し、
   前記特性判定手段は、
   前記量子化適応音源利得が第１閾値以上であるか否かによって、異なる値の前記調波特性情報を生成する、
   請求項１記載の符号化装置。
3. 前記第２符号化手段は、
   予め設定された周波数以下の低域の信号である前記第１復号信号をフィルタリングして、前記入力信号の前記周波数より高い高域の部分を推定した信号である推定信号を生成するフィルタリング手段と、
   前記量子化適応音源利得が前記第１閾値以上である場合には、より大きい探索範囲に切り替え、前記量子化適応音源利得が前記第１閾値未満である場合には、より小さい探索範囲に切り替え、前記フィルタリング手段に用いられるピッチ係数を、前記探索範囲で変化させながら設定する設定手段と、
   前記入力信号の低域部分または前記推定信号の何れかと、前記入力信号の高域部分との類似度合いが最も小さくなる場合の前記ピッチ係数を探索する探索手段と、
   を具備する請求項２記載の符号化装置。
4. 前記第２符号化手段は、
   予め設定された周波数以下の低域の信号である前記第１復号信号をフィルタリングして、前記入力信号の前記周波数より高い高域の部分を推定した信号である推定信号を生成するフィルタリング手段と、
   前記量子化適応音源利得が前記第１閾値以上である場合には、探索候補数を第２閾値より大きな値に設定し、前記量子化適応音源利得が前記第１閾値未満である場合には、探索候補数を前記第２閾値より小さな値に設定し、前記フィルタリング手段に用いられるピッチ係数を、前記探索候補数に応じて変化させながら設定する設定手段と、
   前記入力信号の低域部分または前記推定信号の何れかと、前記入力信号の高域部分との類似度合いが最も小さくなる場合の前記ピッチ係数を探索する探索手段と、
   を具備する請求項２記載の符号化装置。
5. 前記第２符号化手段は、
   複数のコードベクトルからなるゲインコードブックを用いて前記入力信号のゲインの符号化を行うゲイン符号化手段、
   を具備し、
   前記ゲイン符号化手段は、
   前記量子化適応音源利得が前記第１閾値以上である場合には、前記ゲインの符号化に用いるコードベクトルの数をより小さくし、前記量子化適応音源利得が前記第１閾値未満である場合には、前記ゲインの符号化に用いるコードベクトルの数をより大きくする、
   請求項２記載の符号化装置。
6. 前記第２符号化手段は、
   複数のコードベクトルからなるゲインコードブックを用いて前記入力信号のゲインの符号化を行うゲイン符号化手段、
   を具備し、
   前記ゲイン符号化手段は、
   前記量子化適応音源利得が前記第１閾値以上である場合には、前記ゲインの符号化時のサブバンド数を減らし、前記量子化適応音源利得が前記第１閾値未満である場合には、前記ゲインの符号化時のサブバンド数を増やす、
   請求項２記載の符号化装置。
7. 前記ゲイン符号化手段は、
   コードブックサイズが異なる複数の前記ゲインコードブックを備え、前記ゲイン符号化に用いるゲインコードブックを切り替えることにより、前記ゲイン符号化に用いるコードベクトルの数を変更する、
   請求項５記載の符号化装置。
8. 前記ゲイン符号化手段は、
   前記ゲインコードブックを１つ備え、前記１つのゲインコードブックを構成する複数のコードベクトルのうち、前記ゲイン符号化に用いるコードベクトルの数を変更する、
   請求項５記載の符号化装置。
9. 前記特性判定手段は、
   前記入力信号の過去フレームに対する現フレームのエネルギの変化量を算出し、前記変化量が閾値以上であるか否かによって、異なる値の前記調波特性情報を生成する、
   請求項１記載の符号化装置。
10. 前記入力信号を周波数領域に変換して周波数領域スペクトルを生成する変換手段をさらに具備し、
    前記特性判定手段は、
    前記周波数領域スペクトルを用いて前記入力信号の調波構造の強度を分析する、
    請求項１記載の符号化装置。
11. 前記変換手段は、
    前記入力信号に対し直交変換処理を行って、前記周波数領域スペクトルとして直交変換係数を算出し、
    前記特性判定手段は、
    前記直交変換係数のＳＦＭ(Spectral Flatness Measure)を算出し、前記ＳＦＭが閾値以上であるか否かによって、異なる値の前記調波特性情報を生成する、
    請求項１０記載の符号化装置。
12. 前記変換手段は、
    前記入力信号に対し直交変換処理を行って、前記周波数領域スペクトルとして直交変換係数を算出し、
    前記特性判定手段は、
    前記直交変換係数において、振幅が予め設定されたレベル以上であるピークの個数が予め設定された数以上であるか否かによって、異なる値の前記調波特性情報を生成する、
    請求項１０記載の符号化装置。
13. 符号化装置において入力信号を符号化して得られた第１符号化情報と、前記第１符号化情報を復号した第１復号信号と前記入力信号との差分を符号化して得られた第２符号化情報と、前記入力信号の調波構造の強度を分析し、分析した前記入力信号の調波構造の強度と所定の閾値との比較結果に応じて異なる値をとる調波特性情報と、を受信する受信手段と、
    前記第１符号化情報を用いて第１レイヤの復号を行い前記第１復号信号を得る第１復号手段と、
    前記第２符号化情報と前記第１復号信号とを用いて第２レイヤの復号を行い第２復号信号を得る第２復号手段と、
    を具備し、
    前記第２復号手段は、
    前記符号化装置において前記調波特性情報に基づいてビット数が割り当てられた、前記第２符号化情報を構成する複数のパラメータを用いて、前記第２レイヤの復号を行う、
    復号装置。
14. 入力信号を符号化して第１符号化情報を生成する第１符号化ステップと、
    前記第１符号化情報を復号して第１復号信号を生成する復号ステップと、
    前記入力信号の調波構造の強度を分析し、分析した前記入力信号の調波構造の強度と所定の閾値との比較結果に応じて異なる値の調波特性情報を生成する特性判定ステップと、
    前記入力信号に対する前記第１復号信号の差分を符号化して第２符号化情報を生成するとともに、前記調波特性情報に基づいて、前記第２符号化情報を構成する複数のパラメータに割り当てるビット数を変更する第２符号化ステップと、
    を具備する符号化方法。

Images