JP5295380B2 - 符号化装置、復号化装置およびこれらの方法 - Google Patents

Description

本発明は、スケーラブル符号化（階層符号化）を実現する符号化装置、復号化装置およびこれらの方法に関する。

移動体通信システムでは、電波資源等の有効利用のために、音声信号を低ビットレートに圧縮して伝送することが要求されている。その一方で、通話音声の品質向上や臨場感の高い通話サービスの実現も望まれており、その実現には、音声信号の高品質化のみならず、より帯域の広い音楽信号等、音声信号以外の信号をも高品質に符号化することが望ましい。

このように相反する２つの要求に対し、複数の符号化技術を階層的に統合する技術が有望視されている。この技術は、音声信号に適したモデルで入力信号を低ビットレートで符号化する第１レイヤと、入力信号と第１レイヤの復号信号との差分信号を音声以外の信号にも適したモデルで符号化する第２レイヤとを階層的に組み合わせるものである。このように階層的に符号化を行う技術は、符号化装置から得られるビットストリームにスケーラビリティ性、すなわち、ビットストリームの一部の情報からでも復号信号を得ることができる性質を有するため、一般的にスケーラブル符号化（階層符号化）と呼ばれている。

スケーラブル符号化方式は、その性質から、ビットレートの異なるネットワーク間の通信に柔軟に対応することができるので、ＩＰプロトコルで多様なネットワークが統合されていく今後のネットワーク環境に適したものと言える。

ＭＰＥＧ−４（Moving Picture Experts Group phase-4）で規格化された技術を用いてスケーラブル符号化を実現する例として、例えば、非特許文献１に開示されている技術がある。この技術は、第１レイヤにおいて、音声信号に適したＣＥＬＰ（Code Excited Linear Prediction；符号励振線形予測）符号化を用い、第２レイヤにおいて、原信号から第１レイヤ復号信号を減じた残差信号に対して、ＡＡＣ（Advanced Audio Coder）或いはＴｗｉｎＶＱ（Transform Domain Weighted Interleave Vector Quantization；周波数領域重み付きインターリーブベクトル量子化）等の変換符号化を用いる。

このようなスケーラブル構成を用いることにより、音声信号及び、音声信号よりも帯域の広い音楽信号等の高品質化を図ることが可能となる。

上記のように、階層符号化の少なくとも一つのレイヤに変換符号化を適用した場合、音声信号の始端部（または終端部）において変換符号化による符号化歪がフレーム全体に伝播し、この符号化歪が音質を劣化させるという問題がある。このとき生じる符号化歪がプリエコー（またはポストエコー）と呼ばれるものである。

図１は、階層数２のスケーラブル符号化を用いて音声信号の始端部を符号化および復号した場合に、復号信号が生成される様子を示している。ここで、第１レイヤでは５ｍｓのサブフレーム毎に音源信号の符号化を行うＣＥＬＰを用い、第２レイヤでは２０ｍｓのフレーム毎に符号化を行う変換符号化を用いているものとする。

以下では、第１レイヤのように符号化の対象となる信号の時間長が５ｍｓと短い場合に符号化の間隔が短いため「時間分解能が高い」、第２レイヤのように符号化の対象となる信号の時間長が２０ｍｓと長い場合に符号化の間隔が長いため「時間分解能が低い」、と呼ぶことにする。

第１レイヤでは、５ｍｓ単位で復号信号を生成できるため、符号化歪の伝播は高々５ｍｓで済む（図１（ａ）参照）。一方、第２レイヤでは、符号化歪が２０ｍｓと広い範囲に伝播してしまう。本来、このフレームの前半部は無音であり、後半部にのみ第２レイヤ復号信号が生成されなければならないのにも関わらず、ビットレートを十分に高くできない場合に、符号化歪によって前半部にも波形が生じてしまう（図１（ｂ）参照）。一般に、変換符号化において高い符号化効率を得るためには、フレーム長は２０ｍｓもしくはそれ以上の長さに設定する必要がある。このため、ＣＥＬＰと比べて時間分解能が低くなるという欠点がある。

第１レイヤ復号信号と第２レイヤ復号信号とを加算して最終的な復号信号を算出すると、復号信号の区間Ａに符号化歪が残ってしまい（図１（ｃ）参照）、音質が劣化してしまう。このような現象は、音声信号（または音楽信号）の始端部で生じ、この符号化歪はプリエコーと呼ばれる。なお、音声信号（または音楽信号）の終端部でも同様の符号化歪が生じ、この符号化歪はポストエコーと呼ばれる。

このようなプリエコーの発生を回避する方法として、音声信号の始端部を検出し、始端部を検出した場合に変換符号化のフレーム長（分析長）を短くするよう処理を切り替える方法がある。特許文献１には、第１レイヤのＣＥＬＰのゲイン情報の時間的な変化から音声信号の始端部を検出し、検出した始端部の情報を第２レイヤに通知する始端部検出方法が開示されている。

このように始端部における分析長を短くして時間分解能を上げることにより、符号化歪の伝播を短く抑えることができ、プリエコーの発生を回避することができる。

しかし、上記方法では、分析長の切り替え、および２種類の分析長に適した周波数変換方法ならびに変換係数の量子化方法が必要となり、処理の複雑度が増すという課題がある。

また、特許文献１には、検出した始端部の情報を使ったプリエコーを回避する具体的な方法の開示が無く、プリエコーを回避することができない。

一方、プリエコーの発生を回避する方法として、特許文献２には、第１レイヤおよび第２レイヤ各々の復号信号のエネルギー包絡の関係から復号信号に乗じる増幅率を求め、求めた増幅率を復号信号に乗じる方法が開示されている。

特開２００３−２３３４００号公報 特表２００８−５３９４５６号公報

三木弼一編著、「ＭＰＥＧ−４のすべて」、初版、（株）工業調査会、１９９８年９月３０日、p.126-127

しかしながら、特許文献２に記載の方法は、第２レイヤで符号化した後に、第２レイヤの復号信号の一部を大きく減衰させることに相当し、第２レイヤの符号化データの一部が無駄になってしまい効率的でないという課題がある。

本発明の目的は、時間分解能の低い高位レイヤに起因して生じるプリエコーまたはポストエコーの発生を抑え、主観品質の高い符号化および復号化を実現することができる符号化装置、復号化装置およびこれらの方法を提供することである。

本発明に係る符号化装置の一つの態様は、低位レイヤと、前記低位レイヤにおける時間分解能より時間分解能が低い高位レイヤとからなるスケーラブル符号化を行う符号化装置であって、入力信号を符号化して低位レイヤ符号化信号を得る低位レイヤ符号化手段と、前記低位レイヤ符号化信号を復号化して低位レイヤ復号信号を得る低位レイヤ復号化手段と、前記入力信号と前記低位レイヤ復号信号との誤差信号を得る誤差信号生成手段と、前記低位レイヤ復号信号の有音部の始端部または終端部を判定する判定手段と、前記判定手段により始端部または終端部と判定された場合に、符号化対象帯域から除外する帯域を選択し、前記選択した帯域を除外して前記誤差信号を符号化し、高位レイヤ符号化信号を得る高位レイヤ符号化手段と、を具備する構成を採る。

本発明に係る復号化装置の一つの態様は、低位レイヤと、前記低位レイヤにおける時間分解能より時間分解能が低い高位レイヤとからなるスケーラブル符号化を行う符号化装置によって符号化された低位レイヤ符号化信号及び高位レイヤ符号化信号を復号する復号化装置であって、前記低位レイヤ符号化信号を復号して低位レイヤ復号信号を得る低位レイヤ復号化手段と、予め設定された条件に基づいて選択された帯域を除外又は加工して前記高位レイヤ符号化信号を復号し、復号誤差信号を得る高位レイヤ復号化手段と、前記低位レイヤ復号信号と前記復号誤差信号とを加算して復号信号を得る加算手段と、を具備する構成を採る。

本発明に係る符号化方法の一つの態様は、低位レイヤと、前記低位レイヤにおける時間分解能より時間分解能が低い高位レイヤとからなるスケーラブル符号化を行う符号化方法であって、入力信号を符号化して低位レイヤ符号化信号を得る低位レイヤ符号化ステップと、前記低位レイヤ符号化信号を復号化して低位レイヤ復号信号を得る低位レイヤ復号化ステップと、前記入力信号と前記低位レイヤ復号信号との誤差信号を得る誤差信号生成ステップと、前記低位レイヤ復号信号の有音部の始端部または終端部を判定する判定ステップと、前記判定ステップにおいて始端部または終端部と判定された場合に、符号化対象帯域から除外する帯域を選択し、前記選択した帯域を除外して前記誤差信号を符号化し、高位レイヤ符号化信号を得る高位レイヤ符号化ステップと、を具備する。

本発明に係る復号化方法の一つの態様は、低位レイヤと、前記低位レイヤにおける時間分解能より時間分解能が低い高位レイヤとからなるスケーラブル符号化を行う符号化方法によって符号化された低位レイヤ符号化信号及び高位レイヤ符号化信号を復号する復号化方法であって、前記低位レイヤ符号化信号を復号して低位レイヤ復号信号を得る低位レイヤ復号化ステップと、予め設定された条件に基づいて選択された帯域を除外又は加工して前記高位レイヤ符号化信号を復号し、復号誤差信号を得る高位レイヤ復号化ステップと、前記低位レイヤ復号信号と前記復号誤差信号とを加算して復号信号を得る加算ステップと、を具備する。

本発明によれば、時間分解能の低い高位レイヤに起因して生じるプリエコーまたはポストエコーの発生を抑え、主観品質の高い符号化および復号化を実現することができる。

階層数２のスケーラブル符号化を用いて音声信号の始端部を符号化および復号化した場合に、復号信号が生成される様子を示す図 本発明の実施の形態１に係る符号化装置の要部構成を示す図 始端検出部の内部構成を示す図 第２レイヤ符号化部の内部構成を示す図 実施の形態１に係る符号化装置の別の要部構成を示す図 第２レイヤ符号化部の別の内部構成を示す図 実施の形態１に係る符号化装置の更に別の要部構成を示す図 第２レイヤ符号化部の更に別の内部構成を示す図 実施の形態１に係る復号化装置の要部構成を示すブロック図 第２レイヤ復号化部の内部構成を示す図 従来方法による入力信号、第１レイヤ復号変換係数および第２レイヤ復号変換係数の様子を示す図 人間の聴覚特性である継時マスキングを説明するための図 本実施の形態による入力信号、第１レイヤ復号変換係数および第２レイヤ復号変換係数の様子を示す図 第１レイヤ復号変換係数がマスカー信号としたときの逆向マスキングの様子を示す図 ポストエコーに適用した例を示す図 本発明の実施の形態２に係る符号化装置の要部構成を示す図 第２レイヤ符号化部の内部構成を示す図 本発明の実施の形態３に係る第２レイヤ符号化部の内部構成を示す図 実施の形態３に係る復号化装置の要部構成を示すブロック図である。 第２レイヤ復号化部の内部構成を示す図 本発明の実施の形態４に係る符号化装置の要部構成を示す図 第２レイヤ符号化部の内部構成を示す図 第２レイヤ復号化部の内部構成を示す図 減衰部における処理の様子を示す図

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図２は、本実施の形態に係る符号化装置の要部構成を示す図である。図２の符号化装置１００は、一例として２つの符号化階層（レイヤ）からなるスケーラブル符号化（階層符号化）装置とする。なお、レイヤ数は２に限られない。

図２に示されている符号化装置１００は、所定の時間間隔（フレーム、ここでは２０ｍｓとする）単位で符号化処理を行い、ビットストリームを生成し、当該ビットストリームを復号化装置（図示せぬ）へ伝送する。

第１レイヤ符号化部１１０は、入力信号の符号化処理を行い、第１レイヤ符号化データを生成する。なお、第１レイヤ符号化部１１０は、時間分解能の高い符号化を行う。符号化方法として、第１レイヤ符号化部１１０は、例えば、フレームを５ｍｓのサブフレームに分割し、サブフレーム単位で音源（excitation）の符号化を行うＣＥＬＰ符号化方式を用いる。第１レイヤ符号化部１１０は、第１レイヤ符号化データを、第１レイヤ復号化部１２０および多重化部１７０に出力する。

第１レイヤ復号化部１２０は、第１レイヤ符号化データを用いて復号化処理を行い、第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を減算部１４０、始端検出部１５０および第２レイヤ符号化部１６０に出力する。

遅延部１３０は、第１レイヤ符号化部１１０および第１レイヤ復号化部１２０で生じる遅延に相当する時間だけ入力信号を遅延し、遅延後の入力信号を減算部１４０に出力する。

減算部１４０は、入力信号から第１レイヤ復号化部１２０で生成された第１レイヤ復号信号を減算して第１レイヤ誤差信号を生成し、当該第１レイヤ誤差信号を第２レイヤ符号化部１６０に出力する。

始端検出部１５０は、第１レイヤ復号信号を用いて、現在符号化処理を行っているフレームに含まれる信号が音声信号あるいは音楽信号のような有音部分の始端部であるかどうかを検出し、検出結果を始端検出情報として第２レイヤ符号化部１６０に出力する。なお、始端検出部１５０の詳細については、後述する。

第２レイヤ符号化部１６０は、減算部１４０より送出される第１レイヤ誤差信号の符号化処理を行い、第２レイヤ符号化データを生成する。なお、第２レイヤ符号化部１６０は、第１レイヤ符号化部１１０に比べ時間分解能の低い符号化を行う。例えば、第２レイヤ符号化部１６０は、第１レイヤ符号化部１１０の処理単位より長い単位で変換係数を符号化する変換符号化方式を用いる。なお、第２レイヤ符号化部１６０の詳細については、後述する。第２レイヤ符号化部１６０は、生成した第２レイヤ符号化データを多重化部１７０に出力する。

多重化部１７０は、第１レイヤ符号化部１１０で求められる第１レイヤ符号化データと、第２レイヤ符号化部１６０で求められる第２レイヤ符号化データとを多重化して、ビットストリームを生成し、生成したビットストリームを図示せぬ通信路（transmission channel）に出力する。

図３は、始端検出部１５０の内部構成を示す図である。

サブフレーム分割部１５１は、第１レイヤ復号信号をＮｓｕｂ個のサブフレームに分割する。ここで、Ｎｓｕｂは、サブフレーム数を表す。以下では、Ｎｓｕｂ＝２として説明を行う。

エネルギー変化量算出部１５２は、サブフレーム毎の第１レイヤ復号信号のエネルギーを算出する。

検出部１５３は、当該エネルギーの変化量と所定の閾値との比較を行い、当該変化量が閾値を超える場合には有音部の始端を検出したとみなし、始端検出情報として１を出力する。一方、当該変化量が閾値を超えない場合には、検出部１５３は、始端を検出したとはみなさず、始端検出情報として０を出力する。

図４は、第２レイヤ符号化部１６０の内部構成を示す図である。

周波数領域変換部１６１は、第１レイヤ誤差信号を周波数領域に変換して、第１レイヤ誤差変換係数を算出し、算出した第１レイヤ誤差変換係数を帯域選択部１６３およびゲイン符号化部１６４へ出力する。

周波数領域変換部１６２は、第１レイヤ復号信号を周波数領域に変換して、第１レイヤ復号変換係数を算出し、算出した第１レイヤ復号変換係数を帯域選択部１６３に出力する。

帯域選択部１６３は、始端検出情報が１を示す場合、即ち現在符号化処理を行っているフレームに含まれる信号が有音部の始端の場合、後段のゲイン符号化部１６４および形状符号化部１６５における符号化対象から除外するサブバンドを選択する。具体的には、帯域選択部１６３は、第１レイヤ復号変換係数を複数のサブバンドに分割し、第１レイヤ復号変換係数のエネルギーが最も小さいサブバンド、もしくは所定の閾値より小さいサブバンドを、第２レイヤ符号化部１６０（ゲイン符号化部１６４および形状符号化部１６５）における符号化対象から除外する。そして、帯域選択部１６３は、除外後に残ったサブバンドを実際の符号化対象帯域（第２レイヤ符号化対象帯域）として設定する。

なお、帯域選択部１６３は、第１レイヤ復号変換係数および第１レイヤ誤差変換係数を複数のサブバンドに分割し、各サブバンドの第１レイヤ復号変換係数のエネルギー（Ｅｍ）に対する第１レイヤ誤差変換係数のエネルギー（Ｅｅ）の比（Ｅｅ／Ｅｍ）を求め、当該エネルギー比が所定の閾値よりも大きいサブバンドを、第２レイヤ符号化部１６０の符号化対象から除外するサブバンドとして選択するようにしてもよい。また、帯域選択部１６３は、エネルギー比に代えて、サブバンド内の第１レイヤ復号変換係数の最大振幅値に対する第１レイヤ誤差変換係数の最大振幅値の比を求め、当該最大振幅値比が所定の閾値よりも大きいサブバンドを、第２レイヤ符号化部１６０の符号化対象から除外するサブバンドとして選択するようにしてもよい。

なお、帯域選択部１６３は、入力信号の特性（例えば音声的もしくは音楽的である、または、定常的もしくは非定常的であるなど）に応じて適応的に異なる閾値を用いても良い。

なお、帯域選択部１６３は、第１レイヤ復号変換係数を基に逆向マスキングに相当する聴覚マスキング閾値を算出し、当該聴覚マスキング閾値のサブバンド毎のエネルギーを算出し、当該エネルギーが最も小さいサブバンド、もしくは所定の閾値より小さいサブバンドを第２レイヤ符号化部１６０における符号化対象から除外しても良い。

なお、帯域選択部１６３において、第１レイヤ復号変換係数の代わりに、入力信号を周波数領域変換して求められる入力変換係数を用いて符号化対象帯域を決定する構成であっても良い。このときの符号化装置１００および第２レイヤ符号化部１６０の構成をそれぞれ図５、図６に示す。

なお、帯域選択部１６３において、第１レイヤ復号変換係数を用いずに、第１レイヤ誤差変換係数のみを用いて符号化対象帯域を決定する構成であっても良い。このときの符号化装置１００および第２レイヤ符号化部１６０の構成をそれぞれ図７、図８に示す。この構成では、次の理由により第１レイヤ復号変換係数を用いずとも、本実施の形態の効果を享受することができる。

すなわち、第１レイヤ符号化部１１０では聴覚重み付けを行うことによって、入力信号と第１レイヤ復号信号との間の誤差信号のスペクトル特性が入力信号のスペクトル特性に近づくように符号化が行われている。これは、誤差信号が聴感的に聞こえ難くなる効果が得られるために為される処理である。換言すると、第１レイヤ符号化部１１０では誤差信号のスペクトル特性を入力信号のスペクトル特性に近づくようスペクトル整形を行っているということができる。この結果、誤差信号のスペクトル特性が入力信号のスペクトル特性に近づくため、誤差信号を第１レイヤ復号信号の代わりに使用しても、本実施の形態の効果を享受することができる。第１レイヤ符号化部１１０における聴覚重み付け処理として、ＬＰＣ（Linear Predictive Coding）係数を基に入力信号のスペクトル包絡の逆特性に近い特性の聴覚重みフィルタを用いる手法が適用例として挙げられる。

また、この構成では、周波数領域変換部１６２が不要となるため、低演算量化を図ることができるという効果がさらに得られる。

このようにして、帯域選択部１６３は、第２レイヤ符号化部１６０における符号化対象から除外する帯域を選択し、選択したサブバンド以外の符号化対象となる帯域（第２レイヤ符号化対象帯域）を示す情報（符号化対象帯域情報）をゲイン符号化部１６４、形状符号化部１６５および多重化部１６６に出力する。

ゲイン符号化部１６４は、帯域選択部１６３から通知されたサブバンド（第２レイヤ符号化対象帯域）に含まれる変換係数の大きさを表すゲイン情報を算出し、当該ゲイン情報を符号化してゲイン符号化データを生成する。ゲイン符号化部１６４は、ゲイン符号化データを多重化部１６６へ出力する。また、ゲイン符号化部１６４は、ゲイン符号化データと共に求められる復号ゲイン情報を形状符号化部１６５へ出力する。

形状符号化部１６５は、復号ゲイン情報を用いて、帯域選択部１６３から通知されたサブバンド（第２レイヤ符号化対象帯域）に含まれる変換係数の形状を表す形状符号化データを生成し、生成した形状符号化データを多重化部１６６へ出力する。

多重化部１６６は、帯域選択部１６３から出力される符号化対象帯域情報と、形状符号化部１６５より出力される形状符号化データと、ゲイン符号化部１６４より出力されるゲイン符号化データとを多重化し、第２レイヤ符号化データとして出力する。ただし、この多重化部１６６は必ずしも必要ではなく、符号化対象帯域情報、形状符号化データおよびゲイン符号化データを直接、多重化部１７０に出力しても良い。

図９は、本実施の形態に係る復号化装置の要部構成を示すブロック図である。図９の復号化装置２００は、符号化階層（レイヤ）数が２のスケーラブル符号化（階層符号化）を行う符号化装置１００から出力されるビットストリームを復号する。

分離部２１０は、通信路を介して入力されるビットストリームを第１レイヤ符号化データと第２レイヤ符号化データとに分離する。分離部２１０は、第１レイヤ符号化データを第１レイヤ復号化部２２０へ出力し、第２レイヤ符号化データを第２レイヤ復号化部２３０へ出力する。ただし、通信路の状況（輻輳の発生など）によっては、符号化データの一部（第２レイヤ符号化データ）または全てが廃棄されてしまう場合がある。このとき、分離部２１０は、受信した符号化データに第１レイヤ符号化データのみが含まれるか（レイヤ情報が１）、または第１レイヤおよび第２レイヤ符号化データの両者が含まれるか（レイヤ情報が２）を判定し、その判定結果をレイヤ情報として切替部２５０に出力する。全ての符号化データが廃棄されている場合、分離部２１０は、所定の誤り補償処理（error concealment processing）を行い、出力信号を生成することになる。

第１レイヤ復号化部２２０は、第１レイヤ符号化データの復号処理を行い、第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を加算部２４０および切替部２５０に出力する。

第２レイヤ復号化部２３０は、第２レイヤ符号化データの復号処理を行い、第１レイヤ復号誤差信号を生成し、生成した第１レイヤ復号誤差信号を加算部２４０に出力する。

加算部２４０は、第１レイヤ復号信号と第１レイヤ復号誤差信号とを加算して、第２レイヤ復号信号を生成し、生成した第２レイヤ復号信号を切替部２５０に出力する。

切替部２５０は、分離部２１０より与えられるレイヤ情報に基づき、レイヤ情報が１の場合には、第１レイヤ復号信号を復号信号として後処理部２６０に出力する。一方、レイヤ情報が２の場合には、切替部２５０は、第２レイヤ復号信号を復号信号として後処理部２６０に出力する。

後処理部２６０は、復号信号にポストフィルタ等の後処理を行い、出力信号として出力する。

図１０は、第２レイヤ復号化部２３０の内部構成を示す図である。

分離部２３１は、分離部２１０より入力される第２レイヤ符号化データを、形状符号化データと、ゲイン符号化データと、符号化対象帯域情報とに分離し、形状符号化データを形状復号部２３２に出力し、ゲイン符号化データをゲイン復号部２３３に出力し、符号化対象帯域情報を復号変換係数生成部２３４に出力する。なお、分離部２３１は、必ずしも必要な構成要素ではなく、分離部２１０の分離処理により形状符号化データと、ゲイン符号化データと、符号化対象帯域情報とに分離し、それらを直接、形状復号部２３２、ゲイン復号部２３３および復号変換係数生成部２３４に与えても良い。

形状復号部２３２は、分離部２３１より与えられる形状符号化データを用いて、復号変換係数の形状ベクトルを生成し、生成した形状ベクトルを復号変換係数生成部２３４へ出力する。

ゲイン復号部２３３は、分離部２３１より与えられるゲイン符号化データを用いて、復号変換係数のゲイン情報を生成し、生成したゲイン情報を復号変換係数生成部２３４へ出力する。

復号変換係数生成部２３４は、形状ベクトルにゲイン情報を乗じ、符号化対象帯域情報が示す帯域にゲイン情報乗算後の形状ベクトルを配置して復号変換係数を生成し、生成した復号変換係数を時間領域変換部２３５へ出力する。

時間領域変換部２３５は、復号変換係数を時間領域へ変換し、第１レイヤ復号誤差信号を生成し、生成した第１レイヤ復号誤差信号を出力する。

次に、図１１、図１２及び図１３を用いて、本発明が解決しようとする課題及び効果について説明する。なお、以下では、符号化装置１００がＬサンプルのフレーム毎に符号化を行う場合を例に説明する。上述したように、第１レイヤ符号化部１１０は、時間分解能の高い符号化を行い、第２レイヤ符号化部１６０は、時間分解能の低い符号化を行う。そこで、以下では、第１レイヤ符号化部１１０が、Ｌ／２サンプルのサブフレーム単位で音源（excitation）の符号化を行うＣＥＬＰ符号化方式を用い、第２レイヤ符号化部１６０がＬサンプルのフレーム単位で変換係数の符号化を行う変換符号化方式を用いる場合を例に説明する。

図１１は、従来方法を用いてスケーラブル符号化および復号化した場合の入力信号、第１レイヤ復号変換係数および第２レイヤ復号変換係数の様子を示している。

図１１（Ａ）は、符号化装置の入力信号を示す。図１１（Ａ）から分かるように、第２サブフレームの途中から音声信号（または音楽信号）が観察される。

入力信号に対して、始めに第１レイヤ符号化部にて符号化処理が行われて第１レイヤ符号化データが生成される。第１レイヤ符号化データを復号して生成される復号信号の復号変換係数（第１レイヤ復号変換係数）は、第２レイヤ符号化部の２倍の時間分解能を有する。第ｎサンプル〜第（ｎ＋Ｌ／２−１）サンプルでは無音区間に相当するスペクトル（図１１（Ｂ）参照）が生成され、第（ｎ＋Ｌ／２−１）サンプル〜第（ｎ＋Ｌ−１）サンプルでは音声区間に相当するスペクトル（図１１（Ｃ）参照）が生成される。

一方、第２レイヤ符号化部では、Ｌサンプルのフレーム単位で変換係数の符号化が行われ、第２レイヤ符号化データが生成される。そのため、第２レイヤ符号化データを復号することにより、第ｎサンプル〜第（ｎ＋Ｌ−１）サンプルに対応した第２レイヤ復号変換係数が生成される（図１１（Ｄ）参照）。そして、この第２レイヤ復号変換係数を時間領域に変換することにより第ｎサンプル〜第（ｎ＋Ｌ−１）サンプルに対応した区間に第２レイヤ復号信号が生成される。このため、最終的な復号信号のスペクトルは、第ｎサンプル〜第（ｎ＋Ｌ／２−１）サンプルでは、図１１（Ｂ）と図１１（Ｄ）とを加算したスペクトルとなり、第（ｎ＋Ｌ／２−１）サンプル〜第（ｎ＋Ｌ−１）サンプルでは図１１（Ｃ）と図１１（Ｄ）とを加算したスペクトルとなる。

このとき、本来無音区間であるべき第ｎサンプル〜第（ｎ＋Ｌ／２−１）サンプルにおいても、図１１（Ｂ）および図１１（Ｄ）に示されるスペクトルが発生してしまうことになる。図１１（Ｂ）の信号成分は無視できる程度なので、実質的には、図１１（Ｄ）のスペクトルによる復号信号が発生する。この信号がプリエコーとして知覚され、復号信号の品質を低下させる原因となる。

本実施の形態では、人間の聴覚特性である継時マスキング（temporal masking）を利用して復号信号の品質劣化を回避する。ここで、継時マスキングとは、２つの音、すなわち、マスキングされる信号（マスキー信号）とマスキングする信号（マスカー信号）とが継時的に与えられた場合に発生するマスキングをいう。人間は、強い音の前後に存在する微弱な音を知覚することが難しく、マスキー信号がマスカー信号によって妨害されてマスキー信号が聞こえ難くなる。

継時マスキングにおいて、マスカー信号に先行するマスキー信号がマスクされる現象を逆向マスキング（backward masking）といい、マスカー信号に後続するマスキー信号がマスクされる現象を順向マスキング（forward masking）という。なお、ある時間帯にマスカー信号とマスキー信号とが発生し、マスキー信号がマスカー信号にマスクされるような現象を同時マスキング（simultaneous masking）という。

図１２は、これら逆向マスキング、順向マスキング及び同時マスキングにおいて、マスカー信号がマスキー信号をマスクするマスキングレベルの一例を示している。

本実施の形態では、継時マスキングのうち、逆向マスキングを利用してプリエコーによる聴感的な劣化を回避する。

具体的には、低位レイヤの復号スペクトルのエネルギーの大きい帯域では、逆向マスキング効果により高位レイヤで生じるプリエコーが人間の聴覚では聞こえ難くなり、低レイヤの復号スペクトルのエネルギーの小さい帯域では、逆向マスキング効果が得られないため、プリエコーが聞こえやすくなることを利用する。すなわち、本発明では、この原理を利用して、低位レイヤの復号スペクトルのエネルギーの小さい帯域に含まれる高位レイヤのスペクトルを高位レイヤの符号化の対象から除外し、プリエコーが聞こえやすい帯域では高位レイヤの復号スペクトルが生成されないようにする。これにより、プリエコーは、逆向マスキング効果が得られる低位レイヤの復号スペクトルのエネルギーの大きい帯域でのみ発生されるようになるため、プリエコーによる聴覚的な劣化を回避することができる。

図１３は、本実施の形態におけるスケーラブル符号化および復号化した場合の入力信号、第１レイヤ復号変換係数および第２レイヤ復号変換係数の様子を示している。

図１３（Ａ）は、符号化装置１００の入力信号を示す。図１１（Ａ）と同様に、第２サブフレームの途中から音声信号（または音楽信号）が観察される。

入力信号に対して、始めに第１レイヤ符号化部１１０にて符号化処理が行われて第１レイヤ符号化データが生成される。第１レイヤ符号化データを復号して生成される復号信号の復号変換係数（第１レイヤ復号変換係数）は、第２レイヤ符号化部１６０の２倍の時間分解能を有する。第ｎサンプル〜第（ｎ＋Ｌ／２−１）サンプルでは無音区間に相当するスペクトル（図１３（Ｂ）参照）が生成され、第（ｎ＋Ｌ／２−１）サンプル〜第（ｎ＋Ｌ−１）サンプルでは音声区間に相当するスペクトル（図１３（Ｃ）参照）が生成される。

本実施の形態では、周波数領域変換部１６２において、時間分解能の高い第１レイヤ復号化部１２０より求められる第１レイヤ復号信号が周波数領域に変換された第１レイヤ復号変換係数のうち、帯域選択部１６３は、スペクトルのエネルギーの低い帯域を求める（図１３（Ｃ）参照）。そして、帯域選択部１６３は、当該帯域を第２レイヤ符号化部１６０の符号化の対象より除外する帯域（除外帯域）として選択し、当該除外帯域以外の帯域を第２符号化対象帯域として設定し、第２レイヤ符号化部１６０は、第２符号化対象帯域において符号化処理を行う（図１３（Ｄ））。

これにより、図１３（Ｃ）の第１レイヤ復号変換係数がマスカー信号となり、第２レイヤ符号化部１６０によって発生するプリエコーがマスキー信号となる場合に、第１レイヤ復号変換係数のエネルギーの大きい帯域では、逆向マスキング効果により、人間の聴覚では聞こえ難くなる。つまり、逆向マスキング効果が大きい第２符号化対象帯域にプリエコーの第２レイヤ復号変換係数が配置されても、復号信号（プリエコー）は知覚されにくくなる。すなわち、第ｎサンプル〜音声の始端までの間で発生していたプリエコーが聞こえにくくなり、復号信号の品質劣化を回避することができる。

図１４は、第１レイヤ復号変換係数をマスカー信号とした場合における逆向マスキング特性を示している。図１４に示すように、第１レイヤ復号変換係数が大きいほど、逆向マスキング効果は大きいため、第２レイヤ符号化部１６０における符号化対象帯域を、第１レイヤ復号変換係数が所定の閾値より大きい帯域のみとすることにより、プリエコーは、第１レイヤ復号変換係数によりマスキングされるようになる。

以上、音声の始端で発生するプリエコーの回避について説明したが、本発明は、音声の終端で発生するポストエコーに対しても適用できる。

図１５は、本発明をポストエコーに対し適用した場合の入力信号、第１レイヤ復号変換係数および第２レイヤ復号変換係数の様子を示している。

プリエコーに対しては、逆向マスキングを利用してプリエコーの知覚を制御したのに対し、ポストエコーに対しては、順向マスキングを利用する。具体的には、始端検出部１５０に代えて、終端検出部（図省略）を用い、第１レイヤ復号信号を用いて、現在符号化処理を行っているフレームに含まれる信号が有音部の終端部であるかどうかを検出し、検出結果を終端検出情報として第２レイヤ符号化部１６０に出力する。そして、帯域選択部１６３は、現在符号化処理を行っているフレームに含まれる信号が有音部の終端の場合、時間分解能の高い第１レイヤ符号化部１１０より求められる第１レイヤ復号変換係数のうち、エネルギーの低い帯域を求める（図１５（Ｂ）参照）。そして、帯域選択部１６３は、当該帯域を第２レイヤ符号化部１６０の符号化の対象より除外する帯域（除外帯域）として選択し、当該除外帯域以外の帯域を第２符号化対象帯域として設定し、第２レイヤ符号化部１６０は、第２符号化対象帯域において符号化処理を行う（図１５（Ｄ））。これにより、ポストエコーの知覚を抑制することができ、復号信号の品質劣化を回避することができる。

このように、本実施の形態では、始端検出部１５０（または終端検出部）は、低位レイヤ復号信号の有音部分の始端部（または終端部）を判定し、第２レイヤ符号化部１６０は、始端部（または終端部）と判定された場合に、第１レイヤ復号信号のスペクトルのエネルギーに基づいて、符号化対象として除外する帯域を選択し、選択した帯域を除外して誤差信号を符号化する。これにより、人間の聴覚特性である継時マスキングを利用して復号信号の品質劣化を回避することができ、時間分解能の低い高位レイヤに起因して生じるプリエコー（またはポストエコー）の発生を抑え、主観品質の高い符号化方式を提供することが可能となる。

また、第１レイヤ復号変換係数のエネルギーが小さい帯域を第２レイヤ符号化部１６０の符号化の対象から除外することにより、それ以外の帯域の変換係数をより正確に表すことが可能となる。例えば、第２レイヤ符号化部１６０の符号化対象帯域に配置するパルスを増やすことができ、この場合には、復号信号の音質改善を図ることが可能になる。

なお、以上の説明では、第２レイヤ符号化部１６０における符号化対象から除外する帯域（除外帯域）を、第１レイヤ復号変換係数のエネルギーの大きさに応じて選択する方法を例に説明したが、これに限られず、例えば、最大サブバンドエネルギーに対するサブバンドエネルギーの相対値の大きさによって除外帯域を選択するようにしてもよい。これにより、信号レベルに依存しない安定した処理を行うことができ、音声の始端で発生するプリエコー又は音声の終端で発生するポストエコーを回避して、音質改善を図ることができる。

また、第１レイヤ復号変換係数に応じて、第２レイヤ符号化部１６０における符号化対象帯域が制限されるようになるため、符号化対象帯域におけるパルス数を増やす等により、第２レイヤ符号化部１６０における符号化対象帯域のスペクトルをより正確に表すことが可能となり、音質改善を図ることができるようになる。

（実施の形態２）
実施の形態１では、第１レイヤ復号信号を用いて第２レイヤ符号化部の符号化対象から除外する帯域（除外帯域）を決定した。本実施の形態では、第１レイヤ符号化部で求められるＬＰＣ（Linear Predictive Coding）係数を用いてＬＰＣスペクトル（スペクトル包絡）を求め、このＬＰＣスペクトルを用いて除外帯域を決定する。ＬＰＣスペクトルを用いる場合においても、実施の形態１と同様の効果を得ることができる。さらに、本実施の形態では、復号信号のスペクトルに代えてＬＰＣスペクトルを用いるため、実施の形態１に比べ低演算量で音質改善を図ることができる。

図１６は、本実施の形態に係る符号化装置の要部構成を示すブロック図である。なお、図１６の符号化装置３００において、図２の符号化装置１００と共通する構成部分には、図２と同一の符号を付して説明を省略する。なお、本実施の形態に係る復号化装置の構成は、図９及び図１０と同様のため、ここでは説明を省略する。

第１レイヤ符号化部３１０は、入力信号の符号化処理を行い、第１レイヤ符号化データを生成する。なお、本実施の形態では、第１レイヤ符号化部３１０は、ＬＰＣ係数を用いる符号化を行う。

第１レイヤ復号化部３２０は、第１レイヤ符号化データを用いて復号化処理を行い、第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を減算部１４０および始端検出部１５０に出力する。

第１レイヤ復号化部３２０は、第１レイヤ復号信号での復号処理により生成される復号ＬＰＣ係数を第２レイヤ符号化部３３０に出力する。

図１７は、第２レイヤ符号化部３３０の内部構成を示す図である。なお、図１７の第２レイヤ符号化部３３０において、図４の第２レイヤ符号化部１６０と共通する構成部分には、図４と同一の符号を付して説明を省略する。

ＬＰＣスペクトル算出部３３１は、第１レイヤ復号化部３２０より入力される復号ＬＰＣ係数を用いてＬＰＣスペクトルを求める。ＬＰＣスペクトルは、第１レイヤ復号信号のスペクトルの大まかな形状（スペクトル包絡）を表す。

帯域選択部３３２は、ＬＰＣスペクトル算出部３３１より入力されるＬＰＣスペクトルを用いて、第２レイヤ符号化部３３０の符号化対象帯域から除外される帯域（除外帯域）を選択する。具体的には、帯域選択部３３２は、ＬＰＣスペクトルのエネルギーを求め、エネルギーが所定の閾値より小さい帯域を除外帯域として選択する。もしくは、帯域選択部３３２は、ＬＰＣスペクトルの最大エネルギーに対するエネルギーの比が所定の閾値より低い帯域を除外帯域として選択するようにしてもよい。

このようにして、帯域選択部３３２は、第２レイヤ符号化部３３０における符号化対象から除外する帯域を選択し、選択した帯域以外の符号化対象となる帯域（第２レイヤ符号化対象帯域）を示す情報（符号化対象帯域情報）をゲイン符号化部１６４、形状符号化部１６５および多重化部１６６に出力する。

以降、実施の形態１と同様に、ゲイン符号化部１６４、形状符号化部１６５、及び多重化部１６６により、第２レイヤ符号化データが生成される。

以上のように、本実施の形態では、第１レイヤ符号化部３１０は、ＬＰＣ係数を用いる符号化を行い、第２レイヤ符号化部３３０は、ＬＰＣ係数のスペクトルのエネルギーの小さい帯域を、符号化対象帯域から除外する帯域として選択するようにした。これにより、第１レイヤ復号信号のスペクトルを算出する場合に比べ少ない演算量で、エネルギーの小さい帯域、すなわち、符号化対象帯域から除外する帯域を決定することができる。

なお、この際、限定された個数の周波数に対してのみ、ＬＰＣスペクトルおよびそのエネルギーを算出し、そのエネルギーを用いて符号化対象帯域から除外する帯域を決定するようにしても良い。このように、ある程度周波数（あるいは帯域）を絞った上で符号化対象帯域を決定することにより、更に少ない演算量で帯域を決定することが可能となる。

（実施の形態３）
実施の形態１および実施の形態２では、符号化装置は、帯域選択部で設定された第２レイヤ符号化部における実際の符号化対象帯域を示す符号化対象帯域情報を復号装置に伝送する。本実施の形態では、符号化装置と復号化装置とで共通に得られる情報を基にして、各々が第２レイヤ符号化部における実際の符号化対象帯域（第２レイヤ符号化対象帯域）を設定する。これにより、符号化装置から復号装置に伝送される情報量を削減することが可能になる。

本実施の形態に係る符号化装置の要部構成は、実施の形態１と同様であるため、図２を援用して説明する。実施の形態１とは、第２レイヤ符号化部の内部構成が異なる。そのため、以下では、本実施の形態に係る第２レイヤ符号化部の符号を１６０Ａとして説明する。

図１８は、本実施の形態に係る第２レイヤ符号化部１６０Ａの内部構成を示す図である。なお、図１８の第２レイヤ符号化部１６０Ａにおいて、図４の第２レイヤ符号化部１６０と共通する構成部分には、図４と同一の符号を付して説明を省略する。

帯域選択部１６３Ａは、始端検出情報が１を示す場合、即ち現在符号化処理を行っているフレームに含まれる信号の場合、後段のゲイン符号化部１６４および形状符号化部１６５における符号化対象から除外するサブバンドを選択する。なお、本実施の形態では、帯域選択部１６３Ａは、第１レイヤ誤差変換係数を用いずに、第１レイヤ復号変換係数のみを用いて、符号化対象帯域から除外するサブバンドを選択する。具体的には、帯域選択部１６３Ａは、第１レイヤ復号変換係数を複数のサブバンドに分割し、第１レイヤ復号変換係数のエネルギーが所定の閾値よりも小さいサブバンドを、第２レイヤ符号化部１６０Ａにおける符号化対象帯域から除外し、除外後のサブバンドを実際の符号化対象帯域として設定する。帯域選択部１６３Ａは、第２レイヤ符号化部１６０Ａ（ゲイン符号化部１６４および形状符号化部１６５）における符号化対象から除外する帯域として選択したサブバンド以外の符号化対象となる帯域（第２レイヤ符号化対象帯域）を示す情報（符号化対象帯域情報）を、ゲイン符号化部１６４および形状符号化部１６５に出力する。

なお、帯域選択部１６３Ａは、入力信号の特性（例えば音声的もしくは音楽的である、または、定常的もしくは非定常的であるなど）に応じて適応的に異なる閾値を用いても良い。

図１９は、本実施の形態に係る復号化装置の要部構成を示すブロック図である。なお、図１９の復号化装置４００において、図９の復号化装置２００と共通する構成部分には、図９と同一の符号を付して説明を省略する。

第１レイヤ復号化部４１０は、第１レイヤ符号化データを用いて復号化処理を行い、第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を切替部２５０、始端検出部４２０、第２レイヤ復号化部４３０、および加算部２４０に出力する。

始端検出部４２０は、第１レイヤ復号信号を用いて、現在符号化処理を行っているフレームに含まれる信号が有音部分の始端部であるかどうかを検出し、検出結果を始端検出情報として第２レイヤ復号化部４３０に出力する。なお、始端検出部４２０は、図３の始端検出部１５０と同様の構成を採り、同様の動作を行うため、詳細な説明を省略する。

図２０は、第２レイヤ復号化部４３０の内部構成を示す図である。なお、図２０の第２レイヤ復号化部４３０において、図１０の第２レイヤ復号化部２３０と共通する構成部分には、図１０と同一の符号を付して説明を省略する。

分離部４３１は、分離部２１０より入力される第２レイヤ符号化データを、形状符号化データと、ゲイン符号化データとに分離し、形状符号化データを形状復号部２３２に出力し、ゲイン符号化データをゲイン復号部２３３に出力する。なお、分離部４３１は、必ずしも必要な構成要素ではなく、分離部２１０の分離処理により形状符号化データと、ゲイン符号化データとに分離し、それらを直接、形状復号部２３２およびゲイン復号部２３３に与えても良い。

周波数領域変換部４３２は、第１レイヤ復号信号を周波数領域に変換して、第１レイヤ復号変換係数を算出し、算出した第１レイヤ復号変換係数を帯域選択部４３３に出力する。

帯域選択部４３３は、始端検出情報が１を示す場合、即ち現在復号化処理を行っているフレームに含まれる信号が有音部の始端の場合、後段の形状復号部２３２およびゲイン復号部２３３における復号化対象から除外するサブバンドを選択する。なお、本実施の形態では、帯域選択部４３３は、帯域選択部１６３Ａと同様に、第１レイヤ誤差変換係数を用いずに、第１レイヤ復号変換係数のみを用いて、符号化対象帯域から除外するサブバンドを選択する。なお、帯域選択部４３３は、帯域選択部１６３Ａと同様のため、説明を省略する。帯域選択部４３３は、第２レイヤ復号化部４３０における符号化対象から除外する帯域として選択したサブバンド以外の符号化対象となる帯域（第２レイヤ符号化対象帯域）を示す情報（符号化対象帯域情報）を、復号変換係数生成部２３４に出力する。

このように、本実施の形態では、帯域選択部１６３Ａおよび帯域選択部４３３は、第１レイヤ復号変換係数を用いて、第２レイヤ符号化部３３０および第２レイヤ復号化部４３０における実際の符号化／復号化対象帯域を設定する。第２レイヤ復号化部４３０において、第１レイヤ復号変換係数は、周波数領域変換部４３２において、第１レイヤ復号信号を周波数領域に変換することにより得られる。そのため、符号化装置３００から復号化装置４００へ符号化対象帯域情報を通知せずとも、復号化装置４００は、復号化対象帯域の情報を取得することができ、符号化装置３００から復号化装置４００に伝送する情報量を削減することができる。

（実施の形態４）
本実施の形態では、復号化装置において、音声信号の始端部または終端部を検出した場合に、高位レイヤでは、低位レイヤの復号信号のスペクトルのエネルギーの小さい帯域に位置する復号変換係数を減衰させる。これにより、低位レイヤの復号スペクトルのエネルギーの小さい帯域に発生する高位レイヤの復号スペクトルが聴感的に聞こえ難くなる。すなわち、本実施の形態では、低位レイヤの復号スペクトルの継時マスキング（Temporal masking）効果により、復号側で高位レイヤで生じるプリエコーまたはポストエコーを聞こえ難くする。そのため、符号化側ではプリエコーまたはポストエコーを意識することなく、一般的なスケーラブル符号化を行う符号化装置を用いることができ、特に符号化装置の構成を変更することなく、音質を改善することができる。

図２１は、本実施の形態に係る符号化装置５００の要部構成を示すブロック図である。

第１レイヤ符号化部５１０は、入力信号の符号化処理を行い、第１レイヤ符号化データを生成する。第１レイヤ符号化部５１０は、第１レイヤ符号化データを第１レイヤ復号化部５２０および多重化部５６０に出力する。

第１レイヤ復号化部５２０は、第１レイヤ符号化データを用いて復号化処理を行い、第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を減算部５４０に出力する。

遅延部５３０は、第１レイヤ符号化部５１０および第１レイヤ復号化部５２０で生じる遅延に相当する時間だけ入力信号を遅延し、遅延後の入力信号を減算部５４０に出力する。

減算部５４０は、入力信号から第１レイヤ復号化部５２０で生成された第１レイヤ復号信号を減算して第１レイヤ誤差信号を生成し、当該第１レイヤ誤差信号を第２レイヤ符号化部５５０に出力する。

第２レイヤ符号化部５５０は、減算部５４０より送出される第１レイヤ誤差信号の符号化処理を行い、第２レイヤ符号化データを生成し、当該第２レイヤ符号化データを多重化部５６０に出力する。

多重化部５６０は、第１レイヤ符号化部５１０で求められる第１レイヤ符号化データと、第２レイヤ符号化部５５０で求められる第２レイヤ符号化データとを多重化して、ビットストリームを生成し、生成したビットストリームを通信路（図示せぬ）に出力する。

図２２は、第２レイヤ符号化部５５０の内部構成を示す図である。

周波数領域変換部５５１は、第１レイヤ誤差信号を周波数領域に変換して、第１レイヤ誤差変換係数を算出し、算出した第１レイヤ誤差変換係数をゲイン符号化部５５２へ出力する。

ゲイン符号化部５５２は、第１レイヤ誤差変換係数の大きさを表すゲイン情報を算出し、当該ゲイン情報を符号化してゲイン符号化データを生成する。ゲイン符号化部５５２は、ゲイン符号化データを多重化部５５４へ出力する。また、ゲイン符号化部５５２は、ゲイン符号化データと共に求められる復号ゲイン情報を形状符号化部５５３へ出力する。

形状符号化部５５３は、第１レイヤ誤差変換係数の形状を表す形状符号化データを生成し、生成した形状符号化データを多重化部５５４へ出力する。

多重化部５５４は、形状符号化部５５３より出力される形状符号化データと、ゲイン符号化部５５２より出力されるゲイン符号化データとを多重化し、第２レイヤ符号化データとして出力する。ただし、この多重化部５５４は必ずしも必要ではなく、形状符号化データおよびゲイン符号化データを直接、多重化部５６０に出力しても良い。

本実施の形態に係る復号化装置の要部構成は、実施の形態３と同様であるため、図１９を援用して説明する。実施の形態３とは、第２レイヤ復号化部の内部構成が異なる。そのため、以下では、本実施の形態に係る第２レイヤ復号化部の符号を４３０Ａとして説明する。

図２３は、本実施の形態に係る第２レイヤ復号化部４３０Ａの内部構成を示す図である。なお、図２３の第２レイヤ復号化部４３０Ａにおいて、図２０の第２レイヤ復号化部４３０と共通する構成部分には、図２０と同一の符号を付して説明を省略する。

周波数領域変換部４３２において、時間分解能の高い第１レイヤ復号化部４１０より求められる第１レイヤ復号信号が周波数領域に変換された第１レイヤ復号変換係数のうち、帯域選択部４３３Ａは、スペクトルのエネルギーが所定の閾値より低い帯域を求める。そして、帯域選択部４３３Ａは、当該帯域を第２レイヤ復号変換係数を減衰させる帯域（減衰対象帯域）として選択し、当該減衰対象帯域の情報を選択帯域情報として、減衰部４３４に出力する。

減衰部４３４は、選択帯域情報で示される帯域に位置する第２レイヤ復号変換係数に対して、その大きさを減衰させ、減衰後の第２レイヤ復号変換係数を第２レイヤ減衰復号変換係数として時間領域変換部２３５へ出力する。

図２４は、減衰部４３４における処理を説明するための図である。図２４において左は、減衰前の第２レイヤ復号変換係数を示し、図２４において右は、減衰後の第２レイヤ復号変換係数（第２レイヤ減衰復号変換係数）を示している。図２４に示すように、減衰部は、選択帯域情報で示される帯域（減衰対象帯域）に位置する第２レイヤ復号変換係数に対して、その大きさを減衰させる。

このようにして、本実施の形態では、第２レイヤ復号化部４３０Ａは、低位レイヤ復号信号の有音部分の始端部（または終端部）が存在すると判定された場合に、第１レイヤ復号信号のスペクトルのエネルギーに基づいて、第２レイヤ復号信号の復号変換係数を減衰する帯域を選択し、選択した帯域における第２レイヤ復号信号の復号変換係数を減衰する。これにより、符号化側において、プリエコーまたはポストエコーを意識せずに符号化された場合においても、第１レイヤ復号変換係数と第２レイヤ復号変換係数との関係が、マスカー信号とマスキー信号との関係になるため、プリエコーまたはポストエコーを回避することができる。

以上、本発明の各実施の形態について説明した。

なお、以上の説明では、符号化階層（レイヤ）数が２のスケーラブル符号化について説明したが、符号化階層（レイヤ）数が３以上のスケーラブル構成にも適用可能である。

また、以上の説明では、符号化装置１００、３００、５００から出力されたビットストリームを復号化装置２００、４００で受信するとしたが、これに限るものではない。すなわち、復号化装置２００、４００は、符号化装置１００、３００、５００の構成において生成されたビットストリームでなくても、復号化に必要な符号化データを有するビットストリームを生成可能な符号化装置により出力されたビットストリームであれば、復号可能である。

また、周波数変換部は、ＤＦＴ（Discrete Fourier Transform）、ＦＦＴ（Fast Fourier Transform）、ＤＣＴ（Discrete Cosine Transform）、ＭＤＣＴ（Modified Discrete Cosine Transform）、フィルタバンクなどを使用できる。

また、入力信号には、音声信号と音楽信号のどちらにも適用できる。

また、上記各実施の形態における符号化装置または復号化装置は、基地局装置あるいは通信端末装置に適用することが可能である。
また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２００９年１０月２０日出願の特願２００９−２４１６１７に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。

本発明に係る符号化装置および復号化装置等は、携帯電話、ＩＰ電話、テレビ会議等に用いるに好適である。

１００、３００、５００ 符号化装置
１１０、３１０、５１０ 第１レイヤ符号化部
１２０、２２０、３２０、４１０、５２０ 第１レイヤ復号化部
１３０、５３０ 遅延部
１４０、５４０ 減算部
１５０、４２０ 始端検出部
１６０、１６０Ａ、３３０、５５０ 第２レイヤ符号化部
１５１ サブフレーム分割部
１５２ エネルギー変化量算出部
１５３ 検出部
１６１、１６２、４３２、５５１ 周波数領域変換部
１６３、１６３Ａ、３３２、４３３、４３３Ａ 帯域選択部
１６４、５５２ ゲイン符号化部
１６５、５５３ 形状符号化部
１６６、１７０、５５４、５６０ 多重化部
２００、４００ 復号化装置
２１０、２３１、４３１ 分離部
２３０、４３０、４３０Ａ 第２レイヤ復号化部
２４０ 加算部
２５０ 切替部
２６０ 後処理部
２３２ 形状復号部
２３３ ゲイン復号部
２３４ 復号変換係数生成部
２３５ 時間領域変換部
３３１ ＬＰＣスペクトル算出部
４３４ 減衰部

Claims (19)

1. 低位レイヤと、前記低位レイヤにおける時間分解能より時間分解能が低い高位レイヤとからなるスケーラブル符号化を行う符号化装置であって、
   入力信号を符号化して低位レイヤ符号化信号を得る低位レイヤ符号化手段と、
   前記低位レイヤ符号化信号を復号化して低位レイヤ復号信号を得る低位レイヤ復号化手段と、
   前記入力信号と前記低位レイヤ復号信号との誤差信号を得る誤差信号生成手段と、
   前記低位レイヤ復号信号の有音部の始端部または終端部を判定する判定手段と、
   前記判定手段により始端部または終端部と判定された場合に、符号化対象帯域から除外する帯域を選択し、前記選択した帯域を除外して前記誤差信号を符号化し、高位レイヤ符号化信号を得る高位レイヤ符号化手段と、
   を具備する符号化装置。
2. 前記高位レイヤ符号化手段は、
   前記低位レイヤ復号信号のスペクトルのエネルギーまたは前記誤差信号のスペクトルのエネルギーに基づいて、前記除外する帯域を選択する、
   請求項１に記載の符号化装置。
3. 前記高位レイヤ符号化手段は、
   前記低位レイヤ復号信号のスペクトルのエネルギーまたは前記誤差信号のスペクトルのエネルギーが最も小さいかあるいは所定の閾値より小さい帯域を、前記除外する帯域として選択する、
   請求項１に記載の符号化装置。
4. 前記高位レイヤ符号化手段は、
   前記低位レイヤ復号信号を用いて聴覚マスキング閾値を算出し、当該聴覚マスキング閾値のスペクトルのエネルギーが最も小さいかあるいは所定の閾値より小さい帯域を、前記除外する帯域として選択する、
   請求項１に記載の符号化装置。
5. 前記低位レイヤ符号化手段は、ＬＰＣ係数を用いる符号化を行い、
   前記高位レイヤ符号化手段は、前記ＬＰＣ係数のスペクトルのエネルギーの小さい帯域を、前記除外する帯域として選択する、
   請求項１に記載の符号化装置。
6. 請求項１に記載の符号化装置を具備する通信端末装置。
7. 請求項１に記載の符号化装置を具備する基地局装置。
8. 低位レイヤと、前記低位レイヤにおける時間分解能より時間分解能が低い高位レイヤとからなるスケーラブル符号化を行う符号化装置によって符号化された低位レイヤ符号化信号及び高位レイヤ符号化信号を復号する復号化装置であって、
   前記低位レイヤ符号化信号を復号して低位レイヤ復号信号を得る低位レイヤ復号化手段と、
   予め設定された条件に基づいて選択された帯域を除外又は加工して前記高位レイヤ符号化信号を復号し、復号誤差信号を得る高位レイヤ復号化手段と、
   前記低位レイヤ復号信号と前記復号誤差信号とを加算して復号信号を得る加算手段と、
   を具備する復号化装置。
9. 前記高位レイヤ復号化手段は、
   前記低位レイヤ復号信号のスペクトルのエネルギーに基づいて帯域を選択し、前記選択された帯域を除外して前記高位レイヤ符号化信号を復号し、復号誤差信号を得る、
   請求項８記載の復号化装置。
10. 前記高位レイヤ復号化手段は、
    前記低位レイヤ復号信号のスペクトルのエネルギーが最も小さいかあるいは所定の閾値より小さい帯域を除外して、前記高位レイヤ符号化信号を復号する、
    請求項９に記載の復号化装置。
11. 前記高位レイヤ復号化手段は、
    前記低位レイヤ復号信号を用いて聴覚マスキング閾値を算出し、当該聴覚マスキング閾値のスペクトルのエネルギーが最も小さいかあるいは所定の閾値より小さい帯域を除外して、前記高位レイヤ符号化信号を復号する、
    請求項９に記載の復号化装置。
12. 前記選択された帯域は、前記高位レイヤ符号化信号に含まれる、
    請求項９に記載の復号化装置。
13. 前記低位レイヤ復号信号の有音部の始端部または終端部を判定する判定手段と、を更に具備し、
    前記高位レイヤ復号化手段は、
    前記判定手段により始端部または終端部と判定された場合に、前記低位レイヤ復号信号のスペクトルのエネルギーに基づいて、復号化対象帯域から除外する帯域を選択し、前記選択された帯域を除外して、前記高位レイヤ符号化信号を復号する、
    請求項８に記載の復号化装置。
14. 前記低位レイヤ復号信号の有音部の始端部または終端部を判定する判定手段と、を更に具備し、
    前記高位レイヤ復号化手段は、
    前記判定手段により始端部または終端部と判定された場合に、前記復号誤差信号の復号変換係数を減衰させる帯域を選択し、前記選択された帯域における前記復号誤差信号の復号変換係数を減衰させて前記復号誤差信号を得る、
    請求項８に記載の復号化装置。
15. 前記高位レイヤ復号化手段は、
    前記低位レイヤ復号信号のスペクトルのエネルギーに基づいて、前記復号誤差信号の復号変換係数を減衰させる帯域を選択する、
    請求項１４に記載の復号化装置。
16. 請求項８に記載の復号化装置を具備する通信端末装置。
17. 請求項８に記載の復号化装置を具備する基地局装置。
18. 低位レイヤと、前記低位レイヤにおける時間分解能より時間分解能が低い高位レイヤとからなるスケーラブル符号化を行う符号化方法であって、
    入力信号を符号化して低位レイヤ符号化信号を得る低位レイヤ符号化ステップと、
    前記低位レイヤ符号化信号を復号化して低位レイヤ復号信号を得る低位レイヤ復号化ステップと、
    前記入力信号と前記低位レイヤ復号信号との誤差信号を得る誤差信号生成ステップと、
    前記低位レイヤ復号信号の有音部の始端部または終端部を判定する判定ステップと、
    前記判定ステップにおいて始端部または終端部と判定された場合に、符号化対象帯域から除外する帯域を選択し、前記選択した帯域を除外して前記誤差信号を符号化し、高位レイヤ符号化信号を得る高位レイヤ符号化ステップと、
    を具備する符号化方法。
19. 低位レイヤと、前記低位レイヤにおける時間分解能より時間分解能が低い高位レイヤとからなるスケーラブル符号化を行う符号化方法によって符号化された低位レイヤ符号化信号及び高位レイヤ符号化信号を復号する復号化方法であって、
    前記低位レイヤ符号化信号を復号して低位レイヤ復号信号を得る低位レイヤ復号化ステップと、
    予め設定された条件に基づいて選択された帯域を除外又は加工して前記高位レイヤ符号化信号を復号し、復号誤差信号を得る高位レイヤ復号化ステップと、
    前記低位レイヤ復号信号と前記復号誤差信号とを加算して復号信号を得る加算ステップと、
    を具備する復号化方法。

Images