JPWO2006049204A1 - 符号化装置、復号化装置、符号化方法及び復号化方法 - Google Patents

Abstract

原信号を第１レイヤと第２レイヤとで符号化するスケーラブル符号化において、第２レイヤ部またはそれよりも上位のレイヤ部で低ビットレートの符号化を行っても高品質な復号信号が得られる符号化装置、復号化装置、符号化方法及び復号化方法を提供する。符号化装置において、スペクトル残差形状符号帳（３０５）は複数のスペクトル残差形状ベクトルの候補を格納し、スペクトル残差ゲイン符号帳（３０７）は複数のスペクトル残差ゲインの候補を格納し、これらは探索部（３０６）からの指示によりその候補の中から順次、スペクトル残差形状ベクトル、スペクトル残差ゲインを出力する。乗算器（３０８）は、スペクトル残差形状ベクトルの候補とスペクトル残差ゲインの候補を乗じ、フィルタリング部（３０３）に出力する。フィルタリング部（３０３）は、フィルタ状態設定部（３０２）で設定されたピッチフィルタの内部状態、ラグ設定部（３０４）から出力されるラグＴ、およびゲイン調整されたスペクトル残差形状ベクトルを用いてフィルタリングを行う。

Description

本発明は、音声信号、オーディオ信号等を符号化／復号化する符号化装置、復号化装置、符号化方法及び復号化方法に関する。

移動体通信システムにおける電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、ユーザからは通話音声の品質向上や臨場感の高い通話サービスの実現が望まれている。この実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声以外の信号をも高品質に符号化できることが望ましい。

このような相反する要求に対し、複数の符号化技術を階層的に統合するアプローチが有望視されている。具体的には、音声信号に適したモデルで入力信号を低ビットレートで符号化する第１レイヤ部と、入力信号と第１レイヤ復号信号との残差信号を音声以外の信号にも適したモデルで符号化する第２レイヤ部を階層的に組み合わせる構成を採る。このような階層構造を持つ符号化方式は、符号化部より得られるビットストリームにスケーラビリティ性（ビットストリームの一部の情報からでも復号信号が得られること）を有するため、スケーラブル符号化と呼ばれる。スケーラブル符号化はその性質から、ビットレートの異なるネットワーク間の通信にも柔軟に対応できる。この特徴は、ＩＰプロトコルで多様なネットワークが統合されていく今後のネットワーク環境に適したものといえる。

従来のスケーラブル符号化としては、例えば非特許文献１記載のものがある。この文献では、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ−４）で規格化された技術を用いてスケーラブル符号化を構成する方法について述べられている。具体的には、第１レイヤ部（基本レイヤ部）では、ＣＥＬＰ（Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ：符号励振線形予測）を用いて音声信号つまり原信号を符号化し、第２レイヤ部（拡張レイヤ部）では、例えばＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｅｒ）やＴｗｉｎＶＱ（Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｅｉｇｈｔｅｄ Ｉｎｔｅｒｌｅａｖｅ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ：周波数領域重み付きインターリーブベクトル量子化）のような変換符号化を用いて残差信号を符号化する。ここで、残差信号は、第１レイヤ部で得られた符号化コードを復号したもの（第１レイヤ復号信号）を原信号から減算することにより得られる信号である。
三木弼一編著、「ＭＰＥＧ−４の全て」、初版、（株）工業調査会、１９９８年９月３０日、ｐ．１２６−１２７

しかしながら、上記従来技術においては、第２レイヤ部での変換符号化は、原信号から第１レイヤ復号信号を減じて得られる残差信号に対して行われる。よって、原信号に含まれる主要な情報の一部が、第１レイヤ部を介することにより取り除かれることがある。この場合、残差信号の特性が、雑音系列に近い特性となる。したがって、例えばＡＡＣやＴｗｉｎＶＱのように楽音信号を効率的に符号化するよう設計された変換符号化を、第２レイヤ部に用いる場合、上記特性を持つ残差信号を符号化して復号信号の高品質化を図るには、多くのビットを配分する必要がある。その結果、ビットレートが大きくなってしまうという問題があった。

本発明の目的は、かかる点に鑑みてなされたものであり、第２レイヤ部またはそれよりも上位のレイヤ部で低ビットレートの符号化を行っても高品質な復号信号を得ることができる符号化装置、復号化装置、符号化方法及び復号化方法を提供することである。

本発明の符号化装置は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化装置であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出手段と、算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化手段と、を有する構成を採る。

本発明の符号化装置は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化装置であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示すパラメータを算出するパラメータ算出手段と、算出されたパラメータを前記高周波帯域の符号化情報として符号化するパラメータ符号化手段と、前記第１スペクトルと前記第２スペクトルの低周波帯域部との残差成分を符号化する残差成分符号化手段と、を有し、前記パラメータ算出手段は、前記残差成分符号化手段によって符号化された残差成分を用いて前記第１スペクトルの品質を向上させた後に、前記パラメータを算出する構成を採る。

本発明の復号化装置は、低周波帯域に対応する第１スペクトルを取得するスペクトル取得手段と、高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得手段と、取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号手段と、を有する構成を採る。

本発明の符号化方法は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化方法であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出ステップと、前記原信号から第２スペクトルを算出する第２スペクトル算出ステップと、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出ステップと、前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出ステップと、算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化ステップと、
を有するようにした。

本発明の復号化方法は、低周波帯域に対応する第１スペクトルを取得するスペクトル取得ステップと、高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得ステップと、取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号ステップと、を有するようにした。

本発明によれば、第２レイヤ部またはそれよりも上位のレイヤ部で低ビットレートの符号化を行っても高品質な復号信号を得ることができる。

本発明の実施の形態１に係る符号化装置の構成を示すブロック図 本発明の実施の形態１に係る第２レイヤ符号化部の構成を示すブロック図 本発明の実施の形態１に係る拡張帯域符号化部の構成を示すブロック図 本発明の実施の形態１に係る拡張帯域符号化部のフィルタリング部で処理される生成スペクトルバッファを示す模式図 本発明の実施の形態１に係る符号化装置の多重化部から出力されるビットストリームの内容を示す模式図 本発明の実施の形態１に係る復号化装置の構成を示すブロック図 本発明の実施の形態１に係る第２レイヤ復号化部の構成を示すブロック図 本発明の実施の形態１に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態２に係る第２レイヤ符号化部の構成を示すブロック図 本発明の実施の形態２に係る第１スペクトル符号化部の構成を示すブロック図 本発明の実施の形態２に係る第２レイヤ復号化部の構成を示すブロック図 本発明の実施の形態２に係る第１スペクトル復号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域符号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態３に係る第２レイヤ符号化部の構成を示すブロック図 本発明の実施の形態３に係る第２スペクトル符号化部の構成を示すブロック図 本発明の実施の形態３に係る第２スペクトル符号化部の構成の変形例を示すブロック図 本発明の実施の形態３に係る第２レイヤ復号化部の構成を示すブロック図 本発明の実施の形態３に係る第２スペクトル復号化部の構成の変形例を示すブロック図 本発明の実施の形態３に係る第２レイヤ符号化部の構成の変形例を示すブロック図 本発明の実施の形態３に係る第２レイヤ復号化部の構成の変形例を示すブロック図

本発明は、スケーラブル符号化の上位レイヤに適した変換符号化に関し、より具体的には、当該変換符号化におけるスペクトルの効率的な符号化法に関する。

その主な特徴の１つは、第１レイヤ復号信号を周波数分析して得られるスペクトル（第１レイヤ復号スペクトル）を内部状態（フィルタ状態）として持つフィルタを用いてフィルタリング処理を行い、その出力信号を原スペクトルの高域部の推定値とする。ここで、原スペクトルとは、遅延調整された原信号を周波数分析して得られるスペクトルのことである。そして、原スペクトルの高域部に最も類似する出力信号を生成するときのフィルタ情報を符号化して復号化部へ伝送する。フィルタ情報のみを符号化すれば良いため、低ビットレート化が図れる。

本発明のある実施の形態では、スペクトル残差の候補が複数記録されているスペクトル残差形状符号帳を用いて、前述のフィルタにスペクトル残差を与えてフィルタリング処理を行う。また、他の実施の形態では、第１レイヤ復号スペクトルをフィルタの内部状態に格納する前に第１レイヤ復号スペクトルの誤差成分を符号化して、第１レイヤ復号スペクトルの品質を向上させてから、フィルタリング処理による原スペクトルの高域部の推定を行う。また、さらに他の実施の形態では、第１レイヤ復号スペクトルの誤差成分を符号化する際に、第１レイヤ復号スペクトルの符号化の性能と第１レイヤ復号スペクトルを使った高域スペクトルの推定の性能とがいずれも高くなるように第１レイヤ復号スペクトルの誤差成分の符号化を行う。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、各実施の形態では、複数のレイヤからなる階層構造を有するスケーラブル符号化を行う。また、各実施の形態では、一例として、（１）スケーラブル符号化の階層構造は、第１レイヤ（基本レイヤまたは下位レイヤ）と第１レイヤより上位にある第２レイヤ（拡張レイヤまたは上位レイヤ）の２階層とする、（２）第２レイヤの符号化では、周波数領域で符号化（変換符号化）を行う、（３）第２レイヤの符号化における変換方式にはＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；変形離散コサイン変換）を使用する、（４）第２レイヤの符号化では、全帯域を複数のサブバンドに分割する場合は、全帯域をＢａｒｋスケールで等間隔に分割し各サブバンドを各臨界帯域に対応付ける、（５）第１レイヤの入力信号のサンプリングレート（Ｆ１）と第２レイヤの入力信号のサンプリングレート（Ｆ２）には、Ｆ２はＦ１以上（Ｆ１≦Ｆ２）の関係がある、ものとする。

（実施の形態１）
図１は、例えば音声符号化装置等を形成する符号化装置１００の構成を示すブロック図である。符号化装置１００は、ダウンサンプリング部１０１、第１レイヤ符号化部１０２、第１レイヤ復号化部１０３、多重化部１０４、第２レイヤ符号化部１０５および遅延部１０６を有する。

図１において、サンプリングレートがＦ２の音声信号やオーディオ信号（原信号）はダウンサンプリング部１０１に与えられ、ダウンサンプリング部１０１にてサンプリング変換処理が行われ、サンプリングレートがＦ１の信号が生成され、第１レイヤ符号化部１０２に与えられる。第１レイヤ符号化部１０２は、サンプリングレートがＦ１の信号を符号化して得られる符号化コードを第１レイヤ復号化部１０３および多重化部１０４に出力する。

第１レイヤ復号化部１０３は、第１レイヤ符号化部１０２から出力された符号化コードから第１レイヤ復号信号を生成して第２レイヤ符号化部１０５に出力する。

遅延部１０６は、原信号に対して所定の長さの遅延を与えて第２レイヤ符号化部１０５に出力する。この遅延は、ダウンサンプリング部１０１、第１レイヤ符号化部１０２および第１レイヤ復号化部１０３で生じる時間遅れを調整するためのものである。

第２レイヤ符号化部１０５は、遅延部１０６から出力された原信号を、第１レイヤ復号化部１０３から出力された第１レイヤ復号信号を用いて符号化を行う。そして、この符号化により得られる符号化コードを多重化部１０４に出力する。

多重化部１０４は、第１レイヤ符号化部１０２から出力された符号化コードと第２レイヤ符号化部１０５から出力された符号化コードとを多重化し、ビットストリームとして出力する。

次いで、第２レイヤ符号化部１０５についてより詳細に説明する。第２レイヤ符号化部１０５の構成を図２に示す。第２レイヤ符号化部１０５は、周波数領域変換部２０１、拡張帯域符号化部２０２、周波数領域変換部２０３および聴覚マスキング算出部２０４を有する。

図２において、周波数領域変換部２０１は、第１レイヤ復号化部１０３から出力された第１レイヤ復号信号をＭＤＣＴ変換により周波数分析してＭＤＣＴ係数（第１レイヤ復号スペクトル）を算出する。そして、第１レイヤ復号スペクトルを拡張帯域符号化部２０２に出力する。

周波数領域変換部２０３は、遅延部１０６から出力された原信号をＭＤＣＴ変換により周波数分析してＭＤＣＴ係数（原スペクトル）を算出する。そして、原スペクトルを拡張帯域符号化部２０２に出力する。

聴覚マスキング算出部２０４は、遅延部１０６から出力された原信号を用いて、帯域毎の聴覚マスキングを算出し、この聴覚マスキングを拡張帯域符号化部２０２に通知する。

ここで、人間の聴覚特性には、ある信号が聞こえているときにその信号と周波数の近い音が耳に入ってきてもその音が聞こえにくい、という聴覚マスキング特性がある。上記聴覚マスキングは効率的なスペクトル符号化を実現するために用いられる。このスペクトル符号化では、人間の聴覚マスキング特性を利用して聴感上許容される量子化歪を定量化し、その許容される量子化歪に応じた符号化法を適用する。

拡張帯域符号化部２０２は、図３に示すように、振幅調整部３０１、フィルタ状態設定部３０２、フィルタリング部３０３、ラグ設定部３０４、スペクトル残差形状符号帳３０５、探索部３０６、スペクトル残差ゲイン符号帳３０７、乗算器３０８、拡張スペクトル復号化部３０９およびスケールファクタ符号化部３１０を有する。

振幅調整部３０１には、周波数領域変換部２０１から第１レイヤ復号スペクトル｛Ｓ１（ｋ）；０≦ｋ＜Ｎｎ｝、周波数領域変換部２０３から原スペクトル｛Ｓ２（ｋ）；０≦ｋ＜Ｎｗ｝が与えられる。ここで、第１レイヤ復号スペクトルのスペクトル点数をＮｎ、原スペクトルのスペクトル点数をＮｗと表し、Ｎｎ＜Ｎｗの関係がある。

振幅調整部３０１は、第１レイヤ復号スペクトル｛Ｓ１（ｋ）；０≦ｋ＜Ｎｎ｝の最大振幅スペクトルと最小振幅スペクトルの比（ダイナミックレンジ）が、原スペクトルの高域部｛Ｓ２（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝のダイナミックレンジに近づくよう振幅調整を行う。具体的には、次の式（１）に示すように、振幅スペクトルのべき乗をとる。

ここで、ｓｉｇｎ（）は正号／負号を返す関数、γは０≦γ≦１の範囲にある実数を表す。振幅調整部３０１は、振幅調整後の第１レイヤ復号スペクトルのダイナミックレンジが原スペクトルの高域部｛Ｓ２（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝のダイナミックレンジに最も近づくときのγ（振幅調整係数）を、あらかじめ用意された複数の候補の中から選択し、その符号化コードを多重化部１０４に出力する。

フィルタ状態設定部３０２は、振幅調整後の第１レイヤ復号スペクトル｛Ｓ１’（ｋ）；０≦ｋ＜Ｎｎ｝を後述するピッチフィルタの内部状態に設定する。具体的には、振幅調整後の第１レイヤ復号スペクトル｛Ｓ１’（ｋ）；０≦ｋ＜Ｎｎ｝を生成スペクトルバッファ｛Ｓ（ｋ）；０≦ｋ＜Ｎｎ｝に代入し、フィルタリング部３０３へ出力する。ここで、生成スペクトルバッファＳ（ｋ）は、０≦ｋ＜Ｎｗの範囲で定義される配列変数である。後述するフィルタリング処理によって（Ｎｗ−Ｎｎ）点の原スペクトルの推定値（以下「推定原スペクトル」と言う）の候補が生成される。

ラグ設定部３０４は、探索部３０６からの指示に従い、ラグＴを予め定められた探索範囲ＴＭＩＮ〜ＴＭＡＸの中で漸次的に少しずつ変化させながら、フィルタリング部３０３に順次出力する。

スペクトル残差形状符号帳３０５は、複数のスペクトル残差形状ベクトルの候補を格納している。また、探索部３０６からの指示に従い、全ての候補の中から、または、あらかじめ限定された候補の中から、スペクトル残差形状ベクトルを順次出力する。

同様に、スペクトル残差ゲイン符号帳３０７は複数のスペクトル残差ゲインの候補を格納している。また、探索部３０６からの指示に従い、全ての候補の中から、または、あらかじめ限定された候補の中から、スペクトル残差ゲインを順次出力する。

乗算器３０８は、スペクトル残差形状符号帳３０５から出力されるスペクトル残差形状ベクトルと、スペクトル残差ゲイン符号帳３０７から出力されるスペクトル残差ゲインと、を乗じて、スペクトル残差形状ベクトルをゲイン調整する。そして、ゲイン調整されたスペクトル残差形状ベクトルをフィルタリング部３０３に出力する。

フィルタリング部３０３は、フィルタ状態設定部３０２で設定されたピッチフィルタの内部状態と、ラグ設定部３０４から出力されるラグＴと、ゲイン調整されたスペクトル残差形状ベクトルとを用いてフィルタリング処理を行い、推定原スペクトルを算出する。ここで、ピッチフィルタの伝達関数は、次の式（２）で表される。また、このフィルタリング処理は、次の式（３）のように表される。

ここで、Ｃ（ｉ，ｋ）は第ｉ番目のスペクトル残差形状ベクトル、ｇ（ｊ）は第ｊ番目のスペクトル残差形状ゲインを表す。範囲Ｎｎ≦ｋ＜Ｎｗに含まれる生成スペクトルバッファＳ（ｋ）がフィルタリング部３０３の出力信号（つまり、推定原スペクトル）として探索部３０６に出力される。図４に、生成スペクトルバッファ、振幅調整後の第１レイヤ復号スペクトル、フィルタリング部３０３の出力信号の相互関係を示す。

探索部３０６は、ラグ設定部３０４、スペクトル残差形状符号帳３０５およびスペクトル残差ゲイン符号帳３０７に、ラグ、スペクトル残差形状およびスペクトル残差ゲインの出力をそれぞれ指示する。

また、探索部３０６は、原スペクトルの高域部｛Ｓ２（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝とフィルタリング部３０３の出力信号｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝との間の歪Ｅを算出する。そして、合成による分析手法（ＡｂＳ；Ａｎａｌｙｓｉｓ ｂｙ Ｓｙｎｔｈｅｓｉｓ）により、最も歪が小さくなるときのラグ、スペクトル残差形状ベクトルおよびスペクトル残差ゲインの組み合わせを決定する。このとき、聴覚マスキング算出部２０４から出力された聴覚マスキングを利用して、聴感的に最も歪の小さい組み合わせを選択する。この歪をＥとすると、歪Ｅは、例えば聴覚マスキングにより定まる重み関数ｗ（ｋ）を用いて式（４）によって表される。ここで、重み関数ｗ（ｋ）は、聴覚マスキングの大きい（歪が聞こえ難い）周波数では小さな値をとり、聴覚マスキングの小さい（歪が聞こえ易い）周波数では大きな値をとる。

探索部３０６により決定されたラグの符号化コード、スペクトル残差形状ベクトルの符号化コードおよびスペクトル残差ゲインの符号化コードは、多重化部１０４および拡張スペクトル復号化部３０９に出力される。

上記のＡｂＳによる符号化コード決定法においては、ラグ、スペクトル残差形状ベクトルおよびスペクトル残差ゲインを同時に決定しても良いし、あるいは、演算量を削減するために各パラメータを順次（例えば、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲインの順に）決定しても良い。

拡張スペクトル復号化部３０９は、振幅調整部３０１より出力される振幅調整係数の符号化コードならびに探索部３０６より出力されるラグの符号化コード、スペクトル残差形状ベクトルの符号化コードおよびスペクトル残差ゲインの符号化コードを復号し、原スペクトルの推定値（推定原スペクトル）を生成する。

具体的には、まず、復号された振幅調整係数γを用いて前述の式（１）に従い第１レイヤ復号スペクトル｛Ｓ１（ｋ）；０≦ｋ＜Ｎｎ｝の振幅調整を行う。次に、振幅調整された第１レイヤ復号スペクトルをフィルタの内部状態として用いるとともに、それぞれ復号されたラグ、スペクトル残差形状ベクトルおよびスペクトル残差ゲインを用いて、前述の式（３）に従ってフィルタリング処理を行い、推定原スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝を生成する。生成された推定原スペクトルはスケールファクタ符号化部３１０に出力される。

スケールファクタ符号化部３１０は、周波数領域変換部２０３より出力される原スペクトルの高域部｛Ｓ２（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝と拡張スペクトル復号化部３０９より出力される推定原スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝とを用いて、聴覚マスキングを利用して聴感上最も適した推定原スペクトルのスケールファクタ（スケーリング係数）を符号化し、その符号化コードを多重化部１０４に出力する。

すなわち、第２レイヤ符号化コードは、振幅調整部３０１から出力される符号化コード（振幅調整係数）、探索部３０６から出力される符号化コード（ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン）およびスケールファクタ符号化部３１０から出力される符号化コード（スケールファクタ）の組み合わせからなる。

なお、本実施の形態では、帯域Ｎｎ〜Ｎｗに対して拡張帯域符号化部２０２を適用して一組の符号化コード（振幅調整係数、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン、スケールファクタ）を決定する構成について説明しているが、帯域Ｎｎ〜Ｎｗを複数の帯域に分割し各帯域に対して拡張帯域符号化部２０２を適用する構成にしても良い。この場合、帯域毎に符号化コード（振幅調整係数、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン、スケールファクタ）を決定し、多重化部１０４に出力することになる。例えば、帯域Ｎｎ〜ＮｗをＭ個の帯域に分割して各帯域で拡張帯域符号化部２０２を適用すると、Ｍ組の符号化コード（振幅調整係数、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン、スケールファクタ）が得られることになる。

また、複数帯域でそれぞれ独立の符号化コードを送らずに、隣接する帯域同士で一部の符号化コードを共有しても良い。例えば、帯域Ｎｎ〜ＮｗをＭ個の帯域に分割し、隣接する２つの帯域で共通の振幅調整係数を用いる場合、振幅調整係数の符号化コードの数はＭ／２個となり、それ以外の符号化コードの数はそれぞれＭ個となる。

なお、本実施の形態は１次のＡＲ型ピッチフィルタを用いた場合について説明してきた。しかしながら、本発明が適用できるフィルタは１次のＡＲ型ピッチフィルタに限定されず、伝達関数が次の式（５）で表されるフィルタにも本発明を適用することができる。フィルタ次数を規定するパラメータＬおよびＭの大きいピッチフィルタを用いるほど多様な特性を表現でき、品質が向上する可能性がある。ただし、次数が大きくなるほどフィルタ係数の符号化ビットを多く配分する必要が出てくるため、実用的なビット配分の元で適切なピッチフィルタの伝達関数を決めておく必要がある。

なお、本実施の形態では聴覚マスキングを用いることを前提としているが、聴覚マスキングを用いない構成であっても良い。その場合、図２の聴覚マスキング算出部２０４を第２レイヤ符号化部１０５に設ける必要が無くなり、装置全体の演算量を削減できる。

ここで、多重化部１０４から出力されるビットストリームの構成について、図５を用いて説明する。ビットストリームのＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）から順に、第１レイヤ符号化コード、第２レイヤ符号化コードが格納されている。さらに、第２レイヤ符号化コードは、スケールファクタ、振幅調整係数、ラグ、スペクトル残差ゲイン、スペクトル残差形状ベクトルの順に格納され、後者の情報ほどＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）に近い位置に配置されている。このビットストリームの構成は、各符号化コードの符号欠落に対する感度（符号化コードが欠落したときにどの程度復号信号の品質を劣化させるか）に対して、符号誤り感度の高い（大きく劣化する）ものほどＭＳＢに近い位置に配置されている。この構成によれば、伝送路上でビットストリームを部分的に破棄する場合にＬＳＢから順に破棄することで、破棄による劣化を最小限に抑えることができる。ＬＳＢ側から優先的にビットストリームを破棄するネットワーク構成の一例では、図５のように区切られた各符号化コードを別々のパケットで伝送し、各パケットに優先順位付けをして、優先制御のできるパケット網を使う構成が挙げられる。ただし、ネットワーク構成は前述のものに限定されない。

また、図５のように符号誤り感度の高い符号化パラメータほどＭＳＢに近い位置に配置されるビットストリーム構成において、ＭＳＢに近いビットほど強い誤り検出・誤り訂正がかけられるようなチャネル符号化を適用すれば、復号品質の劣化を最小限に抑えられるという効果が得られる。例えば、誤り検出、誤り訂正の手法としてはＣＲＣ符号やＲＳ符号などが適用できる。

図６は、例えば音声復号化装置等を形成する復号化装置６００の構成を示すブロック図である。

復号化装置６００は、符号化装置１００から出力されたビットストリームを第１レイヤ符号化コードと第２レイヤ符号化コードとに分離する分離部６０１、第１レイヤ符号化コードを復号する第１レイヤ復号化部６０２および第２レイヤ符号化コードを復号する第２レイヤ復号化部６０３を有する。

分離部６０１は、符号化装置１００から送出されたビットストリームを受信し、第１レイヤの符号化コードと第２レイヤの符号化コードとに分離し、第１レイヤ復号化部６０２と第２レイヤ復号化部６０３にそれぞれ出力する。

第１レイヤ復号化部６０２は、第１レイヤ符号化コードから第１レイヤ復号信号を生成して、第２レイヤ復号化部６０３に出力する。また、生成された第１レイヤ復号信号を、必要に応じて、最低限の品質が担保された復号信号（第１レイヤ復号信号）として出力する。

第２レイヤ復号化部６０３は、第１レイヤ復号信号と第２レイヤ符号化コードとを用いて、高品質の復号信号（ここでは、第２レイヤ復号信号と称す）を生成し、必要に応じてこの復号信号を出力する。

このように、第１レイヤ復号信号によって再生音声の最低限の品質が担保され、第２レイヤ復号信号によって再生音声の品質を高めることができる。また、出力する信号を第１レイヤ復号信号または第２レイヤ復号信号のどちらにするかは、ネットワーク環境（パケットロスの発生等）によって第２レイヤ符号化コードが得られるかどうか、または、アプリケーションやユーザの設定等に依存する。

第２レイヤ復号化部６０３の構成を、図７を用いて詳細に行う。図７において、第２レイヤ復号化部６０３は、拡張帯域復号化部７０１、周波数領域変換部７０２および時間領域変換部７０３を有する。

周波数領域変換部７０２は、第１レイヤ復号化部６０２から入力された第１レイヤ復号信号を周波数領域のパラメータ（例えばＭＤＣＴ係数など）に変換し、そのパラメータをスペクトル点数がＮｎの第１レイヤ復号スペクトルとして拡張帯域復号化部７０１に出力する。

拡張帯域復号化部７０１は、分離部６０１から入力された第２レイヤ符号化コード（この構成では拡張帯域符号化コードと同一）から各種パラメータ（振幅調整係数、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン、スケールファクタ）を復号する。また、復号された各種パラメータと周波数領域変換部７０２から出力された第１レイヤ復号スペクトルとを用いて帯域拡張された第２の復号スペクトルであってスペクトル点数がＮｗの第２のスペクトルを生成する。そして、第２の復号スペクトルを時間領域変換部７０３に出力する。

時間領域変換部７０３は、第２の復号スペクトルを時間領域の信号に変換した後、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行って、フレーム間に生じる不連続を回避し、第２レイヤ復号信号を出力する。

次に、拡張帯域復号化部７０１の詳細な説明を、図８を用いて行う。図８において、拡張帯域復号化部７０１は、分離部８０１、振幅調整部８０２、フィルタ状態設定部８０３、フィルタリング部８０４、スペクトル残差形状符号帳８０５、スペクトル残差ゲイン符号帳８０６、乗算器８０７、スケールファクタ復号化部８０８、スケーリング部８０９およびスペクトル合成部８１０を有する。

分離部８０１は、分離部６０１から入力される拡張帯域符号化コードを振幅調整係数符号化コード、ラグ符号化コード、残差形状符号化コード、残差ゲイン符号化コード、スケールファクタ符号化コード、に分離する。また、振幅調整係数符号化コードを振幅調整部８０２に、ラグ符号化コードをフィルタリング部８０４に、残差形状符号化コードをスペクトル残差形状符号帳８０５に、残差ゲイン符号化コードをスペクトル残差ゲイン符号帳８０６に、スケールファクタ符号化コードをスケールファクタ復号化部８０８に、それぞれ出力する。

振幅調整部８０２は、分離部８０１から入力された振幅調整係数符号化コードを復号し、復号された振幅調整係数を用いて、別途周波数領域変換部７０２から入力された第１レイヤ復号スペクトルの振幅を調整し、振幅調整後の第１レイヤ復号スペクトルをフィルタ状態設定部８０３に出力する。振幅調整は、前述の式（１）で表される方法で行う。ここで、Ｓ１（ｋ）は第１レイヤ復号スペクトル、Ｓ１’（ｋ）は振幅調整後の第１レイヤ復号スペクトルを表す。

フィルタ状態設定部８０３は、前述の式（２）で表される伝達関数のピッチフィルタのフィルタ状態に振幅調整後の第１レイヤ復号スペクトルを設定する。具体的には振幅調整後の第１レイヤ復号スペクトル｛Ｓ１’（ｋ）；０≦ｋ＜Ｎｎ｝を生成スペクトルバッファＳ（ｋ）に代入し、フィルタリング部８０４へ出力する。ここで、Ｔはピッチフィルタのラグである。また、生成スペクトルバッファＳ（ｋ）は、ｋ＝０〜Ｎｗ−１の範囲で定義される配列変数であり、本フィルタリング処理によって（Ｎｗ−Ｎｎ）点のスペクトルが生成される。

フィルタリング部８０４は、分離部８０１から入力されたラグＴを復号し、復号されたラグＴを用いて、フィルタ状態設定部８０３から入力された生成スペクトルバッファＳ（ｋ）に対してフィルタリング処理を行う。具体的には、前述の式（３）に示される方法によって出力スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝を生成する。ここで、ｇ（ｊ）は残差ゲイン符号化コードｊにより表されるスペクトル残差ゲイン、Ｃ（ｉ，ｋ）は残差形状符号化コードｉにより表されるスペクトル残差形状ベクトルをそれぞれ示しており、ｇ（ｊ）・Ｃ（ｉ，ｋ）は乗算器８０７から入力される。生成されたフィルタリング部８０４の出力スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝はスケーリング部８０９へ出力される。

スペクトル残差形状符号帳８０５は、分離部８０１から入力された残差形状符号化コードを復号し、復号結果に対応するスペクトル残差形状ベクトルＣ（ｉ，ｋ）を乗算器８０７へ出力する。

スペクトル残差ゲイン符号帳８０６は、分離部８０１から入力された残差ゲイン符号化コードを復号し、復号結果に対応するスペクトル残差ゲインｇ（ｊ）を乗算器８０７へ出力する。

乗算器８０７は、スペクトル残差形状符号帳８０５から入力されたスペクトル残差形状ベクトルＣ（ｉ，ｋ）と、スペクトル残差ゲイン符号帳８０６から入力されたスペクトル残差ゲインｇ（ｊ）と、の乗算結果をフィルタリング部８０４へ出力する。

スケールファクタ復号化部８０８は、分離部８０１から入力されたスケールファクタ符号化コードを復号し、復号されたスケールファクタをスケーリング部８０９へ出力する。

スケーリング部８０９は、フィルタリング部８０４から与えられた出力スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝に、スケールファクタ復号化部８０８から入力されたスケールファクタを乗じて、その乗算結果をスペクトル合成部８１０に出力する。

スペクトル合成部８１０は、周波数領域変換部７０２より与えられる第１レイヤ復号スペクトル｛Ｓ１（ｋ）；０≦ｋ＜Ｎｎ｝と、スケーリング部８０９から出力されるスケーリング後の生成スペクトルバッファの高域部｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝を結合して得られるスペクトルを第２の復号スペクトルとして時間領域変換部７０３に出力する。

（実施の形態２）
図９に、本発明の実施の形態２に係る第２レイヤ符号化部１０５の構成を示す。図９において図２と同一名称を持つブロックは、同様の機能を有するので、ここではその詳細な説明を省略する。図２と図９の違いは、周波数領域変換部２０１と拡張帯域符号化部２０２との間に第１スペクトル符号化部９０１が存在する点にある。第１スペクトル符号化部９０１は、周波数領域変換部２０１より出力される第１レイヤ復号スペクトルの品質を向上させ、そのときの符号化コード（第１のスペクトル符号化コード）を多重化部１０４に出力するとともに、品質向上された第１レイヤ復号スペクトル（第１の復号スペクトル）を拡張帯域符号化部２０２に与える。拡張帯域符号化部２０２は、前述の処理を第１の復号スペクトルを用いて行い、その結果として拡張帯域符号化コードを出力する。すなわち、本実施の形態の第２レイヤ符号化コードは、拡張帯域符号化コードと第１のスペクトル符号化コードとの組み合わせからなる。したがって、本実施の形態では、多重化部１０４は、第１レイヤ符号化コード、拡張帯域符号化コードおよび第１のスペクトル符号化コードを多重化して、ビットストリームを生成する。

次に、第１スペクトル符号化部９０１の詳細を、図１０を用いて説明する。第１スペクトル符号化部９０１は、スケーリング係数符号化部１００１、スケーリング係数復号化部１００２、微細スペクトル符号化部１００３、多重化部１００４、微細スペクトル復号化部１００５、正規化部１００６、減算器１００７および加算器１００８を有する。

減算器１００７は、原スペクトルから第１レイヤ復号スペクトルを減じて残差スペクトルを生成し、残差スペクトルをスケーリング係数符号化部１００１および正規化部１００６に出力する。スケーリング係数符号化部１００１は、残差スペクトルのスペクトル概形を表すスケーリング係数を算出し、当該スケーリング係数を符号化し、その符号化コードを多重化部１００４およびスケーリング係数復号化部１００２に出力する。

スケーリング係数の符号化においては、聴覚マスキングを用いても良い。例えば、聴覚マスキングを用いてスケーリング係数の符号化に必要なビット配分を決定し、そのビット配分情報に基づき符号化を行う。このとき、全くビットが配分されない帯域がある場合には、その帯域のスケーリング係数は符号化されないことになる。これにより、スケーリング係数の符号化を効率化することができる。

スケーリング係数復号化部１００２は、入力されたスケーリング係数符号化コードからスケーリング係数を復号し、復号されたスケーリング係数を正規化部１００６、微細スペクトル符号化部１００３および微細スペクトル復号化部１００５に出力する。

正規化部１００６は、スケーリング係数復号化部１００２より与えられるスケーリング係数を用いて、減算器１００７より与えられる残差スペクトルの正規化を行い、正規化後の残差スペクトルを微細スペクトル符号化部１００３に出力する。

微細スペクトル符号化部１００３は、スケーリング係数復号化部１００２から入力されたスケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域に割り当てられるビット数を求め、このビット数の条件のもとで正規化後の残差スペクトル（微細スペクトル）の符号化を行う。そして、この符号化によって得られた微細スペクトル符号化コードを多重化部１００４および微細スペクトル復号化部１００５に出力する。

なお、正規化後の残差スペクトルの符号化の際には、聴覚マスキングを用いて聴感的な歪を小さくするように符号化しても良い。また、聴覚的重要度の算出に第１レイヤ復号スペクトルの情報を用いるようにしても良い。その場合、第１レイヤ復号スペクトルを微細スペクトル符号化部１００３へ入力するように構成する。

スケーリング係数符号化部１００１および微細スペクトル符号化部１００３より出力される符号化コードは、多重化部１００４にて多重化され、第１のスペクトル符号化コードとして多重化部１０４に出力される。

微細スペクトル復号化部１００５は、スケーリング係数復号化部１００２から入力されたスケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域に割り当てられたビット数を求め、スケーリング係数と微細スペクトル符号化部１００３から入力された微細スペクトル符号化コードとから各帯域の残差スペクトルを復号し、復号された残差スペクトルを加算器１００８へ出力する。なお、聴覚的重要度の算出に第１レイヤ復号スペクトルの情報を用いるようにしても良い。その場合、第１レイヤ復号スペクトルを微細スペクトル復号化部１００５へ入力するように構成する。

加算器１００８は、復号された残差スペクトルと第１レイヤ復号スペクトルとを加算して第１の復号スペクトルを生成し、生成された第１の復号スペクトルを拡張帯域符号化部２０２へ出力する。

このように本実施の形態によれば、第１レイヤ復号スペクトルの品質を改善した後に、品質改善後のスペクトル、つまり第１のスペクトルを使って拡張帯域符号化部２０２で高域部（Ｎｎ≦ｋ＜Ｎｗ）のスペクトルを生成することにより、帯域拡張された復号信号の品質を改善することができる。

本実施の形態の第２レイヤ復号化部６０３の構成を、図１１を用いて詳細に行う。図１１において図７と同一名称のブロックは、同一の機能を有するため、ここではその詳細な説明を省略する。図１１において、第２レイヤ復号化部６０３は、分離部１１０１、第１スペクトル復号化部１１０２、拡張帯域復号化部７０１、周波数領域変換部７０２および時間領域変換部７０３を有する。

分離部１１０１は、第２レイヤ符号化コードを、第１のスペクトル符号化コード、拡張帯域符号化コード、に分離し、第１のスペクトル符号化コードを第１スペクトル復号化部１１０２に、拡張帯域符号化コードを拡張帯域復号化部７０１に、それぞれ出力する。

周波数領域変換部７０２は、第１レイヤ復号化部６０２から入力された第１レイヤ復号信号を周波数領域のパラメータ（例えばＭＤＣＴ係数など）に変換し、このパラメータを第１レイヤ復号スペクトルとして第１スペクトル復号化部１１０２に出力する。

第１スペクトル復号化部１１０２は、分離部１１０１から入力された第１のスペクトル符号化コードを復号して得られる第１レイヤの符号化誤差の量子化スペクトルを、周波数領域変換部７０２から入力された第１レイヤ復号スペクトルに加える。そして、その加算結果を第１の復号スペクトルとして拡張帯域復号化部７０１へ出力する。

ここで、第１スペクトル復号化部１１０２の説明を、図１２を用いて詳細に行う。第１スペクトル復号化部１１０２は、分離部１２０１、スケーリング係数復号化部１２０２、微細スペクトル復号化部１２０３およびスペクトル復号部１２０４を有する。

分離部１２０１は、入力された第１のスペクトル符号化コードから、スケーリング係数を表す符号化コードと、微細スペクトル（スペクトル微細構造）を表す符号化コードと、を分離し、スケーリング係数符号化コードをスケーリング係数復号化部１２０２に、微細スペクトル符号化コードを微細スペクトル復号化部１２０３に、それぞれ出力する。

スケーリング係数復号化部１２０２は、入力されたスケーリング係数符号化コードからスケーリング係数を復号し、復号されたスケーリング係数をスペクトル復号部１２０４および微細スペクトル復号化部１２０３に出力する。

微細スペクトル復号化部１２０３は、スケーリング係数復号化部１２０２から入力されたスケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域の微細スペクトルに割り当てられたビット数を求める。また、分離部１２０１から入力された微細スペクトル符号化コードから各帯域の微細スペクトルを復号し、復号された微細スペクトルをスペクトル復号部１２０４へ出力する。

なお、聴覚的重要度の算出に第１レイヤ復号スペクトルの情報を用いるようにしても良い。その場合、第１レイヤ復号スペクトルを微細スペクトル復号化部１２０３へ入力するように構成する。

スペクトル復号部１２０４は、周波数領域変換部７０２から与えられた第１レイヤ復号スペクトルと、スケーリング係数復号化部１２０２から入力されたスケーリング係数と、微細スペクトル復号化部１２０３から入力された微細スペクトルと、から第１の復号スペクトルを復号し、この復号スペクトルを拡張帯域復号化部７０１へ出力する。

なお、本実施の形態の拡張帯域符号化部２０２には、スペクトル残差形状符号帳３０５およびスペクトル残差ゲイン符号帳３０７を設けなくとも良い。この場合の拡張帯域符号化部２０２の構成は、図１３に示される。また、拡張帯域復号化部７０１には、スペクトル残差形状符号帳８０５およびスペクトル残差ゲイン符号帳８０６を設けなくとも良い。この場合の拡張帯域復号化部７０１の構成は、図１４に示される。なお、図１３および図１４にそれぞれ示されるフィルタリング部１３０１、１４０１の出力信号は、次の式（６）で表される。

本実施の形態では、第１レイヤ復号スペクトルの品質を改善した後に、この品質改善後のスペクトルを使って拡張帯域符号化部２０２で高域部（Ｎｎ≦ｋ＜Ｎｗ）のスペクトルを生成する。この構成によれば、復号信号の品質を改善することができる。この利点は、スペクトル残差形状符号帳およびスペクトル残差ゲイン符号帳の有無に関わらず享受できる。

なお、第１スペクトル符号化部９０１では、低域部（０≦ｋ＜Ｎｎ）のスペクトルの符号化を行う際に、全帯域（０≦ｋ＜Ｎｗ）の符号化歪が最も小さくなるように低域部（０≦ｋ＜Ｎｎ）のスペクトルの符号化を行っても良い。この場合、拡張帯域符号化部２０２では、高域部（Ｎｎ≦ｋ＜Ｎｗ）の符号化まで行われる。また、この場合、第１スペクトル符号化部９０１において、低域部の符号化結果が高域部の符号化に与える影響も考慮して低域部の符号化を行うことになる。したがって、全帯域のスペクトルが最適になるよう低域部のスペクトルの符号化が為されるようになるため、品質が向上するという効果が得られる。

（実施の形態３）
本発明の実施の形態３に係る第２レイヤ符号化部１０５の構成を図１５に示す。図１５において図９と同一名称のブロックは同一の機能を有するため、ここではその詳細な説明を省略する。

図９との違いは、復号機能を有し且つ拡張帯域符号化コードを求める拡張帯域符号化部１５０１と、その拡張帯域符号化コードを用いて第２の復号スペクトルを生成し原スペクトルから第２の復号スペクトルを減じて求められる誤差スペクトルを符号化する第２スペクトル符号化部１５０２と、が設けられた点にある。前述の誤差スペクトルを第２スペクトル符号化部１５０２にて符号化することでより高品質な復号スペクトルを生成できるようになり、復号化装置で得られる復号信号の品質を向上させることができる。

拡張帯域符号化部１５０１は、図３に示された拡張帯域符号化部２０２と同様に拡張帯域符号化コードを生成して出力する。また、拡張帯域符号化部１５０１は、図８に示される拡張帯域復号化部７０１と同様の構成を内包し、拡張帯域復号化部７０１と同様に第２の復号スペクトルを生成する。この第２の復号スペクトルは、第２スペクトル符号化部１５０２に出力される。すなわち、本実施の形態の第２レイヤ符号化コードは、拡張帯域符号化コード、第１のスペクトル符号化コードおよび第２のスペクトル符号化コードからなる。

なお、拡張帯域符号化部１５０１の構成において、図３および図８で共通の名称を持つブロックは共有化されていても良い。

第２スペクトル符号化部１５０２は、図１６に示すように、スケーリング係数符号化部１６０１、スケーリング係数復号化部１６０２、微細スペクトル符号化部１６０３、多重化部１６０４、正規化部１６０５および減算器１６０６を有する。

減算器１６０６は、原スペクトルから第２の復号スペクトルを減じて残差スペクトルを生成し、残差スペクトルをスケーリング係数符号化部１６０１および正規化部１６０５に出力する。スケーリング係数符号化部１６０１は、残差スペクトルのスペクトル概形を表すスケーリング係数を算出し、当該スケーリング係数を符号化し、スケーリング係数符号化コードを多重化部１６０４およびスケーリング係数復号化部１６０２に出力する。

ここで、聴覚マスキングを用いてスケーリング係数の符号化の効率化を図っても良い。例えば、聴覚マスキングを用いてスケーリング係数の符号化に必要なビット配分を決定し、そのビット配分情報に基づき符号化を行う。このとき、全くビットが配分されない帯域がある場合には、その帯域のスケーリング係数は符号化されないことになる。

スケーリング係数復号化部１６０２は、入力されたスケーリング係数符号化コードからスケーリング係数を復号し、復号されたスケーリング係数を正規化部１６０５および微細スペクトル符号化部１６０３に出力する。

正規化部１６０５は、スケーリング係数復号化部１６０２より与えられるスケーリング係数を用いて、減算器１６０６より与えられる残差スペクトルの正規化を行い、正規化後の残差スペクトルを微細スペクトル符号化部１６０３に出力する。

微細スペクトル符号化部１６０３は、スケーリング係数復号化部１６０２から入力された復号スケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域に割り当てられたビット数を求め、このビット数の条件のもとで正規化後の残差スペクトル（微細スペクトル）の符号化を行う。そして、この符号化によって得られた符号化コードを多重化部１６０４に出力する。

なお、正規化後の残差スペクトルの符号化の際には、聴覚マスキングを用いて聴感的な歪を小さくするように符号化しても良い。また、聴覚的重要度の算出に第２レイヤ復号スペクトルの情報を用いるようにしても良い。その場合、第２レイヤ復号スペクトルを微細スペクトル符号化部１６０３へ入力するように構成する。

スケーリング係数符号化部１６０１および微細スペクトル符号化部１６０３より出力される符号化コードは多重化部１６０４にて多重化され、第２のスペクトル符号化コードとして出力される。

図１７は、第２スペクトル符号化部１５０２の構成の変形例を示している。図１７において図１６と同一名称のブロックは同一機能を有するため、ここではその詳細な説明を省略する。

この構成では、第２スペクトル符号化部１５０２は、減算器１６０６より与えられる残差スペクトルを直接符号化する。つまり、残差スペクトルの正規化は行われない。そのため本構成では、図１６に示されたスケーリング係数符号化部１６０１、スケーリング係数復号化部１６０２および正規化部１６０５が設けられていない。この構成によれば、第２スペクトル符号化部１５０２でスケーリング係数にビットを配分する必要が無くなるため、ビットレートを低減させることができる。

聴覚重要度およびビット配分算出部１７０１は、第２の復号スペクトルから各帯域の聴覚重要度を求め、聴覚重要度に応じて決定される各帯域へのビット配分を求める。求められた聴覚重要度およびビット配分は、微細スペクトル符号化部１６０３へ出力される。

微細スペクトル符号化部１６０３は、聴覚重要度およびビット配分算出部１７０１から入力された聴覚重要度およびビット配分に基づいて、残差スペクトルを符号化する。そして、この符号化によって得られた符号化コードを第２のスペクトル符号化コードとして多重化部１０４に出力する。なお、残差スペクトルの符号化の際には、聴覚マスキングを用いて聴感的な歪を小さくするように符号化しても良い。

本実施の形態の第２レイヤ復号化部６０３の構成を図１８に示す。第２レイヤ復号化部６０３は、拡張帯域復号化部７０１、周波数領域変換部７０２、時間領域変換部７０３、分離部１１０１、第１スペクトル復号化部１１０２および第２スペクトル復号化部１８０１を有する。図１８において図１１と同一名称のブロックは同一の機能を有するので、ここではその詳細な説明を省略する。

第２スペクトル復号化部１８０１は、分離部１１０１から入力された第２のスペクトル符号化コードを復号して得られる第２の復号スペクトルの符号化誤差を量子化したスペクトルを、拡張帯域復号化部７０１から入力された第２の復号スペクトルに加える。そして、この加算結果を第３の復号スペクトルとして時間領域変換部７０３へ出力する。

第２スペクトル復号化部１８０１は、第２スペクトル符号化部１５０２が図１６に示す構成を採る場合、図１２と同様の構成を採る。ただし、図１２における第１のスペクトル符号化コード、第１レイヤ復号スペクトルおよび第１の復号スペクトルは、それぞれ、第２のスペクトル符号化コード、第２の復号スペクトルおよび第３の復号スペクトルに置き換わる。

また、本実施の形態では、第２スペクトル復号化部１８０１の構成について、第２スペクトル符号化部１５０２が図１６に示す構成を採る場合を例に挙げて説明したが、第２スペクトル符号化部１５０２が図１７に示す構成を採る場合、第２スペクトル復号化部１８０１の構成は、図１９のようになる。

つまり図１９は、スケーリング係数を用いない第２スペクトル符号化部１５０２に対応する第２スペクトル復号化部１８０１の構成を示している。第２スペクトル復号化部１８０１は、聴覚重要度およびビット配分算出部１９０１と微細スペクトル復号化部１９０２とスペクトル復号部１９０３とを有する。

図１９において、聴覚重要度およびビット配分算出部１９０１は、拡張帯域復号化部７０１から入力された第２の復号スペクトルから各帯域の聴覚重要度を求め、聴覚重要度に応じて決定される各帯域へのビット配分を求める。求められた聴覚重要度とビット配分は、微細スペクトル復号化部１９０２へ出力される。

微細スペクトル復号化部１９０２は、聴覚重要度およびビット配分算出部１９０１から入力された聴覚重要度およびビット配分に基づいて、分離部１１０１から第２のスペクトル符号化コードとして入力される微細スペクトル符号化コードを復号し、その復号結果（各帯域の微細スペクトル）をスペクトル復号部１９０３に出力する。

微細スペクトル復号化部１９０３は、拡張帯域復号化部７０１から入力された第２の復号スペクトルに、微細スペクトル復号化部１９０２から入力された微細スペクトルを加えて、その加算結果を第３の復号スペクトルとして外部へ出力する。

なお、本実施の形態では、第１スペクトル符号化部９０１および第１スペクトル復号化部１１０２を含む構成を例に挙げて説明したが、第１スペクトル符号化部９０１および第１スペクトル復号化部１１０２が無くても本実施の形態の作用効果を実現することができる。その場合の第２レイヤ符号化部１０５の構成を図２０に、第２レイヤ復号化部６０３の構成を図２１に、それぞれ示す。

以上、本発明によるスケーラブル復号化装置およびスケーラブル符号化装置の実施の形態について説明した。

なお、上記実施の形態においては、変換方式としてＭＤＣＴを使って説明したがこれに限定されず、他の変換方式、例えばフーリエ変換やコサイン変換、Ｗａｖｅｌｅｔ変換などを使用したときにも本発明は適用できる。

また、上記実施の形態においては、階層数２を基に説明したがこれに限定されず、２以上の階層を持つスケーラブル符号化／復号化にも適用できる。

また、本発明に係る符号化装置および復号化装置は、上記の実施の形態１〜３に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。

本発明に係る符号化装置および復号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することも可能であり、これにより上記と同様の作用効果を有する通信端末装置および基地局装置を提供することができる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

なお、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

すなわち、上記実施の形態に係るスケーラブル符号化装置は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成するスケーラブル符号化装置であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出手段と、算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化手段と、を有する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記第１パラメータ算出手段は、前記第１スペクトルを内部状態として有するフィルタを用いて、前記フィルタの特性を示すパラメータを前記第１パラメータとして出力する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記第２パラメータ算出手段は、スペクトル残差の候補を複数記録しているスペクトル残差形状符号帳を有し、前記スペクトル残差の符号を前記第２パラメータとして出力する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記第１スペクトルと前記第２スペクトルの低周波帯域部との残差成分を符号化する残差成分符号化手段をさらに有し、前記第１パラメータ算出手段および前記第２パラメータ算出手段は、前記残差成分符号化手段によって符号化された残差成分を用いて前記第１スペクトルの品質を向上させた後に、前記第１パラメータおよび第２パラメータを算出する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記残差成分符号化手段は、前記第１スペクトルの低周波帯域部の品質と、前記符号化手段によって符号化された第１パラメータと第２パラメータとから得られる復号スペクトルの高周波帯域部の品質と、の両方を向上させる構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記第１パラメータは、ラグを含み、前記第２パラメータは、スペクトル残差を含み、前記ラグ、前記スペクトル残差の順に配置されたビットストリームを構成する構成手段をさらに有する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化装置であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示すパラメータを算出するパラメータ算出手段と、算出されたパラメータを前記高周波帯域の符号化情報として符号化するパラメータ符号化手段と、前記第１スペクトルと前記第２スペクトルの低周波帯域部との残差成分を符号化する残差成分符号化手段と、を有し、前記パラメータ算出手段は、前記残差成分符号化手段によって符号化された残差成分を用いて前記第１スペクトルの品質を向上させた後に、前記パラメータを算出する構成を採る。

また、上記実施の形態に係るスケーラブル復号化装置は、低周波帯域に対応する第１スペクトルを取得するスペクトル取得手段と、高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得手段と、取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号手段と、を有する構成を採る。

また、上記実施の形態に係るスケーラブル符号化方法は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成するスケーラブル符号化方法であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出ステップと、前記原信号から第２スペクトルを算出する第２スペクトル算出ステップと、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出ステップと、前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出ステップと、算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化ステップと、
を有するようにした。

また、上記実施の形態に係るスケーラブル復号化方法は、低周波帯域に対応する第１スペクトルを取得するスペクトル取得ステップと、高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得ステップと、取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号ステップと、を有するようにした。

特に、本発明による第１のスケーラブル符号化装置は、第１スペクトルを内部状態として持つフィルタを用いて第２スペクトルの高域部を推定し、フィルタ情報を符号化して送るスペクトル符号化装置において、スペクトル残差の候補が複数記録されているスペクトル残差形状符号帳を有し、前記フィルタの入力信号としてスペクトル残差を与えフィルタリングを行い第２スペクトルの高域部を推定するもので、スペクトル残差を用いることにより、第１スペクトルの変形では表せない第２スペクトルの高域部の成分を符号化することができるようになるため、第２スペクトルの高域部の推定性能が向上し高品質化が為される。

また、本発明による第２のスケーラブル符号化装置は、第２スペクトルの低域部と第１スペクトルの間の誤差成分を符号化して第１スペクトルの高品質化を図った後に、この第１スペクトルを内部状態として持つフィルタを用いて第２スペクトルの高域部を推定するもので、第２スペクトルの低域部に対する第１スペクトルの品質を改善させた後に、品質改善後の第１スペクトルを用いて第２スペクトルの高域部を推定することにより、推定性能が向上し高品質化が為される。

また、本発明による第３のスケーラブル符号化装置は、第１スペクトルを内部状態として持つフィルタを用いて第２スペクトルの高域部を推定して生成される推定スペクトルと第２スペクトルの高域部の間の誤差成分と、第２スペクトルの低域部と第１スペクトルの間の誤差成分の両誤差成分を小さくするように、第２スペクトルの低域部と第１スペクトルの間の誤差成分を符号化するもので、第１スペクトルと第２スペクトルの低域部の間の誤差成分を符号化する際に、第１スペクトルおよび第２スペクトルの高域部の推定スペクトルの両品質が同時に向上する第１スペクトルの符号化が為されるため、高品質化が実現できる。

また、上記第１〜３のスケーラブル符号化装置においては、符号化装置にて復号化装置に伝送されるビットストリームを生成する際に、当該ビットストリームは少なくとも、スケールファクタ、ダイナミックレンジ調整係数、ラグ、を含み、この順番でビットストリームを構成するようにしてもよい。これにより、ビットストリームの構成は復号信号の品質に与える影響が大きいパラメータほどビットストリームのＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）の近くに配置されているため、ビットストリームのＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）から任意のビット位置でビットが削除されても品質劣化が生じ難いという効果が得られる。

本明細書は、２００４年１１月５日出願の特願２００４−３２２９５９に基づく。この内容はすべてここに含めておく。

本発明に係る符号化装置、復号化装置、符号化方法及び復号化方法は、スケーラブル符号化／復号化等に適用できる。

本発明は、音声信号、オーディオ信号等を符号化／復号化する符号化装置、復号化装置、符号化方法及び復号化方法に関する。

移動体通信システムにおける電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、ユーザからは通話音声の品質向上や臨場感の高い通話サービスの実現が望まれている。この実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声以外の信号をも高品質に符号化できることが望ましい。

このような相反する要求に対し、複数の符号化技術を階層的に統合するアプローチが有望視されている。具体的には、音声信号に適したモデルで入力信号を低ビットレートで符号化する第１レイヤ部と、入力信号と第１レイヤ復号信号との残差信号を音声以外の信号にも適したモデルで符号化する第２レイヤ部を階層的に組み合わせる構成を採る。このような階層構造を持つ符号化方式は、符号化部より得られるビットストリームにスケーラビリティ性（ビットストリームの一部の情報からでも復号信号が得られること）を有するため、スケーラブル符号化と呼ばれる。スケーラブル符号化はその性質から、ビットレートの異なるネットワーク間の通信にも柔軟に対応できる。この特徴は、ＩＰプロトコルで多様なネットワークが統合されていく今後のネットワーク環境に適したものといえる。

従来のスケーラブル符号化としては、例えば非特許文献１記載のものがある。この文献では、MPEG-4（Moving Picture Experts Group phase-4）で規格化された技術を用いてスケーラブル符号化を構成する方法について述べられている。具体的には、第１レイヤ部（基本レイヤ部）では、CELP（Code Excited Linear Prediction：符号励振線形予測）を用いて音声信号つまり原信号を符号化し、第２レイヤ部（拡張レイヤ部）では、例えばAAC（Advanced Audio Coder）やTwinVQ（Transform Domain Weighted Interleave Vector Quantization：周波数領域重み付きインターリーブベクトル量子化）のような変換符号化を用いて残差信号を符号化する。ここで、残差信号は、第１レイヤ部で得られた符号化コードを復号したもの（第１レイヤ復号信号）を原信号から減算することにより得られる信号である。
三木弼一編著、「MPEG-4の全て」、初版、（株）工業調査会、１９９８年９月３０日、ｐ．１２６−１２７

しかしながら、上記従来技術においては、第２レイヤ部での変換符号化は、原信号から第１レイヤ復号信号を減じて得られる残差信号に対して行われる。よって、原信号に含まれる主要な情報の一部が、第１レイヤ部を介することにより取り除かれることがある。この場合、残差信号の特性が、雑音系列に近い特性となる。したがって、例えばAACやTwinVQのように楽音信号を効率的に符号化するよう設計された変換符号化を、第２レイヤ部に用いる場合、上記特性を持つ残差信号を符号化して復号信号の高品質化を図るには、多くのビットを配分する必要がある。その結果、ビットレートが大きくなってしまうという問題があった。

本発明の目的は、かかる点に鑑みてなされたものであり、第２レイヤ部またはそれよりも上位のレイヤ部で低ビットレートの符号化を行っても高品質な復号信号を得ることがで
きる符号化装置、復号化装置、符号化方法及び復号化方法を提供することである。

本発明の符号化装置は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化装置であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出手段と、算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化手段と、を有する構成を採る。

本発明の符号化装置は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化装置であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示すパラメータを算出するパラメータ算出手段と、算出されたパラメータを前記高周波帯域の符号化情報として符号化するパラメータ符号化手段と、前記第１スペクトルと前記第２スペクトルの低周波帯域部との残差成分を符号化する残差成分符号化手段と、を有し、前記パラメータ算出手段は、前記残差成分符号化手段によって符号化された残差成分を用いて前記第１スペクトルの品質を向上させた後に、前記パラメータを算出する構成を採る。

本発明の復号化装置は、低周波帯域に対応する第１スペクトルを取得するスペクトル取得手段と、高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得手段と、取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号手段と、を有する構成を採る。

本発明の符号化方法は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化方法であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出ステップと、前記原信号から第２スペクトルを算出する第２スペクトル算出ステップと、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出ステップと、前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出ステップと、算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化ステップと、
を有するようにした。

本発明の復号化方法は、低周波帯域に対応する第１スペクトルを取得するスペクトル取得ステップと、高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得ステップと、取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号ステップと、を有するようにした。

本発明によれば、第２レイヤ部またはそれよりも上位のレイヤ部で低ビットレートの符号化を行っても高品質な復号信号を得ることができる。

本発明は、スケーラブル符号化の上位レイヤに適した変換符号化に関し、より具体的には、当該変換符号化におけるスペクトルの効率的な符号化法に関する。

その主な特徴の１つは、第１レイヤ復号信号を周波数分析して得られるスペクトル（第１レイヤ復号スペクトル）を内部状態（フィルタ状態）として持つフィルタを用いてフィルタリング処理を行い、その出力信号を原スペクトルの高域部の推定値とする。ここで、原スペクトルとは、遅延調整された原信号を周波数分析して得られるスペクトルのことである。そして、原スペクトルの高域部に最も類似する出力信号を生成するときのフィルタ情報を符号化して復号化部へ伝送する。フィルタ情報のみを符号化すれば良いため、低ビットレート化が図れる。

本発明のある実施の形態では、スペクトル残差の候補が複数記録されているスペクトル残差形状符号帳を用いて、前述のフィルタにスペクトル残差を与えてフィルタリング処理を行う。また、他の実施の形態では、第１レイヤ復号スペクトルをフィルタの内部状態に
格納する前に第１レイヤ復号スペクトルの誤差成分を符号化して、第１レイヤ復号スペクトルの品質を向上させてから、フィルタリング処理による原スペクトルの高域部の推定を行う。また、さらに他の実施の形態では、第１レイヤ復号スペクトルの誤差成分を符号化する際に、第１レイヤ復号スペクトルの符号化の性能と第１レイヤ復号スペクトルを使った高域スペクトルの推定の性能とがいずれも高くなるように第１レイヤ復号スペクトルの誤差成分の符号化を行う。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、各実施の形態では、複数のレイヤからなる階層構造を有するスケーラブル符号化を行う。また、各実施の形態では、一例として、（１）スケーラブル符号化の階層構造は、第１レイヤ（基本レイヤまたは下位レイヤ）と第１レイヤより上位にある第２レイヤ（拡張レイヤまたは上位レイヤ）の２階層とする、（２）第２レイヤの符号化では、周波数領域で符号化（変換符号化）を行う、（３）第２レイヤの符号化における変換方式にはＭＤＣＴ（Modified Discrete Cosine Transform；変形離散コサイン変換）を使用する、（４）第２レイヤの符号化では、全帯域を複数のサブバンドに分割する場合は、全帯域をＢａｒｋスケールで等間隔に分割し各サブバンドを各臨界帯域に対応付ける、（５）第１レイヤの入力信号のサンプリングレート（Ｆ１）と第２レイヤの入力信号のサンプリングレート（Ｆ２）には、Ｆ２はＦ１以上（Ｆ１≦Ｆ２）の関係がある、ものとする。

（実施の形態１）
図１は、例えば音声符号化装置等を形成する符号化装置１００の構成を示すブロック図である。符号化装置１００は、ダウンサンプリング部１０１、第１レイヤ符号化部１０２、第１レイヤ復号化部１０３、多重化部１０４、第２レイヤ符号化部１０５および遅延部１０６を有する。

図１において、サンプリングレートがＦ２の音声信号やオーディオ信号（原信号）はダウンサンプリング部１０１に与えられ、ダウンサンプリング部１０１にてサンプリング変換処理が行われ、サンプリングレートがＦ１の信号が生成され、第１レイヤ符号化部１０２に与えられる。第１レイヤ符号化部１０２は、サンプリングレートがＦ１の信号を符号化して得られる符号化コードを第１レイヤ復号化部１０３および多重化部１０４に出力する。

第１レイヤ復号化部１０３は、第１レイヤ符号化部１０２から出力された符号化コードから第１レイヤ復号信号を生成して第２レイヤ符号化部１０５に出力する。

遅延部１０６は、原信号に対して所定の長さの遅延を与えて第２レイヤ符号化部１０５に出力する。この遅延は、ダウンサンプリング部１０１、第１レイヤ符号化部１０２および第１レイヤ復号化部１０３で生じる時間遅れを調整するためのものである。

第２レイヤ符号化部１０５は、遅延部１０６から出力された原信号を、第１レイヤ復号化部１０３から出力された第１レイヤ復号信号を用いて符号化を行う。そして、この符号化により得られる符号化コードを多重化部１０４に出力する。

多重化部１０４は、第１レイヤ符号化部１０２から出力された符号化コードと第２レイヤ符号化部１０５から出力された符号化コードとを多重化し、ビットストリームとして出力する。

次いで、第２レイヤ符号化部１０５についてより詳細に説明する。第２レイヤ符号化部１０５の構成を図２に示す。第２レイヤ符号化部１０５は、周波数領域変換部２０１、拡張帯域符号化部２０２、周波数領域変換部２０３および聴覚マスキング算出部２０４を有
する。

図２において、周波数領域変換部２０１は、第１レイヤ復号化部１０３から出力された第１レイヤ復号信号をＭＤＣＴ変換により周波数分析してＭＤＣＴ係数（第１レイヤ復号スペクトル）を算出する。そして、第１レイヤ復号スペクトルを拡張帯域符号化部２０２に出力する。

周波数領域変換部２０３は、遅延部１０６から出力された原信号をＭＤＣＴ変換により周波数分析してＭＤＣＴ係数（原スペクトル）を算出する。そして、原スペクトルを拡張帯域符号化部２０２に出力する。

聴覚マスキング算出部２０４は、遅延部１０６から出力された原信号を用いて、帯域毎の聴覚マスキングを算出し、この聴覚マスキングを拡張帯域符号化部２０２に通知する。

ここで、人間の聴覚特性には、ある信号が聞こえているときにその信号と周波数の近い音が耳に入ってきてもその音が聞こえにくい、という聴覚マスキング特性がある。上記聴覚マスキングは効率的なスペクトル符号化を実現するために用いられる。このスペクトル符号化では、人間の聴覚マスキング特性を利用して聴感上許容される量子化歪を定量化し、その許容される量子化歪に応じた符号化法を適用する。

拡張帯域符号化部２０２は、図３に示すように、振幅調整部３０１、フィルタ状態設定部３０２、フィルタリング部３０３、ラグ設定部３０４、スペクトル残差形状符号帳３０５、探索部３０６、スペクトル残差ゲイン符号帳３０７、乗算器３０８、拡張スペクトル復号化部３０９およびスケールファクタ符号化部３１０を有する。

振幅調整部３０１には、周波数領域変換部２０１から第１レイヤ復号スペクトル｛Ｓ１（ｋ）；０≦ｋ＜Ｎｎ｝、周波数領域変換部２０３から原スペクトル｛Ｓ２（ｋ）；０≦ｋ＜Ｎｗ｝が与えられる。ここで、第１レイヤ復号スペクトルのスペクトル点数をＮｎ、原スペクトルのスペクトル点数をＮｗと表し、Ｎｎ＜Ｎｗの関係がある。

振幅調整部３０１は、第１レイヤ復号スペクトル｛Ｓ１（ｋ）；０≦ｋ＜Ｎｎ｝の最大振幅スペクトルと最小振幅スペクトルの比（ダイナミックレンジ）が、原スペクトルの高域部｛Ｓ２（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝のダイナミックレンジに近づくよう振幅調整を行う。具体的には、次の式（１）に示すように、振幅スペクトルのべき乗をとる。

ここで、sign()は正号／負号を返す関数、γは０≦γ≦１の範囲にある実数を表す。振幅調整部３０１は、振幅調整後の第１レイヤ復号スペクトルのダイナミックレンジが原スペクトルの高域部｛Ｓ２（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝のダイナミックレンジに最も近づくときのγ（振幅調整係数）を、あらかじめ用意された複数の候補の中から選択し、その符号化コードを多重化部１０４に出力する。

フィルタ状態設定部３０２は、振幅調整後の第１レイヤ復号スペクトル｛Ｓ１’（ｋ）；０≦ｋ＜Ｎｎ｝を後述するピッチフィルタの内部状態に設定する。具体的には、振幅調整後の第１レイヤ復号スペクトル｛Ｓ１’（ｋ）；０≦ｋ＜Ｎｎ｝を生成スペクトルバッファ｛Ｓ（ｋ）；０≦ｋ＜Ｎｎ｝に代入し、フィルタリング部３０３へ出力する。ここで、生成スペクトルバッファＳ（ｋ）は、０≦ｋ＜Ｎｗの範囲で定義される配列変数である
。後述するフィルタリング処理によって（Ｎｗ−Ｎｎ）点の原スペクトルの推定値（以下「推定原スペクトル」と言う）の候補が生成される。

ラグ設定部３０４は、探索部３０６からの指示に従い、ラグＴを予め定められた探索範囲ＴＭＩＮ〜ＴＭＡＸの中で漸次的に少しずつ変化させながら、フィルタリング部３０３に順次出力する。

スペクトル残差形状符号帳３０５は、複数のスペクトル残差形状ベクトルの候補を格納している。また、探索部３０６からの指示に従い、全ての候補の中から、または、あらかじめ限定された候補の中から、スペクトル残差形状ベクトルを順次出力する。

同様に、スペクトル残差ゲイン符号帳３０７は複数のスペクトル残差ゲインの候補を格納している。また、探索部３０６からの指示に従い、全ての候補の中から、または、あらかじめ限定された候補の中から、スペクトル残差ゲインを順次出力する。

乗算器３０８は、スペクトル残差形状符号帳３０５から出力されるスペクトル残差形状ベクトルと、スペクトル残差ゲイン符号帳３０７から出力されるスペクトル残差ゲインと、を乗じて、スペクトル残差形状ベクトルをゲイン調整する。そして、ゲイン調整されたスペクトル残差形状ベクトルをフィルタリング部３０３に出力する。

フィルタリング部３０３は、フィルタ状態設定部３０２で設定されたピッチフィルタの内部状態と、ラグ設定部３０４から出力されるラグＴと、ゲイン調整されたスペクトル残差形状ベクトルとを用いてフィルタリング処理を行い、推定原スペクトルを算出する。ここで、ピッチフィルタの伝達関数は、次の式（２）で表される。また、このフィルタリング処理は、次の式（３）のように表される。

ここで、Ｃ（ｉ，ｋ）は第ｉ番目のスペクトル残差形状ベクトル、ｇ（ｊ）は第ｊ番目のスペクトル残差形状ゲインを表す。範囲Ｎｎ≦ｋ＜Ｎｗに含まれる生成スペクトルバッファＳ（ｋ）がフィルタリング部３０３の出力信号（つまり、推定原スペクトル）として探索部３０６に出力される。図４に、生成スペクトルバッファ、振幅調整後の第１レイヤ復号スペクトル、フィルタリング部３０３の出力信号の相互関係を示す。

探索部３０６は、ラグ設定部３０４、スペクトル残差形状符号帳３０５およびスペクトル残差ゲイン符号帳３０７に、ラグ、スペクトル残差形状およびスペクトル残差ゲインの出力をそれぞれ指示する。

また、探索部３０６は、原スペクトルの高域部｛Ｓ２（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝とフィルタリング部３０３の出力信号｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝との間の歪Ｅを算出する。そして、合成による分析手法（ＡｂＳ；Ａｎａｌｙｓｉｓ ｂｙ Ｓｙｎｔｈｅｓｉｓ）により、最も歪が小さくなるときのラグ、スペクトル残差形状ベクトルおよびスペクトル残差ゲインの組み合わせを決定する。このとき、聴覚マスキング算出部２０４から出力された聴覚マスキングを利用して、聴感的に最も歪の小さい組み合わせを選択する。この歪をＥとすると、歪Ｅは、例えば聴覚マスキングにより定まる重み関数ｗ（ｋ）を用いて式
（４）によって表される。ここで、重み関数ｗ（ｋ）は、聴覚マスキングの大きい（歪が聞こえ難い）周波数では小さな値をとり、聴覚マスキングの小さい（歪が聞こえ易い）周波数では大きな値をとる。

探索部３０６により決定されたラグの符号化コード、スペクトル残差形状ベクトルの符号化コードおよびスペクトル残差ゲインの符号化コードは、多重化部１０４および拡張スペクトル復号化部３０９に出力される。

上記のＡｂＳによる符号化コード決定法においては、ラグ、スペクトル残差形状ベクトルおよびスペクトル残差ゲインを同時に決定しても良いし、あるいは、演算量を削減するために各パラメータを順次（例えば、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲインの順に）決定しても良い。

拡張スペクトル復号化部３０９は、振幅調整部３０１より出力される振幅調整係数の符号化コードならびに探索部３０６より出力されるラグの符号化コード、スペクトル残差形状ベクトルの符号化コードおよびスペクトル残差ゲインの符号化コードを復号し、原スペクトルの推定値（推定原スペクトル）を生成する。

具体的には、まず、復号された振幅調整係数γを用いて前述の式（１）に従い第１レイヤ復号スペクトル｛Ｓ１（ｋ）；０≦ｋ＜Ｎｎ｝の振幅調整を行う。次に、振幅調整された第１レイヤ復号スペクトルをフィルタの内部状態として用いるとともに、それぞれ復号されたラグ、スペクトル残差形状ベクトルおよびスペクトル残差ゲインを用いて、前述の式（３）に従ってフィルタリング処理を行い、推定原スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝を生成する。生成された推定原スペクトルはスケールファクタ符号化部３１０に出力される。

スケールファクタ符号化部３１０は、周波数領域変換部２０３より出力される原スペクトルの高域部｛Ｓ２（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝と拡張スペクトル復号化部３０９より出力される推定原スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝とを用いて、聴覚マスキングを利用して聴感上最も適した推定原スペクトルのスケールファクタ（スケーリング係数）を符号化し、その符号化コードを多重化部１０４に出力する。

すなわち、第２レイヤ符号化コードは、振幅調整部３０１から出力される符号化コード（振幅調整係数）、探索部３０６から出力される符号化コード（ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン）およびスケールファクタ符号化部３１０から出力される符号化コード（スケールファクタ）の組み合わせからなる。

なお、本実施の形態では、帯域Ｎｎ〜Ｎｗに対して拡張帯域符号化部２０２を適用して一組の符号化コード（振幅調整係数、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン、スケールファクタ）を決定する構成について説明しているが、帯域Ｎｎ〜Ｎｗを複数の帯域に分割し各帯域に対して拡張帯域符号化部２０２を適用する構成にしても良い。この場合、帯域毎に符号化コード（振幅調整係数、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン、スケールファクタ）を決定し、多重化部１０４に出力することになる。例えば、帯域Ｎｎ〜ＮｗをＭ個の帯域に分割して各帯域で拡張帯域符号化部２０２を適用すると、Ｍ組の符号化コード（振幅調整係数、ラグ、スペクトル残差形状ベク
トル、スペクトル残差ゲイン、スケールファクタ）が得られることになる。

また、複数帯域でそれぞれ独立の符号化コードを送らずに、隣接する帯域同士で一部の符号化コードを共有しても良い。例えば、帯域Ｎｎ〜ＮｗをＭ個の帯域に分割し、隣接する２つの帯域で共通の振幅調整係数を用いる場合、振幅調整係数の符号化コードの数はＭ／２個となり、それ以外の符号化コードの数はそれぞれＭ個となる。

なお、本実施の形態は１次のＡＲ型ピッチフィルタを用いた場合について説明してきた。しかしながら、本発明が適用できるフィルタは１次のＡＲ型ピッチフィルタに限定されず、伝達関数が次の式（５）で表されるフィルタにも本発明を適用することができる。フィルタ次数を規定するパラメータＬおよびＭの大きいピッチフィルタを用いるほど多様な特性を表現でき、品質が向上する可能性がある。ただし、次数が大きくなるほどフィルタ係数の符号化ビットを多く配分する必要が出てくるため、実用的なビット配分の元で適切なピッチフィルタの伝達関数を決めておく必要がある。

なお、本実施の形態では聴覚マスキングを用いることを前提としているが、聴覚マスキングを用いない構成であっても良い。その場合、図２の聴覚マスキング算出部２０４を第２レイヤ符号化部１０５に設ける必要が無くなり、装置全体の演算量を削減できる。

ここで、多重化部１０４から出力されるビットストリームの構成について、図５を用いて説明する。ビットストリームのＭＳＢ（Most Significant Bit）から順に、第１レイヤ符号化コード、第２レイヤ符号化コードが格納されている。さらに、第２レイヤ符号化コードは、スケールファクタ、振幅調整係数、ラグ、スペクトル残差ゲイン、スペクトル残差形状ベクトルの順に格納され、後者の情報ほどＬＳＢ（Least Significant Bit）に近い位置に配置されている。このビットストリームの構成は、各符号化コードの符号欠落に対する感度（符号化コードが欠落したときにどの程度復号信号の品質を劣化させるか）に対して、符号誤り感度の高い（大きく劣化する）ものほどＭＳＢに近い位置に配置されている。この構成によれば、伝送路上でビットストリームを部分的に破棄する場合にＬＳＢから順に破棄することで、破棄による劣化を最小限に抑えることができる。ＬＳＢ側から優先的にビットストリームを破棄するネットワーク構成の一例では、図５のように区切られた各符号化コードを別々のパケットで伝送し、各パケットに優先順位付けをして、優先制御のできるパケット網を使う構成が挙げられる。ただし、ネットワーク構成は前述のものに限定されない。

また、図５のように符号誤り感度の高い符号化パラメータほどＭＳＢに近い位置に配置されるビットストリーム構成において、ＭＳＢに近いビットほど強い誤り検出・誤り訂正がかけられるようなチャネル符号化を適用すれば、復号品質の劣化を最小限に抑えられるという効果が得られる。例えば、誤り検出、誤り訂正の手法としてはＣＲＣ符号やＲＳ符号などが適用できる。

図６は、例えば音声復号化装置等を形成する復号化装置６００の構成を示すブロック図である。

復号化装置６００は、符号化装置１００から出力されたビットストリームを第１レイヤ符号化コードと第２レイヤ符号化コードとに分離する分離部６０１、第１レイヤ符号化コードを復号する第１レイヤ復号化部６０２および第２レイヤ符号化コードを復号する第２レイヤ復号化部６０３を有する。

分離部６０１は、符号化装置１００から送出されたビットストリームを受信し、第１レイヤの符号化コードと第２レイヤの符号化コードとに分離し、第１レイヤ復号化部６０２と第２レイヤ復号化部６０３にそれぞれ出力する。

第１レイヤ復号化部６０２は、第１レイヤ符号化コードから第１レイヤ復号信号を生成して、第２レイヤ復号化部６０３に出力する。また、生成された第１レイヤ復号信号を、必要に応じて、最低限の品質が担保された復号信号（第１レイヤ復号信号）として出力する。

第２レイヤ復号化部６０３は、第１レイヤ復号信号と第２レイヤ符号化コードとを用いて、高品質の復号信号（ここでは、第２レイヤ復号信号と称す）を生成し、必要に応じてこの復号信号を出力する。

このように、第１レイヤ復号信号によって再生音声の最低限の品質が担保され、第２レイヤ復号信号によって再生音声の品質を高めることができる。また、出力する信号を第１レイヤ復号信号または第２レイヤ復号信号のどちらにするかは、ネットワーク環境（パケットロスの発生等）によって第２レイヤ符号化コードが得られるかどうか、または、アプリケーションやユーザの設定等に依存する。

第２レイヤ復号化部６０３の構成を、図７を用いて詳細に行う。図７において、第２レイヤ復号化部６０３は、拡張帯域復号化部７０１、周波数領域変換部７０２および時間領域変換部７０３を有する。

周波数領域変換部７０２は、第１レイヤ復号化部６０２から入力された第１レイヤ復号信号を周波数領域のパラメータ（例えばＭＤＣＴ係数など）に変換し、そのパラメータをスペクトル点数がＮｎの第１レイヤ復号スペクトルとして拡張帯域復号化部７０１に出力する。

拡張帯域復号化部７０１は、分離部６０１から入力された第２レイヤ符号化コード（この構成では拡張帯域符号化コードと同一）から各種パラメータ（振幅調整係数、ラグ、スペクトル残差形状ベクトル、スペクトル残差ゲイン、スケールファクタ）を復号する。また、復号された各種パラメータと周波数領域変換部７０２から出力された第１レイヤ復号スペクトルとを用いて帯域拡張された第２の復号スペクトルであってスペクトル点数がＮｗの第２のスペクトルを生成する。そして、第２の復号スペクトルを時間領域変換部７０３に出力する。

時間領域変換部７０３は、第２の復号スペクトルを時間領域の信号に変換した後、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行って、フレーム間に生じる不連続を回避し、第２レイヤ復号信号を出力する。

次に、拡張帯域復号化部７０１の詳細な説明を、図８を用いて行う。図８において、拡張帯域復号化部７０１は、分離部８０１、振幅調整部８０２、フィルタ状態設定部８０３、フィルタリング部８０４、スペクトル残差形状符号帳８０５、スペクトル残差ゲイン符号帳８０６、乗算器８０７、スケールファクタ復号化部８０８、スケーリング部８０９およびスペクトル合成部８１０を有する。

分離部８０１は、分離部６０１から入力される拡張帯域符号化コードを振幅調整係数符号化コード、ラグ符号化コード、残差形状符号化コード、残差ゲイン符号化コード、スケールファクタ符号化コード、に分離する。また、振幅調整係数符号化コードを振幅調整部８０２に、ラグ符号化コードをフィルタリング部８０４に、残差形状符号化コードをスペクトル残差形状符号帳８０５に、残差ゲイン符号化コードをスペクトル残差ゲイン符号帳８０６に、スケールファクタ符号化コードをスケールファクタ復号化部８０８に、それぞれ出力する。

振幅調整部８０２は、分離部８０１から入力された振幅調整係数符号化コードを復号し、復号された振幅調整係数を用いて、別途周波数領域変換部７０２から入力された第１レイヤ復号スペクトルの振幅を調整し、振幅調整後の第１レイヤ復号スペクトルをフィルタ状態設定部８０３に出力する。振幅調整は、前述の式（１）で表される方法で行う。ここで、Ｓ１（ｋ）は第１レイヤ復号スペクトル、Ｓ１’（ｋ）は振幅調整後の第１レイヤ復号スペクトルを表す。

フィルタ状態設定部８０３は、前述の式（２）で表される伝達関数のピッチフィルタのフィルタ状態に振幅調整後の第１レイヤ復号スペクトルを設定する。具体的には振幅調整後の第１レイヤ復号スペクトル｛Ｓ１’（ｋ）；０≦ｋ＜Ｎｎ｝を生成スペクトルバッファＳ（ｋ）に代入し、フィルタリング部８０４へ出力する。ここで、Ｔはピッチフィルタのラグである。また、生成スペクトルバッファＳ（ｋ）は、ｋ＝０〜Ｎｗ−１の範囲で定義される配列変数であり、本フィルタリング処理によって（Ｎｗ−Ｎｎ）点のスペクトルが生成される。

フィルタリング部８０４は、分離部８０１から入力されたラグＴを復号し、復号されたラグＴを用いて、フィルタ状態設定部８０３から入力された生成スペクトルバッファＳ（ｋ）に対してフィルタリング処理を行う。具体的には、前述の式（３）に示される方法によって出力スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝を生成する。ここで、ｇ（ｊ）は残差ゲイン符号化コードｊにより表されるスペクトル残差ゲイン、Ｃ（ｉ，ｋ）は残差形状符号化コードｉにより表されるスペクトル残差形状ベクトルをそれぞれ示しており、ｇ（ｊ）・Ｃ（ｉ，ｋ）は乗算器８０７から入力される。生成されたフィルタリング部８０４の出力スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝はスケーリング部８０９へ出力される。

スペクトル残差形状符号帳８０５は、分離部８０１から入力された残差形状符号化コードを復号し、復号結果に対応するスペクトル残差形状ベクトルＣ（ｉ，ｋ）を乗算器８０７へ出力する。

スペクトル残差ゲイン符号帳８０６は、分離部８０１から入力された残差ゲイン符号化コードを復号し、復号結果に対応するスペクトル残差ゲインｇ（ｊ）を乗算器８０７へ出力する。

乗算器８０７は、スペクトル残差形状符号帳８０５から入力されたスペクトル残差形状ベクトルＣ（ｉ，ｋ）と、スペクトル残差ゲイン符号帳８０６から入力されたスペクトル残差ゲインｇ（ｊ）と、の乗算結果をフィルタリング部８０４へ出力する。

スケールファクタ復号化部８０８は、分離部８０１から入力されたスケールファクタ符号化コードを復号し、復号されたスケールファクタをスケーリング部８０９へ出力する。

スケーリング部８０９は、フィルタリング部８０４から与えられた出力スペクトル｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝に、スケールファクタ復号化部８０８から入力されたスケール
ファクタを乗じて、その乗算結果をスペクトル合成部８１０に出力する。

スペクトル合成部８１０は、周波数領域変換部７０２より与えられる第１レイヤ復号スペクトル｛Ｓ１（ｋ）；０≦ｋ＜Ｎｎ｝と、スケーリング部８０９から出力されるスケーリング後の生成スペクトルバッファの高域部｛Ｓ（ｋ）；Ｎｎ≦ｋ＜Ｎｗ｝を結合して得られるスペクトルを第２の復号スペクトルとして時間領域変換部７０３に出力する。

（実施の形態２）
図９に、本発明の実施の形態２に係る第２レイヤ符号化部１０５の構成を示す。図９において図２と同一名称を持つブロックは、同様の機能を有するので、ここではその詳細な説明を省略する。図２と図９の違いは、周波数領域変換部２０１と拡張帯域符号化部２０２との間に第１スペクトル符号化部９０１が存在する点にある。第１スペクトル符号化部９０１は、周波数領域変換部２０１より出力される第１レイヤ復号スペクトルの品質を向上させ、そのときの符号化コード（第１のスペクトル符号化コード）を多重化部１０４に出力するとともに、品質向上された第１レイヤ復号スペクトル（第１の復号スペクトル）を拡張帯域符号化部２０２に与える。拡張帯域符号化部２０２は、前述の処理を第１の復号スペクトルを用いて行い、その結果として拡張帯域符号化コードを出力する。すなわち、本実施の形態の第２レイヤ符号化コードは、拡張帯域符号化コードと第１のスペクトル符号化コードとの組み合わせからなる。したがって、本実施の形態では、多重化部１０４は、第１レイヤ符号化コード、拡張帯域符号化コードおよび第１のスペクトル符号化コードを多重化して、ビットストリームを生成する。

次に、第１スペクトル符号化部９０１の詳細を、図１０を用いて説明する。第１スペクトル符号化部９０１は、スケーリング係数符号化部１００１、スケーリング係数復号化部１００２、微細スペクトル符号化部１００３、多重化部１００４、微細スペクトル復号化部１００５、正規化部１００６、減算器１００７および加算器１００８を有する。

減算器１００７は、原スペクトルから第１レイヤ復号スペクトルを減じて残差スペクトルを生成し、残差スペクトルをスケーリング係数符号化部１００１および正規化部１００６に出力する。スケーリング係数符号化部１００１は、残差スペクトルのスペクトル概形を表すスケーリング係数を算出し、当該スケーリング係数を符号化し、その符号化コードを多重化部１００４およびスケーリング係数復号化部１００２に出力する。

スケーリング係数の符号化においては、聴覚マスキングを用いても良い。例えば、聴覚マスキングを用いてスケーリング係数の符号化に必要なビット配分を決定し、そのビット配分情報に基づき符号化を行う。このとき、全くビットが配分されない帯域がある場合には、その帯域のスケーリング係数は符号化されないことになる。これにより、スケーリング係数の符号化を効率化することができる。

スケーリング係数復号化部１００２は、入力されたスケーリング係数符号化コードからスケーリング係数を復号し、復号されたスケーリング係数を正規化部１００６、微細スペクトル符号化部１００３および微細スペクトル復号化部１００５に出力する。

正規化部１００６は、スケーリング係数復号化部１００２より与えられるスケーリング係数を用いて、減算器１００７より与えられる残差スペクトルの正規化を行い、正規化後の残差スペクトルを微細スペクトル符号化部１００３に出力する。

微細スペクトル符号化部１００３は、スケーリング係数復号化部１００２から入力されたスケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域に割り当てられるビット数を求め、このビット数の条件のもとで正規化後の残差スペクトル（微細スペクトル
）の符号化を行う。そして、この符号化によって得られた微細スペクトル符号化コードを多重化部１００４および微細スペクトル復号化部１００５に出力する。

なお、正規化後の残差スペクトルの符号化の際には、聴覚マスキングを用いて聴感的な歪を小さくするように符号化しても良い。また、聴覚的重要度の算出に第１レイヤ復号スペクトルの情報を用いるようにしても良い。その場合、第１レイヤ復号スペクトルを微細スペクトル符号化部１００３へ入力するように構成する。

スケーリング係数符号化部１００１および微細スペクトル符号化部１００３より出力される符号化コードは、多重化部１００４にて多重化され、第１のスペクトル符号化コードとして多重化部１０４に出力される。

微細スペクトル復号化部１００５は、スケーリング係数復号化部１００２から入力されたスケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域に割り当てられたビット数を求め、スケーリング係数と微細スペクトル符号化部１００３から入力された微細スペクトル符号化コードとから各帯域の残差スペクトルを復号し、復号された残差スペクトルを加算器１００８へ出力する。なお、聴覚的重要度の算出に第１レイヤ復号スペクトルの情報を用いるようにしても良い。その場合、第１レイヤ復号スペクトルを微細スペクトル復号化部１００５へ入力するように構成する。

加算器１００８は、復号された残差スペクトルと第１レイヤ復号スペクトルとを加算して第１の復号スペクトルを生成し、生成された第１の復号スペクトルを拡張帯域符号化部２０２へ出力する。

このように本実施の形態によれば、第１レイヤ復号スペクトルの品質を改善した後に、品質改善後のスペクトル、つまり第１のスペクトルを使って拡張帯域符号化部２０２で高域部（Ｎｎ≦ｋ＜Ｎｗ）のスペクトルを生成することにより、帯域拡張された復号信号の品質を改善することができる。

本実施の形態の第２レイヤ復号化部６０３の構成を、図１１を用いて詳細に行う。図１１において図７と同一名称のブロックは、同一の機能を有するため、ここではその詳細な説明を省略する。図１１において、第２レイヤ復号化部６０３は、分離部１１０１、第１スペクトル復号化部１１０２、拡張帯域復号化部７０１、周波数領域変換部７０２および時間領域変換部７０３を有する。

分離部１１０１は、第２レイヤ符号化コードを、第１のスペクトル符号化コード、拡張帯域符号化コード、に分離し、第１のスペクトル符号化コードを第１スペクトル復号化部１１０２に、拡張帯域符号化コードを拡張帯域復号化部７０１に、それぞれ出力する。

周波数領域変換部７０２は、第１レイヤ復号化部６０２から入力された第１レイヤ復号信号を周波数領域のパラメータ（例えばＭＤＣＴ係数など）に変換し、このパラメータを第１レイヤ復号スペクトルとして第１スペクトル復号化部１１０２に出力する。

第１スペクトル復号化部１１０２は、分離部１１０１から入力された第１のスペクトル符号化コードを復号して得られる第１レイヤの符号化誤差の量子化スペクトルを、周波数領域変換部７０２から入力された第１レイヤ復号スペクトルに加える。そして、その加算結果を第１の復号スペクトルとして拡張帯域復号化部７０１へ出力する。

ここで、第１スペクトル復号化部１１０２の説明を、図１２を用いて詳細に行う。第１スペクトル復号化部１１０２は、分離部１２０１、スケーリング係数復号化部１２０２、
微細スペクトル復号化部１２０３およびスペクトル復号部１２０４を有する。

分離部１２０１は、入力された第１のスペクトル符号化コードから、スケーリング係数を表す符号化コードと、微細スペクトル（スペクトル微細構造）を表す符号化コードと、を分離し、スケーリング係数符号化コードをスケーリング係数復号化部１２０２に、微細スペクトル符号化コードを微細スペクトル復号化部１２０３に、それぞれ出力する。

スケーリング係数復号化部１２０２は、入力されたスケーリング係数符号化コードからスケーリング係数を復号し、復号されたスケーリング係数をスペクトル復号部１２０４および微細スペクトル復号化部１２０３に出力する。

微細スペクトル復号化部１２０３は、スケーリング係数復号化部１２０２から入力されたスケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域の微細スペクトルに割り当てられたビット数を求める。また、分離部１２０１から入力された微細スペクトル符号化コードから各帯域の微細スペクトルを復号し、復号された微細スペクトルをスペクトル復号部１２０４へ出力する。

なお、聴覚的重要度の算出に第１レイヤ復号スペクトルの情報を用いるようにしても良い。その場合、第１レイヤ復号スペクトルを微細スペクトル復号化部１２０３へ入力するように構成する。

スペクトル復号部１２０４は、周波数領域変換部７０２から与えられた第１レイヤ復号スペクトルと、スケーリング係数復号化部１２０２から入力されたスケーリング係数と、微細スペクトル復号化部１２０３から入力された微細スペクトルと、から第１の復号スペクトルを復号し、この復号スペクトルを拡張帯域復号化部７０１へ出力する。

なお、本実施の形態の拡張帯域符号化部２０２には、スペクトル残差形状符号帳３０５およびスペクトル残差ゲイン符号帳３０７を設けなくとも良い。この場合の拡張帯域符号化部２０２の構成は、図１３に示される。また、拡張帯域復号化部７０１には、スペクトル残差形状符号帳８０５およびスペクトル残差ゲイン符号帳８０６を設けなくとも良い。この場合の拡張帯域復号化部７０１の構成は、図１４に示される。なお、図１３および図１４にそれぞれ示されるフィルタリング部１３０１、１４０１の出力信号は、次の式（６）で表される。

本実施の形態では、第１レイヤ復号スペクトルの品質を改善した後に、この品質改善後のスペクトルを使って拡張帯域符号化部２０２で高域部（Ｎｎ≦ｋ＜Ｎｗ）のスペクトルを生成する。この構成によれば、復号信号の品質を改善することができる。この利点は、スペクトル残差形状符号帳およびスペクトル残差ゲイン符号帳の有無に関わらず享受できる。

なお、第１スペクトル符号化部９０１では、低域部（０≦ｋ＜Ｎｎ）のスペクトルの符号化を行う際に、全帯域（０≦ｋ＜Ｎｗ）の符号化歪が最も小さくなるように低域部（０≦ｋ＜Ｎｎ）のスペクトルの符号化を行っても良い。この場合、拡張帯域符号化部２０２では、高域部（Ｎｎ≦ｋ＜Ｎｗ）の符号化まで行われる。また、この場合、第１スペクトル符号化部９０１において、低域部の符号化結果が高域部の符号化に与える影響も考慮して低域部の符号化を行うことになる。したがって、全帯域のスペクトルが最適になるよう低域部のスペクトルの符号化が為されるようになるため、品質が向上するという効果が得
られる。

（実施の形態３）
本発明の実施の形態３に係る第２レイヤ符号化部１０５の構成を図１５に示す。図１５において図９と同一名称のブロックは同一の機能を有するため、ここではその詳細な説明を省略する。

図９との違いは、復号機能を有し且つ拡張帯域符号化コードを求める拡張帯域符号化部１５０１と、その拡張帯域符号化コードを用いて第２の復号スペクトルを生成し原スペクトルから第２の復号スペクトルを減じて求められる誤差スペクトルを符号化する第２スペクトル符号化部１５０２と、が設けられた点にある。前述の誤差スペクトルを第２スペクトル符号化部１５０２にて符号化することでより高品質な復号スペクトルを生成できるようになり、復号化装置で得られる復号信号の品質を向上させることができる。

拡張帯域符号化部１５０１は、図３に示された拡張帯域符号化部２０２と同様に拡張帯域符号化コードを生成して出力する。また、拡張帯域符号化部１５０１は、図８に示される拡張帯域復号化部７０１と同様の構成を内包し、拡張帯域復号化部７０１と同様に第２の復号スペクトルを生成する。この第２の復号スペクトルは、第２スペクトル符号化部１５０２に出力される。すなわち、本実施の形態の第２レイヤ符号化コードは、拡張帯域符号化コード、第１のスペクトル符号化コードおよび第２のスペクトル符号化コードからなる。

なお、拡張帯域符号化部１５０１の構成において、図３および図８で共通の名称を持つブロックは共有化されていても良い。

第２スペクトル符号化部１５０２は、図１６に示すように、スケーリング係数符号化部１６０１、スケーリング係数復号化部１６０２、微細スペクトル符号化部１６０３、多重化部１６０４、正規化部１６０５および減算器１６０６を有する。

減算器１６０６は、原スペクトルから第２の復号スペクトルを減じて残差スペクトルを生成し、残差スペクトルをスケーリング係数符号化部１６０１および正規化部１６０５に出力する。スケーリング係数符号化部１６０１は、残差スペクトルのスペクトル概形を表すスケーリング係数を算出し、当該スケーリング係数を符号化し、スケーリング係数符号化コードを多重化部１６０４およびスケーリング係数復号化部１６０２に出力する。

ここで、聴覚マスキングを用いてスケーリング係数の符号化の効率化を図っても良い。例えば、聴覚マスキングを用いてスケーリング係数の符号化に必要なビット配分を決定し、そのビット配分情報に基づき符号化を行う。このとき、全くビットが配分されない帯域がある場合には、その帯域のスケーリング係数は符号化されないことになる。

スケーリング係数復号化部１６０２は、入力されたスケーリング係数符号化コードからスケーリング係数を復号し、復号されたスケーリング係数を正規化部１６０５および微細スペクトル符号化部１６０３に出力する。

正規化部１６０５は、スケーリング係数復号化部１６０２より与えられるスケーリング係数を用いて、減算器１６０６より与えられる残差スペクトルの正規化を行い、正規化後の残差スペクトルを微細スペクトル符号化部１６０３に出力する。

微細スペクトル符号化部１６０３は、スケーリング係数復号化部１６０２から入力された復号スケーリング係数を用いて各帯域の聴覚的重要度を算出し、各帯域に割り当てられ
たビット数を求め、このビット数の条件のもとで正規化後の残差スペクトル（微細スペクトル）の符号化を行う。そして、この符号化によって得られた符号化コードを多重化部１６０４に出力する。

なお、正規化後の残差スペクトルの符号化の際には、聴覚マスキングを用いて聴感的な歪を小さくするように符号化しても良い。また、聴覚的重要度の算出に第２レイヤ復号スペクトルの情報を用いるようにしても良い。その場合、第２レイヤ復号スペクトルを微細スペクトル符号化部１６０３へ入力するように構成する。

スケーリング係数符号化部１６０１および微細スペクトル符号化部１６０３より出力される符号化コードは多重化部１６０４にて多重化され、第２のスペクトル符号化コードとして出力される。

図１７は、第２スペクトル符号化部１５０２の構成の変形例を示している。図１７において図１６と同一名称のブロックは同一機能を有するため、ここではその詳細な説明を省略する。

この構成では、第２スペクトル符号化部１５０２は、減算器１６０６より与えられる残差スペクトルを直接符号化する。つまり、残差スペクトルの正規化は行われない。そのため本構成では、図１６に示されたスケーリング係数符号化部１６０１、スケーリング係数復号化部１６０２および正規化部１６０５が設けられていない。この構成によれば、第２スペクトル符号化部１５０２でスケーリング係数にビットを配分する必要が無くなるため、ビットレートを低減させることができる。

聴覚重要度およびビット配分算出部１７０１は、第２の復号スペクトルから各帯域の聴覚重要度を求め、聴覚重要度に応じて決定される各帯域へのビット配分を求める。求められた聴覚重要度およびビット配分は、微細スペクトル符号化部１６０３へ出力される。

微細スペクトル符号化部１６０３は、聴覚重要度およびビット配分算出部１７０１から入力された聴覚重要度およびビット配分に基づいて、残差スペクトルを符号化する。そして、この符号化によって得られた符号化コードを第２のスペクトル符号化コードとして多重化部１０４に出力する。なお、残差スペクトルの符号化の際には、聴覚マスキングを用いて聴感的な歪を小さくするように符号化しても良い。

本実施の形態の第２レイヤ復号化部６０３の構成を図１８に示す。第２レイヤ復号化部６０３は、拡張帯域復号化部７０１、周波数領域変換部７０２、時間領域変換部７０３、分離部１１０１、第１スペクトル復号化部１１０２および第２スペクトル復号化部１８０１を有する。図１８において図１１と同一名称のブロックは同一の機能を有するので、ここではその詳細な説明を省略する。

第２スペクトル復号化部１８０１は、分離部１１０１から入力された第２のスペクトル符号化コードを復号して得られる第２の復号スペクトルの符号化誤差を量子化したスペクトルを、拡張帯域復号化部７０１から入力された第２の復号スペクトルに加える。そして、この加算結果を第３の復号スペクトルとして時間領域変換部７０３へ出力する。

第２スペクトル復号化部１８０１は、第２スペクトル符号化部１５０２が図１６に示す構成を採る場合、図１２と同様の構成を採る。ただし、図１２における第１のスペクトル符号化コード、第１レイヤ復号スペクトルおよび第１の復号スペクトルは、それぞれ、第２のスペクトル符号化コード、第２の復号スペクトルおよび第３の復号スペクトルに置き換わる。

また、本実施の形態では、第２スペクトル復号化部１８０１の構成について、第２スペクトル符号化部１５０２が図１６に示す構成を採る場合を例に挙げて説明したが、第２スペクトル符号化部１５０２が図１７に示す構成を採る場合、第２スペクトル復号化部１８０１の構成は、図１９のようになる。

つまり図１９は、スケーリング係数を用いない第２スペクトル符号化部１５０２に対応する第２スペクトル復号化部１８０１の構成を示している。第２スペクトル復号化部１８０１は、聴覚重要度およびビット配分算出部１９０１と微細スペクトル復号化部１９０２とスペクトル復号部１９０３とを有する。

図１９において、聴覚重要度およびビット配分算出部１９０１は、拡張帯域復号化部７０１から入力された第２の復号スペクトルから各帯域の聴覚重要度を求め、聴覚重要度に応じて決定される各帯域へのビット配分を求める。求められた聴覚重要度とビット配分は、微細スペクトル復号化部１９０２へ出力される。

微細スペクトル復号化部１９０２は、聴覚重要度およびビット配分算出部１９０１から入力された聴覚重要度およびビット配分に基づいて、分離部１１０１から第２のスペクトル符号化コードとして入力される微細スペクトル符号化コードを復号し、その復号結果（各帯域の微細スペクトル）をスペクトル復号部１９０３に出力する。

微細スペクトル復号化部１９０３は、拡張帯域復号化部７０１から入力された第２の復号スペクトルに、微細スペクトル復号化部１９０２から入力された微細スペクトルを加えて、その加算結果を第３の復号スペクトルとして外部へ出力する。

なお、本実施の形態では、第１スペクトル符号化部９０１および第１スペクトル復号化部１１０２を含む構成を例に挙げて説明したが、第１スペクトル符号化部９０１および第１スペクトル復号化部１１０２が無くても本実施の形態の作用効果を実現することができる。その場合の第２レイヤ符号化部１０５の構成を図２０に、第２レイヤ復号化部６０３の構成を図２１に、それぞれ示す。

以上、本発明によるスケーラブル復号化装置およびスケーラブル符号化装置の実施の形態について説明した。

なお、上記実施の形態においては、変換方式としてＭＤＣＴを使って説明したがこれに限定されず、他の変換方式、例えばフーリエ変換やコサイン変換、Wavelet変換などを使用したときにも本発明は適用できる。

また、上記実施の形態においては、階層数２を基に説明したがこれに限定されず、２以上の階層を持つスケーラブル符号化／復号化にも適用できる。

また、本発明に係る符号化装置および復号化装置は、上記の実施の形態１〜３に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。

本発明に係る符号化装置および復号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することも可能であり、これにより上記と同様の作用効果を有する通信端末装置および基地局装置を提供することができる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発
明はソフトウェアで実現することも可能である。

なお、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

すなわち、上記実施の形態に係るスケーラブル符号化装置は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成するスケーラブル符号化装置であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出手段と、算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化手段と、を有する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記第１パラメータ算出手段は、前記第１スペクトルを内部状態として有するフィルタを用いて、前記フィルタの特性を示すパラメータを前記第１パラメータとして出力する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記第２パラメータ算出手段は、スペクトル残差の候補を複数記録しているスペクトル残差形状符号帳を有し、前記スペクトル残差の符号を前記第２パラメータとして出力する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記第１スペクトルと前記第２スペクトルの低周波帯域部との残差成分を符号化する残差成分符号化手段をさらに有し、前記第１パラメータ算出手段および前記第２パラメータ算出手段は、前記残差成分符号化手段によって符号化された残差成分を用いて前記第１スペクトルの品質を向上させた後に、前記第１パラメータおよび第２パラメータを算出する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記残差成分符号化手段は、前記第１スペクトルの低周波帯域部の品質と、前記符号化手段によって符号化された第１パラメータと第２パラメータとから得られる復号スペクトルの高周波帯域部の品質と、の両方を向上させる構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、上記構成において、前記第１
パラメータは、ラグを含み、前記第２パラメータは、スペクトル残差を含み、前記ラグ、前記スペクトル残差の順に配置されたビットストリームを構成する構成手段をさらに有する構成を採る。

また、上記実施の形態に係るスケーラブル符号化装置は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化装置であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示すパラメータを算出するパラメータ算出手段と、算出されたパラメータを前記高周波帯域の符号化情報として符号化するパラメータ符号化手段と、前記第１スペクトルと前記第２スペクトルの低周波帯域部との残差成分を符号化する残差成分符号化手段と、を有し、前記パラメータ算出手段は、前記残差成分符号化手段によって符号化された残差成分を用いて前記第１スペクトルの品質を向上させた後に、前記パラメータを算出する構成を採る。

また、上記実施の形態に係るスケーラブル復号化装置は、低周波帯域に対応する第１スペクトルを取得するスペクトル取得手段と、高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得手段と、取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号手段と、を有する構成を採る。

また、上記実施の形態に係るスケーラブル符号化方法は、原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成するスケーラブル符号化方法であって、前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出ステップと、前記原信号から第２スペクトルを算出する第２スペクトル算出ステップと、前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出ステップと、前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出ステップと、算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化ステップと、
を有するようにした。

また、上記実施の形態に係るスケーラブル復号化方法は、低周波帯域に対応する第１スペクトルを取得するスペクトル取得ステップと、高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得ステップと、取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号ステップと、を有するようにした。

特に、本発明による第１のスケーラブル符号化装置は、第１スペクトルを内部状態として持つフィルタを用いて第２スペクトルの高域部を推定し、フィルタ情報を符号化して送るスペクトル符号化装置において、スペクトル残差の候補が複数記録されているスペクトル残差形状符号帳を有し、前記フィルタの入力信号としてスペクトル残差を与えフィルタリングを行い第２スペクトルの高域部を推定するもので、スペクトル残差を用いることにより、第１スペクトルの変形では表せない第２スペクトルの高域部の成分を符号化するこ
とができるようになるため、第２スペクトルの高域部の推定性能が向上し高品質化が為される。

また、本発明による第２のスケーラブル符号化装置は、第２スペクトルの低域部と第１スペクトルの間の誤差成分を符号化して第１スペクトルの高品質化を図った後に、この第１スペクトルを内部状態として持つフィルタを用いて第２スペクトルの高域部を推定するもので、第２スペクトルの低域部に対する第１スペクトルの品質を改善させた後に、品質改善後の第１スペクトルを用いて第２スペクトルの高域部を推定することにより、推定性能が向上し高品質化が為される。

また、本発明による第３のスケーラブル符号化装置は、第１スペクトルを内部状態として持つフィルタを用いて第２スペクトルの高域部を推定して生成される推定スペクトルと第２スペクトルの高域部の間の誤差成分と、第２スペクトルの低域部と第１スペクトルの間の誤差成分の両誤差成分を小さくするように、第２スペクトルの低域部と第１スペクトルの間の誤差成分を符号化するもので、第１スペクトルと第２スペクトルの低域部の間の誤差成分を符号化する際に、第１スペクトルおよび第２スペクトルの高域部の推定スペクトルの両品質が同時に向上する第１スペクトルの符号化が為されるため、高品質化が実現できる。

また、上記第１〜３のスケーラブル符号化装置においては、符号化装置にて復号化装置に伝送されるビットストリームを生成する際に、当該ビットストリームは少なくとも、スケールファクタ、ダイナミックレンジ調整係数、ラグ、を含み、この順番でビットストリームを構成するようにしてもよい。これにより、ビットストリームの構成は復号信号の品質に与える影響が大きいパラメータほどビットストリームのＭＳＢ（Most Significant Bit）の近くに配置されているため、ビットストリームのＬＳＢ（Least Significant Bit）から任意のビット位置でビットが削除されても品質劣化が生じ難いという効果が得られる。

本明細書は、２００４年１１月５日出願の特願２００４−３２２９５９に基づく。この内容はすべてここに含めておく。

本発明に係る符号化装置、復号化装置、符号化方法及び復号化方法は、スケーラブル符号化／復号化等に適用できる。

本発明の実施の形態１に係る符号化装置の構成を示すブロック図 本発明の実施の形態１に係る第２レイヤ符号化部の構成を示すブロック図 本発明の実施の形態１に係る拡張帯域符号化部の構成を示すブロック図 本発明の実施の形態１に係る拡張帯域符号化部のフィルタリング部で処理される生成スペクトルバッファを示す模式図 本発明の実施の形態１に係る符号化装置の多重化部から出力されるビットストリームの内容を示す模式図 本発明の実施の形態１に係る復号化装置の構成を示すブロック図 本発明の実施の形態１に係る第２レイヤ復号化部の構成を示すブロック図 本発明の実施の形態１に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態２に係る第２レイヤ符号化部の構成を示すブロック図 本発明の実施の形態２に係る第１スペクトル符号化部の構成を示すブロック図 本発明の実施の形態２に係る第２レイヤ復号化部の構成を示すブロック図 本発明の実施の形態２に係る第１スペクトル復号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域符号化部の構成を示すブロック図 本発明の実施の形態２に係る拡張帯域復号化部の構成を示すブロック図 本発明の実施の形態３に係る第２レイヤ符号化部の構成を示すブロック図 本発明の実施の形態３に係る第２スペクトル符号化部の構成を示すブロック図 本発明の実施の形態３に係る第２スペクトル符号化部の構成の変形例を示すブロック図 本発明の実施の形態３に係る第２レイヤ復号化部の構成を示すブロック図 本発明の実施の形態３に係る第２スペクトル復号化部の構成の変形例を示すブロック図 本発明の実施の形態３に係る第２レイヤ符号化部の構成の変形例を示すブロック図 本発明の実施の形態３に係る第２レイヤ復号化部の構成の変形例を示すブロック図

Claims (10)

1. 原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化装置であって、
   前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、
   前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、
   前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出手段と、
   前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出手段と、
   算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化手段と、
   を有する符号化装置。
2. 前記第１パラメータ算出手段は、
   前記第１スペクトルを内部状態として有するフィルタを用いて、前記フィルタの特性を示すパラメータを前記第１パラメータとして出力する、
   請求項１記載の符号化装置。
3. 前記第２パラメータ算出手段は、
   スペクトル残差の候補を複数記録しているスペクトル残差形状符号帳を有し、前記スペクトル残差の符号を前記第２パラメータとして出力する、
   請求項１記載の符号化装置。
4. 前記第１スペクトルと前記第２スペクトルの低周波帯域部との残差成分を符号化する残差成分符号化手段をさらに有し、
   前記第１パラメータ算出手段および前記第２パラメータ算出手段は、
   前記残差成分符号化手段によって符号化された残差成分を用いて前記第１スペクトルの品質を向上させた後に、前記第１パラメータおよび第２パラメータを算出する、
   請求項１記載の符号化装置。
5. 前記残差成分符号化手段は、
   前記第１スペクトルの低周波帯域部の品質と、前記符号化手段によって符号化された第１パラメータと第２パラメータとから得られる復号スペクトルの高周波帯域部の品質と、の両方を向上させる、
   請求項４記載の符号化装置。
6. 前記第１パラメータは、ラグを含み、前記第２パラメータは、スペクトル残差を含み、
   前記ラグ、前記スペクトル残差の順に配置されたビットストリームを構成する構成手段をさらに有する、
   請求項１記載の符号化装置。
7. 原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化装置であって、
   前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出手段と、
   前記原信号から第２スペクトルを算出する第２スペクトル算出手段と、
   前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示すパラメータを算出するパラメータ算出手段と、算出されたパラメータを前記高周波帯域の符号化情報として符号化するパラメータ符号化手段と、
   前記第１スペクトルと前記第２スペクトルの低周波帯域部との残差成分を符号化する残差成分符号化手段と、を有し、
   前記パラメータ算出手段は、
   前記残差成分符号化手段によって符号化された残差成分を用いて前記第１スペクトルの品質を向上させた後に、前記パラメータを算出する、
   符号化装置。
8. 低周波帯域に対応する第１スペクトルを取得するスペクトル取得手段と、
   高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得手段と、
   取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号手段と、
   を有する復号化装置。
9. 原信号から、低周波帯域の符号化情報と高周波帯域の符号化情報とを生成する符号化方法であって、
   前記低周波帯域の符号化情報の復号信号から低周波帯域の第１スペクトルを算出する第１スペクトル算出ステップと、
   前記原信号から第２スペクトルを算出する第２スペクトル算出ステップと、
   前記第１スペクトルと前記第２スペクトルの高周波帯域部との類似具合を示す第１パラメータを算出する第１パラメータ算出ステップと、
   前記第１スペクトルと前記第２スペクトルの高周波帯域部との変動成分を示す第２パラメータを算出する第２パラメータ算出ステップと、
   算出された第１パラメータと第２パラメータとを前記高周波帯域の符号化情報として符号化する符号化ステップと、
   を有する符号化方法。
10. 低周波帯域に対応する第１スペクトルを取得するスペクトル取得ステップと、
    高周波帯域の符号化情報として符号化された第１パラメータであって、前記第１スペクトルと原信号に対応する第２スペクトルの高周波帯域部との類似具合を示す第１パラメータと、高周波帯域の符号化情報として符号化された第２パラメータであって、前記第１スペクトルと前記高周波帯域部との変動成分を示す第２パラメータと、をそれぞれ取得するパラメータ取得ステップと、
    取得された第１パラメータおよび第２パラメータを用いて前記第２スペクトルを復号する復号ステップと、
    を有する復号化方法。

Images