JPWO2005112005A1 - スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法 - Google Patents

Abstract

狭帯域ＬＳＰから広帯域ＬＳＰへの変換性能（狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測精度）を高め、高性能な帯域スケーラブルＬＳＰ符号化を実現することができるスケーラブル符号化装置を開示する。この装置において、変換係数算出部（１０９）は、狭帯域ＬＳＰ符号化部（１０３）から過去に出力された狭帯域の量子化ＬＳＰと、広帯域ＬＳＰ符号化部（１０７）から過去に出力された広帯域の量子化ＬＳＰと、を用いて変換係数を求める。広帯域ＬＳＰ符号化部（１０７）は、狭帯域の量子化ＬＳＰに変換係数算出部（１０９）から入力される変換係数を乗じて広帯域ＬＳＰに変換し、この広帯域ＬＳＰに重み係数を乗じて予測広帯域ＬＳＰを求める。そして、広帯域ＬＳＰ符号化部（１０７）は、求まった予測広帯域ＬＳＰと広帯域ＬＳＰとの誤差信号を符号化し、広帯域の量子化ＬＳＰを得る。

Description

本発明は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等において、音声通信を行う際に用いられるスケーラブル符号化装置、スケーラブル復号化装置、スケーラブル符号化方法、およびスケーラブル復号化方法に関する。

ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ ＩＰ）等のようにパケットを用いた音声通信においては、音声データの符号化にフレーム消失耐性のある符号化方式が望まれている。インターネット通信に代表されるパケット通信においては、輻輳等により伝送路上でパケットが破棄されることがあるからである。

フレーム消失耐性を高める方法の一つとして、伝送情報の一部が消失しても他の一部から復号処理を行うようにすることでフレーム消失の影響をできるだけ少なくするアプローチがある（例えば、特許文献１参照）。特許文献１には、スケーラブル符号化を用いてコアレイヤ符号化情報と拡張レイヤの符号化情報とを別々のパケットに詰めて伝送する方法が開示されている。また、パケット通信のアプリケーションとして、太い回線（ブロードバンド回線）と細い回線（伝送レートの低い回線）とが混在するネットワークを用いたマルチキャスト通信（一対多の通信）が挙げられる。このような不均一なネットワーク上で多地点間通信を行う場合にも、それぞれのネットワークに対応して符号化情報が階層化されていれば、ネットワークごとに異なる符号化情報を送る必要がないため、スケーラブル符号化が有効である。

例えば、音声信号の高能率な符号化を可能とするＣＥＬＰ方式をベースとして、信号帯域幅に、すなわち周波数軸方向にスケーラビリティを有する帯域スケーラブル符号化技術として、特許文献２に開示されている技術がある。特許文献２では、音声信号のスペクトル包絡情報をＬＳＰ（線スペクトル対）パラメータで表現するＣＥＬＰ方式の例が示されている。ここでは、狭帯域音声用の符号化部（コアレイヤ）で得られた量子化ＬＳＰパラメータ（狭帯域符号化ＬＳＰ）を以下の（式１）を用いて広帯域音声符号化用のＬＳＰパラメータに変換し、変換したＬＳＰパラメータを広帯域音声用の符号化部（拡張レイヤ）で用いることにより、帯域スケーラブルなＬＳＰ符号化方法を実現している。
ｆｗ（ｉ）＝０．５×ｆｎ（ｉ）［ただし、ｉ＝０，…，Ｐ_ｎ−１］
＝０．０ ［ただし、ｉ＝Ｐ_ｎ，…，Ｐ_ｗ−１］・・・（式１）
なお、ｆｗ（ｉ）は広帯域信号におけるｉ次のＬＳＰパラメータ、ｆｎ（ｉ）は狭帯域信号におけるｉ次のＬＳＰパラメータ、Ｐ_ｎは狭帯域信号のＬＳＰ分析次数、Ｐ_ｗは広帯域信号のＬＳＰ分析次数をそれぞれ示している。

しかし、特許文献２においては、狭帯域信号としてサンプリング周波数が８ｋＨｚ、広帯域信号としてサンプリング周波数が１６ｋＨｚ、広帯域ＬＳＰ分析次数が狭帯ＬＳＰ分析次数の２倍である場合を例にとって説明しているため、狭帯域ＬＳＰから広帯域ＬＳＰへの変換が（式１）で表されるような単純な式で行われ得る。ところが、広帯域ＬＳＰの低次側のＰ_ｎ次のＬＳＰパラメータの存在する位置は、高次側の（Ｐ_ｗ−Ｐ_ｎ）次を含めた広帯域信号全体に対して決定されるため、必ずしも狭帯域ＬＳＰのＰ_ｎ次のＬＳＰパラメータに対応するわけではない。このため、（式１）で表される変換では高い変換効率（狭帯域ＬＳＰから広帯域ＬＳＰを予測すると見た場合、予測精度と言う事も可能）は得られず、（式１）に基づいて設計された広帯域ＬＳＰ符号化器には、符号化性能を改善する余地が残されている。

例えば、非特許文献１には、（式１）のｉ次の狭帯域ＬＳＰパラメータに乗じる変換係数を０．５とする代わりに、以下の（式２）に示すように、変換係数の最適化アルゴリズムを用いて次数毎に最適な変換係数β（ｉ）を求める方法が開示されている。
ｆｗ＿ｎ（ｉ）＝α（ｉ）×Ｌ（ｉ）＋β（ｉ）×ｆｎ＿ｎ（ｉ）・・・（式２）
ただし、ｆｗ＿ｎ（ｉ）は第ｎフレームにおけるｉ次の広帯域量子化ＬＳＰパラメータ、α（ｉ）×Ｌ（ｉ）は予測誤差信号を量子化したベクトルのｉ次の要素（α（ｉ）はｉ次の重み係数）、Ｌ（ｉ）はＬＳＰ予測残差ベクトル、β（ｉ）は予測広帯域ＬＳＰへの重み係数、ｆｎ＿ｎ（ｉ）は第ｎフレームにおける狭帯域ＬＳＰパラメータである。このような変換係数の最適化により、特許文献２と同じ構成のＬＳＰ符号化器でありながら、より高い符号化性能を実現している。
特開２００３−２４１７９９号公報 特開平１１−３０９９７号公報 Ｋ．Ｋｏｉｓｈｉｄａ ｅｔ ａｌ，"Ｅｎｈａｎｃｉｎｇ ＭＰＥＧ−４ ＣＥＬＰ ｂｙ ｊｏｉｎｔｌｙ ｏｐｔｉｍｉｚｅｄ ｉｎｔｅｒ／ｉｎｔｒａ−ｆｒａｍｅ ＬＳＰ ｐｒｅｄｉｃｔｏｒｓ，"ＩＥＥＥ Ｓｐｅｅｃｈ Ｃｏｄｉｎｇ Ｗｏｒｋｓｈｏｐ ２０００，Ｐｒｏｃｅｅｄｉｎｇ，ｐｐ．９０−９２，２０００

しかしながら、広帯域ＬＳＰの低次側のＰ_ｎ次のＬＳＰパラメータの位置は広帯域信号全体に対して決定されるため、個々のＬＳＰパラメータ（分析フレームごとのＬＳＰパラメータ）について着目すれば、時間経過に伴い（フレームによって）最適な変換係数β（ｉ）の値は変化する。よって、特許文献２に開示された技術には以下の問題がある。

図１は、広帯域信号に帯域制限をかけた信号、すなわち広帯域信号を一旦ダウンサンプルしてからアップサンプルして元のサンプリング周波数に戻したものを、Ｐ_ｗ＝１８でＬＳＰ分析して得られる狭帯域のＬＳＰパラメータの例を示した図である。

また、図２は、図１に示した狭帯域ＬＳＰパラメータに対応する広帯域信号を、Ｐ_ｗ＝１８でＬＳＰ分析して得られる広帯域のＬＳＰパラメータの例を示した図である。これらの図において、横軸は時間（分析フレーム番号）であり、縦軸は正規化周波数（１．０をナイキスト周波数とし、図の例では８ｋＨｚ）である。

これらの図に示されるように、信号の周波数帯域が異なる以外は条件を全て同じにして得られるＬＳＰパラメータ、すなわち同じサンプリング周波数（１６ｋＨｚ）で同じ分析次数のＬＳＰ分析を行って得られるＬＳＰパラメータでも、狭帯域に帯域制限された信号から得られる低次側の（Ｐ_ｗ／２）次のＬＳＰパラメータと、広帯域信号から得られる低次側の（Ｐ_ｗ／２）次のＬＳＰパラメータとの対応関係が時間的に変化していることが分かる。この変化は、狭帯域信号には含まれず、広帯域信号に含まれる周波数成分（主として高域成分）の違いによって生ずるものである。

図３は、図１および図２に示したＬＳＰデータを用いて、次数毎に求めた狭帯域ＬＳＰを広帯域ＬＳＰに変換する場合の理想的な変換係数を示した図である。ここで、変換係数は、広帯域ＬＳＰを狭帯域ＬＳＰで除した値であり、横軸は時間（分析フレーム番号）であり、次数が、０次、４次、８次の場合を例にとって示している。

この図からも明らかなように、理想的な変換係数の値は時間的に変動している。すなわち、狭帯域ＬＳＰを広帯域ＬＳＰに変換する際の変換係数、別の表現をするならば、狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の変換係数の理想値は時間的に変動するので、非特許文献１に示される設計手法によって得られる変換係数を用いても、変換係数が固定値であれば、時間的に変動する理想的な変換係数を正確に表すことはできない。

なお、ここでは、ＬＳＰ分析の条件を揃えるために、サンプリング周波数および分析次数が同じで信号の帯域だけが異なる場合を例にとって示したが、ダウンサンプルした信号を用いて広帯域ＬＳＰよりも低い次数でＬＳＰ分析を行った場合においても同様のことが言える。このことは、この分野の技術者であれば容易に理解できることである。ただし、ＬＳＰ分析の条件が異なることとなるため、狭帯域ＬＳＰと広帯域ＬＳＰとの対応関係は上記の例よりも悪くなる。

よって、本発明の目的は、狭帯域ＬＳＰから広帯域ＬＳＰへの変換性能、すなわち狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測精度を高め、高性能な帯域スケーラブルＬＳＰ符号化を実現することができるスケーラブル符号化装置、スケーラブル復号化装置、スケーラブル符号化方法、およびスケーラブル復号化方法を提供することである。

本発明のスケーラブル符号化装置は、入力信号から、周波数軸方向にスケーラビリティを有する狭帯域および広帯域の量子化ＬＳＰパラメータを生成するスケーラブル符号化装置であって、狭帯域の入力信号のＬＳＰパラメータを符号化して、狭帯域の第１の量子化ＬＳＰパラメータを生成する狭帯域符号化手段と、前記第１の量子化ＬＳＰパラメータの周波数帯域を広帯域に変換する変換手段と、広帯域に変換後の前記第１の量子化ＬＳＰパラメータを用いて広帯域の入力信号のＬＳＰパラメータの符号化を行い、広帯域の第２の量子化ＬＳＰパラメータを生成する広帯域符号化手段と、過去に生成された前記第１および第２の量子化ＬＳＰパラメータ間の関係に基づいて、前記変換手段で使用される変換係数を算出する算出手段と、を具備する構成を採る。

本発明によれば、狭帯域ＬＳＰから広帯域ＬＳＰへの変換性能を高め、高性能な帯域スケーラブルＬＳＰ符号化を実現することができる。

狭帯域のＬＳＰパラメータの例を示した図 広帯域のＬＳＰパラメータの例を示した図 理想的な変換係数を示した図 実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態１に係る広帯域ＬＳＰ符号化部内部の主要な構成を示すブロック図 実施の形態１に係る変換係数算出部内部の主要な構成を示すブロック図 実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態１に係る広帯域ＬＳＰ復号化部内部の主要な構成を示すブロック図 実施の形態２に係る変換係数算出部内部の主要な構成を示すブロック図 実施の形態２に係る広帯域ＬＳＰ符号化部内部の主要な構成を示すブロック図 実施の形態２に係る広帯域ＬＳＰ復号化部内部の主要な構成を示すブロック図 実施の形態３に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態３に係る変換係数算出部内部の主要な構成を示すブロック図 実施の形態３に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態４に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態４に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態５に係る広帯域ＬＳＰ符号化部の主要な構成を示すブロック図 実施の形態５に係る変換係数算出部の主要な構成を示すブロック図 実施の形態５に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態６に係る広帯域ＬＳＰ符号化部の主要な構成を示すブロック図 実施の形態６に係る変換係数算出部の主要な構成を示すブロック図 実施の形態７に係る広帯域ＬＳＰ符号化部の主要な構成を示すブロック図

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

（実施の形態１）
図４は、本発明の実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図である。

本実施の形態に係るスケーラブル符号化装置は、ダウンサンプル部１０１、ＬＳＰ分析部（狭帯域用）１０２、狭帯域ＬＳＰ符号化部１０３、音源符号化部（狭帯域用）１０４、位相補正部１０５、ＬＳＰ分析部（広帯域用）１０６、広帯域ＬＳＰ符号化部１０７、音源符号化部（広帯域用）１０８、変換係数算出部１０９、アップサンプル部１１０、加算器１１１、および多重化部１１２を備える。

本実施の形態に係るスケーラブル符号化装置の各部は以下の動作を行う。

ダウンサンプル部１０１は、入力音声信号に対しダウンサンプリング処理を行って狭帯域信号をＬＳＰ分析部（狭帯域用）１０２および音源符号化部（狭帯域用）１０４に出力する。なお、入力音声信号は、デジタル化された信号であり、必要に応じてＨＰＦや背景雑音抑圧処理等の前処理が施されている。

ＬＳＰ分析部（狭帯域用）１０２は、ダウンサンプル部１０１から入力された狭帯域信号に対してＬＳＰ（線スペクトル対）パラメータを算出し、狭帯域ＬＳＰ符号化部１０３へ出力する。

狭帯域ＬＳＰ符号化部１０３は、ＬＳＰ分析部（狭帯域用）１０２から入力された狭帯域ＬＳＰパラメータを符号化し、量子化された狭帯域ＬＳＰパラメータを広帯域ＬＳＰ符号化部１０７、変換係数算出部１０９、および音源符号化部（狭帯域用）１０４へ出力する。また、狭帯域ＬＳＰ符号化部１０３は、符号化データを多重化部１１２へ出力する。

音源符号化部（狭帯域用）１０４は、狭帯域ＬＳＰ符号化部１０３から入力された、量子化された狭帯域ＬＳＰパラメータを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。音源符号化部１０４は、この線形予測合成フィルタを用いて合成される合成信号と別途ダウンサンプル部１０１から入力された狭帯域入力信号との間の聴覚的重みづき誤差を求め、この聴覚的重みづき誤差を最小とする音源パラメータの符号化を行う。得られた符号化情報は多重化部１１２へ出力される。また、音源符号化部１０４は、狭帯域復号音声信号を生成してアップサンプル部１１０へ出力する。

なお、狭帯域ＬＳＰ符号化部１０３または音源符号化部（狭帯域用）１０４については、ＬＳＰパラメータを利用するＣＥＬＰ型音声符号化装置で一般的に用いられている回路を適用でき、例えば、特許文献２またはＩＴＵ−Ｔ勧告Ｇ．７２９等に記載されている技術を利用できる。

アップサンプル部１１０は、音源符号化部１０４で合成された狭帯域復号音声信号が入力され、アップサンプル処理を施し加算器１１１へ出力する。

加算器１１１は、位相補正部１０５から位相補正後の入力信号、アップサンプル部１１０からアップサンプルされた狭帯域復号音声信号、がそれぞれ入力され、両信号の差分信号を求めて音源符号化部（広帯域用）１０８へ出力する。

位相補正部１０５は、ダウンサンプル部１０１およびアップサンプル部１１０で生じる位相のずれ（遅延）を補正するためのものであり、ダウンサンプル処理およびアップサンプル処理が直線位相低域通過フィルタとサンプル間引き／零点挿入によって行なわれる場合は、直線位相低域通過フィルタによって生じる遅延の分だけ入力信号を遅延させる処理を行い、ＬＳＰ分析部（広帯域用）１０６および加算器１１１に出力する。

ＬＳＰ分析部（広帯域用）１０６は、位相補正部１０５から出力される広帯域信号を入力して公知のＬＳＰ分析を行い得られた広帯域ＬＳＰパラメータを広帯域ＬＳＰ符号化部１０７へ出力する。

変換係数算出部１０９は、狭帯域ＬＳＰ符号化部１０３から過去に出力された狭帯域の量子化ＬＳＰと、広帯域ＬＳＰ符号化部１０７から過去に出力された広帯域の量子化ＬＳＰと、を用いて変換係数を求めて広帯域ＬＳＰ符号化部１０７へ出力する。

広帯域ＬＳＰ符号化部１０７は、狭帯域ＬＳＰ符号化部１０３から入力される狭帯域の量子化ＬＳＰに、変換係数算出部１０９から入力される変換係数を乗じて広帯域ＬＳＰに変換し、この広帯域ＬＳＰに重み係数を乗じて予測広帯域ＬＳＰを求める。そして、ＬＳＰ分析部（広帯域用）１０６から入力された広帯域ＬＳＰと求まった予測広帯域ＬＳＰとの誤差信号を、ベクトル量子化などの手法を用いて符号化し、得られる広帯域の量子化ＬＳＰを音源符号化部（広帯域用）１０８へ出力する。ここで、量子化ＬＳＰは、以下の（式３）のように表される。
ｆｗ＿ｎ（ｉ）＝α（ｉ）×Ｌ（ｉ）＋β（ｉ）×
｛ｆｗ＿ｎ−１（ｉ）／ｆｎ＿ｎ−１（ｉ）｝×ｆｎ＿ｎ（ｉ）・・・（式３）
ただし、ｆｗ＿ｎ（ｉ）は第ｎフレームにおけるｉ次の広帯域量子化ＬＳＰパラメータ、α（ｉ）×Ｌ（ｉ）は予測誤差信号を量子化したベクトルのｉ次の要素（α（ｉ）はｉ次の重み係数）、Ｌ（ｉ）はＬＳＰ予測残差ベクトル、β（ｉ）は予測広帯域ＬＳＰへの重み係数、ｆｗ＿ｎ−１（ｉ）は第（ｎ−１）フレームにおける広帯域量子化ＬＳＰパラメータ、ｆｎ＿ｎ−１（ｉ）は第（ｎ−１）フレームにおける狭帯域量子化ＬＳＰパラメータ、ｆｎ＿ｎ（ｉ）は第ｎフレームにおける狭帯域ＬＳＰパラメータである。

一方、広帯域ＬＳＰ符号化部１０７は、得られる符号情報を多重化部１１２へ出力する。なお、上記のＬＳＰ予測残差ベクトルに乗じる重み係数α（ｉ）は、１．０の固定値としても良いし、別途学習によって得られた定数でもよいし、別途学習によって得られた複数の係数をコードブックとして備えてその中から一つを選ぶようにしても良い。

音源符号化部（広帯域用）１０８は、広帯域ＬＳＰ符号化部１０７から入力された、量子化された広帯域ＬＳＰパラメータを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。そして、この線形予測合成フィルタを用いて合成される合成信号と位相補正された入力信号との間の聴覚的重みづき誤差を求め、この聴覚的重みづき誤差を最小とする音源パラメータを決定する。より詳細には、音源符号化部１０８には、広帯域入力信号とアップサンプル後の狭帯域復号信号との誤差信号が別途加算器１１１より入力され、この誤差信号と音源符号化部１０８で生成される復号信号との間の誤差が求められ、この誤差に聴覚的重みづけが施されたものが最小となるように音源パラメータが決定される。求まった音源パラメータの符号情報は、多重化部１１２へ出力される。この音源符号化については、例えば、「Ｋ．Ｋｏｉｓｈｉｄａ ｅｔ ａｌ，“Ａ １６−ｋｂｉｔ／ｓ ｂａｎｄｗｉｄｔｈ ｓｃａｌａｂｌｅ ａｕｄｉｏ ｃｏｄｅｒ ｂａｓｅｄ ｏｎ ｔｈｅ Ｇ．７２９ ｓｔａｎｄａｒｄ，”ＩＥＥＥ Ｐｒｏｃ．ＩＣＡＳＳＰ ２０００，ｐｐ．１１４９−１１５２，２０００」に開示されている。

多重化部１１２には、狭帯域ＬＳＰ符号化部１０３から狭帯域ＬＳＰの符号化情報が、音源符号化部（狭帯域用）１０４からは狭帯域信号の音源符号化情報が、広帯域ＬＳＰ符号化部１０７からは広帯域ＬＳＰの符号化情報が、そして、音源符号化部（広帯域用）１０８からは広帯域信号の音源符号化情報が入力される。多重化部１１２は、これらの情報を多重化してビットストリームとして伝送路に送出する。なお、ビットストリームは、伝送路の仕様に応じて、伝送チャネルフレームにフレーム化されたり、パケット化されたりする。また、伝送路誤りに対する耐性を高めるために、誤り保護や誤り検出符号を付加したり、インタリーブ処理等を適用したりする。

図５は、上記の広帯域ＬＳＰ符号化部１０７内部の主要な構成を示すブロック図である。

この広帯域ＬＳＰ符号化部１０７は、誤差最小化部１２１、ＬＳＰ符号帳１２２、重み係数符号帳１２３、増幅器１２４〜１２６、および加算器１２７、１２８を備える。

加算器１２７は、ＬＳＰ分析部１０６から入力された、量子化ターゲットとなるＬＳＰパラメータと、加算器１２８から入力される量子化ＬＳＰパラメータ候補と、の誤差を計算し、求まった誤差を誤差最小化部１２１へ出力する。なお、この誤差計算は、入力されたＬＳＰベクトル間の二乗誤差で良い。また、入力されたＬＳＰベクトルの特徴に応じて重み付けを行なうようにすれば、さらに聴感上の品質を良くすることができる。例えば、ＩＴＵ−Ｔ勧告Ｇ．７２９では、３．２．４章（Ｑｕａｎｔｉｚａｔｉｏｎ ｏｆ ｔｈｅ ＬＳＰ ｃｏｅｆｆｉｃｉｅｎｔｓ）の（２１）式の重み付け二乗誤差（重み付けユークリッド距離）を用いて誤差最小化を行なう。

誤差最小化部１２１は、加算器１２７から出力される誤差を最小とするＬＳＰベクトルおよび重み係数ベクトルを、ＬＳＰ符号帳１２２および重み係数符号帳１２３のそれぞれの中から選択し、対応するインデックスを符号化し、多重化部１１２に出力する（Ｓ１１）。

ＬＳＰ符号帳１２２は、格納しているＬＳＰベクトルを増幅器１２４へ出力する。ここで、ＬＳＰ符号帳１２２が格納しているＬＳＰベクトルは、増幅器１２５から出力される狭帯域量子化ＬＳＰに基づいて予測された広帯域ＬＳＰの（ＬＳＰ分析部１０６から入力される広帯域ＬＳＰに対する）予測残差ベクトルである。

重み係数符号帳１２３は、格納している重み係数セットの中から１セットを選び、選択された重み係数セットの中から増幅器１２４用の係数と増幅器１２５用の係数とを増幅器１２４および１２５に出力する。なお、この重み係数セットは、増幅器１２４および１２５のそれぞれに対してＬＳＰの次数毎に用意された重み係数からなる。

増幅器１２４は、ＬＳＰ符号帳１２２から入力されたＬＳＰベクトルに、重み係数符号帳１２３から出力された増幅器１２４用の重み係数を乗じて加算器１２８へ出力する。

増幅器１２５は、増幅器１２６から入力される広帯域ＬＳＰのベクトル、すなわち、量子化後の狭帯域ＬＳＰを変換して得られる広帯域ＬＳＰのベクトルに、重み係数符号帳１２３から出力される増幅器１２５用の重み係数を乗じて加算器１２８へ出力する。

加算器１２８は、増幅器１２４と増幅器１２５とから出力されたＬＳＰベクトルの和を計算し、加算器１２７へ出力する。また、誤差最小化部１２１で誤差が最小になると判断されたＬＳＰベクトルの和が広帯域の量子化ＬＳＰパラメータとして音源符号化部１０８および変換係数算出部１０９に出力される。なお、広帯域の量子化ＬＳＰパラメータとして出力されるＬＳＰパラメータが安定条件（第ｎ次のＬＳＰは第０次〜第（ｎ−１）次のいずれのＬＳＰより大きい場合、すなわち、ＬＳＰは次数の順番に値が大きくなる）を満たしていない場合は、加算器１２８は、ＬＳＰの安定条件を満たすように操作を加える。なお、隣接する量子化ＬＳＰの間隔が所定の間隔より狭い場合も、所定の間隔以上になるように操作するのが一般的である。

増幅器１２６は、狭帯域ＬＳＰ符号化部１０３から入力されたＬＳＰパラメータに、変換係数算出部１０９から入力された係数を乗じて、増幅器１２５へ出力する。なお、狭帯域ＬＳＰ符号化部１０３から増幅器１２６に入力されるＬＳＰパラメータは、狭帯域ＬＳＰ符号化部１０３の量子化結果そのままでも良いが、アップサンプルして広帯域信号のサンプリング周波数に合わせると共に、広帯域ＬＳＰの次数に合わせると尚良い。このアップサンプルの方法としては、狭帯域ＬＳＰから得られるＬＰＣ合成フィルタのインパルス応答をアップサンプルし、アップサンプルしたインパルス応答から自己相関を求め（例えば、特許文献２参照）、求めた自己相関係数を周知の方法によって所望の次数のＬＳＰに変換する方法等が挙げられるが、これに限定されるものではない。

図６は、図４に示した変換係数算出部１０９内部の主要な構成を示すブロック図である。

この変換係数算出部１０９は、遅延器１３１、１３２、除算器１３３、リミッタ１３４、および平滑化部１３５を備える。

遅延器１３１は、狭帯域ＬＳＰ符号化部１０３から入力された狭帯域ＬＳＰパラメータを１処理単位時間（ＬＳＰパラメータの更新周期）だけ遅延させ、除算器１３３へ出力する。なお、前述したように、狭帯域ＬＳＰ符号化部１０３から入力される狭帯域ＬＳＰは、パラメータ狭帯域ＬＳＰそのままでも良いが、アップサンプルして次数を揃えると尚良い。

遅延器１３２は、広帯域ＬＳＰ符号化部１０７から入力された広帯域ＬＳＰパラメータを１処理単位時間（ＬＳＰパラメータの更新周期）だけ遅延させ、除算器１３３へ出力する。

除算器１３３は、遅延器１３２から入力された１処理単位時間前に量子化された広帯域ＬＳＰパラメータを、遅延器１３１から入力された１処理単位時間前に量子化された狭帯域ＬＳＰパラメータで除算し、除算結果をリミッタ１３４に出力する。遅延器１３１から出力される狭帯域ＬＳＰパラメータの次数と遅延器１３２から出力される広帯域ＬＳＰパラメータの次数とが異なる場合は、少ない方の次数（通常、狭帯域ＬＳＰパラメータの次数）分だけ除算を行い、出力する。

リミッタ１３４は、除算器１３３から入力された除算結果を、予め設定した上限値と下限値とでクリッピング（上限値を超えたらこの上限値に設定し直し、下限値を下回ったらこの下限値に設定し直す処理）し、平滑化部１３５へ出力する。なお、上限値および下限値は、全次数で同一のものであっても良いが、次数毎に最適なものを設定すると尚良い。

平滑化部１３５は、リミッタ１３４から入力されたクリッピング後の除算結果を時間的に平滑化して、変換係数として広帯域ＬＳＰ符号化部１０７へ出力する。この平滑化処理は、例えば、以下の（式４）を用いることにより実現できる。
Ｘ_ｎ（ｉ）＝Ｋ×Ｘ_ｎ−１（ｉ）＋（１−Ｋ）×γ（ｉ）・・・（式４）
ここで、Ｘ_ｎ（ｉ）は、第ｎ番目の処理単位時間におけるｉ次の狭帯域ＬＳＰパラメータに適用される変換係数であり、Ｋは、平滑化係数で０≦Ｋ＜１の値を採り、γ（ｉ）は、リミッタ１３４から出力されるｉ次のＬＳＰパラメータに対する除算結果である。

以上、本実施の形態に係るスケーラブル符号化装置について詳細に説明した。

図７は、上記のスケーラブル符号化装置で符号化された符号化情報を復号化するスケーラブル復号化装置の主要な構成を示すブロック図である。

このスケーラブル復号化装置は、多重分離部１５１、音源復号化部（狭帯域用）１５２、狭帯域ＬＳＰ復号化部１５３、音源復号化部（広帯域用）１５４、変換係数算出部１５５、広帯域ＬＳＰ復号化部１５６、音声合成部（狭帯域用）１５７、音声合成部（広帯域用）１５８、アップサンプル部１５９、および加算器１６０を備える。

多重分離部１５１は、上記のスケーラブル符号化装置で符号化された符号化情報を受け取り、各パラメータの符号化情報に分離し、狭帯域音源符号化情報を音源復号化部（狭帯域用）１５２に、狭帯域ＬＳＰ符号化情報を狭帯域ＬＳＰ復号化部１５３に、広帯域音源符号化情報を音源復号化部（広帯域用）１５４に、広帯域ＬＳＰ符号化情報を広帯域ＬＳＰ復号化部１５６に、それぞれ出力する。

音源復号化部（狭帯域用）１５２は、多重分離部１５１から入力された狭帯域音源信号の符号化情報を、上記のスケーラブル符号化装置の音源符号化部（狭帯域用）１０４で行われた処理と逆の処理を用いて復号し、量子化された狭帯域音源信号を音声合成部（狭帯域用）１５７へ出力する。

狭帯域ＬＳＰ復号化部１５３は、多重分離部１５１から入力された狭帯域ＬＳＰの符号化情報を、上記のスケーラブル符号化装置の狭帯域ＬＳＰ符号化部１０３で行われた処理と逆の処理によって復号し、得られた狭帯域の量子化ＬＳＰを音声合成部（狭帯域用）１５７、変換係数算出部１５５、および広帯域ＬＳＰ復号化部１５６へ出力する。

音声合成部（狭帯域用）１５７は、狭帯域ＬＳＰ復号化部１５３から入力された、量子化された狭帯域ＬＳＰパラメータを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。音声合成部（狭帯域用）１５７は、この線形予測合成フィルタを音源復号化部（狭帯域用）１５２から入力される狭帯域の量子化音源信号で駆動して復号音声信号を合成し、狭帯域復号音声信号として出力する。この狭帯域復号音声信号は、広帯域復号音声信号を得るためにアップサンプル部１５９へ出力される。なお、この狭帯域復号音声信号は、そのまま最終出力として用いられても良い。狭帯域復号音声信号をそのまま最終出力とする場合は、ポストフィルタなど主観的な品質を改善するための後処理を行なってから出力するのが一般的である。

アップサンプル部１５９は、音声合成部（狭帯域用）１５７から入力された狭帯域音声信号のアップサンプル処理を行って加算器１６０へ出力する。

音源復号化部（広帯域用）１５４は、多重分離部１５１から入力された広帯域音源信号の符号化情報を、上記のスケーラブル符号化装置の音源符号化部（広帯域用）１０８で行われた処理と逆の処理によって復号し、得られた広帯域量子化音源信号を音声合成部（広帯域用）１５８へ出力する。

変換係数算出部１５５は、狭帯域ＬＳＰ復号化部１５３から過去に入力された狭帯域の量子化ＬＳＰと、広帯域ＬＳＰ復号化部１５６から過去に入力された広帯域の量子化ＬＳＰと、を用いて変換係数を求めて広帯域ＬＳＰ復号化部１５６へ出力する。

広帯域ＬＳＰ復号化部１５６は、狭帯域ＬＳＰ復号化部１５３から入力される狭帯域の量子化ＬＳＰに、変換係数算出部１５５から入力される変換係数を乗じて広帯域ＬＳＰに変換し、この広帯域ＬＳＰに重み係数を乗じて予測広帯域ＬＳＰを求める。なお、この重み係数は、上記のスケーラブル符号化装置の広帯域ＬＳＰ符号化部１０７で使用される重み係数と同じ値を用いる。また、広帯域ＬＳＰ復号化部１５６は、多重分離部１５１から入力された広帯域ＬＳＰ符号化情報から、量子化された広帯域ＬＳＰ予測残差（符号化側の入力広帯域ＬＳＰと前記の予測広帯域ＬＳＰとの誤差）を復号する。そして、広帯域ＬＳＰ復号化部１５６は、この量子化された広帯域ＬＳＰ予測残差と上記において既に求まっている予測広帯域ＬＳＰとを加算し、広帯域の量子化ＬＳＰを復号する。得られた広帯域の量子化ＬＳＰパラメータは、音声合成部（広帯域用）１５８および変換係数算出部１５５に出力される。

音声合成部（広帯域用）１５８は、広帯域ＬＳＰ復号化部１５６から入力された量子化された広帯域ＬＳＰパラメータを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。音声合成部（広帯域用）１５８は、この線形予測合成フィルタを音源復号化部（広帯域用）１５４から入力される広帯域の量子化音源信号で駆動して広帯域復号音声信号（主として高域成分）を合成し、加算器１６０へ出力する。

加算器１６０は、アップサンプル部１５９から入力されるアップサンプル後の狭帯域復号音声信号と、音声合成部（広帯域用）１５８から入力される広帯域復号音声信号（主として高域成分）と、を加算し、最終的な広帯域復号音声信号を出力する。

図８は、上記の広帯域ＬＳＰ復号化部１５６内部の主要な構成を示すブロック図である。

この広帯域ＬＳＰ復号化部１５６は、インデックス復号部１６１、ＬＳＰ符号帳１６２、重み係数符号帳１６３、増幅器１６４〜１６６、および加算器１６７を備える。

インデックス復号部１６１は、多重分離部１５１から広帯域ＬＳＰの符号化情報を取得し、ＬＳＰ符号帳１６２用と重み係数符号帳１６３用のインデックス情報を復号し、各インデックス情報をそれぞれの符号帳に出力する。

ＬＳＰ符号帳１６２は、インデックス復号部１６１からＬＳＰ符号帳インデックスを取得し、このインデックスで指定されるＬＳＰベクトルを符号帳から取り出し、増幅器１６４に出力する。なお、符号帳がスプリット型や他段構成になっている場合は、複数のサブコードブックから指定されたベクトルを取り出してＬＳＰベクトルを生成する。

重み係数符号帳１６３は、インデックス復号部１６１から重み係数符号帳インデックスを取得し、このインデックスで指定される重み係数セットを符号帳から取り出し、取り出した係数セットから、増幅器１６４用（ＬＳＰ符号帳用）の係数サブセット（ＬＳＰベクトルの各次数に乗じる係数からなる）を増幅器１６４に、増幅器１６５用（狭帯域ＬＳＰ用）の係数サブセット（予測広帯域ＬＳＰベクトルの各次数に乗じる係数からなる）を増幅器１６５に、それぞれ出力する。

増幅器１６４は、ＬＳＰ符号帳１６２から入力されたＬＳＰベクトルに、重み係数符号帳１６３から入力された増幅器１６４用の重み係数を乗じて加算器１６７へ出力する。

増幅器１６５は、増幅器１６６から入力される、量子化された狭帯域ＬＳＰから変換された広帯域ＬＳＰのベクトルに、重み係数符号帳１６３から入力された増幅器１６５用の重み係数を乗じて加算器１６７へ出力する。

加算器１６７は、増幅器１６４および増幅器１６５から入力されたＬＳＰベクトルの和を計算し、量子化（復号）広帯域ＬＳＰパラメータとして音声合成部（広帯域用）１５８および変換係数算出部１５５へ出力する。なお、広帯域の量子化ＬＳＰパラメータとして出力されるＬＳＰパラメータが、安定条件を満たしていない場合、すなわち、第ｎ次のＬＳＰが第０次〜第（ｎ−１）次のいずれかのＬＳＰよりも小さい場合（ＬＳＰが次数の順に値が大きくなっていない場合）は、ＬＳＰの安定条件を満たすように操作を加える。なお、隣接する量子化ＬＳＰの間隔が所定の間隔よりも狭い場合も所定の間隔以上になるように操作する。

なお、図７に示した変換係数算出部１５５の内部構成は、図６に示した変換係数算出部１０９と基本的に同様である。よって詳細な説明は省略するが、この変換係数算出部１５５内の遅延器１３１への入力は狭帯域ＬＳＰ復号化部１５３から、遅延器１３２への入力は広帯域ＬＳＰ復号化部１５６から、平滑化部１３５の出力は広帯域ＬＳＰ復号化部１５６へとされる点は、図６に示した変換係数算出部１０９と異なる。

以上、本実施の形態に係るスケーラブル復号化装置について詳細に説明した。

このように、本実施の形態によれば、変換係数算出部１０９は、過去のフレーム（例えば、直前のフレーム等）において符号化された狭帯域および広帯域の量子化ＬＳＰパラメータを用いて、過去のフレームにおける理想的な変換係数の近似値を求め、この近似値に基づいて現フレームにおける狭帯域の量子化ＬＳＰから広帯域ＬＳＰへの変換係数を決定する。具体的には、理想的な変換係数の近似値は、過去のフレームの広帯域の量子化ＬＳＰを同じフレームの狭帯域の量子化ＬＳＰで除算することによって求められる。換言すると、狭帯域ＬＳＰパラメータから広帯域ＬＳＰパラメータに変換係数Ｘ_ｎ（ｉ）を乗じて推定する際、過去の狭帯域ＬＳＰパラメータと広帯域ＬＳＰパラメータとの関係を利用して適応的にフレームごとに変換係数を決定する。よって、変換係数は、時間経過と共に変化する。この構成を採ることにより、狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測精度を高めることができる。

また、以上の構成において、上記の変換係数は、過去のフレームにおける狭帯域および広帯域の量子化ＬＳＰパラメータのみから算出可能であるので、例えば、復号化側において符号化側から情報を別途取得する必要がない。すなわち、通信の伝送レートを増加させることなしに広帯域ＬＳＰパラメータの符号化性能を改善することができる。

また、以上の構成において、上記の変換係数は、過去のフレームにおける狭帯域および広帯域のＬＳＰパラメータから所定の演算によって直接求めることができるので、予め複数の変換係数のセットをデータテーブル等に保持しておく必要がない。

また、以上の構成において、変換係数算出部１０９内のリミッタ１３４は、算出された変換係数が極端な値とならないように、変換係数に、例えば、平均値の上下１０％程度内に収まるような制限を加える。例えば、音声モードが、有声モードから無声モードへ、または無声モードから有声モードへ切り替わる等の場合には、ＬＳＰパラメータが大きく変動するため、算出される変換係数も変動して妥当な値とはならないことがある。変換係数が短時間のうちに大きく変動する場合は、前フレームの広帯域／狭帯域のＬＳＰ比を用いた予測が効かなくなり、むしろ誤差を大きくする方向に働く。するとＬＳＰ符号帳の方でそのように大きくなった誤差を修正しようとすることになるが、そのように誤差の大きいベクトルを符号帳に備えることは、予測誤差が小さい場合の誤差を増大させることになる。つまり、変換係数とＬＳＰ符号帳との間の関係が一種の発振状態に陥るので、このようにならぬ様、両者のバランスをうまくとれるような構成にする必要がある。

そこで、本実施の形態では、まず、全てのフレームに対し上記の演算式に従って変換係数を求めるが、変換係数には上限および下限を設けておいて、算出された変換係数がこの範囲内に入っていない場合には変換係数をこの範囲内に収める修正を行う。これにより、変換に実際に使用される変換係数を一定範囲内の値とすることができるので、変換係数の定常性（もしくは準定常性）が保証され、発振状態になることがなくなる。これにより、変換係数による予測能力が制限され、予測誤差が大きくなることもあるが、変換係数を固定値とする場合の「固定値」の近傍に範囲限定すれば、予測誤差が変換係数を固定値とする場合を大きく上回るようなことはなく、変換係数を固定値とする場合と同様にＬＳＰ符号帳側で対応することが可能である。変換係数の近似値は、直前フレームの広帯域量子化ＬＳＰを直前フレームの狭帯域の量子化ＬＳＰで除算することによって求められ、現フレームで用いられる変換係数は、近似値を平均的な変換係数の近傍（例えば前後１０％程度の範囲または変換係数の標準偏差程度の範囲）に限定することによって得られる。

また、以上の構成において、上記の変換係数は、時間的に緩やかに変動するように分析フレーム間で（前後のフレーム間で）平滑化処理が施される。このため、変換係数は、ＬＳＰパラメータの変動に対し緩やかに推移し、伝送路誤りに対して過剰にセンシティブとなることを防止できる。また、変換係数の値が安定するため、対応するＬＳＰコードベクトル符号帳の設計が容易となる。量子化ＬＳＰの予測値は、変換係数とＬＳＰコードベクトルとの積で表されているため、一方のパラメータが暴れると他方のパラメータも暴れ、お互いの関係が発散状態（前述した発振状態）に陥り、性能の良い符号帳を設計できなくなるためである。上記の構成とすることで、例えばＳＤ性能を０．０５ｄＢ改善することができる。なお、この改善幅は、量子化ビット数やフレーム長によって変わってくる。

なお、本実施の形態では、ＭＡ予測型ＬＳＰ符号化器を使用しない例を示したが、ＭＡ予測器を用いた場合にも本発明は適用可能である。かかる場合、ＭＡ予測係数は重み係数符号帳１６３に格納され、重み係数ベクトルの次元数がＭＡ予測次数の分だけ増えることになる。

また、本実施の形態では、変換係数算出部１０９が、リミッタ１３４および平滑化部１３５の双方を備える場合を例にとって説明したが、これらは一方のみを備えるような構成であっても良い。

（実施の形態２）
実施の形態１では、算出される変換係数が大きく変動する場合に、変換係数を一定範囲内に収める修正を行うことにより、狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測が安定して行なわれるようにした。本実施の形態では、量子化ＬＳＰパラメータに着目し、この量子化ＬＳＰパラメータの変化を観測することにより、ＬＳＰパラメータが変動しているかいないかを判断し、変換に使用する変換係数を切り替える。

具体的には、符号化側の狭帯域ＬＳＰ符号化部または復号化側の狭帯域ＬＳＰ復号化部で得られる狭帯域の量子化ＬＳＰパラメータに着目し、この狭帯域の量子化ＬＳＰパラメータが変動していない場合には定常モードと、狭帯域の量子化ＬＳＰパラメータが変動している場合には非定常モードと判定し、このモードの判定結果に従い、ＬＳＰ符号帳と重み係数符号帳とを切り替えて使用する。すなわち、定常モードでは、変換係数をフレームごとに上記の演算式（式２）に従って算出することにより適応的な制御を行い、一方、非定常モードでは、上記の（式３）を用いて、変換係数を固定値または準固定値に設定する。ここで準固定値とは、予め複数の変換係数を設定しておいて、音声信号の符号化結果（音質）に応じて変換係数を切り替えることを意味している。すなわち、固定値の変換係数セットを複数種類持っていて、量子化時に最適なものを１つ選んで使用する。

以下、本実施の形態について、添付図面を参照して具体的に説明する。

本発明の実施の形態２に係るスケーラブル符号化装置の基本的構成は、実施の形態１に係るスケーラブル符号化装置と同様である。よって、本実施の形態に係るスケーラブル符号化装置の詳細な説明は省略し、異なる構成である変換係数算出部１０９ａおよび広帯域ＬＳＰ符号化部１０７ａについて以下詳細に説明する。なお、同一の構成要素には同一の符号を付し、その説明を省略する。

図９は、変換係数算出部１０９ａ内部の主要な構成を示すブロック図である。

この変換係数算出部１０９ａは、リミッタ１３４の代わりに、モード判定部２０１、係数テーブル２０２、および切り替えスイッチ２０３を備える。変換係数算出部１０９ａは、算出した変換係数と係数テーブルに予め保存してある変換係数とを、モード判定部２０１のモード判定結果によって切り替えて使用する。

モード判定部２０１は、狭帯域ＬＳＰ符号化部１０３から入力された狭帯域の量子化ＬＳＰと、遅延器１３１の出力である１処理単位時間だけ前に量子化された狭帯域ＬＳＰとの距離（変化量）を計算し、計算した距離に基づいて、定常モードか非定常モードかを判定する。例えば、計算した距離が予め設定した閾値以下である場合は定常モード、閾値を越えた場合は非定常モードと判定する。判定結果は、広帯域ＬＳＰ符号化部１０７ａおよび切り替えスイッチ２０３に出力される。なお、計算した距離は、そのまま閾値判定に用いても、フレーム間で平滑化してから閾値判定に用いても良い。

切り替えスイッチ２０３は、モード判定部２０１の判定結果が定常モードであった場合、平滑化部１３５から出力される変換係数を広帯域ＬＳＰ符号化部１０７ａに出力し、一方、モード判定部２０１の判定結果が非定常モードであった場合、係数テーブルに格納されている変換係数を広帯域ＬＳＰ符号化部１０７ａに出力するように切り替えられる。

ＬＳＰパラメータが定常的な値を示す場合は、現フレームの広帯域／狭帯域のＬＳＰパラメータ比と前フレームの広帯域／狭帯域の量子化ＬＳＰパラメータの比とが近くなるので、（式２）を用いた量子化を適用することで、狭帯域ＬＳＰパラメータから広帯域ＬＳＰパラメータを予測する際の予測精度を向上させ、量子化性能を改善させる。

図１０は、上記の広帯域ＬＳＰ符号化部１０７ａ内部の主要な構成を示すブロック図である。

ＬＳＰ符号帳と重み係数符号帳とがそれぞれモード数分（ここでは２つ）のサブ符号帳から構成されていて（ＬＳＰ符号帳２２２−１、２２２−２、重み係数符号帳２２３−１、２２３−２）、モード判定部２０１から入力されるモード情報に基づいて、切り替えスイッチ２２４、２２５がそれぞれサブ符号帳の１つを選択する構成となっている。

本発明の実施の形態２に係るスケーラブル復号化装置の基本的構成も、実施の形態１に係るスケーラブル復号化装置と同様である。よって、詳細な説明は省略し、異なる構成である変換係数算出部１５５ａおよび広帯域ＬＳＰ復号化部１５６ａについて以下説明する。なお、同一の構成要素には同一の符号を付し、その説明を省略する。

変換係数算出部１５５ａの内部構成は、図９に示した変換係数算出部１０９ａと基本的に同様である。よって詳細な説明は省略するが、遅延器１３１への入力は狭帯域ＬＳＰ復号化部１５３から、遅延器１３２への入力は広帯域ＬＳＰ復号化部１５６ａから、平滑化部１３５の出力は広帯域ＬＳＰ復号化部１５６ａへとされる点は、図９に示した変換係数算出部１０９ａと異なる。また、モード判定部の付番は、符号化側のモード判定部２０１と区別するため、便宜上２５１とする。

図１１は、上記の広帯域ＬＳＰ復号化部１５６ａ内部の主要な構成を示すブロック図である。

ＬＳＰ符号帳と重み係数符号帳とがそれぞれモード数分（ここでは２つ）のサブ符号帳から構成されていて（ＬＳＰ符号帳２６２−１、２６２−２、重み係数符号帳２６３−１、２６３−２）、モード判定部２５１から入力されるモード情報に基づいて、切り替えスイッチ２６４、２６５がそれぞれサブ符号帳の１つを選択する構成となっている。

このように、本実施の形態によれば、入力された未量子化の広帯域ＬＳＰまたは現フレームで量子化された狭帯域ＬＳＰの定常性を判定し、定常的である（フレーム間の変動が小さい）と判定された場合のみ選択的に前記算出された変換係数を用い、非定常（フレーム間の変動が大きい）と判定された場合には別途テーブルに格納された変換係数を用いる。換言すると、算出された変換係数と予め設計してテーブルに格納しておいた変換係数とを、ＬＳＰパラメータの定常性に基づいて切り替える。

上記の構成を採ることにより、狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測精度を向上させることができる。また、ＬＳＰパラメータの変動を符号化後の量子化ＬＳＰパラメータを用いて判断するので、復号側は、符号化側からモード情報を送信されなくともＬＳＰパラメータの変動を判断することができる。符号化側からモード情報を送信する必要もなくなるので、通信システムのリソースを消費することもない。

（実施の形態３）
実施の形態２では、狭帯域の量子化ＬＳＰパラメータの変化を観測し、ＬＳＰパラメータの変動の有無を判断（モード判定）している。しかし、狭帯域の量子化ＬＳＰパラメータが変動状態にない場合でも、広帯域の量子化ＬＳＰパラメータの方は変動している場合がある。

また、復号化側では、過去のモード判定結果に基づいて現フレームの復号化を行うので、実施の形態２の方法では、過去のモード判定が誤っていると、その誤りが後の処理に伝播する。

そこで、本実施の形態では、符号化側は、広帯域ＬＳＰパラメータを用いてモード判定を行うモード判定部を新たに設置し、得られるモード判定結果を復号化側に送信する。復号化側は、このモード判定結果を復号化するモード復号部を新たに設置する。

以下、本実施の形態について、添付図面を参照して具体的に説明する。

図１２は、本発明の実施の形態３に係るスケーラブル符号化装置の主要な構成を示すブロック図である。なお、このスケーラブル符号化装置は、実施の形態１に示したスケーラブル符号化装置（図４参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

モード判定部３０１は、基本的には、実施の形態２に示したモード判定部２０１（２５１）と同様の動作をする。すなわち、１処理単位時間遅延されたＬＳＰパラメータと現在のＬＳＰパラメータとの距離計算を行い、この距離が予め設定しておいた閾値以下の場合は定常モードと、閾値を越えた場合は非定常モードと判定する。しかし、入力情報として用いるものは、ＬＳＰ分析部（広帯域用）１０６から出力される広帯域ＬＳＰパラメータである点が実施の形態２と異なる。モード判定部３０１の判定結果は、変換係数算出部１０９ｂと広帯域ＬＳＰ符号化部１０７ａに出力され、モード情報の符号化情報は多重化部１１２に出力される。なお、広帯域ＬＳＰ符号化部１０７ａは、実施の形態２で既に説明したものである。

このように、モード判定部３０１は、符号化済みの情報（量子化ＬＳＰパラメータ）でなく、広帯域ＬＳＰパラメータを用いて定常／非定常を判定するので、広帯域信号の高域部のみに変動が大きい信号にも対応可能となる。

また、モード判定部３０１は、得られるモード結果を他の符号化パラメータと共に多重化して復号化側に送信している。このように、モード情報を復号化側に伝送するので、復号化側でモード情報の判定を一度誤っても、後続フレームでは、次のモード情報が送信されてくるので、前フレームの判定誤りの影響が伝播せず、伝送路誤り耐性が改善する。

図１３は、変換係数算出部１０９ｂ内部の主要な構成を示すブロック図である。なお、この変換係数算出部１０９ｂは、実施の形態２の図９に示した変換係数算出部１０９ａと同様の基本的構成を有しており、異なる点のみを以下説明する。

変換係数算出部１０９ｂは、モード判定部を内部に備えず、モード判定結果のみを外部から入力する。そして、変換係数算出部１０９ｂは、入力されるモード判定結果に従って切り替えスイッチを切り替える。具体的には、定常モードの時は、平滑化部１３５から出力される変換係数が広帯域ＬＳＰ符号化部１０７ａへ出力されるように切り替えスイッチ２０３が切り替えられる。非定常モードのときは、予めオフラインの学習等によって設計された変換係数を係数テーブル２０２から広帯域ＬＳＰ符号化部１０７ａへ出力されるように切り替えスイッチ２０３が切り替えられる。

図１４は、本発明の実施の形態３に係るスケーラブル復号化装置の主要な構成を示すブロック図である。

このスケーラブル復号化装置も、実施の形態１に示したスケーラブル復号化装置（図７参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。実施の形態１に示したスケーラブル復号化装置と異なる点は、モード復号部３５１を新たに有し、本実施の形態に係るスケーラブル符号化装置のモード判定部３０１の出力情報を復号して、復号情報を変換係数算出部１５５ｂおよび広帯域ＬＳＰ復号化部１５６ａへ出力することである。なお、変換係数算出部１５５ｂも符号化側の変換係数算出部１０９ｂ（図１３参照）と同様の基本的構成を有している。

なお、本実施の形態では、ＬＳＰパラメータの時間的変化に基づいてモード判定を行う場合を説明したが、変換係数の変換利得に基づいてモード判定を行っても良い。この変換係数の変換利得は、前フレームの「広帯域量子化ＬＳＰ／狭帯域量子化ＬＳＰ」比と現フレームの「入力広帯域ＬＳＰ／狭帯域量子化ＬＳＰ」比がどれだけ近いかを表している。

（実施の形態４）
本実施の形態の特徴は、モード情報を符号化側が復号化側に送信せずに、モード判定を符号化側の狭帯域ＬＳＰ符号化部または復号側の狭帯域ＬＳＰ符号化部の内部で行うことである。

図１５は、本発明の実施の形態４に係るスケーラブル符号化装置の主要な構成を示すブロック図である。なお、このスケーラブル符号化装置は、実施の形態３に示したスケーラブル符号化装置（図１２参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

本実施の形態に係るスケーラブル符号化装置は、狭帯域ＬＳＰ符号化部１０３ｃがマルチモード符号化を行っており、そのモード情報（Ｓ４１）を利用して変換係数算出部１０９ｂのモード切り替え、および広帯域ＬＳＰ符号化部１０７ａのモード切り替えが行われる。

狭帯域ＬＳＰ符号化部がＬＳＰの定常性でモード切替を行なう技術としては、例えばＴ．Ｅｒｉｋｓｓｏｎ，Ｊ．Ｌｉｎｄｅｎ，ａｎｄ Ｊ．Ｓｋｏｇｌｕｎｄ，“Ｅｘｐｌｏｉｔｉｎｇ ｉｎｔｅｒｆｒａｍｅ ｃｏｒｒｅｌａｔｉｏｎ ｉｎ ｓｐｅｃｔｒａｌ ｑｕａｎｔｉｚａｔｉｏｎ−Ａ ｓｔｕｄｙ ｏｆ ｄｉｆｆｅｒｅｎｔ ｍｅｍｏｒｙ ＶＱ ｓｃｈｅｍｅｓ，”Ｐｒｏｃ．ＩＥＥＥ ＩＣＡＳＳＰ−９６，ｐｐ．７６５−７６８，１９９６等に記載がある。この文献では、フレーム間相関の強い（定常性の高い）フレームとそうでないフレームとの双方に対応するために、フレーム間予測を用いるモードとそうでないモードとを切り替える「Ｓａｆｔｙ−ｎｅｔ ＶＱ」という手法を提案している。このような量子化器を狭帯域ＬＳＰ符号化部に用いれば、そのモード情報を広帯域ＬＳＰ符号化部・変換係数算出部のモード切り替え情報として利用することが可能である。

図１６は、本発明の実施の形態４に係るスケーラブル復号化装置の主要な構成を示すブロック図である。なお、このスケーラブル復号化装置も、実施の形態３に示したスケーラブル復号化装置（図１４参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

本実施の形態に係るスケーラブル復号化装置では、狭帯域ＬＳＰ復号化部１５３ｃにモード情報復号機能が備えられている。すなわち、狭帯域ＬＳＰ復号化部１５３ｃが、マルチモードの復号化を行なっており、そのモード情報（Ｓ４２）を変換係数算出部１５５ｂおよび広帯域ＬＳＰ復号化部１５６ａへ出力する。変換係数算出部１５５ｂおよび広帯域ＬＳＰ復号化部１５６ａでは、狭帯域ＬＳＰ復号化部１５３ｃから入力されたモード情報（Ｓ４２）を用いて、モード切替を行なう。

このように、本実施の形態によれば、狭帯域ＬＳＰ符号化情報のモード情報を用いて広帯域ＬＳＰ符号化のモードを切り替えるので、追加のビットなしに、広帯域ＬＳＰ符号化部、広帯域ＬＳＰ復号化部、または変換係数部のモード切り替えを行うことができる。また、モード情報が伝送されるため、伝送路誤りがあった場合でも誤りの影響が後続フレームに伝播することを防止できる。

（実施の形態５）
実施の形態３では、モード判定は、ＬＳＰの量子化に先立って行なわれ、このモード判定結果に基づいて探索する符号帳を切り替えている。すなわち、モード判定は量子化前に開ループで行なわれるため、必ずしも量子化誤差を最小にするモードが選択されるとは限らない。例えば、実施の形態３のモード判定は、量子化前のＬＳＰパラメータに基づいて行われているが、量子化前のＬＳＰパラメータが変動しているからと言って、必ずしも、量子化後のＬＳＰパラメータも変動するとは限らないし、量子化前のＬＳＰパラメータが定常的であるからと言って、必ずしも、量子化後のＬＳＰパラメータが定常的であるとも限らない。また、一部の次数のＬＳＰパラメータが定常であっても、残りの次数のＬＳＰパラメータが非定常であれば、全次数で変化を見た場合には定常と判定されることもある。このように、開ループでモード判定を行なう場合は、確実に量子化誤差を最小とするモードを選択することが難しい。

そこで、本実施の形態では、開ループでモードを判定するのではなく、閉ループでモード判定を行う。すなわち、定常モード／非定常モードについて、２以上のモードがある場合は全モードについて符号帳探索を実際に行ってみて、この結果に基づいて量子化誤差（量子化歪み）を最小とするモードを選択する。さらに換言すると、広帯域ＬＳＰ符号化部において、変換係数を求めて広帯域ＬＳＰを量子化するモードと、予め定めておいた固定の変換係数を用いて広帯域ＬＳＰを量子化するモードと、の双方のモードを用いて量子化を実際に行い、量子化誤差の小さくなる方のモードで量子化した結果を最終的な量子化結果として選択する。

以下、本実施の形態について、添付図面を参照して具体的に説明する。

図１７は、本発明の実施の形態５に係る広帯域ＬＳＰ符号化部１０７ｄの主要な構成を示すブロック図である。なお、この広帯域ＬＳＰ符号化部１０７ｄは、実施の形態２に示した広帯域ＬＳＰ符号化部１０７ａ（図１０参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

誤差最小化部１２１ｄは、全モードの符号帳探索を行い、全てのモードの符号帳の中から量子化誤差を最小とするＬＳＰベクトルおよび重み係数ベクトルを、ＬＳＰ符号帳２２２−１、２２２−２、重み係数符号帳２２３−１、２２３−２のそれぞれの中から選択し、対応するインデックスを符号化して多重化部１１２に出力する（Ｓ１１）。このとき、選択されたＬＳＰベクトル、および重み係数ベクトルが生成されるモード情報（どのモードの符号帳から選択されたかを示す情報）Ｓ５１も多重化部１１２に出力される。

図１８は、本発明の実施の形態５に係る変換係数算出部１０９ｄの主要な構成を示すブロック図である。なお、この変換係数算出部１０９ｄは、実施の形態２に示した変換係数算出部１０９ａ（図９参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

変換係数算出部１０９ｄは、広帯域ＬＳＰ符号化部１０７ｄ内の誤差最小化部１２１ｄから出力される制御信号Ｃ５１によって、使用する予測係数を切り替える。すなわち、変換係数算出部１０９ｄは、制御信号Ｃ５１によって量子化ＬＳＰを（式２）で表すか（式３）で表すかを切り替える。

このように、変換係数算出部１０９ｄは、実際に量子化を行なってみて、この量子化結果に基づいて、（式３）を用いた量子化を行なうか否かを決定する。よって、（式３）の量子化によって確実に性能が良くなることが期待されるフレームに対してだけ（式３）を用いるモードが選択されるので、高い予測性能を得ることができる。

また、本実施の形態によれば、前フレームの広帯域／狭帯域の量子化ＬＳＰパラメータ比と、現フレームの広帯域／狭帯域のＬＳＰパラメータ比とが近いフレームに対してのみ、（式３）による量子化が行なわれることとなる。すなわち、広帯域／狭帯域ＬＳＰパラメータが定常と判断されるフレームに対してではなく、広帯域／狭帯域ＬＳＰパラメータ比が定常と判断されるフレームに対して（式３）による量子化が行なわれる。よって、誤り耐性を向上させることができる。何故なら、本実施の形態によれば、（式３）による量子化モードが選択され続ける区間においては、広帯域／狭帯域の量子化ＬＳＰパラメータ比が定常であることがほぼ保障される。よって、例えば、直前のフレームが誤った場合、２フレーム前、もしくはさらにもっと前のフレームの広帯域／狭帯域の量子化ＬＳＰパラメータ比を用いて近似を行うことが可能だからである。一方、ＬＳＰパラメータが定常であるか否かによってモード判定を行う場合、ＬＳＰパラメータが定常であっても必ずしも広帯域／狭帯域の量子化ＬＳＰパラメータ比が定常であるとは限らない。よって、直前のフレームが誤った場合、このフレームの代わりに、定常ではない可能性のある２フレーム前の広帯域／狭帯域の量子化ＬＳＰパラメータ比を近似値として用いてしまうおそれがある。このとき、誤りがない場合の復号結果とは大きく異なる復号結果を得てしまうこととなる。

また、本実施の形態によれば、直前のフレームが誤った場合、（式２）によるモードが選択されることになる。よって、この段階で予測符号化がリセットされることとなるので、誤りが後続フレームに伝播することを防止でき、誤り耐性がより高まる。

図１９は、上記の広帯域ＬＳＰ符号化部１０７ｄおよび変換係数算出部１０９ｄを備えた、本発明の実施の形態５に係るスケーラブル符号化装置の主要な構成を示すブロック図である。広帯域ＬＳＰ符号化部１０７ｄから出力される信号（Ｓ１１、Ｓ５１）が実施の形態１〜４で示したスケーラブル符号化装置と異なっている。

本実施の形態に係るスケーラブル復号化装置の構成は、実施の形態３に示したスケーラブル復号化装置（図１４参照）と同様であるので、説明を省略する。

以上、本実施の形態に係るスケーラブル符号化装置およびスケーラブル復号化装置について説明した。

（実施の形態６）
実施の形態１〜５に係る発明は、前フレームの量子化結果を積極的に利用して現フレームの予測を行うため、量子化性能を高くできる。よって、伝送路誤りのない、またはほとんどないアプリケーションに特に有効である。しかし、実施の形態１〜５では、伝送路誤りが発生すると、後続フレームに誤りが比較的長時間伝播する可能性がある。具体的には、実施の形態１〜５では、過去の狭帯域量子化ＬＳＰと広帯域量子化ＬＳＰとの関係を利用して現在の狭帯域量子化ＬＳＰから広帯域量子化ＬＳＰを予測するため、伝送路誤りが発生した場合、符号化装置と復号化装置とで異なる量子化結果が生成する可能性がある。かかる場合、復号化装置では、後続フレームにおける予測が正しく行われなくなるため、後続フレームに誤りが伝播する。ただし、実施の形態２〜５においてこのような誤り伝播が生じるのは、過去の量子化ＬＳＰを利用した予測を用いるモードが連続し、かつ、この連続するフレームにおいて伝送路誤りが発生した場合に限定される。

このような場合の改善手法として、過去の量子化結果に依存する予測に「忘却要素」を組み込む手法が知られている（例えば、Ａｌｌｅｎ Ｇｅｒｓｈｏ，Ｒｏｂｅｒｔ Ｍ．Ｇｒａｙ著、古井，田崎，小寺，渡辺共訳、「ベクトル量子化と情報圧縮」、第１６章、６９８頁〜、小節「利得適応ＶＱにおける伝送誤り」、コロナ社、１９９８年１１月１０日発行を参照）。この忘却要素を組み込む手法によれば、過去の量子化結果に依存する予測（適応予測モード成分）と過去の量子化結果に依存しない予測（固定予測モード成分）との和を用いて現在の狭帯域量子化ＬＳＰから現在の広帯域量子化ＬＳＰを予測する。よって、適応予測モード成分と固定予測モード成分との比率を最適化することにより、互いにトルードオフの関係にある、適応予測モード成分に由来する量子化性能改善効果と、固定予測モード成分に由来する誤り耐性劣化抑制効果との調和を図ることができる。

本発明の実施の形態６では、実施の形態５において前記忘却要素を組み込む手法を適用することにより、伝送路誤りが発生した場合でも、伝送路誤りの影響を軽減する。すなわち、現フレームの広帯域量子化ＬＳＰの算出において、前フレームの量子化結果を利用した適応予測モード成分と、過去のフレームの量子化結果を利用しない固定予測モード成分（固定値）とを組み合わせて用いる。これにより、適応予測モードのフレームで伝送路誤りが発生した場合でも、固定値の使用によって適応予測成分を時間の経過とともに忘却させ、符号化装置と復号化装置との内部状態が時間の経過とともに近づくようにすることができ、伝送路誤りの影響が軽減する。さらに、本実施の形態では、固定予測だけを行うモードを備えるので、固定予測モードに切り替わったフレームにおいて符号化装置および復号化装置の内部状態が共にリセットされ、伝送路誤りの影響の後続フレームへの伝播が回避され、誤り耐性が改善される。

図２０は、本実施の形態に係る広帯域ＬＳＰ符号化部１０７ｅの主要な構成を示すブロック図である。また、図２１は、本実施の形態に係る変換係数算出部１０９ｅの主要な構成を示すブロック図である。なお、この広帯域ＬＳＰ符号化部１０７ｅおよび変換係数算出部１０９ｅは、実施の形態５において、広帯域ＬＳＰ符号化部１０７ｄ（図１７参照）および変換係数算出部１０９ｄ（図１８参照）の代わりに使用されるものである。従って、本実施の形態では、スケーラブル符号化装置およびスケーラブル復号化装置について、広帯域ＬＳＰ符号化部１０７ｅと変換係数算出部１０９ｅとに限り説明する。さらに、本実施の形態では、広帯域ＬＳＰ符号化部１０７ｅおよび変換係数算出部１０９ｅの構成要素について、広帯域ＬＳＰ符号化部１０７ｄおよび変換係数算出部１０９ｄの構成要素と同様の機能を発揮する構成要素には同一の符号を付して、その説明を省略する。

広帯域ＬＳＰ符号化部１０７ｅにおいて、増幅器１２６−１は、狭帯域ＬＳＰ符号化部１０３から入力されたＬＳＰパラメータに、変換係数算出部１０９ｅにおける係数テーブル２０２−２から入力された変換係数を乗じて、その乗算結果を増幅器１２５−１へ出力する。一方で、増幅器１２６−２は、狭帯域ＬＳＰ符号化部１０３から入力されたＬＳＰパラメータに対して、定常モード（適応予測モード）の場合には変換係数算出部１０９ｅにおける平滑化部１３５から出力される変換係数を乗じて、また非定常モード（固定予測モード）の場合には係数テーブル２０２−１に格納されている変換係数を乗じて、その乗算結果を増幅器１２５−２へ出力する。従って、増幅器１２６−１、１２６−２が、本発明における乗算手段を構成することになる。

また、広帯域ＬＳＰ符号化部１０７ｅにおいて、増幅器１２５−１、１２５−２はそれぞれ、増幅器１２６−１、１２６−２から入力されてくる広帯域ＬＳＰのベクトル、すなわち狭帯域量子化ＬＳＰを変換して得られる広帯域ＬＳＰのベクトルに対して、重み係数符号帳２２３−１、２２３−２から出力される既定の重み係数を乗じて、その乗算結果を加算器１２８へ出力する。そして、加算器１２８は、増幅器１２４と増幅器１２５−１、１２５−２とから出力されたＬＳＰベクトルの和を計算し、その加算結果を加算器１２７へ出力する。

このように、本実施の形態では、増幅器１２６−１および増幅器１２５−１、１２５−２が現フレームの狭帯域量子化ＬＳＰに対して固定変換係数を常に乗じることになる。すなわち、増幅器１２６−１、１２５−１を介して加算器１２８へ入力される信号は、狭帯域ＬＳＰ符号化部１０３から入力される狭帯域量子化ＬＳＰが、過去に発生した伝送路誤りの影響を受けない限り、過去に発生した伝送路誤りの影響を受けない。また、固定予測モードでの予測では、増幅器１２６−２も固定変換係数を前記狭帯域量子化ＬＳＰに乗じるので、前後フレームとの間で情報のやり取りが行われず、過去に発生した伝送路誤りの影響が後続フレームに伝播しない。これらの結果、本実施の形態によれば、伝送路誤りが発生した場合でも、その誤りの影響が後続フレームに伝播することを抑制し、誤り耐性を改善することができる。

なお、本実施の形態では、変換係数算出部１０９ｅに２つの係数テーブル２０２−１、２０２−２を配置し、これに対応させて広帯域ＬＳＰ符号化部１０７ｅに２つの増幅器１２６−１、１２６−２を配置する場合について説明したが、本発明はこの場合に限定されるものではなく、さらに多くの係数テーブル２０２および増幅器１２６を配置するようにしても良い。

また、本実施の形態では、変換係数算出部１０９ｅにおける係数テーブル２０２−１、２０２−２がそれぞれ別個である場合について説明したが、本発明はこの場合に限定されるものではなく、例えば変換係数算出部１０９ｅにおいて係数テーブル２０２が１つしか配置されず、この係数テーブル２０２から同一の変換係数が広帯域ＬＳＰ符号化部１０７ｅにおける２つの増幅器１２６−１、１２６−２にそれぞれ入力されるようにしても良い。

また、本実施の形態では、変換係数算出部１０９ｅが平滑化部１３５を必要とする場合について説明したが、本発明はこの場合に限定されるものではなく、例えば平滑化部１３５を配置せず、除算器１３３の出力をそのまま切替スイッチ２０３へ接続する構成としても良い。このような構成にすれば、切替スイッチ２０３が一旦係数テーブル２０２−１側に切り替わると、伝送路誤りの伝播を完全にリセットすることができる。

なお、変換係数算出部１０９ｅが平滑化部１３５を備える場合であっても、直前フレームが固定予測モードである（すなわち、切替スイッチ２０３が係数テーブル２０２−１側に接続される）場合は、（式４）におけるＫを０にして、換言すればＸ_ｎ（ｉ）＝γ（ｉ）として、現フレームの狭帯域量子化ＬＳＰに適用される変換係数を求めるようにすれば、同様に伝送路誤りの伝播を完全にリセットすることができる。

また、図２１に示した変換係数算出部１０９ｅは、実施の形態３に示したスケーラブル復号化装置（図１４参照）における変換係数算出部１５５ｂの代わりに使用することもできる。

ちなみに、音声信号の主要成分はその低域に集まる傾向があるため、音声信号の低域成分について広帯域量子化ＬＳＰを予測する場合は、適応予測モード成分の構成比率が低くなるように（例えば５０％以下となるように）重み係数を設計し、一方で音声信号の高域成分について広帯域量子化ＬＳＰを予測する場合には、適応予測モード成分の構成比率が高くなるように（例えば５０％以上となるように）重み係数を設計すれば、主観的な品質における誤り耐性と量子化性能との調和を図ることができる。

（実施の形態７）
本発明の実施の形態７では、実施の形態６において、狭帯域量子化ＬＳＰの誤り感度に基づいて、広帯域量子化ＬＳＰの予測における固定予測モード成分と適応予測モード成分との比率をフレーム毎に適応的に決定する。すなわち、実施の形態６では、重み係数符号帳２２３−１、２２３−２から出力される重み係数が既定値であったが、本実施の形態では、定常モードである場合に選択される重み係数符号帳２２３−１を、現フレームの狭帯域量子化ＬＳＰから算出される重み係数で逐次更新する。

ここで、ＬＳＰの量子化においては、スペクトルの山の部分にあるＬＳＰと谷の部分にあるＬＳＰとで主観的に許容される量子化雑音のレベルが異なることを利用するために、量子化誤差を算出するときに「重み」を乗じた重み付きユークリッド距離で量子化誤差を評価する手法が知られている。この「重み」を誤り感度に対応する尺度として用いれば、フレーム毎に狭帯域量子化ＬＳＰから「重み」を算出し、算出した「重み」に応じて適応的に広帯域量子化ＬＳＰの予測における固定予測モード成分と適応予測モード成分との比率を変化させることができる。その結果、トレードオフの関係にある誤り耐性と量子化性能との調節をフレーム毎に図れるようになる。

図２２は、本実施の形態に係る広帯域ＬＳＰ符号化部１０７ｆの主要な構成を示すブロック図である。なお、この広帯域ＬＳＰ符号化部１０７ｆは、実施の形態６において、広帯域ＬＳＰ符号化部１０７ｅ（図２０参照）の代わりに使用されるものである。従って、本実施の形態では、スケーラブル符号化装置について、広帯域ＬＳＰ符号化部１０７ｆに限り説明する。さらに、本実施の形態では、広帯域ＬＳＰ符号化部１０７ｆの構成要素について、広帯域ＬＳＰ符号化部１０７ｅの構成要素と同様の機能を発揮する構成要素には同一の符号を付して、その説明を省略する。

広帯域ＬＳＰ符号化部１０７ｆは、実施の形態６で示した広帯域ＬＳＰ符号化部１０７ｅにおいて、重み係数算出器２２０１をさらに具備するものである。重み係数算出器２２０１は、「誤り感度に応じた重み付け」をフレーム毎に行うものであり、狭帯域ＬＳＰ符号化部１０３から入力された狭帯域量子化ＬＳＰに基づいて、例えば「Ｒ．Ｓａｌａｍｉ ｅｔ ａｌ，“Ｄｅｓｉｇｎ ａｎｄ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＣＳ−ＡＣＥＬＰ：Ａ Ｔｏｌｌ Ｑｕａｌｉｔｙ ８ ｋｂ／ｓ Ｓｐｅｅｃｈ Ｃｏｄｅｒ，”ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓ．，ｖｏｌ．６，ｎｏ．２，ｐｐ．１１６−１３０，Ｍａｒｃｈ １９９８．」の（９）式や「Ｋ．Ｋ．Ｐａｌｉｗａｌ ａｎｄ Ｂ．Ｓ．Ａｔａｌ，“Ｅｆｆｉｃｉｅｎｔ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ ｏｆ ＬＰＣ Ｐａｒａｍｅｔｅｒｓ ａｔ ２４ Ｂｉｔｓ／Ｆｒａｍｅ，”ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓ．，ｖｏｌ．１，ｎｏ．１，ｐｐ．３−１４，Ｊａｎｕａｒｙ １９９３．」の（９）式に記載された重みを算出し、算出した重みを用いて重み係数符号帳２２３−１用の重み係数を算出する。そして、重み係数算出器２２０１は、フレーム毎に算出した重み係数で重み係数符号帳２２３−１の重み係数符号帳の内容を逐次更新する。また、本実施の形態では、重み係数算出器２２０１は、算出した重みが大きいほど（誤り感度が大きいほど）、広帯域量子化ＬＳＰの予測における固定予測モード成分の比率を高く設定し（例えば固定予測モード成分の比率を５０％以上に設定し）、一方でその重みが小さいほど、量子化性能が良くなるように学習を行う。そして、この学習によって得られる最適構成比（一般に適応予測モード成分の比率が高くなる）に近づくように、重み係数算出器２２０１は、重み係数符号帳２２３−１の内容を更新する。

このように、本実施の形態によれば、重み係数算出器２２０１が現フレームの狭帯域量子化ＬＳＰの誤り感度に基づいて定常モードで選択される重み係数符号帳２２３−１の内容を逐次更新するため、現フレームの広帯域量子化ＬＳＰの予測における固定予測モード成分と適応予測モード成分との比率を最適化することにより、誤り耐性の劣化を抑えつつ量子化性能を最大化することができる。例えば、重み係数算出器２２０１が、広帯域量子化ＬＳＰの予測において固定予測モード成分の比率を１００％とすれば、すなわち狭帯域量子化ＬＳＰに固定変換係数を乗じる増幅器１２６−１に連結された増幅器１２５−１の重みの比率を１００％とし、かつ、増幅器１２５−２の比率を０％とすれば、誤り耐性を改善することができる。一方、重み係数算出器２２０１が、適応予測モード成分の比率を１００％とすれば、誤り耐性が劣化する代わりに量子化性能を改善することができる。また、重み係数算出器２２０１が、固定予測モード成分と適応予測モード成分との比率を例えば５０％、５０％とすれば、適応予測モード成分に由来する量子化性能改善効果が生じ、この効果と共に、固定予測モード成分によって伝送路誤りの影響が広帯域ＬＳＰ符号化部１０７ｆにおける計算回数に応じて希薄化するため、その伝送路誤りの影響を後続フレームに伝播し難くすることができる。

また、本実施の形態によれば、重み係数符号帳２２３−１の内容が重み係数算出器２２０１によってフレーム毎に逐次更新されるため、狭帯域量子化ＬＳＰの誤り感度がフレーム毎に遷移する場合でも、互いにトレードオフの関係にある適応予測モード成分に由来する量子化性能改善効果と固定予測モード成分に由来する誤り耐性劣化抑制効果との調和を適応的に図ることができる。

ちなみに、音声信号の場合には、その高域成分についてＬＳＰパラメータを誤っても主観品質への影響が比較的小さいことから、重み係数算出器２２０１は、その低域成分について固定予測モード成分の比率が高くなるように、一方でその高域成分について適応予測モード成分の比率が高くなるように、重み係数を決定することが好ましい。

なお、本実施の形態では、重み係数乗算器２２０１が狭帯域量子化ＬＳＰの誤り感度に基づいて重み係数符号帳２２３−１用の重み係数を算出する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば重み係数乗算器２２０１がオフラインでの学習データから重み係数符号帳２２３−１用の重み係数を算出するようにしても良い。

以上、本発明の各実施の形態について説明した。

本発明に係るスケーラブル符号化装置およびスケーラブル復号化装置は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。

本発明に係るスケーラブル符号化装置およびスケーラブル復号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することも可能であり、これにより上記と同様の作用効果を有する通信端末装置および基地局装置を提供することができる。

なお、ここでは、ＬＳＰパラメータを符号化／復号化する場合について説明したが、ＩＳＰ（Ｉｍｍｉｔｔａｎｃｅ Ｓｐｅｃｔｒｕｍ Ｐａｉｒｓ）パラメータについても本発明は適用可能である。

また、ＬＳＰの余弦をとったもの、すなわち、ＬＳＰをＬ（ｉ）とした場合のｃｏｓ（Ｌ（ｉ））を特にＬＳＦ（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｆｒｅｑｕｅｎｃｙ）と呼び、ＬＳＰと区別する場合もあるが、本明細書では、ＬＳＦはＬＳＰの一形態であり、ＬＳＰにＬＳＦは含まれるものとしてＬＳＰという用語を用いている。すなわち、ＬＳＰをＬＳＦと読み替えても良い。

また、ここでは、１フレーム前の広帯域／狭帯域の量子化ＬＳＰパラメータの比を現フレームにおける狭帯域−広帯域変換係数としたが、さらに過去のフレームの広帯域／狭帯域の量子化ＬＳＰパラメータの比を時系列的に用いて、現フレームの広帯域／狭帯域の量子化ＬＳＰパラメータの比を予測あるいは外挿的に求め、求められた値を現フレームの狭帯域−広帯域変換係数として用いても良い。

また、ここでは、モードが定常モード／非定常モードの２つのモードからなる場合を例にとって説明したが、モードは３つ以上であっても良い。

また、ここでは、帯域スケーラブル符号化のレイヤが２つである場合、すなわち、狭帯域および広帯域の２つの周波数帯域からなる帯域スケーラブル符号化または帯域スケーラブル復号化を例にとって説明したが、本発明は、３つ以上の周波数帯域（レイヤ）からなる帯域スケーラブル符号化または帯域スケーラブル復号化においても適用できる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。例えば、本発明に係るスケーラブル符号化方法またはスケーラブル復号化方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明のスケーラブル符号化装置またはスケーラブル復号化装置と同様の機能を実現することができる。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されても良い。

また、ここでは、ＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。

本明細書は、２００４年４月２７日出願の特願２００４−１３２１１３および２００４年９月６日出願の特願２００４−２５９０３６に基づく。これらの内容はすべてここに含めておく。

本発明に係るスケーラブル符号化装置、スケーラブル復号化装置、スケーラブル符号化方法、およびスケーラブル復号化方法は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等における通信装置の用途に適用できる。

本発明は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等において、音声通信を行う際に用いられるスケーラブル符号化装置、スケーラブル復号化装置、スケーラブル符号化方法、およびスケーラブル復号化方法に関する。

ＶｏＩＰ（Voice over IP）等のようにパケットを用いた音声通信においては、音声データの符号化にフレーム消失耐性のある符号化方式が望まれている。インターネット通信に代表されるパケット通信においては、輻輳等により伝送路上でパケットが破棄されることがあるからである。

フレーム消失耐性を高める方法の一つとして、伝送情報の一部が消失しても他の一部から復号処理を行うようにすることでフレーム消失の影響をできるだけ少なくするアプローチがある（例えば、特許文献１参照）。特許文献１には、スケーラブル符号化を用いてコアレイヤ符号化情報と拡張レイヤの符号化情報とを別々のパケットに詰めて伝送する方法が開示されている。また、パケット通信のアプリケーションとして、太い回線（ブロードバンド回線）と細い回線（伝送レートの低い回線）とが混在するネットワークを用いたマルチキャスト通信（一対多の通信）が挙げられる。このような不均一なネットワーク上で多地点間通信を行う場合にも、それぞれのネットワークに対応して符号化情報が階層化されていれば、ネットワークごとに異なる符号化情報を送る必要がないため、スケーラブル符号化が有効である。

例えば、音声信号の高能率な符号化を可能とするＣＥＬＰ方式をベースとして、信号帯域幅に、すなわち周波数軸方向にスケーラビリティを有する帯域スケーラブル符号化技術として、特許文献２に開示されている技術がある。特許文献２では、音声信号のスペクトル包絡情報をＬＳＰ（線スペクトル対）パラメータで表現するＣＥＬＰ方式の例が示されている。ここでは、狭帯域音声用の符号化部（コアレイヤ）で得られた量子化ＬＳＰパラメータ（狭帯域符号化ＬＳＰ）を以下の（式１）を用いて広帯域音声符号化用のＬＳＰパラメータに変換し、変換したＬＳＰパラメータを広帯域音声用の符号化部（拡張レイヤ）で用いることにより、帯域スケーラブルなＬＳＰ符号化方法を実現している。
ｆｗ(ｉ)＝０．５×ｆｎ(ｉ) ［ただし、ｉ＝０，…，Ｐ_ｎ−１］
＝０．０ ［ただし、ｉ＝Ｐ_ｎ，…，Ｐ_ｗ−１］ ・・・（式１）
なお、ｆｗ(ｉ)は広帯域信号におけるｉ次のＬＳＰパラメータ、ｆｎ(ｉ)は狭帯域信号におけるｉ次のＬＳＰパラメータ、Ｐ_ｎは狭帯域信号のＬＳＰ分析次数、Ｐ_ｗは広帯域信号のＬＳＰ分析次数をそれぞれ示している。

しかし、特許文献２においては、狭帯域信号としてサンプリング周波数が８ｋＨｚ、広帯域信号としてサンプリング周波数が１６ｋＨｚ、広帯域ＬＳＰ分析次数が狭帯ＬＳＰ分析次数の２倍である場合を例にとって説明しているため、狭帯域ＬＳＰから広帯域ＬＳＰへの変換が（式１）で表されるような単純な式で行われ得る。ところが、広帯域ＬＳＰの低次側のＰ_ｎ次のＬＳＰパラメータの存在する位置は、高次側の（Ｐ_ｗ−Ｐ_ｎ）次を含めた広帯域信号全体に対して決定されるため、必ずしも狭帯域ＬＳＰのＰ_ｎ次のＬＳＰパラメータに対応するわけではない。このため、（式１）で表される変換では高い変換効率（狭帯域ＬＳＰから広帯域ＬＳＰを予測すると見た場合、予測精度と言う事も可能）は得られず、（式１）に基づいて設計された広帯域ＬＳＰ符号化器には、符号化性能を改善する余地が残されている。

例えば、非特許文献１には、（式１）のｉ次の狭帯域ＬＳＰパラメータに乗じる変換係数を０．５とする代わりに、以下の（式２）に示すように、変換係数の最適化アルゴリズムを用いて次数毎に最適な変換係数β(ｉ)を求める方法が開示されている。
ｆｗ_ｎ（ｉ）＝α（ｉ）×Ｌ（ｉ）＋β（ｉ）×ｆｎ_ｎ（ｉ） ・・・（式２）
ただし、ｆｗ_ｎ（ｉ）は第ｎフレームにおけるｉ次の広帯域量子化ＬＳＰパラメータ、α（ｉ）×Ｌ（ｉ）は予測誤差信号を量子化したベクトルのｉ次の要素（α（ｉ）はｉ次の重み係数）、Ｌ（ｉ）はＬＳＰ予測残差ベクトル、β（ｉ）は予測広帯域ＬＳＰへの重み係数、ｆｎ_ｎ（ｉ）は第ｎフレームにおける狭帯域ＬＳＰパラメータである。このような変換係数の最適化により、特許文献２と同じ構成のＬＳＰ符号化器でありながら、より高い符号化性能を実現している。
特開２００３−２４１７９９号公報 特開平１１−３０９９７号公報 K. Koishida et al, "Enhancing MPEG-4 CELP by jointly optimized inter/intra-frame LSP predictors," IEEE Speech Coding Workshop 2000, Proceeding, pp.90-92, 2000

しかしながら、広帯域ＬＳＰの低次側のＰ_ｎ次のＬＳＰパラメータの位置は広帯域信号全体に対して決定されるため、個々のＬＳＰパラメータ（分析フレームごとのＬＳＰパラメータ）について着目すれば、時間経過に伴い（フレームによって）最適な変換係数β(ｉ)の値は変化する。よって、特許文献２に開示された技術には以下の問題がある。

図１は、広帯域信号に帯域制限をかけた信号、すなわち広帯域信号を一旦ダウンサンプルしてからアップサンプルして元のサンプリング周波数に戻したものを、Ｐ_ｗ＝１８でＬＳＰ分析して得られる狭帯域のＬＳＰパラメータの例を示した図である。

また、図２は、図１に示した狭帯域ＬＳＰパラメータに対応する広帯域信号を、Ｐ_ｗ＝１８でＬＳＰ分析して得られる広帯域のＬＳＰパラメータの例を示した図である。これらの図において、横軸は時間（分析フレーム番号）であり、縦軸は正規化周波数（１．０をナイキスト周波数とし、図の例では８ｋＨｚ）である。

これらの図に示されるように、信号の周波数帯域が異なる以外は条件を全て同じにして得られるＬＳＰパラメータ、すなわち同じサンプリング周波数（１６ｋＨｚ）で同じ分析次数のＬＳＰ分析を行って得られるＬＳＰパラメータでも、狭帯域に帯域制限された信号から得られる低次側の（Ｐ_ｗ／２）次のＬＳＰパラメータと、広帯域信号から得られる低次側の（Ｐ_ｗ／２）次のＬＳＰパラメータとの対応関係が時間的に変化していることが分かる。この変化は、狭帯域信号には含まれず、広帯域信号に含まれる周波数成分（主として高域成分）の違いによって生ずるものである。

図３は、図１および図２に示したＬＳＰデータを用いて、次数毎に求めた狭帯域ＬＳＰを広帯域ＬＳＰに変換する場合の理想的な変換係数を示した図である。ここで、変換係数は、広帯域ＬＳＰを狭帯域ＬＳＰで除した値であり、横軸は時間（分析フレーム番号）であり、次数が、０次、４次、８次の場合を例にとって示している。

この図からも明らかなように、理想的な変換係数の値は時間的に変動している。すなわち、狭帯域ＬＳＰを広帯域ＬＳＰに変換する際の変換係数、別の表現をするならば、狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の変換係数の理想値は時間的に変動するので、非特許文献１に示される設計手法によって得られる変換係数を用いても、変換係数が固定値
であれば、時間的に変動する理想的な変換係数を正確に表すことはできない。

なお、ここでは、ＬＳＰ分析の条件を揃えるために、サンプリング周波数および分析次数が同じで信号の帯域だけが異なる場合を例にとって示したが、ダウンサンプルした信号を用いて広帯域ＬＳＰよりも低い次数でＬＳＰ分析を行った場合においても同様のことが言える。このことは、この分野の技術者であれば容易に理解できることである。ただし、ＬＳＰ分析の条件が異なることとなるため、狭帯域ＬＳＰと広帯域ＬＳＰとの対応関係は上記の例よりも悪くなる。

よって、本発明の目的は、狭帯域ＬＳＰから広帯域ＬＳＰへの変換性能、すなわち狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測精度を高め、高性能な帯域スケーラブルＬＳＰ符号化を実現することができるスケーラブル符号化装置、スケーラブル復号化装置、スケーラブル符号化方法、およびスケーラブル復号化方法を提供することである。

本発明のスケーラブル符号化装置は、入力信号から、周波数軸方向にスケーラビリティを有する狭帯域および広帯域の量子化ＬＳＰパラメータを生成するスケーラブル符号化装置であって、狭帯域の入力信号のＬＳＰパラメータを符号化して、狭帯域の第１の量子化ＬＳＰパラメータを生成する狭帯域符号化手段と、前記第１の量子化ＬＳＰパラメータの周波数帯域を広帯域に変換する変換手段と、広帯域に変換後の前記第１の量子化ＬＳＰパラメータを用いて広帯域の入力信号のＬＳＰパラメータの符号化を行い、広帯域の第２の量子化ＬＳＰパラメータを生成する広帯域符号化手段と、過去に生成された前記第１および第２の量子化ＬＳＰパラメータ間の関係に基づいて、前記変換手段で使用される変換係数を算出する算出手段と、を具備する構成を採る。

本発明によれば、狭帯域ＬＳＰから広帯域ＬＳＰへの変換性能を高め、高性能な帯域スケーラブルＬＳＰ符号化を実現することができる。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

（実施の形態１）
図４は、本発明の実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図である。

本実施の形態に係るスケーラブル符号化装置は、ダウンサンプル部１０１、ＬＳＰ分析部（狭帯域用）１０２、狭帯域ＬＳＰ符号化部１０３、音源符号化部（狭帯域用）１０４、位相補正部１０５、ＬＳＰ分析部（広帯域用）１０６、広帯域ＬＳＰ符号化部１０７、音源符号化部（広帯域用）１０８、変換係数算出部１０９、アップサンプル部１１０、加算器１１１、および多重化部１１２を備える。

本実施の形態に係るスケーラブル符号化装置の各部は以下の動作を行う。

ダウンサンプル部１０１は、入力音声信号に対しダウンサンプリング処理を行って狭帯域信号をＬＳＰ分析部（狭帯域用）１０２および音源符号化部（狭帯域用）１０４に出力する。なお、入力音声信号は、デジタル化された信号であり、必要に応じてＨＰＦや背景雑音抑圧処理等の前処理が施されている。

ＬＳＰ分析部（狭帯域用）１０２は、ダウンサンプル部１０１から入力された狭帯域信号に対してＬＳＰ（線スペクトル対）パラメータを算出し、狭帯域ＬＳＰ符号化部１０３へ出力する。

狭帯域ＬＳＰ符号化部１０３は、ＬＳＰ分析部（狭帯域用）１０２から入力された狭帯域ＬＳＰパラメータを符号化し、量子化された狭帯域ＬＳＰパラメータを広帯域ＬＳＰ符号化部１０７、変換係数算出部１０９、および音源符号化部（狭帯域用）１０４へ出力する。また、狭帯域ＬＳＰ符号化部１０３は、符号化データを多重化部１１２へ出力する。

音源符号化部（狭帯域用）１０４は、狭帯域ＬＳＰ符号化部１０３から入力された、量子化された狭帯域ＬＳＰパラメータを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。音源符号化部１０４は、この線形予測合成フィルタを用いて合成される合成信号と別途ダウンサンプル部１０１から入力された狭帯域入力信号との間の聴覚的重みづき誤差を求め、この聴覚的重みづき誤差を最小とする音源パラメータの符号化を行う。得られた符号化情報は多重化部１１２へ出力される。また、音源符号化部１０４は、狭帯域復号音声信号を生成してアップサンプル部１１０へ出力する。

なお、狭帯域ＬＳＰ符号化部１０３または音源符号化部（狭帯域用）１０４については、ＬＳＰパラメータを利用するＣＥＬＰ型音声符号化装置で一般的に用いられている回路を適用でき、例えば、特許文献２またはＩＴＵ−Ｔ勧告Ｇ．７２９等に記載されている技術を利用できる。

アップサンプル部１１０は、音源符号化部１０４で合成された狭帯域復号音声信号が入力され、アップサンプル処理を施し加算器１１１へ出力する。

加算器１１１は、位相補正部１０５から位相補正後の入力信号、アップサンプル部１１０からアップサンプルされた狭帯域復号音声信号、がそれぞれ入力され、両信号の差分信
号を求めて音源符号化部（広帯域用）１０８へ出力する。

位相補正部１０５は、ダウンサンプル部１０１およびアップサンプル部１１０で生じる位相のずれ（遅延）を補正するためのものであり、ダウンサンプル処理およびアップサンプル処理が直線位相低域通過フィルタとサンプル間引き／零点挿入によって行なわれる場合は、直線位相低域通過フィルタによって生じる遅延の分だけ入力信号を遅延させる処理を行い、ＬＳＰ分析部（広帯域用）１０６および加算器１１１に出力する。

ＬＳＰ分析部（広帯域用）１０６は、位相補正部１０５から出力される広帯域信号を入力して公知のＬＳＰ分析を行い得られた広帯域ＬＳＰパラメータを広帯域ＬＳＰ符号化部１０７へ出力する。

変換係数算出部１０９は、狭帯域ＬＳＰ符号化部１０３から過去に出力された狭帯域の量子化ＬＳＰと、広帯域ＬＳＰ符号化部１０７から過去に出力された広帯域の量子化ＬＳＰと、を用いて変換係数を求めて広帯域ＬＳＰ符号化部１０７へ出力する。

広帯域ＬＳＰ符号化部１０７は、狭帯域ＬＳＰ符号化部１０３から入力される狭帯域の量子化ＬＳＰに、変換係数算出部１０９から入力される変換係数を乗じて広帯域ＬＳＰに変換し、この広帯域ＬＳＰに重み係数を乗じて予測広帯域ＬＳＰを求める。そして、ＬＳＰ分析部（広帯域用）１０６から入力された広帯域ＬＳＰと求まった予測広帯域ＬＳＰとの誤差信号を、ベクトル量子化などの手法を用いて符号化し、得られる広帯域の量子化ＬＳＰを音源符号化部（広帯域用）１０８へ出力する。ここで、量子化ＬＳＰは、以下の（式３）のように表される。
ｆｗ_ｎ（ｉ）＝α（ｉ）×Ｌ（ｉ）＋β（ｉ）×
｛ｆｗ_ｎ−１（ｉ）／ｆｎ_ｎ−１（ｉ）｝×ｆｎ_ｎ（ｉ） ・・・（式３）
ただし、ｆｗ_ｎ（ｉ）は第ｎフレームにおけるｉ次の広帯域量子化ＬＳＰパラメータ、α（ｉ）×Ｌ（ｉ）は予測誤差信号を量子化したベクトルのｉ次の要素（α（ｉ）はｉ次の重み係数）、Ｌ（ｉ）はＬＳＰ予測残差ベクトル、β（ｉ）は予測広帯域ＬＳＰへの重み係数、ｆｗ_ｎ−１（ｉ）は第（ｎ−１）フレームにおける広帯域量子化ＬＳＰパラメータ、ｆｎ_ｎ−１（ｉ）は第（ｎ−１）フレームにおける狭帯域量子化ＬＳＰパラメータ、ｆｎ_ｎ（ｉ）は第ｎフレームにおける狭帯域ＬＳＰパラメータである。

一方、広帯域ＬＳＰ符号化部１０７は、得られる符号情報を多重化部１１２へ出力する。なお、上記のＬＳＰ予測残差ベクトルに乗じる重み係数α（ｉ）は、１．０の固定値としても良いし、別途学習によって得られた定数でもよいし、別途学習によって得られた複数の係数をコードブックとして備えてその中から一つを選ぶようにしても良い。

音源符号化部（広帯域用）１０８は、広帯域ＬＳＰ符号化部１０７から入力された、量子化された広帯域ＬＳＰパラメータを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。そして、この線形予測合成フィルタを用いて合成される合成信号と位相補正された入力信号との間の聴覚的重みづき誤差を求め、この聴覚的重みづき誤差を最小とする音源パラメータを決定する。より詳細には、音源符号化部１０８には、広帯域入力信号とアップサンプル後の狭帯域復号信号との誤差信号が別途加算器１１１より入力され、この誤差信号と音源符号化部１０８で生成される復号信号との間の誤差が求められ、この誤差に聴覚的重みづけが施されたものが最小となるように音源パラメータが決定される。求まった音源パラメータの符号情報は、多重化部１１２へ出力される。この音源符号化については、例えば、「K. Koishida et al, “A 16-kbit/s bandwidth scalable audio coder based on the G.729 standard,” IEEE Proc. ICASSP 2000,
pp.1149-1152, 2000」に開示されている。

多重化部１１２には、狭帯域ＬＳＰ符号化部１０３から狭帯域ＬＳＰの符号化情報が、音源符号化部（狭帯域用）１０４からは狭帯域信号の音源符号化情報が、広帯域ＬＳＰ符号化部１０７からは広帯域ＬＳＰの符号化情報が、そして、音源符号化部（広帯域用）１０８からは広帯域信号の音源符号化情報が入力される。多重化部１１２は、これらの情報を多重化してビットストリームとして伝送路に送出する。なお、ビットストリームは、伝送路の仕様に応じて、伝送チャネルフレームにフレーム化されたり、パケット化されたりする。また、伝送路誤りに対する耐性を高めるために、誤り保護や誤り検出符号を付加したり、インタリーブ処理等を適用したりする。

図５は、上記の広帯域ＬＳＰ符号化部１０７内部の主要な構成を示すブロック図である。

この広帯域ＬＳＰ符号化部１０７は、誤差最小化部１２１、ＬＳＰ符号帳１２２、重み係数符号帳１２３、増幅器１２４〜１２６、および加算器１２７、１２８を備える。

加算器１２７は、ＬＳＰ分析部１０６から入力された、量子化ターゲットとなるＬＳＰパラメータと、加算器１２８から入力される量子化ＬＳＰパラメータ候補と、の誤差を計算し、求まった誤差を誤差最小化部１２１へ出力する。なお、この誤差計算は、入力されたＬＳＰベクトル間の二乗誤差で良い。また、入力されたＬＳＰベクトルの特徴に応じて重み付けを行なうようにすれば、さらに聴感上の品質を良くすることができる。例えば、ＩＴＵ−Ｔ勧告Ｇ．７２９では、３．２．４章（Quantization of the LSP coefficients）の(21)式の重み付け二乗誤差（重み付けユークリッド距離）を用いて誤差最小化を行なう。

誤差最小化部１２１は、加算器１２７から出力される誤差を最小とするＬＳＰベクトルおよび重み係数ベクトルを、ＬＳＰ符号帳１２２および重み係数符号帳１２３のそれぞれの中から選択し、対応するインデックスを符号化し、多重化部１１２に出力する（Ｓ１１）。

ＬＳＰ符号帳１２２は、格納しているＬＳＰベクトルを増幅器１２４へ出力する。ここで、ＬＳＰ符号帳１２２が格納しているＬＳＰベクトルは、増幅器１２５から出力される狭帯域量子化ＬＳＰに基づいて予測された広帯域ＬＳＰの（ＬＳＰ分析部１０６から入力される広帯域ＬＳＰに対する）予測残差ベクトルである。

重み係数符号帳１２３は、格納している重み係数セットの中から１セットを選び、選択された重み係数セットの中から増幅器１２４用の係数と増幅器１２５用の係数とを増幅器１２４および１２５に出力する。なお、この重み係数セットは、増幅器１２４および１２５のそれぞれに対してＬＳＰの次数毎に用意された重み係数からなる。

増幅器１２４は、ＬＳＰ符号帳１２２から入力されたＬＳＰベクトルに、重み係数符号帳１２３から出力された増幅器１２４用の重み係数を乗じて加算器１２８へ出力する。

増幅器１２５は、増幅器１２６から入力される広帯域ＬＳＰのベクトル、すなわち、量子化後の狭帯域ＬＳＰを変換して得られる広帯域ＬＳＰのベクトルに、重み係数符号帳１２３から出力される増幅器１２５用の重み係数を乗じて加算器１２８へ出力する。

加算器１２８は、増幅器１２４と増幅器１２５とから出力されたＬＳＰベクトルの和を計算し、加算器１２７へ出力する。また、誤差最小化部１２１で誤差が最小になると判断されたＬＳＰベクトルの和が広帯域の量子化ＬＳＰパラメータとして音源符号化部１０８および変換係数算出部１０９に出力される。なお、広帯域の量子化ＬＳＰパラメータとし
て出力されるＬＳＰパラメータが安定条件（第ｎ次のＬＳＰは第０次〜第（ｎ−１）次のいずれのＬＳＰより大きい場合、すなわち、ＬＳＰは次数の順番に値が大きくなる）を満たしていない場合は、加算器１２８は、ＬＳＰの安定条件を満たすように操作を加える。なお、隣接する量子化ＬＳＰの間隔が所定の間隔より狭い場合も、所定の間隔以上になるように操作するのが一般的である。

増幅器１２６は、狭帯域ＬＳＰ符号化部１０３から入力されたＬＳＰパラメータに、変換係数算出部１０９から入力された係数を乗じて、増幅器１２５へ出力する。なお、狭帯域ＬＳＰ符号化部１０３から増幅器１２６に入力されるＬＳＰパラメータは、狭帯域ＬＳＰ符号化部１０３の量子化結果そのままでも良いが、アップサンプルして広帯域信号のサンプリング周波数に合わせると共に、広帯域ＬＳＰの次数に合わせると尚良い。このアップサンプルの方法としては、狭帯域ＬＳＰから得られるＬＰＣ合成フィルタのインパルス応答をアップサンプルし、アップサンプルしたインパルス応答から自己相関を求め（例えば、特許文献２参照）、求めた自己相関係数を周知の方法によって所望の次数のＬＳＰに変換する方法等が挙げられるが、これに限定されるものではない。

図６は、図４に示した変換係数算出部１０９内部の主要な構成を示すブロック図である。

この変換係数算出部１０９は、遅延器１３１、１３２、除算器１３３、リミッタ１３４、および平滑化部１３５を備える。

遅延器１３１は、狭帯域ＬＳＰ符号化部１０３から入力された狭帯域ＬＳＰパラメータを１処理単位時間（ＬＳＰパラメータの更新周期）だけ遅延させ、除算器１３３へ出力する。なお、前述したように、狭帯域ＬＳＰ符号化部１０３から入力される狭帯域ＬＳＰは、パラメータ狭帯域ＬＳＰそのままでも良いが、アップサンプルして次数を揃えると尚良い。

遅延器１３２は、広帯域ＬＳＰ符号化部１０７から入力された広帯域ＬＳＰパラメータを１処理単位時間（ＬＳＰパラメータの更新周期）だけ遅延させ、除算器１３３へ出力する。

除算器１３３は、遅延器１３２から入力された１処理単位時間前に量子化された広帯域ＬＳＰパラメータを、遅延器１３１から入力された１処理単位時間前に量子化された狭帯域ＬＳＰパラメータで除算し、除算結果をリミッタ１３４に出力する。遅延器１３１から出力される狭帯域ＬＳＰパラメータの次数と遅延器１３２から出力される広帯域ＬＳＰパラメータの次数とが異なる場合は、少ない方の次数（通常、狭帯域ＬＳＰパラメータの次数）分だけ除算を行い、出力する。

リミッタ１３４は、除算器１３３から入力された除算結果を、予め設定した上限値と下限値とでクリッピング（上限値を超えたらこの上限値に設定し直し、下限値を下回ったらこの下限値に設定し直す処理）し、平滑化部１３５へ出力する。なお、上限値および下限値は、全次数で同一のものであっても良いが、次数毎に最適なものを設定すると尚良い。

平滑化部１３５は、リミッタ１３４から入力されたクリッピング後の除算結果を時間的に平滑化して、変換係数として広帯域ＬＳＰ符号化部１０７へ出力する。この平滑化処理は、例えば、以下の（式４）を用いることにより実現できる。
Ｘ_ｎ(ｉ) ＝ Ｋ×Ｘ_ｎ−１(ｉ) ＋（１−Ｋ）× γ(ｉ) ・・・（式４）
ここで、Ｘ_ｎ(ｉ)は、第ｎ番目の処理単位時間におけるｉ次の狭帯域ＬＳＰパラメータに適用される変換係数であり、Ｋは、平滑化係数で０≦Ｋ＜１の値を採り、γ(ｉ）は、
リミッタ１３４から出力されるｉ次のＬＳＰパラメータに対する除算結果である。

以上、本実施の形態に係るスケーラブル符号化装置について詳細に説明した。

図７は、上記のスケーラブル符号化装置で符号化された符号化情報を復号化するスケーラブル復号化装置の主要な構成を示すブロック図である。

このスケーラブル復号化装置は、多重分離部１５１、音源復号化部（狭帯域用）１５２、狭帯域ＬＳＰ復号化部１５３、音源復号化部（広帯域用）１５４、変換係数算出部１５５、広帯域ＬＳＰ復号化部１５６、音声合成部（狭帯域用）１５７、音声合成部（広帯域用）１５８、アップサンプル部１５９、および加算器１６０を備える。

多重分離部１５１は、上記のスケーラブル符号化装置で符号化された符号化情報を受け取り、各パラメータの符号化情報に分離し、狭帯域音源符号化情報を音源復号化部（狭帯域用）１５２に、狭帯域ＬＳＰ符号化情報を狭帯域ＬＳＰ復号化部１５３に、広帯域音源符号化情報を音源復号化部（広帯域用）１５４に、広帯域ＬＳＰ符号化情報を広帯域ＬＳＰ復号化部１５６に、それぞれ出力する。

音源復号化部（狭帯域用）１５２は、多重分離部１５１から入力された狭帯域音源信号の符号化情報を、上記のスケーラブル符号化装置の音源符号化部（狭帯域用）１０４で行われた処理と逆の処理を用いて復号し、量子化された狭帯域音源信号を音声合成部（狭帯域用）１５７へ出力する。

狭帯域ＬＳＰ復号化部１５３は、多重分離部１５１から入力された狭帯域ＬＳＰの符号化情報を、上記のスケーラブル符号化装置の狭帯域ＬＳＰ符号化部１０３で行われた処理と逆の処理によって復号し、得られた狭帯域の量子化ＬＳＰを音声合成部（狭帯域用）１５７、変換係数算出部１５５、および広帯域ＬＳＰ復号化部１５６へ出力する。

音声合成部（狭帯域用）１５７は、狭帯域ＬＳＰ復号化部１５３から入力された、量子化された狭帯域ＬＳＰパラメータを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。音声合成部（狭帯域用）１５７は、この線形予測合成フィルタを音源復号化部（狭帯域用）１５２から入力される狭帯域の量子化音源信号で駆動して復号音声信号を合成し、狭帯域復号音声信号として出力する。この狭帯域復号音声信号は、広帯域復号音声信号を得るためにアップサンプル部１５９へ出力される。なお、この狭帯域復号音声信号は、そのまま最終出力として用いられても良い。狭帯域復号音声信号をそのまま最終出力とする場合は、ポストフィルタなど主観的な品質を改善するための後処理を行なってから出力するのが一般的である。

アップサンプル部１５９は、音声合成部（狭帯域用）１５７から入力された狭帯域音声信号のアップサンプル処理を行って加算器１６０へ出力する。

音源復号化部（広帯域用）１５４は、多重分離部１５１から入力された広帯域音源信号の符号化情報を、上記のスケーラブル符号化装置の音源符号化部（広帯域用）１０８で行われた処理と逆の処理によって復号し、得られた広帯域量子化音源信号を音声合成部（広帯域用）１５８へ出力する。

変換係数算出部１５５は、狭帯域ＬＳＰ復号化部１５３から過去に入力された狭帯域の量子化ＬＳＰと、広帯域ＬＳＰ復号化部１５６から過去に入力された広帯域の量子化ＬＳＰと、を用いて変換係数を求めて広帯域ＬＳＰ復号化部１５６へ出力する。

広帯域ＬＳＰ復号化部１５６は、狭帯域ＬＳＰ復号化部１５３から入力される狭帯域の量子化ＬＳＰに、変換係数算出部１５５から入力される変換係数を乗じて広帯域ＬＳＰに変換し、この広帯域ＬＳＰに重み係数を乗じて予測広帯域ＬＳＰを求める。なお、この重み係数は、上記のスケーラブル符号化装置の広帯域ＬＳＰ符号化部１０７で使用される重み係数と同じ値を用いる。また、広帯域ＬＳＰ復号化部１５６は、多重分離部１５１から入力された広帯域ＬＳＰ符号化情報から、量子化された広帯域ＬＳＰ予測残差（符号化側の入力広帯域ＬＳＰと前記の予測広帯域ＬＳＰとの誤差）を復号する。そして、広帯域ＬＳＰ復号化部１５６は、この量子化された広帯域ＬＳＰ予測残差と上記において既に求まっている予測広帯域ＬＳＰとを加算し、広帯域の量子化ＬＳＰを復号する。得られた広帯域の量子化ＬＳＰパラメータは、音声合成部（広帯域用）１５８および変換係数算出部１５５に出力される。

音声合成部（広帯域用）１５８は、広帯域ＬＳＰ復号化部１５６から入力された量子化された広帯域ＬＳＰパラメータを線形予測係数に変換し、得られた線形予測係数を用いて線形予測合成フィルタを構築する。音声合成部（広帯域用）１５８は、この線形予測合成フィルタを音源復号化部（広帯域用）１５４から入力される広帯域の量子化音源信号で駆動して広帯域復号音声信号（主として高域成分）を合成し、加算器１６０へ出力する。

加算器１６０は、アップサンプル部１５９から入力されるアップサンプル後の狭帯域復号音声信号と、音声合成部（広帯域用）１５８から入力される広帯域復号音声信号（主として高域成分）と、を加算し、最終的な広帯域復号音声信号を出力する。

図８は、上記の広帯域ＬＳＰ復号化部１５６内部の主要な構成を示すブロック図である。

この広帯域ＬＳＰ復号化部１５６は、インデックス復号部１６１、ＬＳＰ符号帳１６２、重み係数符号帳１６３、増幅器１６４〜１６６、および加算器１６７を備える。

インデックス復号部１６１は、多重分離部１５１から広帯域ＬＳＰの符号化情報を取得し、ＬＳＰ符号帳１６２用と重み係数符号帳１６３用のインデックス情報を復号し、各インデックス情報をそれぞれの符号帳に出力する。

ＬＳＰ符号帳１６２は、インデックス復号部１６１からＬＳＰ符号帳インデックスを取得し、このインデックスで指定されるＬＳＰベクトルを符号帳から取り出し、増幅器１６４に出力する。なお、符号帳がスプリット型や他段構成になっている場合は、複数のサブコードブックから指定されたベクトルを取り出してＬＳＰベクトルを生成する。

重み係数符号帳１６３は、インデックス復号部１６１から重み係数符号帳インデックスを取得し、このインデックスで指定される重み係数セットを符号帳から取り出し、取り出した係数セットから、増幅器１６４用（ＬＳＰ符号帳用）の係数サブセット（ＬＳＰベクトルの各次数に乗じる係数からなる）を増幅器１６４に、増幅器１６５用（狭帯域ＬＳＰ用）の係数サブセット（予測広帯域ＬＳＰベクトルの各次数に乗じる係数からなる）を増幅器１６５に、それぞれ出力する。

増幅器１６４は、ＬＳＰ符号帳１６２から入力されたＬＳＰベクトルに、重み係数符号帳１６３から入力された増幅器１６４用の重み係数を乗じて加算器１６７へ出力する。

増幅器１６５は、増幅器１６６から入力される、量子化された狭帯域ＬＳＰから変換された広帯域ＬＳＰのベクトルに、重み係数符号帳１６３から入力された増幅器１６５用の重み係数を乗じて加算器１６７へ出力する。

加算器１６７は、増幅器１６４および増幅器１６５から入力されたＬＳＰベクトルの和を計算し、量子化（復号）広帯域ＬＳＰパラメータとして音声合成部（広帯域用）１５８および変換係数算出部１５５へ出力する。なお、広帯域の量子化ＬＳＰパラメータとして出力されるＬＳＰパラメータが、安定条件を満たしていない場合、すなわち、第ｎ次のＬＳＰが第０次〜第（ｎ−１）次のいずれかのＬＳＰよりも小さい場合（ＬＳＰが次数の順に値が大きくなっていない場合）は、ＬＳＰの安定条件を満たすように操作を加える。なお、隣接する量子化ＬＳＰの間隔が所定の間隔よりも狭い場合も所定の間隔以上になるように操作する。

なお、図７に示した変換係数算出部１５５の内部構成は、図６に示した変換係数算出部１０９と基本的に同様である。よって詳細な説明は省略するが、この変換係数算出部１５５内の遅延器１３１への入力は狭帯域ＬＳＰ復号化部１５３から、遅延器１３２への入力は広帯域ＬＳＰ復号化部１５６から、平滑化部１３５の出力は広帯域ＬＳＰ復号化部１５６へとされる点は、図６に示した変換係数算出部１０９と異なる。

以上、本実施の形態に係るスケーラブル復号化装置について詳細に説明した。

このように、本実施の形態によれば、変換係数算出部１０９は、過去のフレーム（例えば、直前のフレーム等）において符号化された狭帯域および広帯域の量子化ＬＳＰパラメータを用いて、過去のフレームにおける理想的な変換係数の近似値を求め、この近似値に基づいて現フレームにおける狭帯域の量子化ＬＳＰから広帯域ＬＳＰへの変換係数を決定する。具体的には、理想的な変換係数の近似値は、過去のフレームの広帯域の量子化ＬＳＰを同じフレームの狭帯域の量子化ＬＳＰで除算することによって求められる。換言すると、狭帯域ＬＳＰパラメータから広帯域ＬＳＰパラメータに変換係数Ｘ_ｎ(ｉ)を乗じて推定する際、過去の狭帯域ＬＳＰパラメータと広帯域ＬＳＰパラメータとの関係を利用して適応的にフレームごとに変換係数を決定する。よって、変換係数は、時間経過と共に変化する。この構成を採ることにより、狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測精度を高めることができる。

また、以上の構成において、上記の変換係数は、過去のフレームにおける狭帯域および広帯域の量子化ＬＳＰパラメータのみから算出可能であるので、例えば、復号化側において符号化側から情報を別途取得する必要がない。すなわち、通信の伝送レートを増加させることなしに広帯域ＬＳＰパラメータの符号化性能を改善することができる。

また、以上の構成において、上記の変換係数は、過去のフレームにおける狭帯域および広帯域のＬＳＰパラメータから所定の演算によって直接求めることができるので、予め複数の変換係数のセットをデータテーブル等に保持しておく必要がない。

また、以上の構成において、変換係数算出部１０９内のリミッタ１３４は、算出された変換係数が極端な値とならないように、変換係数に、例えば、平均値の上下１０％程度内に収まるような制限を加える。例えば、音声モードが、有声モードから無声モードへ、または無声モードから有声モードへ切り替わる等の場合には、ＬＳＰパラメータが大きく変動するため、算出される変換係数も変動して妥当な値とはならないことがある。変換係数が短時間のうちに大きく変動する場合は、前フレームの広帯域／狭帯域のＬＳＰ比を用いた予測が効かなくなり、むしろ誤差を大きくする方向に働く。するとＬＳＰ符号帳の方でそのように大きくなった誤差を修正しようとすることになるが、そのように誤差の大きいベクトルを符号帳に備えることは、予測誤差が小さい場合の誤差を増大させることになる。つまり、変換係数とＬＳＰ符号帳との間の関係が一種の発振状態に陥るので、このようにならぬ様、両者のバランスをうまくとれるような構成にする必要がある。

そこで、本実施の形態では、まず、全てのフレームに対し上記の演算式に従って変換係数を求めるが、変換係数には上限および下限を設けておいて、算出された変換係数がこの範囲内に入っていない場合には変換係数をこの範囲内に収める修正を行う。これにより、変換に実際に使用される変換係数を一定範囲内の値とすることができるので、変換係数の定常性（もしくは準定常性）が保証され、発振状態になることがなくなる。これにより、変換係数による予測能力が制限され、予測誤差が大きくなることもあるが、変換係数を固定値とする場合の「固定値」の近傍に範囲限定すれば、予測誤差が変換係数を固定値とする場合を大きく上回るようなことはなく、変換係数を固定値とする場合と同様にＬＳＰ符号帳側で対応することが可能である。変換係数の近似値は、直前フレームの広帯域量子化ＬＳＰを直前フレームの狭帯域の量子化ＬＳＰで除算することによって求められ、現フレームで用いられる変換係数は、近似値を平均的な変換係数の近傍（例えば前後１０％程度の範囲または変換係数の標準偏差程度の範囲）に限定することによって得られる。

また、以上の構成において、上記の変換係数は、時間的に緩やかに変動するように分析フレーム間で（前後のフレーム間で）平滑化処理が施される。このため、変換係数は、ＬＳＰパラメータの変動に対し緩やかに推移し、伝送路誤りに対して過剰にセンシティブとなることを防止できる。また、変換係数の値が安定するため、対応するＬＳＰコードベクトル符号帳の設計が容易となる。量子化ＬＳＰの予測値は、変換係数とＬＳＰコードベクトルとの積で表されているため、一方のパラメータが暴れると他方のパラメータも暴れ、お互いの関係が発散状態（前述した発振状態）に陥り、性能の良い符号帳を設計できなくなるためである。上記の構成とすることで、例えばＳＤ性能を０．０５ｄＢ改善することができる。なお、この改善幅は、量子化ビット数やフレーム長によって変わってくる。

なお、本実施の形態では、ＭＡ予測型ＬＳＰ符号化器を使用しない例を示したが、ＭＡ予測器を用いた場合にも本発明は適用可能である。かかる場合、ＭＡ予測係数は重み係数符号帳１６３に格納され、重み係数ベクトルの次元数がＭＡ予測次数の分だけ増えることになる。

また、本実施の形態では、変換係数算出部１０９が、リミッタ１３４および平滑化部１３５の双方を備える場合を例にとって説明したが、これらは一方のみを備えるような構成であっても良い。

（実施の形態２）
実施の形態１では、算出される変換係数が大きく変動する場合に、変換係数を一定範囲内に収める修正を行うことにより、狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測が安定して行なわれるようにした。本実施の形態では、量子化ＬＳＰパラメータに着目し、この量子化ＬＳＰパラメータの変化を観測することにより、ＬＳＰパラメータが変動しているかいないかを判断し、変換に使用する変換係数を切り替える。

具体的には、符号化側の狭帯域ＬＳＰ符号化部または復号化側の狭帯域ＬＳＰ復号化部で得られる狭帯域の量子化ＬＳＰパラメータに着目し、この狭帯域の量子化ＬＳＰパラメータが変動していない場合には定常モードと、狭帯域の量子化ＬＳＰパラメータが変動している場合には非定常モードと判定し、このモードの判定結果に従い、ＬＳＰ符号帳と重み係数符号帳とを切り替えて使用する。すなわち、定常モードでは、変換係数をフレームごとに上記の演算式（式２）に従って算出することにより適応的な制御を行い、一方、非定常モードでは、上記の（式３）を用いて、変換係数を固定値または準固定値に設定する。ここで準固定値とは、予め複数の変換係数を設定しておいて、音声信号の符号化結果（音質）に応じて変換係数を切り替えることを意味している。すなわち、固定値の変換係数セットを複数種類持っていて、量子化時に最適なものを１つ選んで使用する。

以下、本実施の形態について、添付図面を参照して具体的に説明する。

本発明の実施の形態２に係るスケーラブル符号化装置の基本的構成は、実施の形態１に係るスケーラブル符号化装置と同様である。よって、本実施の形態に係るスケーラブル符号化装置の詳細な説明は省略し、異なる構成である変換係数算出部１０９ａおよび広帯域ＬＳＰ符号化部１０７ａについて以下詳細に説明する。なお、同一の構成要素には同一の符号を付し、その説明を省略する。

図９は、変換係数算出部１０９ａ内部の主要な構成を示すブロック図である。

この変換係数算出部１０９ａは、リミッタ１３４の代わりに、モード判定部２０１、係数テーブル２０２、および切り替えスイッチ２０３を備える。変換係数算出部１０９ａは、算出した変換係数と係数テーブルに予め保存してある変換係数とを、モード判定部２０１のモード判定結果によって切り替えて使用する。

モード判定部２０１は、狭帯域ＬＳＰ符号化部１０３から入力された狭帯域の量子化ＬＳＰと、遅延器１３１の出力である１処理単位時間だけ前に量子化された狭帯域ＬＳＰとの距離（変化量）を計算し、計算した距離に基づいて、定常モードか非定常モードかを判定する。例えば、計算した距離が予め設定した閾値以下である場合は定常モード、閾値を越えた場合は非定常モードと判定する。判定結果は、広帯域ＬＳＰ符号化部１０７ａおよび切り替えスイッチ２０３に出力される。なお、計算した距離は、そのまま閾値判定に用いても、フレーム間で平滑化してから閾値判定に用いても良い。

切り替えスイッチ２０３は、モード判定部２０１の判定結果が定常モードであった場合、平滑化部１３５から出力される変換係数を広帯域ＬＳＰ符号化部１０７ａに出力し、一方、モード判定部２０１の判定結果が非定常モードであった場合、係数テーブルに格納されている変換係数を広帯域ＬＳＰ符号化部１０７ａに出力するように切り替えられる。

ＬＳＰパラメータが定常的な値を示す場合は、現フレームの広帯域／狭帯域のＬＳＰパラメータ比と前フレームの広帯域／狭帯域の量子化ＬＳＰパラメータの比とが近くなるので、（式２）を用いた量子化を適用することで、狭帯域ＬＳＰパラメータから広帯域ＬＳＰパラメータを予測する際の予測精度を向上させ、量子化性能を改善させる。

図１０は、上記の広帯域ＬＳＰ符号化部１０７ａ内部の主要な構成を示すブロック図である。

ＬＳＰ符号帳と重み係数符号帳とがそれぞれモード数分（ここでは２つ）のサブ符号帳から構成されていて（ＬＳＰ符号帳２２２−１、２２２−２、重み係数符号帳２２３−１、２２３−２）、モード判定部２０１から入力されるモード情報に基づいて、切り替えスイッチ２２４、２２５がそれぞれサブ符号帳の１つを選択する構成となっている。

本発明の実施の形態２に係るスケーラブル復号化装置の基本的構成も、実施の形態１に係るスケーラブル復号化装置と同様である。よって、詳細な説明は省略し、異なる構成である変換係数算出部１５５ａおよび広帯域ＬＳＰ復号化部１５６ａについて以下説明する。なお、同一の構成要素には同一の符号を付し、その説明を省略する。

変換係数算出部１５５ａの内部構成は、図９に示した変換係数算出部１０９ａと基本的に同様である。よって詳細な説明は省略するが、遅延器１３１への入力は狭帯域ＬＳＰ復号化部１５３から、遅延器１３２への入力は広帯域ＬＳＰ復号化部１５６ａから、平滑化
部１３５の出力は広帯域ＬＳＰ復号化部１５６ａへとされる点は、図９に示した変換係数算出部１０９ａと異なる。また、モード判定部の付番は、符号化側のモード判定部２０１と区別するため、便宜上２５１とする。

図１１は、上記の広帯域ＬＳＰ復号化部１５６ａ内部の主要な構成を示すブロック図である。

ＬＳＰ符号帳と重み係数符号帳とがそれぞれモード数分（ここでは２つ）のサブ符号帳から構成されていて（ＬＳＰ符号帳２６２−１、２６２−２、重み係数符号帳２６３−１、２６３−２）、モード判定部２５１から入力されるモード情報に基づいて、切り替えスイッチ２６４、２６５がそれぞれサブ符号帳の１つを選択する構成となっている。

このように、本実施の形態によれば、入力された未量子化の広帯域ＬＳＰまたは現フレームで量子化された狭帯域ＬＳＰの定常性を判定し、定常的である（フレーム間の変動が小さい）と判定された場合のみ選択的に前記算出された変換係数を用い、非定常（フレーム間の変動が大きい）と判定された場合には別途テーブルに格納された変換係数を用いる。換言すると、算出された変換係数と予め設計してテーブルに格納しておいた変換係数とを、ＬＳＰパラメータの定常性に基づいて切り替える。

上記の構成を採ることにより、狭帯域ＬＳＰから広帯域ＬＳＰを予測する際の予測精度を向上させることができる。また、ＬＳＰパラメータの変動を符号化後の量子化ＬＳＰパラメータを用いて判断するので、復号側は、符号化側からモード情報を送信されなくともＬＳＰパラメータの変動を判断することができる。符号化側からモード情報を送信する必要もなくなるので、通信システムのリソースを消費することもない。

（実施の形態３）
実施の形態２では、狭帯域の量子化ＬＳＰパラメータの変化を観測し、ＬＳＰパラメータの変動の有無を判断（モード判定）している。しかし、狭帯域の量子化ＬＳＰパラメータが変動状態にない場合でも、広帯域の量子化ＬＳＰパラメータの方は変動している場合がある。

また、復号化側では、過去のモード判定結果に基づいて現フレームの復号化を行うので、実施の形態２の方法では、過去のモード判定が誤っていると、その誤りが後の処理に伝播する。

そこで、本実施の形態では、符号化側は、広帯域ＬＳＰパラメータを用いてモード判定を行うモード判定部を新たに設置し、得られるモード判定結果を復号化側に送信する。復号化側は、このモード判定結果を復号化するモード復号部を新たに設置する。

以下、本実施の形態について、添付図面を参照して具体的に説明する。

図１２は、本発明の実施の形態３に係るスケーラブル符号化装置の主要な構成を示すブロック図である。なお、このスケーラブル符号化装置は、実施の形態１に示したスケーラブル符号化装置（図４参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

モード判定部３０１は、基本的には、実施の形態２に示したモード判定部２０１（２５１）と同様の動作をする。すなわち、１処理単位時間遅延されたＬＳＰパラメータと現在のＬＳＰパラメータとの距離計算を行い、この距離が予め設定しておいた閾値以下の場合は定常モードと、閾値を越えた場合は非定常モードと判定する。しかし、入力情報として
用いるものは、ＬＳＰ分析部（広帯域用）１０６から出力される広帯域ＬＳＰパラメータである点が実施の形態２と異なる。モード判定部３０１の判定結果は、変換係数算出部１０９ｂと広帯域ＬＳＰ符号化部１０７ａに出力され、モード情報の符号化情報は多重化部１１２に出力される。なお、広帯域ＬＳＰ符号化部１０７ａは、実施の形態２で既に説明したものである。

このように、モード判定部３０１は、符号化済みの情報（量子化ＬＳＰパラメータ）でなく、広帯域ＬＳＰパラメータを用いて定常／非定常を判定するので、広帯域信号の高域部のみに変動が大きい信号にも対応可能となる。

また、モード判定部３０１は、得られるモード結果を他の符号化パラメータと共に多重化して復号化側に送信している。このように、モード情報を復号化側に伝送するので、復号化側でモード情報の判定を一度誤っても、後続フレームでは、次のモード情報が送信されてくるので、前フレームの判定誤りの影響が伝播せず、伝送路誤り耐性が改善する。

図１３は、変換係数算出部１０９ｂ内部の主要な構成を示すブロック図である。なお、この変換係数算出部１０９ｂは、実施の形態２の図９に示した変換係数算出部１０９ａと同様の基本的構成を有しており、異なる点のみを以下説明する。

変換係数算出部１０９ｂは、モード判定部を内部に備えず、モード判定結果のみを外部から入力する。そして、変換係数算出部１０９ｂは、入力されるモード判定結果に従って切り替えスイッチを切り替える。具体的には、定常モードの時は、平滑化部１３５から出力される変換係数が広帯域ＬＳＰ符号化部１０７ａへ出力されるように切り替えスイッチ２０３が切り替えられる。非定常モードのときは、予めオフラインの学習等によって設計された変換係数を係数テーブル２０２から広帯域ＬＳＰ符号化部１０７ａへ出力されるように切り替えスイッチ２０３が切り替えられる。

図１４は、本発明の実施の形態３に係るスケーラブル復号化装置の主要な構成を示すブロック図である。

このスケーラブル復号化装置も、実施の形態１に示したスケーラブル復号化装置（図７参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。実施の形態１に示したスケーラブル復号化装置と異なる点は、モード復号部３５１を新たに有し、本実施の形態に係るスケーラブル符号化装置のモード判定部３０１の出力情報を復号して、復号情報を変換係数算出部１５５ｂおよび広帯域ＬＳＰ復号化部１５６ａへ出力することである。なお、変換係数算出部１５５ｂも符号化側の変換係数算出部１０９ｂ（図１３参照）と同様の基本的構成を有している。

なお、本実施の形態では、ＬＳＰパラメータの時間的変化に基づいてモード判定を行う場合を説明したが、変換係数の変換利得に基づいてモード判定を行っても良い。この変換係数の変換利得は、前フレームの「広帯域量子化ＬＳＰ/狭帯域量子化ＬＳＰ」比と現フレームの「入力広帯域ＬＳＰ/狭帯域量子化ＬＳＰ」比がどれだけ近いかを表している。

（実施の形態４）
本実施の形態の特徴は、モード情報を符号化側が復号化側に送信せずに、モード判定を符号化側の狭帯域ＬＳＰ符号化部または復号側の狭帯域ＬＳＰ符号化部の内部で行うことである。

図１５は、本発明の実施の形態４に係るスケーラブル符号化装置の主要な構成を示すブロック図である。なお、このスケーラブル符号化装置は、実施の形態３に示したスケーラ
ブル符号化装置（図１２参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

本実施の形態に係るスケーラブル符号化装置は、狭帯域ＬＳＰ符号化部１０３ｃがマルチモード符号化を行っており、そのモード情報（Ｓ４１）を利用して変換係数算出部１０９ｂのモード切り替え、および広帯域ＬＳＰ符号化部１０７ａのモード切り替えが行われる。

狭帯域ＬＳＰ符号化部がＬＳＰの定常性でモード切替を行なう技術としては、例えば T. Eriksson, J. Linden, and J. Skoglund, “Exploiting interframe correlation in spectral quantization - A study of different memory VQ schemes,” Proc. IEEE ICASSP-96, pp.765-768, 1996 等に記載がある。この文献では、フレーム間相関の強い（定常性の高い）フレームとそうでないフレームとの双方に対応するために、フレーム間予測を用いるモードとそうでないモードとを切り替える「Safty-net VQ」という手法を提案している。このような量子化器を狭帯域ＬＳＰ符号化部に用いれば、そのモード情報を広帯域ＬＳＰ符号化部・変換係数算出部のモード切り替え情報として利用することが可能である。

図１６は、本発明の実施の形態４に係るスケーラブル復号化装置の主要な構成を示すブロック図である。なお、このスケーラブル復号化装置も、実施の形態３に示したスケーラブル復号化装置（図１４参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

本実施の形態に係るスケーラブル復号化装置では、狭帯域ＬＳＰ復号化部１５３ｃにモード情報復号機能が備えられている。すなわち、狭帯域ＬＳＰ復号化部１５３ｃが、マルチモードの復号化を行なっており、そのモード情報（Ｓ４２）を変換係数算出部１５５ｂおよび広帯域ＬＳＰ復号化部１５６ａへ出力する。変換係数算出部１５５ｂおよび広帯域ＬＳＰ復号化部１５６ａでは、狭帯域ＬＳＰ復号化部１５３ｃから入力されたモード情報（Ｓ４２）を用いて、モード切替を行なう。

このように、本実施の形態によれば、狭帯域ＬＳＰ符号化情報のモード情報を用いて広帯域ＬＳＰ符号化のモードを切り替えるので、追加のビットなしに、広帯域ＬＳＰ符号化部、広帯域ＬＳＰ復号化部、または変換係数部のモード切り替えを行うことができる。また、モード情報が伝送されるため、伝送路誤りがあった場合でも誤りの影響が後続フレームに伝播することを防止できる。

（実施の形態５）
実施の形態３では、モード判定は、ＬＳＰの量子化に先立って行なわれ、このモード判定結果に基づいて探索する符号帳を切り替えている。すなわち、モード判定は量子化前に開ループで行なわれるため、必ずしも量子化誤差を最小にするモードが選択されるとは限らない。例えば、実施の形態３のモード判定は、量子化前のＬＳＰパラメータに基づいて行われているが、量子化前のＬＳＰパラメータが変動しているからと言って、必ずしも、量子化後のＬＳＰパラメータも変動するとは限らないし、量子化前のＬＳＰパラメータが定常的であるからと言って、必ずしも、量子化後のＬＳＰパラメータが定常的であるとも限らない。また、一部の次数のＬＳＰパラメータが定常であっても、残りの次数のＬＳＰパラメータが非定常であれば、全次数で変化を見た場合には定常と判定されることもある。このように、開ループでモード判定を行なう場合は、確実に量子化誤差を最小とするモードを選択することが難しい。

そこで、本実施の形態では、開ループでモードを判定するのではなく、閉ループでモー
ド判定を行う。すなわち、定常モード／非定常モードについて、２以上のモードがある場合は全モードについて符号帳探索を実際に行ってみて、この結果に基づいて量子化誤差（量子化歪み）を最小とするモードを選択する。さらに換言すると、広帯域ＬＳＰ符号化部において、変換係数を求めて広帯域ＬＳＰを量子化するモードと、予め定めておいた固定の変換係数を用いて広帯域ＬＳＰを量子化するモードと、の双方のモードを用いて量子化を実際に行い、量子化誤差の小さくなる方のモードで量子化した結果を最終的な量子化結果として選択する。

以下、本実施の形態について、添付図面を参照して具体的に説明する。

図１７は、本発明の実施の形態５に係る広帯域ＬＳＰ符号化部１０７ｄの主要な構成を示すブロック図である。なお、この広帯域ＬＳＰ符号化部１０７ｄは、実施の形態２に示した広帯域ＬＳＰ符号化部１０７ａ（図１０参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

誤差最小化部１２１ｄは、全モードの符号帳探索を行い、全てのモードの符号帳の中から量子化誤差を最小とするＬＳＰベクトルおよび重み係数ベクトルを、ＬＳＰ符号帳２２２−１、２２２−２、重み係数符号帳２２３−１、２２３−２のそれぞれの中から選択し、対応するインデックスを符号化して多重化部１１２に出力する（Ｓ１１）。このとき、選択されたＬＳＰベクトル、および重み係数ベクトルが生成されるモード情報（どのモードの符号帳から選択されたかを示す情報）Ｓ５１も多重化部１１２に出力される。

図１８は、本発明の実施の形態５に係る変換係数算出部１０９ｄの主要な構成を示すブロック図である。なお、この変換係数算出部１０９ｄは、実施の形態２に示した変換係数算出部１０９ａ（図９参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

変換係数算出部１０９ｄは、広帯域ＬＳＰ符号化部１０７ｄ内の誤差最小化部１２１ｄから出力される制御信号Ｃ５１によって、使用する予測係数を切り替える。すなわち、変換係数算出部１０９ｄは、制御信号Ｃ５１によって量子化ＬＳＰを（式２）で表すか（式３）で表すかを切り替える。

このように、変換係数算出部１０９ｄは、実際に量子化を行なってみて、この量子化結果に基づいて、（式３）を用いた量子化を行なうか否かを決定する。よって、（式３）の量子化によって確実に性能が良くなることが期待されるフレームに対してだけ（式３）を用いるモードが選択されるので、高い予測性能を得ることができる。

また、本実施の形態によれば、前フレームの広帯域／狭帯域の量子化ＬＳＰパラメータ比と、現フレームの広帯域／狭帯域のＬＳＰパラメータ比とが近いフレームに対してのみ、（式３）による量子化が行なわれることとなる。すなわち、広帯域／狭帯域ＬＳＰパラメータが定常と判断されるフレームに対してではなく、広帯域／狭帯域ＬＳＰパラメータ比が定常と判断されるフレームに対して（式３）による量子化が行なわれる。よって、誤り耐性を向上させることができる。何故なら、本実施の形態によれば、（式３）による量子化モードが選択され続ける区間においては、広帯域／狭帯域の量子化ＬＳＰパラメータ比が定常であることがほぼ保障される。よって、例えば、直前のフレームが誤った場合、２フレーム前、もしくはさらにもっと前のフレームの広帯域／狭帯域の量子化ＬＳＰパラメータ比を用いて近似を行うことが可能だからである。一方、ＬＳＰパラメータが定常であるか否かによってモード判定を行う場合、ＬＳＰパラメータが定常であっても必ずしも広帯域／狭帯域の量子化ＬＳＰパラメータ比が定常であるとは限らない。よって、直前のフレームが誤った場合、このフレームの代わりに、定常ではない可能性のある２フレーム
前の広帯域／狭帯域の量子化ＬＳＰパラメータ比を近似値として用いてしまうおそれがある。このとき、誤りがない場合の復号結果とは大きく異なる復号結果を得てしまうこととなる。

また、本実施の形態によれば、直前のフレームが誤った場合、（式２）によるモードが選択されることになる。よって、この段階で予測符号化がリセットされることとなるので、誤りが後続フレームに伝播することを防止でき、誤り耐性がより高まる。

図１９は、上記の広帯域ＬＳＰ符号化部１０７ｄおよび変換係数算出部１０９ｄを備えた、本発明の実施の形態５に係るスケーラブル符号化装置の主要な構成を示すブロック図である。広帯域ＬＳＰ符号化部１０７ｄから出力される信号（Ｓ１１、Ｓ５１）が実施の形態１〜４で示したスケーラブル符号化装置と異なっている。

本実施の形態に係るスケーラブル復号化装置の構成は、実施の形態３に示したスケーラブル復号化装置（図１４参照）と同様であるので、説明を省略する。

以上、本実施の形態に係るスケーラブル符号化装置およびスケーラブル復号化装置について説明した。

（実施の形態６）
実施の形態１〜５に係る発明は、前フレームの量子化結果を積極的に利用して現フレームの予測を行うため、量子化性能を高くできる。よって、伝送路誤りのない、またはほとんどないアプリケーションに特に有効である。しかし、実施の形態１〜５では、伝送路誤りが発生すると、後続フレームに誤りが比較的長時間伝播する可能性がある。具体的には、実施の形態１〜５では、過去の狭帯域量子化ＬＳＰと広帯域量子化ＬＳＰとの関係を利用して現在の狭帯域量子化ＬＳＰから広帯域量子化ＬＳＰを予測するため、伝送路誤りが発生した場合、符号化装置と復号化装置とで異なる量子化結果が生成する可能性がある。かかる場合、復号化装置では、後続フレームにおける予測が正しく行われなくなるため、後続フレームに誤りが伝播する。ただし、実施の形態２〜５においてこのような誤り伝播が生じるのは、過去の量子化ＬＳＰを利用した予測を用いるモードが連続し、かつ、この連続するフレームにおいて伝送路誤りが発生した場合に限定される。

このような場合の改善手法として、過去の量子化結果に依存する予測に「忘却要素」を組み込む手法が知られている（例えば、Allen Gersho, Robert M. Gray著、古井，田崎，小寺，渡辺共訳、「ベクトル量子化と情報圧縮」、第１６章、６９８頁〜、小節「利得適応ＶＱにおける伝送誤り」、コロナ社、１９９８年１１月１０日発行を参照）。この忘却要素を組み込む手法によれば、過去の量子化結果に依存する予測（適応予測モード成分）と過去の量子化結果に依存しない予測（固定予測モード成分）との和を用いて現在の狭帯域量子化ＬＳＰから現在の広帯域量子化ＬＳＰを予測する。よって、適応予測モード成分と固定予測モード成分との比率を最適化することにより、互いにトレードオフの関係にある、適応予測モード成分に由来する量子化性能改善効果と、固定予測モード成分に由来する誤り耐性劣化抑制効果との調和を図ることができる。

本発明の実施の形態６では、実施の形態５において前記忘却要素を組み込む手法を適用することにより、伝送路誤りが発生した場合でも、伝送路誤りの影響を軽減する。すなわち、現フレームの広帯域量子化ＬＳＰの算出において、前フレームの量子化結果を利用した適応予測モード成分と、過去のフレームの量子化結果を利用しない固定予測モード成分（固定値）とを組み合わせて用いる。これにより、適応予測モードのフレームで伝送路誤りが発生した場合でも、固定値の使用によって適応予測成分を時間の経過とともに忘却させ、符号化装置と復号化装置との内部状態が時間の経過とともに近づくようにすることが
でき、伝送路誤りの影響が軽減する。さらに、本実施の形態では、固定予測だけを行うモードを備えるので、固定予測モードに切り替わったフレームにおいて符号化装置および復号化装置の内部状態が共にリセットされ、伝送路誤りの影響の後続フレームへの伝播が回避され、誤り耐性が改善される。

図２０は、本実施の形態に係る広帯域ＬＳＰ符号化部１０７ｅの主要な構成を示すブロック図である。また、図２１は、本実施の形態に係る変換係数算出部１０９ｅの主要な構成を示すブロック図である。なお、この広帯域ＬＳＰ符号化部１０７ｅおよび変換係数算出部１０９ｅは、実施の形態５において、広帯域ＬＳＰ符号化部１０７ｄ（図１７参照）および変換係数算出部１０９ｄ（図１８参照）の代わりに使用されるものである。従って、本実施の形態では、スケーラブル符号化装置およびスケーラブル復号化装置について、広帯域ＬＳＰ符号化部１０７ｅと変換係数算出部１０９ｅとに限り説明する。さらに、本実施の形態では、広帯域ＬＳＰ符号化部１０７ｅおよび変換係数算出部１０９ｅの構成要素について、広帯域ＬＳＰ符号化部１０７ｄおよび変換係数算出部１０９ｄの構成要素と同様の機能を発揮する構成要素には同一の符号を付して、その説明を省略する。

広帯域ＬＳＰ符号化部１０７ｅにおいて、増幅器１２６−１は、狭帯域ＬＳＰ符号化部１０３から入力されたＬＳＰパラメータに、変換係数算出部１０９ｅにおける係数テーブル２０２−２から入力された変換係数を乗じて、その乗算結果を増幅器１２５−１へ出力する。一方で、増幅器１２６−２は、狭帯域ＬＳＰ符号化部１０３から入力されたＬＳＰパラメータに対して、定常モード（適応予測モード）の場合には変換係数算出部１０９ｅにおける平滑化部１３５から出力される変換係数を乗じて、また非定常モード（固定予測モード）の場合には係数テーブル２０２−１に格納されている変換係数を乗じて、その乗算結果を増幅器１２５−２へ出力する。従って、増幅器１２６−１、１２６−２が、本発明における乗算手段を構成することになる。

また、広帯域ＬＳＰ符号化部１０７ｅにおいて、増幅器１２５−１、１２５−２はそれぞれ、増幅器１２６−１、１２６−２から入力されてくる広帯域ＬＳＰのベクトル、すなわち狭帯域量子化ＬＳＰを変換して得られる広帯域ＬＳＰのベクトルに対して、重み係数符号帳２２３−１、２２３−２から出力される既定の重み係数を乗じて、その乗算結果を加算器１２８へ出力する。そして、加算器１２８は、増幅器１２４と増幅器１２５−１、１２５−２とから出力されたＬＳＰベクトルの和を計算し、その加算結果を加算器１２７へ出力する。

このように、本実施の形態では、増幅器１２６−１および増幅器１２５−１、１２５−２が現フレームの狭帯域量子化ＬＳＰに対して固定変換係数を常に乗じることになる。すなわち、増幅器１２６−１、１２５−１を介して加算器１２８へ入力される信号は、狭帯域ＬＳＰ符号化部１０３から入力される狭帯域量子化ＬＳＰが、過去に発生した伝送路誤りの影響を受けない限り、過去に発生した伝送路誤りの影響を受けない。また、固定予測モードでの予測では、増幅器１２６−２も固定変換係数を前記狭帯域量子化ＬＳＰに乗じるので、前後フレームとの間で情報のやり取りが行われず、過去に発生した伝送路誤りの影響が後続フレームに伝播しない。これらの結果、本実施の形態によれば、伝送路誤りが発生した場合でも、その誤りの影響が後続フレームに伝播することを抑制し、誤り耐性を改善することができる。

なお、本実施の形態では、変換係数算出部１０９ｅに２つの係数テーブル２０２−１、２０２−２を配置し、これに対応させて広帯域ＬＳＰ符号化部１０７ｅに２つの増幅器１２６−１、１２６−２を配置する場合について説明したが、本発明はこの場合に限定されるものではなく、さらに多くの係数テーブル２０２および増幅器１２６を配置するようにしても良い。

また、本実施の形態では、変換係数算出部１０９ｅにおける係数テーブル２０２−１、２０２−２がそれぞれ別個である場合について説明したが、本発明はこの場合に限定されるものではなく、例えば変換係数算出部１０９ｅにおいて係数テーブル２０２が１つしか配置されず、この係数テーブル２０２から同一の変換係数が広帯域ＬＳＰ符号化部１０７ｅにおける２つの増幅器１２６−１、１２６−２にそれぞれ入力されるようにしても良い。

また、本実施の形態では、変換係数算出部１０９ｅが平滑化部１３５を必要とする場合について説明したが、本発明はこの場合に限定されるものではなく、例えば平滑化部１３５を配置せず、除算器１３３の出力をそのまま切替スイッチ２０３へ接続する構成としても良い。このような構成にすれば、切替スイッチ２０３が一旦係数テーブル２０２−１側に切り替わると、伝送路誤りの伝播を完全にリセットすることができる。

なお、変換係数算出部１０９ｅが平滑化部１３５を備える場合であっても、直前フレームが固定予測モードである（すなわち、切替スイッチ２０３が係数テーブル２０２−１側に接続される）場合は、（式４）におけるＫを０にして、換言すれば Ｘ_ｎ(ｉ) ＝ γ(ｉ)として、現フレームの狭帯域量子化ＬＳＰに適用される変換係数を求めるようにすれば、同様に伝送路誤りの伝播を完全にリセットすることができる。

また、図２１に示した変換係数算出部１０９ｅは、実施の形態３に示したスケーラブル復号化装置（図１４参照）における変換係数算出部１５５ｂの代わりに使用することもできる。

ちなみに、音声信号の主要成分はその低域に集まる傾向があるため、音声信号の低域成分について広帯域量子化ＬＳＰを予測する場合は、適応予測モード成分の構成比率が低くなるように（例えば５０％以下となるように）重み係数を設計し、一方で音声信号の高域成分について広帯域量子化ＬＳＰを予測する場合には、適応予測モード成分の構成比率が高くなるように（例えば５０％以上となるように）重み係数を設計すれば、主観的な品質における誤り耐性と量子化性能との調和を図ることができる。

（実施の形態７）
本発明の実施の形態７では、実施の形態６において、狭帯域量子化ＬＳＰの誤り感度に基づいて、広帯域量子化ＬＳＰの予測における固定予測モード成分と適応予測モード成分との比率をフレーム毎に適応的に決定する。すなわち、実施の形態６では、重み係数符号帳２２３−１、２２３−２から出力される重み係数が既定値であったが、本実施の形態では、定常モードである場合に選択される重み係数符号帳２２３−１を、現フレームの狭帯域量子化ＬＳＰから算出される重み係数で逐次更新する。

ここで、ＬＳＰの量子化においては、スペクトルの山の部分にあるＬＳＰと谷の部分にあるＬＳＰとで主観的に許容される量子化雑音のレベルが異なることを利用するために、量子化誤差を算出するときに「重み」を乗じた重み付きユークリッド距離で量子化誤差を評価する手法が知られている。この「重み」を誤り感度に対応する尺度として用いれば、フレーム毎に狭帯域量子化ＬＳＰから「重み」を算出し、算出した「重み」に応じて適応的に広帯域量子化ＬＳＰの予測における固定予測モード成分と適応予測モード成分との比率を変化させることができる。その結果、トレードオフの関係にある誤り耐性と量子化性能との調節をフレーム毎に図れるようになる。

図２２は、本実施の形態に係る広帯域ＬＳＰ符号化部１０７ｆの主要な構成を示すブロック図である。なお、この広帯域ＬＳＰ符号化部１０７ｆは、実施の形態６において、広
帯域ＬＳＰ符号化部１０７ｅ（図２０参照）の代わりに使用されるものである。従って、本実施の形態では、スケーラブル符号化装置について、広帯域ＬＳＰ符号化部１０７ｆに限り説明する。さらに、本実施の形態では、広帯域ＬＳＰ符号化部１０７ｆの構成要素について、広帯域ＬＳＰ符号化部１０７ｅの構成要素と同様の機能を発揮する構成要素には同一の符号を付して、その説明を省略する。

広帯域ＬＳＰ符号化部１０７ｆは、実施の形態６で示した広帯域ＬＳＰ符号化部１０７ｅにおいて、重み係数算出器２２０１をさらに具備するものである。重み係数算出器２２０１は、「誤り感度に応じた重み付け」をフレーム毎に行うものであり、狭帯域ＬＳＰ符号化部１０３から入力された狭帯域量子化ＬＳＰに基づいて、例えば「R. Salami et al,
“Design and Description of CS-ACELP: A Toll Quality 8 kb/s Speech Coder,” IEEE Trans. on Speech and Audio Process., vol. 6, no. 2, pp.116-130, March 1998.」の（９）式や「K. K. Paliwal and B. S. Atal, “Efficient Vector Quantization of LPC Parameters at 24 Bits/Frame,” IEEE Trans. on Speech and Audio Process., vol.
1, no. 1, pp.3-14, January 1993.」の（９）式に記載された重みを算出し、算出した重みを用いて重み係数符号帳２２３−１用の重み係数を算出する。そして、重み係数算出器２２０１は、フレーム毎に算出した重み係数で重み係数符号帳２２３−１の重み係数符号帳の内容を逐次更新する。また、本実施の形態では、重み係数算出器２２０１は、算出した重みが大きいほど（誤り感度が大きいほど）、広帯域量子化ＬＳＰの予測における固定予測モード成分の比率を高く設定し（例えば固定予測モード成分の比率を５０％以上に設定し）、一方でその重みが小さいほど、量子化性能が良くなるように学習を行う。そして、この学習によって得られる最適構成比（一般に適応予測モード成分の比率が高くなる）に近づくように、重み係数算出器２２０１は、重み係数符号帳２２３−１の内容を更新する。

このように、本実施の形態によれば、重み係数算出器２２０１が現フレームの狭帯域量子化ＬＳＰの誤り感度に基づいて定常モードで選択される重み係数符号帳２２３−１の内容を逐次更新するため、現フレームの広帯域量子化ＬＳＰの予測における固定予測モード成分と適応予測モード成分との比率を最適化することにより、誤り耐性の劣化を抑えつつ量子化性能を最大化することができる。例えば、重み係数算出器２２０１が、広帯域量子化ＬＳＰの予測において固定予測モード成分の比率を１００％とすれば、すなわち狭帯域量子化ＬＳＰに固定変換係数を乗じる増幅器１２６−１に連結された増幅器１２５−１の重みの比率を１００％とし、かつ、増幅器１２５−２の比率を０％とすれば、誤り耐性を改善することができる。一方、重み係数算出器２２０１が、適応予測モード成分の比率を１００％とすれば、誤り耐性が劣化する代わりに量子化性能を改善することができる。また、重み係数算出器２２０１が、固定予測モード成分と適応予測モード成分との比率を例えば５０％、５０％とすれば、適応予測モード成分に由来する量子化性能改善効果が生じ、この効果と共に、固定予測モード成分によって伝送路誤りの影響が広帯域ＬＳＰ符号化部１０７ｆにおける計算回数に応じて希薄化するため、その伝送路誤りの影響を後続フレームに伝播し難くすることができる。

また、本実施の形態によれば、重み係数符号帳２２３−１の内容が重み係数算出器２２０１によってフレーム毎に逐次更新されるため、狭帯域量子化ＬＳＰの誤り感度がフレーム毎に遷移する場合でも、互いにトレードオフの関係にある適応予測モード成分に由来する量子化性能改善効果と固定予測モード成分に由来する誤り耐性劣化抑制効果との調和を適応的に図ることができる。

ちなみに、音声信号の場合には、その高域成分についてＬＳＰパラメータを誤っても主観品質への影響が比較的小さいことから、重み係数算出器２２０１は、その低域成分について固定予測モード成分の比率が高くなるように、一方でその高域成分について適応予測
モード成分の比率が高くなるように、重み係数を決定することが好ましい。

なお、本実施の形態では、重み係数乗算器２２０１が狭帯域量子化ＬＳＰの誤り感度に基づいて重み係数符号帳２２３−１用の重み係数を算出する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば重み係数乗算器２２０１がオフラインでの学習データから重み係数符号帳２２３−１用の重み係数を算出するようにしても良い。

以上、本発明の各実施の形態について説明した。

本発明に係るスケーラブル符号化装置およびスケーラブル復号化装置は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。

本発明に係るスケーラブル符号化装置およびスケーラブル復号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することも可能であり、これにより上記と同様の作用効果を有する通信端末装置および基地局装置を提供することができる。

なお、ここでは、ＬＳＰパラメータを符号化／復号化する場合について説明したが、ＩＳＰ（Immittance Spectrum Pairs）パラメータについても本発明は適用可能である。

また、ＬＳＰの余弦をとったもの、すなわち、ＬＳＰをＬ（ｉ）とした場合のｃｏｓ（Ｌ（ｉ））を特にＬＳＦ（Line Spectral Frequency）と呼び、ＬＳＰと区別する場合もあるが、本明細書では、ＬＳＦはＬＳＰの一形態であり、ＬＳＰにＬＳＦは含まれるものとしてＬＳＰという用語を用いている。すなわち、ＬＳＰをＬＳＦと読み替えても良い。

また、ここでは、１フレーム前の広帯域／狭帯域の量子化ＬＳＰパラメータの比を現フレームにおける狭帯域−広帯域変換係数としたが、さらに過去のフレームの広帯域／狭帯域の量子化ＬＳＰパラメータの比を時系列的に用いて、現フレームの広帯域／狭帯域の量子化ＬＳＰパラメータの比を予測あるいは外挿的に求め、求められた値を現フレームの狭帯域−広帯域変換係数として用いても良い。

また、ここでは、モードが定常モード／非定常モードの２つのモードからなる場合を例にとって説明したが、モードは３つ以上であっても良い。

また、ここでは、帯域スケーラブル符号化のレイヤが２つである場合、すなわち、狭帯域および広帯域の２つの周波数帯域からなる帯域スケーラブル符号化または帯域スケーラブル復号化を例にとって説明したが、本発明は、３つ以上の周波数帯域（レイヤ）からなる帯域スケーラブル符号化または帯域スケーラブル復号化においても適用できる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。例えば、本発明に係るスケーラブル符号化方法またはスケーラブル復号化方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明のスケーラブル符号化装置またはスケーラブル復号化装置と同様の機能を実現することができる。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されても良い。

また、ここでは、ＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。

本明細書は、２００４年４月２７日出願の特願２００４−１３２１１３および２００４年９月６日出願の特願２００４−２５９０３６に基づく。これらの内容はすべてここに含めておく。

本発明に係るスケーラブル符号化装置、スケーラブル復号化装置、スケーラブル符号化方法、およびスケーラブル復号化方法は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等における通信装置の用途に適用できる。

狭帯域のＬＳＰパラメータの例を示した図 広帯域のＬＳＰパラメータの例を示した図 理想的な変換係数を示した図 実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態１に係る広帯域ＬＳＰ符号化部内部の主要な構成を示すブロック図 実施の形態１に係る変換係数算出部内部の主要な構成を示すブロック図 実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態１に係る広帯域ＬＳＰ復号化部内部の主要な構成を示すブロック図 実施の形態２に係る変換係数算出部内部の主要な構成を示すブロック図 実施の形態２に係る広帯域ＬＳＰ符号化部内部の主要な構成を示すブロック図 実施の形態２に係る広帯域ＬＳＰ復号化部内部の主要な構成を示すブロック図 実施の形態３に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態３に係る変換係数算出部内部の主要な構成を示すブロック図 実施の形態３に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態４に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態４に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態５に係る広帯域ＬＳＰ符号化部の主要な構成を示すブロック図 実施の形態５に係る変換係数算出部の主要な構成を示すブロック図 実施の形態５に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態６に係る広帯域ＬＳＰ符号化部の主要な構成を示すブロック図 実施の形態６に係る変換係数算出部の主要な構成を示すブロック図 実施の形態７に係る広帯域ＬＳＰ符号化部の主要な構成を示すブロック図

Claims (18)

1. 入力信号から、周波数軸方向にスケーラビリティを有する狭帯域および広帯域の量子化ＬＳＰパラメータを生成するスケーラブル符号化装置であって、
   狭帯域の入力信号のＬＳＰパラメータを符号化して、狭帯域の第１の量子化ＬＳＰパラメータを生成する狭帯域符号化手段と、
   前記第１の量子化ＬＳＰパラメータの周波数帯域を広帯域に変換する変換手段と、
   広帯域に変換後の前記第１の量子化ＬＳＰパラメータを用いて広帯域の入力信号のＬＳＰパラメータの符号化を行い、広帯域の第２の量子化ＬＳＰパラメータを生成する広帯域符号化手段と、
   過去に生成された前記第１および第２の量子化ＬＳＰパラメータ間の関係に基づいて、前記変換手段で使用される変換係数を算出する算出手段と、
   を具備するスケーラブル符号化装置。
2. 変換係数が所定の範囲内に収まるように、前記算出手段によって算出された変換係数に対し修正を行うリミッタ、
   をさらに具備する請求項１記載のスケーラブル符号化装置。
3. 前記算出手段によって算出された変換係数を時間的に平滑化する平滑化手段、
   をさらに具備する請求項１記載のスケーラブル符号化装置。
4. 前記算出手段は、
   予め１つまたは複数の変換係数が保持された係数テーブルを具備し、
   過去に生成された前記第１および第２の量子化ＬＳＰパラメータ間の関係に基づいて算出される変換係数と前記係数テーブルに保持された変換係数とを、前記入力信号の音声モードによって切り替えて出力する、
   請求項１記載のスケーラブル符号化装置。
5. 前記入力信号の音声モードは、
   狭帯域の前記第１の量子化ＬＳＰの時間的変化に基づいて決定される、
   請求項４記載のスケーラブル符号化装置。
6. 前記入力信号の音声モードは、
   広帯域の前記入力信号のＬＳＰパラメータの時間的変化に基づいて決定される、
   請求項４記載のスケーラブル符号化装置。
7. 前記入力信号の音声モードは、
   前記変換係数の変換利得に基づいて決定される、
   請求項４記載のスケーラブル符号化装置。
8. 前記入力信号の音声モードは、
   量子化誤差に基づいて閉ループで決定される、
   請求項４記載のスケーラブル符号化装置。
9. 前記入力信号の音声モードを復号化装置に送信する、
   請求項４記載のスケーラブル符号化装置。
10. 前記変換手段で得られる前記第１の量子化ＬＰＳパラメータを加算する加算手段をさらに具備し、
    前記算出手段は、
    予め１つ以上の変換係数が保持された係数テーブルを具備し、過去に生成された前記第１および第２の量子化ＬＳＰパラメータ間の関係に基づいて算出される変換係数と前記係数テーブルに保持された変換係数とを共に出力し、
    前記変換手段は、
    前記第１の量子化ＬＳＰパラメータに対して、前記算出手段から出力される少なくとも２つの前記変換係数を個別に乗算することにより、前記第１の量子化ＬＳＰパラメータの周波数帯域を広帯域に変換して、広帯域に変換後の前記第１の量子化ＬＳＰパラメータを少なくとも２つ生成し、
    前記加算手段は、
    前記変換手段によって広帯域に変換された少なくとも２つの前記第１の量子化ＬＰＳパラメータを加算し、
    前記広帯域符号化手段は、
    前記加算手段による加算後の前記第１の量子化ＬＳＰパラメータを用いて広帯域の入力信号のＬＳＰパラメータの符号化を行い、広帯域の第２の量子化ＬＳＰパラメータを生成する、
    請求項１記載のスケーラブル符号化装置。
11. 前記変換手段によって広帯域に変換された少なくとも２つの前記第１の量子化ＬＰＳパラメータそれぞれに対して所定の重み係数を個別に乗算する乗算手段と、
    前記乗算手段で使用される前記重み係数を算出する重み係数算出手段と、
    をさらに具備し、
    前記加算手段は、
    前記乗算手段によって前記重み係数を乗じられた少なくとも２つの前記第１の量子化ＬＳＰパラメータを加算し、
    前記重み係数算出手段は、
    前記第１の量子化ＬＳＰパラメータの誤り感度に基づいて、前記乗算手段で使用される前記重み係数を算出する、
    請求項１０記載のスケーラブル符号化装置。
12. 請求項１記載のスケーラブル符号化装置を具備する通信端末装置。
13. 請求項１記載のスケーラブル符号化装置を具備する基地局装置。
14. 周波数軸方向にスケーラビリティを有する狭帯域および広帯域の量子化ＬＳＰパラメータを復号化するスケーラブル復号化装置であって、
    狭帯域の量子化ＬＳＰパラメータを復号化して、狭帯域の第１のＬＳＰパラメータを生成する狭帯域復号化手段と、
    前記第１のＬＳＰパラメータの周波数帯域を広帯域に変換する変換手段と、
    広帯域に変換後の前記第１のＬＳＰパラメータを用いて広帯域の量子化ＬＳＰパラメータの復号化を行い、広帯域の第２のＬＳＰパラメータを生成する広帯域復号化手段と、
    過去に生成された前記第１および第２のＬＳＰパラメータ間の関係に基づいて、前記変換手段で使用される変換係数を算出する算出手段と、
    を具備するスケーラブル復号化装置。
15. 請求項１４記載のスケーラブル復号化装置を具備する通信端末装置。
16. 請求項１４記載のスケーラブル復号化装置を具備する基地局装置。
17. 狭帯域の入力信号を符号化して得られる狭帯域量子化ＬＳＰパラメータの周波数帯域を広帯域に変換する際に、過去の狭帯域量子化ＬＳＰパラメータとこれに対応する広帯域量子化ＬＳＰパラメータとの関係に基づいて各フレームごとに適応的に前記変換を行う、
    スケーラブル符号化方法。
18. 狭帯域量子化ＬＳＰパラメータを復号化して得られる狭帯域ＬＳＰパラメータの周波数帯域を広帯域に変換する際に、過去の狭帯域ＬＳＰパラメータとこれに対応する広帯域ＬＳＰパラメータとの関係に基づいて各フレームごとに適応的に前記変換を行う、
    スケーラブル復号化方法。

Images