JPWO2005064594A1 - 音声・楽音符号化装置及び音声・楽音符号化方法 - Google Patents

Abstract

人間の聴感特性を考慮して、ベクトル量子化を行うことにより、高品質な符号化を行うことができる音声・楽音符号化装置。この音声・楽音符号化装置において、直交変換処理部（２０１）は、音声・楽音信号を時間成分から周波数成分へ変換する。聴感マスキング特性値算出部（２０３）は、音声・楽音信号から聴感マスキング特性値を求める。ベクトル量子化部（２０２）は、聴感マスキング特性値に基づいて、予め設定されたコードブックから求めたコードベクトルと周波数成分との距離計算方法を変えてベクトル量子化を行う。

Description

本発明は、インターネット通信に代表されるパケット通信システムや、移動通信システムなどで音声・楽音信号の伝送を行う音声・楽音符号化装置及び音声・楽音符号化方法に関する。

インターネット通信に代表されるパケット通信システムや、移動通信システムなどで音声信号を伝送する場合、伝送効率を高めるために圧縮・符号化技術が利用される。これまでに多くの音声符号化方式が開発され、近年開発された低ビットレート音声符号化方式の多くは、音声信号をスペクトル情報とスペクトルの微細構造情報とに分離し、分離したそれぞれに対して圧縮・符号化を行うという方式である。

また、ＩＰ電話に代表されるようなインターネット上での音声通話環境が整備されつつあり、音声信号を効率的に圧縮して転送する技術に対するニーズが高まっている。

特に、人間の聴感マスキング特性を利用した音声符号化に関する様々な方式が検討されている。聴感マスキングとは、ある周波数に含まれる強い信号成分が存在する時に、隣接する周波数成分が、聞こえなくなる現象でこの特性を利用して品質向上を図るものである。

これに関連した技術としては、例えば、ベクトル量子化の距離計算時に聴感マスキング特性を利用した特許文献１に記載されるような方法がある。

特許文献１の聴感マスキング特性を用いた音声符号化手法は、入力された信号の周波数成分と、コードブックが示すコードベクトルの双方が聴感マスキング領域にある場合、ベクトル量子化時の距離を０とする計算方法である。これにより、聴感マスキング領域外における距離の重みが相対的に大きくなり、より効率的に音声符号化することが可能となる。
特開平８−１２３４９０号公報（第３頁、第１図）

しかしながら、特許文献１に示す従来方法では、入力信号及びコードベクトルの限られた場合にしか適応できず音質性能が不十分であった。

本発明の目的は、上記の課題に鑑みてなされたものであり、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択し、高品質な音声・楽音符号化装置及び音声・楽音符号化方法を提供することである。

上記課題を解決するために、本発明の音声・楽音符号化装置は、音声・楽音信号を時間成分から周波数成分へ変換する直交変換処理手段と、前記音声・楽音信号から聴感マスキング特性値を求める聴感マスキング特性値算出手段と、前記聴感マスキング特性値に基づいて、前記周波数成分と、予め設定されたコードブックから求めたコードベクトルと前記周波数成分と間の距離計算方法を変えてベクトル量子化を行うベクトル量子化手段と、を具備する構成を採る。

本発明によれば、聴感マスキング特性値に基づき、入力信号とコードベクトルとの距離計算方法を変えて量子化を行うことにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することが可能になり、入力信号の再現性を高め良好な復号化音声を得ることができる。

［図１］本発明の実施の形態１に係る音声・楽音符号化装置及び音声・楽音復号化装置を含むシステム全体のブロック構成図
［図２］本発明の実施の形態１に係る音声・楽音符号化装置のブロック構成図
［図３］本発明の実施の形態１に係る聴感マスキング特性値算出部のブロック構成図
［図４］本発明の実施の形態１に係る臨界帯域幅の構成例を示す図
［図５］本発明の実施の形態１に係るベクトル量子化部のフローチャート
［図６］本発明の実施の形態１に係る聴感マスキング特性値と符号化値とＭＤＣＴ係数の相対的位置関係を説明する図
［図７］本発明の実施の形態１に係る音声・楽音復号化装置のブロック構成図
［図８］本発明の実施の形態２に係る音声・楽音符号化装置及び音声・楽音復号化装置のブロック構成図
［図９］本発明の実施の形態２に係るＣＥＬＰ方式の音声符号化装置の構成概要図
［図１０］本発明の実施の形態２に係るＣＥＬＰ方式の音声復号化装置の構成概要図
［図１１］本発明の実施の形態２に係る拡張レイヤ符号化部のブロック構成図
［図１２］本発明の実施の形態２に係るベクトル量子化部のフローチャート
［図１３］本発明の実施の形態２に係る聴感マスキング特性値と符号化値とＭＤＣＴ係数の相対的位置関係を説明する図
［図１４］本発明の実施の形態２に係る復号化部のブロック構成図
［図１５］本発明の実施の形態３に係る音声信号送信装置及び音声信号受信装置のブロック構成図
［図１６］本発明の実施の形態１に係る符号化部のフローチャート
［図１７］本発明の実施の形態１に係る聴感マスキング値算出部のフローチャート

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る音声・楽音符号化装置及び音声・楽音復号化装置を含むシステム全体の構成を示すブロック図である。

このシステムは、入力信号を符号化する音声・楽音符号化装置１０１と伝送路１０３と受信した信号を復号化する音声・楽音復号化装置１０５から構成される。

なお、伝送路１０３は、無線ＬＡＮあるいは携帯端末のパケット通信、Ｂｌｕｅｔｏｏｔｈなどの無線伝送路であってもよいし、ＡＤＳＬ、ＦＴＴＨなどの有線伝送路であってもよい。

音声・楽音符号化装置１０１は、入力信号１００を符号化し、その結果を符号化情報１０２として伝送路１０３に出力する。

音声・楽音復号化装置１０５は、伝送路１０３を介して符号化情報１０２を受信し、復号化し、その結果を出力信号１０６として出力する。

次に、音声・楽音符号化装置１０１の構成について図２のブロック図を用いて説明する。図２において、音声・楽音符号化装置１０１は、入力信号１００を時間成分から周波数成分へ変換する直交変換処理部２０１と、入力信号１００から聴感マスキング特性値を算出する聴感マスキング特性値算出部２０３と、インデックスと正規化されたコードベクトルの対応を示す形状コードブック２０４と、形状コードブック２０４の正規化された各コードベクトルに対応してその利得を示す利得コードブック２０５と、前記聴感マスキング特性値、前記形状コードブック及び利得コードブックを用いて前記周波数成分へ変換された入力信号をベクトル量子化するベクトル量子化部２０２とから主に構成される。

次に、図１６のフローチャートの手順に従って、音声・楽音符号化装置１０１の動作について、詳細に説明する。

まず、入力信号のサンプリング処理について説明する。音声・楽音符号化装置１０１は、入力信号１００をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号１００をｘ_ｎ（ｎ＝０、Λ、Ｎ−１）と表すこととする。ｎは前記区切られた入力信号である信号要素のｎ＋１番目であることを示す。

入力信号ｘ_ｎ１００は、直交変換処理部２０１及び聴感マスキング特性算出部２０３に入力される。

次に、直交変換処理部２０１は、前記信号要素に対応してバッファｂｕｆ_ｎ（ｎ＝０、Λ、Ｎ−１）を内部に有し、式（１）によりそれぞれ０を初期値として初期化する。

次に、直交変換処理（ステップＳ１６０１）について、直交変換処理部２０１における計算手順と内部バッファへのデータ出力に関して説明する。

直交変換処理部２０１は、入力信号ｘ_ｎ１００を修正離散コサイン変換（ＭＤＣＴ）し、式（２）によりＭＤＣＴ係数Ｘ_ｋを求める。

ここで、ｋは１フレームにおける各サンプルのインデックスを意味する。直交変換処理部２０１は、入力信号ｘ_ｎ１００とバッファｂｕｆ_ｎとを結合させたベクトルであるｘ_ｎ’を式（３）により求める。

次に、直交変換処理部２０１は、式（４）によりバッファｂｕｆ_ｎを更新する。

次に、直交変換処理部２０１は、ＭＤＣＴ係数Ｘ_ｋをベクトル量子化部２０２に出力する。

次に、図２の聴感マスキング特性値算出部２０３の構成について、図３のブロック図を用いて説明する。

図３において、聴感マスキング特性値算出部２０３は、入力信号をフーリエ変換するフーリエ変換部３０１と、前記フーリエ変換された入力信号からパワースペクトルを算出するパワースペクトル算出部３０２と、入力信号から最小可聴閾値を算出する最小可聴閾値算出部３０４と、前記算出された最小可聴閾値をバッファリングするメモリバッファ３０５と、前記算出されたパワースペクトルと前記バッファリングされた最小可聴閾値から聴感マスキング値を計算する聴感マスキング値算出部３０３とから構成される。

次に、上記のように構成された聴感マスキング特性値算出部２０３における聴感マスキング特性値算出処理（ステップＳ１６０２）について、図１７のフローチャートを用いて動作を説明する。

なお、聴感マスキング特性値の算出方法については、Ｊｏｈｎｓｔｏｎ氏らによる論文（Ｊ．Ｊｏｈｎｓｔｏｎ，″Ｅｓｔｉｍａｔｉｏｎ ｏｆ ｐｅｒｃｅｐｔｕａｌ ｅｎｔｒｏｐｙ ｕｓｉｎｇ ｎｏｉｓｅ ｍａｓｋｉｎｇ ｃｒｉｔｅｒｉａ″，ｉｎ Ｐｒｏｃ．ＩＣＡＳＳＰ−８８，Ｍａｙ １９８８，ｐｐ．２５２４−２５２７）に開示されている。

まず、フーリエ変換処理（ステップＳ１７０１）についてフーリエ変換部３０１の動作を説明する。

フーリエ変換部３０１は、入力信号ｘ_ｎ１００を入力して、これを式（５）により周波数領域の信号Ｆ_ｋに変換する。ここで、ｅは自然対数の底であり、ｋは１フレームにおける各サンプルのインデックスである。

次に、フーリエ変換部３０１は、得られたＦ_ｋをパワースペクトル算出部３０２に出力する。

次に、パワースペクトル算出処理（ステップＳ１７０２）について説明する。

パワースペクトル算出部３０２は、前記フーリエ変換部３０１から出力された周波数領域の信号Ｆ_ｋを入力とし、式（６）によりＦ_ｋのパワースペクトルＰ_ｋを求める。ただし、ｋは１フレームにおける各サンプルのインデックスである。

なお、式（６）において、Ｆ_ｋ ^Ｒｅは周波数領域の信号Ｆ_ｋの実部であり、パワースペクトル算出部３０２は、式（７）によりＦ_ｋ ^Ｒｅを求める。

また、Ｆ_ｋ ^ｌｍは周波数領域の信号Ｆ_ｋの虚部であり、パワースペクトル算出部３０２は、式（８）によりＦ_ｋ ^ｌｍを求める。

次に、パワースペクトル算出部３０２は、得られたパワースペクトルＰ_ｋを聴感マスキング値算出部３０３に出力する。

次に、最小可聴閾値算出処理（ステップＳ１７０３）について説明する。

最小可聴閾値算出部３０４は、第１フレームにおいてのみ、式（９）により最小可聴閾値ａｔｈ_ｋを求める。

次に、メモリバッファへの保存処理（ステップＳ１７０４）について説明する。

最小可聴閾値算出部３０４は、最小可聴閾値ａｔｈ_ｋをメモリバッファ３０５に出力する。メモリバッファ３０５は、入力された最小可聴閾値ａｔｈ_ｋを聴感マスキング値算出部３０３に出力する。最小可聴閾値ａｔｈ_ｋとは、人間の聴覚に基づき各周波数成分に対して定められ、ａｔｈ_ｋ以下の成分は聴感的に知覚することができないという値である。

次に、聴感マスキング値算出処理（ステップＳ１７０５）について聴感マスキング値算出部３０３の動作を説明する。

聴感マスキング値算出部３０３は、パワースペクトル算出部３０２から出力されたパワースペクトルＰ_ｋを入力し、パワースペクトルＰ_ｋをｍの臨界帯域幅に分割する。ここで、臨界帯域幅とは、帯域雑音を増加してもその中心周波数の純音がマスクされる量が増えなくなる限界の帯域幅のことである。また、図４に、臨界帯域幅の構成例を示す。図４において、ｍは臨界帯域幅の総数であり、パワースペクトルＰ_ｋはｍの臨界帯域幅に分割される。また、ｉは臨界帯域幅のインデックスであり、０〜ｍ−１の値をとる。また、ｂｈ_ｉ及びｂｌ_ｉは各臨界帯域幅ｉの最小周波数インデックス及び最大周波数インデックスである。

次に、聴感マスキング値算出部３０３は、パワースペクトル算出部３０２から出力されたパワースペクトルＰ_ｋを入力し、式（１０）により臨界帯域幅毎に加算されたパワースペクトルＢ_ｉを求める。

次に、聴感マスキング値算出部３０３は、式（１１）により拡散関数ＳＦ（ｔ）（Ｓｐｒｅａｄｉｎｇ Ｆｕｎｃｔｉｏｎ）を求める。拡散関数ＳＦ（ｔ）とは、各周波数成分に対して、その周波数成分が近隣周波数に及ぼす影響（同時マスキング効果）を算出するために用いるものである。

ここで、Ｎ_ｔは定数であり、式（１２）の条件を満たす範囲内で予め設定される。

次に、聴感マスキング値算出部３０３は、式（１３）により臨界帯域幅毎に加算されたパワースペクトルＢ_ｉと拡散関数ＳＦ（ｔ）を用い、定数Ｃ_ｉを求める。

次に、聴感マスキング値算出部３０３は、式（１４）により幾何平均μ_ｉ ^ｇを求める。

次に、聴感マスキング値算出部３０３は、式（１５）により算術平均μ_ｉ ^ａを求める。

次に、聴感マスキング値算出部３０３は、式（１６）によりＳＦＭ_ｉ（Ｓｐｅｃｔｒａｌ Ｆｌａｔｎｅｓｓ Ｍｅａｓｕｒｅ）を求める。

次に、聴感マスキング値算出部３０３は、式（１７）により定数α_ｉを求める。

次に、聴感マスキング値算出部３０３は、式（１８）により臨界帯域幅毎のオフセット値Ｏ_ｉを求める。

次に、聴感マスキング値算出部３０３は、式（１９）により臨界帯域幅毎の聴感マスキング値Ｔ_ｉを求める。

次に、聴感マスキング値算出部３０３は、メモリバッファ３０５から出力される最小可聴閾値ａｔｈ_ｋから、式（２０）により聴感マスキング特性値Ｍ_ｋを求め、これをベクトル量子化部２０２に出力する。

次に、ベクトル量子化部２０２における処理であるコードブック取得処理（ステップＳ１６０３）及びベクトル量子化処理（ステップＳ１６０４）について、図５処理フローを用いて詳細に説明する。

ベクトル量子化部２０２は、直交変換処理部２０１から出力されるＭＤＣＴ係数Ｘ_ｋと前記聴感マスキング特性値算出部２０３から出力される聴感マスキング特性値から、形状コードブック２０４、及び利得コードブック２０５を用いて、ＭＤＣＴ係数Ｘ_ｋのベクトル量子化を行い、得られた符号化情報１０２を、図１の伝送路１０３に出力する。

次に、コードブックについて説明する。

形状コードブック２０４は、予め作成されたＮ_ｊ種類のＮ次元コードベクトルｃｏｄｅ_ｋ ^ｊ（ｊ＝０、Λ、Ｎ_ｊ−１、ｋ＝０、Λ、Ｎ−１）から構成され、また、利得コードブック２０５は、予め作成されたＮ_ｄ種類の利得コードｇａｉｎ^ｄ（ｊ＝０、Λ、Ｎ_ｄ−１）から構成される。

ステップ５０１では、形状コードブック２０４におけるコードベクトルインデックスｊに０を代入し、最小誤差Ｄｉｓｔ_ＭＩＮに十分大きな値を代入し、初期化する。

ステップ５０２では、形状コードブック２０４からＮ次元のコードベクトルｃｏｄｅｋｊ（ｋ＝０、Λ、Ｎ−１）を読み込む。

ステップ５０３では、直交変換処理部２０１から出力されたＭＤＣＴ係数Ｘ_ｋを入力して、ステップ５０２の形状コードブック２０４で読み込んだコードベクトルｃｏｄｅ_ｋ ^ｊ（ｋ＝０、Λ、Ｎ−１）の利得Ｇａｉｎを式（２１）により求める。

ステップ５０４では、ステップ５０５の実行回数を表すｃａｌｃ＿ｃｏｕｎｔに０を代入する。

ステップ５０５では、聴感マスキング特性値算出部２０３から出力された聴感マスキング特性値Ｍ_ｋを入力し、式（２２）により一時利得ｔｅｍｐ_ｋ（ｋ−０、Λ、Ｎ−１）を求める。

なお、式（２２）において、ｋが｜ｃｏｄｅ_ｋ ^ｊ・Ｇａｉｎ｜≧Ｍ_ｋの条件を満たす場合、一時利得ｔｅｍｐ_ｋにはｃｏｄｅ_ｋ ^ｊが代入され、ｋが｜ｃｏｄｅ_ｋ ^ｊ・Ｇａｉｎ｜＜Ｍ_ｋの条件を満たす場合、一時利得ｔｅｍｐ_ｋには０が代入される。

次に、ステップ５０５では、式（２３）により聴感マスキング値以上の要素に対する利得Ｇａｉｎを求める。

ここで、全てのｋにおいて一時利得ｔｅｍｐ_ｋが０の場合には利得Ｇａｉｎに０を代入する。また、式（２４）により、利得Ｇａｉｎとｃｏｄｅ_ｋ ^ｊから符号化値Ｒ_ｋを求める。

ステップ５０６では、ｃａｌｃ＿ｃｏｕｎｔに１を足し加える。

ステップ５０７では、ｃａｌｃ＿ｃｏｕｎｔと予め定められた非負の整数Ｎ_ｃとを比較し、ｃａｌｃ＿ｃｏｕｎｔがＮ_ｃより小さい値である場合はステップ５０５に戻り、ｃａｌｃ＿ｃｏｕｎｔがＮ_ｃ以上である場合はステップ５０８に進む。このように、利得Ｇａｉｎを繰り返し求めることにより、利得Ｇａｉｎを適切な値にまで収束させることができる。

ステップ５０８では、累積誤差Ｄｉｓｔに０を代入し、また、サンプルインデックスｋに０を代入する。

次に、ステップ５０９、５１１、５１２、及び５１４において、聴感マスキング特性値Ｍ_ｋと符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの相対的な位置関係について場合分けを行い、場合分けの結果に応じてそれぞれステップ５１０、５１３、５１５、及び５１６で距離計算を行う。

この相対的な位置関係による場合分けを図６に示す。図６において、白い丸記号（○）は入力信号のＭＤＣＴ係数Ｘ_ｋを意味し、黒い丸記号（●）は符号化値Ｒ_ｋを意味する。また、図６に示したものが本発明の特徴を示しているもので、聴感マスキング特性値算出部２０３で求めた聴感マスキング特性値＋Ｍ_ｋ〜０〜−Ｍ_ｋの領域を聴感マスキング領域と呼び、入力信号のＭＤＣＴ係数Ｘ_ｋまたは符号化値Ｒ_ｋがこの聴感マスキング領域に存在する場合の距離計算の方法を変えて計算することにより、より聴感的に近い高品質な結果を得ることができる。

ここで、図６を用いて、本発明におけるベクトル量子化時の距離計算法について説明する。図６の「場合１」に示すように入力信号のＭＤＣＴ係数Ｘ_ｋ（○）と符号化値Ｒ_ｋ（●）のいずれかも聴感マスキング領域に存在せず、かつＭＤＣＴ係数Ｘ_ｋと符号化値Ｒ_ｋが同符号である場合には入力信号のＭＤＣＴ係数Ｘ（○）と符号化値Ｒ_ｋ（●）の距離Ｄ_１１を単純に計算する。また、図６の「場合３」、「場合４」に示すように入力信号のＭＤＣＴ係数Ｘ_ｋ（○）と符号化値Ｒ_ｋ（●）のいずれかが聴感マスキング領域に存在する場合には、聴感マスキング領域内の位置をＭ_ｋ値（場合によっては、−Ｍ_ｋ値）に補正してＤ_３１またはＤ_４１として計算する。また、図６の「場合２」に示すように入力信号のＭＤＣＴ係数Ｘ_ｋ（○）と符号化値Ｒ_ｋ（●）が聴感マスキング領域をまたがって存在する場合には、聴感マスキング領域間の距離をβ・Ｄ_２３（βは任意の係数）と計算する。図６の「場合５」に示すように入力信号のＭＤＣＴ係数Ｘ_ｋ（○）と符号化値Ｒ_ｋ（●）が共に聴感マスキング領域内に存在する場合には、距離Ｄ_５１＝０として計算する。

次に、ステップ５０９〜ステップ５１７の各場合における処理について説明する。

ステップ５０９では、聴感マスキング特性値Ｍ_ｋと符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの相対的な位置関係が図６における「場合１」に該当するかどうかを式（２５）の条件式により判定する。

式（２５）は、ＭＤＣＴ係数Ｘ_ｋの絶対値と符号化値Ｒ_ｋの絶対値とが共に聴感マスキング特性値Ｍ_ｋ以上であり、かつ、ＭＤＣＴ係数Ｘ_ｋと符号化値Ｒ_ｋとが同符号である場合を意味する。聴感マスキング特性値Ｍ_ｋとＭＤＣＴ係数Ｘ_ｋと符号化値Ｒ_ｋとが式（２５）の条件式を満たした場合は、ステップ５１０に進み、式（２５）の条件式を満たさない場合は、ステップ５１１に進む。

ステップ５１０では、式（２６）により符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの誤差Ｄｉｓｔ_１を求め、累積誤差Ｄｉｓｔに誤差Ｄｉｓｔ_１を加算し、ステップ５１７に進む。

ステップ５１１では、聴感マスキング特性値Ｍ_ｋと符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの相対的な位置関係が図６における「場合５」に該当するかどうかを式（２７）の条件式により判定する。

式（２７）は、ＭＤＣＴ係数Ｘ_ｋの絶対値と符号化値Ｒ_ｋの絶対値とが共に聴感マスキング特性値Ｍ_ｋ以下である場合を意味する。聴感マスキング特性値Ｍ_ｋとＭＤＣＴ係数Ｘ_ｋと符号化値Ｒ_ｋとが式（２７）の条件式を満たした場合は、符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの誤差は０とし、累積誤差Ｄｉｓｔには何も加算せずにステップ５１７に進み、式（２７）の条件式を満たさない場合は、ステップ５１２に進む。

ステップ５１２では、聴感マスキング特性値Ｍ_ｋと符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの相対的な位置関係が図６における「場合２」に該当するかどうかを式（２８）の条件式により判定する。

式（２８）は、ＭＤＣＴ係数Ｘ_ｋの絶対値と符号化値Ｒ_ｋの絶対値とが共に聴感マスキング特性値Ｍ_ｋ以上であり、かつ、ＭＤＣＴ係数Ｘ_ｋと符号化値Ｒ_ｋとが異符号である場合を意味する。聴感マスキング特性値Ｍ_ｋとＭＤＣＴ係数Ｘ_ｋと符号化値Ｒ_ｋとが式（２８）の条件式を満たした場合は、ステップ５１３に進み、式（２８）の条件式を満たさない場合は、ステップ５１４に進む。

ステップ５１３では、式（２９）により符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの誤差Ｄｉｓｔ_２を求め、累積誤差Ｄｉｓｔに誤差Ｄｉｓｔ_２を加算し、ステップ５１７に進む。

ここで、βは、ＭＤＣＴ係数Ｘ_ｋ、符号化値Ｒ_ｋ及び聴感マスキング特性値Ｍ_ｋに応じて適宜設定される値であり、１以下の値が適当であり、被験者の評価により実験的に求めた数値を採用してもよい。また、Ｄ_２１、Ｄ_２２及びＤ_２３は、それぞれ式（３０）、式（３１）及び式（３２）により求める。

ステップ５１４では、聴感マスキング特性値Ｍ_ｋと符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの相対的な位置関係が図６における「場合３」に該当するかどうかを式（３３）の条件式により判定する。

式（３３）は、ＭＤＣＴ係数Ｘ_ｋの絶対値が聴感マスキング特性値Ｍ_ｋ以上であり、かつ、符号化値Ｒ_ｋが聴感マスキング特性値Ｍ_ｋ未満である場合を意味する。聴感マスキング特性値Ｍ_ｋとＭＤＣＴ係数Ｘ_ｋと符号化値Ｒ_ｋとが式（３３）の条件式を満たした場合は、ステップ５１５に進み、式（３３）の条件式を満たさない場合は、ステップ５１６に進む。

ステップ５１５では、式（３４）により符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの誤差Ｄｉｓｔ_３を求め、累積誤差Ｄｉｓｔに誤差Ｄｉｓｔ_３を加算し、ステップ５１７に進む。

ステップ５１６は、聴感マスキング特性値Ｍ_ｋと符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの相対的な位置関係が図６における「場合４」に該当し、式（３５）の条件式を満たす。

式（３５）は、ＭＤＣＴ係数Ｘ_ｋの絶対値が聴感マスキング特性値Ｍ_ｋ未満であり、かつ、符号化値Ｒ_ｋが聴感マスキング特性値Ｍ_ｋ以上である場合を意味する。この時、ステップ５１６では、式（３６）により符号化値Ｒ_ｋとＭＤＣＴ係数Ｘ_ｋとの誤差Ｄｉｓｔ_４を求め、累積誤差Ｄｉｓｔに誤差Ｄｉｓｔ_４を加算し、ステップ５１７に進む。

ステップ５１７では、ｋに１を足し加える。

ステップ５１８では、Ｎとｋを比較し、ｋがＮより小さい値の場合は、ステップ５０９に戻る。ｋがＮと同じ値の場合は、ステップ５１９に進む。

ステップ５１９では、累積誤差Ｄｉｓｔと最小誤差Ｄｉｓｔ_ＭＩＮとを比較し、累積誤差Ｄｉｓｔが最小誤差Ｄｉｓｔ_ＭＩＮより小さい値の場合は、ステップ５２０に進み、累積誤差Ｄｉｓｔが最小誤差Ｄｉｓｔ_ＭＩＮ以上である場合は、ステップ５２１に進む。

ステップ５２０では、最小誤差Ｄｉｓｔ_ＭＩＮに累積誤差Ｄｉｓｔを代入し、ｃｏｄｅ＿ｉｎｄｅｘ_ＭＩＮにｊを代入し、誤差最小利得Ｄｉｓｔ_ＭＩＮに利得Ｇａｉｎを代入し、ステップ５２１に進む。

ステップ５２１では、ｊに１を足し加える。

ステップ５２２では、コードベクトルの総数Ｎ_ｊとｊとを比較し、ｊがＮ_ｊより小さい値の場合は、ステップ５０２に戻る。ｊがＮ_ｊ以上である場合は、ステップ５２３に進む。

ステップ５２３では、利得コードブック２０５からＮ_ｄ種類の利得コードｇａｉｎ^ｄ（ｄ＝０、Λ、Ｎ_ｄ−１）を読み込み、全てのｄに対して式（３７）により量子化利得誤差ｇａｉｎｅｒｒ^ｄ（ｄ＝０、Λ、Ｎ_ｄ−１）を求める。

次に、ステップ５２３では、量子化利得誤差ｇａｉｎｅｒｒ^ｄ（ｄ＝０、Λ、Ｎ_ｄ−１）を最小とするｄを求め、求めたｄをｇａｉｎ＿ｉｎｄｅｘ_ＭＩＮに代入する。

ステップ５２４では、累積誤差Ｄｉｓｔが最小となるコードベクトルのインデックスであるｃｏｄｅ＿ｉｎｄｅｘ_ＭＩＮとステップ５２３で求めたｇａｉｎ＿ｉｎｄｅｘ_ＭＩＮとを符号化情報１０２として、図１の伝送路１０３に出力し、処理を終了する。

以上が、符号化部１０１の処理の説明である。

次に、図１の音声・楽音復号化装置１０５について、図７の詳細ブロック図を用いて説明する。

形状コードブック２０４、利得コードブック２０５は、それぞれ図２で示すものと同様である。

ベクトル復号化部７０１は、伝送路１０３を介して伝送される符号化情報１０２を入力とし、符号化情報であるｃｏｄｅ＿ｉｎｄｅｘ_ＭＩＮとｇａｉｎ＿ｉｎｄｅｘ_ＭＩＮとを用いて、形状コードブック２０４からコードベクトルｃｏｄｅｋ^{ｃｏｄｅ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）を読み込み、また、利得コードブック２０５から利得コードｇａｉｎ^{ｇａｉｎ＿ｉｎｄｅｘＭＩＮ}を読み込む。次に、ベクトル復号化部７０１は、ｇａｉｎ^{ｇａｉｎ＿ｉｎｄｅｘＭＩＮ}とｃｏｄｅｋ^{ｃｏｄｅ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）とを乗算し、乗算した結果得られるｇａｉｎ^{ｇａｉｎ＿ｉｎｄｅｘＭＩＮ}×ｃｏｄｅｋ^{ｃｏｄｅ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）を復号化ＭＤＣＴ係数として直交変換処理部７０２に出力する。

直交変換処理部７０２は、バッファｂｕｆ_ｋ’を内部に有し、式（３８）により初期化する。

次に、ＭＤＣＴ係数復号化部７０１から出力される復号化ＭＤＣＴ係数ｇａｉｎ^{ｇａｉｎ＿ｉｎｄｅｘＭＩＮ}×ｃｏｄｅｋ^{ｃｏｄｅ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）を入力とし、式（３９）により復号化信号Ｙ_ｎを求める。

ここで、Ｘ_ｋ’は、復号化ＭＤＣＴ係数ｇａｉｎ^{ｇａｉｎ＿ｉｎｄｅｘＭＩＮ}×ｃｏｄｅｋ^{ｃｏｄｅ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）とバッファｂｕｆ_ｋ’とを結合させたベクトルであり、式（４０）により求める。

次に、式（４１）によりバッファｂｕｆ_ｋ’を更新する。

次に、復号化信号ｙ_ｎを出力信号１０６として出力する。

このように、入力信号のＭＤＣＴ係数を求める直交変換処理部と、聴感マスキング特性値を求める聴感マスキング特性値算出部と、聴感マスキング特性値を利用したベクトル量子化を行うベクトル量子化部とを設け、聴感マスキング特性値とＭＤＣＴ係数と量子化されたＭＤＣＴ係数との相対的位置関係に応じてベクトル量子化の距離計算を行うことにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することができ、より高品質な出力信号を得ることができる。

なお、ベクトル量子化部２０２において、前記場合１から場合５の各距離計算に対し聴感重み付けフィルタを適用することにより量子化することも可能である。

なお、本実施の形態では、ＭＤＣＴ係数の符号化を行う場合について説明したが、フーリエ変換、離散コサイン変換（ＤＣＴ）、及び直交鏡像フィルタ（ＱＭＦ）等の直交変換を用いて、変換後の信号（周波数パラメータ）の符号化を行う場合についても本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。

なお、本実施の形態では、ベクトル量子化により符号化を行う場合について説明したが、本発明は符号化方法に制限はなく、例えば、分割ベクトル量子化、多段階ベクトル量子化により符号化を行ってもよい。

なお、音声・楽音符号化装置１０１を図１６のフローチャートで示した手順をプログラムによりコンピュータで実行させてもよい。

以上説明したように、入力信号から聴感マスキング特性値を算出し、入力信号のＭＤＣＴ係数、符号化値、及び聴感マスキング特性値の相対的な位置関係を全て考慮し、人の聴感に適した距離計算法を適用することにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することができ、入力信号を低ビットレートで量子化した場合においても、より良好な復号化音声を得ることができる。

また、特許文献１では、図６の「場合５」のみ開示されているが、本発明においては、それらに加え、「場合２」、「場合３」、及び「場合４」に示されているように全ての組合せ関係においても、聴感マスキング特性値を考慮した距離計算手法を採ることにより、入力信号のＭＤＣＴ係数、符号化値及び聴感マスキング特性値の相対的な位置関係を全て考慮し、聴感に適した距離計算法を適用することで、入力信号を低ビットレートで量子化した場合においても、より良好な高品質な復号化音声を得ることができる。

また、本発明は、入力信号のＭＤＣＴ係数または符号化値がこの聴感マスキング領域に存在した場合、また聴感マスキング領域を挟んで存在する場合、そのまま距離計算を行い、ベクトル量子化を行うと、実際の聴感が異なって聞こえるということに基づいたもので、ベクトル量子化の際の距離計算の方法を変えることにより、より自然な聴感を与えることができる。

（実施の形態２）
本発明の実施の形態２では、実施の形態１で説明した聴感マスキング特性値を用いたベクトル量子化をスケーラブル符号化に適用した例について説明する。

以下、本実施の形態では、基本レイヤと拡張レイヤとで構成される二階層の音声符号化／復号化方法において拡張レイヤで聴感マスキング特性値を利用したベクトル量子化を行う場合について説明する。

スケーラブル音声符号化方法とは、周波数特性に基づき複数の階層（レイヤ）に音声信号を分解し符号化する方法である。具体的には、下位レイヤの入力信号と下位レイヤの出力信号との差である残差信号を利用して各レイヤの信号を算出する。復号側ではこれら各レイヤの信号を加算し音声信号を復号する。この仕組みにより、音質を柔軟に制御できるほか、ノイズに強い音声信号の転送が可能となる。

なお、本実施の形態では、基本レイヤがＣＥＬＰタイプの音声符号化／復号化を行う場合を例にして説明する。

図８は、本発明の実施の形態２に係るＭＤＣＴ係数ベクトル量子化方法を利用した符号化装置及び復号化装置の構成を示すブロック図である。なお、図８において、基本レイヤ符号化部８０１、基本レイヤ復号化部８０３及び拡張レイヤ符号化部８０５により符号化装置が構成され、基本レイヤ復号化部８０８、拡張レイヤ復号化部８１０及び加算部８１２により復号化装置が構成される。

基本レイヤ符号化部８０１は、入力信号８００をＣＥＬＰタイプの音声符号化方法を用いて符号化し、基本レイヤ符号化情報８０２を算出する共に、それを基本レイヤ復号化部８０３及び伝送路８０７を介して基本レイヤ復号化部８０８に出力する。

基本レイヤ復号化部８０３は、ＣＥＬＰタイプの音声復号化方法を用いて基本レイヤ符号化情報８０２を復号化し、基本レイヤ復号化信号８０４を算出すると共に、それを拡張レイヤ符号化部８０５に出力する。

拡張レイヤ符号化部８０５は、基本レイヤ復号化部８０３より出力される基本レイヤ復号化信号８０４と、入力信号８００とを入力し、聴感マスキング特性値を利用したベクトル量子化により、入力信号８００と基本レイヤ復号化信号８０４との残差信号を符号化し、符号化によって求められる拡張レイヤ符号化情報８０６を、伝送路８０７を介して拡張レイヤ復号化部８１０に出力する。拡張レイヤ符号化部８０５についての詳細は後述する。

基本レイヤ復号化部８０８は、ＣＥＬＰタイプの音声復号化方法を用いて基本レイヤ符号化情報８０２を復号化し、復号化によって求められる基本レイヤ復号化信号８０９を加算部８１２に出力する。

拡張レイヤ復号化部８１０は、拡張レイヤ符号化情報８０６を復号化し、復号化によって求められる拡張レイヤ復号化信号８１１を加算部８１２に出力する。

加算部８１２は、基本レイヤ復号化部８０８から出力された基本レイヤ復号化信号８０９と拡張レイヤ復号化部８１０から出力された拡張レイヤ復号化信号８１１とを加算し、加算結果である音声・楽音信号を出力信号８１３として出力する。

次に、基本レイヤ符号化部８０１について図９のブロック図を用いて説明する。

基本レイヤ符号化部８０１の入力信号８００は、前処理部９０１に入力される。前処理部９０１は、ＤＣ成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号（Ｘｉｎ）をＬＰＣ分析部９０２および加算部９０５に出力する。

ＬＰＣ分析部９０２は、Ｘｉｎを用いて線形予測分析を行い、分析結果（線形予測係数）をＬＰＣ量子化部９０３へ出力する。ＬＰＣ量子化部９０３は、ＬＰＣ分析部９０２から出力された線形予測係数（ＬＰＣ）の量子化処理を行い、量子化ＬＰＣを合成フィルタ９０４へ出力するとともに量子化ＬＰＣを表す符号（Ｌ）を多重化部９１４へ出力する。

合成フィルタ９０４は、量子化ＬＰＣに基づくフィルタ係数により、後述する加算部９１１から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部９０５へ出力する。

加算部９０５は、合成信号の極性を反転させてＸｉｎに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部９１２へ出力する。

適応音源符号帳９０６は、過去に加算部９１１によって出力された駆動音源をバッファに記憶しており、パラメータ決定部９１３から出力された信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部９０９へ出力する。

量子化利得生成部９０７は、パラメータ決定部９１３から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部９０９と乗算部９１０へ出力する。

固定音源符号帳９０８は、パラメータ決定部９１３から出力された信号によって特定される形状を有するパルス音源ベクトルに拡散ベクトルを乗算して得られた固定音源ベクトルを乗算部９１０へ出力する。

乗算部９０９は、量子化利得生成部９０７から出力された量子化適応音源利得を、適応音源符号帳９０６から出力された適応音源ベクトルに乗じて、加算部９１１へ出力する。乗算部９１０は、量子化利得生成部９０７から出力された量子化固定音源利得を、固定音源符号帳９０８から出力された固定音源ベクトルに乗じて、加算部９１１へ出力する。

加算部９１１は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをそれぞれ乗算部９０９と乗算部９１０とから入力し、これらをベクトル加算し、加算結果である駆動音源を合成フィルタ９０４および適応音源符号帳９０６へ出力する。なお、適応音源符号帳９０６に入力された駆動音源は、バッファに記憶される。

聴覚重み付け部９１２は、加算部９０５から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部９１３へ出力する。

パラメータ決定部９１３は、聴覚重み付け部９１２から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳９０６、固定音源符号帳９０８及び量子化利得生成部９０７から選択し、選択結果を示す適応音源ベクトル符号（Ａ）、音源利得符号（Ｇ）及び固定音源ベクトル符号（Ｆ）を多重化部９１４に出力する。

多重化部９１４は、ＬＰＣ量子化部９０３から量子化ＬＰＣを表す符号（Ｌ）を入力し、パラメータ決定部９１３から適応音源ベクトルを表す符号（Ａ）、固定音源ベクトルを表す符号（Ｆ）および量子化利得を表す符号（Ｇ）を入力し、これらの情報を多重化して基本レイヤ符号化情報８０２として出力する。

次に、基本レイヤ復号化部８０３（８０８）について図１０を用いて説明する。

図１０において、基本レイヤ復号化部８０３（８０８）に入力された基本レイヤ符号化情報８０２は、多重化分離部１００１によって個々の符号（Ｌ、Ａ、Ｇ、Ｆ）に分離される。分離されたＬＰＣ符号（Ｌ）はＬＰＣ復号化部１００２に出力され、分離された適応音源ベクトル符号（Ａ）は適応音源符号帳１００５に出力され、分離された音源利得符号（Ｇ）は量子化利得生成部１００６に出力され、分離された固定音源ベクトル符号（Ｆ）は固定音源符号帳１００７へ出力される。

ＬＰＣ復号化部１００２は、多重化分離部１００１から出力された符号（Ｌ）から量子化ＬＰＣを復号化し、合成フィルタ１００３に出力する。

適応音源符号帳１００５は、多重化分離部１００１から出力された符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部１００８へ出力する。

量子化利得生成部１００６は、多重化分離部１００１から出力された音源利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部１００８及び乗算部１００９へ出力する。

固定音源符号帳１００７は、多重化分離部１００１から出力された符号（Ｆ）で指定される固定音源ベクトルを生成し、乗算部１００９へ出力する。

乗算部１００８は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部１０１０へ出力する。乗算部１００９は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部１０１０へ出力する。

加算部１０１０は、乗算部１００８、乗算部１００９から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルの加算を行い、駆動音源を生成し、これを合成フィルタ１００３及び適応音源符号帳１００５に出力する。

合成フィルタ１００３は、ＬＰＣ復号化部１００２によって復号化されたフィルタ係数を用いて、加算部１０１０から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部１００４へ出力する。

後処理部１００４は、合成フィルタ１００３から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、基本レイヤ復号化信号８０４（８１０）として出力する。

次に、拡張レイヤ符号化部８０５について図１１を用いて説明する。

図１１の拡張レイヤ符号化部８０５は、図２と比較して、直交変換処理部１１０３への入力信号が基本レイヤ復号化信号８０４と入力信号８００との差分信号１１０２が入力される以外は同様であり、聴感マスキング特性値算出部２０３には図２と同一符号を付して説明を省略する。

拡張レイヤ符号化部８０５は、実施の形態１の符号化部１０１と同様に、入力信号８００をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号８００をｘ_ｎ（ｎ＝０、Λ、Ｎ−１）と表すこととする。

入力信号ｘ_ｎ８００は、聴感マスキング特性値算出部２０３、及び加算部１１０１に入力される。また、基本レイヤ復号化部８０３から出力される基本レイヤ復号化信号８０４は、加算部１１０１、及び直交変換処理部１１０３に入力される。

加算部１１０１は、式（４２）により残差信号１１０２ｘｒｅｓｉｄ_ｎ（ｎ＝０、Λ、Ｎ−１）を求め、求めた残差信号ｘｒｅｓｉｄ_ｎ１１０２を直交変換処理部１１０３に出力する。

ここで、ｘｂａｓｅ_ｎ（ｎ＝０、Λ、Ｎ−１）は基本レイヤ復号化信号８０４である。次に、直交変換処理部１１０３の処理について説明する。

直交変換処理部１１０３は、基本レイヤ復号化信号ｘｂａｓｅ_ｎ８０４の処理時に使用するバッファｂｕｆｂａｓｅ_ｎ（ｎ＝０、Λ、Ｎ−１）と、残差信号ｘｒｅｓｉｄ_ｎ１１０２の処理時に使用するバッファｂｕｆｒｅｓｉｄ_ｎ（ｎ＝０、Λ、Ｎ−１）を内部に有し、式（４３）及び式（４４）によってそれぞれ初期化する。

次に、直交変換処理部１１０３は、基本レイヤ復号化信号ｘｂａｓｅ_ｎ８０４と残差信号ｘｒｅｓｉｄ_ｎ１１０２とを修正離散コサイン変換（ＭＤＣＴ）することにより、基本レイヤ直交変換係数ｘｂａｓｅｋ１１０４と残差直交変換係数Ｘｒｅｓｉｄ_ｋ１１０５とをそれぞれ求める。ここで、基本レイヤ直交変換係数ｘｂａｓｅ_ｋ１１０４は式（４５）により求める。

ここで、ｘｂａｓｅ_ｎ’は基本レイヤ復号化信号ｘｂａｓｅ_ｎ８０４とバッファｂｕｆｂａｓｅ_ｎとを結合したベクトルであり、直交変換処理部１１０３は、式（４６）によりｘｂａｓｅ_ｎ’を求める。また、ｋは１フレームにおける各サンプルのインデックスである。

次に、直交変換処理部１１０３は、式（４７）によりバッファｂｕｆｂａｓｅ_ｎを更新する。

また、直交変換処理部１１０３は、式（４８）により残差直交変換係数Ｘｒｅｓｉｄ_ｋ１１０５を求める。

ここで、ｘｒｅｓｉｄ_ｎ’は残差信号ｘｒｅｓｉｄ_ｎ１１０２とバッファｂｕｆｒｅｓｉｄ_ｎとを結合したベクトルであり、直交変換処理部１１０３は、式（４９）によりｘｒｅｓｉｄｎ’を求める。また、ｋは１フレームにおける各サンプルのインデックスである。

次に、直交変換処理部１１０３は、式（５０）によりバッファｂｕｆｒｅｓｉｄ_ｎを更新する。

次に、直交変換処理部１１０３は、基本レイヤ直交変換係数Ｘｂａｓｅ_ｋ１１０４と残差直交変換係数Ｘｒｅｓｉｄ_ｋ１１０５とをベクトル量子化部１１０６に出力する。

ベクトル量子化部１１０６は、直交変換処理部１１０３から基本レイヤ直交変換係数Ｘｂａｓｅ_ｋ１１０４と残差直交変換係数Ｘｒｅｓｉｄ_ｋ１１０５と、聴感マスキング特性値算出部２０３から聴感マスキング特性値Ｍ_ｋ１１０７とを入力し、形状コードブック１１０８と利得コードブック１１０９とを用いて、聴感マスキング特性値を利用したベクトル量子化により残差直交変換係数Ｘｒｅｓｉｄ_ｋ１１０５の符号化を行い、符号化により得られる拡張レイヤ符号化情報８０６を出力する。

ここで、形状コードブック１１０８は、予め作成されたＮ_ｅ種類のＮ次元コードベクトルｃｏｄｅｒｅｓｉｄ_ｋ ^ｅ（ｅ＝０、Λ、Ｎ_ｅ−１、ｋ＝０、Λ、Ｎ−１）から構成され、前記ベクトル量子化部１１０３において残差直交変換係数Ｘｒｅｓｉｄ_ｋ１１０５をベクトル量子化する際に用いられる。

また、利得コードブック１１０９は、予め作成されたＮ_ｆ種類の残差利得コードｇａｉｎｒｅｓｉｄ^ｆ（ｆ＝０、Λ、Ｎ_ｆ−１）から構成され、前記ベクトル量子化部１１０６において残差直交変換係数Ｘｒｅｓｉｄ_ｋ１１０５をベクトル量子化する際に用いられる。

次に、ベクトル量子化部１１０６の処理について、図１２を用いて詳細に説明する。ステップ１２０１では、形状コードブック１１０８におけるコードベクトルインデックスｅに０を代入し、最小誤差Ｄｉｓｔ_ＭＩＮを十分大きな値を代入し、初期化する。

ステップ１２０２では、図１１の形状コードブック１１０８からＮ次元のコードベクトルｃｏｄｅｒｅｓｉｄ_ｋ ^ｅ（ｋ＝０、Λ、Ｎ−１）を読み込む。

ステップ１２０３では、直交変換処理部１１０３から出力された残差直交変換係数Ｘｒｅｓｉｄ_ｋを入力し、ステップ１２０２で読み込んだコードベクトルｃｏｄｅｒｅｓｉｄ_ｋ ^ｅ（ｋ＝０、Λ、Ｎ−１）の利得Ｇａｉｎｒｅｓｉｄを式（５１）により求める。

ステップ１２０４では、ステップ１２０５の実行回数を表すｃａｌｃ＿ｃｏｕｎｔ_{ｒｅｓｉｄ}に０を代入する。

ステップ１２０５では、聴感マスキング特性値算出部２０３から出力された聴感マスキング特性値Ｍ_ｋを入力とし、式（５２）により一時利得ｔｅｍｐ２_ｋ（ｋ＝０、Λ、Ｎ−１）を求める。

なお、式（５２）において、ｋが｜ｃｏｄｅｒｅｓｉｄ_ｋ ^ｅ・Ｇａｉｎｒｅｓｉｄ＋Ｘｂａｓｅ_ｋ｜≧Ｍ_ｋの条件を満たす場合、一時利得ｔｅｍｐ２_ｋにはｃｏｄｅｒｅｓｉｄ_ｋ ^ｅが代入され、ｋが｜ｃｏｄｅｒｅｓｉｄ_ｋ ^ｅ・Ｇａｉｎｒｅｓｉｄ＋Ｘｂａｓｅ_ｋ｜＜Ｍ_ｋの条件を満たす場合、ｔｅｍｐ２_ｋには０が代入される。また、ｋは１フレームにおける各サンプルのインデックスである。

次に、ステップ１２０５では、式（５３）により利得Ｇａｉｎｒｅｓｉｄを求める。

ここで、全てのｋにおいて一時利得ｔｅｍｐ２_ｋが０の場合には利得Ｇａｉｎｒｅｓｉｄに０を代入する。また、式（５４）により、利得Ｇａｉｎｒｅｓｉｄとコードベクトルｃｏｄｅｒｅｓｉｄ_ｋ ^ｅから残差符号化値Ｒｒｅｓｉｄ_ｋを求める。

また、式（５５）により、残差符号化値Ｒｒｅｓｉｄ_ｋと基本レイヤ直交変換係数Ｘｂａｓｅ_ｋから加算符号化値Ｒｐｌｕｓ_ｋを求める。

ステップ１２０６では、ｃａｌｃ＿ｃｏｕｎｔ_{ｒｅｓｉｄ}に１を足し加える。

ステップ１２０７では、ｃａｌｃ＿ｃｏｕｎｔ_{ｒｅｓｉｄ}と予め定められた非負の整数Ｎｒｅｓｉｄ_ｃとを比較し、ｃａｌｃ＿ｃｏｕｎｔ_{ｒｅｓｉｄ}がＮｒｅｓｉｄ_ｃより小さい値である場合はステップ１２０５に戻り、ｃａｌｃ＿ｃｏｕｎｔ_{ｒｅｓｉｄ}がＮｒｅｓｉｄ_ｃ以上である場合はステップ１２０８に進む。

ステップ１２０８では、累積誤差Ｄｉｓｔｒｅｓｉｄに０を代入し、また、ｋに０を代入する。また、ステップ１２０８では、式（５６）により加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋを求める。

次に、ステップ１２０９、１２１１、１２１２、及び１２１４において、聴感マスキング特性値Ｍｋ１１０７と加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの相対的な位置関係について場合分けを行い、場合分けの結果に応じてそれぞれステップ１２１０、１２１３、１２１５、及び１２１６で距離計算する。この相対的な位置関係による場合分けを図１３に示す。図１３において、白い丸記号（○）は加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋを意味し、黒い丸記号（●）はＲｐｌｕｓ_ｋを意味するものである。図１３における考え方は、実施の形態１の図６で説明した考え方と同様である。

ステップ１２０９では、聴感マスキング特性値Ｍ_ｋと加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの相対的な位置関係が図１３における「場合１」に該当するかどうかを式（５７）の条件式により判定する。

式（５７）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋの絶対値と加算符号化値Ｒｐｌｕｓ_ｋの絶対値とが共に聴感マスキング特性値Ｍ_ｋ以上であり、かつ、加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋと加算符号化値Ｒｐｌｕｓ_ｋとが同符号である場合を意味する。聴感マスキング特性値Ｍ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋと加算符号化値Ｒｐｌｕｓ_ｋとが式（５７）の条件式を満たした場合は、ステップ１２１０に進み、式（５７）の条件式を満たさない場合は、ステップ１２１１に進む。

ステップ１２１０では、式（５８）によりＲｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの誤差Ｄｉｓｔｒｅｓｉｄ_１を求め、累積誤差Ｄｉｓｔｒｅｓｉｄに誤差Ｄｉｓｔｒｅｓｉｄ_１を加算し、ステップ１２１７に進む。

ステップ１２１１では、聴感マスキング特性値Ｍ_ｋと加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの相対的な位置関係が図１３における「場合５」に該当するかどうかを式（５９）の条件式により判定する。

式（５９）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋの絶対値と加算符号化値Ｒｐｌｕｓ_ｋの絶対値とが共に聴感マスキング特性値Ｍ_ｋ未満である場合を意味する。聴感マスキング特性値Ｍ_ｋと加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋが式（５９）の条件式を満たす場合、加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの誤差は０とし、累積誤差Ｄｉｓｔｒｅｓｉｄには何も加算せずにステップ１２１７に進む。聴感マスキング特性値Ｍ_ｋと加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋが式（５９）の条件式を満たさない場合は、ステップ１２１２に進む。

ステップ１２１２では、聴感マスキング特性値Ｍ_ｋと加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの相対的な位置関係が図１３における「場合２」に該当するかどうかを式（６０）の条件式により判定する。

式（６０）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋの絶対値と加算符号化値Ｒｐｌｕｓ_ｋの絶対値とが共に聴感マスキング特性値Ｍ_ｋ以上であり、かつ、加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋと加算符号化値Ｒｐｌｕｓ_ｋとが異符号である場合を意味する。聴感マスキング特性値Ｍ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋと加算符号化値Ｒｐｌｕｓ_ｋとが式（６０）の条件式を満たした場合は、ステップ１２１３に進み、式（６０）の条件式を満たさない場合は、ステップ１２１４に進む。

ステップ１２１３では、式（６１）により加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの誤差Ｄｉｓｔｒｅｓｉｄ_２を求め、累積誤差Ｄｉｓｔｒｅｓｉｄに誤差Ｄｉｓｔｒｅｓｉｄ_２を加算し、ステップ１２１７に進む。

ここで、β_{ｒｅｓｉｄ}は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋ、加算符号化値Ｒｐｌｕｓ_ｋ及び聴感マスキング特性値Ｍ_ｋに応じて適宜設定される値であり、１以下の値が適当である。また、Ｄｒｅｓｉｄ_２１、Ｄｒｅｓｉｄ_２２及びＤｒｅｓｉｄ_２３は、それぞれ式（６２）、式（６３）及び式（６４）により求められる。

ステップ１２１４では、聴感マスキング特性値Ｍ_ｋと加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの相対的な位置関係が図１３における「場合３」に該当するかどうかを式（６５）の条件式により判定する。

式（６５）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋの絶対値が聴感マスキング特性値Ｍ_ｋ以上であり、かつ、加算符号化値Ｒｐｌｕｓ_ｋが聴感マスキング特性値Ｍ_ｋ未満である場合を意味する。聴感マスキング特性値Ｍ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋと加算符号化値Ｒｐｌｕｓ_ｋとが式（６５）の条件式を満たした場合は、ステップ１２１５に進み、式（６５）の条件式を満たさない場合は、ステップ１２１６に進む。

ステップ１２１５では、式（６６）により加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの誤差Ｄｉｓｔｒｅｓｉｄ_３を求め、累積誤差Ｄｉｓｔｒｅｓｉｄに誤差Ｄｉｓｔｒｅｓｉｄ_３を加算し、ステップ１２１７に進む。

ステップ１２１６では、聴感マスキング特性値Ｍ_ｋと加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの相対的な位置関係が図１３における「場合４」に該当し、式（６７）の条件式を満たす。

式（６７）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋの絶対値が聴感マスキング特性値Ｍ_ｋ未満であり、かつ、加算符号化値Ｒｐｌｕｓ_ｋが聴感マスキング特性値Ｍ_ｋ以上である場合を意味する。この時、ステップ１２１６は、式（６８）により加算符号化値Ｒｐｌｕｓ_ｋと加算ＭＤＣＴ係数Ｘｐｌｕｓ_ｋとの誤差Ｄｉｓｔｒｅｓｉｄ_４を求め、累積誤差Ｄｉｓｔｒｅｓｉｄに誤差Ｄｉｓｔｒｅｓｉｄ_４を加算し、ステップ１２１７に進む。

ステップ１２１７では、ｋに１を足し加える。

ステップ１２１８では、Ｎとｋを比較し、ｋがＮより小さい値の場合は、ステップ１２０９に戻る。ｋがＮ以上である場合は、ステップ１２１９に進む。

ステップ１２１９では、累積誤差Ｄｉｓｔｒｅｓｉｄと最小誤差Ｄｉｓｔｒｅｓｉｄ_ＭＩＮとを比較し、累積誤差Ｄｉｓｔｒｅｓｉｄが最小誤差Ｄｉｓｔｒｅｓｉｄ_ＭＩＮより小さい値の場合は、ステップ１２２０に進み、累積誤差Ｄｉｓｔｒｅｓｉｄが最小誤差Ｄｉｓｔｒｅｓｉｄ_ＭＩＮ以上である場合は、ステップ１２２１に進む。

ステップ１２２０では、最小誤差Ｄｉｓｔｒｅｓｉｄ_ＭＩＮに累積誤差Ｄｉｓｔｒｅｓｉｄを代入し、ｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_ＭＩＮにｅを代入し、誤差最小利得Ｄｉｓｔｒｅｓｉｄ_ＭＩＮに利得Ｄｉｓｔｒｅｓｉｄを代入し、ステップ１２２１に進む。

ステップ１２２１では、ｅに１を足し加える。

ステップ１２２２では、コードベクトルの総数Ｎ_ｅとｅとを比較し、ｅがＮ_ｅより小さい値の場合は、ステップ１２０２に戻る。ｅがＮ_ｅ以上である場合は、ステップ１２２３に進む。

ステップ１２２３では、図１１の利得コードブック１１０９からＮ_ｆ種類の残差利得コードｇａｉｎｒｅｓｉｄ^ｆ（ｆ＝０、Λ、Ｎ_ｆ−１）を読み込み、全てのｆに対して式（６９）により量子化残差利得誤差ｇａｉｎｒｅｓｉｄｅｒｒ^ｆ（ｆ＝０、Λ、Ｎ_ｆ−１）を求める。

次に、ステップ１２２３では、量子化残差利得誤差ｇａｉｎｒｅｓｉｄｅｒｒ^ｆ（ｆ＝０、Λ、Ｎ_ｆ−１）を最小とするｆを求め、求めたｆをｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_ＭＩＮに代入する。

ステップ１２２４では、累積誤差Ｄｉｓｔｒｅｓｉｄが最小となるコードベクトルのインデックスであるｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_ＭＩＮ、及びステップ１２２３で求めたｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_ＭＩＮを拡張レイヤ符号化情報８０６として、伝送路８０７に出力し、処理を終了する。

次に、拡張レイヤ復号化部８１０について、図１４のブロック図を用いて説明する。形状コードブック１４０３は、形状コードブック１１０８と同様に、Ｎ_ｅ種類のＮ次元コードベクトルｇａｉｎｒｅｓｉｄ_ｋ ^ｅ（ｅ＝０、Λ、Ｎ_ｅ−１、ｋ＝０、Λ、Ｎ−１）から構成される。また利得コードブック１４０４は、利得コードブック１１０９と同様に、Ｎ_ｆ種類の残差利得コードｇａｉｎｒｅｓｉｄ^ｆ（ｆ＝０、Λ、Ｎ_ｆ−１）から構成される。

ベクトル復号化部１４０１は、伝送路８０７を介して伝送される拡張レイヤ符号化情報８０６を入力とし、符号化情報であるｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_ＭＩＮとｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_ＭＩＮとを用いて、形状コードブック１４０３からコードベクトルｃｏｄｅｒｅｓｉｄ_ｋ ^{ｃｏｄｅｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）を読み込み、また利得コードブック１４０４からコードｇａｉｎｒｅｓｉｄ^{ｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}を読み込む。次に、ベクトル復号化部１４０１は、ｇａｉｎｒｅｓｉｄ^{ｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}とｃｏｄｅｒｅｓｉｄ_ｋ ^{ｃｏｄｅｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）を乗算し、乗算した結果得られるｇａｉｎｒｅｓｉｄ^{ｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}・ｃｏｄｅｒｅｓｉｄ_ｋ ^{ｃｏｄｅｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）を復号化残差直交変換係数として残差直交変換処理部１４０２に出力する。

次に、残差直交変換処理部１４０２の処理について説明する。

残差直交変換処理部１４０２は、バッファｂｕｆｒｅｓｉｄ_ｋ’を内部に有し、式（７０）により初期化される。

残差直交変換係数復号化部１４０１から出力される復号化残差直交変換係数ｇａｉｎｒｅｓｉｄ^{ｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}・ｃｏｄｅｒｅｓｉｄ_ｋ ^{ｃｏｄｅｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）を入力して、式（７１）により拡張レイヤ復号化信号ｙｒｅｓｉｄ_ｎ８１１を求める。

ここで、Ｘｒｅｓｉｄ_ｋ’は復号化残差直交変換係数ｇａｉｎｒｅｓｉｄ^{ｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}・ｃｏｄｅｒｅｓｉｄ_ｋ ^{ｃｏｄｅｒｅｓｉｄ＿ｉｎｄｅｘＭＩＮ}（ｋ＝０、Λ、Ｎ−１）とバッファｂｕｆｒｅｓｉｄ_ｋ’とを結合させたベクトルであり、式（７２）により求める。

次に、式（７３）によりバッファｂｕｆｒｅｓｉｄ_ｋ’を更新する。

次に、拡張レイヤ復号化信号ｙｒｅｓｉｄ_ｎ８１１を出力する。

なお、本発明はスケーラブル符号化の階層について制限はなく、三階層以上の階層的な音声符号化／復号化方法において上位レイヤで聴感マスキング特性値を利用したベクトル量子化を行う場合についても適用することができる。

なお、ベクトル量子化部１１０６において、前記場合１から場合５の各距離計算に対し聴感重み付けフィルタを適用することにより量子化してもよい。

なお、本実施の形態では、基本レイヤ符号化部／復号化部の音声符号化／復号化方法としてＣＥＬＰタイプの音声符号化／復号化方法を例に挙げ説明したが、その他の音声符号化／復号化方法を用いてもよい。

なお、本実施の形態では、基本レイヤ符号化情報及び拡張レイヤ符号化情報を別々に送信する例を提示したが、各レイヤの符号化情報を多重化して送信し、復号側で多重化分離して各レイヤの符号化情報を復号するよう構成してもよい。

このように、スケーラブル符号化方式においても、本発明の聴感マスキング特性値を利用したベクトル量子化を適用することにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することができ、より高品質な出力信号を得ることができる。

（実施の形態３）
図１５は、本発明の実施の形態３おける上記実施の形態１、２で説明した符号化装置及び復号化装置を含む音声信号送信装置及び音声信号受信装置の構成を示すブロック図である。より具体的な応用としては、携帯電話、カーナビゲーションシステム等に適応可能である。

図１５において、入力装置１５０２は、音声信号１５００をデジタル信号にＡ／Ｄ変換し音声・楽音符号化装置１５０３へ出力する。音声・楽音符号化装置１５０３は、図１に示した音声・楽音符号化装置１０１を実装し、入力装置１５０２から出力されたデジタル音声信号を符号化し、符号化情報をＲＦ変調装置１５０４へ出力する。ＲＦ変調装置１５０４は音声・楽音符号化装置１５０３から出力された音声符号化情報を電波等の伝播媒体に載せて送出するための信号に変換し送信アンテナ１５０５へ出力する。送信アンテナ１５０５はＲＦ変調装置１５０４から出力された出力信号を電波（ＲＦ信号）として送出する。なお、図中のＲＦ信号１５０６は送信アンテナ１５０５から送出された電波（ＲＦ信号）を表す。以上が音声信号送信装置の構成および動作である。

ＲＦ信号１５０７は受信アンテナ１５０８によって受信されＲＦ復調装置１５０９へ出力される。なお、図中のＲＦ信号１５０７は受信アンテナ１５０８に受信された電波を表し、伝播路において信号の減衰や雑音の重畳がなければＲＦ信号１５０６と全く同じものになる。

ＲＦ復調装置１５０９は受信アンテナ１５０８から出力されたＲＦ信号から音声符号化情報を復調し、音声・楽音復号化装置１５１０へ出力する。音声・楽音復号化装置１５１０は、図１に示した音声・楽音復号化装置１０５を実装し、ＲＦ復調装置１５０９から出力された音声符号化情報から音声信号を復号化し、出力装置１５１１は、復号されたデジタル音声信号をアナログ信号にＤ／Ａ変換し、電気的信号を空気の振動に変換し音波として人間の耳に聴こえるように出力する。

このように、音声信号送信装置及び音声信号受信装置おいても、高品質な出力信号を得ることができる。

本明細書は、２００３年１２月２６日出願の特願２００３−４３３１６０に基づくものである。この内容を全てここに含めておく。

本発明は、聴感マスキング特性値を利用したベクトル量子化を適用することにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することができ、より高品質な出力信号を得ることができるという効果を有し、インターネット通信に代表されるパケット通信システムや、携帯電話、カーナビゲーションシステム等の移動通信システムの分野で、適応可能である。

本発明は、インターネット通信に代表されるパケット通信システムや、移動通信システムなどで音声・楽音信号の伝送を行う音声・楽音符号化装置及び音声・楽音符号化方法に関する。

インターネット通信に代表されるパケット通信システムや、移動通信システムなどで音声信号を伝送する場合、伝送効率を高めるために圧縮・符号化技術が利用される。これまでに多くの音声符号化方式が開発され、近年開発された低ビットレート音声符号化方式の多くは、音声信号をスペクトル情報とスペクトルの微細構造情報とに分離し、分離したそれぞれに対して圧縮・符号化を行うという方式である。

また、ＩＰ電話に代表されるようなインターネット上での音声通話環境が整備されつつあり、音声信号を効率的に圧縮して転送する技術に対するニーズが高まっている。

特に、人間の聴感マスキング特性を利用した音声符号化に関する様々な方式が検討されている。聴感マスキングとは、ある周波数に含まれる強い信号成分が存在する時に、隣接する周波数成分が、聞こえなくなる現象でこの特性を利用して品質向上を図るものである。

これに関連した技術としては、例えば、ベクトル量子化の距離計算時に聴感マスキング特性を利用した特許文献１に記載されるような方法がある。

特許文献１の聴感マスキング特性を用いた音声符号化手法は、入力された信号の周波数成分と、コードブックが示すコードベクトルの双方が聴感マスキング領域にある場合、ベクトル量子化時の距離を０とする計算方法である。これにより、聴感マスキング領域外における距離の重みが相対的に大きくなり、より効率的に音声符号化することが可能となる。
特開平８−１２３４９０号公報（第３頁、第１図）

しかしながら、特許文献１に示す従来方法では、入力信号及びコードベクトルの限られた場合にしか適応できず音質性能が不十分であった。

本発明の目的は、上記の課題に鑑みてなされたものであり、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択し、高品質な音声・楽音符号化装置及び音声・楽音符号化方法を提供することである。

上記課題を解決するために、本発明の音声・楽音符号化装置は、音声・楽音信号を時間成分から周波数成分へ変換する直交変換処理手段と、前記音声・楽音信号から聴感マスキング特性値を求める聴感マスキング特性値算出手段と、前記聴感マスキング特性値に基づいて、前記周波数成分と、予め設定されたコードブックから求めたコードベクトルと前記周波数成分と間の距離計算方法を変えてベクトル量子化を行うベクトル量子化手段と、を具備する構成を採る。

本発明によれば、聴感マスキング特性値に基づき、入力信号とコードベクトルとの距離計算方法を変えて量子化を行うことにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することが可能になり、入力信号の再現性を高め良好な復号化音声を得ることができる。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る音声・楽音符号化装置及び音声・楽音復号化装置を含むシステム全体の構成を示すブロック図である。

このシステムは、入力信号を符号化する音声・楽音符号化装置１０１と伝送路１０３と受信した信号を復号化する音声・楽音復号化装置１０５から構成される。

なお、伝送路１０３は、無線ＬＡＮあるいは携帯端末のパケット通信、Ｂｌｕｅｔｏｏｔｈなどの無線伝送路であってもよいし、ＡＤＳＬ、ＦＴＴＨなどの有線伝送路であってもよい。

音声・楽音符号化装置１０１は、入力信号１００を符号化し、その結果を符号化情報１０２として伝送路１０３に出力する。

音声・楽音復号化装置１０５は、伝送路１０３を介して符号化情報１０２を受信し、復号化し、その結果を出力信号１０６として出力する。

次に、音声・楽音符号化装置１０１の構成について図２のブロック図を用いて説明する。図２において、音声・楽音符号化装置１０１は、入力信号１００を時間成分から周波数成分へ変換する直交変換処理部２０１と、入力信号１００から聴感マスキング特性値を算出する聴感マスキング特性値算出部２０３と、インデックスと正規化されたコードベクトルの対応を示す形状コードブック２０４と、形状コードブック２０４の正規化された各コードベクトルに対応してその利得を示す利得コードブック２０５と、前記聴感マスキング特性値、前記形状コードブック及び利得コードブックを用いて前記周波数成分へ変換された入力信号をベクトル量子化するベクトル量子化部２０２とから主に構成される。

次に、図１６のフローチャートの手順に従って、音声・楽音符号化装置１０１の動作について、詳細に説明する。

まず、入力信号のサンプリング処理について説明する。音声・楽音符号化装置１０１は、入力信号１００をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号１００をｘ_n（ｎ＝０、Λ、Ｎ−１）と表すこととする。ｎは前記区切られた入力信号である信号要素のｎ＋１番目であることを示す。

入力信号ｘ_n１００は、直交変換処理部２０１及び聴感マスキング特性算出部２０３に入力される。

次に、直交変換処理部２０１は、前記信号要素に対応してバッファｂｕｆ_n（ｎ＝０、Λ、Ｎ−１）を内部に有し、式（１）によりそれぞれ０を初期値として初期化する。

次に、直交変換処理（ステップＳ１６０１）について、直交変換処理部２０１における計算手順と内部バッファへのデータ出力に関して説明する。

直交変換処理部２０１は、入力信号ｘ_n１００を修正離散コサイン変換（ＭＤＣＴ）し、式（２）によりＭＤＣＴ係数Ｘ_kを求める。

ここで、ｋは１フレームにおける各サンプルのインデックスを意味する。直交変換処理部２０１は、入力信号ｘ_n１００とバッファｂｕｆ_nとを結合させたベクトルであるｘ_n'を式（３）により求める。

次に、直交変換処理部２０１は、式（４）によりバッファｂｕｆ_nを更新する。

次に、直交変換処理部２０１は、ＭＤＣＴ係数Ｘ_kをベクトル量子化部２０２に出力する。

次に、図２の聴感マスキング特性値算出部２０３の構成について、図３のブロック図を用いて説明する。

図３において、聴感マスキング特性値算出部２０３は、入力信号をフーリエ変換するフーリエ変換部３０１と、前記フーリエ変換された入力信号からパワースペクトルを算出するパワースペクトル算出部３０２と、入力信号から最小可聴閾値を算出する最小可聴閾値算出部３０４と、前記算出された最小可聴閾値をバッファリングするメモリバッファ３０５と、前記算出されたパワースペクトルと前記バッファリングされた最小可聴閾値から聴感マスキング値を計算する聴感マスキング値算出部３０３とから構成される。

次に、上記のように構成された聴感マスキング特性値算出部２０３における聴感マスキング特性値算出処理（ステップＳ１６０２）について、図１７のフローチャートを用いて動作を説明する。

なお、聴感マスキング特性値の算出方法については、Johnston氏らによる論文(J.Johnston, "Estimation of perceptual entropy using noise masking criteria",in Proc.ICASSP-88, May 1988, pp.2524-2527)に開示されている。

まず、フーリエ変換処理（ステップＳ１７０１）についてフーリエ変換部３０１の動作を説明する。

フーリエ変換部３０１は、入力信号ｘ_n１００を入力して、これを式（５）により周波数領域の信号Ｆ_kに変換する。ここで、ｅは自然対数の底であり、ｋは１フレームにおける各サンプルのインデックスである。

次に、フーリエ変換部３０１は、得られたＦ_kをパワースペクトル算出部３０２に出力する。

次に、パワースペクトル算出処理（ステップＳ１７０２）について説明する。

パワースペクトル算出部３０２は、前記フーリエ変換部３０１から出力された周波数領域の信号Ｆ_kを入力とし、式（６）によりＦ_kのパワースペクトルＰ_kを求める。ただし、ｋは１フレームにおける各サンプルのインデックスである。

なお、式（６）において、Ｆ_k ^Reは周波数領域の信号Ｆ_kの実部であり、パワースペクトル算出部３０２は、式（７）によりＦ_k ^Reを求める。

また、Ｆ_k ^Imは周波数領域の信号Ｆ_kの虚部であり、パワースペクトル算出部３０２は、式（８）によりＦ_k ^Imを求める。

次に、パワースペクトル算出部３０２は、得られたパワースペクトルＰ_kを聴感マスキング値算出部３０３に出力する。

次に、最小可聴閾値算出処理（ステップＳ１７０３）について説明する。

最小可聴閾値算出部３０４は、第１フレームにおいてのみ、式（９）により最小可聴閾値ａｔｈ_kを求める。

次に、メモリバッファへの保存処理（ステップＳ１７０４）について説明する。

最小可聴閾値算出部３０４は、最小可聴閾値ａｔｈ_kをメモリバッファ３０５に出力する。メモリバッファ３０５は、入力された最小可聴閾値ａｔｈ_kを聴感マスキング値算出部３０３に出力する。最小可聴閾値ａｔｈ_kとは、人間の聴覚に基づき各周波数成分に対して定められ、ａｔｈ_k以下の成分は聴感的に知覚することができないという値である。

次に、聴感マスキング値算出処理（ステップＳ１７０５）について聴感マスキング値算出部３０３の動作を説明する。

聴感マスキング値算出部３０３は、パワースペクトル算出部３０２から出力されたパワースペクトルＰ_kを入力し、パワースペクトルＰ_kをｍの臨界帯域幅に分割する。ここで、臨界帯域幅とは、帯域雑音を増加してもその中心周波数の純音がマスクされる量が増えなくなる限界の帯域幅のことである。また、図４に、臨界帯域幅の構成例を示す。図４において、ｍは臨界帯域幅の総数であり、パワースペクトルＰ_kはｍの臨界帯域幅に分割される。また、ｉは臨界帯域幅のインデックスであり、０〜ｍ−１の値をとる。また、ｂｈ_i及びｂｌ_iは各臨界帯域幅ｉの最小周波数インデックス及び最大周波数インデックスであ
る。

次に、聴感マスキング値算出部３０３は、パワースペクトル算出部３０２から出力されたパワースペクトルＰ_kを入力し、式（１０）により臨界帯域幅毎に加算されたパワースペクトルＢ_iを求める。

次に、聴感マスキング値算出部３０３は、式（１１）により拡散関数ＳＦ（ｔ）（Spreading Function）を求める。拡散関数ＳＦ（ｔ）とは、各周波数成分に対して、その周波数成分が近隣周波数に及ぼす影響（同時マスキング効果）を算出するために用いるものである。

ここで、Ｎ_tは定数であり、式（１２）の条件を満たす範囲内で予め設定される。

次に、聴感マスキング値算出部３０３は、式（１３）により臨界帯域幅毎に加算されたパワースペクトルＢ_iと拡散関数ＳＦ（ｔ）を用い、定数Ｃ_iを求める。

次に、聴感マスキング値算出部３０３は、式（１４）により幾何平均μ_i ^gを求める。

次に、聴感マスキング値算出部３０３は、式（１５）により算術平均μ_i ^aを求める。

次に、聴感マスキング値算出部３０３は、式（１６）によりＳＦＭ_i（Spectral Flatness Measure）を求める。

次に、聴感マスキング値算出部３０３は、式（１７）により定数α_iを求める。

次に、聴感マスキング値算出部３０３は、式（１８）により臨界帯域幅毎のオフセット値Ｏ_iを求める。

次に、聴感マスキング値算出部３０３は、式（１９）により臨界帯域幅毎の聴感マスキング値Ｔ_iを求める。

次に、聴感マスキング値算出部３０３は、メモリバッファ３０５から出力される最小可聴閾値ａｔｈ_kから、式（２０）により聴感マスキング特性値Ｍ_kを求め、これをベクトル量子化部２０２に出力する。

次に、ベクトル量子化部２０２における処理であるコードブック取得処理（ステップＳ１６０３）及びベクトル量子化処理（ステップＳ１６０４）について、図５処理フローを用いて詳細に説明する。

ベクトル量子化部２０２は、直交変換処理部２０１から出力されるＭＤＣＴ係数Ｘ_kと前記聴感マスキング特性値算出部２０３から出力される聴感マスキング特性値から、形状コードブック２０４、及び利得コードブック２０５を用いて、ＭＤＣＴ係数Ｘ_kのベクトル量子化を行い、得られた符号化情報１０２を、図１の伝送路１０３に出力する。

次に、コードブックについて説明する。

形状コードブック２０４は、予め作成されたＮ_j種類のＮ次元コードベクトルｃｏｄｅ_k ^j（ｊ＝０、Λ、Ｎ_j−１、ｋ＝０、Λ、Ｎ−１）から構成され、また、利得コードブック２０５は、予め作成されたＮ_d種類の利得コードｇａｉｎ^d（ｊ＝０、Λ、Ｎ_d−１）
から構成される。

ステップ５０１では、形状コードブック２０４におけるコードベクトルインデックスｊに０を代入し、最小誤差Ｄｉｓｔ_MINに十分大きな値を代入し、初期化する。

ステップ５０２では、形状コードブック２０４からＮ次元のコードベクトルｃｏｄｅkj（ｋ＝０、Λ、Ｎ−１）を読み込む。

ステップ５０３では、直交変換処理部２０１から出力されたＭＤＣＴ係数Ｘ_kを入力して、ステップ５０２の形状コードブック２０４で読み込んだコードベクトルｃｏｄｅ_k ^j（ｋ＝０、Λ、Ｎ−１）の利得Ｇａｉｎを式（２１）により求める。

ステップ５０４では、ステップ５０５の実行回数を表すｃａｌｃ＿ｃｏｕｎｔに０を代入する。

ステップ５０５では、聴感マスキング特性値算出部２０３から出力された聴感マスキング特性値Ｍ_kを入力し、式（２２）により一時利得ｔｅｍｐ_k（ｋ＝０、Λ、Ｎ−１）を求める。

なお、式（２２）において、ｋが｜ｃｏｄｅ_k ^j・Ｇａｉｎ｜≧Ｍ_kの条件を満たす場合、一時利得ｔｅｍｐ_kにはｃｏｄｅ_k ^jが代入され、ｋが｜ｃｏｄｅ_k ^j・Ｇａｉｎ｜＜Ｍ_kの条件を満たす場合、一時利得ｔｅｍｐ_kには０が代入される。

次に、ステップ５０５では、式（２３）により聴感マスキング値以上の要素に対する利得Ｇａｉｎを求める。

ここで、全てのｋにおいて一時利得ｔｅｍｐ_kが０の場合には利得Ｇａｉｎに０を代入する。また、式（２４）により、利得Ｇａｉｎとｃｏｄｅ_k ^jから符号化値Ｒ_kを求める。

ステップ５０６では、ｃａｌｃ＿ｃｏｕｎｔに１を足し加える。

ステップ５０７では、ｃａｌｃ＿ｃｏｕｎｔと予め定められた非負の整数Ｎ_cとを比較し、ｃａｌｃ＿ｃｏｕｎｔがＮ_cより小さい値である場合はステップ５０５に戻り、ｃａｌｃ＿ｃｏｕｎｔがＮ_c以上である場合はステップ５０８に進む。このように、利得Ｇａｉｎを繰り返し求めることにより、利得Ｇａｉｎを適切な値にまで収束させることができる。

ステップ５０８では、累積誤差Ｄｉｓｔに０を代入し、また、サンプルインデックスｋに０を代入する。

次に、ステップ５０９、５１１、５１２、及び５１４において、聴感マスキング特性値Ｍ_kと符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの相対的な位置関係について場合分けを行い、場合分けの結果に応じてそれぞれステップ５１０、５１３、５１５、及び５１６で距離計算を行う。

この相対的な位置関係による場合分けを図６に示す。図６において、白い丸記号（○）は入力信号のＭＤＣＴ係数Ｘ_kを意味し、黒い丸記号（●）は符号化値Ｒ_kを意味する。また、図６に示したものが本発明の特徴を示しているもので、聴感マスキング特性値算出部２０３で求めた聴感マスキング特性値＋Ｍ_k〜０〜−Ｍ_kの領域を聴感マスキング領域と呼び、入力信号のＭＤＣＴ係数Ｘ_kまたは符号化値Ｒ_kがこの聴感マスキング領域に存在する場合の距離計算の方法を変えて計算することにより、より聴感的に近い高品質な結果を得ることができる。

ここで、図６を用いて、本発明におけるベクトル量子化時の距離計算法について説明する。図６の「場合１」に示すように入力信号のＭＤＣＴ係数Ｘ_k（○）と符号化値Ｒ_k（●）のいずれかも聴感マスキング領域に存在せず、かつＭＤＣＴ係数Ｘ_kと符号化値Ｒ_kとが同符号である場合には入力信号のＭＤＣＴ係数Ｘ_k（○）と符号化値Ｒ_k（●）の距離Ｄ₁₁を単純に計算する。また、図６の「場合３」、「場合４」に示すように入力信号のＭＤＣＴ係数Ｘ_k（○）と符号化値Ｒ_k（●）のいずれかが聴感マスキング領域に存在する場合には、聴感マスキング領域内の位置をＭ_k値（場合によっては、―Ｍ_k値）に補正してＤ₃₁またはＤ₄₁として計算する。また、図６の「場合２」に示すように入力信号のＭＤＣＴ係数Ｘ_k（○）と符号化値Ｒ_k（●）が聴感マスキング領域をまたがって存在する場合には、聴感マスキング領域間の距離をβ・Ｄ₂₃（βは任意の係数）と計算する。図６の「場合５」に示すように入力信号のＭＤＣＴ係数Ｘ_k（○）と符号化値Ｒ_k（●）が共に聴感マスキング領域内に存在する場合には、距離Ｄ₅₁＝０として計算する。

次に、ステップ５０９〜ステップ５１７の各場合における処理について説明する。

ステップ５０９では、聴感マスキング特性値Ｍ_kと符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの相対的な位置関係が図６における「場合１」に該当するかどうかを式（２５）の条件式により判定する。

式（２５）は、ＭＤＣＴ係数Ｘ_kの絶対値と符号化値Ｒ_kの絶対値とが共に聴感マスキング特性値Ｍ_k以上であり、かつ、ＭＤＣＴ係数Ｘ_kと符号化値Ｒ_kとが同符号である場合を意味する。聴感マスキング特性値Ｍ_kとＭＤＣＴ係数Ｘ_kと符号化値Ｒ_kとが式（２５）の条件式を満たした場合は、ステップ５１０に進み、式（２５）の条件式を満たさない場合は、ステップ５１１に進む。

ステップ５１０では、式（２６）により符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの誤差Ｄｉｓｔ₁を求め、累積誤差Ｄｉｓｔに誤差Ｄｉｓｔ₁を加算し、ステップ５１７に進む。

ステップ５１１では、聴感マスキング特性値Ｍ_kと符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの相対的な位置関係が図６における「場合５」に該当するかどうかを式（２７）の条件式により判定する。

式（２７）は、ＭＤＣＴ係数Ｘ_kの絶対値と符号化値Ｒ_kの絶対値とが共に聴感マスキング特性値Ｍ_k以下である場合を意味する。聴感マスキング特性値Ｍ_kとＭＤＣＴ係数Ｘ_kと符号化値Ｒ_kとが式（２７）の条件式を満たした場合は、符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの誤差は０とし、累積誤差Ｄｉｓｔには何も加算せずにステップ５１７に進み、式（２７）の条件式を満たさない場合は、ステップ５１２に進む。

ステップ５１２では、聴感マスキング特性値Ｍ_kと符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの相対的な位置関係が図６における「場合２」に該当するかどうかを式（２８）の条件式により判定する。

式（２８）は、ＭＤＣＴ係数Ｘ_kの絶対値と符号化値Ｒ_kの絶対値とが共に聴感マスキング特性値Ｍ_k以上であり、かつ、ＭＤＣＴ係数Ｘ_kと符号化値Ｒ_kとが異符号である場合を意味する。聴感マスキング特性値Ｍ_kとＭＤＣＴ係数Ｘ_kと符号化値Ｒ_kとが式（２８）の条件式を満たした場合は、ステップ５１３に進み、式（２８）の条件式を満たさない場合は、ステップ５１４に進む。

ステップ５１３では、式（２９）により符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの誤差Ｄｉｓｔ₂を求め、累積誤差Ｄｉｓｔに誤差Ｄｉｓｔ₂を加算し、ステップ５１７に進む。

ここで、βは、ＭＤＣＴ係数Ｘ_k、符号化値Ｒ_k及び聴感マスキング特性値Ｍ_kに応じて適宜設定される値であり、１以下の値が適当であり、被験者の評価により実験的に求めた数値を採用してもよい。また、Ｄ₂₁、Ｄ₂₂及びＤ₂₃は、それぞれ式（３０）、式（３１）及び式（３２）により求める。

ステップ５１４では、聴感マスキング特性値Ｍ_kと符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの相対的な位置関係が図６における「場合３」に該当するかどうかを式（３３）の条件式により判定する。

式（３３）は、ＭＤＣＴ係数Ｘ_kの絶対値が聴感マスキング特性値Ｍ_k以上であり、かつ、符号化値Ｒ_kが聴感マスキング特性値Ｍ_k未満である場合を意味する。聴感マスキング特性値Ｍ_kとＭＤＣＴ係数Ｘ_kと符号化値Ｒ_kとが式（３３）の条件式を満たした場合は、ステップ５１５に進み、式（３３）の条件式を満たさない場合は、ステップ５１６に進む。

ステップ５１５では、式（３４）により符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの誤差Ｄｉｓｔ₃を求め、累積誤差Ｄｉｓｔに誤差Ｄｉｓｔ₃を加算し、ステップ５１７に進む。

ステップ５１６は、聴感マスキング特性値Ｍ_kと符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの相対的な位置関係が図６における「場合４」に該当し、式（３５）の条件式を満たす。

式（３５）は、ＭＤＣＴ係数Ｘ_kの絶対値が聴感マスキング特性値Ｍ_k未満であり、かつ、符号化値Ｒ_kが聴感マスキング特性値Ｍ_k以上である場合を意味する。この時、ステップ５１６では、式（３６）により符号化値Ｒ_kとＭＤＣＴ係数Ｘ_kとの誤差Ｄｉｓｔ₄を求め、累積誤差Ｄｉｓｔに誤差Ｄｉｓｔ₄を加算し、ステップ５１７に進む。

ステップ５１７では、ｋに１を足し加える。

ステップ５１８では、Ｎとｋを比較し、ｋがＮより小さい値の場合は、ステップ５０９に戻る。ｋがＮと同じ値の場合は、ステップ５１９に進む。

ステップ５１９では、累積誤差Ｄｉｓｔと最小誤差Ｄｉｓｔ_MINとを比較し、累積誤差Ｄｉｓｔが最小誤差Ｄｉｓｔ_MINより小さい値の場合は、ステップ５２０に進み、累積誤差Ｄｉｓｔが最小誤差Ｄｉｓｔ_MIN以上である場合は、ステップ５２１に進む。

ステップ５２０では、最小誤差Ｄｉｓｔ_MINに累積誤差Ｄｉｓｔを代入し、ｃｏｄｅ＿ｉｎｄｅｘ_MINにｊを代入し、誤差最小利得Ｄｉｓｔ_MINに利得Ｇａｉｎを代入し、ステップ５２１に進む。

ステップ５２１では、ｊに１を足し加える。

ステップ５２２では、コードベクトルの総数Ｎ_jとｊとを比較し、ｊがＮ_jより小さい値の場合は、ステップ５０２に戻る。ｊがＮ_j以上である場合は、ステップ５２３に進む。

ステップ５２３では、利得コードブック２０５からＮ_d種類の利得コードｇａｉｎ^d（ｄ＝０、Λ、Ｎ_d−１）を読み込み、全てのｄに対して式（３７）により量子化利得誤差ｇａｉｎｅｒｒ^d（ｄ＝０、Λ、Ｎ_d−１）を求める。

次に、ステップ５２３では、量子化利得誤差ｇａｉｎｅｒｒ^d（ｄ＝０、Λ、Ｎ_d−１）を最小とするｄを求め、求めたｄをｇａｉｎ＿ｉｎｄｅｘ_MINに代入する。

ステップ５２４では、累積誤差Ｄｉｓｔが最小となるコードベクトルのインデックスであるｃｏｄｅ＿ｉｎｄｅｘ_MINとステップ５２３で求めたｇａｉｎ＿ｉｎｄｅｘ_MINとを符号化情報１０２として、図１の伝送路１０３に出力し、処理を終了する。

以上が、符号化部１０１の処理の説明である。

次に、図１の音声・楽音復号化装置１０５について、図７の詳細ブロック図を用いて説明する。

形状コードブック２０４、利得コードブック２０５は、それぞれ図２で示すものと同様である。

ベクトル復号化部７０１は、伝送路１０３を介して伝送される符号化情報１０２を入力とし、符号化情報であるｃｏｄｅ＿ｉｎｄｅｘ_MINとｇａｉｎ＿ｉｎｄｅｘ_MINとを用いて、形状コードブック２０４からコードベクトルcodek^{code_indexMIN}（k＝０、Λ、Ｎ−１）を読み込み、また、利得コードブック２０５から利得コードgain^{gain_indexMIN}を読み込む。次に、ベクトル復号化部７０１は、gain^{gain_indexMIN}とcodek^{code_indexMIN}（k＝０、Λ、Ｎ−１）とを乗算し、乗算した結果得られるgain^{gain_indexMIN}×codek^{code_indexMIN}（k＝０、Λ、Ｎ−１）を復号化ＭＤＣＴ係数として直交変換処理部７０２に出力する。

直交変換処理部７０２は、バッファｂｕｆ_k'を内部に有し、式（３８）により初期化する。

次に、ベクトル復号化部７０１から出力される復号化ＭＤＣＴ係数gain^{gain_indexMIN}×codek^{code_indexMIN}（k＝０、Λ、Ｎ−１）を入力とし、式（３９）により復号化信号Ｙ_nを求める。

ここで、Ｘ_k'は、復号化ＭＤＣＴ係数gain^{gain_indexMIN}×codek^{code_indexMIN}（k＝０、Λ、Ｎ−１）とバッファｂｕｆ_k'とを結合させたベクトルであり、式（４０）により求める。

次に、式（４１）によりバッファｂｕｆ_k'を更新する。

次に、復号化信号ｙ_nを出力信号１０６として出力する。

このように、入力信号のＭＤＣＴ係数を求める直交変換処理部と、聴感マスキング特性値を求める聴感マスキング特性値算出部と、聴感マスキング特性値を利用したベクトル量子化を行うベクトル量子化部とを設け、聴感マスキング特性値とＭＤＣＴ係数と量子化されたＭＤＣＴ係数との相対的位置関係に応じてベクトル量子化の距離計算を行うことにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することができ、より高品質な出力信号を得ることができる。

なお、ベクトル量子化部２０２において、前記場合１から場合５の各距離計算に対し聴感重み付けフィルタを適用することにより量子化することも可能である。

なお、本実施の形態では、ＭＤＣＴ係数の符号化を行う場合について説明したが、フーリエ変換、離散コサイン変換（ＤＣＴ）、及び直交鏡像フィルタ（ＱＭＦ）等の直交変換を用いて、変換後の信号（周波数パラメータ）の符号化を行う場合についても本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。

なお、本実施の形態では、ベクトル量子化により符号化を行う場合について説明したが、本発明は符号化方法に制限はなく、例えば、分割ベクトル量子化、多段階ベクトル量子化により符号化を行ってもよい。

なお、音声・楽音符号化装置１０１を図１６のフローチャートで示した手順をプログラムによりコンピュータで実行させてもよい。

以上説明したように、入力信号から聴感マスキング特性値を算出し、入力信号のＭＤＣＴ係数、符号化値、及び聴感マスキング特性値の相対的な位置関係を全て考慮し、人の聴感に適した距離計算法を適用することにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することができ、入力信号を低ビットレートで量子化した場合においても、より良好な復号化音声を得ることができる。

また、特許文献１では、図６の「場合５」のみ開示されているが、本発明においては、それらに加え、「場合２」、「場合３」、及び「場合４」に示されているように全ての組合せ関係においても、聴感マスキング特性値を考慮した距離計算手法を採ることにより、入力信号のＭＤＣＴ係数、符号化値及び聴感マスキング特性値の相対的な位置関係を全て考慮し、聴感に適した距離計算法を適用することで、入力信号を低ビットレートで量子化した場合においても、より良好な高品質な復号化音声を得ることができる。

また、本発明は、入力信号のＭＤＣＴ係数または符号化値がこの聴感マスキング領域に存在した場合、また聴感マスキング領域を挟んで存在する場合、そのまま距離計算を行い、ベクトル量子化を行うと、実際の聴感が異なって聞こえるということに基づいたもので、ベクトル量子化の際の距離計算の方法を変えることにより、より自然な聴感を与えることができる。

（実施の形態２）
本発明の実施の形態２では、実施の形態１で説明した聴感マスキング特性値を用いたベクトル量子化をスケーラブル符号化に適用した例について説明する。

以下、本実施の形態では、基本レイヤと拡張レイヤとで構成される二階層の音声符号化／復号化方法において拡張レイヤで聴感マスキング特性値を利用したベクトル量子化を行う場合について説明する。

スケーラブル音声符号化方法とは、周波数特性に基づき複数の階層（レイヤ）に音声信号を分解し符号化する方法である。具体的には、下位レイヤの入力信号と下位レイヤの出力信号との差である残差信号を利用して各レイヤの信号を算出する。復号側ではこれら各レイヤの信号を加算し音声信号を復号する。この仕組みにより、音質を柔軟に制御できるほか、ノイズに強い音声信号の転送が可能となる。

なお、本実施の形態では、基本レイヤがＣＥＬＰタイプの音声符号化／復号化を行う場合を例にして説明する。

図８は、本発明の実施の形態２に係るＭＤＣＴ係数ベクトル量子化方法を利用した符号化装置及び復号化装置の構成を示すブロック図である。なお、図８において、基本レイヤ符号化部８０１、基本レイヤ復号化部８０３及び拡張レイヤ符号化部８０５により符号化装置が構成され、基本レイヤ復号化部８０８、拡張レイヤ復号化部８１０及び加算部８１２により復号化装置が構成される。

基本レイヤ符号化部８０１は、入力信号８００をＣＥＬＰタイプの音声符号化方法を用いて符号化し、基本レイヤ符号化情報８０２を算出する共に、それを基本レイヤ復号化部８０３及び伝送路８０７を介して基本レイヤ復号化部８０８に出力する。

基本レイヤ復号化部８０３は、ＣＥＬＰタイプの音声復号化方法を用いて基本レイヤ符号化情報８０２を復号化し、基本レイヤ復号化信号８０４を算出すると共に、それを拡張レイヤ符号化部８０５に出力する。

拡張レイヤ符号化部８０５は、基本レイヤ復号化部８０３より出力される基本レイヤ復号化信号８０４と、入力信号８００とを入力し、聴感マスキング特性値を利用したベクトル量子化により、入力信号８００と基本レイヤ復号化信号８０４との残差信号を符号化し、符号化によって求められる拡張レイヤ符号化情報８０６を、伝送路８０７を介して拡張レイヤ復号化部８１０に出力する。拡張レイヤ符号化部８０５についての詳細は後述する。

基本レイヤ復号化部８０８は、ＣＥＬＰタイプの音声復号化方法を用いて基本レイヤ符号化情報８０２を復号化し、復号化によって求められる基本レイヤ復号化信号８０９を加算部８１２に出力する。

拡張レイヤ復号化部８１０は、拡張レイヤ符号化情報８０６を復号化し、復号化によって求められる拡張レイヤ復号化信号８１１を加算部８１２に出力する。

加算部８１２は、基本レイヤ復号化部８０８から出力された基本レイヤ復号化信号８０９と拡張レイヤ復号化部８１０から出力された拡張レイヤ復号化信号８１１とを加算し、加算結果である音声・楽音信号を出力信号８１３として出力する。

次に、基本レイヤ符号化部８０１について図９のブロック図を用いて説明する。

基本レイヤ符号化部８０１の入力信号８００は、前処理部９０１に入力される。前処理部９０１は、ＤＣ成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号（Ｘin）をＬＰＣ分析部９０２および加算部９０５に出力する。

ＬＰＣ分析部９０２は、Ｘinを用いて線形予測分析を行い、分析結果（線形予測係数）をＬＰＣ量子化部９０３へ出力する。ＬＰＣ量子化部９０３は、ＬＰＣ分析部９０２から出力された線形予測係数（ＬＰＣ）の量子化処理を行い、量子化ＬＰＣを合成フィルタ９０４へ出力するとともに量子化ＬＰＣを表す符号（Ｌ）を多重化部９１４へ出力する。

合成フィルタ９０４は、量子化ＬＰＣに基づくフィルタ係数により、後述する加算部９１１から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部９０５へ出力する。

加算部９０５は、合成信号の極性を反転させてＸinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部９１２へ出力する。

適応音源符号帳９０６は、過去に加算部９１１によって出力された駆動音源をバッファに記憶しており、パラメータ決定部９１３から出力された信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部９０９へ出力する。

量子化利得生成部９０７は、パラメータ決定部９１３から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部９０９と乗算部９１０へ出力する。

固定音源符号帳９０８は、パラメータ決定部９１３から出力された信号によって特定される形状を有するパルス音源ベクトルに拡散ベクトルを乗算して得られた固定音源ベクトルを乗算部９１０へ出力する。

乗算部９０９は、量子化利得生成部９０７から出力された量子化適応音源利得を、適応音源符号帳９０６から出力された適応音源ベクトルに乗じて、加算部９１１へ出力する。乗算部９１０は、量子化利得生成部９０７から出力された量子化固定音源利得を、固定音源符号帳９０８から出力された固定音源ベクトルに乗じて、加算部９１１へ出力する。

加算部９１１は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをそれぞれ乗算部９０９と乗算部９１０とから入力し、これらをベクトル加算し、加算結果である駆動音源を合成フィルタ９０４および適応音源符号帳９０６へ出力する。なお、適応音源符号帳９０６に入力された駆動音源は、バッファに記憶される。

聴覚重み付け部９１２は、加算部９０５から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部９１３へ出力する。

パラメータ決定部９１３は、聴覚重み付け部９１２から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳９０６、固定音源符号帳９０８及び量子化利得生成部９０７から選択し、選択結果を示す適応音源ベクトル符号（Ａ）、音源利得符号（Ｇ）及び固定音源ベクトル符号（Ｆ）を多重化部９１４に出力する。

多重化部９１４は、ＬＰＣ量子化部９０３から量子化ＬＰＣを表す符号（Ｌ）を入力し、パラメータ決定部９１３から適応音源ベクトルを表す符号（Ａ）、固定音源ベクトルを表す符号（Ｆ）および量子化利得を表す符号（Ｇ）を入力し、これらの情報を多重化して基本レイヤ符号化情報８０２として出力する。

次に、基本レイヤ復号化部８０３（８０８）について図１０を用いて説明する。

図１０において、基本レイヤ復号化部８０３（８０８）に入力された基本レイヤ符号化情報８０２は、多重化分離部１００１によって個々の符号（Ｌ、Ａ、Ｇ、Ｆ）に分離される。分離されたＬＰＣ符号（Ｌ）はＬＰＣ復号化部１００２に出力され、分離された適応音源ベクトル符号（Ａ）は適応音源符号帳１００５に出力され、分離された音源利得符号（Ｇ）は量子化利得生成部１００６に出力され、分離された固定音源ベクトル符号（Ｆ）は固定音源符号帳１００７へ出力される。

ＬＰＣ復号化部１００２は、多重化分離部１００１から出力された符号（Ｌ）から量子化ＬＰＣを復号化し、合成フィルタ１００３に出力する。

適応音源符号帳１００５は、多重化分離部１００１から出力された符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部１００８へ出力する。

量子化利得生成部１００６は、多重化分離部１００１から出力された音源利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部１００８及び乗算部１００９へ出力する。

固定音源符号帳１００７は、多重化分離部１００１から出力された符号（Ｆ）で指定される固定音源ベクトルを生成し、乗算部１００９へ出力する。

乗算部１００８は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部１０１０へ出力する。乗算部１００９は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部１０１０へ出力する。

加算部１０１０は、乗算部１００８、乗算部１００９から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルの加算を行い、駆動音源を生成し、これを合成フィルタ１００３及び適応音源符号帳１００５に出力する。

合成フィルタ１００３は、ＬＰＣ復号化部１００２によって復号化されたフィルタ係数を用いて、加算部１０１０から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部１００４へ出力する。

後処理部１００４は、合成フィルタ１００３から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、基本レイヤ復号化信号８０４（８１０）として出力する。

次に、拡張レイヤ符号化部８０５について図１１を用いて説明する。

図１１の拡張レイヤ符号化部８０５は、図２と比較して、直交変換処理部１１０３への入力信号が基本レイヤ復号化信号８０４と入力信号８００との差分信号１１０２が入力される以外は同様であり、聴感マスキング特性値算出部２０３には図２と同一符号を付して説明を省略する。

拡張レイヤ符号化部８０５は、実施の形態１の符号化部１０１と同様に、入力信号８００をＮサンプルずつ区切り（Ｎは自然数）、Ｎサンプルを１フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号８００をｘ_n（ｎ＝０、Λ、Ｎ−１）と表すこととする。

入力信号ｘ_n８００は、聴感マスキング特性値算出部２０３、及び加算部１１０１に入力される。また、基本レイヤ復号化部８０３から出力される基本レイヤ復号化信号８０４は、加算部１１０１、及び直交変換処理部１１０３に入力される。

加算部１１０１は、式（４２）により残差信号１１０２ｘｒｅｓｉｄ_n（ｎ＝０、Λ、Ｎ−１）を求め、求めた残差信号ｘｒｅｓｉｄ_n１１０２を直交変換処理部１１０３に出力する。

ここで、ｘｂａｓｅ_n（ｎ＝０、Λ、Ｎ−１）は基本レイヤ復号化信号８０４である。
次に、直交変換処理部１１０３の処理について説明する。

直交変換処理部１１０３は、基本レイヤ復号化信号ｘｂａｓｅ_n８０４の処理時に使用するバッファｂｕｆｂａｓｅ_n（ｎ＝０、Λ、Ｎ−１）と、残差信号ｘｒｅｓｉｄ_n１１０２の処理時に使用するバッファｂｕｆｒｅｓｉｄ_n（ｎ＝０、Λ、Ｎ−１）を内部に有し、式（４３）及び式（４４）によってそれぞれ初期化する。

次に、直交変換処理部１１０３は、基本レイヤ復号化信号ｘｂａｓｅ_n８０４と残差信号ｘｒｅｓｉｄ_n１１０２とを修正離散コサイン変換（ＭＤＣＴ）することにより、基本レイヤ直交変換係数ｘｂａｓｅk１１０４と残差直交変換係数Ｘｒｅｓｉｄ_k１１０５とをそれぞれ求める。ここで、基本レイヤ直交変換係数ｘｂａｓｅ_k１１０４は式（４５）により求める。

ここで、ｘｂａｓｅ_n'は基本レイヤ復号化信号ｘｂａｓｅ_n８０４とバッファｂｕｆｂａｓｅ_nとを結合したベクトルであり、直交変換処理部１１０３は、式（４６）によりｘｂａｓｅ_n'を求める。また、ｋは１フレームにおける各サンプルのインデックスである。

次に、直交変換処理部１１０３は、式（４７）によりバッファｂｕｆｂａｓｅ_nを更新する。

また、直交変換処理部１１０３は、式（４８）により残差直交変換係数Ｘｒｅｓｉｄ_k１１０５を求める。

ここで、ｘｒｅｓｉｄ_n'は残差信号ｘｒｅｓｉｄ_n１１０２とバッファｂｕｆｒｅｓｉｄ_nとを結合したベクトルであり、直交変換処理部１１０３は、式（４９）によりｘｒｅｓｉｄn'を求める。また、ｋは１フレームにおける各サンプルのインデックスである。

次に、直交変換処理部１１０３は、式（５０）によりバッファｂｕｆｒｅｓｉｄ_nを更新する。

次に、直交変換処理部１１０３は、基本レイヤ直交変換係数Ｘｂａｓｅ_k１１０４と残差直交変換係数Ｘｒｅｓｉｄ_k１１０５とをベクトル量子化部１１０６に出力する。

ベクトル量子化部１１０６は、直交変換処理部１１０３から基本レイヤ直交変換係数Ｘｂａｓｅ_k１１０４と残差直交変換係数Ｘｒｅｓｉｄ_k１１０５と、聴感マスキング特性値算出部２０３から聴感マスキング特性値Ｍ_k１１０７とを入力し、形状コードブック１１０８と利得コードブック１１０９とを用いて、聴感マスキング特性値を利用したベクトル量子化により残差直交変換係数Ｘｒｅｓｉｄ_k１１０５の符号化を行い、符号化により得られる拡張レイヤ符号化情報８０６を出力する。

ここで、形状コードブック１１０８は、予め作成されたＮ_e種類のＮ次元コードベクトルｃｏｄｅｒｅｓｉｄ_k ^e（ｅ＝０、Λ、Ｎ_e−１、ｋ＝０、Λ、Ｎ−１）から構成され、前記ベクトル量子化部１１０３において残差直交変換係数Ｘｒｅｓｉｄ_k１１０５をベクトル量子化する際に用いられる。

また、利得コードブック１１０９は、予め作成されたＮ_f種類の残差利得コードｇａｉｎｒｅｓｉｄ^f（ｆ＝０、Λ、Ｎ_f−１）から構成され、前記ベクトル量子化部１１０６において残差直交変換係数Ｘｒｅｓｉｄ_k１１０５をベクトル量子化する際に用いられる。

次に、ベクトル量子化部１１０６の処理について、図１２を用いて詳細に説明する。
ステップ１２０１では、形状コードブック１１０８におけるコードベクトルインデックスｅに０を代入し、最小誤差Ｄｉｓｔ_MINを十分大きな値を代入し、初期化する。

ステップ１２０２では、図１１の形状コードブック１１０８からＮ次元のコードベクトルｃｏｄｅｒｅｓｉｄ_k ^e（ｋ＝０、Λ、Ｎ−１）を読み込む。

ステップ１２０３では、直交変換処理部１１０３から出力された残差直交変換係数Ｘｒｅｓｉｄ_kを入力し、ステップ１２０２で読み込んだコードベクトルｃｏｄｅｒｅｓｉｄ_k ^e（ｋ＝０、Λ、Ｎ−１）の利得Ｇａｉｎｒｅｓｉｄを式（５１）により求める。

ステップ１２０４では、ステップ１２０５の実行回数を表すｃａｌｃ＿ｃｏｕｎｔ_residに０を代入する。

ステップ１２０５では、聴感マスキング特性値算出部２０３から出力された聴感マスキング特性値Ｍ_kを入力とし、式（５２）により一時利得ｔｅｍｐ２_k（ｋ＝０、Λ、Ｎ−１）を求める。

なお、式（５２）において、ｋが｜ｃｏｄｅｒｅｓｉｄ_k ^e・Ｇａｉｎｒｅｓｉｄ＋Ｘｂａｓｅ_k｜≧Ｍ_kの条件を満たす場合、一時利得ｔｅｍｐ２_kにはｃｏｄｅｒｅｓｉｄ_k ^eが代入され、ｋが｜ｃｏｄｅｒｅｓｉｄ_k ^e・Ｇａｉｎｒｅｓｉｄ＋Ｘｂａｓｅ_k｜＜Ｍ_kの条件を満たす場合、ｔｅｍｐ２_kには０が代入される。また、ｋは１フレームにおける各サンプルのインデックスである。

次に、ステップ１２０５では、式（５３）により利得Ｇａｉｎｒｅｓｉｄを求める。

ここで、全てのｋにおいて一時利得ｔｅｍｐ２_kが０の場合には利得Ｇａｉｎｒｅｓｉｄに０を代入する。また、式（５４）により、利得Ｇａｉｎｒｅｓｉｄとコードベクトルｃｏｄｅｒｅｓｉｄ_k ^eから残差符号化値Ｒｒｅｓｉｄ_kを求める。

また、式（５５）により、残差符号化値Ｒｒｅｓｉｄ_kと基本レイヤ直交変換係数Ｘｂａｓｅ_kから加算符号化値Ｒｐｌｕｓ_kを求める。

ステップ１２０６では、ｃａｌｃ＿ｃｏｕｎｔ_residに１を足し加える。

ステップ１２０７では、ｃａｌｃ＿ｃｏｕｎｔ_residと予め定められた非負の整数Ｎｒｅｓｉｄ_cとを比較し、ｃａｌｃ＿ｃｏｕｎｔ_residがＮｒｅｓｉｄ_cより小さい値である場合はステップ１２０５に戻り、ｃａｌｃ＿ｃｏｕｎｔ_residがＮｒｅｓｉｄ_c以上である場合はステップ１２０８に進む。

ステップ１２０８では、累積誤差Ｄｉｓｔｒｅｓｉｄに０を代入し、また、ｋに０を代入する。また、ステップ１２０８では、式（５６）により加算ＭＤＣＴ係数Ｘｐｌｕｓ_kを求める。

次に、ステップ１２０９、１２１１、１２１２、及び１２１４において、聴感マスキング特性値Ｍk１１０７と加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの相対的な位置関係について場合分けを行い、場合分けの結果に応じてそれぞれステップ１２１０、１２１３、１２１５、及び１２１６で距離計算する。この相対的な位置関係による場合分けを図１３に示す。図１３において、白い丸記号（○）は加算ＭＤＣＴ係数Ｘｐｌｕｓ_kを意味し、黒い丸記号（●）はＲｐｌｕｓ_kを意味するものである。図１３における考え方は、実施の形態１の図６で説明した考え方と同様である。

ステップ１２０９では、聴感マスキング特性値Ｍ_kと加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの相対的な位置関係が図１３における「場合１」に該当するかどうかを式（５７）の条件式により判定する。

式（５７）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_kの絶対値と加算符号化値Ｒｐｌｕｓ_kの絶対値とが共に聴感マスキング特性値Ｍ_k以上であり、かつ、加算ＭＤＣＴ係数Ｘｐｌｕｓ_kと加算符号化値Ｒｐｌｕｓ_kとが同符号である場合を意味する。聴感マスキング特性値Ｍ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kと加算符号化値Ｒｐｌｕｓ_kとが式（５７）の条件式を満たした場合は、ステップ１２１０に進み、式（５７）の条件式を満たさない場合は、ステップ１２１１に進む。

ステップ１２１０では、式（５８）によりＲｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの誤差Ｄｉｓｔｒｅｓｉｄ₁を求め、累積誤差Ｄｉｓｔｒｅｓｉｄに誤差Ｄｉｓｔｒｅｓｉｄ₁を加算し、ステップ１２１７に進む。

ステップ１２１１では、聴感マスキング特性値Ｍ_kと加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの相対的な位置関係が図１３における「場合５」に該当するかどうかを式（５９）の条件式により判定する。

式（５９）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_kの絶対値と加算符号化値Ｒｐｌｕｓ_kの絶対値とが共に聴感マスキング特性値Ｍ_k未満である場合を意味する。聴感マスキング特性値Ｍ_kと加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kが式（５９）の条件式を満たす場合、加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの誤差は０とし、累積誤差Ｄｉｓｔｒｅｓｉｄには何も加算せずにステップ１２１７に進む。聴感マスキング特性値Ｍ_kと加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kが式（５９）の条件式を満たさない場合は、ステップ１２１２に進む。

ステップ１２１２では、聴感マスキング特性値Ｍ_kと加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの相対的な位置関係が図１３における「場合２」に該当するかどうかを式（６０）の条件式により判定する。

式（６０）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_kの絶対値と加算符号化値Ｒｐｌｕｓ_kの絶対値とが共に聴感マスキング特性値Ｍ_k以上であり、かつ、加算ＭＤＣＴ係数Ｘｐｌｕｓ_kと加算符号化値Ｒｐｌｕｓ_kとが異符号である場合を意味する。聴感マスキング特性値Ｍ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kと加算符号化値Ｒｐｌｕｓ_kとが式（６０）の条件式を満たした場合は、ステップ１２１３に進み、式（６０）の条件式を満たさない場合は、ステップ１２１４に進む。

ステップ１２１３では、式（６１）により加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの誤差Ｄｉｓｔｒｅｓｉｄ₂を求め、累積誤差Ｄｉｓｔｒｅｓｉｄに誤差Ｄｉｓｔｒｅｓｉｄ₂を加算し、ステップ１２１７に進む。

ここで、β_residは、加算ＭＤＣＴ係数Ｘｐｌｕｓ_k、加算符号化値Ｒｐｌｕｓ_k及び聴感マスキング特性値Ｍ_kに応じて適宜設定される値であり、１以下の値が適当である。また、Ｄｒｅｓｉｄ₂₁、Ｄｒｅｓｉｄ₂₂及びＤｒｅｓｉｄ₂₃は、それぞれ式（６２）、式（６３）及び式（６４）により求められる。

ステップ１２１４では、聴感マスキング特性値Ｍ_kと加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの相対的な位置関係が図１３における「場合３」に該当するかどうかを式（６５）の条件式により判定する。

式（６５）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_kの絶対値が聴感マスキング特性値Ｍ_k以上であり、かつ、加算符号化値Ｒｐｌｕｓ_kが聴感マスキング特性値Ｍ_k未満である場合を意味する。聴感マスキング特性値Ｍ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kと加算符号化値Ｒｐｌｕｓ_kとが式（６５）の条件式を満たした場合は、ステップ１２１５に進み、式（６５）の条件式を満たさない場合は、ステップ１２１６に進む。

ステップ１２１５では、式（６６）により加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの誤差Ｄｉｓｔｒｅｓｉｄ₃を求め、累積誤差Ｄｉｓｔｒｅｓｉｄに誤差Ｄｉｓｔｒｅｓｉｄ₃を加算し、ステップ１２１７に進む。

ステップ１２１６では、聴感マスキング特性値Ｍ_kと加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの相対的な位置関係が図１３における「場合４」に該当し、式（６７）の条件式を満たす。

式（６７）は、加算ＭＤＣＴ係数Ｘｐｌｕｓ_kの絶対値が聴感マスキング特性値Ｍ_k未満であり、かつ、加算符号化値Ｒｐｌｕｓ_kが聴感マスキング特性値Ｍ_k以上である場合を意味する。この時、ステップ１２１６は、式（６８）により加算符号化値Ｒｐｌｕｓ_kと加算ＭＤＣＴ係数Ｘｐｌｕｓ_kとの誤差Ｄｉｓｔｒｅｓｉｄ₄を求め、累積誤差Ｄｉｓｔｒｅｓｉｄに誤差Ｄｉｓｔｒｅｓｉｄ₄を加算し、ステップ１２１７に進む。

ステップ１２１７では、ｋに１を足し加える。

ステップ１２１８では、Ｎとｋを比較し、ｋがＮより小さい値の場合は、ステップ１２０９に戻る。ｋがＮ以上である場合は、ステップ１２１９に進む。

ステップ１２１９では、累積誤差Ｄｉｓｔｒｅｓｉｄと最小誤差Ｄｉｓｔｒｅｓｉｄ_MINとを比較し、累積誤差Ｄｉｓｔｒｅｓｉｄが最小誤差Ｄｉｓｔｒｅｓｉｄ_MINより小さい値の場合は、ステップ１２２０に進み、累積誤差Ｄｉｓｔｒｅｓｉｄが最小誤差Ｄｉｓｔｒｅｓｉｄ_MIN以上である場合は、ステップ１２２１に進む。

ステップ１２２０では、最小誤差Ｄｉｓｔｒｅｓｉｄ_MINに累積誤差Ｄｉｓｔｒｅｓｉｄを代入し、ｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_MINにｅを代入し、誤差最小利得Ｄｉｓｔｒｅｓｉｄ_MINに利得Ｄｉｓｔｒｅｓｉｄを代入し、ステップ１２２１に進む。

ステップ１２２１では、ｅに１を足し加える。

ステップ１２２２では、コードベクトルの総数Ｎ_eとｅとを比較し、ｅがＮ_eより小さい値の場合は、ステップ１２０２に戻る。ｅがＮ_e以上である場合は、ステップ１２２３に進む。

ステップ１２２３では、図１１の利得コードブック１１０９からＮ_f種類の残差利得コードｇａｉｎｒｅｓｉｄ^f（ｆ＝０、Λ、Ｎ_f−１）を読み込み、全てのｆに対して式（６９）により量子化残差利得誤差ｇａｉｎｒｅｓｉｄｅｒｒ^f（ｆ＝０、Λ、Ｎ_f−１）を求める。

次に、ステップ１２２３では、量子化残差利得誤差ｇａｉｎｒｅｓｉｄｅｒｒ^f（ｆ＝
０、Λ、Ｎ_f−１）を最小とするｆを求め、求めたｆをｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_MINに代入する。

ステップ１２２４では、累積誤差Ｄｉｓｔｒｅｓｉｄが最小となるコードベクトルのインデックスであるｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_MIN、及びステップ１２２３で求めたｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_MINを拡張レイヤ符号化情報８０６として、伝送路８０７に出力し、処理を終了する。

次に、拡張レイヤ復号化部８１０について、図１４のブロック図を用いて説明する。
形状コードブック１４０３は、形状コードブック１１０８と同様に、Ｎ_e種類のＮ次元コードベクトルｇａｉｎｒｅｓｉｄ_k ^e（ｅ＝０、Λ、Ｎ_e−１、ｋ＝０、Λ、Ｎ−１）から構成される。また利得コードブック１４０４は、利得コードブック１１０９と同様に、Ｎ_f種類の残差利得コードｇａｉｎｒｅｓｉｄ^f（ｆ＝０、Λ、Ｎ_f−１）から構成される。

ベクトル復号化部１４０１は、伝送路８０７を介して伝送される拡張レイヤ符号化情報８０６を入力とし、符号化情報であるｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_MINとｇａｉｎｒｅｓｉｄ＿ｉｎｄｅｘ_MINとを用いて、形状コードブック１４０３からコードベクトルｃｏｄｅｒｅｓｉｄ_k ^{coderesid_indexMIN}（ｋ＝０、Λ、Ｎ−１）を読み込み、また利得コードブック１４０４からコードｇａｉｎｒｅｓｉｄ^{gainresid_indexMIN}を読み込む。次に、ベクトル復号化部１４０１は、ｇａｉｎｒｅｓｉｄ^{gainresid_indexMIN}とｃｏｄｅｒｅｓｉｄ_k ^{coderesid_indexMIN}（ｋ＝０、Λ、Ｎ−１）を乗算し、乗算した結果得られるｇａｉｎｒｅｓｉｄ^{gainresid_indexMIN} ・ｃｏｄｅｒｅｓｉｄ_k ^{coderesid_indexMIN} （ｋ＝０、Λ、Ｎ−１）を復号化残差直交変換係数として残差直交変換処理部１４０２に出力する。

次に、残差直交変換処理部１４０２の処理について説明する。

残差直交変換処理部１４０２は、バッファｂｕｆｒｅｓｉｄ_k'を内部に有し、式（７０）により初期化される。

残差直交変換係数復号化部１４０１から出力される復号化残差直交変換係数ｇａｉｎｒｅｓｉｄ^{gainresid_indexMIN} ・ｃｏｄｅｒｅｓｉｄ_k ^{coderesid_indexMIN} （ｋ＝０、Λ、Ｎ−１）を入力して、式（７１）により拡張レイヤ復号化信号ｙｒｅｓｉｄ_n８１１を求める。

ここで、Ｘｒｅｓｉｄ_k'は復号化残差直交変換係数ｇａｉｎｒｅｓｉｄ^{gainresid_indexMIN} ・ｃｏｄｅｒｅｓｉｄ_k ^{coderesid_indexMIN} （ｋ＝０、Λ、Ｎ−１）とバッファｂｕｆｒｅｓｉｄ_k'とを結合させたベクトルであり、式（７２）により求める。

次に、式（７３）によりバッファｂｕｆｒｅｓｉｄ_k'を更新する。

次に、拡張レイヤ復号化信号ｙｒｅｓｉｄ_n８１１を出力する。

なお、本発明はスケーラブル符号化の階層について制限はなく、三階層以上の階層的な音声符号化／復号化方法において上位レイヤで聴感マスキング特性値を利用したベクトル量子化を行う場合についても適用することができる。

なお、ベクトル量子化部１１０６において、前記場合１から場合５の各距離計算に対し聴感重み付けフィルタを適用することにより量子化してもよい。

なお、本実施の形態では、基本レイヤ符号化部／復号化部の音声符号化／復号化方法としてＣＥＬＰタイプの音声符号化／復号化方法を例に挙げ説明したが、その他の音声符号化／復号化方法を用いてもよい。

なお、本実施の形態では、基本レイヤ符号化情報及び拡張レイヤ符号化情報を別々に送信する例を提示したが、各レイヤの符号化情報を多重化して送信し、復号側で多重化分離して各レイヤの符号化情報を復号するよう構成してもよい。

このように、スケーラブル符号化方式においても、本発明の聴感マスキング特性値を利用したベクトル量子化を適用することにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することができ、より高品質な出力信号を得ることができる。

（実施の形態３）
図１５は、本発明の実施の形態３おける上記実施の形態１、２で説明した符号化装置及び復号化装置を含む音声信号送信装置及び音声信号受信装置の構成を示すブロック図である。より具体的な応用としては、携帯電話、カーナビゲーションシステム等に適応可能である。

図１５において、入力装置１５０２は、音声信号１５００をデジタル信号にＡ／Ｄ変換し音声・楽音符号化装置１５０３へ出力する。音声・楽音符号化装置１５０３は、図１に示した音声・楽音符号化装置１０１を実装し、入力装置１５０２から出力されたデジタル音声信号を符号化し、符号化情報をＲＦ変調装置１５０４へ出力する。ＲＦ変調装置１５０４は音声・楽音符号化装置１５０３から出力された音声符号化情報を電波等の伝播媒体に載せて送出するための信号に変換し送信アンテナ１５０５へ出力する。送信アンテナ１５０５はＲＦ変調装置１５０４から出力された出力信号を電波（ＲＦ信号）として送出する。なお、図中のＲＦ信号１５０６は送信アンテナ１５０５から送出された電波（ＲＦ信号）を表す。以上が音声信号送信装置の構成および動作である。

ＲＦ信号１５０７は受信アンテナ１５０８によって受信されＲＦ復調装置１５０９へ出力される。なお、図中のＲＦ信号１５０７は受信アンテナ１５０８に受信された電波を表し、伝播路において信号の減衰や雑音の重畳がなければＲＦ信号１５０６と全く同じものになる。

ＲＦ復調装置１５０９は受信アンテナ１５０８から出力されたＲＦ信号から音声符号化情報を復調し、音声・楽音復号化装置１５１０へ出力する。音声・楽音復号化装置１５１０は、図１に示した音声・楽音復号化装置１０５を実装し、ＲＦ復調装置１５０９から出力された音声符号化情報から音声信号を復号化し、出力装置１５１１は、復号されたデジタル音声信号をアナログ信号にＤ／Ａ変換し、電気的信号を空気の振動に変換し音波として人間の耳に聴こえるように出力する。

このように、音声信号送信装置及び音声信号受信装置おいても、高品質な出力信号を得ることができる。

本明細書は、２００３年１２月２６日出願の特願２００３−４３３１６０に基づくものである。この内容を全てここに含めておく。

本発明は、聴感マスキング特性値を利用したベクトル量子化を適用することにより、聴感的に影響の大きい信号の劣化を抑える適切なコードベクトルを選択することができ、より高品質な出力信号を得ることができるという効果を有し、インターネット通信に代表されるパケット通信システムや、携帯電話、カーナビゲーションシステム等の移動通信システムの分野で、適応可能である。

本発明の実施の形態１に係る音声・楽音符号化装置及び音声・楽音復号化装置を含むシステム全体のブロック構成図 本発明の実施の形態１に係る音声・楽音符号化装置のブロック構成図 本発明の実施の形態１に係る聴感マスキング特性値算出部のブロック構成図 本発明の実施の形態１に係る臨界帯域幅の構成例を示す図 本発明の実施の形態１に係るベクトル量子化部のフローチャート 本発明の実施の形態１に係る聴感マスキング特性値と符号化値とＭＤＣＴ係数の相対的位置関係を説明する図 本発明の実施の形態１に係る音声・楽音復号化装置のブロック構成図 本発明の実施の形態２に係る音声・楽音符号化装置及び音声・楽音復号化装置のブロック構成図 本発明の実施の形態２に係るＣＥＬＰ方式の音声符号化装置の構成概要図 本発明の実施の形態２に係るＣＥＬＰ方式の音声復号化装置の構成概要図 本発明の実施の形態２に係る拡張レイヤ符号化部のブロック構成図 本発明の実施の形態２に係るベクトル量子化部のフローチャート 本発明の実施の形態２に係る聴感マスキング特性値と符号化値とＭＤＣＴ係数の相対的位置関係を説明する図 本発明の実施の形態２に係る復号化部のブロック構成図 本発明の実施の形態３に係る音声信号送信装置及び音声信号受信装置のブロック構成図 本発明の実施の形態１に係る符号化部のフローチャート 本発明の実施の形態１に係る聴感マスキング値算出部のフローチャート

符号の説明

１０１ 音声・楽音符号化装置
１０５ 音声・楽音復号化装置
２０１ 直交変換処理部
２０２ ベクトル量子化部
２０３ 聴感マスキング特性値算出部
２０４ 形状コードブック
２０５ 利得コードブック
３０１ フーリエ変換部
３０２ パワースペクトル算出部
３０３ 聴感マスキング値算出部
３０４ 最小可聴閾値算出部
３０５ メモリバッファ
７０１ ベクトル復号化部
７０２ 直交変換処理部
８０１ 基本レイヤ符号化部
８０３ 基本レイヤ復号化部
８０５ 拡張レイヤ符号化部
８０８ 基本レイヤ復号化部
８１０ 拡張レイヤ復号化部
１１０１ 加算部
１１０３ 直交変換処理部
１１０６ ベクトル量子化部
１１０８ 形状コードブック
１１０９ 利得コードブック
１４０１ ベクトル復号化部
１４０２ 直交変換処理部
１４０３ 形状コードブック
１４０４ 利得コードブック

Claims (9)

1. 音声・楽音信号を時間成分から周波数成分へ変換する直交変換処理手段と、前記音声・楽音信号から聴感マスキング特性値を求める聴感マスキング特性値算出手段と、前記聴感マスキング特性値に基づいて、予め設定されたコードブックから求めたコードベクトルと前記周波数成分との距離計算方法を変えてベクトル量子化を行うベクトル量子化手段と、を具備する音声・楽音符号化装置。
2. 音声・楽音信号を符号化して基本レイヤ符号化情報を生成する基本レイヤ符号化手段と、前記基本レイヤ符号化情報を復号化して基本レイヤ復号化信号を生成する基本レイヤ復号化手段と、前記音声・楽音信号と前記基本レイヤ復号化信号との差分信号を符号化して拡張レイヤ符号化情報を生成する拡張レイヤ符号化手段と、を具備する音声・楽音符号化装置において、前記拡張レイヤ符号化手段は、前記音声・楽音信号から聴感マスキング特性値を求める聴感マスキング特性値算出手段と、前記差分信号を時間成分から周波数成分へ変換する直交変換処理手段と、前記聴感マスキング特性値に基づいて、予め設定されたコードブックから求めたコードベクトルと前記周波数成分との距離計算方法を変えてベクトル量子化を行うベクトル量子化手段と、を具備する音声・楽音符号化装置。
3. 前記ベクトル量子化手段は、前記音声・楽音信号の周波数成分または前記コードベクトルのいずれか一方が、前記聴感マスキング特性値の示す聴感マスキング領域内にある場合に、前記聴感マスキング特性値に基づいて、前記音声・楽音信号の周波数成分と、前記コードベクトル間の距離計算方法を変えてベクトル量子化を行う請求項１記載の音声・楽音符号化装置。
4. 前記ベクトル量子化手段は、形状コードブックから求めたコードベクトル及び利得コードブックから求めたコードベクトルに基づきベクトル量子化を行う請求項１記載の音声・楽音信号符号化装置。
5. 前記直交変換処理手段は、修正離散コサイン変換（ＭＤＣＴ）、離散コサイン変換（ＤＣＴ）、フーリエ変換または直交鏡像フィルタ（ＱＭＦ）のいずれかにより前記音声・楽音信号を時間成分から周波数成分へ変換する請求項１記載の音声・楽音信号符号化装置。
6. さらに、少なくとも一つの拡張レイヤ符号化手段を具備し、前記拡張レイヤ符号化手段は、上位の拡張レイヤ符号化手段に対する入力信号と、前記上位の拡張レイヤ符号化手段が生成した拡張レイヤ符号化情報の復号化信号との差分を符号化して拡張レイヤ符号化情報を生成する請求項２記載の音声・楽音符号化装置。
7. 基本レイヤ符号化手段は、ＣＥＬＰタイプの音声・楽音信号符号化により入力信号を符号化する請求項２記載の音声・楽音信号符号化装置。
8. 音声・楽音信号を時間成分から周波数成分へ変換する直交変換処理ステップと、前記音声・楽音信号から聴感マスキング特性値を求める聴感マスキング特性値算出ステップと、前記聴感マスキング特性値に基づいて、予め設定されたコードブックから求めたコードベクトルと前記周波数成分との距離計算方法を変えてベクトル量子化を行うベクトル量子化ステップと、を具備する音声・楽音符号化方法。
9. コンピュータを、音声・楽音信号を時間成分から周波数成分へ変換する直交変換処理手段と、前記音声・楽音信号から聴感マスキング特性値を求める聴感マスキング特性値算出手段と、前記聴感マスキング特性値に基づいて、予め設定されたコードブックから求めたコードベクトルと前記周波数成分との距離計算方法を変えてベクトル量子化を行うベクトル量子化手段として機能させるための音声・楽音符号化プログラム。

Images