JP3275249B2 - 音声符号化・復号化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、音声を低速度で高品
質で符号化する符号化方法、及びその符号化された音声
符号を復号する復号化方法に関する。

【０００２】

【従来の技術】低速度で高品質を達成する音声符号化方
式として、Ｍ．Ｒ．Ｓｃｈｒｏｅｄｅｒ、Ｂ．Ｓ．Ａｔ
ａｌによる文献（文献１），“Ｃｏｄｅ−ｅｘｉｔｅｄ
ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎ（ＣＥＬＰ）：
ｈｉｇｈ−ｑｕａｌｉｔｙ ｓｐｅｅｃｈ ａｔ ｖｅ
ｒｙ ｌｏｗ ｂｉｔ ｒａｔｅ”、ＩＥＥＥ Ｐｒｏ
ｃ．ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆ．Ａ
ｃｏｕｓｔ．、Ｓｐｅｅｃｈ ＆ Ｓｉｇｎａｌ Ｐｒ
ｏｃｅｓｓ．、ｐｐ．９３７−９４０（１９８５）方式
や、Ｔ．Ｍｏｒｉｙａ、Ｍ．Ｈｏｎｄａによる文献（文
献２），“Ｔｒａｎｓｆｏｒｍ Ｃｏｄｉｎｇ ｏｆ
Ｓｐｅｅｃｈ ｕｓｉｎｇ ａ ｗｅｉｇｈｔｅｄ ｖ
ｅｃｔｏｒ ｑｕａｎｔｉｚｅｒ”，ＩＥＥＥ Ｊ．Ｓ
ｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃ
ａｔｉｏｎｓ，ＪＳＡＣ−６，ｐｐ．４２５−４３１
（１９８８）などの方式が提案され検討されて来てい
る。これらの方式はＣＥＬＰ方式と呼ばれ、４．８ｋｂ
ｐｓから８ｋｂｐｓ程度の符号化速度を対象にしたもの
であり、広く検討されている。ＣＥＬＰ方式は、音声の
スペクトル包絡情報とピッチ情報および残差情報とによ
り音声を構成するモデルを用いる。そのため、符号化側
ではこれら３種類の情報を抽出／量子化し、復号側では
伝送されてきたこれら３種類の情報に基づいて音声波形
を再生する。

【０００３】これらの情報はいづれもフレームまたはフ
レームを複数に分割したサブフレーム単位で抽出／量子
化され、これが繰り返される。図７に、従来法における
音声波形と、スペクトル包絡情報の更新フレームとピッ
チ情報の更新フレームと、残差情報の更新フレームとの
関係例を示す。この例ではスペクトル包絡情報のフレー
ム更新周期が長く、他の情報のフレーム更新周期の２倍
になっている。従来のＣＥＬＰ方式の特徴の１つは、全
ての情報の更新フレームの境界が一致する時刻が周期的
に存在することであり、図７では、ａ，ｂ，ｃ点がこの
時刻に相当する。

【０００４】

【発明が解決しようとする課題】しかし、このように更
新フレームの境界が一致すると、この境界部分に歪みが
集中することとなり、特に次のフレームの先頭部分での
劣化が大きくなる可能性が高い。これは、量子化値決定
における歪み最小の基準範囲がフレームまたはサブフレ
ームに閉じているためである。フレームの中央付近の値
の量子化値は前方や後方の値との関係からフレームの歪
み最小基準のもとで決定される。ところが、フレームの
最後のサンプルの量子化値は、前方の値との関係のみか
ら決定されることになり、後方の値である次のフレーム
の先頭部分の値とは無関係に決定されてしまう。そのた
め、次のフレームの先頭部分の値から見ると、歪みを増
大する結果となる値が量子化値として選択されることが
あり、これが従来方法の問題点であった。

【０００５】

【課題を解決するための手段】この発明においては以上
の従来のＣＥＬＰ方式の問題点を解決するため、例えば
図１に図７と対応して示すように、残差情報の量子化の
区切り（サブフレーム）が隣どうし重なり合うような構
成とする。図１に示す同一サブフレームの全体を同時に
量子化することで、いずれの部分においても信号の前後
の関係を考慮した量子化が実現できる。重なり合うサブ
フレームの信号がなめらかにつながるように、例えばラ
ップトトランスフォーム処理（例えば、文献（文献３）
Ｈ．Ｓ．Ｍａｌｖａｒ，“Ｌａｐｐｅｄ Ｔｒａｎｓｆ
ｏｒｍｓ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｔｒａｎｓｆ
ｏｒｍ／Ｓｕｂｂａｎｄ Ｃｏｄｉｎｇ”，ＩＥＥＥ
Ｔｒａｎｓ．Ａｃｏｕｓｔ．，Ｓｐｅｅｃｈ，Ｓｉｇｎ
ａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ＡＳＳＰ−３
８，ｐｐ９６９−９７８，Ｊｕｎｅ １９９０に詳細が
記述）を用いる。

【０００６】従来のＣＥＬＰ方式では、量子化雑音がフ
レームを重ねる毎に蓄積することを防ぐため、過去のフ
レームの量子化雑音の影響を除去するように現フレーム
の音声を符号化する構成をとる。具体的には、前フレー
ムの量子化雑音の影響（現フレームの合成フィルタのゼ
ロ入力応答）を現フレームの音声から差し引いて得られ
た信号を量子化する構成をとっている。この構成を実現
するためには、現フレーム音声の量子化処理の前に前フ
レーム音声の量子化が全て完了していることが必要とな
る。フレーム毎に全ての処理が区切られている従来のＣ
ＥＬＰ方式においては、現フレーム音声の量子化処理の
前に前フレーム音声の量子化が全て完了しているため現
フレームの合成フィルタのゼロ入力応答が計算でき、前
フレームの量子化雑音の影響を打消すことが可能であ
る。しかし、この発明では例えば図１に示すように、現
フレーム音声の量子化処理の前に前フレーム音声の量子
化が全て完了することにならない。そのままでは、前フ
レームの量子化雑音の影響を次のフレームで打消すこと
ができないため、以下のようにする。

【０００７】あるフレームの処理を始める時点で、前フ
レームの情報でまだ量子化されてないものは残差であ
る。この量子化されていない残差を適当な条件のもとで
量子化されたと仮定してそのフレームの符号化処理を進
める構成をとる。ただし、適応符号帳の周期の量子化お
よび残差の形状の量子化（雑音符号帳のインデックス検
索）処理において、最適候補以外に複数の準最適な候補
を残しておき、この中から最終的に量子化雑音を最小に
する組み合せを選択する。従来のＣＥＬＰは、適応符号
帳の周期の量子化も残差の形状の量子化も１回で決定さ
れる。

【０００８】以上この発明の具体的な主な特徴は、ラッ
プトトランスフォーム処理を用いること、および適応符
号帳の周期の量子化および残差の形状の量子化処理にお
いて複数の準最適な候補を残しておき最終的に量子化雑
音を最小にする組み合せを選択することである。

【０００９】

【実施例】図２にこの発明による復号化方法の実施例を
示す。受信符号、又はファイルの読出し出力符号として
スペクトル包絡情報を示す包絡符号と、ピッチ情報を示
すピッチ符号と、残差情報を示す残差符号とが入力さ
れ、現１フレーム前の残差符号が第１のインデックスと
して雑音符号帳１１に与えられ、これより読出された雑
音波形が変換器１２で逆変形ラップトトランスフォーム
変換され、その２フレーム長とされた変換出力は後半切
り出し回路１３で波形の後半が切り出されて利得付与回
路１４へ与えられ、その出力が第１基本残差として加算
回路１５へ供給される。

【００１０】現フレームの残差符号が第２のインデック
スとして雑音符号帳１１と同一の雑音符号帳１６に与え
られ、これより読出された雑音波形が変換器１７で逆変
形ラップトトランスフォーム変換され、その２フレーム
長とされた変換出力は前半切り出し回路１３で波形の前
半が切り出されて利得付与回路１９へ与えられ、その出
力が第３基本残差として加算回路１５へ供給される。

【００１１】入力されたピッチ符号が適応符号帳２１へ
与えられ、そのピッチ符号で示す周期で適応符号帳２１
が繰返し読出され、その読出された波形は利得付与回路
２２で利得が与えられて第２基本残差として加算回路１
５へ供給される。加算回路１５の出力は適応符号帳に記
憶されると共に線形予測・合成フィルタ２３に駆動信号
として供給される。合成フィルタ２３のフィルタ係数は
入力された包絡符号により制御される。合成フィルタ２
３から復号音声信号が得られる。

【００１２】図３にこの実施例の復号処理概要における
信号のタイミング関係を示す。残差情報は前フレームと
現フレームとが半分ずつ重ってそれぞれ符号化されてい
るため、第３および第１の基本残差が時間的に連続し、
かつ前後のフレームと重なりながら残差情報を構成す
る。このためこの発明ではフレームの先頭部分での歪が
小さく、従来のＣＥＬＰ方式と大きく異なる。

【００１３】図４にこの発明による符号化方法の実施例
の処理概要を示す。通常のＣＥＬＰ方式では、適応符帳
のラグ（ピッチ周期相当）を決定し、次に雑音符号帳の
インデックスを決定する。しかしこの発明の方法では順
番が逆転し、雑音符号帳のインデックスを決定してから
適応符号帳のラグを決定する構成を取らざるをえない。
この発明では、先に決定される雑音符号帳のインデック
スを後に決定する適応符号帳（第２の基本残差）と組み
合わせたときのミスマッチの発生を防ぐため、雑音符号
帳のインデックスの決定の前に仮想的第２の基本残差
（第２の基本残差の推定値系列）をこの発明では導入す
る。

【００１４】最適な仮想的第２の基本残差を解析的に求
めることは難しいため、仮想的第２の基本残差の候補を
複数作成し、復号音声信号の歪み最小を評価基準とし
て、総当たりを行なう構成とした。ここで、仮想的第２
の基本残差の候補数をＮで表すこととする。さらに、仮
想的第２の基本残差の各候補毎に、Ｍ個の雑音符号の候
補を残す構成とした。即ち、Ｎ×Ｍ個の復号音声の候補
を作成し、これから歪み最小となる候補を選択する構成
をこの実施例はとる。

【００１５】図５にこの発明の符号化方法を適用した符
号化装置の例を示す。入力端子２５からの入力音声は仮
想的第２基本残差作成部２６、ＬＰＣ逆フィルタ２７及
び最適値検索部２８へ供給される。仮想的第２基本残差
作成部２６からＮ個の仮想的第２基本残差が作成されて
雑音符号決定用音声合成部２９₁ 〜２９_N へ供給され
る。入力音声からスペクトル包絡の特徴を除去した残差
波形がＬＰＣ逆フィルタ２７から得られ、この残差波形
は雑音符号決定用音声合成部２９₁ 〜２９_N のすべてへ
供給される。

【００１６】雑音符号決定用音声合成部２９₁ におい
て、第１の仮想的第２基本残差とＬＰＣ逆フィルタ２７
からの残差波形との差が減算器３１で求められ、これよ
り雑音残差、つまり後半が第１の基本残差と、前半が第
３の基本残差と対応したものが得られる。この減算器３
１の出力は変換部３２で変形ラップトトランスフォーム
変換され、その変換出力は重み付きベクトル量子化／逆
量子化部３３で図２中の雑音符号帳１１，１６と同一の
雑音符号帳３４の何れかの雑音符号に重み付き量子化さ
れる。この場合Ｍ個の候補が求められ、これにより各後
半が第１の基本残差、前半が第３の基本残差の２フレー
ム分の残差波形に対するＭ個のインデックスが各フレー
ムごとに得られ、その各インデックスはそれぞれ雑音波
形に逆量子化されて、音声波形合成部３５₁ 〜３５_Mへ
供給され、Ｍ個の音声波形に合成されて最適値検索部２
８へ供給される。雑音符号決定用音声合成部２９₂ 〜２
９_N も同様に構成される。

【００１７】以上の処理を以下に更に詳細に説明する。仮想的第２の基本残差の生成法 通常のＣＥＬＰ符号化方式においては、あるフレームの
適応符号帳には、その前フレームの残差波形を適当な区
間で切り出し繰り返した信号が書かれている。この発明
の方法においては、あるフレームの前フレームの残差波
形は、第１，第２，および第３の基本残差の重み付き和
に利得を掛けたものとなる。ところが、これら基本残差
のうち第３の基本残差の量子化が終了（確定）していな
い。そのため、前フレームの残差波形、およびこれから
生成されるそのフレームの第２の基本残差が確定できな
い。

【００１８】そこで、この第２の基本残差の推定系列は
以下の方法により生成する。まず、ＬＰＣ逆フィルタ２
７で、そのフレームの前フレーム以前の原音声からその
特徴を取り除いた後に残された残差（第１の残差と呼
ぶ）を生成する。その第１の残差には、量子化雑音が含
まれない。すなわち、第１の残差で合成フィルタ（量子
化されていない係数）を駆動すると、原音声と一致した
音声波形が得られることになる。次に、その前フレーム
の量子化された第１，第２の基本残差の和を求め、この
信号にその前前フレーム以前の量子化された残差（第
１，第２および第３の基本残差の和）を時間的に連続す
るように接続した信号（第２の残差と呼ぶ）を生成す
る。その第２の残差と前記第１の残差との差が、第３の
基本残差の目標波形（量子化前の第３の基本残差）であ
る。さらに、前記第１の残差および前記第２の残差の重
み付き線形和を求め、これを第３の残差と呼ぶ。次に、
その第３の残差から切り出した一部分またはその第３の
残差を時間的に補間してから切り出した一部分を直接あ
るいは繰り返して生成した波形を仮想的第２の基本残差
とする。

【００１９】ここで、第３の残差から仮想的第２の基本
残差波形を生成する過程を、詳細に述べる。第３の残差
と現在のフレームの残差の相互相関を計算し、相互相関
を最大にする時間差（ピッチラグ）を求める。第３の残
差の時間的に新しい部分から、ピッチラグの長さの区間
を切り出す。切り出した区間を繰り返しながら波形を延
ばし、フレームと同じ長さにする。これが、仮想的第２
の基本残差である。仮想的第２の基本残差をＮ個生成す
るためには、前記相互相関を大きくするピッチラグを最
大にするものからＮ個残し、それぞれのピッチラグに応
じて上記の方法で仮想的第２の基本残差を生成する。第３および第１の基本残差の同時量子化法 図５中の雑音符号決定用音声合成部２９₁ の詳細、つま
り第３および第１の基本残差の同時量子化法および最適
な合成音声波形の検索を図６に示す。前述のようにして
生成した仮想的第２の基本残差を、そのフレームの残差
波形から差し引いた波形を減算器３１で生成する。この
波形を第１の基本残差として、前フレームの量子化前の
同様に得た基本残差、つまり第３の基本残差の後に時間
的に連続するように合成回路３６で接続する。この接続
波形を、変換部３２でモジュレイテッドラップトトラン
スフォーム（Ｍｏｄｕｌａｔｅｄ ＬａｐｐｅｄＴｒａ
ｎｓｆｏｒｍ：ＭＬＴ，例えば、文献３に詳細が記述）
アルゴリズムにより変換し２分の１のデータ数の周波数
領域の波形を得る。この波形を、量子化部３３ａで重み
付きベクトル量子化（Ｗｅｉｇｈｔｅｄ Ｖｅｃｔｏｒ
Ｑｕａｎｔｉｚａｔｉｏｎ：ＷＶＱ，文献２に詳細が
記述）処理により雑音符号帳３４の何れかの雑音符号に
量子化する。この周波数領域の波形を雑音符号帳３４の
何れかの雑音波形で代表させることを各フレームごとに
行う。このとき複数個（Ｍ個）の候補を残す点にこの発
明の特長がある。さらに、これら残されたＭ個の各候補
について、以下の処理を行なう。

【００２０】（ａ）逆量子化部３３ｂで雑音符号帳３４
を用いて逆量子化し、（ｂ）その逆量子化出力を変換部
３７で逆変形ラップトトランスフォーム変換を行い、
（ｃ）その変換出力を音声波形合成部５５で音声波形に
合成する。 以上の処理により、Ｍ個の候補に対する復号音声を生成
する。原音声波形との距離最小となる候補を選択 以上の処理の結果、合計でＮ×Ｍ個の復号音声の候補が
生成される。検索部２８で各候補復号音声と原音声波形
との距離を計算し、距離最小となる復号音声を決定す
る。

【００２１】最後に第２の基本残差を再決定する。再決
定のため、図５中の第２の基本残差決定部３８で距離最
小となる復号音声を与える量子化された第３および第１
の基本残差（図４のの信号）を用い、第２の基本残差
（図４のの信号）を決定する。以上、この発明の符号
化処理を図４にそってまとめる。

【００２２】（１）原音声波形をＬＰＣ逆フィルタリン
グした残差波形から、複数（Ｎ個）の仮想的第２基本残
差を生成する。 （２）各仮想的第２基本残差に対して、複数（Ｍ個）の
量子化された第３および第１基本残差の組を求める。 （３）復号音声と原音声波形との距離を選択の尺度とし
て、Ｎ×Ｍ個の復号音声の候補から最適候補を決定す
る。

【００２３】（４）決定された最適候補を与える、量子
化された第３および第１基本残差を用いて、第２基本残
差を決定する。 図２において、逆ＭＬＴ処理は高速に行われるため、雑
音符号帳１１，１６、逆ＭＬＴ回路１２，１７を各１つ
とし、各時間領域に変換された２フレームの残差の前半
を現フレームで、後半を前フレームで用いるようにして
もよい。上述では重複サブフレームを１としたが複数サ
ブフレームずつ重複させてもよい。

【００２４】

【発明の効果】以上述べたように、この発明によれば、
残差情報、つまり雑音波形の量子化をフレームを一部重
複させながら行っているため、フレームの境界における
量子化雑音の増加を押さえ、かつ平均的な量子化雑音が
低下し、しかも少ない量子化ビットで済む。

【図面の簡単な説明】

【図１】この発明におけるフレーム更新例の概要を示す
タイムチャート。

【図２】この発明の復号化方法を適用した復号化器の一
例を示すブロック図。

【図３】図２の復号化器の処理の流れを示すタイムチャ
ート。

【図４】この発明による符号化方法の例を示すタイムチ
ャート。

【図５】この発明の符号化方法を適用した符号化器の一
例を示すブロック図。

【図６】図５中の雑音符号決定用音声合成部の具体例を
示すブロック図。

【図７】従来の音声符号化方法におけるフレーム更新を
示すタイムチャート。

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 19/00 - 19/14 H03M 7/30 H04B 14/04

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 音声信号をフレームに分割し、そのフレ
   ームの特徴パラメータを抽出しこれを符号化し、その音
   声信号からその符号化された特徴パラメータにより表現
   される成分を取り除き残差を算出し、その残差を、第２
   の基本残差と、雑音符号帳から選択した第１，および第
   ３の基本残差との和として表現し、これら各基本残差を
   量子化する音声符号化方法において、 各フレームの第１の基本残差の量子化の前に、そのフレ
   ームの複数の仮想的な第２の基本残差を生成し、これら複数の仮想的な第２の基本残差の生成は、 そのフレームの前フレーム以前の原音声からその特徴を
   取り除いた後に残された残差（第１の残差と呼ぶ）を生
   成し、その前フレームの量子化された第１，第２の基本
   残差の和を求め、この信号にその前フレーム以前の量子
   化された残差（第１，第２および第３の基本残差の和）
   を時間的に接続した信号（第２の残差と呼ぶ）を生成
   し、これら第１の残差および第２の残差から線形な処理
   により信号（第３の残差と呼ぶ）を構成し、その第３の
   残差から切り出した一部分を直接あるいは繰り返して複
   数の波形を、上記複数の仮想的な第２の基本残差として
   生成し、 上記 フレームの残差から上記複数の仮想的な第２の基本
   残差をそれぞれ差し引いた複数の仮想残差を生成し、これら 仮想残差をそれぞれそのフレームの上記第１の基
   本残差とし、その前フレームのその仮想残差を上記第３
   の基本残差として、これら第１の基本残差および第３の
   基本残差の量子化値を同時に決定し、 その後、これら量子化された第１の基本残差および第３
   の基本残差を用い、上記複数の仮想的な第２の基本残差
   中から上記第２の基本残差の量子化値を最終決定する、 ことを特徴とする音声符号化方法。
2. 【請求項２】 上記フレームの第１の基本残差およびそ
   のフレームの前のフレームの第３の基本残差を、ラップ
   トトランスフォーム処理を用いて生成し、これを量子化
   することを特徴とする請求項１記載の音声符号化方法。
3. 【請求項３】 包絡符号と、ピッチ符号と雑音符号とを
   入力し、 その雑音符号により雑音符号帳を読出し、 その読出された雑音波形を２フレームに伸ばし、 現フレームで伸ばされた雑音波形の前半を取出し、前フ
   レームで伸ばされた雑音波形の後半を取出し、 上記ピッチ符号で適応符号帳の波形を繰返し読出し、 その適応符号帳の出力と上記伸ばされた雑音波形の前半
   と、上記伸ばされた雑音波形の後半とを加算し、 その加算出力を、上記包絡符号でフィルタ係数が制御さ
   れる合成フィルタへ駆動信号として供給して復号音声信
   号を得る音声復号化方法。