JP4517262B2 - Audio processing device, audio processing method, learning device, learning method, and recording medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To obtain synthetic sound of high quality. SOLUTION: A residual signal and a linear prediction coefficient are decoded from an L code, a G code, an I code and an A code in the receiving part 114 of a CELP(Code Excited Liner Prediction coding) system portable telephone. A sound synthesizing filter 29 generates synthetic sound from the decoded residual signal and linear prediction coefficient. A class classifying part 123 performs classification based on the L, G, I and A codes and a class tap generated from the synthetic sound which is outputted from the filter 29 and outputs a corresponding class code to a coefficient memory 124. The coefficient memory 124 outputs a tap coefficient corresponding to the class code and a predicting part 125 obtains the prediction value of sound with high quality by the tap coefficient, the synthetic sound outputted from the filter 29 and the L, G, I and A codes.

Description

で定義すると、次のような観測方程式が成立する。
【００５３】
ＸＷ＝Ｙ’
・・・（７）
ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙ_iの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗ_jは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙ_iは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ件目の教師データの予測値を表す。なお、式（６）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを省略したものであり、また、式（６）の右辺におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉを省略したものである。
【００５４】
そして、この観測方程式に最小自乗法を適用して、真の高音質の音声ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる真の高音質の音声ｙの集合でなる行列Ｙ、および高音質の音声ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】

で定義すると、式（７）から、次のような残差方程式が成立する。
【００５５】
ＸＷ＝Ｙ＋Ｅ
・・・（８）
【００５６】
この場合、真の高音質の音声ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗ_jは、自乗誤差
【数３】

を最小にすることで求めることができる。
【００５７】
従って、上述の自乗誤差をタップ係数ｗ_jで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗ_jが、真の高音質の音声ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００５８】
【数４】

・・・（９）
【００５９】
そこで、まず、式（８）を、タップ係数ｗ_jで微分することにより、次式が成立する。
【００６０】
【数５】

・・・（１０）
【００６１】
式（９）および（１０）より、式（１１）が得られる。
【００６２】
【数６】

・・・（１１）
【００６３】
さらに、式（８）の残差方程式における生徒データｘ_ij、タップ係数ｗ_j、教師データｙ_i、および誤差ｅ_iの関係を考慮すると、式（１１）から、次のような正規方程式を得ることができる。
【００６４】
【数７】

・・・（１２）
【００６５】
なお、式（１２）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】

で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（１３）
で表すことができる。
【００６６】
式（１２）における各正規方程式は、生徒データｘ_ijおよび教師データｙ_iのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_jの数Ｊと同じ数だけたてることができ、従って、式（１３）を、ベクトルＷについて解くことで（但し、式（１３）を解くには、式（１３）における行列Ａが正則である必要がある）、最適なタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗ_jを求めることができる。なお、式（１３）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００６７】
以上のようにして、最適なタップ係数ｗ_jを求めておき、さらに、そのタップ係数ｗ_jを用い、式（６）により、真の高音質の音声ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００６８】
なお、例えば、教師データとして、高いサンプリング周波数でサンプリングした音声信号、または多ビットを割り当てた音声信号を用いるとともに、生徒データとして、その教師データとしての音声信号を間引いたり、低ビットで再量子化したした音声信号をＣＥＬＰ方式により符号化し、その符号化結果を復号して得られる合成音を用いた場合、タップ係数としては、高いサンプリング周波数でサンプリングした音声信号、または多ビットを割り当てた音声信号を生成するのに、予測誤差が、統計的に最小となる高音質の音声が得られることになる。従って、この場合、より高音質の合成音を得ることが可能となる。
【００６９】
図３の音声合成装置では、以上のようなクラス分類適応処理により、Ａコードと残差コードでなるコードデータを、高音質の音声に復号するようになっている。
【００７０】
即ち、デマルチプレクサ（ＤＥＭＵＸ）４１には、コードデータが供給されるようになっており、デマルチプレクサ４１は、そこに供給されるコードデータから、フレームごとのＡコードと残差コードを分離する。そして、デマルチプレクサは、Ａコードを、フィルタ係数復号器４２、並びにタップ生成部４５および４６に供給し、残差コードを、残差コードブック記憶部４３、並びにタップ生成部４５および４６に供給する。
【００７１】
ここで、図３におけるコードデータに含まれるＡコードと残差コードは、音声をＬＰＣ分析して得られる線形予測係数と残差信号を、所定のコードブックを用いて、それぞれベクトル量子化することにより得られるコードとなっている。
【００７２】
フィルタ係数復号器４２は、デマルチプレクサ４１から供給されるフレームごとのＡコードを、そのＡコードを得るときに用いられたのと同一のコードブックに基づいて、線形予測係数に復号し、音声合成フィルタ４４に供給する。
【００７３】
残差コードブック記憶部４３は、デマルチプレクサ４１から供給されるフレームごとの残差コードを、その残差コードを得るときに用いられたのと同一のコードブックに基づいて、残差信号に復号し、音声合成フィルタ４４に供給する。
【００７４】
音声合成フィルタ４４は、例えば、図１の音声合成フィルタ２９と同様に、ＩＩＲ型のディジタルフィルタで、フィルタ係数復号器４２からの線形予測係数をＩＩＲフィルタのタップ係数とするとともに、残差コードブック記憶部４３からの残差信号を入力信号として、その入力信号のフィルタリングを行うことにより、合成音を生成し、タップ生成部４５および４６に供給する。
【００７５】
タップ生成部４５は、音声合成フィルタ４４から供給される合成音（のサンプル値）、並びにデマルチプレクサ４１から供給される残差コードおよびＡコードから、後述する予測部４９における予測演算に用いられる予測タップとなるものを抽出する。即ち、タップ生成部４５は、例えば、高音質の音声の予測値を求めようとしているフレームである注目フレームの合成音のサンプル値、残差コード、およびＡコードすべてを、予測タップとする。そして、タップ生成部４５は、予測タップを、予測部４９に供給する。
【００７６】
タップ生成部４６は、音声合成フィルタ４４から供給される合成音のサンプル値、並びにデマルチプレクサ４１から供給されるフレーム（またはサブフレーム）ごとのＡコードおよび残差コードから、クラスタップとなるものを抽出する。即ち、タップ生成部４６は、例えば、タップ生成部４６と同様に、注目フレームの合成音のサンプル値、並びにＡコードおよび残差コードすべてを、クラスタップとする。そして、タップ生成部４６は、クラスタップを、クラス分類部４７に供給する。
【００７７】
ここで、予測タップやクラスタップの構成パターンは、上述したパターンのものに限定されるものではない。また、上述の場合には、同一のクラスタップおよび予測タップを構成するようにしたが、クラスタップと予測タップとは、異なる構成とすることが可能である。
【００７８】
さらに、タップ生成部４５や４６では、図３において点線で示すように、フィルタ係数復号器４２が出力する、Ａコードから得られる線形予測係数や、残差コードブック記憶部４３が出力する、残差コードから得られる残差信号等の中からも、クラスタップや予測タップを抽出するようにすることができる。
【００７９】
クラス分類部４７は、タップ生成部４６からのクラスタップに基づき、注目している注目フレームの音声（のサンプル値）についてクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数メモリ４８に出力する。
【００８０】
ここで、クラス分類部４７には、例えば、クラスタップとしての注目フレームの合成音のサンプル値、並びにＡコードおよび残差コードを構成するビットの系列そのものを、クラスコードとして出力させることが可能である。
【００８１】
係数メモリ４８は、後述する図６の学習装置において学習処理が行われることにより得られる、クラスごとのタップ係数を記憶しており、クラス分類部４７が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、予測部４９に出力する。
【００８２】
ここで、各フレームについて、Ｎサンプルの高音質の音声が求められるとすると、注目フレームについて、Ｎサンプルの音声を、式（６）の予測演算によって求めるには、Ｎセットのタップ係数が必要である。従って、この場合は、係数メモリ４８には、１つのクラスコードに対応するアドレスに対して、Ｎセットのタップ係数が記憶されている。
【００８３】
予測部４９は、タップ生成部４５が出力する予測タップと、係数メモリ４８が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（６）に示した線形予測演算（積和演算）を行い、注目フレームの高音質の音声（の予測値）を求めて、Ｄ／Ａ変換部５０に出力する。
【００８４】
ここで、係数メモリ４８は、上述したように、注目フレームの音声のＮサンプルそれぞれを求めるためのＮセットのタップ係数を出力するが、予測部４９は、各サンプル値について、予測タップと、そのサンプル値に対応するタップ係数のセットとを用い、式（６）の積和演算を行う。
【００８５】
Ｄ／Ａ変換部５０は、予測部４９からの音声（の予測値）を、ディジタル信号からアナログ信号にＤ／Ａ変換し、スピーカ５１に供給して出力させる。
【００８６】
次に、図４は、図３の音声合成フィルタ４４の構成例を示している。
【００８７】
図４において、音声合成フィルタ４４は、Ｐ次の線形予測係数を用いるものとなっており、従って、１つの加算器６１、Ｐ個の遅延回路（Ｄ）６２₁乃至６２_P、およびＰ個の乗算器６３₁乃至６３_Pから構成されている。
【００８８】
乗算器６３₁乃至６３_Pには、それぞれ、フィルタ係数復号器４２から供給されるＰ次の線形予測係数α₁，α₂，・・・，α_Pがセットされ、これにより、音声合成フィルタ４４では、式（４）にしたがって演算が行われ、合成音が生成される。
【００８９】
即ち、残差コードブック記憶部４３が出力する残差信号ｅは、加算器６１を介して、遅延回路６２１に供給され、遅延回路６２_pは、そこへの入力信号を、残差信号の１サンプル分だけ遅延して、後段の遅延回路６２_p+1に出力するとともに、演算器６３_pに出力する。乗算器６３_pは、遅延回路６２_pの出力と、そこにセットされた線形予測係数α_pとを乗算し、その乗算値を、加算器６１に出力する。
【００９０】
加算器６１は、乗算器６３₁乃至６３_Pの出力すべてと、残差信号ｅとを加算し、その加算結果を、遅延回路６２１に供給する他、音声合成結果（合成音）として出力する。
【００９１】
次に、図５のフローチャートを参照して、図３の音声合成装置の処理（音声合成処理）について説明する。
【００９２】
デマルチプレクサ４１は、そこに供給されるコードデータから、フレームごとのＡコードと残差コードを順次分離し、それぞれを、フィルタ係数復号器４２と残差コードブック記憶部４３に供給する。さらに、デマルチプレクサ４１は、Ａコードおよび残差コードを、タップ生成部４５および４６にも供給する。
【００９３】
フィルタ係数復号器４２は、デマルチプレクサ４１から供給されるフレームごとのＡコードを、線形予測係数に順次復号し、音声合成フィルタ４４に供給する。また、残差コードブック記憶部４３は、デマルチプレクサ４１から供給されるフレームごとの残差コードを、残差信号に順次復号し、音声合成フィルタ４４に供給する。
【００９４】
音声合成フィルタ４４では、そこに供給される残差信号および線形予測係数を用いて、式（４）の演算が行われることにより、注目フレームの合成音が生成される。この合成音は、タップ生成部４５および４６に供給される。
【００９５】
タップ生成部４５は、そこに供給される合成音のフレームを、順次、注目フレームとし、ステップＳ１において、音声合成フィルタ４４から供給される合成音（のサンプル値）、並びにデマルチプレクサ４１から供給されるＡコードおよび残差コードから、予測タップを生成し、予測部４９に出力する。さらに、ステップＳ１では、タップ生成部４６が、音声合成フィルタ４４から供給される合成音、並びにデマルチプレクサ４１から供給されるＡコードおよび残差コードから、クラスタップを生成し、クラス分類部４７に出力する。
【００９６】
そして、ステップＳ２に進み、クラス分類部４７は、タップ生成部４６から供給されるクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、係数メモリ４８に供給して、ステップＳ３に進む。
【００９７】
ステップＳ３では、係数メモリ４８は、クラス分類部４７から供給されるクラスコードに対応するアドレスから、タップ係数を読み出し、予測部４９に供給する。
【００９８】
そして、ステップＳ４に進み、予測部４９は、係数メモリ４８が出力するタップ係数を取得し、そのタップ係数と、タップ生成部４５からの予測タップとを用いて、式（６）に示した積和演算を行い、注目フレームの高音質の音声（の予測値）を得る。この高音質の音声は、予測部４９からＤ／Ａ変換部５０を介して、スピーカ５１に供給されて出力される。
【００９９】
予測部４９において、注目フレームの高音質の音声が得られた後は、ステップＳ５に進み、まだ、注目フレームとして処理すべきフレームがあるかどうかが判定される。ステップＳ５において、まだ、注目フレームとして処理すべきフレームがあると判定された場合、ステップＳ１に戻り、次に注目フレームとすべきフレームを、新たに注目フレームとして、以下、同様の処理を繰り返す。また、ステップＳ５において、注目フレームとして処理すべきフレームがないと判定された場合、音声合成処理を終了する。
【０１００】
次に、図６は、図３の係数メモリ４８に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１０１】
学習装置には、学習用の（高音質の）ディジタル音声信号が、所定のフレーム単位で供給されるようになっており、この学習用のディジタル音声信号は、ＬＰＣ分析部７１および予測フィルタ７４に供給される。さらに、学習用のディジタル音声信号は、教師データとして、正規方程式加算回路８１にも供給される。
【０１０２】
ＬＰＣ分析部７１は、そこに供給される音声信号のフレームを、順次、注目フレームとし、その注目フレームの音声信号をＬＰＣ分析することで、Ｐ次の線形予測係数を求め、ベクトル量子化部７２および予測フィルタ７４に供給する。
【０１０３】
ベクトル量子化部７２は、線形予測係数を要素とするコードベクトルとコードとを対応付けたコードブックを記憶しており、そのコードブックに基づいて、ＬＰＣ分析部７１からの注目フレームの線形予測係数で構成される特徴ベクトルをベクトル量子化し、そのベクトル量子化の結果得られるＡコードを、フィルタ係数復号器７３、並びにタップ生成部７８および７９に供給する。
【０１０４】
フィルタ係数復号器７３は、ベクトル量子化部７２が記憶しているのと同一のコードブックを記憶しており、そのコードブックに基づいて、ベクトル量子化部７２からのＡコードを、線形予測係数に復号し、音声合成フィルタ７７に供給する。ここで、図３のフィルタ係数復号器４２と、図６のフィルタ係数復号器７３とは、同一構成のものとなっている。
【０１０５】
予測フィルタ７４は、そこに供給される注目フレームの音声信号と、LPC分析部７１からの線形予測係数を用いて、例えば、式（１）にしたがった演算を行うことにより、注目フレームの残差信号を求め、ベクトル量子化部７５に供給する。
【０１０６】
即ち、式（１）におけるｓ_nとｅ_nのＺ変換を、ＳとＥとそれぞれ表すと、式（１）は、次式のように表すことができる。
【０１０７】
Ｅ＝（１＋α₁ｚ^-1＋α₂ｚ^-2＋・・・＋α_Pｚ^-P）Ｓ
・・・（１４）
式（１４）から、残差信号ｅを求める予測フィルタ７４は、ＦＩＲ(Finite Impulse Response)型のディジタルフィルタで構成することができる。
【０１０８】
即ち、図７は、予測フィルタ７４の構成例を示している。
【０１０９】
予測フィルタ７４には、ＬＰＣ分析部７１から、Ｐ次の線形予測係数が供給されるようになっており、従って、予測フィルタ７４は、Ｐ個の遅延回路（Ｄ）９１₁乃至９１_P、Ｐ個の乗算器９２₁乃至９２_P、および１つの加算器９３から構成されている。
【０１１０】
乗算器９２₁乃至９２_Pには、それぞれ、ＬＰＣ分析部７１から供給されるＰ次の線形予測係数α₁，α₂，・・・，α_Pがセットされる。
【０１１１】
一方、注目フレームの音声信号ｓは、遅延回路９１₁と加算器９３に供給される。遅延回路９１_pは、そこへの入力信号を、残差信号の１サンプル分だけ遅延して、後段の遅延回路９１_p+1に出力するとともに、演算器９２_pに出力する。乗算器９２_pは、遅延回路９１_pの出力と、そこにセットされた線形予測係数α_pとを乗算し、その乗算値を、加算器９３に出力する。
【０１１２】
加算器９３は、乗算器９２₁乃至９２_Pの出力すべてと、音声信号ｓとを加算し、その加算結果を、残差信号ｅとして出力する。
【０１１３】
図６に戻り、ベクトル量子化部７５は、残差信号のサンプル値を要素とするコードベクトルとコードとを対応付けたコードブックを記憶しており、そのコードブックに基づいて、予測フィルタ７４からの注目フレームの残差信号のサンプル値で構成される残差ベクトルをベクトル量子化し、そのベクトル量子化の結果得られる残差コードを、残差コードブック記憶部７６、並びにタップ生成部７８および７９に供給する。
【０１１４】
残差コードブック記憶部７６は、ベクトル量子化部７５が記憶しているのと同一のコードブックを記憶しており、そのコードブックに基づいて、ベクトル量子化部７５からの残差コードを、残差信号に復号し、音声合成フィルタ７７に供給する。ここで、図３の残差コードブック記憶部４３と、図６の残差コードブック記憶部７６の記憶内容は同一になっている。
【０１１５】
音声合成フィルタ７７は、図３の音声合成フィルタ４４と同様に構成されるＩＩＲフィルタで、フィルタ係数復号器７３からの線形予測係数をＩＩＲフィルタのタップ係数とするとともに、残差コードブック記憶部７５からの残差信号を入力信号として、その入力信号のフィルタリングを行うことにより、合成音を生成し、タップ生成部７８および７９に供給する。
【０１１６】
タップ生成部７８は、図３のタップ生成部４５における場合と同様に、音声合成フィルタ７７から供給される合成音、ベクトル量子化部７２から供給されるＡコード、およびベクトル量子化部７５から供給される残差コードから、予測タップを構成し、正規方程式加算回路８１に供給する。タップ生成部７９は、図３のタップ生成部４６における場合と同様に、音声合成フィルタ７７から供給される合成音、ベクトル量子化部７２供給されるＡコード、およびベクトル量子化部７５から供給される残差コードから、クラスタップを構成し、クラス分類部８０に供給する。
【０１１７】
クラス分類部８０は、図３のクラス分類部４７における場合と同様に、そこに供給されるクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、正規方程式加算回路８１に供給する。
【０１１８】
正規方程式加算回路８１は、教師データとしての注目フレームの高音質の音声である学習用の音声と、タップ生成部７８からの生徒データとしての予測タップを対象とした足し込みを行う。
【０１１９】
即ち、正規方程式加算回路８１は、クラス分類部８０から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（１３）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘ_inｘ_im）と、サメーション（Σ）に相当する演算を行う。
【０１２０】
さらに、正規方程式加算回路８１は、やはり、クラス分類部８０から供給されるクラスコードに対応するクラスごとに、生徒データおよび教師データを用い、式（１３）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘ_inｙ_i）と、サメーション（Σ）に相当する演算を行う。
【０１２１】
正規方程式加算回路８１は、以上の足し込みを、そこに供給される学習用の音声のフレームすべてを注目フレームとして行い、これにより、各クラスについて、式（１３）に示した正規方程式をたてる。
【０１２２】
タップ係数決定回路８２は、正規方程式加算回路８１においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ８３の、各クラスに対応するアドレスに供給する。
【０１２３】
なお、学習用の音声信号として用意した音声信号によっては、正規方程式加算回路８１において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路８２は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１２４】
係数メモリ８３は、タップ係数決定回路８２から供給されるクラスごとのタップ係数を、そのクラスに対応するアドレスに記憶する。
【０１２５】
次に、図８のフローチャートを参照して、図６の学習装置の処理（学習処理）について説明する。
【０１２６】
学習装置には、学習用の音声信号が供給され、この学習用の音声信号は、ＬＰＣ分析部７１および予測フィルタ７４に供給されるとともに、教師データとして、正規方程式加算回路８１に供給される。そして、ステップＳ１１において、学習用の音声信号から、生徒データが生成される。
【０１２７】
即ち、ＬＰＣ分析部７１は、学習用の音声信号のフレームを、順次、注目フレームとし、その注目フレームの音声信号をＬＰＣ分析することで、Ｐ次の線形予測係数を求め、ベクトル量子化部７２に供給する。ベクトル量子化部７２は、ＬＰＣ分析部７１からの注目フレームの線形予測係数で構成される特徴ベクトルをベクトル量子化し、そのベクトル量子化の結果得られるＡコードを、生徒データとして、フィルタ係数復号器７３、並びにタップ生成部７８および７９に供給する。フィルタ係数復号器７３は、ベクトル量子化部７２からのＡコードを、線形予測係数に復号し、その線形予測係数を、音声合成フィルタ７７に供給する。
【０１２８】
一方、ＬＰＣ分析部７１から注目フレームの線形予測係数を受信した予測フィルタ７４は、その線形予測係数と、注目フレームの学習用の音声信号とを用いて、式（１）にしたがった演算を行うことにより、注目フレームの残差信号を求め、ベクトル量子化部７５に供給する。ベクトル量子化部７５は、予測フィルタ７４からの注目フレームの残差信号のサンプル値で構成される残差ベクトルをベクトル量子化し、そのベクトル量子化の結果得られる残差コードを、生徒データとして、残差コードブック記憶部７６、並びにタップ生成部７８および７９に供給する。残差コードブック記憶部７６は、ベクトル量子化部７５からの残差コードを、残差信号に復号し、音声合成フィルタ７７に供給する。
【０１２９】
以上のようにして、音声合成フィルタ７７は、線形予測係数と残差信号を受信すると、その線形予測係数と残差信号を用いて音声合成を行い、その結果得られる合成音を、生徒データとして、タップ生成部７８および７９に出力する。
【０１３０】
そして、ステップＳ１２に進み、タップ生成部７８が、音声合成フィルタ７７から供給される合成音、ベクトル量子化部７２から供給されるＡコード、およびベクトル量子化部７５から供給される残差コードから、予測タップとクラスタップをそれぞれ生成する。予測タップは、正規方程式加算回路８１に供給され、クラスタップは、クラス分類部８０に供給される。
【０１３１】
その後、ステップＳ１３において、クラス分類部８０が、タップ生成部７９からのクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、正規方程式加算回路８１に供給する。
【０１３２】
そして、ステップＳ１４に進み、正規方程式加算回路８１は、クラス分類部８０から供給されるクラスについて、そこに供給される教師データとしての注目フレームの高音質の音声のサンプル値、およびタップ生成部７８からの生徒データとしての予測タップを対象とした、式（１３）の行列Ａとベクトルｖの、上述したような足し込みを行い、ステップＳ１５に進む。
【０１３３】
ステップＳ１５では、まだ、注目フレームとして処理すべきフレームの学習用の音声信号があるかどうかが判定される。ステップＳ１５において、まだ、注目フレームとして処理すべきフレームの学習用の音声信号があると判定された場合、ステップＳ１１に戻り、次のフレームを新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１３４】
また、ステップＳ１５において、注目フレームとして処理すべきフレームの学習用の音声信号がないと判定された場合、即ち、正規方程式加算回路８１において、各クラスについて、正規方程式が得られた場合、ステップＳ１６に進み、タップ係数決定回路８２は、各クラスごとに生成された正規方程式を解くことにより、各クラスごとに、タップ係数を求め、係数メモリ８３の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１３５】
以上のようにして、係数メモリ８３に記憶された各クラスごとのタップ係数が、図３の係数メモリ４８に記憶されている。
【０１３６】
従って、図３の係数メモリ４８に記憶されたタップ係数は、線形予測演算を行うことにより得られる高音質の音声の予測値の予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであるから、図３の予測部４９が出力する音声は、音声合成フィルタ４４で生成された合成音の歪みが低減（解消）された、高音質のものとなる。
【０１３７】
なお、図３の音声合成装置において、上述したように、例えば、タップ生成部４６に、線形予測係数や残差信号等の中からも、クラスタップを抽出させるようにする場合には、図６のタップ生成部７９にも、図中点線で示すように、フィルタ係数復号器７３が出力する線形予測係数や、残差コードブック記憶部７６が出力する残差信号の中から、同様のクラスタップを抽出させるようにする必要がある。図３のタップ生成部４５と、図６のタップ生成部７８で生成される予測タップについても同様である。
【０１３８】
また、上述の場合には、説明を簡単にするために、クラスタップを構成するビットの系列を、そのままクラスコードとするクラス分類を行うようにしたが、この場合、クラス数が膨大になることがある。そこで、クラス分類では、例えば、クラスタップをベクトル量子化等によって圧縮し、その圧縮の結果得られるビットの系列を、クラスコードとするようにすることが可能である。
【０１３９】
次に、図９は、本発明を適用した伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。
【０１４０】
この伝送システムでは、携帯電話機１０１₁と１０１₂が、基地局１０２₁と１０２₂それぞれとの間で、無線による送受信を行うとともに、基地局１０２₁と１０２₂それぞれが、交換局１０３との間で送受信を行うことにより、最終的には、携帯電話機１０１₁と１０１₂との間において、基地局１０２₁および１０２₂、並びに交換局１０３を介して、音声の送受信を行うことができるようになっている。なお、基地局１０２₁と１０２₂は、同一の基地局であっても良いし、異なる基地局であっても良い。
【０１４１】
ここで、以下、特に区別する必要がない限り、携帯電話機１０１₁と１０１₂を、携帯電話機１０１と記述する。
【０１４２】
図１０は、図９の携帯電話機１０１の構成例を示している。
【０１４３】
アンテナ１１１は、基地局１０２₁または１０２₂からの電波を受信し、その受信信号を、変復調部１１２に供給するとともに、変復調部１１２からの信号を、電波で、基地局１０２₁または１０２₂に送信する。変復調部１１２は、アンテナ１１１からの信号を復調し、その結果得られる、図１で説明したようなコードデータを、受信部１１４に供給する。また、変復調部１１２は、送信部１１３から供給される、図１で説明したようなコードデータを変調し、その結果得られる変調信号を、アンテナ１１１に供給する。送信部１１３は、図１に示した送信部と同様に構成され、そこに入力されるユーザの音声を、コードデータに符号化して、変復調部１１２に供給する。受信部１１４は、変復調部１１２からのコードデータを受信し、そのコードデータから、図３の音声合成装置における場合と同様の高音質の音声を復号して出力する。
【０１４４】
即ち、図１１は、図１０の受信部１１４の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１４５】
タップ生成部１２１と１２２には、音声合成フィルタ２９が出力する、フレームごとの合成音と、チャネルデコーダ２１が出力する、フレーム（またはサブフレーム）ごとのＬコード、Ｇコード、Ｉコード、およびＡコードとが供給されるようになっている。タップ生成部１２１と１２２は、そこに供給される合成音、Ｌコード、Ｇコード、Ｉコード、およびＡコードから、予測タップとするものとクラスタップとするものをそれぞれ抽出する。予測タップは、予測部１２５に供給され、クラスタップは、クラス分類部１２３に供給される。
【０１４６】
クラス分類部１２３は、タップ生成部１２２から供給されるクラスタップに基づいて、クラス分類を行い、そのクラス分類結果としてのクラスコードを、係数メモリ１２４に供給する。
【０１４７】
係数メモリ１２４は、後述する図１２の学習装置において学習処理が行われることにより得られる、クラスごとのタップ係数を記憶しており、クラス分類部１２３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、予測部１２５に供給する。
【０１４８】
予測部１２５は、図３の予測部４９と同様に、タップ生成部１２１が出力する予測タップと、係数メモリ１２４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（６）に示した線形予測演算を行う。これにより、予測部１２５は、注目フレームの高音質の音声（の予測値）を求めて、Ｄ／Ａ変換部３０に供給する。
【０１４９】
以上のように構成される受信部１１４では、基本的には、図５に示したフローチャートにしたがった処理と同様の処理が行われることで、高音質の合成音が、音声の復号結果として出力される。
【０１５０】
即ち、チャネルデコーダ２１は、そこに供給されるコードデータから、Ｌコード、Ｇコード、Ｉコード、Ａコードを分離し、それぞれを、適応コードブック記憶部２２、ゲイン復号器２３、励起コードブック記憶部２４、フィルタ係数復号器２５に供給する。さらに、Ｌコード、Ｇコード、Ｉコード、およびＡコードは、タップ生成部１２１および１２２にも供給される。
【０１５１】
そして、適応コードブック記憶部２２、ゲイン復号器２３、励起コードブック記憶部２４、演算器２６乃至２８では、図１の適応コードブック記憶部９、ゲイン復号器１０、励起コードブック記憶部１１、演算器１２乃至１４における場合と同様の処理が行われ、これにより、Ｌコード、Ｇコード、およびＩコードが、残差信号ｅに復号される。この残差信号は、音声合成フィルタ２９に供給される。
【０１５２】
さらに、フィルタ係数復号器２５は、図１で説明したように、そこに供給されるＡコードを、線形予測係数に復号し、音声合成フィルタ２９に供給する。音声合成フィルタ２９は、演算器２８からの残差信号と、フィルタ係数復号器２５からの線形予測係数を用いて音声合成を行い、その結果得られる合成音を、タップ生成部１２１と１２２に供給する。
【０１５３】
タップ生成部１２１は、音声合成フィルタ２９が出力する合成音のフレームを注目フレームとし、ステップＳ１において、その注目フレームの合成音と、Ｌコード、Ｇコード、Ｉコード、およびＡコードとから、予測タップを生成し、予測部１２５に供給する。さらに、ステップＳ１では、タップ生成部１２２は、やはり、注目フレームの合成音と、Ｌコード、Ｇコード、Ｉコード、およびＡコードとから、クラスタップを生成し、クラス分類部１２３に供給する。
【０１５４】
そして、ステップＳ２に進み、クラス分類部１２３は、タップ生成部１２２から供給されるクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、係数メモリ１２４に供給して、ステップＳ３に進む。
【０１５５】
ステップＳ３では、係数メモリ１２４は、クラス分類部１２３から供給されるクラスコードに対応するアドレスから、タップ係数を読み出し、予測部１２５に供給する。
【０１５６】
そして、ステップＳ４に進み、予測部１２５は、係数メモリ１２４が出力するタップ係数を取得し、そのタップ係数と、タップ生成部１２１からの予測タップとを用いて、式（６）に示した積和演算を行い、注目フレームの高音質の音声（の予測値）を得る。
【０１５７】
以上のようにして得られた高音質の音声は、予測部１２５から、Ｄ／Ａ変換部３０を介して、スピーカ３１に供給され、これにより、スピーカ３１からは、高音質の音声が出力される。
【０１５８】
ステップＳ４の処理後は、ステップＳ５に進み、まだ、注目フレームとして処理すべきフレームがあるかどうかが判定され、あると判定された場合、ステップＳ１に戻り、次に注目フレームとすべきフレームを、新たに注目フレームとして、以下、同様の処理を繰り返す。また、ステップＳ５において、注目フレームとして処理すべきフレームがないと判定された場合、処理を終了する。
【０１５９】
次に、図１２は、図１１の係数メモリ１２４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１６０】
マイク２０１乃至コード決定部２１５は、図１のマイク１乃至コード決定部１５とそれぞれ同様に構成される。マイク１には、学習用の音声信号が入力されるようになっており、従って、マイク２０１乃至コード決定部２１５では、その学習用の音声信号に対して、図１における場合と同様の処理が施される。
【０１６１】
そして、タップ生成部１３１と１３２には、自乗誤差最小判定部２０８において自乗誤差が最小になったと判定されたときの音声合成フィルタ２０６が出力する合成音が供給される。さらに、タップ生成部１３１と１３２には、コード決定部２１５が、自乗誤差最小判定部２０８から確定信号を受信したときに出力するＬコード、Ｇコード、Ｉコード、およびＡコードも供給される。また、正規方程式加算回路１３４には、Ａ／Ｄ変換部２０２が出力する音声が、教師データとして供給される。
【０１６２】
タップ生成部１３１は、音声合成フィルタ２０６が出力する合成音と、コード決定部２１５が出力するＬコード、Ｇコード、Ｉコード、およびＡコードとから、図１１のタップ生成部１２１と同一の予測タップを構成し、生徒データとして、正規方程式加算回路１３４に供給する。
【０１６３】
タップ生成部１３２も、音声合成フィルタ２０６が出力する合成音と、コード決定部２１５が出力するＬコード、Ｇコード、Ｉコード、およびＡコードとから、図１１のタップ生成部１２２と同一のクラスタップを構成し、クラス分類部１３３に供給する。
【０１６４】
クラス分類部１３３は、タップ生成部１３２からのクラスタップに基づいて、図１１のクラス分類部１２３における場合と同様のクラス分類を行い、その結果得られるクラスコードを、正規方程式加算回路１３４に供給する。
【０１６５】
正規方程式加算回路１３４は、Ａ／Ｄ変換部２０２からの音声を、教師データとして受信するとともに、タップ生成部１３１からの予測タップを、生徒データとして受信し、その教師データおよび生徒データを対象として、クラス分類部１３３からのクラスコードごとに、図６の正規方程式加算回路８１における場合と同様の足し込みを行うことにより、各クラスについて、式（１３）に示した正規方程式をたてる。
【０１６６】
タップ係数決定回路１３５は、正規方程式加算回路１３４においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ１３６の、各クラスに対応するアドレスに供給する。
【０１６７】
なお、学習用の音声信号として用意する音声信号によっては、正規方程式加算回路１３４において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路１３５は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１６８】
係数メモリ１３６は、タップ係数決定回路１３５から供給されるクラスごとの線形予測係数と残差信号についてのタップ係数を記憶する。
【０１６９】
以上のように構成される学習装置では、基本的には、図８に示したフローチャートにしたがった処理と同様の処理が行われることで、高音質の合成音を得るためのタップ係数が求められる。
【０１７０】
即ち、学習装置には、学習用の音声信号が供給され、ステップＳ１１では、その学習用の音声信号から、教師データと生徒データが生成される。
【０１７１】
即ち、学習用の音声信号は、マイク２０１に入力され、マイク２０１乃至コード決定部２１５は、図１のマイク１乃至コード決定部１５における場合とそれぞれ同様の処理を行う。
【０１７２】
その結果、Ａ／Ｄ変換部２０２で得られるディジタル信号の音声は、教師データとして、正規方程式加算回路１３４に供給される。また、自乗誤差最小判定部２０８において自乗誤差が最小になったと判定されたときに、音声合成フィルタ２０６が出力する合成音は、生徒データとして、タップ生成部１３１と１３２に供給される。さらに、自乗誤差最小判定部２０８において自乗誤差が最小になったと判定されたときに、コード決定部２１５が出力するＬコード、Ｇコード、Ｉコード、およびＡコードも、生徒データとして、タップ生成部１３１と１３２に供給される。
【０１７３】
その後、ステップＳ１２に進み、タップ生成部１３１は、音声合成フィルタ２０６から生徒データとして供給される合成音のフレームを注目フレームとして、その注目フレームの合成音と、Ｌコード、Ｇコード、Ｉコード、およびＡコードとから、予測タップを生成し、正規方程式加算回路１３４に供給する。さらに、ステップＳ１２では、タップ生成部１３２が、やはり、注目フレームの合成音と、Ｌコード、Ｇコード、Ｉコード、およびＡコードとから、クラスタップを生成し、クラス分類部１３３に供給する。
【０１７４】
ステップＳ１２の処理後は、ステップＳ１３に進み、クラス分類部１３３が、タップ生成部１３２からのクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、正規方程式加算回路１３４に供給する。
【０１７５】
そして、ステップＳ１４に進み、正規方程式加算回路１３４は、Ａ／Ｄ変換器２０２からの教師データとしての注目フレームの高音質の音声である学習用の音声、およびタップ生成部１３２からの生徒データとしての予測タップを対象として、式（１３）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類部１３３からのクラスコードごとに行い、ステップＳ１５に進む。
【０１７６】
ステップＳ１５では、まだ、注目フレームとして処理すべきフレームがあるかどうかが判定される。ステップＳ１５において、まだ、注目フレームとして処理すべきフレームがあると判定された場合、ステップＳ１１に戻り、次のフレームを新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１７７】
また、ステップＳ１５において、注目フレームとして処理すべきフレームがないと判定された場合、即ち、正規方程式加算回路１３４において、各クラスについて、正規方程式が得られた場合、ステップＳ１６に進み、タップ係数決定回路１３５は、各クラスごとに生成された正規方程式を解くことにより、各クラスごとに、タップ係数を求め、係数メモリ１３６の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１７８】
以上のようにして、係数メモリ１３６に記憶された各クラスごとのタップ係数が、図１１の係数メモリ１２４に記憶されている。
【０１７９】
従って、図１１の係数メモリ１２４に記憶されたタップ係数は、線形予測演算を行うことにより得られる高音質の音声予測値の予測誤差（自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであるから、図１１の予測部１２５が出力する音声は、高音質のものとなる。
【０１８０】
なお、例えば、図１１および図１２の実施の形態では、クラスタップを、音声合成フィルタ２０６が出力する合成音と、Ｌコード、Ｇコード、Ｉコード、およびＡコードとから生成するようにしたが、クラスタップは、Ｌコード、Ｇコード、Ｉコード、またはＡコードのうちの１以上と、音声合成フィルタ２０６が出力する合成音とから生成することが可能である。また、クラスタップは、図１１および図１２において点線で示すように、Ａコードから得られる線形予測係数α_pや、Ｇコードから得られるゲインβ，γ、その他の、Ｌコード、Ｇコード、Ｉコード、またはＡコードから得られる情報（例えば、残差信号ｅや、残差信号ｅを得るためのｌ，ｎ、さらには、ｌ／β，ｎ／γなど）をも用いて構成することが可能である。さらに、クラスタップは、音声合成フィルタ２０６が出力する合成音と、Ｌコード、Ｇコード、Ｉコード、またはＡコードから得られる、上述したような情報とから生成することも可能である。また、ＣＥＬＰ方式では、コードデータに、リスト補間ビットやフレームエネルギが含められる場合があるが、この場合、クラスタップは、ソフト補間ビットやフレームエネルギを用いて構成することが可能である。予測タップについても、同様である。
【０１８１】
ここで、図１３に、図１２の学習装置において、教師データとして用いられる音声データｓと、生徒データとして用いられる合成音のデータｓｓ、残差信号ｅ、残差信号を求めるのに用いられるｎおよびｌを示す。
【０１８２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８３】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。
【０１８５】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８６】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【０１８７】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０１８８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９０】
なお、本実施の形態においては、学習用の音声信号として、どのようなものを用いるかについては、特に言及しなかったが、学習用の音声信号としては、人が発話した音声の他、例えば、曲（音楽）等を採用することが可能である。そして、上述したような学習処理によれば、学習用の音声信号として、人の発話を用いた場合には、そのような人の発話の音声の音質を向上させるようなタップ係数が得られ、曲を用いた場合には、曲の音質を向上させるようなタップ係数が得られることになる。
【０１９１】
また、図１１の実施の形態では、係数メモリ１２４には、タップ係数をあらかじめ記憶させておくようにしたが、係数メモリ１２４に記憶させるタップ係数は、携帯電話機１０１において、図９の基地局１０２（あるいは交換局１０３）や、図示しないＷＷＷ(World Wide Web)サーバ等からダウンロードするようにすることができる。即ち、上述したように、タップ係数は、人の発話用や曲用等のように、ある種類の音声信号に適したものを、学習によって得ることができる。さらに、学習に用いる教師データおよび生徒データによっては、合成音の音質に差が生じるタップ係数を得ることができる。従って、そのような各種のタップ係数を、基地局１０２等に記憶させておき、ユーザには、自身の所望するタップ係数をダウンロードさせるようにすることができる。そして、このようなタップ係数のダウンロードサービスは、無料で行うこともできるし、有料で行うこともできる。さらに、タップ係数のダウンロードサービスを有料で行う場合には、タップ係数のダウンロードに対する対価としての代金は、例えば、携帯電話機１０１の通話料等とともに請求するようにすることが可能である。
【０１９２】
また、係数メモリ１２４は、携帯電話機１０１に対して着脱可能なメモリカード等で構成することができる。この場合、上述したような各種のタップ係数それぞれを記憶させた、異なるメモリカードを提供するようにすれば、ユーザは、場合に応じて、所望のタップ係数が記憶されたメモリカードを、携帯電話機１０１に装着して使用することが可能となる。
【０１９３】
さらに、本発明は、例えば、ＶＳＥＬＰ(Vector Sum Excited Liner Prediction)，ＰＳＩ−ＣＥＬＰ(Pitch Synchronous Innovation CELP)，ＣＳ−ＡＣＥＬＰ(Conjugate Structure Algebraic CELP)等のＣＥＬＰ方式による符号化の結果得られるコードから合成音を生成する場合に、広く適用可能である。
【０１９４】
また、本発明は、ＣＥＬＰ方式による符号化の結果得られるコードから合成音を生成する場合に限らず、あるコードから、残差信号と線形予測係数を得て、合成音を生成する場合に、広く適用可能である。
【０１９５】
さらに、本実施の形態では、タップ係数を用いた線形１次予測演算によって、残差信号や線形予測係数の予測値を求めるようにしたが、この予測値は、その他、２次以上の高次の予測演算によって求めることも可能である。
【０１９６】
また、本実施の形態では、クラスタップをベクトル量子化すること等によってクラス分類を行うようにしたが、クラス分類は、その他、例えば、ＡＤＲＣ処理を利用して行うこと等も可能である。
【０１９７】
ADRCを用いるクラス分類では、クラスタップを構成する要素（本実施の形態では、合成音のサンプル値や、Ｌコード、Ｇコード、Ｉコード、Ａコード等）が、ADRC処理され、その結果得られるADRCコードにしたがって、クラスが決定される。
【０１９８】
ここで、KビットADRCにおいては、例えば、クラスタップを構成する要素の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する要素がKビットに再量子化される。即ち、クラスタップを構成する各要素から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各要素のKビットの値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１９９】
なお、例えば、特開平８−２０２３９９号公報には、合成音を、高域強調フィルタに通すことによって、その音質を改善する方法が開示されているが、本発明は、タップ係数が学習により得られる点や、予測計算に用いられるタップ係数が、クラス分類結果によって適応的に決まる点等において、特開平８−２０２３３９号公報に記載の発明と異なる。
【０２００】
【発明の効果】
本発明の第１及び第２の側面によれば、高音質の合成音を生成することが可能となる。
【図面の簡単な説明】
【図１】従来の携帯電話機の送信部の一例の構成を示すブロック図である。
【図２】従来の携帯電話機の受信部の一例の構成を示すブロック図である。
【図３】本発明を適用した音声合成装置の一実施の形態の構成例を示すブロック図である。
【図４】音声合成フィルタ４４の構成例を示すブロック図である。
【図５】図３の音声合成装置の処理を説明するフローチャートである。
【図６】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図７】予測フィルタ７４の構成例を示すブロック図である。
【図８】図６の学習装置の処理を説明するフローチャートである。
【図９】本発明を適用した伝送システムの一実施の形態の構成例を示す図である。
【図１０】携帯電話機１０１の構成例を示すブロック図である。
【図１１】受信部１１４の構成例を示すブロック図である。
【図１２】本発明を適用した学習装置の他の実施の形態の構成例を示すブロック図である。
【図１３】教師データと生徒データを示す図である。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
２１ チャンネルデコーダ， ２２ 適応コードブック記憶部， ２３ ゲイン復号器， ２４ 励起コードブック記憶部， ２５ フィルタ係数復号器， ２６乃至２８ 演算器， ２９ 音声合成フィルタ， ３０ Ｄ／Ａ変換部， ３１ スピーカ， ４１ デマルチプレクサ， ４２ フィルタ係数復号器， ４３ 残差コードブック記憶部， ４４ 音声合成フィルタ， ４５，４６ タップ生成部， ４７ クラス分類部， ４８ 係数メモリ， ４９ 予測部， ５０ Ｄ／Ａ変換部， ５１ スピーカ， ６１ 加算器， ６２₁乃至６２_P 遅延回路， ６３₁乃至６３_P 乗算器， ７１ ＬＰＣ分析部， ７２ ベクトル量子化部， ７３ フィルタ係数復号器, ７４ 予測フィルタ， ７５ ベクトル量子化部， ７６ 残差コードブック記憶部， ７７ 音声合成フィルタ， ７８，７９ タップ生成部， ８０ クラス分類部， ８１ 正規方程式加算回路， ８２ タップ係数決定回路， ８３ 係数メモリ， ９１₁乃至９１_P遅延回路， ９２₁乃至７２_P 乗算器， ９３ 加算器， １０１₁，１０１₂携帯電話機， １０２₁，１０２₂ 基地局， １０３ 交換局， １１１ アンテナ， １１２ 変復調部， １１３ 送信部， １１４ 受信部， １２１，１２２ タップ生成部， １２３ クラス分類部， １２４ 係数メモリ， １２５ 予測部， １３１，１３２ タップ生成部， １３３ クラス分類部，１３４ 正規方程式加算回路， １３５ タップ係数決定回路， １３６ 係数メモリ， ２０１ マイク， ２０２ Ａ／Ｄ変換部， ２０３ 演算器， ２０４ ＬＰＣ分析部， ２０５ ベクトル量子化部， ２０６ 音声合成フィルタ， ２０７ 自乗誤差演算部， ２０８ 自乗誤差最小判定部， ２０９ 適応コードブック記憶部， ２１０ ゲイン復号器， ２１１ 励起コードブック記憶部， ２１２ 乃至２１４ 演算器， ２１５ コード決定部， ３０１バス， ３０２ CPU， ３０３ ROM， ３０４ RAM， ３０５ ハードディスク， ３０６ 出力部， ３０７ 入力部， ３０８ 通信部， ３０９ ドライブ， ３１０ 入出力インタフェース， ３１１ リムーバブル記録媒体[0001]
BACKGROUND OF THE INVENTION
  The present inventionvoiceProcessing equipment andvoiceThe present invention relates to a processing method, a learning apparatus, a learning method, and a recording medium, and in particular, for example, a voice encoded by a CELP (Code Excited Linear Prediction coding) method can be decoded into a high-quality voice.voiceProcessing equipment andvoiceThe present invention relates to a processing method, a learning device, a learning method, and a recording medium.
[0002]
[Prior art]
1 and 2 show an example of the configuration of a conventional mobile phone.
[0003]
In this cellular phone, a transmission process in which voice is encoded into a predetermined code by the CELP method and transmitted, and a reception process in which a code transmitted from another cellular phone is received and decoded into voice are performed. FIG. 1 shows a transmission unit that performs transmission processing, and FIG. 2 shows a reception unit that performs reception processing.
[0004]
In the transmission unit shown in FIG. 1, a voice uttered by a user is input to a microphone (microphone) 1, where it is converted into a voice signal as an electrical signal and supplied to an A / D (Analog / Digital) conversion unit 2. Is done. The A / D conversion unit 2 samples the analog audio signal from the microphone 1 at a sampling frequency such as 8 kHz to perform A / D conversion into a digital audio signal, and further performs quantum quantization with a predetermined number of bits. Then, the data is supplied to the arithmetic unit 3 and an LPC (Liner Prediction Coefficient) analysis unit 4.
[0005]
The LPC analysis unit 4 performs an LPC analysis on the audio signal from the A / D conversion unit 2 for each frame having a length of 160 samples, for example, and a P-th order linear prediction coefficient α₁, Α₂, ..., α_PAsk for. The LPC analysis unit 4 then calculates the P-th order linear prediction coefficient α_pA vector whose elements are (p = 1, 2,..., P) is supplied to the vector quantization unit 5 as a speech feature vector.
[0006]
The vector quantization unit 5 stores a code book in which a code vector having a linear prediction coefficient as an element and a code are associated with each other, and based on the code book, the feature vector α from the LPC analysis unit 4 is vector quantized. And a code obtained as a result of the vector quantization (hereinafter referred to as A code (A_code) as appropriate) is supplied to the code determination unit 15.
[0007]
Further, the vector quantizing unit 5 includes a linear prediction coefficient α that is an element constituting the code vector α ′ corresponding to the A code.₁′, Α₂', ..., α_P'Is supplied to the speech synthesis filter 6.
[0008]
The speech synthesis filter 6 is, for example, an IIR (Infinite Impulse Response) type digital filter, and the linear prediction coefficient α from the vector quantization unit 5 is used._p′ (P = 1, 2,..., P) is used as the tap coefficient of the IIR filter, and speech synthesis is performed using the residual signal e supplied from the computing unit 14 as an input signal.
[0009]
That is, the LPC analysis performed by the LPC analysis unit 4 is performed by analyzing the voice signal (sample value) s at the current time n._n, And the past P sample values s adjacent thereto_n-1, S_n-2, ..., s_nPAnd the expression
s_n+ Α₁s_n-1+ Α₂s_n-2+ ... + α_Ps_nP= E_n
... (1)
Assuming that the linear linear combination indicated by is established, the sample value s at the current time n_nPredicted value (linear predicted value) s_n′ Represents the past P sample values s_n-1, S_n-2, ..., s_nPUsing the formula
s_n′ = − (Α₁s_n-1+ Α₂s_n-2+ ... + α_Ps_nP)
... (2)
The actual sample value s when linearly predicted by_nAnd linear prediction value s_nLinear prediction coefficient α that minimizes the square error between_pIs what you want.
[0010]
Here, in equation (1), {e_n} (..., e_n-1, E_n, E_{n + 1}, ...) has an average value of 0 and a variance of a predetermined value σ²Are uncorrelated random variables.
[0011]
From equation (1), the sample value s_nIs the formula
s_n= E_n-(Α₁s_n-1+ Α₂s_n-2+ ... + α_Ps_nP)
... (3)
When this is Z-converted, the following equation is established.
[0012]
S = E / (1 + α₁z^-1+ Α₂z^-2+ ... + α_Pz^-P)
... (4)
However, in Formula (4), S and E are s in Formula (3)._nAnd e_nRepresents the Z transformation of.
[0013]
Here, from equations (1) and (2), e_nIs the formula
e_n= S_n-S_n’
... (5)
The actual sample value s can be expressed as_nAnd linear prediction value s_nIt is called a residual signal between '.
[0014]
Therefore, from equation (4), the linear prediction coefficient α_pIs the tap coefficient of the IIR filter and the residual signal e_nAs an input signal of the IIR filter,_nCan be requested.
[0015]
Therefore, the speech synthesis filter 6 performs the linear prediction coefficient α from the vector quantization unit 5 as described above._pUsing ′ as a tap coefficient and the residual signal e supplied from the computing unit 14 as an input signal, the equation (4) is calculated to obtain a speech signal (synthesized sound signal) ss.
[0016]
In the speech synthesis filter 6, the linear prediction coefficient α obtained as a result of the LPC analysis by the LPC analysis unit 4._pRather, the linear prediction coefficient α as a code vector corresponding to the code resulting from the vector quantization_pSince 'is used, the synthesized sound signal output from the speech synthesis filter 6 is not basically the same as the speech signal output from the A / D converter 2.
[0017]
The synthesized sound signal ss output from the speech synthesis filter 6 is supplied to the calculator 3. The computing unit 3 subtracts the speech signal s output from the A / D conversion unit 2 from the synthesized sound signal ss from the speech synthesis filter 6 and supplies the subtraction value to the square error computation unit 7. The square error calculation unit 7 calculates the square sum of the subtraction values from the calculator 3 (the square sum of the sample values of the k-th frame) and supplies the square error obtained as a result to the square error minimum determination unit 8. .
[0018]
The square error minimum determination unit 8 is associated with the square error output by the square error calculation unit 7, an L code (L_code) as a code representing lag, a G code (G_code) as a code representing gain, and a code word An I code (I_code) as a code representing (excitation code book) is stored, and an L code, a G code, and an L code corresponding to the square error output by the square error calculation unit 7 are output. The L code is supplied to the adaptive codebook storage unit 9, the G code is supplied to the gain decoder 10, and the I code is supplied to the excitation codebook storage unit 11. Further, the L code, the G code, and the I code are also supplied to the code determination unit 15.
[0019]
The adaptive codebook storage unit 9 stores an adaptive codebook in which, for example, a 7-bit L code is associated with a predetermined delay time (lag), and the residual signal e supplied from the computing unit 14 is The signal is delayed by the delay time associated with the L code supplied from the square error minimum determination unit 8 and output to the computing unit 12.
[0020]
Here, since the adaptive codebook storage unit 9 outputs the residual signal e with a delay corresponding to the time corresponding to the L code, the output signal is a signal close to a periodic signal whose period is the delay time. Become. This signal mainly serves as a drive signal for generating a synthesized sound of voiced sound in speech synthesis using a linear prediction coefficient.
[0021]
The gain decoder 10 stores a table in which G codes are associated with predetermined gains β and γ, and gains β and γ associated with the G codes supplied from the square error minimum determination unit 8 are stored. Output. The gains β and γ are supplied to the calculators 12 and 13, respectively. Here, the gain β is called a long-term filter state output gain, and the gain γ is called an excitation codebook gain.
[0022]
The excitation code book storage unit 11 stores an excitation code book in which, for example, a 9-bit I code is associated with a predetermined excitation signal, and is associated with the I code supplied from the square error minimum determination unit 8. The excited signal is output to the calculator 13.
[0023]
Here, the excitation signal stored in the excitation codebook is, for example, a signal close to white noise or the like, and in speech synthesis using a linear prediction coefficient, mainly a drive signal for generating unvoiced synthesized sound and Become.
[0024]
The arithmetic unit 12 multiplies the output signal of the adaptive codebook storage unit 9 by the gain β output from the gain decoder 10 and supplies the multiplication value l to the arithmetic unit 14. The computing unit 13 multiplies the output signal of the excitation codebook storage unit 11 by the gain γ output from the gain decoder 10 and supplies the multiplication value n to the computing unit 14. The computing unit 14 adds the multiplication value l from the computing unit 12 and the multiplication value n from the computing unit 13 and supplies the addition value to the speech synthesis filter 6 as a residual signal e.
[0025]
In the speech synthesis filter 6, as described above, the residual signal e supplied from the computing unit 14 is input to the linear prediction coefficient α supplied from the vector quantization unit 5._pThe synthesized sound signal obtained by filtering with an IIR filter having a tap coefficient 'is supplied to the calculator 3. Then, the calculator 3 and the square error calculation unit 7 perform the same processing as described above, and the square error obtained as a result is supplied to the square error minimum determination unit 8.
[0026]
The square error minimum determination unit 8 determines whether or not the square error from the square error calculation unit 7 is minimized (minimum). When the square error minimum determination unit 8 determines that the square error is not minimized, the L error, the G code, and the L code corresponding to the square error are output as described above. The process is repeated.
[0027]
On the other hand, the square error minimum determination unit 8 outputs a confirmation signal to the code determination unit 15 when determining that the square error is minimized. The code determination unit 15 latches the A code supplied from the vector quantization unit 5 and sequentially latches the L code, G code, and I code supplied from the square error minimum determination unit 8. When the confirmation signal is received from the square error minimum determination unit 8, the A code, L code, G code, and I code latched at that time are supplied to the channel encoder 16. The channel encoder 16 multiplexes the A code, L code, G code, and I code from the code determination unit 15 and outputs the result as code data. This code data is transmitted via a transmission line.
[0028]
Hereinafter, in order to simplify the description, it is assumed that the A code, the L code, the G code, and the I code are obtained for each frame. However, for example, one frame can be divided into four subframes, and the L code, G code, and I code can be obtained for each subframe.
[0029]
Here, in FIG. 1 (the same applies to FIG. 2, FIG. 11, and FIG. 12 described later), [k] is added to each variable, which is an array variable. Although k represents the number of frames, the description thereof is omitted as appropriate in the specification.
[0030]
Next, as described above, the code data transmitted from the transmitting unit of the other mobile phone is received by the channel decoder 21 of the receiving unit shown in FIG. The channel decoder 21 separates the L code, G code, I code, and A code from the code data, and each of them is an adaptive codebook storage unit 22, a gain decoder 23, an excitation codebook storage unit 24, and a filter coefficient decoder. 25.
[0031]
The adaptive codebook storage unit 22, the gain decoder 23, the excitation codebook storage unit 24, and the calculators 26 to 28 are the adaptive codebook storage unit 9, the gain decoder 10, the excitation codebook storage unit 11, and the calculator of FIG. 12 to 14 are configured in the same manner, and the same processing as that described with reference to FIG. 1 is performed, whereby the L code, the G code, and the I code are decoded into the residual signal e. This residual signal e is given as an input signal to the speech synthesis filter 29.
[0032]
The filter coefficient decoder 25 stores the same codebook as the vector quantization unit 5 in FIG. 1 stores, and converts the A code into the linear prediction coefficient α._p′ And supplied to the speech synthesis filter 29.
[0033]
The speech synthesis filter 29 is configured in the same manner as the speech synthesis filter 6 in FIG. 1, and the linear prediction coefficient α from the filter coefficient decoder 25._p1 is used as a tap coefficient, and the equation (4) is calculated using the residual signal e supplied from the calculator 28 as an input signal. As a result, the square error minimum determination unit 8 in FIG. A synthesized sound signal when it is determined is generated. This synthesized sound signal is supplied to a D / A (Digital / Analog) converter 30. The D / A conversion unit 30 D / A converts the synthesized sound signal from the speech synthesis filter 29 from a digital signal to an analog signal, and supplies it to the speaker 31 for output.
[0034]
[Problems to be solved by the invention]
As described above, in the transmission unit of the mobile phone, the residual signal and the linear prediction coefficient as filter data given to the speech synthesis filter 29 of the reception unit are encoded and transmitted. Are decoded into residual signals and linear prediction coefficients. However, since the decoded residual signal and the linear prediction coefficient (hereinafter appropriately referred to as a decoded residual signal or a decoded linear prediction coefficient) include an error such as a quantization error, the speech is subjected to LPC analysis. Thus, the residual signal obtained does not match the linear prediction coefficient.
[0035]
For this reason, the synthesized sound signal output from the speech synthesis filter 29 of the receiving unit has distortion and deteriorated sound quality.
[0036]
The present invention has been made in view of such circumstances, and is intended to obtain a high-quality synthesized sound.
[0037]
[Means for Solving the Problems]
  Of the present inventionFirst aspectVoice processing equipmentOr recording mediumPredictive tap extraction means for extracting a prediction tap used to predict a voice of interest using a high-quality sound whose prediction value is to be obtained as a voice of interest from a synthesized sound and information obtained from the code or code And a class tap extracting means for extracting a class tap used for classifying the target speech into one of several classes from a synthesized sound and a code or information obtained from the code, and a class tap. Based on the class classification means for performing class classification for obtaining the class of the target speech, and the acquisition means for acquiring the tap coefficient corresponding to the class of the target speech from the tap coefficients for each class obtained by performing learning. And a prediction tap and a prediction means for obtaining a predicted value of the target speech using a tap coefficient corresponding to the class of the target speech.It is a recording medium on which a program for causing a computer to function is recorded as a voice processing device or a voice processing device.
[0038]
  Of the present inventionOf the first sideThe speech processing method uses a high-quality sound for which a predicted value is to be obtained as a target speech, and extracts a prediction tap used to predict the target speech from a synthesized sound and information obtained from the code or the code. A tap extraction step, and a class tap extraction step for extracting a class tap used for classifying the speech of interest into any of several classes from the synthesized sound and the code or information obtained from the code; Based on the class tap, obtain the tap coefficient corresponding to the class of the target voice from the class classification step for classifying the class of the target voice and the tap coefficient for each class obtained by learning. The predicted value of the target speech is obtained using the acquisition step, the prediction tap, and the tap coefficient corresponding to the target speech class. And a prediction stepThis is a voice processing method.
[0040]
  Of the present inventionOf the second sideLearning deviceOr recording mediumPredictive tap extraction means for extracting a prediction tap used to predict a voice of interest using a high-quality sound whose prediction value is to be obtained as a voice of interest from a synthesized sound and information obtained from the code or code And a class tap extracting means for extracting a class tap used for classifying the target speech into one of several classes from a synthesized sound and a code or information obtained from the code, and a class tap. Based on the class classification means for classifying the class of the target speech, and the prediction error of the predicted value of the high-quality sound obtained by performing the prediction calculation using the tap coefficient and the prediction tap is statistically minimized. Learning means for learning and obtaining tap coefficients for each classA learning device or a recording medium in which a program for causing a computer to function as a learning device is recorded.
[0041]
  Of the present inventionOf the second sideThe learning method uses a high-quality sound whose prediction value is to be obtained as a target speech, and extracts a prediction tap used to predict the target speech from a synthesized sound and code or information obtained from the code. An extraction step, a class tap extraction step for extracting a class tap used for classifying the target speech into one of several classes, from a synthesized sound and a code or information obtained from the code, and a class Based on the tap, a class classification step for classifying the class of the target speech and a prediction error of the predicted value of the high-quality sound obtained by performing the prediction calculation using the tap coefficient and the prediction tap are statistically A learning step for performing learning so as to minimize the tap coefficient for each class.It is a learning method.
[0043]
  Of the present inventionFirst aspectIn this case, a high-quality sound whose prediction value is to be obtained is regarded as a target speech, and a prediction tap used for predicting the target speech is extracted from the synthesized sound and the code or information obtained from the code, A class tap used to classify the speech of interest into any of several classes is extracted from the synthesized sound and the code or information obtained from the code. Based on the class tap, class classification for obtaining a class of the target voice is performed, and a predicted value of the target voice is determined using the prediction tap and a tap coefficient corresponding to the class of the target voice.
[0044]
  Of the present inventionSecond aspect, A high-quality sound whose prediction value is to be obtained is regarded as a target speech, and a prediction tap used for predicting the target speech is extracted from the synthesized sound and information obtained from the code or the code. In addition, a class tap used to classify the target speech into one of several classes is extracted from the synthesized sound and the code or information obtained from the code, and based on the class tap, Classification is performed to obtain a speech class. Then, learning is performed so that the prediction error of the predicted value of the high-quality sound obtained by performing the prediction calculation using the tap coefficient and the prediction tap is statistically minimized, and the tap coefficient for each class is obtained. It is done.
[0045]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 3 shows a configuration example of an embodiment of a speech synthesizer to which the present invention is applied.
[0046]
The speech synthesizer is supplied with code data obtained by multiplexing a residual code and an A code obtained by encoding a residual signal and a linear prediction coefficient to be given to the speech synthesis filter 44 by vector quantization or the like. A synthesized signal is generated by decoding a residual signal and a linear prediction coefficient from the residual code and the A code, respectively, and applying them to the speech synthesis filter 44. Further, in this speech synthesizer, a high-quality sound (the sound quality of the synthesized sound is improved by performing prediction calculation using the synthesized sound generated by the speech synthesis filter 44 and the tap coefficient obtained by learning. (Synthesized sound) is obtained and output.
[0047]
That is, in the speech synthesizer shown in FIG. 3, for example, the synthesized speech is decoded into true high-quality speech (predicted value thereof) using class classification adaptation processing.
[0048]
Class classification adaptive processing consists of class classification processing and adaptive processing. Data is classified into classes based on their properties by class classification processing, and adaptive processing is performed for each class. It is of the technique like.
[0049]
That is, in the adaptive process, for example, a predicted value of true high-quality sound is obtained by linear combination of a synthesized sound and a predetermined tap coefficient.
[0050]
Specifically, for example, a true high-quality sound (sample value) is used as teacher data, and the true high-quality sound is converted into an L code, a G code, an I code, and a CELP method. A synthesized sound obtained by encoding the A code and decoding these codes by the receiving unit shown in FIG. 2 is used as student data, and a predicted value E [y] of high-quality voice y that is teacher data Some synthesized sounds (sample values) x₁, X₂, ... and a predetermined tap coefficient w₁, W₂Consider a linear primary combination model defined by the linear combination of. In this case, the predicted value E [y] can be expressed by the following equation.
[0051]
E [y] = w₁x₁+ W₂x₂+ ...
... (6)
[0052]
To generalize equation (6), tap coefficient w_jA matrix W consisting of_ijAnd a predicted value E [y_j] Is a matrix Y ′ consisting of
[Expression 1]

Then, the following observation equation holds.
[0053]
XW = Y ’
... (7)
Here, the component x of the matrix X_ijIs a set of i-th student data (i-th teacher data y_iThe j-th student data in the set of student data used for the prediction of_jRepresents a tap coefficient by which the product of the jth student data in the student data set is calculated. Y_iRepresents the i-th teacher data, and thus E [y_i] Represents the predicted value of the i-th teacher data. Note that y on the left side of Equation (6) is the component y of the matrix Y._iIs omitted, and x on the right side of Equation (6)₁, X₂,... Are also components x of matrix X_ijThe suffix i is omitted.
[0054]
Then, it is considered to apply the least square method to this observation equation to obtain a predicted value E [y] close to the true high sound quality speech y. In this case, a matrix Y composed of a set of true high-quality sound y as teacher data, and a matrix E composed of a set of residuals e of predicted values E [y] for the high-quality sound y,
[Expression 2]

From the equation (7), the following residual equation is established.
[0055]
XW = Y + E
... (8)
[0056]
In this case, the tap coefficient w for obtaining the predicted value E [y] close to the true high-quality sound y_jIs the square error
[Equation 3]

Can be obtained by minimizing.
[0057]
Therefore, the above square error is converted to the tap coefficient w._jWhen the product differentiated by 0 is 0, that is, the tap coefficient w satisfying the following equation:_jHowever, this is the optimum value for obtaining the predicted value E [y] close to the true high-quality sound y.
[0058]
[Expression 4]

... (9)
[0059]
Therefore, first, the equation (8) is changed to the tap coefficient w._jIs differentiated by the following equation.
[0060]
[Equation 5]

(10)
[0061]
From equations (9) and (10), equation (11) is obtained.
[0062]
[Formula 6]

(11)
[0063]
Furthermore, the student data x in the residual equation of equation (8)_ij, Tap coefficient w_j, Teacher data y_iAnd error e_iConsidering this relationship, the following normal equation can be obtained from the equation (11).
[0064]
[Expression 7]

(12)
[0065]
Note that the normal equation shown in the equation (12) has a matrix (covariance matrix) A and a vector v,
[Equation 8]

And the vector W is defined as shown in Equation 1,
AW = v
(13)
Can be expressed as
[0066]
Each normal equation in equation (12) is the student data x_ijAnd teacher data y_iBy preparing a certain number of sets, a tap coefficient w to be obtained_jTherefore, by solving equation (13) for vector W (however, to solve equation (13), matrix A in equation (13) is regular). Required), the optimal tap coefficient (here, the tap coefficient that minimizes the square error) w_jCan be requested. In solving the equation (13), for example, a sweeping method (Gauss-Jordan elimination method) or the like can be used.
[0067]
As described above, the optimum tap coefficient w_jAnd tap coefficient w_jThe adaptive processing is to obtain the predicted value E [y] close to the true high-quality sound y by using the equation (6).
[0068]
For example, an audio signal sampled at a high sampling frequency or an audio signal assigned with multiple bits is used as the teacher data, and the audio signal as the teacher data is thinned out or re-quantized with low bits as student data. When a synthesized sound obtained by encoding the obtained audio signal by the CELP method and decoding the encoded result is used, as a tap coefficient, an audio signal sampled at a high sampling frequency or an audio signal to which multiple bits are assigned To generate a high-quality sound in which the prediction error is statistically minimized. Therefore, in this case, it is possible to obtain a synthesized sound with higher sound quality.
[0069]
In the speech synthesizer of FIG. 3, the code data composed of the A code and the residual code is decoded into high-quality speech by the class classification adaptive processing as described above.
[0070]
That is, code data is supplied to the demultiplexer (DEMUX) 41, and the demultiplexer 41 separates the A code and the residual code for each frame from the code data supplied thereto. Then, the demultiplexer supplies the A code to the filter coefficient decoder 42 and the tap generation units 45 and 46, and supplies the residual code to the residual codebook storage unit 43 and the tap generation units 45 and 46. .
[0071]
Here, the A code and the residual code included in the code data in FIG. 3 are obtained by performing vector quantization on the linear prediction coefficient and the residual signal obtained by performing the LPC analysis on the speech using a predetermined code book, respectively. It is the code obtained by.
[0072]
The filter coefficient decoder 42 decodes the A code for each frame supplied from the demultiplexer 41 into linear prediction coefficients based on the same codebook used to obtain the A code, and performs speech synthesis. The filter 44 is supplied.
[0073]
The residual codebook storage unit 43 decodes the residual code for each frame supplied from the demultiplexer 41 into a residual signal based on the same codebook used to obtain the residual code. And supplied to the speech synthesis filter 44.
[0074]
The speech synthesis filter 44 is, for example, an IIR type digital filter similar to the speech synthesis filter 29 of FIG. 1, and uses the linear prediction coefficient from the filter coefficient decoder 42 as a tap coefficient of the IIR filter and a residual codebook. By using the residual signal from the storage unit 43 as an input signal and filtering the input signal, a synthesized sound is generated and supplied to the tap generation units 45 and 46.
[0075]
The tap generation unit 45 uses the synthesized sound (sample value) supplied from the speech synthesis filter 44 and the residual code and the A code supplied from the demultiplexer 41 to perform prediction used in a prediction calculation in the prediction unit 49 described later. Extract what will be a tap. That is, for example, the tap generation unit 45 sets all the sample values, residual codes, and A codes of the synthesized sound of the frame of interest, which is a frame for which a predicted value of high-quality sound is to be obtained, as prediction taps. Then, the tap generation unit 45 supplies the prediction tap to the prediction unit 49.
[0076]
The tap generation unit 46 generates a class tap from the sample value of the synthesized sound supplied from the speech synthesis filter 44 and the A code and residual code for each frame (or subframe) supplied from the demultiplexer 41. Extract. That is, for example, as with the tap generation unit 46, the tap generation unit 46 sets all the sample values of the synthesized sound of the frame of interest, the A code, and the residual code as class taps. Then, the tap generation unit 46 supplies the class tap to the class classification unit 47.
[0077]
Here, the configuration pattern of the prediction tap and the class tap is not limited to the pattern described above. In the above case, the same class tap and prediction tap are configured, but the class tap and the prediction tap can be configured differently.
[0078]
Further, in the tap generation units 45 and 46, as indicated by dotted lines in FIG. 3, the linear prediction coefficients obtained from the A code output from the filter coefficient decoder 42 and the residual codebook storage unit 43 output the residuals. Class taps and prediction taps can be extracted from the residual signal obtained from the difference code.
[0079]
Based on the class tap from the tap generation unit 46, the class classification unit 47 classifies the voice (sample value) of the target frame of interest, and stores the class code corresponding to the class obtained as a result thereof in the coefficient memory. Output to 48.
[0080]
Here, for example, the class classification unit 47 can output the sample value of the synthesized sound of the frame of interest as the class tap and the bit sequence constituting the A code and the residual code itself as the class code. is there.
[0081]
The coefficient memory 48 stores tap coefficients for each class obtained by performing learning processing in the learning device of FIG. 6 described later, and is stored at an address corresponding to the class code output by the class classification unit 47. Are output to the prediction unit 49.
[0082]
Here, assuming that N samples of high-quality sound are obtained for each frame, N sets of tap coefficients are required to obtain N samples of the target frame by the prediction calculation of Equation (6). is there. Accordingly, in this case, the coefficient memory 48 stores N sets of tap coefficients for the address corresponding to one class code.
[0083]
The prediction unit 49 acquires the prediction tap output from the tap generation unit 45 and the tap coefficient output from the coefficient memory 48, and uses the prediction tap and the tap coefficient to perform the linear prediction calculation shown in Expression (6). (Product sum operation) is performed to obtain a high-quality sound (predicted value) of the frame of interest and output it to the D / A converter 50.
[0084]
Here, as described above, the coefficient memory 48 outputs N sets of tap coefficients for obtaining each of the N samples of the speech of the frame of interest. The prediction unit 49, for each sample value, The product-sum operation of Expression (6) is performed using a set of tap coefficients corresponding to the sample values.
[0085]
The D / A conversion unit 50 D / A converts the voice (predicted value) from the prediction unit 49 from a digital signal to an analog signal, and supplies it to the speaker 51 for output.
[0086]
Next, FIG. 4 shows a configuration example of the speech synthesis filter 44 of FIG.
[0087]
In FIG. 4, the speech synthesis filter 44 uses a P-order linear prediction coefficient. Therefore, one adder 61 and P delay circuits (D) 62 are used.₁To 62_P, And P multipliers 63₁Thru 63_PIt is composed of
[0088]
Multiplier 63₁Thru 63_PIncludes P-th order linear prediction coefficients α supplied from the filter coefficient decoder 42, respectively.₁, Α₂, ..., α_PThus, the speech synthesis filter 44 performs an operation according to the equation (4) to generate a synthesized sound.
[0089]
That is, the residual signal e output from the residual codebook storage unit 43 is supplied to the delay circuit 621 via the adder 61, and the delay circuit 62_pDelays the input signal thereto by one sample of the residual signal and delays the delay circuit 62 in the subsequent stage._{p + 1}And the computing unit 63_pOutput to. Multiplier 63_pDelay circuit 62_pAnd the linear prediction coefficient α set there_pAnd the multiplication value is output to the adder 61.
[0090]
The adder 61 is a multiplier 63.₁Thru 63_PAre added to the residual signal e, and the addition result is supplied to the delay circuit 621 and output as a speech synthesis result (synthesized sound).
[0091]
Next, processing (speech synthesis processing) of the speech synthesizer of FIG. 3 will be described with reference to the flowchart of FIG.
[0092]
The demultiplexer 41 sequentially separates the A code and the residual code for each frame from the code data supplied thereto, and supplies them to the filter coefficient decoder 42 and the residual codebook storage unit 43. Further, the demultiplexer 41 also supplies the A code and the residual code to the tap generation units 45 and 46.
[0093]
The filter coefficient decoder 42 sequentially decodes the A code for each frame supplied from the demultiplexer 41 into a linear prediction coefficient, and supplies the linear prediction coefficient to the speech synthesis filter 44. The residual codebook storage unit 43 sequentially decodes the residual code for each frame supplied from the demultiplexer 41 into a residual signal and supplies the residual signal to the speech synthesis filter 44.
[0094]
In the speech synthesis filter 44, the synthesized sound of the frame of interest is generated by performing the calculation of Expression (4) using the residual signal and the linear prediction coefficient supplied thereto. This synthesized sound is supplied to the tap generators 45 and 46.
[0095]
The tap generation unit 45 sequentially sets the frames of the synthesized sound supplied thereto as frames of interest, and is supplied from the synthesized sound (sample values thereof) supplied from the speech synthesis filter 44 and the demultiplexer 41 in step S1. A prediction tap is generated from the A code and the residual code to be output to the prediction unit 49. Further, in step S 1, the tap generation unit 46 generates a class tap from the synthesized sound supplied from the speech synthesis filter 44 and the A code and residual code supplied from the demultiplexer 41, and sends the class tap to the class classification unit 47. Output.
[0096]
In step S2, the class classification unit 47 performs class classification based on the class tap supplied from the tap generation unit 46, and supplies the resulting class code to the coefficient memory 48. Proceed to
[0097]
In step S <b> 3, the coefficient memory 48 reads the tap coefficient from the address corresponding to the class code supplied from the class classification unit 47 and supplies the tap coefficient to the prediction unit 49.
[0098]
Then, the process proceeds to step S4, in which the prediction unit 49 acquires the tap coefficient output from the coefficient memory 48, and uses the tap coefficient and the prediction tap from the tap generation unit 45 to calculate the product shown in Expression (6). A sum operation is performed to obtain a high-quality sound (predicted value) of the frame of interest. This high-quality sound is supplied from the prediction unit 49 to the speaker 51 via the D / A conversion unit 50 and output.
[0099]
After the high-quality sound of the frame of interest is obtained in the prediction unit 49, the process proceeds to step S5, and it is determined whether there is still a frame to be processed as the frame of interest. If it is determined in step S5 that there is still a frame to be processed as the frame of interest, the process returns to step S1, and the same process is repeated hereinafter with the frame to be the next frame of interest as a new frame of interest. If it is determined in step S5 that there is no frame to be processed as the frame of interest, the speech synthesis process is terminated.
[0100]
Next, FIG. 6 shows a configuration example of an embodiment of a learning apparatus that performs learning processing of tap coefficients to be stored in the coefficient memory 48 of FIG.
[0101]
A learning (high sound quality) digital speech signal is supplied to the learning device in units of predetermined frames. The learning digital speech signal is supplied to the LPC analysis unit 71 and the prediction filter 74. Supplied. Further, the learning digital audio signal is also supplied to the normal equation adding circuit 81 as teacher data.
[0102]
The LPC analysis unit 71 sequentially sets a frame of the audio signal supplied thereto as a frame of interest, performs LPC analysis on the audio signal of the frame of interest, thereby obtaining a P-order linear prediction coefficient, and a vector quantization unit 72 And supplied to the prediction filter 74.
[0103]
The vector quantization unit 72 stores a code book in which a code vector having a linear prediction coefficient as an element and a code are associated, and based on the code book, the linear prediction coefficient of the frame of interest from the LPC analysis unit 71 The vector vector is quantized and the A code obtained as a result of the vector quantization is supplied to the filter coefficient decoder 73 and the tap generators 78 and 79.
[0104]
The filter coefficient decoder 73 stores the same codebook as the vector quantization unit 72 stores, and based on the codebook, the A code from the vector quantization unit 72 is converted into a linear prediction coefficient. And supplied to the speech synthesis filter 77. Here, the filter coefficient decoder 42 in FIG. 3 and the filter coefficient decoder 73 in FIG. 6 have the same configuration.
[0105]
The prediction filter 74 uses the speech signal of the frame of interest supplied thereto and the linear prediction coefficient from the LPC analysis unit 71, for example, to perform a calculation according to equation (1), thereby obtaining a residual of the frame of interest. A signal is obtained and supplied to the vector quantization unit 75.
[0106]
That is, s in equation (1)_nAnd e_nIf the Z transformation of is expressed as S and E, respectively, the expression (1) can be expressed as the following expression.
[0107]
E = (1 + α₁z^-1+ Α₂z^-2+ ... + α_Pz^-P) S
(14)
From the equation (14), the prediction filter 74 for obtaining the residual signal e can be configured by an FIR (Finite Impulse Response) type digital filter.
[0108]
That is, FIG. 7 shows a configuration example of the prediction filter 74.
[0109]
The prediction filter 74 is supplied with a P-th order linear prediction coefficient from the LPC analysis unit 71. Accordingly, the prediction filter 74 includes P delay circuits (D) 91.₁To 91_P, P multipliers 92₁Thru 92_P, And one adder 93.
[0110]
Multiplier 92₁Thru 92_PIncludes a P-th order linear prediction coefficient α supplied from the LPC analysis unit 71, respectively.₁, Α₂, ..., α_PIs set.
[0111]
On the other hand, the audio signal s of the frame of interest is the delay circuit 91.₁To the adder 93. Delay circuit 91_pDelays the input signal thereto by one sample of the residual signal and delays the delay circuit 91 in the subsequent stage._{p + 1}And the computing unit 92_pOutput to. Multiplier 92_pDelay circuit 91_pAnd the linear prediction coefficient α set there_pAnd the multiplication value is output to the adder 93.
[0112]
The adder 93 is a multiplier 92.₁Thru 92_PAre added to the audio signal s, and the addition result is output as a residual signal e.
[0113]
Returning to FIG. 6, the vector quantization unit 75 stores a code book in which a code vector having the sample value of the residual signal as an element and a code are associated with each other, and based on the code book, from the prediction filter 74. The residual vector composed of the sample values of the residual signal of the frame of interest is vector quantized, and the residual code obtained as a result of the vector quantization is stored in the residual codebook storage unit 76 and tap generation units 78 and 79. To supply.
[0114]
The residual codebook storage unit 76 stores the same codebook as the vector quantization unit 75 stores, and based on the codebook, the residual codebook storage unit 76 stores the residual code from the vector quantization unit 75. The residual signal is decoded and supplied to the speech synthesis filter 77. Here, the stored contents of the residual codebook storage unit 43 in FIG. 3 and the residual codebook storage unit 76 in FIG. 6 are the same.
[0115]
The speech synthesis filter 77 is an IIR filter configured in the same manner as the speech synthesis filter 44 of FIG. 3, and uses the linear prediction coefficient from the filter coefficient decoder 73 as a tap coefficient of the IIR filter and a residual codebook storage unit 75. The residual signal from is used as an input signal, and the input signal is filtered to generate a synthesized sound and supply it to the tap generators 78 and 79.
[0116]
The tap generation unit 78 supplies the synthesized sound supplied from the speech synthesis filter 77, the A code supplied from the vector quantization unit 72, and the vector quantization unit 75 as in the case of the tap generation unit 45 in FIG. A prediction tap is constructed from the residual code to be supplied to the normal equation adding circuit 81. The tap generation unit 79 is supplied from the synthesized sound supplied from the speech synthesis filter 77, the A code supplied from the vector quantization unit 72, and the vector quantization unit 75, as in the case of the tap generation unit 46 in FIG. From the residual code, a class tap is constructed and supplied to the class classification unit 80.
[0117]
Similar to the case of the class classification unit 47 of FIG. 3, the class classification unit 80 performs class classification based on the class tap supplied thereto, and supplies the resulting class code to the normal equation addition circuit 81. To do.
[0118]
The normal equation addition circuit 81 performs addition for the learning voice that is the high-quality sound of the frame of interest as the teacher data and the prediction tap as the student data from the tap generation unit 78.
[0119]
That is, the normal equation adder circuit 81 uses a prediction tap (student data) for each class corresponding to the class code supplied from the class classification unit 80, and is each component in the matrix A of Expression (13). Multiplication of student data (x_inx_im) And a calculation corresponding to summation (Σ).
[0120]
Furthermore, the normal equation adding circuit 81 uses the student data and the teacher data for each class corresponding to the class code supplied from the class classifying unit 80, and becomes each component in the vector v of Expression (13). , Multiplication of student data and teacher data (x_iny_i) And a calculation corresponding to summation (Σ).
[0121]
The normal equation adding circuit 81 performs the above addition using all the frames of the learning speech supplied thereto as the frame of interest, and thereby, for each class, the normal equation shown in the equation (13) is established. .
[0122]
The tap coefficient determination circuit 82 solves the normal equation generated for each class in the normal equation addition circuit 81 to obtain a tap coefficient for each class and supplies it to the address corresponding to each class in the coefficient memory 83.
[0123]
Depending on the speech signal prepared as the speech signal for learning, the normal equation addition circuit 81 may generate a class in which the number of normal equations necessary for obtaining tap coefficients cannot be obtained. The circuit 82 outputs, for example, a default tap coefficient for such a class.
[0124]
The coefficient memory 83 stores the tap coefficient for each class supplied from the tap coefficient determination circuit 82 at an address corresponding to the class.
[0125]
Next, processing (learning processing) of the learning device in FIG. 6 will be described with reference to the flowchart in FIG.
[0126]
A learning speech signal is supplied to the learning device, and the learning speech signal is supplied to the LPC analysis unit 71 and the prediction filter 74 and also supplied to the normal equation adding circuit 81 as teacher data. In step S11, student data is generated from the audio signal for learning.
[0127]
That is, the LPC analysis unit 71 sequentially sets frames of a speech signal for learning as a frame of interest, performs LPC analysis on the speech signal of the frame of interest, thereby obtaining a P-order linear prediction coefficient, and a vector quantization unit 72 To supply. The vector quantization unit 72 vector-quantizes the feature vector composed of the linear prediction coefficient of the frame of interest from the LPC analysis unit 71, and uses the A code obtained as a result of the vector quantization as student data, as a filter coefficient decoder 73 and the tap generators 78 and 79. The filter coefficient decoder 73 decodes the A code from the vector quantization unit 72 into a linear prediction coefficient, and supplies the linear prediction coefficient to the speech synthesis filter 77.
[0128]
On the other hand, the prediction filter 74 that has received the linear prediction coefficient of the frame of interest from the LPC analysis unit 71 uses the linear prediction coefficient and the speech signal for learning of the frame of interest to perform an operation according to Expression (1). Thus, the residual signal of the frame of interest is obtained and supplied to the vector quantization unit 75. The vector quantization unit 75 vector-quantizes a residual vector composed of sample values of the residual signal of the target frame from the prediction filter 74, and uses the residual code obtained as a result of the vector quantization as student data. The residual codebook storage unit 76 and the tap generation units 78 and 79 are supplied. The residual codebook storage unit 76 decodes the residual code from the vector quantization unit 75 into a residual signal and supplies it to the speech synthesis filter 77.
[0129]
As described above, when the speech synthesis filter 77 receives the linear prediction coefficient and the residual signal, the speech synthesis filter 77 performs speech synthesis using the linear prediction coefficient and the residual signal, and the resultant synthesized sound is used as student data. And output to the tap generators 78 and 79.
[0130]
Then, the process proceeds to step S12, where the tap generation unit 78 uses the synthesized sound supplied from the speech synthesis filter 77, the A code supplied from the vector quantization unit 72, and the residual code supplied from the vector quantization unit 75. , Generate a prediction tap and a class tap, respectively. The prediction tap is supplied to the normal equation adding circuit 81, and the class tap is supplied to the class classification unit 80.
[0131]
Thereafter, in step S13, the class classification unit 80 performs class classification based on the class tap from the tap generation unit 79, and supplies the class code obtained as a result to the normal equation addition circuit 81.
[0132]
Then, the process proceeds to step S 14, and the normal equation adding circuit 81 for the class supplied from the class classification unit 80, the sample value of the high-quality sound of the frame of interest as the teacher data supplied thereto, and the tap generation unit 78. The above-described addition of the matrix A and the vector v in Expression (13) for the prediction tap as the student data from is performed, and the process proceeds to step S15.
[0133]
In step S15, it is determined whether there is still an audio signal for learning a frame to be processed as the frame of interest. If it is determined in step S15 that there is still a learning audio signal for a frame to be processed as the frame of interest, the process returns to step S11, and the same processing is repeated thereafter with the next frame as a new frame of interest. .
[0134]
If it is determined in step S15 that there is no audio signal for learning a frame to be processed as the frame of interest, that is, if a normal equation is obtained for each class in the normal equation adding circuit 81, step S16. The tap coefficient determination circuit 82 calculates the tap coefficient for each class by solving the normal equation generated for each class, supplies it to the address corresponding to each class in the coefficient memory 83, and stores it. To end the process.
[0135]
As described above, the tap coefficients for each class stored in the coefficient memory 83 are stored in the coefficient memory 48 of FIG.
[0136]
Therefore, the tap coefficient stored in the coefficient memory 48 of FIG. 3 has a statistically minimum prediction error (square error in this case) of the prediction value of the high-quality sound obtained by performing the linear prediction calculation. Therefore, the speech output from the prediction unit 49 in FIG. 3 has a high sound quality in which the distortion of the synthesized sound generated by the speech synthesis filter 44 is reduced (eliminated). It will be a thing.
[0137]
In the speech synthesizer of FIG. 3, as described above, for example, when the tap generation unit 46 extracts class taps from linear prediction coefficients, residual signals, and the like, FIG. As shown by the dotted line in the figure, the tap generation unit 79 also has the same class tap from the linear prediction coefficients output from the filter coefficient decoder 73 and the residual signal output from the residual codebook storage unit 76. Need to be extracted. The same applies to the prediction taps generated by the tap generation unit 45 in FIG. 3 and the tap generation unit 78 in FIG. 6.
[0138]
In the above case, for the sake of simplicity, the class classification is performed by using the bit sequence constituting the class tap as the class code as it is, but in this case, the number of classes becomes enormous. There is. Therefore, in class classification, for example, a class tap can be compressed by vector quantization or the like, and a bit sequence obtained as a result of the compression can be used as a class code.
[0139]
Next, FIG. 9 shows a transmission system to which the present invention is applied (a system refers to a logical collection of a plurality of devices, regardless of whether or not each component device is in the same casing). 1 shows the configuration of an embodiment.
[0140]
In this transmission system, the mobile phone 101₁And 101₂Base station 102₁And 102₂While performing transmission / reception by radio | wireless between each, the base station 102₁And 102₂Each of them performs transmission / reception with the switching center 103, so that the cellular phone 101 is finally obtained.₁And 101₂Between the base station 102 and₁And 102₂In addition, voice can be transmitted and received through the exchange 103. The base station 102₁And 102₂May be the same base station or different base stations.
[0141]
Here, hereinafter, unless there is a particular need to distinguish, the mobile phone 101₁And 101₂Is described as a mobile phone 101.
[0142]
FIG. 10 shows a configuration example of the mobile phone 101 in FIG.
[0143]
The antenna 111 is connected to the base station 102.₁Or 102₂, And the received signal is supplied to the modem unit 112, and the signal from the modem unit 112 is transmitted as a radio wave to the base station 102.₁Or 102₂Send to. The modem unit 112 demodulates the signal from the antenna 111 and supplies the code data as described above with reference to FIG. Further, the modem unit 112 modulates the code data supplied from the transmission unit 113 as described with reference to FIG. 1 and supplies a modulation signal obtained as a result to the antenna 111. The transmission unit 113 is configured in the same manner as the transmission unit illustrated in FIG. 1, encodes the user's voice input thereto into code data, and supplies the code data to the modulation / demodulation unit 112. The receiving unit 114 receives the code data from the modulation / demodulation unit 112, and decodes and outputs the high-quality sound similar to that in the speech synthesizer of FIG. 3 from the code data.
[0144]
That is, FIG. 11 shows a configuration example of the receiving unit 114 of FIG. In the figure, portions corresponding to those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.
[0145]
The tap generators 121 and 122 output the synthesized sound for each frame output from the speech synthesis filter 29 and the L code, G code, I code, and A for each frame (or subframe) output from the channel decoder 21. A code is supplied. The tap generation units 121 and 122 respectively extract a prediction tap and a class tap from the synthesized sound, L code, G code, I code, and A code supplied thereto. The prediction tap is supplied to the prediction unit 125, and the class tap is supplied to the class classification unit 123.
[0146]
The class classification unit 123 performs class classification based on the class tap supplied from the tap generation unit 122 and supplies a class code as a result of the class classification to the coefficient memory 124.
[0147]
The coefficient memory 124 stores tap coefficients for each class obtained by performing learning processing in the learning device of FIG. 12 to be described later, and is stored at an address corresponding to the class code output by the class classification unit 123. The tap coefficient is supplied to the prediction unit 125.
[0148]
Similar to the prediction unit 49 in FIG. 3, the prediction unit 125 acquires the prediction tap output from the tap generation unit 121 and the tap coefficient output from the coefficient memory 124, and uses the prediction tap and the tap coefficient, The linear prediction calculation shown in Expression (6) is performed. Thereby, the prediction unit 125 obtains (predicted value) of high-quality sound of the frame of interest and supplies it to the D / A conversion unit 30.
[0149]
The reception unit 114 configured as described above basically performs the same processing as the processing according to the flowchart illustrated in FIG. 5, thereby outputting a high-quality synthesized sound as a speech decoding result. Is done.
[0150]
That is, the channel decoder 21 separates the L code, the G code, the I code, and the A code from the code data supplied thereto, and stores them in the adaptive codebook storage unit 22, the gain decoder 23, and the excitation codebook storage. This is supplied to the unit 24 and the filter coefficient decoder 25. Further, the L code, the G code, the I code, and the A code are also supplied to the tap generation units 121 and 122.
[0151]
The adaptive codebook storage unit 22, the gain decoder 23, the excitation codebook storage unit 24, and the calculators 26 to 28 include the adaptive codebook storage unit 9, the gain decoder 10, the excitation codebook storage unit 11, FIG. The same processing as in the computing units 12 to 14 is performed, whereby the L code, the G code, and the I code are decoded into the residual signal e. This residual signal is supplied to the speech synthesis filter 29.
[0152]
Further, as described with reference to FIG. 1, the filter coefficient decoder 25 decodes the A code supplied thereto into a linear prediction coefficient and supplies it to the speech synthesis filter 29. The speech synthesis filter 29 performs speech synthesis using the residual signal from the arithmetic unit 28 and the linear prediction coefficient from the filter coefficient decoder 25 and supplies the resultant synthesized sound to the tap generation units 121 and 122. To do.
[0153]
The tap generation unit 121 sets the frame of the synthesized sound output from the speech synthesis filter 29 as the frame of interest, and predicts from the synthesized sound of the frame of interest and the L code, G code, I code, and A code in step S1. A tap is generated and supplied to the prediction unit 125. Further, in step S 1, the tap generation unit 122 also generates a class tap from the synthesized sound of the frame of interest and the L code, G code, I code, and A code, and supplies the generated class tap to the class classification unit 123.
[0154]
In step S2, the class classification unit 123 performs class classification based on the class tap supplied from the tap generation unit 122, and supplies the resulting class code to the coefficient memory 124. Proceed to
[0155]
In step S <b> 3, the coefficient memory 124 reads the tap coefficient from the address corresponding to the class code supplied from the class classification unit 123 and supplies the tap coefficient to the prediction unit 125.
[0156]
Then, the process proceeds to step S4, where the prediction unit 125 acquires the tap coefficient output from the coefficient memory 124, and uses the tap coefficient and the prediction tap from the tap generation unit 121 to calculate the product shown in Expression (6). A sum operation is performed to obtain a high-quality sound (predicted value) of the frame of interest.
[0157]
The high-quality sound obtained as described above is supplied from the prediction unit 125 to the speaker 31 via the D / A conversion unit 30, and as a result, high-quality sound is output from the speaker 31. The
[0158]
After the process of step S4, the process proceeds to step S5, where it is determined whether there is still a frame to be processed as a target frame. If it is determined that there is a frame, the process returns to step S1, Subsequently, the same processing is repeated as a new attention frame. If it is determined in step S5 that there is no frame to be processed as the frame of interest, the process ends.
[0159]
Next, FIG. 12 shows a configuration example of an embodiment of a learning device that performs learning processing of tap coefficients to be stored in the coefficient memory 124 of FIG.
[0160]
The microphone 201 to the code determination unit 215 are configured in the same manner as the microphone 1 to the code determination unit 15 of FIG. A learning audio signal is input to the microphone 1. Accordingly, the microphone 201 to the code determination unit 215 perform the same processing as that in FIG. 1 on the learning audio signal. Applied.
[0161]
The tap generation units 131 and 132 are supplied with the synthesized sound output from the speech synthesis filter 206 when the square error minimum determination unit 208 determines that the square error is minimized. Further, the L code, the G code, the I code, and the A code that are output when the code determination unit 215 receives the confirmation signal from the square error minimum determination unit 208 are also supplied to the tap generation units 131 and 132. The normal equation adding circuit 134 is supplied with the voice output from the A / D converter 202 as teacher data.
[0162]
The tap generation unit 131 uses the synthesized sound output from the speech synthesis filter 206 and the L code, G code, I code, and A code output from the code determination unit 215 to perform the same prediction as the tap generation unit 121 in FIG. A tap is configured and supplied to the normal equation adding circuit 134 as student data.
[0163]
The tap generation unit 132 also has the same class as the tap generation unit 122 in FIG. 11 from the synthesized sound output from the speech synthesis filter 206 and the L code, G code, I code, and A code output from the code determination unit 215. A tap is configured and supplied to the class classification unit 133.
[0164]
The class classification unit 133 performs the same class classification as the class classification unit 123 of FIG. 11 based on the class tap from the tap generation unit 132, and supplies the resulting class code to the normal equation addition circuit 134. To do.
[0165]
The normal equation adding circuit 134 receives the voice from the A / D conversion unit 202 as teacher data, receives the prediction tap from the tap generation unit 131 as student data, and targets the teacher data and student data. For each class code from the class classification unit 133, the normal equation shown in Expression (13) is established for each class by performing addition similar to that in the normal equation adding circuit 81 of FIG.
[0166]
The tap coefficient determination circuit 135 calculates a tap coefficient for each class by solving the normal equation generated for each class in the normal equation addition circuit 134, and supplies the tap coefficient to an address corresponding to each class in the coefficient memory 136.
[0167]
Depending on the speech signal prepared as the speech signal for learning, there may occur a class in which the number of normal equations necessary for obtaining the tap coefficients cannot be obtained in the normal equation adding circuit 134. The circuit 135 outputs, for example, a default tap coefficient for such a class.
[0168]
The coefficient memory 136 stores the linear prediction coefficient for each class supplied from the tap coefficient determination circuit 135 and the tap coefficient for the residual signal.
[0169]
In the learning apparatus configured as described above, tap coefficients for obtaining a high-quality synthesized sound are basically obtained by performing processing similar to the processing according to the flowchart shown in FIG. .
[0170]
That is, the learning apparatus is supplied with a learning audio signal, and teacher data and student data are generated from the learning audio signal in step S11.
[0171]
That is, the learning audio signal is input to the microphone 201, and the microphone 201 to the code determination unit 215 perform the same processing as in the case of the microphone 1 to the code determination unit 15 in FIG.
[0172]
As a result, the sound of the digital signal obtained by the A / D conversion unit 202 is supplied to the normal equation adding circuit 134 as teacher data. Further, when the square error minimum determination unit 208 determines that the square error is minimized, the synthesized sound output from the speech synthesis filter 206 is supplied to the tap generation units 131 and 132 as student data. Further, when the square error minimum determination unit 208 determines that the square error is minimized, the L code, the G code, the I code, and the A code output from the code determination unit 215 are also used as student data as a tap generation unit. 131 and 132 are supplied.
[0173]
Thereafter, the process proceeds to step S12, where the tap generation unit 131 sets the frame of the synthesized sound supplied as the student data from the speech synthesis filter 206 as the frame of interest, the synthesized sound of the frame of interest, the L code, the G code, the I code, Then, a prediction tap is generated from the A code and supplied to the normal equation adding circuit 134. Furthermore, in step S12, the tap generation unit 132 also generates a class tap from the synthesized sound of the frame of interest and the L code, G code, I code, and A code, and supplies the generated class tap to the class classification unit 133.
[0174]
After the processing of step S12, the process proceeds to step S13, where the class classification unit 133 performs class classification based on the class tap from the tap generation unit 132, and supplies the resulting class code to the normal equation addition circuit 134. To do.
[0175]
Then, the process proceeds to step S 14, where the normal equation adding circuit 134 uses the learning voice that is the high-quality sound of the frame of interest as the teacher data from the A / D converter 202 and the student data from the tap generation unit 132. The above-described addition of the matrix A and the vector v in Expression (13) is performed for each class code from the class classification unit 133, and the process proceeds to step S15.
[0176]
In step S15, it is determined whether there is still a frame to be processed as the frame of interest. If it is determined in step S15 that there is still a frame to be processed as a target frame, the process returns to step S11, and the same process is repeated thereafter with the next frame as a new target frame.
[0177]
If it is determined in step S15 that there is no frame to be processed as a frame of interest, that is, if a normal equation is obtained for each class in the normal equation adding circuit 134, the process proceeds to step S16 to determine a tap coefficient. The circuit 135 calculates the tap coefficient for each class by solving the normal equation generated for each class, supplies the tap coefficient to the address corresponding to each class in the coefficient memory 136, stores it, and ends the process. .
[0178]
As described above, the tap coefficient for each class stored in the coefficient memory 136 is stored in the coefficient memory 124 of FIG.
[0179]
Accordingly, the tap coefficients stored in the coefficient memory 124 of FIG. 11 are learned so that the prediction error (square error) of the high-quality sound prediction value obtained by performing the linear prediction calculation is statistically minimized. Since it is calculated | required by performing, the audio | voice which the estimation part 125 of FIG. 11 outputs becomes a thing of high sound quality.
[0180]
For example, in the embodiment shown in FIGS. 11 and 12, the class tap is generated from the synthesized sound output from the speech synthesis filter 206 and the L code, G code, I code, and A code. The class tap can be generated from one or more of L code, G code, I code, or A code and the synthesized sound output from the speech synthesis filter 206. The class tap is a linear prediction coefficient α obtained from the A code as shown by a dotted line in FIGS._pAnd gains β and γ obtained from the G code, and other information obtained from the L code, G code, I code, and A code (for example, the residual signal e and l, n, or 1 / β, n / γ, etc.). Furthermore, the class tap can be generated from the synthesized sound output from the speech synthesis filter 206 and the information described above obtained from the L code, G code, I code, or A code. In the CELP method, the code data may include list interpolation bits and frame energy. In this case, the class tap can be configured using soft interpolation bits and frame energy. The same applies to the prediction tap.
[0181]
Here, in FIG. 13, in the learning apparatus of FIG. 12, n is used to obtain the speech data s used as teacher data, the synthesized sound data ss used as student data, the residual signal e, and the residual signal. And l.
[0182]
Next, the series of processes described above can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
[0183]
Accordingly, FIG. 14 shows a configuration example of an embodiment of a computer in which a program for executing the above-described series of processing is installed.
[0184]
The program can be recorded in advance on a hard disk 305 or a ROM 303 as a recording medium built in the computer.
[0185]
Alternatively, the program is temporarily stored in a removable recording medium 311 such as a floppy disk, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, or a semiconductor memory. It can be stored permanently (recorded). Such a removable recording medium 311 can be provided as so-called package software.
[0186]
The program is installed in the computer from the removable recording medium 311 as described above, or transferred from the download site to the computer wirelessly via a digital satellite broadcasting artificial satellite, or a LAN (Local Area Network), The program can be transferred to a computer via a network such as the Internet. The computer can receive the program transferred in this way by the communication unit 308 and install it in the built-in hard disk 305.
[0187]
The computer includes a CPU (Central Processing Unit) 302. An input / output interface 310 is connected to the CPU 302 via the bus 301, and the CPU 302 is operated by an input unit 307 including a keyboard, a mouse, a microphone, and the like by the user via the input / output interface 310. When a command is input by the equalization, a program stored in a ROM (Read Only Memory) 303 is executed accordingly. Alternatively, the CPU 302 also transfers a program stored in the hard disk 305, a program transferred from a satellite or a network, received by the communication unit 308 and installed in the hard disk 305, or a removable recording medium 311 attached to the drive 309. The program read and installed in the hard disk 305 is loaded into a RAM (Random Access Memory) 304 and executed. Thereby, the CPU 302 performs processing according to the above-described flowchart or processing performed by the configuration of the above-described block diagram. Then, the CPU 302 outputs the processing result from the output unit 306 configured with an LCD (Liquid Crystal Display), a speaker, or the like, for example, via the input / output interface 310 as necessary, or from the communication unit 308. Transmission and further recording on the hard disk 305 are performed.
[0188]
Here, in the present specification, the processing steps for describing a program for causing the computer to perform various processes do not necessarily have to be processed in time series in the order described in the flowcharts, but in parallel or individually. This includes processing to be executed (for example, parallel processing or processing by an object).
[0189]
Further, the program may be processed by one computer or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
[0190]
In the present embodiment, no particular mention is made as to what kind of speech signal is used as a learning speech signal. However, as a speech signal for learning, in addition to speech uttered by a person, for example, It is possible to employ music (music) or the like. Then, according to the learning process as described above, when a human speech is used as a speech signal for learning, a tap coefficient that improves the sound quality of the speech of such a person is obtained. When a song is used, a tap coefficient that improves the sound quality of the song can be obtained.
[0191]
In the embodiment of FIG. 11, the tap coefficient is stored in advance in the coefficient memory 124, but the tap coefficient stored in the coefficient memory 124 is stored in the mobile phone 101 in the base station 102 in FIG. 9. (Or the exchange 103), a WWW (World Wide Web) server (not shown), or the like can be downloaded. That is, as described above, tap coefficients suitable for a certain type of audio signal, such as for human speech and music, can be obtained by learning. Furthermore, depending on the teacher data and student data used for learning, tap coefficients that produce a difference in the quality of the synthesized sound can be obtained. Accordingly, such various tap coefficients can be stored in the base station 102 or the like, and the user can download the tap coefficients desired by the user. Such a tap coefficient download service can be performed free of charge or for a fee. Furthermore, when the tap coefficient download service is performed for a fee, the price for the tap coefficient download can be charged together with, for example, the call charge of the mobile phone 101.
[0192]
The coefficient memory 124 can be configured by a memory card that can be attached to and detached from the mobile phone 101. In this case, if a different memory card storing each of the various tap coefficients as described above is provided, the user can change the memory card storing the desired tap coefficient depending on the case, to the mobile phone. It is possible to use it mounted on 101.
[0193]
Furthermore, the present invention is synthesized from codes obtained as a result of encoding by CELP methods such as VSELP (Vector Sum Excited Liner Prediction), PSI-CELP (Pitch Synchronous Innovation CELP), CS-ACELP (Conjugate Structure Algebraic CELP), etc. It is widely applicable when generating sound.
[0194]
Further, the present invention is not limited to the case where a synthesized sound is generated from a code obtained as a result of encoding by the CELP method, but when a residual signal and a linear prediction coefficient are obtained from a certain code to generate a synthesized sound, Widely applicable.
[0195]
Furthermore, in the present embodiment, the prediction value of the residual signal and the linear prediction coefficient is obtained by linear primary prediction calculation using the tap coefficient. It is also possible to obtain by this prediction calculation.
[0196]
In this embodiment, class classification is performed by vector quantization of class taps, etc., but class classification can also be performed using, for example, ADRC processing.
[0197]
In class classification using ADRC, elements constituting the class tap (in this embodiment, sample values of synthesized sound, L code, G code, I code, A code, etc.) are subjected to ADRC processing and obtained as a result. The class is determined according to the ADRC code.
[0198]
Here, in the K-bit ADRC, for example, the maximum value MAX and the minimum value MIN of the elements constituting the class tap are detected, and DR = MAX-MIN is set as the local dynamic range of the set, and the dynamic range DR Based on this, the elements making up the class tap are requantized to K bits. That is, the minimum value MIN is subtracted from each element constituting the class tap, and the subtracted value is DR / 2.^KDivide by (quantize). Then, a bit string obtained by arranging the K-bit values of the elements constituting the class tap in a predetermined order is output as an ADRC code.
[0199]
For example, Japanese Patent Application Laid-Open No. 8-202399 discloses a method for improving the sound quality of a synthesized sound by passing it through a high-frequency emphasis filter. However, in the present invention, tap coefficients are obtained by learning. And the tap coefficient used for the prediction calculation is different from the invention described in Japanese Patent Laid-Open No. 8-202339 in that the tap coefficient is adaptively determined by the classification result.
[0200]
【The invention's effect】
  Of the present invention1st and 2nd sideAccording to,It is possible to generate a high-quality synthesized sound.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an example of a transmission unit of a conventional mobile phone.
FIG. 2 is a block diagram illustrating an exemplary configuration of a receiving unit of a conventional mobile phone.
FIG. 3 is a block diagram showing a configuration example of an embodiment of a speech synthesizer to which the present invention is applied.
FIG. 4 is a block diagram illustrating a configuration example of a speech synthesis filter 44.
5 is a flowchart for explaining processing of the speech synthesizer of FIG. 3;
FIG. 6 is a block diagram illustrating a configuration example of an embodiment of a learning device to which the present invention has been applied.
7 is a block diagram illustrating a configuration example of a prediction filter 74. FIG.
FIG. 8 is a flowchart for explaining processing of the learning device in FIG. 6;
FIG. 9 is a diagram illustrating a configuration example of an embodiment of a transmission system to which the present invention is applied.
10 is a block diagram illustrating a configuration example of a mobile phone 101. FIG.
11 is a block diagram illustrating a configuration example of a reception unit 114. FIG.
FIG. 12 is a block diagram illustrating a configuration example of another embodiment of a learning device to which the present invention has been applied.
FIG. 13 is a diagram showing teacher data and student data.
FIG. 14 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present invention has been applied.
[Explanation of symbols]
21 channel decoder, 22 adaptive codebook storage unit, 23 gain decoder, 24 excitation codebook storage unit, 25 filter coefficient decoder, 26 to 28 arithmetic unit, 29 speech synthesis filter, 30 D / A conversion unit, 31 speaker, 41 Demultiplexer, 42 Filter coefficient decoder, 43 Residual codebook storage unit, 44 Speech synthesis filter, 45, 46 Tap generation unit, 47 Class classification unit, 48 Coefficient memory, 49 Prediction unit, 50 D / A conversion unit, 51 speakers, 61 adders, 62₁To 62_P  Delay circuit 63₁Thru 63_P  Multiplier, 71 LPC analysis unit, 72 vector quantization unit, 73 filter coefficient decoder, 74 prediction filter, 75 vector quantization unit, 76 residual codebook storage unit, 77 speech synthesis filter, 78, 79 tap generation unit, 80 class classification unit, 81 normal equation addition circuit, 82 tap coefficient determination circuit, 83 coefficient memory, 91₁To 91_PDelay circuit, 92₁To 72_P  Multiplier, 93 adder, 101₁, 101₂Mobile phone, 102₁, 102₂  Base station, 103 switching center, 111 antenna, 112 modulation / demodulation unit, 113 transmission unit, 114 reception unit, 121, 122 tap generation unit, 123 class classification unit, 124 coefficient memory, 125 prediction unit, 131, 132 tap generation unit, 133 Class classification unit, 134 normal equation addition circuit, 135 tap coefficient determination circuit, 136 coefficient memory, 201 microphone, 202 A / D conversion unit, 203 arithmetic unit, 204 LPC analysis unit, 205 vector quantization unit, 206 speech synthesis filter, 207 square error calculation unit, 208 square error minimum determination unit, 209 adaptive codebook storage unit, 210 gain decoder, 211 excitation codebook storage unit, 212 to 214 calculation unit, 215 code determination unit, 301 bus, 302 CPU, 303 ROM, 304 RAM, 305 hard disk, 306 output unit, 307 input unit, 308 communication unit, 309 drive, 310 input / output interface, 311 removable recording medium

Claims (15)

A speech processing apparatus that obtains a predicted value of high-quality speech with improved sound quality from a synthesized sound obtained by applying a linear prediction coefficient and a residual signal generated from a predetermined code to a speech synthesis filter. ,
Prediction for extracting a prediction tap used for predicting the target speech from the synthesized sound and the code or information obtained from the code, using the high-quality sound for which the prediction value is to be obtained as the target speech. Tap extraction means;
Class tap extraction means for extracting a class tap used for classifying the target speech into any one of several classes from the synthesized sound and the code or information obtained from the code;
Based on the class tap, class classification means for performing class classification to obtain a class of the voice of interest;
Obtaining means for obtaining the tap coefficient corresponding to the class of the speech of interest from the tap coefficients for each class obtained by performing learning;
A speech processing apparatus comprising: the prediction tap; and a prediction unit that obtains a predicted value of the speech of interest using the tap coefficient corresponding to the class of speech of interest. The prediction means obtains a predicted value of the speech of interest by performing a linear primary prediction calculation using the prediction tap and tap coefficient.
The speech processing apparatus according to claim 1. The acquisition unit acquires the tap coefficient of the class corresponding to the speech of interest from a storage unit that stores the tap coefficient for each class.
The speech processing apparatus according to claim 1. The prediction tap extraction unit or the class tap extraction unit extracts the prediction tap or the class tap from the synthesized sound, the code, and information obtained from the code.
The speech processing apparatus according to claim 1. The tap coefficient is learned so that a prediction error of a predicted value of the high-quality sound obtained by performing a predetermined prediction calculation using the prediction tap and the tap coefficient is statistically minimized. It was obtained by
The speech processing apparatus according to claim 1. The speech synthesis filter is further provided
The speech processing apparatus according to claim 1. The code is obtained by encoding speech using a CELP (Code Excited Linear Prediction coding) method.
The speech processing apparatus according to claim 1. A speech processing method for obtaining a predicted value of a high-quality sound with improved sound quality from a synthesized sound obtained by applying a linear prediction coefficient generated from a predetermined code and a residual signal to a speech synthesis filter. ,
Prediction in which the high-quality sound for which the predicted value is to be obtained is the target speech, and a prediction tap used to predict the target speech is extracted from the synthesized sound and the code or information obtained from the code Tap extraction step;
A class tap extraction step for extracting a class tap used for classifying the speech of interest into any one of several classes from the chord synthesized sound and the chord or information obtained from the chord;
A class classification step for classifying the class of the target voice based on the class tap;
An obtaining step of obtaining the tap coefficient corresponding to the class of the speech of interest from the tap coefficients for each class obtained by performing learning;
A speech processing method comprising: the prediction tap; and a prediction step of obtaining a predicted value of the speech of interest using the tap coefficient corresponding to the class of speech of interest . The computer performs speech processing for obtaining a predicted value of high-quality speech with improved sound quality from a synthesized speech obtained by applying a linear prediction coefficient and a residual signal generated from a predetermined code to a speech synthesis filter. A recording medium on which a program to be executed is recorded,
Prediction for extracting a prediction tap used for predicting the target speech from the synthesized sound and the code or information obtained from the code, using the high-quality sound for which the prediction value is to be obtained as the target speech. Tap extraction means ;
Class tap extraction means for extracting a class tap used for classifying the target speech into any one of several classes from the synthesized sound and the code or information obtained from the code;
Class classification means for classifying the class of the target voice based on the class tap;
Obtaining means for obtaining the tap coefficient corresponding to the class of the speech of interest from the tap coefficients for each class obtained by performing learning;
Prediction means for obtaining a predicted value of the target speech using the prediction tap and the tap coefficient corresponding to the class of the target speech;
A recording medium on which a program for causing the computer to function is recorded. From a synthesized sound obtained by applying a linear prediction coefficient and a residual signal generated from a predetermined code to a speech synthesis filter, a predicted value of high-quality sound with improved sound quality is obtained by a predetermined prediction calculation. A learning device for learning a predetermined tap coefficient used for
Prediction for extracting a prediction tap used for predicting the target speech from the synthesized sound and the code or information obtained from the code, using the high-quality sound for which the prediction value is to be obtained as the target speech. Tap extraction means;
Class tap extraction means for extracting a class tap used for classifying the target speech into any one of several classes from the synthesized sound and the code or information obtained from the code;
Based on the class tap, class classification means for performing class classification to obtain a class of the voice of interest;
Learning is performed so as to statistically minimize the prediction error of the predicted value of the high-quality sound obtained by performing the prediction calculation using the tap coefficient and the prediction tap, and the tap coefficient for each class is obtained. learning apparatus and a learning means. The learning means performs learning so that a prediction error of a predicted value of the high-quality sound obtained by performing linear primary prediction calculation using the tap coefficient and the prediction tap is statistically minimized.
Learning device according to 請 Motomeko 10. The prediction tap extraction unit or the class tap extraction unit extracts the prediction tap or the class tap from the synthesized sound, the code, and information obtained from the code.
Learning device according to 請 Motomeko 10. The code is obtained by encoding speech using a CELP (Code Excited Linear Prediction coding) method.
Learning device according to 請 Motomeko 10. From a synthesized sound obtained by applying a linear prediction coefficient and a residual signal generated from a predetermined code to a speech synthesis filter, a predicted value of high sound quality speech with improved sound quality is obtained by a predetermined prediction calculation. A learning method for learning a predetermined tap coefficient used for
Prediction for extracting a prediction tap used for predicting the target speech from the synthesized sound and the code or information obtained from the code, using the high-quality sound for which the prediction value is to be obtained as the target speech. Tap extraction means;
A class tap extracting step of extracting a class tap used for classifying the target speech into any one of several classes from the synthesized sound and the code or information obtained from the code;
A class classification step for classifying the class of the target voice based on the class tap;
Learning is performed so as to statistically minimize the prediction error of the prediction value of the high-quality sound obtained by performing prediction calculation using the tap coefficient and the prediction tap, and the tap coefficient for each class is obtained. Manabu習方method and a learning step. From a synthesized sound obtained by applying a linear prediction coefficient and a residual signal generated from a predetermined code to a speech synthesis filter, a predicted value of high-quality sound with improved sound quality is obtained by a predetermined prediction calculation. A recording medium on which a program for causing a computer to perform a learning process for learning a predetermined tap coefficient used for the recording is recorded,
Prediction for extracting a prediction tap used for predicting the target speech from the synthesized sound and the code or information obtained from the code, using the high-quality sound for which the prediction value is to be obtained as the target speech. Tap extraction means;
Class tap extraction means for extracting a class tap used for classifying the target speech into any one of several classes from the synthesized sound and the code or information obtained from the code;
Class classification means for classifying the class of the target voice based on the class tap;
Learning is performed so as to statistically minimize the prediction error of the predicted value of the high-quality sound obtained by performing the prediction calculation using the tap coefficient and the prediction tap, and the tap coefficient for each class is obtained. Learning tools and
A recording medium on which a program for causing the computer to function is recorded .

Images