JP3747492B2 - 音声信号の再生方法及び再生装置 - Google Patents
音声信号の再生方法及び再生装置 Download PDFInfo
- Publication number
- JP3747492B2 JP3747492B2 JP15372395A JP15372395A JP3747492B2 JP 3747492 B2 JP3747492 B2 JP 3747492B2 JP 15372395 A JP15372395 A JP 15372395A JP 15372395 A JP15372395 A JP 15372395A JP 3747492 B2 JP3747492 B2 JP 3747492B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding parameter
- unit
- audio signal
- encoding
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0012—Smoothing of parameters of the decoder interpolation
Description
【０００１】
【産業上の利用分野】
本発明は、入力音声信号をフレーム単位で区分し、符号化して求めた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生方法及び再生装置に関する。
【０００２】
【従来の技術】
オーディオ信号（音声信号や音響信号を含む）の時間領域や周波数領域における統計的性質と人間の聴感上の特性を利用して信号圧縮を行うような符号化方法が種々知られている。この符号化方法としては、大別して時間領域での符号化、周波数領域での符号化、分析合成符号化等が挙げられる。
【０００３】
【発明が解決しようとする課題】
ところで、符号励起線形予測（ＣＥＬＰ：Code Excited Linear Prediction ）符号化に代表されるような上記時間軸上の処理による音声高能率符号化方法では、時間軸のスピード変換（Modify）処理が困難であった。これは、デコーダ出力の後にかなりの演算を行う必要があったためである。
【０００４】
また、デコードした線形領域でスピードコントロールを行うため、例えばビットレートの変換などには使えなかった。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える音声信号の再生方法及び再生装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
本発明に係る音声信号の再生方法は、上記課題を解決するために、入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生方法において、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める工程と、この変更符号化パラメータに基づいて、少なくともサイン波を合成する工程とを有し、上記変更符号化パラメータを求める工程は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする。
【０００７】
本発明に係る音声信号の再生装置は、上記課題を解決するために、入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生装置において、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める手段と、この変更符号化パラメータに基づいて、少なくともサイン波を合成する手段とを有し、上記変更符号化パラメータを求める手段は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする。
【０００９】
【作用】
入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化して求めた符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて少なくともサイン波を合成して音声信号を再生するので、任意のレートのスピードコントロールを可能とする。
【００１０】
【実施例】
以下、本発明に係る音声信号の再生方法、再生装置を適用できるいくつかの実施例について図面を参照しながら説明する。
【００１１】
先ず、本発明に係る音声信号の再生方法、再生装置に関する実施例を第１実施例として図１に示す。この第１実施例は、入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化して求めた符号化パラメータに基づいて、サイン波及びノイズを合成することにより音声信号を再生する音声信号再生装置１である。
【００１２】
特に、この音声信号再生装置１は、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて、サイン波及びノイズを合成している。なお、ここでは、上記変更符号化パラメータに基づいてサイン波及びノイズを合成しているが、少なくともサイン波を合成するだけでもよい。
【００１３】
この音声信号再生装置１は、入力端子１０から入力された音声信号をフレーム単位で区分しこのフレーム単位で符号化して線スペクトル対（ＬＳＰ）パラメータや、ピッチや、有声音（Ｖ）／無声音（ＵＶ）や、スペクトル振幅Ａｍのような符号化パラメータを出力する符号化部２と、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める変更符号化パラメータ算出部３と、上記変更符号化パラメータに基づいてサイン波及びノイズを合成し、出力端子３７から合成音声信号を出力する復号化部６とを備えてなる。ここで、符号化部２と、変更符号化パラメータ算出部３と、復号化部６は、図示しない制御部により、制御される。
【００１４】
特に、この音声信号再生装置１の変更符号化パラメータ算出部３は、図２に示すように、所定フレーム毎に得られる上記符号化パラメータの時間軸を圧縮伸張して上記パラメータの出力周期を変更する周期変更回路４と、この周期変更されたパラメータを補間処理して上記所定フレーム毎の時刻に対応する変更符号化パラメータとする補間処理回路５とからなる。なお、この変更符号化パラメータ算出部３については後述する。
【００１５】
先ず、符号化部２について説明するが、この符号化部２と復号化部６では、短期予測残差、例えばＬＰＣ残差（線形予測残差）を、ハーモニクスコーディングとノイズで表現する、あるいはマルチバンド励起（ＭＢＥ）符号化あるいはＭＢＥ分析する。
【００１６】
従来の符号励起線形予測（ＣＥＬＰ）符号化においては、ＬＰＣ残差を直接時間波形としてベクトル量子化していたが、符号化部２では、残差をハーモニクスコーディングやＭＢＥ分析で符号化するため、少ないビット数でハーモニクスのスペクトルエンベロープの振幅をベクトル量子化しても比較的滑らかな合成波形が得られ、ＬＰＣ合成波形フィルタ出力も非常に聴きやすい音質となる。なお、上記スペクトルエンベロープの振幅の量子化には、本件発明者等が先に提案した特開平６−５１８００号公報に記載の次元変換あるいはデータ数変換の技術を用い、一定の次元数にしてベクトル量子化を行っている。
【００１７】
図３に示す符号化部において、入力端子１０に供給された音声信号は、フィルタ１１にて不要な帯域の信号を除去するフィルタ処理が施された後、ＬＰＣ（線形予測符号化）分析回路１２及び逆フィルタリング回路２１に送られる。
【００１８】
ＬＰＣ分析回路１２は、入力信号波形の２５６サンプル程度の長さを１ブロックとしてハミング窓をかけて、自己相関法により線形予測係数、いわゆるαパラメータを求める。データ出力の単位となるフレーミングの間隔は、１６０サンプル程度とする。サンプリング周波数ｆｓが例えば８ｋHzのとき、１フレーム間隔は１６０サンプルで２０ｍsec となる。
【００１９】
ＬＰＣ分析回路１２からのαパラメータは、α→ＬＳＰ変換回路１３に送られて、線スペクトル対（ＬＳＰ）パラメータに変換される。これは、直接型のフィルタ係数として求まったαパラメータを、例えば１０個、すなわち５対のＬＳＰパラメータに変換する。変換は例えばニュートン−ラプソン法等を用いて行う。このＬＳＰパラメータに変換するのは、αパラメータよりも補間特性に優れているからである。
【００２０】
α→ＬＳＰ変換回路１３からのＬＳＰパラメータは、ＬＳＰベクトル量子化器１４によりベクトル量子化される。このとき、フレーム間差分をとってからベクトル量子化してもよい。あるいは、複数フレーム分をまとめてマトリクス量子化してもよい。ここでの量子化では、２０ｍsec を１フレームとし、２０ｍsec 毎に算出されるＬＳＰパラメータをベクトル量子化している。
【００２１】
このＬＳＰベクトル量子化器１４からの量子化出力、すなわちＬＳＰベクトル量子化のインデクスは、端子１５を介して取り出され、また量子化済みのＬＳＰベクトルは、ＬＳＰ補間回路１６に送られる。
【００２２】
ＬＳＰ補間回路１６は、上記２０ｍsec 毎にベクトル量子化されたＬＳＰのベクトルを補間し、８倍のレートにする。すなわち、２．５ｍsec 毎にＬＳＰベクトルが更新されるようにする。これは、残差波形をＭＢＥ符号化復号化方法により分析合成すると、その合成波形のエンベロープは非常になだらかでスムーズな波形になるため、ＬＰＣ係数が２０ｍsec 毎に急激に変化すると、異音を発生することがあるからである。すなわち、２．５ｍsec 毎にＬＰＣ係数が徐々に変化してゆくようにすれば、このような異音の発生を防ぐことができる。
【００２３】
このような補間が行われた２．５ｍsec 毎のＬＳＰベクトルを用いて入力音声の逆フィルタリングを実行するために、ＬＳＰ→α変換回路１７により、ＬＳＰパラメータを例えば１０次程度の直接型フィルタの係数であるαパラメータに変換する。このＬＳＰ→α変換回路１７からの出力は、上記逆フィルタリング回路２１に送られ、この逆フィルタリング回路２１では、２．５ｍsec 毎に更新されるαパラメータにより逆フィルタリング処理を行って、滑らかな出力を得るようにしている。この逆フィルタリング回路２１からの出力は、ハーモニクス／ノイズ符号化回路２２、具体的には例えばマルチバンド励起（ＭＢＥ）分析回路、に送られる。
【００２４】
ハーモニクス／ノイズ符号化回路あるいはＭＢＥ分析回路２２では、逆フィルタリング回路２１からの出力を、例えばＭＢＥ分析と同様の方法で分析する。すなわち、ピッチ検出、各ハーモニクスの振幅Ａｍの算出、有声音（Ｖ）／無声音（ＵＶ）の判別を行い、ピッチによって変化するハーモニクスの振幅Ａｍの個数を次元変換して一定数にしている。なお、ピッチ検出には、後述するように、入力されるＬＰＣ残差の自己相関を用いている。
【００２５】
この回路２２として、マルチバンドエクサイテイション（ＭＢＥ）符号化の分析回路の具体例について、図４を参照しながら説明する。
【００２６】
この図４に示すＭＢＥ分析回路においては、同時刻（同じブロックあるいはフレーム内）の周波数軸領域に有声音（Voiced）部分と無声音（Unvoiced）部分とが存在するという仮定でモデル化している。
【００２７】
図４の入力端子１１１には、上記逆フィルタリング回路２１からのＬＰＣ残差あるいは線形予測残差が供給されており、このＬＰＣ残差の入力に対してＭＢＥ分析符号化処理を施すわけである。
【００２８】
入力端子１１１から入力されたＬＰＣ残差は、ピッチ抽出部１１３、窓かけ処理部１１４、及び後述するサブブロックパワー計算部１２６にそれぞれ送られる。
【００２９】
ピッチ抽出部１１３では、入力がすでにＬＰＣ残差となっているので、この残差の自己相関の最大値を検出することにより、ピッチ検出が行える。このピッチ抽出部１１３ではオープンループによる比較的ラフなピッチのサーチが行われ、抽出されたピッチデータは高精度（ファイン）ピッチサーチ部１１６に送られて、クローズドループによる高精度のピッチサーチ（ピッチのファインサーチ）が行われる。
【００３０】
窓かけ処理部１１４では、１ブロックＮサンプルに対して所定の窓関数、例えばハミング窓をかけ、この窓かけブロックを１フレームＬサンプルの間隔で時間軸方向に順次移動させている。窓かけ処理部１１４からの時間軸データ列に対して、直交変換部１１５により例えばＦＦＴ（高速フーリエ変換）等の直交変換処理が施される。
【００３１】
サブブロックパワー計算部１２６では、ブロック内の全バンドが無声音（ＵＶ）と判別されたときに、該ブロックの無声音信号の時間波形のエンベロープを示す特徴量を抽出する処理が行われる。
【００３２】
高精度（ファイン）ピッチサーチ部１１６には、ピッチ抽出部１１３で抽出された整数（インテジャー）値の粗（ラフ）ピッチデータと、直交変換部１１５により例えばＦＦＴされた周波数軸上のデータとが供給されている。この高精度ピッチサーチ部１１６では、上記粗ピッチデータ値を中心に、0.２〜0.５きざみで±数サンプルずつ振って、最適な小数点付き（フローティング）のファインピッチデータの値へ追い込む。このときのファインサーチの手法として、いわゆる合成による分析 (Analysis by Synthesis)法を用い、合成されたパワースペクトルが原音のパワースペクトルに最も近くなるようにピッチを選んでいる。
【００３３】
すなわち、上記ピッチ抽出部１１３で求められたラフピッチを中心として、例えば0.25きざみで上下に数種類ずつ用意する。これらの複数種類の微小に異なるピッチの各ピッチに対してそれぞれエラー総和値Σεm を求める。この場合、ピッチが定まるとバンド幅が決まり、周波数軸上データのパワースペクトルと励起信号スペクトルとを用いて上記エラーεm を求め、その全バンドの総和値Σεm を求めることができる。このエラー総和値Σεm を各ピッチ毎に求め、最小となるエラー総和値に対応するピッチを最適のピッチとして決定するわけである。以上のようにして高精度ピッチサーチ部で最適のファイン（例えば 0.25 きざみ）ピッチが求められ、この最適ピッチに対応する振幅｜Ａm ｜が決定される。このときの振幅値の計算は、有声音の振幅評価部１１８Ｖにおいて行われる。
【００３４】
以上ピッチのファインサーチの説明においては、全バンドが有声音（Voiced）の場合を想定しているが、上述したようにＭＢＥ分析合成系においては、同時刻の周波数軸上に無声音（Unvoiced）領域が存在するというモデルを採用していることから、上記各バンド毎に有声音／無声音の判別を行うことが必要とされる。
【００３５】
上記高精度ピッチサーチ部１１６からの最適ピッチ及び振幅評価部（有声音）１１８Ｖからの振幅｜Ａm ｜のデータは、有声音／無声音判別部１１７に送られ、上記各バンド毎に有声音／無声音の判別が行われる。この判別のためにＮＳＲ（ノイズｔｏシグナル比）を利用する。
【００３６】
ところで、上述したように基本ピッチ周波数で分割されたバンドの数（ハーモニックスの数）は、声の高低（ピッチの大小）によって約８〜６３程度の範囲で変動するため、各バンド毎のＶ／ＵＶフラグの個数も同様に変動してしまう。そこで、本実施例においては、固定的な周波数帯域で分割した一定個数のバンド毎にＶ／ＵＶ判別結果をまとめる（あるいは縮退させる）ようにしている。具体的には、音声帯域を含む所定帯域（例えば０〜４０００Hz）をＮB 個（例えば１２個）のバンドに分割し、各バンド内の上記ＮＳＲ値に従って、例えば重み付き平均値を所定の閾値Th2 で弁別して、当該バンドのＶ／ＵＶを判断している。
【００３７】
次に、無声音の振幅評価部１１８Ｕには、直交変換部１１５からの周波数軸上データ、ピッチサーチ部１１６からのファインピッチデータ、有声音振幅評価部１１８Ｖからの振幅｜Ａm ｜のデータ、及び上記有声音／無声音判別部１１７からのＶ／ＵＶ（有声音／無声音）判別データが供給されている。この振幅評価部（無声音）１１８Ｕでは、有声音／無声音判別部１１７において無声音（ＵＶ）と判別されたバンドに関して、再度振幅を求めている。すなわち振幅再評価を行っている。なお、振幅評価部１１８Ｕでは、有声音（Ｖ）と判別されたバンドに関しては、有声音の振幅評価部１１８Ｖから入力された値をそのまま出力している。
【００３８】
この振幅評価部（無声音）１１８Ｕからのデータは、データ数変換（一種のサンプリングレート変換）部１１９に送られる。このデータ数変換部１１９は、上記ピッチに応じて周波数軸上での分割帯域数が異なり、データ数（特に振幅データの数）が異なることを考慮して、一定の個数にするためのものである。すなわち、例えば有効帯域を３４００ｋHzまでとすると、この有効帯域が上記ピッチに応じて、８バンド〜６３バンドに分割されることになり、これらの各バンド毎に得られる上記振幅｜Ａm ｜（ＵＶバンドの振幅｜Ａm ｜UVも含む）データの個数ｍMX＋１も８〜６３と変化することになる。このためデータ数変換部１１９では、この可変個数ｍMX＋１の振幅データを一定個数Ｍ（例えば４４個）のデータに変換している。
【００３９】
ここで、データ数変換部１１９においては、例えば、周波数軸上の有効帯域１ブロック分の振幅データに対して、ブロック内の最後のデータからブロック内の最初のデータまでの値を補間するようなダミーデータを付加してデータ個数をＮF 個に拡大した後、帯域制限型のＯS 倍（例えば８倍）のオーバーサンプリングを施すことによりＯS 倍の個数の振幅データを求め、このＯS 倍の個数（（ｍMX＋１）×ＯS 個）の振幅データを直線補間してさらに多くのＮM 個（例えば２０４８個）に拡張し、このＮM 個のデータを間引いて上記一定個数Ｍ（例えば４４個）のデータに変換している。
【００４０】
このデータ数変換部１１９からのデータ（上記一定個数Ｍ個の振幅データ）が上記ベクトル量子化器２３に送られて、Ｍ個のデータから成るベクトルとされるか、あるいは所定個数のデータ毎にまとめられてベクトルとされ、ベクトル量子化が施される。
【００４１】
高精度のピッチサーチ部１１６からのピッチデータについては、上記切換スイッチ２７の被選択端子ａを介して出力端子２８に送っている。これは、ブロック内の全バンドがＵＶ（無声音）となってピッチ情報が不要となる場合に、無声音信号の時間波形を示す特徴量の情報をピッチ情報と切り換えて送っているものであり、本件発明者等が特願平５−１８５３２５号の明細書及び図面において開示した技術である。
【００４２】
なお、これらの各データは、上記Ｎサンプル（例えば２５６サンプル）のブロック内のデータに対して処理を施すことにより得られるものであるが、ブロックは時間軸上を上記Ｌサンプルのフレームを単位として前進することから、伝送するデータは上記フレーム単位で得られる。すなわち、上記フレーム周期でピッチデータ、Ｖ／ＵＶ判別データ、振幅データが更新されることになる。また、上記有声音／無声音判別部１１７からのＶ／ＵＶ判別データについては、上述したように、必要に応じて１２バンド程度に低減（縮退）したデータを用いてもよく、全バンド中で１箇所以下の有声音（Ｖ）領域と無声音（ＵＶ）領域との区分位置を表すデータを用いるようにしてもよい。あるいは、全バンドをＶ又はＵＶのどちらかで表現してもよく、また、フレーム単位のＶ／ＵＶ判別としてもよい。
【００４３】
ここで、ブロック全体がＵＶ（無声音）と判別された場合には、ブロック内の時間波形を表す特徴量を抽出するために、１ブロック（例えば２５６サンプル）を、複数個（８個）の小ブロック（サブブロック、例えば３２サンプル）に分割して、サブブロックパワー計算部１２６に送っている。
【００４４】
サブブロックパワー計算部１２６においては、各サブブロック毎の１サンプル当りの平均パワー、あるいはいわゆる平均ＲＭＳ（Root Mean Square）値についての、ブロック内全サンプル（例えば２５６サンプル）の平均パワーあるいは平均ＲＭＳ値に対する割合（比率、レシオ）を算出している。
【００４５】
すなわち、例えばｋ番目のサブブロックの平均パワーを求め、次に１ブロック全体の平均パワーを求めた後、この１ブロックの平均パワーと上記ｋ番目のサブブロックの平均パワーｐ(k) との比の平方根を算出する。
【００４６】
このようにして得られた平方根値を、所定次元のベクトルとみなし、次のベクトル量子化部１２７においてベクトル量子化を行う。
【００４７】
このベクトル量子化部１２７では、例えば、８次元８ビット（コードブックサイズ＝２５６）のストレートベクトル量子化を行う。このベクトル量子化の出力インデクス（代表ベクトルのコード）UV_Eを、切換スイッチ２７の被選択端子ｂに送っている。この切換スイッチ２７の被選択端子ａには、上記高精度ピッチサーチ部１１６からのピッチデータが送られており、切換スイッチ２７からの出力は、出力端子２８に送られている。
【００４８】
切換スイッチ２７は、有声音／無声音判別部１１７からの判別出力信号により切換制御されるようになっており、通常の有声音伝送時、すなわち上記ブロック内の全バンドの内の１つでもＶ（有声音）と判別されたときには被選択端子ａに、ブロック内の全バンドがＵＶ（無声音）と判別されたときには被選択端子ｂに、それぞれ切換接続される。
【００４９】
従って、上記サブブロック毎の正規化された平均ＲＭＳ値のベクトル量子化出力は、本来はピッチ情報を伝送していたスロットに入れ込んで伝送されることになる。すなわち、ブロック内の全バンドがＵＶ（無声音）と判別されたときにはピッチ情報は不要であり、上記有声音／無声音判別部１１７からのＶ／ＵＶ判別フラグを見て、全てＵＶのときに限って、ベクトル量子化出力インデクスUV_Eをピッチ情報の代わりに伝送するようにしている。
【００５０】
次に、図３に戻って、ベクトル量子化器２３におけるスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化について説明する。
【００５１】
ベクトル量子化器２３は、Ｌ次元、例えば４４次元の２ステージ構成とする。
【００５２】
すなわち、４４次元でコードブックサイズが３２のベクトル量子化コードブックからの出力ベクトルの和に、ゲインｇi を乗じたものを、４４次元のスペクトルエンベロープベクトルｘの量子化値として使用する。これは、図５に示すように、２つのシェイプコードブックをＣＢ０、ＣＢ１とし、その出力ベクトルをｓ 0i、ｓ 1j、ただし０≦ｉ，ｊ≦３１、とする。また、ゲインコードブックＣＢｇの出力をｇl 、ただし０≦ｌ≦３１、とする。ｇl はスカラ値である。この最終出力は、ｇi（ｓ 0i＋ｓ 1j） となる。
【００５３】
ＬＰＣ残差について上記ＭＢＥ分析によって得られたスペクトルエンベロープＡｍを一定次元に変換したものをｘとする。このとき、ｘをいかに効率的に量子化するかが重要である。
【００５４】
ここで、量子化誤差エネルギＥを、
と定義する。この（１）式において、ＨはＬＰＣの合成フィルタの周波数軸上での特性であり、Ｗは聴覚重み付けの周波数軸上での特性を表す重み付けのための行列である。
【００５５】
現フレームのＬＰＣ分析結果によるαパラメータを、αi （１≦ｉ≦Ｐ）として、
【００５６】
【数１】
【００５７】
の周波数特性からＬ次元、例えば４４次元の各対応する点の値をサンプルしたものである。
【００５８】
算出手順としては、一例として、１、α1、α2、・・・、αp に０詰めして、すなわち、１、α1、α2、・・・、αp 、０、０、・・・、０として、例えば２５６点のデータにする。その後、２５６点ＦＦＴを行い、（ｒe 2＋Ｉm 2）1/2 を０〜πに対応する点に対して算出して、その逆数をとる。それをＬ点、すなわち例えば４４点に間引いたものを対角要素とする行列を、
【００５９】
【数２】
【００６０】
とする。
【００６１】
聴覚重み付け行列Ｗは、
【００６２】
【数３】
【００６３】
とする。この（３）式で、αi は入力のＬＰＣ分析結果である。また、λa、λbは定数であり、一例として、λa＝０．４、λb＝０．９が挙げられる。
【００６４】
行列あるいはマトリクスＷは、上記（３）式の周波数特性から算出できる。一例として、１、α1λb、α2λb2、・・・、αpλbp、０、０、・・・、０として２５６点のデータとしてＦＦＴを行い、０以上π以下の区間に対して（ｒe 2[ｉ]＋Ｉm 2[ｉ]）1/2 、０≦ｉ≦１２８、を求める。次に、１、α1λa、α2λa2 、・・・、αpλap 、０、０、・・・、０として分母の周波数特性を２５６点ＦＦＴで０〜πの区間を１２８点で算出する。これを（ｒe'2[ｉ]＋Ｉm'2[ｉ]）1/2 、０≦ｉ≦１２８、とする。
【００６５】
【数４】
【００６６】
として、上記（３）式の周波数特性が求められる。
【００６７】
これをＬ次元、例えば４４次元ベクトルの対応する点について、以下の方法で求める。より正確には、直線補間を用いるべきであるが、以下の例では最も近い点の値で代用している。
【００６８】
すなわち、
ω[ｉ]＝ω0［nint(128ｉ/L)］ １≦ｉ≦Ｌ
ただし、nint（ｘ）は、ｘに最も近い整数を返す関数
である。
【００６９】
また、上記Ｈに関しても同様の方法で、h(1)、h(2)、・・・、h(L)を求めている。すなわち、
【００７０】
【数５】
【００７１】
となる。
【００７２】
ここで、他の例として、ＦＦＴの回数を減らすのに、Ｈ(ｚ)Ｗ(ｚ)を先に求めてから、周波数特性を求めてもよい。すなわち、
【００７３】
【数６】
【００７４】
この（５）式の分母を展開した結果を、
【００７５】
【数７】
【００７６】
とする。ここで、１、β1、β2、・・・、β2p、０、０、・・・、０として、例えば２５６点のデータにする。その後、２５６点ＦＦＴを行い、振幅の周波数特性を、
【００７７】
【数８】
【００７８】
とする。これより、
【００７９】
【数９】
【００８０】
これをＬ次元ベクトルの対応する点について求める。上記ＦＦＴのポイント数が少ない場合は、直線補間で求めるべきであるが、ここでは最寄りの値を使用している。すなわち、
【００８１】
【数１０】
【００８２】
である。これを対角要素とする行列をＷ’とすると、
【００８３】
【数１１】
【００８４】
となる。（６）式は上記（４）式と同一のマトリクスとなる。
【００８５】
このマトリクス、すなわち重み付き合成フィルタの周波数特性を用いて、上記（１）を書き直すと、
【００８６】
【数１２】
【００８７】
となる。
【００８８】
ここで、シェイプコードブックとゲインコードブックの学習法について説明する。
【００８９】
先ず、ＣＢ０に関しコードベクトルｓ 0cを選択する全てのフレームｋに関して歪の期待値を最小化する。そのようなフレームがＭ個あるとして、
【００９０】
【数１３】
【００９１】
を最小化すればよい。この（８）式中で、Ｗ'kはｋ番目のフレームに対する重み、ｘ k はｋ番目のフレームの入力、ｇk はｋ番目のフレームのゲイン、ｓ 1kはｋ番目のフレームについてのコードブックＣＢ１からの出力、をそれぞれ示す。
【００９２】
この（８）式を最小化するには、
【００９３】
【数１４】
【００９４】
【数１５】
【００９５】
次に、ゲインに関しての最適化を考える。
【００９６】
ゲインのコードワードｇc を選択するｋ番目のフレームに関しての歪の期待値Ｊg は、
【００９７】
【数１６】
【００９８】
上記（１１）式及び（１２）式は、シェイプｓ 0i、ｓ 1i及びゲインｇi 、０≦ｉ≦３１の最適なセントロイドコンディション(Centroid Condition)、すなわち最適なデコーダ出力を与えるものである。なお、ｓ 1iに関してもｓ 0iと同様に求めることができる。
【００９９】
次に、最適エンコード条件（Nearest Neighbour Condition ）を考える。
【０１００】
歪尺度の上記（７）式、すなわち、Ｅ＝‖Ｗ'（ｘ−ｇl（ｓ 0i＋ｓ 1j））‖2 を最小化するｓ 0i、ｓ 1jを、入力ｘ、重みマトリクスＷ' が与えられる毎に、すなわち毎フレームごとに決定する。
【０１０１】
本来は、総当り的に全てのｇl （０≦ｌ≦３１）、ｓ 0i （０≦ｉ≦３１）、ｓ 1j （０≦ｊ≦３１）の組み合せの、３２×３２×３２＝３２７６８通りについてＥを求めて、最小のＥを与えるｇl 、ｓ 0i、ｓ 1jの組を求めるべきであるが、膨大な演算量となるので、この符号化部２では、シェイプとゲインのシーケンシャルサーチを行っている。なお、ｓ 0iとｓ 1jとの組み合せについては、総当りサーチを行うものとする。これは、３２×３２＝１０２４通りである。以下の説明では、簡単化のため、ｓ 0i＋ｓ 1jをｓ m と記す。
【０１０２】
上記（７）式は、Ｅ＝‖Ｗ'（ｘ−ｇlｓm）‖2 となる。さらに簡単のため、ｘ w＝Ｗ'ｘ、ｓ w＝Ｗ'ｓ m とすると、
【０１０３】
【数１７】
【０１０４】
となる。従って、ｇl の精度が充分にとれると仮定すると、
【０１０５】
【数１８】
【０１０６】
という２つのステップに分けてサーチすることができる。元の表記を用いて書き直すと、
【０１０７】
【数１９】
【０１０８】
となる。この（１５）式が最適エンコード条件(Nearest Neighbour Condition) である。
【０１０９】
ここで上記（１１）、（１２）式の条件（Centroid Condition）と、（１５）式の条件を用いて、一般化ロイドアルゴリズム（Generalized Lloyd Algorithm:ＧＬＡ）によりコードブック（ＣＢ０、ＣＢ１、ＣＢｇ）を同時にトレーニングできる。
【０１１０】
ところで、図３において、ベクトル量子化器２３は、切換スイッチ２４を介して、有声音用コードブック２５Ｖと、無声音用コードブック２５Ｕとに接続されており、回路２２からのＶ／ＵＶ判別出力に応じて切換スイッチ２４が切換制御されることにより、有声音時には有声音用コードブック２５Ｖを用いたベクトル量子化が、無声音時には無声音用コードブック２５Ｕを用いたベクトル量子化がそれぞれ施されるようになっている。
【０１１１】
このように有声音（Ｖ）／無声音（ＵＶ）の判断によってコードブックを切り換える意味は、上記（１１）、（１２）式の新たなセントロイドの算出において、Ｗ'kとｇl とによる重み付き平均を行っているため、著しく異なるＷ'kとｇl とを同時に平均化してしまうのは好ましくないからである。
【０１１２】
なお、この符号化部２では、Ｗ’として、入力ｘのノルムで割り込んだＷ’を使用している。すなわち、上記（１１）、（１２）、（１５）式において、事前にＷ’にＷ'／‖ｘ‖ を代入して使用している。
【０１１３】
Ｖ／ＵＶでコードブックを切り換える場合は、同様の方法でトレーニングデータを振り分けて各々のトレーニングデータからＶ（有声音）用、ＵＶ（無声音）用のコードブックを作ればよい。
【０１１４】
また、この符号化部２では、Ｖ／ＵＶのビット数を減らすため、単一バンド励起（ＳＢＥ）とし、Ｖの含有率が５割を越える場合は有声音（Ｖ）フレーム、それ以外は無声音（ＵＶ）フレームとしている。
【０１１５】
なお、図６、図７に入力ｘ及び重みＷ'／‖ｘ‖ の平均値を、Ｖ（有声音）のみ、ＵＶ（無声音）のみでまとめたものと、ＶとＵＶとを区別せずにひとまとめにしたものとを示す。
【０１１６】
図６より、ｘ自体のｆ軸上のエネルギ分布は、Ｖ、ＵＶで大きく差はなく、ゲインの（‖ｘ‖）平均値が大きく異なるのみであるように見える。しかし、図７から明らかなように、ＶとＵＶでは重みの形が異なり、ＶではＵＶに比べより低域にビットアサインを増やすような重みとなっている。これが、ＶとＵＶとを分けてトレーニングすることでより高性能なコードブックが作成される根拠である。
【０１１７】
次に、図８は、Ｖ（有声音）のみ、ＵＶ（無声音）のみ、ＶとＵＶとをまとめたものの３つの例について、それぞれのトレーニングの様子を示している。すなわち、図８の曲線ａがＶのみの場合で終値が３．７２であり、曲線ｂがＵＶのみで終値が７．０１１であり、曲線ｃがＶとＵＶとをまとめたもので終値が６．２５である。
【０１１８】
この図８から明らかなように、ＶとＵＶとの各コードブックのトレーニングを分離することで出力の歪の期待値が減少する。曲線ｂのＵＶのみの場合で若干悪化しているが、Ｖ／ＵＶの頻度としては、Ｖの区間が長いので、トータルとしては改善される。ここで、ＶとＵＶの頻度の一例として、Ｖ及びＵＶのトレーニングデータ長を１としたとき、実測によるとＶのみの割合が０．５３８、ＵＶのみの割合が０．４６２であり、図８の各曲線ａ、ｂの終値より、
３．７２×０．５３８＋７．０１１×０．４６２＝５．２４
がトータルの歪の期待値となり、ＶとＵＶとをまとめてトレーニングする場合の歪の期待値の６．２５に比べて、上記値５．２４は、約０．７６ｄＢの改善がなされたことになる。
【０１１９】
トレーニングの様子から判断すると、前述のように０．７６ｄＢ程度の改善であるが、実際にトレーニングセット外の音声（男女４人ずつ）を処理し、量子化を行わないときとのＳＮＲあるいはＳＮ比をとると、コードブックをＶ、ＵＶに分割することで平均して１．３ｄＢ程度のセグメンタルＳＮＲの向上が確認された。これは、Ｖの比率がＵＶに比べてかなり高いためと考えられる。
【０１２０】
ところで、ベクトル量子化器２３でのベクトル量子化の際の聴覚重み付けに用いられる重みＷ’については、上記（６）式で定義されているが、過去のＷ’も加味して現在のＷ’を求めることにより、テンポラルマスキングも考慮したＷ’が求められる。
【０１２１】
上記（６）式中のwh(1),wh(2),・・・,wh(L)に関して、時刻ｎ、すなわち第ｎフレームで算出されたものをそれぞれwhn(1),whn(2),・・・,whn(L) とする。
【０１２２】
時刻ｎで過去の値を考慮した重みをＡn(i)、１≦ｉ≦Ｌ と定義すると、
とする。ここで、λは例えばλ＝０．２とすればよい。このようにして求められたＡn(i)、１≦ｉ≦Ｌ について、これを対角要素とするマトリクスを上記重みとして用いればよい。
【０１２３】
次に、図１に戻り変更符号化パラメータ算出部３について説明する。音声信号再生装置１は、符号化部２が出力した上記符号化パラメータを変更符号化パラメータ算出部３によりスピード変換して変更符号化パラメータを算出し、復号化部６でデコードして、例えば固体録音した内容をリアルタイムの倍のスピードで再生する。このとき、再生スピードを高速にしてもピッチ、音韻が不変であるため、かなりの高速再生を行っても内容を聞きとることができる。
【０１２４】
変更符号化パラメータ算出部３は、上記符号化パラメータをスピード変換しているため、デコーダ出力後の処理が不要で、かつ同様のアルゴリズムで異なるレートでの固定レートに容易に対応することもできる。
【０１２５】
以下、図９及び図１１のフローチャートを参照しながらこの音声信号再生装置１の変更符号化パラメータ算出部３の動作を説明する。変更符号化パラメータ算出部３は、図２を参照して上述したように、周期変更回路４と補間処理回路５からなる。
【０１２６】
先ず、図９のステップＳ１に示すように、周期変更回路４には、入力端子１５，２８，２９，２６を介してＬＳＰ，ピッチ，Ｖ／ＵＶ，Ａｍのような符号化パラメータが供給される。ここで、ピッチをｐch[ｎ]，Ｖ／ＵＶをｖｕv[ｎ]，Ａｍをａm[ｎ][ｌ]，ＬＳＰをｌsp[ｎ][ｉ]とする。また、変更符号化パラメータ算出部３で最終的に算出される変更符号化パラメータをmod_ｐch[ｍ]，mod_ｖｕv[ｍ]，mod_ａm[ｍ][ｌ]，mod_ｌsp[ｍ][ｉ]とする。ｌはハーモニクス数、ｉはＬＳＰ次数である。ｎ，ｍは、時間軸のインデクスに相当するフレームナンバーに対応する。ｎは時間軸変更前、ｍは時間軸変更後である。なお、０≦ｎ＜Ｎ1，０≦ｍ＜Ｎ2であり、ｎ，ｍともに例えば２０msecをフレームインターバルとするフレームのインデクスである。
【０１２７】
上述したようにｌはハーモニクス数であるが、真のハーモニクスの数に対応するａm[ｎ][ｌ]に戻してから実行しても、あるいはデータ数変換で一定の個数のａm[ｎ][ｌ]（ｌ＝０〜４３）の状態で行っても良い。つまり、データ数変換をデコータで解く前でも後でもよい。
【０１２８】
次に、周期変更回路４は、ステップＳ２に示すように、オリジナルの時間長となるフレーム数をＮ1とし、変更後の時間長となるフレーム数をＮ2としてから、ステップＳ３に示すように、Ｎ1の音声をＮ2の音声に時間軸圧縮する。すなわち、周期変更回路４での時間軸圧縮の比をspdとすると、spdをＮ2／Ｎ1として求める。
【０１２９】
次に、補間処理回路５は、ステップＳ４に示すように、時間軸変更後の時間軸のインデクスに相当するフレームナンバーに対応するｍを２とする。
【０１３０】
次に、補間処理回路５はステップＳ５に示すように、二つのフレームｆr0，ｆr1と、該二つのフレームｆr0，ｆr1とｍ／spdとの差left，rightとを求める。上記符号化パラメータのｐch，ｖｕv，ａm，ｌspを＊とするときmod_＊[ｍ]は、
mod_＊[ｍ]＝＊[ｍ／spd] （０≦ｍ＜Ｎ2）
という一般式で表せる。しかし、ｍ／spdは、整数にはならないので、
ｆr0＝L ｍ／spd 」
ｆr1＝ｆ0＋１
の２フレームから補間して、ｍ／spdにおける変更符号化パラメータを作る。ここで、フレームｆr0とｍ／spdとフレームｆr1との間には、図１０に示すような関係、すなわち、
left＝ｍ／spd−ｆr0
right＝ｆr1−ｍ／spd
が成立する。
【０１３１】
この図１０におけるｍ／spdのときの符号化パラメータ、すなわち変更符号化パラメータをステップＳ６に示すように、補間処理によって作ればよい。単純に直線補間により求めると、
mod_＊[ｍ]＝＊[ｆr0]×right＋＊[ｆr1]×left
となる。
【０１３２】
しかし、２つのフレームｆr0，ｆr1間での補間では、それらのフレームが有声音（Ｖ）と，無声音（ＵＶ）というように異なる場合には、上記一般式を適用できない。このため、２つのフレームｆr0，ｆr1間における有声音（Ｖ）と，無声音（ＵＶ）との関係によって、補間処理回路５は、図１１のステップＳ１１以降に示すように、上記符号化パラメータの求め方を変える。
【０１３３】
先ず、ステップＳ１１に示すように２つのフレームｆr0，ｆr1が有声音（Ｖ），有声音（Ｖ）であるか否かを判断する。ここで、２つのフレームｆr0，ｆr1が共に、有声音（Ｖ）であると判断すると、ステップＳ１２に進み、全てのパラメータを線形補間して以下のように表す。
【０１３４】
mod_ｐch[ｍ]＝ｐch[ｆr0]×right＋ｐch[ｆr1]×left
mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]×right＋ａm[ｆr1][ｌ]×left
ただし、０≦ｌ＜Ｌである。ここで、Ｌはハーモニクスとしてとりうる最大の数である。また、ａm[ｎ][ｌ]は、ハーモニクスの存在しない位置では０を入れておく。フレームｆr0とフレームｆr1とで、ハーモニクスの数が異なる時には、余った方のハーモニクスは、相方を０として補間する。または、デコーダ側でデータ数変換器を通す前であれば、０≦ｌ＜ＬのＬ＝４３といった固定の値でもよい。
【０１３５】
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]×right＋ｌsp[ｆr1][ｉ]×left
ただし、０≦ｉ＜Ｉである。ここで、ＩはＬＳＰの次数であり、通常は１０を使用する。
【０１３６】
mod_ｖｕv[ｍ]＝１
ＶＵＶの判定で１は有声音（Ｖ）を、０は無声音（ＵＶ）を意味する。
【０１３７】
次に、ステップＳ１１で２つのフレームｆr0，ｆr1が共に有声音（Ｖ）でないと判断すると、ステップＳ１３に示すような判断、すなわち、２つのフレームｆr0，ｆr1が共に無声音（ＵＶ）であるか否かを判断する。ここで、ＹＥＳ（共に無声音である。）となると、補間処理回路５は、ステップＳ１４に示すように、ｐchを固定値とし、またａmとｌspを線形補間により以下のように求める。
【０１３８】
mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ
このように無声音のときは、Ｐｉｔｃｈの値を例えばＭａｘＰｉｔｃｈ＝１４８のように、最大値等の固定値にはりつける。
【０１３９】
mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]×right＋ａm[ｆr1][ｌ]×left
ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。
【０１４０】
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]×right＋ｌsp[ｆr1][ｉ]×left
ただし、０≦ｉ＜Ｉである。
【０１４１】
mod_ｖｕv[ｍ]＝０
次に、２つのフレームｆr0，ｆr1が共に、無声音でない場合、ステップＳ１５に進み、フレームｆr0が有声音（Ｖ）で，ｆr1が無声音（ＵＶ）であるか否かを判断する。ここでＹＥＳ（フレームｆr0が有声音（Ｖ）で，ｆr1が無声音（ＵＶ）である。）となると、ステップＳ１６に進み、ＮＯ（フレームｆr0が無声音（ＵＶ）であり、ｆr1が有声音（Ｖ）である。）となると、ステップＳ１７に進む。
【０１４２】
ステップＳ１６以降の処理では、二つのフレームｆr0，ｆr1が、例えば有声音（Ｖ），無声音（ＵＶ）のように、異なった場合について説明している。これは、例えば有声音（Ｖ），無声音（ＵＶ）のように、異なった２つのフレームｆr0，ｆr1間でパラメータを補間すると意味のないものになってしまうためである。この場合、補間は行わずに、時刻ｍ／spdに近い方のフレームのパラメータの値を用いる。
【０１４３】
フレームｆr0が有声音（Ｖ），フレームｆr1が無声音（ＵＶ）である場合、ステップ１６に進む。このステップＳ１６では、図１０に示す上記left（＝ｍ／spd−ｆr0）と上記right（＝ｆr1−ｍ／spd）の大きさを比較している。これにより、ｍ／spdに対してどちらのフレームｆr0またはフレームｆr1が近いのかを判断している。そして、上述したように近い方のパラメータの値を用いて変更符号化パラメータを算出する。
【０１４４】
すなわち、ステップＳ１６でＹＥＳを判断すると、上記rightが大きいのであるから、フレームｆr1の方が遠いので、ステップＳ１８に示すように近い方のフレームｆr0側のパラメータを用いて、
mod_ｐch[ｍ]＝ｐch[ｆr0]
mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ] ，（ただし、０≦ｌ＜Ｌである。）
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ] ，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕv[ｍ]＝１
とする。
【０１４５】
また、ステップＳ１６でＮＯを判断すると、left≧rightとなり、フレームｆr1の方が近いので、ステップＳ１９に進み、ピッチを最大値にし、他のパラメータについてはｆr1側のパラメータを用いて、
mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ
mod_ａm[ｍ][ｌ]＝ａm[ｆr1][ｌ] ，（ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。）
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr1][ｉ]，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕv[ｍ]＝０
とする。
【０１４６】
次に、ステップＳ１７では、ステップＳ１５で２つのフレームｆr0，ｆr1が無声音（ＵＶ），有声音（Ｖ）であるという判断を受けて、上記ステップＳ１６と同様の判断を行う。すなわち、この場合も、補間は行わずに、時刻ｍ／spdに近い方のフレームのパラメータの値を用いる。
【０１４７】
ステップＳ１７でＹＥＳを判断すると、ステップＳ２０に示すように、ピッチを最大値にし、他のパラメータについては近い方のフレームｆr0側のパラメータを用いて、
mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ
mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]，（ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。）
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕv[ｍ]＝０
とする。
【０１４８】
また、ステップＳ１７でＮＯを判断すると、left≧rightとなり、フレームｆr1の方が近いので、ステップＳ２１に進み、ｆr1側のパラメータを用いて、
mod_ｐch[ｍ]＝ｐch[ｆr1]
mod_ａm[ｍ][ｌ]＝ａm[ｆr1][ｌ]，（ただし、０≦ｌ＜Ｌである。）
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr1][ｉ] ，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕv[ｍ]＝１
とする。
【０１４９】
このように２つのフレームｆr0，ｆr1間における有声音（Ｖ）と，無声音（ＵＶ）との関係によって、補間処理回路５は、図９に示すステップＳ６の補間処理を異ならせる。このステップＳ６の補間処理が終了すると、ステップＳ７に進み、ｍをインクリメントする。そして、このｍがＮ2に等しくなるまで、ステップＳ５，ステップＳ６の処理を繰り返す。
【０１５０】
なお、本来は、これ以外にも、ＵＶ部分の短時間ｒｍｓのシーケンスを、ノイズのゲインコントロールに用いているが、ここではこのパラメータは１で固定する。
【０１５１】
以上に説明したような変更符号化パラメータ算出部３の動作をまとめると、図１２に示すようになる。例えば２０msecで符号化部２が抽出している符号化パラメータのモデルを図１２の（Ａ）に示す。変更符号化パラメータ算出部３の周期変更回路４は、図１２の（Ｂ）に示すように、１５msecとし、図１２の（Ｂ）に示すように、時間圧縮する。そして、上述したように、二つのフレームｆR0，ｆr1のＶ／ＵＶの状態に応じた補間処理により、図１２の（Ｃ）に示すような変更符号化パラメータを算出する。
【０１５２】
変更符号化パラメータ算出部３は、周期変更回路４と補間処理回路５を逆の順番として、図１３の（Ａ）に示す符号化パラメータを先ず図１３の（Ｂ）に示すように補間してから、図１３の（Ｃ）に示すように圧縮して変更符号化パラメータを算出してもよい。
【０１５３】
変更符号化パラメータ算出部３からの変更符号化パラメータは、図１に示す復号化部６に供給される。この復号化部６は、上記変更符号化パラメータに基づいてサイン波及びノイズを合成し、合成音を出力端子３７から導出する。
【０１５４】
以下、復号化部６について図１４及び図１５を参照しながら説明する。先ず、復号化部６に供給されてくるパラメータが通常の符号化パラメータであるとして説明しておく。
【０１５５】
この図１４において、端子３１には、上記図３の端子１５からの出力に相当するＬＳＰのベクトル量子化出力、いわゆるインデクスが供給されている。
【０１５６】
この入力信号は、ＬＳＰ逆ベクトル量子化器３２に送られてＬＳＰ（線スペクトル対）データに逆ベクトル量子化され、ＬＳＰ補間回路３３に送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路３４でＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータが合成フィルタ３５に送られる。
【０１５７】
また、図１４の端子４１には、上記図３のエンコーダ側の端子２６からの出力に対応するスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化されたコードワードのインデックスデータが供給され、端子４３には、上記図３の端子２８からのピッチ情報やＵＶ時のブロック内の時間波形の特徴量を表すデータが供給され、端子４６には、上記図３の端子２９からのＶ／ＵＶ判別データが供給されている。
【０１５８】
端子４１からのＡｍのベクトル量子化されたデータは、逆ベクトル量子化器４２に送られて逆ベクトル量子化が施され、スペクトルエンベロープのデータとなって、ハーモニクス／ノイズ合成回路、あるいはマルチバンド励起（ＭＢＥ）合成回路４５に送られている。この合成回路４５には、端子４３からのデータが上記Ｖ／ＵＶ判別データに応じて切換スイッチ４４により上記ピッチデータとＵＶ時の波形の特徴量データとに切り換えられて供給されており、また、端子４６からのＶ／ＵＶ判別データも供給されている。
【０１５９】
この合成回路４５の具体例としてのＭＢＥ合成回路の構成については、図１５を参照しながら後述する。
【０１６０】
合成回路４５からは、上述した図３の逆フィルタリング回路２１からの出力に相当するＬＰＣ残差データが取り出され、これが合成フィルタ回路３５に送られてＬＰＣの合成処理が施されることにより時間波形データとなり、さらにポストフィルタ３６でフィルタ処理された後、出力端子３７より再生された時間軸波形信号が取り出される。
【０１６１】
次に、上記合成回路４５の一例としてのＭＢＥ合成回路構成の具体例について、図１５を参照しながら説明する。
【０１６２】
この図１５において、入力端子１３１には、図１４のスペクトルエンベロープの逆ベクトル量子化器４２からのスペクトルエンベロープデータ、実際にはＬＰＣ残差のスペクトルエンベロープデータが供給されている。各端子４３、４６に供給されるデータは図１４と同様である。なお端子４３に送られたデータは、切換スイッチ４４で切換選択され、ピッチデータが有声音合成部１３７へ、ＵＶ波形の特徴量データが逆ベクトル量子化器１５２へそれぞれ送られている。
【０１６３】
端子１３１からの上記ＬＰＣ残差のスペクトル振幅データは、データ数逆変換部１３６に送られて逆変換される。このデータ数逆変換部１３６では、上述した図４のデータ数変換部１１９と対照的な逆変換が行われ、得られた振幅データが有声音合成部１３７及び無声音合成部１３８に送られる。端子４３から切換スイッチ４４の被選択端子ａを介して得られた上記ピッチデータは、有声音合成部１３７及び無声音合成部１３８に送られる。また端子４６からの上記Ｖ／ＵＶ判別データも、有声音合成部１３７及び無声音合成部１３８に送られる。
【０１６４】
有声音合成部１３７では例えば余弦(cosine)波合成あるいは正弦(sine)波合成により時間軸上の有声音波形を合成し、無声音合成部１３８では例えばホワイトノイズをバンドパスフィルタでフィルタリングして時間軸上の無声音波形を合成し、これらの各有声音合成波形と無声音合成波形とを加算部１４１で加算合成して、出力端子１４２より取り出すようにしている。
【０１６５】
また、Ｖ／ＵＶ判別データとして上記Ｖ／ＵＶコードが伝送された場合には、このＶ／ＵＶコードに応じて全バンドを１箇所の区分位置で有声音（Ｖ）領域と無声音（ＵＶ）領域とに区分することができ、この区分に応じて、各バンド毎のＶ／ＵＶ判別データを得ることができる。ここで、分析側（エンコーダ側）で一定数（例えば１２程度）のバンドに低減（縮退）されている場合には、これを解いて（復元して）、元のピッチに応じた間隔で可変個数のバンドとすることは勿論である。
【０１６６】
以下、無声音合成部１３８における無声音合成処理を説明する。
【０１６７】
ホワイトノイズ発生部１４３からの時間軸上のホワイトノイズ信号波形を窓かけ処理部１４４に送って、所定の長さ（例えば２５６サンプル）で適当な窓関数（例えばハミング窓）により窓かけをし、ＳＴＦＴ処理部１４５によりＳＴＦＴ（ショートタームフーリエ変換）処理を施すことにより、ホワイトノイズの周波数軸上のパワースペクトルを得る。このＳＴＦＴ処理部１４５からのパワースペクトルをバンド振幅処理部１４６に送り、上記ＵＶ（無声音）とされたバンドについて上記振幅｜Ａm ｜UVを乗算し、他のＶ（有声音）とされたバンドの振幅を０にする。このバンド振幅処理部１４６には上記振幅データ、ピッチデータ、Ｖ／ＵＶ判別データが供給されている。
【０１６８】
バンド振幅処理部１４６からの出力は、ＩＳＴＦＴ処理部１４７に送られ、位相は元のホワイトノイズの位相を用いて逆ＳＴＦＴ処理を施すことにより時間軸上の信号に変換する。ＩＳＴＦＴ処理部１４７からの出力は、パワー分布整形部１５６を介し、後述する乗算部１５７を介して、オーバーラップ加算部１４８に送られ、時間軸上で適当な（元の連続的なノイズ波形を復元できるように）重み付けをしながらオーバーラップ及び加算を繰り返し、連続的な時間軸波形を合成する。このオーバーラップ加算部１４８からの出力信号が上記加算部１４１に送られる。
【０１６９】
ブロック内のバンドの少なくとも１つがＶ（有声音）の場合には、上述したような処理が各合成部１３７、１３８にて行われるわけであるが、ブロック内の全バンドがＵＶ（無音声）と判別されたときには、切換スイッチ４４が被選択端子ｂ側に切換接続され、ピッチ情報の代わりに無声音信号の時間波形に関する情報が逆ベクトル量子化部１５２に送られる。
【０１７０】
すなわち、逆ベクトル量子化部１５２には、上記図４のベクトル量子化部１２７からのデータに相当するデータが供給される。これを逆ベクトル量子化することにより、上記無音声信号波形の特徴量抽出データが取り出される。
【０１７１】
ここで、ＩＳＴＦＴ処理部１４７からの出力は、パワー分布整形部１５６により時間軸方向のエネルギ分布の整形処理を行った後、乗算部１５７に送られている。この乗算部１５７では、上記逆ベクトル量子化部１５２からスムージング部（スムージング処理部）１５３を介して得られた信号と乗算されている。なお、スムージング部１５３でスムージング処理を施すことで、耳障りな急激なゲイン変化を抑えることができる。
【０１７２】
以上のようにして合成された無声音信号が無声音合成部１３８から取り出され、上記加算部１４１に送られて、有声音合成部１３７からの信号と加算され、出力端子１４２よりＭＢＥ合成出力としてのＬＰＣ残差信号が取り出される。
【０１７３】
このＬＰＣ残差信号が、上記図１４の合成フィルタ３５に送られることにより、最終的な再生音声信号が得られるわけである。
【０１７４】
この音声信号再生装置１は、図示しない制御部の制御に応じて、上記変更符号化パラメータ算出部３に変更符号化パラメータを算出させ、この変更符号化パラメータを用いて元の音声信号の時間軸を圧縮伸長した音声を合成している。
この場合、変更符号化パラメータ算出部３からの上記mod_ｌsp[ｍ][ｉ]は、ＬＳＰ逆ベクトル量子化回路３２の出力の代わりに使用される。上記mod_ｌsp[ｍ][ｉ]を本来の逆ベクトル量子化値の代わりに使用する。上記mod_ｌsp[ｍ][ｉ]は、ＬＳＰ補間回路３３に送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路３４でＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータが合成フィルタ３５に送られる。
【０１７５】
また、データ数変換回路１３６の出力又は入力の代わりに上記mod_ａm[ｍ][ｌ]が、端子４３にはmod_ｐch[ｍ]が、端子４６には上記mod_ｖｕv[ｍ]が供給される。
【０１７６】
上記mod_ａm[ｍ][ｌ]は、スペクトルエンベロープのデータとして、ハーモニクス／ノイズ合成回路４５に送られている。この合成回路４５には、端子４３からのmod_ｐch[ｍ]が判別データに応じて切換スイッチ４４により供給されており、また、端子４６からの上記mod_ｖｕv[ｍ]も供給されている。
【０１７７】
合成回路４５は、上述したような図１５に示すような構成により、上記変更符号化パラメータを用いて、元の音声信号の時間軸を圧縮伸長した音声を合成し、端子３７から導出している。
【０１７８】
このように、この音声信号再生装置１は、変更符号化パラメータmod_＊[ｍ]の配列（０≦ｍ＜Ｎ2）を本来の配列＊[ｎ]（０≦ｎ＜Ｎ1）のかわりにデコードしている。デコード時のフレーム間隔は従来通り例えば２０ｍsecのように固定である。このため、Ｎ2＜Ｎ1の時には、時間軸圧縮となり、スピードアップとなる。他方、Ｎ2＞Ｎ1の時には、時間軸伸長となり、スピードダウンとなる。
【０１７９】
上記時間軸変更を行っても、瞬時スペクトル、ピッチが不変である為、０．５≦spd≦２程度以上の広い範囲の変更を行っても劣化が少ない。
【０１８０】
この方式では、最終的に得られたパラメータ列を本来のスペーシング（２０ｍsec）に並べてデコードするため、任意のスピードコントロール（上下）が簡単に実現できる。又、スピードアップとスピードダウンが区別なしに、同一の処理で可能である。
【０１８１】
このため、例えば固体録音した内容をリアルタイムの倍のスピードで再生できる。このとき、再生スピードを高速にしてもピッチ、音韻が不変であるため、かなりの高速再生を行っても内容を聞きとることができる。また、音声コーデックとして、上記符号励起線形予測（ＣＥＬＰ）符号化を用いたときに必要とされたデコード出力後の演算処理のような付加的な処理を不要とする。
【０１８２】
なお、上記第１実施例では、変更符号化パラメータ算出部３を復号化部６と切り離した構成としたが、復号化部６内に設けてもよい。
【０１８３】
なお、上記第１実施例の音声信号再生装置１の変更符号化パラメータ算出部３が行うパラメータ算出において、ａmに関する補間処理は、ベクトル量子化の値、もしくはベクトル量子化された値を逆ベクトル量子化して得られた値に対して行われる。
【０１８４】
次に、本発明に係る音声信号の伝送方法に関する実施例を第２実施例として説明する。この第２実施例は、図１６に示すように、入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化することにより符号化パラメータを求め、この符号化パラメータを補間処理して求めた変更符号化パラメータを伝送する送信側５１と、上記変更符号化パラメータを受信して、サイン波及びノイズを合成する受信側５６とからなる音声信号伝送装置５０である。
【０１８５】
すなわち、この音声信号伝送装置５０は、送信側５１に、入力端子５２から入力された入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化することにより符号化パラメータを抽出する符号化部５３と、上記符号化パラメータを補間処理して変更符号化パラメータを求める補間部５４と、上記変更符号化パラメータを送信する送信部５５とを備え、また、受信側５６に、受信部５７と、上記変更符号化パラメータを補間する補間部５８と、補間されたパラメータに基づいてサイン波及びノイズを合成することにより出力端子６０から合成音声信号を出力する復号化部５９とを備える。
【０１８６】
符号化部５３と復号化部５９の基本的な動作は、上記第１実施例の音声信号再生装置のそれと同様であるので、ここでは詳細な説明を省略する。
【０１８７】
送信側５１の動作について図１７のフローチャートを参照しながら説明する。なお、このフローチャートは、符号化部５３の符号化処理と、補間部５４の補間処理とをまとめて示している。
【０１８８】
符号化部５３は、ステップＳ３１及びステップＳ３３に示すように、ＬＳＰ、ピッチＰｃｈ、Ｖ／ＵＶ、ａｍからなる符号化パラメータを抽出している。特に、ＬＳＰについては、ステップＳ３１に示すように補間部５４で補間，リアレンジしてから、ステップＳ３２に示すように量子化し、また、ピッチＰｃｈ、Ｖ／ＵＶ、ａｍについては、ステップＳ３４で補間，リアレンジしてから、ステップＳ３５に示すように量子化している。これらの量子化データは、送信部５５を介して受信側５６に伝送される。
【０１８９】
受信側５６で受信部５７を介して受け取った上記量子化データは、補間部５８に供給され、ステップＳ３６に示すようにパラメータの補間，リアレンジが行われた後、ステップＳ３７に示すように復号化部５９で合成される。
【０１９０】
このように、音声信号伝送装置５０は、時間軸圧縮によるスピードアップについては、パラメータの補間を行い、伝送時におけるパラメータのフレームインターバルを変更している。なお、受信時に例えば２０msecのような固定フレームインターバルにおけるパラメータを求めることによって再生処理を行っているため、スピードコントロールのためのアルゴリズムが即ビットレートの変更に使える。
【０１９１】
すなわち、スピードコントロールとして上記パラメータ補間を使う時は、パラメータ補間はデコード内で行われることを想定しているが、もしこの処理をエンコーダで行い時間軸圧縮した（間引いた）データをエンコードし、デコーダで時間軸伸長（補間）を行えば、spdの割合で伝送ビットレートを調節できる。
【０１９２】
例えば、１．９７５ｋｂｐｓの伝送レートの場合、spd＝０．５とセットして倍速にしてエンコードすると、本来１０秒のスピードが５秒のものとして、エンコードされるので、伝送レートは１．９７５×０．５ｋｂｐｓとなる。
【０１９３】
また、図１８に示すように、符号化部５３で得られた図１８の（Ａ）に示す符号化パラメータを、補間部５４で図１８の（Ｂ）に示すように、例えば３０msecのように、任意の間隔となるように補間，リアレンジしなおしてから量子化し、受信側５６の補間部５８で図１８の（Ｃ）に示すように２０msecとなるようにパラメータの補間，リアレンジを行い、復号化部５９で合成している。
【０１９４】
デコーダ内に同様のスキームを持っていれば、スピードを元に戻して（オリジナルのスピード）で再生することもできるし、高速（低速）のまま聞くことももちろんできる。すなわち、スピードコントロールを可変ビットレートコーデックとして使うこともできる。
【０１９５】
【発明の効果】
本発明に係る音声信号の再生方法は、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える。
【０１９６】
また、本発明に係る音声信号の再生装置は、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える。
【図面の簡単な説明】
【図１】本発明の第１実施例となる音声信号再生装置の概略構成を示すブロック図である。
【図２】上記音声信号再生装置の概略構成を示すブロック図である。
【図３】上記音声信号再生装置の符号化部を示すブロック図である。
【図４】上記符号化部のハーモニクス／ノイズ符号化回路の具体例としてのマルチバンドエクサイテイション（ＭＢＥ）分析回路の構成を示すブロック図である。
【図５】ベクトル量子化器の構成を説明するための図である。
【図６】入力ｘの平均を有声音、無声音、有声音と無声音をまとめたものについてそれぞれ示すグラフである。
【図７】重みＷ’／‖ｘ‖の平均を有声音、無声音、有声音と無声音をまとめたものについてそれぞれ示すグラフである。
【図８】ベクトル量子化に用いられるコードブックについて、有声音、無声音、有声音と無声音をまとめた場合のそれぞれのトレーニングの様子を示すグラフである。
【図９】上記音声信号再生装置に用いられる変更符号化パラメータ算出回路のおおまかな動作を示すフローチャートである。
【図１０】変更符号化パラメータ算出回路で得られる変更符号化パラメータを時間軸上で表現するための模式図である。
【図１１】上記音声信号再生装置に用いられる変更符号化パラメータ算出回路の詳細な動作を示すフローチャートである。
【図１２】上記変更符号化パラメータ算出部の具体的動作を説明するための模式図である。
【図１３】上記変更符号化パラメータ算出部の他の具体的動作を説明するための模式図である。
【図１４】上記音声信号再生装置に用いる復号化部の概略構成を示すブロック図である。
【図１５】上記復号化部に用いられるハーモニクス／ノイズ合成回路の具体例としてのマルチバンドエクサイテイション（ＭＢＥ）合成回路の構成を示すブロック図である。
【図１６】本発明の第２実施例となる音声信号伝送装置の概略構成を示すブロック図である。
【図１７】上記音声信号伝送装置の送信側の動作を示すフローチャートである。
【図１８】上記音声信号伝送装置の動作を説明するための模式図である。
【符号の説明】
１ 音声信号再生装置
２ 符号化部
３ 変更符号化パラメータ算出部
４ 周期変更回路
５ 補間処理回路
６ 復号化部
【産業上の利用分野】
本発明は、入力音声信号をフレーム単位で区分し、符号化して求めた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生方法及び再生装置に関する。
【０００２】
【従来の技術】
オーディオ信号（音声信号や音響信号を含む）の時間領域や周波数領域における統計的性質と人間の聴感上の特性を利用して信号圧縮を行うような符号化方法が種々知られている。この符号化方法としては、大別して時間領域での符号化、周波数領域での符号化、分析合成符号化等が挙げられる。
【０００３】
【発明が解決しようとする課題】
ところで、符号励起線形予測（ＣＥＬＰ：Code Excited Linear Prediction ）符号化に代表されるような上記時間軸上の処理による音声高能率符号化方法では、時間軸のスピード変換（Modify）処理が困難であった。これは、デコーダ出力の後にかなりの演算を行う必要があったためである。
【０００４】
また、デコードした線形領域でスピードコントロールを行うため、例えばビットレートの変換などには使えなかった。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える音声信号の再生方法及び再生装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
本発明に係る音声信号の再生方法は、上記課題を解決するために、入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生方法において、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める工程と、この変更符号化パラメータに基づいて、少なくともサイン波を合成する工程とを有し、上記変更符号化パラメータを求める工程は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする。
【０００７】
本発明に係る音声信号の再生装置は、上記課題を解決するために、入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生装置において、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める手段と、この変更符号化パラメータに基づいて、少なくともサイン波を合成する手段とを有し、上記変更符号化パラメータを求める手段は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする。
【０００９】
【作用】
入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化して求めた符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて少なくともサイン波を合成して音声信号を再生するので、任意のレートのスピードコントロールを可能とする。
【００１０】
【実施例】
以下、本発明に係る音声信号の再生方法、再生装置を適用できるいくつかの実施例について図面を参照しながら説明する。
【００１１】
先ず、本発明に係る音声信号の再生方法、再生装置に関する実施例を第１実施例として図１に示す。この第１実施例は、入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化して求めた符号化パラメータに基づいて、サイン波及びノイズを合成することにより音声信号を再生する音声信号再生装置１である。
【００１２】
特に、この音声信号再生装置１は、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて、サイン波及びノイズを合成している。なお、ここでは、上記変更符号化パラメータに基づいてサイン波及びノイズを合成しているが、少なくともサイン波を合成するだけでもよい。
【００１３】
この音声信号再生装置１は、入力端子１０から入力された音声信号をフレーム単位で区分しこのフレーム単位で符号化して線スペクトル対（ＬＳＰ）パラメータや、ピッチや、有声音（Ｖ）／無声音（ＵＶ）や、スペクトル振幅Ａｍのような符号化パラメータを出力する符号化部２と、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める変更符号化パラメータ算出部３と、上記変更符号化パラメータに基づいてサイン波及びノイズを合成し、出力端子３７から合成音声信号を出力する復号化部６とを備えてなる。ここで、符号化部２と、変更符号化パラメータ算出部３と、復号化部６は、図示しない制御部により、制御される。
【００１４】
特に、この音声信号再生装置１の変更符号化パラメータ算出部３は、図２に示すように、所定フレーム毎に得られる上記符号化パラメータの時間軸を圧縮伸張して上記パラメータの出力周期を変更する周期変更回路４と、この周期変更されたパラメータを補間処理して上記所定フレーム毎の時刻に対応する変更符号化パラメータとする補間処理回路５とからなる。なお、この変更符号化パラメータ算出部３については後述する。
【００１５】
先ず、符号化部２について説明するが、この符号化部２と復号化部６では、短期予測残差、例えばＬＰＣ残差（線形予測残差）を、ハーモニクスコーディングとノイズで表現する、あるいはマルチバンド励起（ＭＢＥ）符号化あるいはＭＢＥ分析する。
【００１６】
従来の符号励起線形予測（ＣＥＬＰ）符号化においては、ＬＰＣ残差を直接時間波形としてベクトル量子化していたが、符号化部２では、残差をハーモニクスコーディングやＭＢＥ分析で符号化するため、少ないビット数でハーモニクスのスペクトルエンベロープの振幅をベクトル量子化しても比較的滑らかな合成波形が得られ、ＬＰＣ合成波形フィルタ出力も非常に聴きやすい音質となる。なお、上記スペクトルエンベロープの振幅の量子化には、本件発明者等が先に提案した特開平６−５１８００号公報に記載の次元変換あるいはデータ数変換の技術を用い、一定の次元数にしてベクトル量子化を行っている。
【００１７】
図３に示す符号化部において、入力端子１０に供給された音声信号は、フィルタ１１にて不要な帯域の信号を除去するフィルタ処理が施された後、ＬＰＣ（線形予測符号化）分析回路１２及び逆フィルタリング回路２１に送られる。
【００１８】
ＬＰＣ分析回路１２は、入力信号波形の２５６サンプル程度の長さを１ブロックとしてハミング窓をかけて、自己相関法により線形予測係数、いわゆるαパラメータを求める。データ出力の単位となるフレーミングの間隔は、１６０サンプル程度とする。サンプリング周波数ｆｓが例えば８ｋHzのとき、１フレーム間隔は１６０サンプルで２０ｍsec となる。
【００１９】
ＬＰＣ分析回路１２からのαパラメータは、α→ＬＳＰ変換回路１３に送られて、線スペクトル対（ＬＳＰ）パラメータに変換される。これは、直接型のフィルタ係数として求まったαパラメータを、例えば１０個、すなわち５対のＬＳＰパラメータに変換する。変換は例えばニュートン−ラプソン法等を用いて行う。このＬＳＰパラメータに変換するのは、αパラメータよりも補間特性に優れているからである。
【００２０】
α→ＬＳＰ変換回路１３からのＬＳＰパラメータは、ＬＳＰベクトル量子化器１４によりベクトル量子化される。このとき、フレーム間差分をとってからベクトル量子化してもよい。あるいは、複数フレーム分をまとめてマトリクス量子化してもよい。ここでの量子化では、２０ｍsec を１フレームとし、２０ｍsec 毎に算出されるＬＳＰパラメータをベクトル量子化している。
【００２１】
このＬＳＰベクトル量子化器１４からの量子化出力、すなわちＬＳＰベクトル量子化のインデクスは、端子１５を介して取り出され、また量子化済みのＬＳＰベクトルは、ＬＳＰ補間回路１６に送られる。
【００２２】
ＬＳＰ補間回路１６は、上記２０ｍsec 毎にベクトル量子化されたＬＳＰのベクトルを補間し、８倍のレートにする。すなわち、２．５ｍsec 毎にＬＳＰベクトルが更新されるようにする。これは、残差波形をＭＢＥ符号化復号化方法により分析合成すると、その合成波形のエンベロープは非常になだらかでスムーズな波形になるため、ＬＰＣ係数が２０ｍsec 毎に急激に変化すると、異音を発生することがあるからである。すなわち、２．５ｍsec 毎にＬＰＣ係数が徐々に変化してゆくようにすれば、このような異音の発生を防ぐことができる。
【００２３】
このような補間が行われた２．５ｍsec 毎のＬＳＰベクトルを用いて入力音声の逆フィルタリングを実行するために、ＬＳＰ→α変換回路１７により、ＬＳＰパラメータを例えば１０次程度の直接型フィルタの係数であるαパラメータに変換する。このＬＳＰ→α変換回路１７からの出力は、上記逆フィルタリング回路２１に送られ、この逆フィルタリング回路２１では、２．５ｍsec 毎に更新されるαパラメータにより逆フィルタリング処理を行って、滑らかな出力を得るようにしている。この逆フィルタリング回路２１からの出力は、ハーモニクス／ノイズ符号化回路２２、具体的には例えばマルチバンド励起（ＭＢＥ）分析回路、に送られる。
【００２４】
ハーモニクス／ノイズ符号化回路あるいはＭＢＥ分析回路２２では、逆フィルタリング回路２１からの出力を、例えばＭＢＥ分析と同様の方法で分析する。すなわち、ピッチ検出、各ハーモニクスの振幅Ａｍの算出、有声音（Ｖ）／無声音（ＵＶ）の判別を行い、ピッチによって変化するハーモニクスの振幅Ａｍの個数を次元変換して一定数にしている。なお、ピッチ検出には、後述するように、入力されるＬＰＣ残差の自己相関を用いている。
【００２５】
この回路２２として、マルチバンドエクサイテイション（ＭＢＥ）符号化の分析回路の具体例について、図４を参照しながら説明する。
【００２６】
この図４に示すＭＢＥ分析回路においては、同時刻（同じブロックあるいはフレーム内）の周波数軸領域に有声音（Voiced）部分と無声音（Unvoiced）部分とが存在するという仮定でモデル化している。
【００２７】
図４の入力端子１１１には、上記逆フィルタリング回路２１からのＬＰＣ残差あるいは線形予測残差が供給されており、このＬＰＣ残差の入力に対してＭＢＥ分析符号化処理を施すわけである。
【００２８】
入力端子１１１から入力されたＬＰＣ残差は、ピッチ抽出部１１３、窓かけ処理部１１４、及び後述するサブブロックパワー計算部１２６にそれぞれ送られる。
【００２９】
ピッチ抽出部１１３では、入力がすでにＬＰＣ残差となっているので、この残差の自己相関の最大値を検出することにより、ピッチ検出が行える。このピッチ抽出部１１３ではオープンループによる比較的ラフなピッチのサーチが行われ、抽出されたピッチデータは高精度（ファイン）ピッチサーチ部１１６に送られて、クローズドループによる高精度のピッチサーチ（ピッチのファインサーチ）が行われる。
【００３０】
窓かけ処理部１１４では、１ブロックＮサンプルに対して所定の窓関数、例えばハミング窓をかけ、この窓かけブロックを１フレームＬサンプルの間隔で時間軸方向に順次移動させている。窓かけ処理部１１４からの時間軸データ列に対して、直交変換部１１５により例えばＦＦＴ（高速フーリエ変換）等の直交変換処理が施される。
【００３１】
サブブロックパワー計算部１２６では、ブロック内の全バンドが無声音（ＵＶ）と判別されたときに、該ブロックの無声音信号の時間波形のエンベロープを示す特徴量を抽出する処理が行われる。
【００３２】
高精度（ファイン）ピッチサーチ部１１６には、ピッチ抽出部１１３で抽出された整数（インテジャー）値の粗（ラフ）ピッチデータと、直交変換部１１５により例えばＦＦＴされた周波数軸上のデータとが供給されている。この高精度ピッチサーチ部１１６では、上記粗ピッチデータ値を中心に、0.２〜0.５きざみで±数サンプルずつ振って、最適な小数点付き（フローティング）のファインピッチデータの値へ追い込む。このときのファインサーチの手法として、いわゆる合成による分析 (Analysis by Synthesis)法を用い、合成されたパワースペクトルが原音のパワースペクトルに最も近くなるようにピッチを選んでいる。
【００３３】
すなわち、上記ピッチ抽出部１１３で求められたラフピッチを中心として、例えば0.25きざみで上下に数種類ずつ用意する。これらの複数種類の微小に異なるピッチの各ピッチに対してそれぞれエラー総和値Σεm を求める。この場合、ピッチが定まるとバンド幅が決まり、周波数軸上データのパワースペクトルと励起信号スペクトルとを用いて上記エラーεm を求め、その全バンドの総和値Σεm を求めることができる。このエラー総和値Σεm を各ピッチ毎に求め、最小となるエラー総和値に対応するピッチを最適のピッチとして決定するわけである。以上のようにして高精度ピッチサーチ部で最適のファイン（例えば 0.25 きざみ）ピッチが求められ、この最適ピッチに対応する振幅｜Ａm ｜が決定される。このときの振幅値の計算は、有声音の振幅評価部１１８Ｖにおいて行われる。
【００３４】
以上ピッチのファインサーチの説明においては、全バンドが有声音（Voiced）の場合を想定しているが、上述したようにＭＢＥ分析合成系においては、同時刻の周波数軸上に無声音（Unvoiced）領域が存在するというモデルを採用していることから、上記各バンド毎に有声音／無声音の判別を行うことが必要とされる。
【００３５】
上記高精度ピッチサーチ部１１６からの最適ピッチ及び振幅評価部（有声音）１１８Ｖからの振幅｜Ａm ｜のデータは、有声音／無声音判別部１１７に送られ、上記各バンド毎に有声音／無声音の判別が行われる。この判別のためにＮＳＲ（ノイズｔｏシグナル比）を利用する。
【００３６】
ところで、上述したように基本ピッチ周波数で分割されたバンドの数（ハーモニックスの数）は、声の高低（ピッチの大小）によって約８〜６３程度の範囲で変動するため、各バンド毎のＶ／ＵＶフラグの個数も同様に変動してしまう。そこで、本実施例においては、固定的な周波数帯域で分割した一定個数のバンド毎にＶ／ＵＶ判別結果をまとめる（あるいは縮退させる）ようにしている。具体的には、音声帯域を含む所定帯域（例えば０〜４０００Hz）をＮB 個（例えば１２個）のバンドに分割し、各バンド内の上記ＮＳＲ値に従って、例えば重み付き平均値を所定の閾値Th2 で弁別して、当該バンドのＶ／ＵＶを判断している。
【００３７】
次に、無声音の振幅評価部１１８Ｕには、直交変換部１１５からの周波数軸上データ、ピッチサーチ部１１６からのファインピッチデータ、有声音振幅評価部１１８Ｖからの振幅｜Ａm ｜のデータ、及び上記有声音／無声音判別部１１７からのＶ／ＵＶ（有声音／無声音）判別データが供給されている。この振幅評価部（無声音）１１８Ｕでは、有声音／無声音判別部１１７において無声音（ＵＶ）と判別されたバンドに関して、再度振幅を求めている。すなわち振幅再評価を行っている。なお、振幅評価部１１８Ｕでは、有声音（Ｖ）と判別されたバンドに関しては、有声音の振幅評価部１１８Ｖから入力された値をそのまま出力している。
【００３８】
この振幅評価部（無声音）１１８Ｕからのデータは、データ数変換（一種のサンプリングレート変換）部１１９に送られる。このデータ数変換部１１９は、上記ピッチに応じて周波数軸上での分割帯域数が異なり、データ数（特に振幅データの数）が異なることを考慮して、一定の個数にするためのものである。すなわち、例えば有効帯域を３４００ｋHzまでとすると、この有効帯域が上記ピッチに応じて、８バンド〜６３バンドに分割されることになり、これらの各バンド毎に得られる上記振幅｜Ａm ｜（ＵＶバンドの振幅｜Ａm ｜UVも含む）データの個数ｍMX＋１も８〜６３と変化することになる。このためデータ数変換部１１９では、この可変個数ｍMX＋１の振幅データを一定個数Ｍ（例えば４４個）のデータに変換している。
【００３９】
ここで、データ数変換部１１９においては、例えば、周波数軸上の有効帯域１ブロック分の振幅データに対して、ブロック内の最後のデータからブロック内の最初のデータまでの値を補間するようなダミーデータを付加してデータ個数をＮF 個に拡大した後、帯域制限型のＯS 倍（例えば８倍）のオーバーサンプリングを施すことによりＯS 倍の個数の振幅データを求め、このＯS 倍の個数（（ｍMX＋１）×ＯS 個）の振幅データを直線補間してさらに多くのＮM 個（例えば２０４８個）に拡張し、このＮM 個のデータを間引いて上記一定個数Ｍ（例えば４４個）のデータに変換している。
【００４０】
このデータ数変換部１１９からのデータ（上記一定個数Ｍ個の振幅データ）が上記ベクトル量子化器２３に送られて、Ｍ個のデータから成るベクトルとされるか、あるいは所定個数のデータ毎にまとめられてベクトルとされ、ベクトル量子化が施される。
【００４１】
高精度のピッチサーチ部１１６からのピッチデータについては、上記切換スイッチ２７の被選択端子ａを介して出力端子２８に送っている。これは、ブロック内の全バンドがＵＶ（無声音）となってピッチ情報が不要となる場合に、無声音信号の時間波形を示す特徴量の情報をピッチ情報と切り換えて送っているものであり、本件発明者等が特願平５−１８５３２５号の明細書及び図面において開示した技術である。
【００４２】
なお、これらの各データは、上記Ｎサンプル（例えば２５６サンプル）のブロック内のデータに対して処理を施すことにより得られるものであるが、ブロックは時間軸上を上記Ｌサンプルのフレームを単位として前進することから、伝送するデータは上記フレーム単位で得られる。すなわち、上記フレーム周期でピッチデータ、Ｖ／ＵＶ判別データ、振幅データが更新されることになる。また、上記有声音／無声音判別部１１７からのＶ／ＵＶ判別データについては、上述したように、必要に応じて１２バンド程度に低減（縮退）したデータを用いてもよく、全バンド中で１箇所以下の有声音（Ｖ）領域と無声音（ＵＶ）領域との区分位置を表すデータを用いるようにしてもよい。あるいは、全バンドをＶ又はＵＶのどちらかで表現してもよく、また、フレーム単位のＶ／ＵＶ判別としてもよい。
【００４３】
ここで、ブロック全体がＵＶ（無声音）と判別された場合には、ブロック内の時間波形を表す特徴量を抽出するために、１ブロック（例えば２５６サンプル）を、複数個（８個）の小ブロック（サブブロック、例えば３２サンプル）に分割して、サブブロックパワー計算部１２６に送っている。
【００４４】
サブブロックパワー計算部１２６においては、各サブブロック毎の１サンプル当りの平均パワー、あるいはいわゆる平均ＲＭＳ（Root Mean Square）値についての、ブロック内全サンプル（例えば２５６サンプル）の平均パワーあるいは平均ＲＭＳ値に対する割合（比率、レシオ）を算出している。
【００４５】
すなわち、例えばｋ番目のサブブロックの平均パワーを求め、次に１ブロック全体の平均パワーを求めた後、この１ブロックの平均パワーと上記ｋ番目のサブブロックの平均パワーｐ(k) との比の平方根を算出する。
【００４６】
このようにして得られた平方根値を、所定次元のベクトルとみなし、次のベクトル量子化部１２７においてベクトル量子化を行う。
【００４７】
このベクトル量子化部１２７では、例えば、８次元８ビット（コードブックサイズ＝２５６）のストレートベクトル量子化を行う。このベクトル量子化の出力インデクス（代表ベクトルのコード）UV_Eを、切換スイッチ２７の被選択端子ｂに送っている。この切換スイッチ２７の被選択端子ａには、上記高精度ピッチサーチ部１１６からのピッチデータが送られており、切換スイッチ２７からの出力は、出力端子２８に送られている。
【００４８】
切換スイッチ２７は、有声音／無声音判別部１１７からの判別出力信号により切換制御されるようになっており、通常の有声音伝送時、すなわち上記ブロック内の全バンドの内の１つでもＶ（有声音）と判別されたときには被選択端子ａに、ブロック内の全バンドがＵＶ（無声音）と判別されたときには被選択端子ｂに、それぞれ切換接続される。
【００４９】
従って、上記サブブロック毎の正規化された平均ＲＭＳ値のベクトル量子化出力は、本来はピッチ情報を伝送していたスロットに入れ込んで伝送されることになる。すなわち、ブロック内の全バンドがＵＶ（無声音）と判別されたときにはピッチ情報は不要であり、上記有声音／無声音判別部１１７からのＶ／ＵＶ判別フラグを見て、全てＵＶのときに限って、ベクトル量子化出力インデクスUV_Eをピッチ情報の代わりに伝送するようにしている。
【００５０】
次に、図３に戻って、ベクトル量子化器２３におけるスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化について説明する。
【００５１】
ベクトル量子化器２３は、Ｌ次元、例えば４４次元の２ステージ構成とする。
【００５２】
すなわち、４４次元でコードブックサイズが３２のベクトル量子化コードブックからの出力ベクトルの和に、ゲインｇi を乗じたものを、４４次元のスペクトルエンベロープベクトルｘの量子化値として使用する。これは、図５に示すように、２つのシェイプコードブックをＣＢ０、ＣＢ１とし、その出力ベクトルをｓ 0i、ｓ 1j、ただし０≦ｉ，ｊ≦３１、とする。また、ゲインコードブックＣＢｇの出力をｇl 、ただし０≦ｌ≦３１、とする。ｇl はスカラ値である。この最終出力は、ｇi（ｓ 0i＋ｓ 1j） となる。
【００５３】
ＬＰＣ残差について上記ＭＢＥ分析によって得られたスペクトルエンベロープＡｍを一定次元に変換したものをｘとする。このとき、ｘをいかに効率的に量子化するかが重要である。
【００５４】
ここで、量子化誤差エネルギＥを、
【００５５】
現フレームのＬＰＣ分析結果によるαパラメータを、αi （１≦ｉ≦Ｐ）として、
【００５６】
【数１】
の周波数特性からＬ次元、例えば４４次元の各対応する点の値をサンプルしたものである。
【００５８】
算出手順としては、一例として、１、α1、α2、・・・、αp に０詰めして、すなわち、１、α1、α2、・・・、αp 、０、０、・・・、０として、例えば２５６点のデータにする。その後、２５６点ＦＦＴを行い、（ｒe 2＋Ｉm 2）1/2 を０〜πに対応する点に対して算出して、その逆数をとる。それをＬ点、すなわち例えば４４点に間引いたものを対角要素とする行列を、
【００５９】
【数２】
とする。
【００６１】
聴覚重み付け行列Ｗは、
【００６２】
【数３】
とする。この（３）式で、αi は入力のＬＰＣ分析結果である。また、λa、λbは定数であり、一例として、λa＝０．４、λb＝０．９が挙げられる。
【００６４】
行列あるいはマトリクスＷは、上記（３）式の周波数特性から算出できる。一例として、１、α1λb、α2λb2、・・・、αpλbp、０、０、・・・、０として２５６点のデータとしてＦＦＴを行い、０以上π以下の区間に対して（ｒe 2[ｉ]＋Ｉm 2[ｉ]）1/2 、０≦ｉ≦１２８、を求める。次に、１、α1λa、α2λa2 、・・・、αpλap 、０、０、・・・、０として分母の周波数特性を２５６点ＦＦＴで０〜πの区間を１２８点で算出する。これを（ｒe'2[ｉ]＋Ｉm'2[ｉ]）1/2 、０≦ｉ≦１２８、とする。
【００６５】
【数４】
として、上記（３）式の周波数特性が求められる。
【００６７】
これをＬ次元、例えば４４次元ベクトルの対応する点について、以下の方法で求める。より正確には、直線補間を用いるべきであるが、以下の例では最も近い点の値で代用している。
【００６８】
すなわち、
ω[ｉ]＝ω0［nint(128ｉ/L)］ １≦ｉ≦Ｌ
ただし、nint（ｘ）は、ｘに最も近い整数を返す関数
である。
【００６９】
また、上記Ｈに関しても同様の方法で、h(1)、h(2)、・・・、h(L)を求めている。すなわち、
【００７０】
【数５】
となる。
【００７２】
ここで、他の例として、ＦＦＴの回数を減らすのに、Ｈ(ｚ)Ｗ(ｚ)を先に求めてから、周波数特性を求めてもよい。すなわち、
【００７３】
【数６】
この（５）式の分母を展開した結果を、
【００７５】
【数７】
とする。ここで、１、β1、β2、・・・、β2p、０、０、・・・、０として、例えば２５６点のデータにする。その後、２５６点ＦＦＴを行い、振幅の周波数特性を、
【００７７】
【数８】
とする。これより、
【００７９】
【数９】
これをＬ次元ベクトルの対応する点について求める。上記ＦＦＴのポイント数が少ない場合は、直線補間で求めるべきであるが、ここでは最寄りの値を使用している。すなわち、
【００８１】
【数１０】
である。これを対角要素とする行列をＷ’とすると、
【００８３】
【数１１】
となる。（６）式は上記（４）式と同一のマトリクスとなる。
【００８５】
このマトリクス、すなわち重み付き合成フィルタの周波数特性を用いて、上記（１）を書き直すと、
【００８６】
【数１２】
となる。
【００８８】
ここで、シェイプコードブックとゲインコードブックの学習法について説明する。
【００８９】
先ず、ＣＢ０に関しコードベクトルｓ 0cを選択する全てのフレームｋに関して歪の期待値を最小化する。そのようなフレームがＭ個あるとして、
【００９０】
【数１３】
を最小化すればよい。この（８）式中で、Ｗ'kはｋ番目のフレームに対する重み、ｘ k はｋ番目のフレームの入力、ｇk はｋ番目のフレームのゲイン、ｓ 1kはｋ番目のフレームについてのコードブックＣＢ１からの出力、をそれぞれ示す。
【００９２】
この（８）式を最小化するには、
【００９３】
【数１４】
【数１５】
次に、ゲインに関しての最適化を考える。
【００９６】
ゲインのコードワードｇc を選択するｋ番目のフレームに関しての歪の期待値Ｊg は、
【００９７】
【数１６】
上記（１１）式及び（１２）式は、シェイプｓ 0i、ｓ 1i及びゲインｇi 、０≦ｉ≦３１の最適なセントロイドコンディション(Centroid Condition)、すなわち最適なデコーダ出力を与えるものである。なお、ｓ 1iに関してもｓ 0iと同様に求めることができる。
【００９９】
次に、最適エンコード条件（Nearest Neighbour Condition ）を考える。
【０１００】
歪尺度の上記（７）式、すなわち、Ｅ＝‖Ｗ'（ｘ−ｇl（ｓ 0i＋ｓ 1j））‖2 を最小化するｓ 0i、ｓ 1jを、入力ｘ、重みマトリクスＷ' が与えられる毎に、すなわち毎フレームごとに決定する。
【０１０１】
本来は、総当り的に全てのｇl （０≦ｌ≦３１）、ｓ 0i （０≦ｉ≦３１）、ｓ 1j （０≦ｊ≦３１）の組み合せの、３２×３２×３２＝３２７６８通りについてＥを求めて、最小のＥを与えるｇl 、ｓ 0i、ｓ 1jの組を求めるべきであるが、膨大な演算量となるので、この符号化部２では、シェイプとゲインのシーケンシャルサーチを行っている。なお、ｓ 0iとｓ 1jとの組み合せについては、総当りサーチを行うものとする。これは、３２×３２＝１０２４通りである。以下の説明では、簡単化のため、ｓ 0i＋ｓ 1jをｓ m と記す。
【０１０２】
上記（７）式は、Ｅ＝‖Ｗ'（ｘ−ｇlｓm）‖2 となる。さらに簡単のため、ｘ w＝Ｗ'ｘ、ｓ w＝Ｗ'ｓ m とすると、
【０１０３】
【数１７】
となる。従って、ｇl の精度が充分にとれると仮定すると、
【０１０５】
【数１８】
という２つのステップに分けてサーチすることができる。元の表記を用いて書き直すと、
【０１０７】
【数１９】
となる。この（１５）式が最適エンコード条件(Nearest Neighbour Condition) である。
【０１０９】
ここで上記（１１）、（１２）式の条件（Centroid Condition）と、（１５）式の条件を用いて、一般化ロイドアルゴリズム（Generalized Lloyd Algorithm:ＧＬＡ）によりコードブック（ＣＢ０、ＣＢ１、ＣＢｇ）を同時にトレーニングできる。
【０１１０】
ところで、図３において、ベクトル量子化器２３は、切換スイッチ２４を介して、有声音用コードブック２５Ｖと、無声音用コードブック２５Ｕとに接続されており、回路２２からのＶ／ＵＶ判別出力に応じて切換スイッチ２４が切換制御されることにより、有声音時には有声音用コードブック２５Ｖを用いたベクトル量子化が、無声音時には無声音用コードブック２５Ｕを用いたベクトル量子化がそれぞれ施されるようになっている。
【０１１１】
このように有声音（Ｖ）／無声音（ＵＶ）の判断によってコードブックを切り換える意味は、上記（１１）、（１２）式の新たなセントロイドの算出において、Ｗ'kとｇl とによる重み付き平均を行っているため、著しく異なるＷ'kとｇl とを同時に平均化してしまうのは好ましくないからである。
【０１１２】
なお、この符号化部２では、Ｗ’として、入力ｘのノルムで割り込んだＷ’を使用している。すなわち、上記（１１）、（１２）、（１５）式において、事前にＷ’にＷ'／‖ｘ‖ を代入して使用している。
【０１１３】
Ｖ／ＵＶでコードブックを切り換える場合は、同様の方法でトレーニングデータを振り分けて各々のトレーニングデータからＶ（有声音）用、ＵＶ（無声音）用のコードブックを作ればよい。
【０１１４】
また、この符号化部２では、Ｖ／ＵＶのビット数を減らすため、単一バンド励起（ＳＢＥ）とし、Ｖの含有率が５割を越える場合は有声音（Ｖ）フレーム、それ以外は無声音（ＵＶ）フレームとしている。
【０１１５】
なお、図６、図７に入力ｘ及び重みＷ'／‖ｘ‖ の平均値を、Ｖ（有声音）のみ、ＵＶ（無声音）のみでまとめたものと、ＶとＵＶとを区別せずにひとまとめにしたものとを示す。
【０１１６】
図６より、ｘ自体のｆ軸上のエネルギ分布は、Ｖ、ＵＶで大きく差はなく、ゲインの（‖ｘ‖）平均値が大きく異なるのみであるように見える。しかし、図７から明らかなように、ＶとＵＶでは重みの形が異なり、ＶではＵＶに比べより低域にビットアサインを増やすような重みとなっている。これが、ＶとＵＶとを分けてトレーニングすることでより高性能なコードブックが作成される根拠である。
【０１１７】
次に、図８は、Ｖ（有声音）のみ、ＵＶ（無声音）のみ、ＶとＵＶとをまとめたものの３つの例について、それぞれのトレーニングの様子を示している。すなわち、図８の曲線ａがＶのみの場合で終値が３．７２であり、曲線ｂがＵＶのみで終値が７．０１１であり、曲線ｃがＶとＵＶとをまとめたもので終値が６．２５である。
【０１１８】
この図８から明らかなように、ＶとＵＶとの各コードブックのトレーニングを分離することで出力の歪の期待値が減少する。曲線ｂのＵＶのみの場合で若干悪化しているが、Ｖ／ＵＶの頻度としては、Ｖの区間が長いので、トータルとしては改善される。ここで、ＶとＵＶの頻度の一例として、Ｖ及びＵＶのトレーニングデータ長を１としたとき、実測によるとＶのみの割合が０．５３８、ＵＶのみの割合が０．４６２であり、図８の各曲線ａ、ｂの終値より、
３．７２×０．５３８＋７．０１１×０．４６２＝５．２４
がトータルの歪の期待値となり、ＶとＵＶとをまとめてトレーニングする場合の歪の期待値の６．２５に比べて、上記値５．２４は、約０．７６ｄＢの改善がなされたことになる。
【０１１９】
トレーニングの様子から判断すると、前述のように０．７６ｄＢ程度の改善であるが、実際にトレーニングセット外の音声（男女４人ずつ）を処理し、量子化を行わないときとのＳＮＲあるいはＳＮ比をとると、コードブックをＶ、ＵＶに分割することで平均して１．３ｄＢ程度のセグメンタルＳＮＲの向上が確認された。これは、Ｖの比率がＵＶに比べてかなり高いためと考えられる。
【０１２０】
ところで、ベクトル量子化器２３でのベクトル量子化の際の聴覚重み付けに用いられる重みＷ’については、上記（６）式で定義されているが、過去のＷ’も加味して現在のＷ’を求めることにより、テンポラルマスキングも考慮したＷ’が求められる。
【０１２１】
上記（６）式中のwh(1),wh(2),・・・,wh(L)に関して、時刻ｎ、すなわち第ｎフレームで算出されたものをそれぞれwhn(1),whn(2),・・・,whn(L) とする。
【０１２２】
時刻ｎで過去の値を考慮した重みをＡn(i)、１≦ｉ≦Ｌ と定義すると、
【０１２３】
次に、図１に戻り変更符号化パラメータ算出部３について説明する。音声信号再生装置１は、符号化部２が出力した上記符号化パラメータを変更符号化パラメータ算出部３によりスピード変換して変更符号化パラメータを算出し、復号化部６でデコードして、例えば固体録音した内容をリアルタイムの倍のスピードで再生する。このとき、再生スピードを高速にしてもピッチ、音韻が不変であるため、かなりの高速再生を行っても内容を聞きとることができる。
【０１２４】
変更符号化パラメータ算出部３は、上記符号化パラメータをスピード変換しているため、デコーダ出力後の処理が不要で、かつ同様のアルゴリズムで異なるレートでの固定レートに容易に対応することもできる。
【０１２５】
以下、図９及び図１１のフローチャートを参照しながらこの音声信号再生装置１の変更符号化パラメータ算出部３の動作を説明する。変更符号化パラメータ算出部３は、図２を参照して上述したように、周期変更回路４と補間処理回路５からなる。
【０１２６】
先ず、図９のステップＳ１に示すように、周期変更回路４には、入力端子１５，２８，２９，２６を介してＬＳＰ，ピッチ，Ｖ／ＵＶ，Ａｍのような符号化パラメータが供給される。ここで、ピッチをｐch[ｎ]，Ｖ／ＵＶをｖｕv[ｎ]，Ａｍをａm[ｎ][ｌ]，ＬＳＰをｌsp[ｎ][ｉ]とする。また、変更符号化パラメータ算出部３で最終的に算出される変更符号化パラメータをmod_ｐch[ｍ]，mod_ｖｕv[ｍ]，mod_ａm[ｍ][ｌ]，mod_ｌsp[ｍ][ｉ]とする。ｌはハーモニクス数、ｉはＬＳＰ次数である。ｎ，ｍは、時間軸のインデクスに相当するフレームナンバーに対応する。ｎは時間軸変更前、ｍは時間軸変更後である。なお、０≦ｎ＜Ｎ1，０≦ｍ＜Ｎ2であり、ｎ，ｍともに例えば２０msecをフレームインターバルとするフレームのインデクスである。
【０１２７】
上述したようにｌはハーモニクス数であるが、真のハーモニクスの数に対応するａm[ｎ][ｌ]に戻してから実行しても、あるいはデータ数変換で一定の個数のａm[ｎ][ｌ]（ｌ＝０〜４３）の状態で行っても良い。つまり、データ数変換をデコータで解く前でも後でもよい。
【０１２８】
次に、周期変更回路４は、ステップＳ２に示すように、オリジナルの時間長となるフレーム数をＮ1とし、変更後の時間長となるフレーム数をＮ2としてから、ステップＳ３に示すように、Ｎ1の音声をＮ2の音声に時間軸圧縮する。すなわち、周期変更回路４での時間軸圧縮の比をspdとすると、spdをＮ2／Ｎ1として求める。
【０１２９】
次に、補間処理回路５は、ステップＳ４に示すように、時間軸変更後の時間軸のインデクスに相当するフレームナンバーに対応するｍを２とする。
【０１３０】
次に、補間処理回路５はステップＳ５に示すように、二つのフレームｆr0，ｆr1と、該二つのフレームｆr0，ｆr1とｍ／spdとの差left，rightとを求める。上記符号化パラメータのｐch，ｖｕv，ａm，ｌspを＊とするときmod_＊[ｍ]は、
mod_＊[ｍ]＝＊[ｍ／spd] （０≦ｍ＜Ｎ2）
という一般式で表せる。しかし、ｍ／spdは、整数にはならないので、
ｆr0＝L ｍ／spd 」
ｆr1＝ｆ0＋１
の２フレームから補間して、ｍ／spdにおける変更符号化パラメータを作る。ここで、フレームｆr0とｍ／spdとフレームｆr1との間には、図１０に示すような関係、すなわち、
left＝ｍ／spd−ｆr0
right＝ｆr1−ｍ／spd
が成立する。
【０１３１】
この図１０におけるｍ／spdのときの符号化パラメータ、すなわち変更符号化パラメータをステップＳ６に示すように、補間処理によって作ればよい。単純に直線補間により求めると、
mod_＊[ｍ]＝＊[ｆr0]×right＋＊[ｆr1]×left
となる。
【０１３２】
しかし、２つのフレームｆr0，ｆr1間での補間では、それらのフレームが有声音（Ｖ）と，無声音（ＵＶ）というように異なる場合には、上記一般式を適用できない。このため、２つのフレームｆr0，ｆr1間における有声音（Ｖ）と，無声音（ＵＶ）との関係によって、補間処理回路５は、図１１のステップＳ１１以降に示すように、上記符号化パラメータの求め方を変える。
【０１３３】
先ず、ステップＳ１１に示すように２つのフレームｆr0，ｆr1が有声音（Ｖ），有声音（Ｖ）であるか否かを判断する。ここで、２つのフレームｆr0，ｆr1が共に、有声音（Ｖ）であると判断すると、ステップＳ１２に進み、全てのパラメータを線形補間して以下のように表す。
【０１３４】
mod_ｐch[ｍ]＝ｐch[ｆr0]×right＋ｐch[ｆr1]×left
mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]×right＋ａm[ｆr1][ｌ]×left
ただし、０≦ｌ＜Ｌである。ここで、Ｌはハーモニクスとしてとりうる最大の数である。また、ａm[ｎ][ｌ]は、ハーモニクスの存在しない位置では０を入れておく。フレームｆr0とフレームｆr1とで、ハーモニクスの数が異なる時には、余った方のハーモニクスは、相方を０として補間する。または、デコーダ側でデータ数変換器を通す前であれば、０≦ｌ＜ＬのＬ＝４３といった固定の値でもよい。
【０１３５】
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]×right＋ｌsp[ｆr1][ｉ]×left
ただし、０≦ｉ＜Ｉである。ここで、ＩはＬＳＰの次数であり、通常は１０を使用する。
【０１３６】
mod_ｖｕv[ｍ]＝１
ＶＵＶの判定で１は有声音（Ｖ）を、０は無声音（ＵＶ）を意味する。
【０１３７】
次に、ステップＳ１１で２つのフレームｆr0，ｆr1が共に有声音（Ｖ）でないと判断すると、ステップＳ１３に示すような判断、すなわち、２つのフレームｆr0，ｆr1が共に無声音（ＵＶ）であるか否かを判断する。ここで、ＹＥＳ（共に無声音である。）となると、補間処理回路５は、ステップＳ１４に示すように、ｐchを固定値とし、またａmとｌspを線形補間により以下のように求める。
【０１３８】
mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ
このように無声音のときは、Ｐｉｔｃｈの値を例えばＭａｘＰｉｔｃｈ＝１４８のように、最大値等の固定値にはりつける。
【０１３９】
mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]×right＋ａm[ｆr1][ｌ]×left
ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。
【０１４０】
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]×right＋ｌsp[ｆr1][ｉ]×left
ただし、０≦ｉ＜Ｉである。
【０１４１】
mod_ｖｕv[ｍ]＝０
次に、２つのフレームｆr0，ｆr1が共に、無声音でない場合、ステップＳ１５に進み、フレームｆr0が有声音（Ｖ）で，ｆr1が無声音（ＵＶ）であるか否かを判断する。ここでＹＥＳ（フレームｆr0が有声音（Ｖ）で，ｆr1が無声音（ＵＶ）である。）となると、ステップＳ１６に進み、ＮＯ（フレームｆr0が無声音（ＵＶ）であり、ｆr1が有声音（Ｖ）である。）となると、ステップＳ１７に進む。
【０１４２】
ステップＳ１６以降の処理では、二つのフレームｆr0，ｆr1が、例えば有声音（Ｖ），無声音（ＵＶ）のように、異なった場合について説明している。これは、例えば有声音（Ｖ），無声音（ＵＶ）のように、異なった２つのフレームｆr0，ｆr1間でパラメータを補間すると意味のないものになってしまうためである。この場合、補間は行わずに、時刻ｍ／spdに近い方のフレームのパラメータの値を用いる。
【０１４３】
フレームｆr0が有声音（Ｖ），フレームｆr1が無声音（ＵＶ）である場合、ステップ１６に進む。このステップＳ１６では、図１０に示す上記left（＝ｍ／spd−ｆr0）と上記right（＝ｆr1−ｍ／spd）の大きさを比較している。これにより、ｍ／spdに対してどちらのフレームｆr0またはフレームｆr1が近いのかを判断している。そして、上述したように近い方のパラメータの値を用いて変更符号化パラメータを算出する。
【０１４４】
すなわち、ステップＳ１６でＹＥＳを判断すると、上記rightが大きいのであるから、フレームｆr1の方が遠いので、ステップＳ１８に示すように近い方のフレームｆr0側のパラメータを用いて、
mod_ｐch[ｍ]＝ｐch[ｆr0]
mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ] ，（ただし、０≦ｌ＜Ｌである。）
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ] ，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕv[ｍ]＝１
とする。
【０１４５】
また、ステップＳ１６でＮＯを判断すると、left≧rightとなり、フレームｆr1の方が近いので、ステップＳ１９に進み、ピッチを最大値にし、他のパラメータについてはｆr1側のパラメータを用いて、
mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ
mod_ａm[ｍ][ｌ]＝ａm[ｆr1][ｌ] ，（ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。）
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr1][ｉ]，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕv[ｍ]＝０
とする。
【０１４６】
次に、ステップＳ１７では、ステップＳ１５で２つのフレームｆr0，ｆr1が無声音（ＵＶ），有声音（Ｖ）であるという判断を受けて、上記ステップＳ１６と同様の判断を行う。すなわち、この場合も、補間は行わずに、時刻ｍ／spdに近い方のフレームのパラメータの値を用いる。
【０１４７】
ステップＳ１７でＹＥＳを判断すると、ステップＳ２０に示すように、ピッチを最大値にし、他のパラメータについては近い方のフレームｆr0側のパラメータを用いて、
mod_ｐch[ｍ]＝ＭａｘＰｉｔｃｈ
mod_ａm[ｍ][ｌ]＝ａm[ｆr0][ｌ]，（ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。）
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr0][ｉ]，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕv[ｍ]＝０
とする。
【０１４８】
また、ステップＳ１７でＮＯを判断すると、left≧rightとなり、フレームｆr1の方が近いので、ステップＳ２１に進み、ｆr1側のパラメータを用いて、
mod_ｐch[ｍ]＝ｐch[ｆr1]
mod_ａm[ｍ][ｌ]＝ａm[ｆr1][ｌ]，（ただし、０≦ｌ＜Ｌである。）
mod_ｌsp[ｍ][ｉ]＝ｌsp[ｆr1][ｉ] ，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕv[ｍ]＝１
とする。
【０１４９】
このように２つのフレームｆr0，ｆr1間における有声音（Ｖ）と，無声音（ＵＶ）との関係によって、補間処理回路５は、図９に示すステップＳ６の補間処理を異ならせる。このステップＳ６の補間処理が終了すると、ステップＳ７に進み、ｍをインクリメントする。そして、このｍがＮ2に等しくなるまで、ステップＳ５，ステップＳ６の処理を繰り返す。
【０１５０】
なお、本来は、これ以外にも、ＵＶ部分の短時間ｒｍｓのシーケンスを、ノイズのゲインコントロールに用いているが、ここではこのパラメータは１で固定する。
【０１５１】
以上に説明したような変更符号化パラメータ算出部３の動作をまとめると、図１２に示すようになる。例えば２０msecで符号化部２が抽出している符号化パラメータのモデルを図１２の（Ａ）に示す。変更符号化パラメータ算出部３の周期変更回路４は、図１２の（Ｂ）に示すように、１５msecとし、図１２の（Ｂ）に示すように、時間圧縮する。そして、上述したように、二つのフレームｆR0，ｆr1のＶ／ＵＶの状態に応じた補間処理により、図１２の（Ｃ）に示すような変更符号化パラメータを算出する。
【０１５２】
変更符号化パラメータ算出部３は、周期変更回路４と補間処理回路５を逆の順番として、図１３の（Ａ）に示す符号化パラメータを先ず図１３の（Ｂ）に示すように補間してから、図１３の（Ｃ）に示すように圧縮して変更符号化パラメータを算出してもよい。
【０１５３】
変更符号化パラメータ算出部３からの変更符号化パラメータは、図１に示す復号化部６に供給される。この復号化部６は、上記変更符号化パラメータに基づいてサイン波及びノイズを合成し、合成音を出力端子３７から導出する。
【０１５４】
以下、復号化部６について図１４及び図１５を参照しながら説明する。先ず、復号化部６に供給されてくるパラメータが通常の符号化パラメータであるとして説明しておく。
【０１５５】
この図１４において、端子３１には、上記図３の端子１５からの出力に相当するＬＳＰのベクトル量子化出力、いわゆるインデクスが供給されている。
【０１５６】
この入力信号は、ＬＳＰ逆ベクトル量子化器３２に送られてＬＳＰ（線スペクトル対）データに逆ベクトル量子化され、ＬＳＰ補間回路３３に送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路３４でＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータが合成フィルタ３５に送られる。
【０１５７】
また、図１４の端子４１には、上記図３のエンコーダ側の端子２６からの出力に対応するスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化されたコードワードのインデックスデータが供給され、端子４３には、上記図３の端子２８からのピッチ情報やＵＶ時のブロック内の時間波形の特徴量を表すデータが供給され、端子４６には、上記図３の端子２９からのＶ／ＵＶ判別データが供給されている。
【０１５８】
端子４１からのＡｍのベクトル量子化されたデータは、逆ベクトル量子化器４２に送られて逆ベクトル量子化が施され、スペクトルエンベロープのデータとなって、ハーモニクス／ノイズ合成回路、あるいはマルチバンド励起（ＭＢＥ）合成回路４５に送られている。この合成回路４５には、端子４３からのデータが上記Ｖ／ＵＶ判別データに応じて切換スイッチ４４により上記ピッチデータとＵＶ時の波形の特徴量データとに切り換えられて供給されており、また、端子４６からのＶ／ＵＶ判別データも供給されている。
【０１５９】
この合成回路４５の具体例としてのＭＢＥ合成回路の構成については、図１５を参照しながら後述する。
【０１６０】
合成回路４５からは、上述した図３の逆フィルタリング回路２１からの出力に相当するＬＰＣ残差データが取り出され、これが合成フィルタ回路３５に送られてＬＰＣの合成処理が施されることにより時間波形データとなり、さらにポストフィルタ３６でフィルタ処理された後、出力端子３７より再生された時間軸波形信号が取り出される。
【０１６１】
次に、上記合成回路４５の一例としてのＭＢＥ合成回路構成の具体例について、図１５を参照しながら説明する。
【０１６２】
この図１５において、入力端子１３１には、図１４のスペクトルエンベロープの逆ベクトル量子化器４２からのスペクトルエンベロープデータ、実際にはＬＰＣ残差のスペクトルエンベロープデータが供給されている。各端子４３、４６に供給されるデータは図１４と同様である。なお端子４３に送られたデータは、切換スイッチ４４で切換選択され、ピッチデータが有声音合成部１３７へ、ＵＶ波形の特徴量データが逆ベクトル量子化器１５２へそれぞれ送られている。
【０１６３】
端子１３１からの上記ＬＰＣ残差のスペクトル振幅データは、データ数逆変換部１３６に送られて逆変換される。このデータ数逆変換部１３６では、上述した図４のデータ数変換部１１９と対照的な逆変換が行われ、得られた振幅データが有声音合成部１３７及び無声音合成部１３８に送られる。端子４３から切換スイッチ４４の被選択端子ａを介して得られた上記ピッチデータは、有声音合成部１３７及び無声音合成部１３８に送られる。また端子４６からの上記Ｖ／ＵＶ判別データも、有声音合成部１３７及び無声音合成部１３８に送られる。
【０１６４】
有声音合成部１３７では例えば余弦(cosine)波合成あるいは正弦(sine)波合成により時間軸上の有声音波形を合成し、無声音合成部１３８では例えばホワイトノイズをバンドパスフィルタでフィルタリングして時間軸上の無声音波形を合成し、これらの各有声音合成波形と無声音合成波形とを加算部１４１で加算合成して、出力端子１４２より取り出すようにしている。
【０１６５】
また、Ｖ／ＵＶ判別データとして上記Ｖ／ＵＶコードが伝送された場合には、このＶ／ＵＶコードに応じて全バンドを１箇所の区分位置で有声音（Ｖ）領域と無声音（ＵＶ）領域とに区分することができ、この区分に応じて、各バンド毎のＶ／ＵＶ判別データを得ることができる。ここで、分析側（エンコーダ側）で一定数（例えば１２程度）のバンドに低減（縮退）されている場合には、これを解いて（復元して）、元のピッチに応じた間隔で可変個数のバンドとすることは勿論である。
【０１６６】
以下、無声音合成部１３８における無声音合成処理を説明する。
【０１６７】
ホワイトノイズ発生部１４３からの時間軸上のホワイトノイズ信号波形を窓かけ処理部１４４に送って、所定の長さ（例えば２５６サンプル）で適当な窓関数（例えばハミング窓）により窓かけをし、ＳＴＦＴ処理部１４５によりＳＴＦＴ（ショートタームフーリエ変換）処理を施すことにより、ホワイトノイズの周波数軸上のパワースペクトルを得る。このＳＴＦＴ処理部１４５からのパワースペクトルをバンド振幅処理部１４６に送り、上記ＵＶ（無声音）とされたバンドについて上記振幅｜Ａm ｜UVを乗算し、他のＶ（有声音）とされたバンドの振幅を０にする。このバンド振幅処理部１４６には上記振幅データ、ピッチデータ、Ｖ／ＵＶ判別データが供給されている。
【０１６８】
バンド振幅処理部１４６からの出力は、ＩＳＴＦＴ処理部１４７に送られ、位相は元のホワイトノイズの位相を用いて逆ＳＴＦＴ処理を施すことにより時間軸上の信号に変換する。ＩＳＴＦＴ処理部１４７からの出力は、パワー分布整形部１５６を介し、後述する乗算部１５７を介して、オーバーラップ加算部１４８に送られ、時間軸上で適当な（元の連続的なノイズ波形を復元できるように）重み付けをしながらオーバーラップ及び加算を繰り返し、連続的な時間軸波形を合成する。このオーバーラップ加算部１４８からの出力信号が上記加算部１４１に送られる。
【０１６９】
ブロック内のバンドの少なくとも１つがＶ（有声音）の場合には、上述したような処理が各合成部１３７、１３８にて行われるわけであるが、ブロック内の全バンドがＵＶ（無音声）と判別されたときには、切換スイッチ４４が被選択端子ｂ側に切換接続され、ピッチ情報の代わりに無声音信号の時間波形に関する情報が逆ベクトル量子化部１５２に送られる。
【０１７０】
すなわち、逆ベクトル量子化部１５２には、上記図４のベクトル量子化部１２７からのデータに相当するデータが供給される。これを逆ベクトル量子化することにより、上記無音声信号波形の特徴量抽出データが取り出される。
【０１７１】
ここで、ＩＳＴＦＴ処理部１４７からの出力は、パワー分布整形部１５６により時間軸方向のエネルギ分布の整形処理を行った後、乗算部１５７に送られている。この乗算部１５７では、上記逆ベクトル量子化部１５２からスムージング部（スムージング処理部）１５３を介して得られた信号と乗算されている。なお、スムージング部１５３でスムージング処理を施すことで、耳障りな急激なゲイン変化を抑えることができる。
【０１７２】
以上のようにして合成された無声音信号が無声音合成部１３８から取り出され、上記加算部１４１に送られて、有声音合成部１３７からの信号と加算され、出力端子１４２よりＭＢＥ合成出力としてのＬＰＣ残差信号が取り出される。
【０１７３】
このＬＰＣ残差信号が、上記図１４の合成フィルタ３５に送られることにより、最終的な再生音声信号が得られるわけである。
【０１７４】
この音声信号再生装置１は、図示しない制御部の制御に応じて、上記変更符号化パラメータ算出部３に変更符号化パラメータを算出させ、この変更符号化パラメータを用いて元の音声信号の時間軸を圧縮伸長した音声を合成している。
この場合、変更符号化パラメータ算出部３からの上記mod_ｌsp[ｍ][ｉ]は、ＬＳＰ逆ベクトル量子化回路３２の出力の代わりに使用される。上記mod_ｌsp[ｍ][ｉ]を本来の逆ベクトル量子化値の代わりに使用する。上記mod_ｌsp[ｍ][ｉ]は、ＬＳＰ補間回路３３に送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路３４でＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータが合成フィルタ３５に送られる。
【０１７５】
また、データ数変換回路１３６の出力又は入力の代わりに上記mod_ａm[ｍ][ｌ]が、端子４３にはmod_ｐch[ｍ]が、端子４６には上記mod_ｖｕv[ｍ]が供給される。
【０１７６】
上記mod_ａm[ｍ][ｌ]は、スペクトルエンベロープのデータとして、ハーモニクス／ノイズ合成回路４５に送られている。この合成回路４５には、端子４３からのmod_ｐch[ｍ]が判別データに応じて切換スイッチ４４により供給されており、また、端子４６からの上記mod_ｖｕv[ｍ]も供給されている。
【０１７７】
合成回路４５は、上述したような図１５に示すような構成により、上記変更符号化パラメータを用いて、元の音声信号の時間軸を圧縮伸長した音声を合成し、端子３７から導出している。
【０１７８】
このように、この音声信号再生装置１は、変更符号化パラメータmod_＊[ｍ]の配列（０≦ｍ＜Ｎ2）を本来の配列＊[ｎ]（０≦ｎ＜Ｎ1）のかわりにデコードしている。デコード時のフレーム間隔は従来通り例えば２０ｍsecのように固定である。このため、Ｎ2＜Ｎ1の時には、時間軸圧縮となり、スピードアップとなる。他方、Ｎ2＞Ｎ1の時には、時間軸伸長となり、スピードダウンとなる。
【０１７９】
上記時間軸変更を行っても、瞬時スペクトル、ピッチが不変である為、０．５≦spd≦２程度以上の広い範囲の変更を行っても劣化が少ない。
【０１８０】
この方式では、最終的に得られたパラメータ列を本来のスペーシング（２０ｍsec）に並べてデコードするため、任意のスピードコントロール（上下）が簡単に実現できる。又、スピードアップとスピードダウンが区別なしに、同一の処理で可能である。
【０１８１】
このため、例えば固体録音した内容をリアルタイムの倍のスピードで再生できる。このとき、再生スピードを高速にしてもピッチ、音韻が不変であるため、かなりの高速再生を行っても内容を聞きとることができる。また、音声コーデックとして、上記符号励起線形予測（ＣＥＬＰ）符号化を用いたときに必要とされたデコード出力後の演算処理のような付加的な処理を不要とする。
【０１８２】
なお、上記第１実施例では、変更符号化パラメータ算出部３を復号化部６と切り離した構成としたが、復号化部６内に設けてもよい。
【０１８３】
なお、上記第１実施例の音声信号再生装置１の変更符号化パラメータ算出部３が行うパラメータ算出において、ａmに関する補間処理は、ベクトル量子化の値、もしくはベクトル量子化された値を逆ベクトル量子化して得られた値に対して行われる。
【０１８４】
次に、本発明に係る音声信号の伝送方法に関する実施例を第２実施例として説明する。この第２実施例は、図１６に示すように、入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化することにより符号化パラメータを求め、この符号化パラメータを補間処理して求めた変更符号化パラメータを伝送する送信側５１と、上記変更符号化パラメータを受信して、サイン波及びノイズを合成する受信側５６とからなる音声信号伝送装置５０である。
【０１８５】
すなわち、この音声信号伝送装置５０は、送信側５１に、入力端子５２から入力された入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化することにより符号化パラメータを抽出する符号化部５３と、上記符号化パラメータを補間処理して変更符号化パラメータを求める補間部５４と、上記変更符号化パラメータを送信する送信部５５とを備え、また、受信側５６に、受信部５７と、上記変更符号化パラメータを補間する補間部５８と、補間されたパラメータに基づいてサイン波及びノイズを合成することにより出力端子６０から合成音声信号を出力する復号化部５９とを備える。
【０１８６】
符号化部５３と復号化部５９の基本的な動作は、上記第１実施例の音声信号再生装置のそれと同様であるので、ここでは詳細な説明を省略する。
【０１８７】
送信側５１の動作について図１７のフローチャートを参照しながら説明する。なお、このフローチャートは、符号化部５３の符号化処理と、補間部５４の補間処理とをまとめて示している。
【０１８８】
符号化部５３は、ステップＳ３１及びステップＳ３３に示すように、ＬＳＰ、ピッチＰｃｈ、Ｖ／ＵＶ、ａｍからなる符号化パラメータを抽出している。特に、ＬＳＰについては、ステップＳ３１に示すように補間部５４で補間，リアレンジしてから、ステップＳ３２に示すように量子化し、また、ピッチＰｃｈ、Ｖ／ＵＶ、ａｍについては、ステップＳ３４で補間，リアレンジしてから、ステップＳ３５に示すように量子化している。これらの量子化データは、送信部５５を介して受信側５６に伝送される。
【０１８９】
受信側５６で受信部５７を介して受け取った上記量子化データは、補間部５８に供給され、ステップＳ３６に示すようにパラメータの補間，リアレンジが行われた後、ステップＳ３７に示すように復号化部５９で合成される。
【０１９０】
このように、音声信号伝送装置５０は、時間軸圧縮によるスピードアップについては、パラメータの補間を行い、伝送時におけるパラメータのフレームインターバルを変更している。なお、受信時に例えば２０msecのような固定フレームインターバルにおけるパラメータを求めることによって再生処理を行っているため、スピードコントロールのためのアルゴリズムが即ビットレートの変更に使える。
【０１９１】
すなわち、スピードコントロールとして上記パラメータ補間を使う時は、パラメータ補間はデコード内で行われることを想定しているが、もしこの処理をエンコーダで行い時間軸圧縮した（間引いた）データをエンコードし、デコーダで時間軸伸長（補間）を行えば、spdの割合で伝送ビットレートを調節できる。
【０１９２】
例えば、１．９７５ｋｂｐｓの伝送レートの場合、spd＝０．５とセットして倍速にしてエンコードすると、本来１０秒のスピードが５秒のものとして、エンコードされるので、伝送レートは１．９７５×０．５ｋｂｐｓとなる。
【０１９３】
また、図１８に示すように、符号化部５３で得られた図１８の（Ａ）に示す符号化パラメータを、補間部５４で図１８の（Ｂ）に示すように、例えば３０msecのように、任意の間隔となるように補間，リアレンジしなおしてから量子化し、受信側５６の補間部５８で図１８の（Ｃ）に示すように２０msecとなるようにパラメータの補間，リアレンジを行い、復号化部５９で合成している。
【０１９４】
デコーダ内に同様のスキームを持っていれば、スピードを元に戻して（オリジナルのスピード）で再生することもできるし、高速（低速）のまま聞くことももちろんできる。すなわち、スピードコントロールを可変ビットレートコーデックとして使うこともできる。
【０１９５】
【発明の効果】
本発明に係る音声信号の再生方法は、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える。
【０１９６】
また、本発明に係る音声信号の再生装置は、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える。
【図面の簡単な説明】
【図１】本発明の第１実施例となる音声信号再生装置の概略構成を示すブロック図である。
【図２】上記音声信号再生装置の概略構成を示すブロック図である。
【図３】上記音声信号再生装置の符号化部を示すブロック図である。
【図４】上記符号化部のハーモニクス／ノイズ符号化回路の具体例としてのマルチバンドエクサイテイション（ＭＢＥ）分析回路の構成を示すブロック図である。
【図５】ベクトル量子化器の構成を説明するための図である。
【図６】入力ｘの平均を有声音、無声音、有声音と無声音をまとめたものについてそれぞれ示すグラフである。
【図７】重みＷ’／‖ｘ‖の平均を有声音、無声音、有声音と無声音をまとめたものについてそれぞれ示すグラフである。
【図８】ベクトル量子化に用いられるコードブックについて、有声音、無声音、有声音と無声音をまとめた場合のそれぞれのトレーニングの様子を示すグラフである。
【図９】上記音声信号再生装置に用いられる変更符号化パラメータ算出回路のおおまかな動作を示すフローチャートである。
【図１０】変更符号化パラメータ算出回路で得られる変更符号化パラメータを時間軸上で表現するための模式図である。
【図１１】上記音声信号再生装置に用いられる変更符号化パラメータ算出回路の詳細な動作を示すフローチャートである。
【図１２】上記変更符号化パラメータ算出部の具体的動作を説明するための模式図である。
【図１３】上記変更符号化パラメータ算出部の他の具体的動作を説明するための模式図である。
【図１４】上記音声信号再生装置に用いる復号化部の概略構成を示すブロック図である。
【図１５】上記復号化部に用いられるハーモニクス／ノイズ合成回路の具体例としてのマルチバンドエクサイテイション（ＭＢＥ）合成回路の構成を示すブロック図である。
【図１６】本発明の第２実施例となる音声信号伝送装置の概略構成を示すブロック図である。
【図１７】上記音声信号伝送装置の送信側の動作を示すフローチャートである。
【図１８】上記音声信号伝送装置の動作を説明するための模式図である。
【符号の説明】
１ 音声信号再生装置
２ 符号化部
３ 変更符号化パラメータ算出部
４ 周期変更回路
５ 補間処理回路
６ 復号化部
Claims (4)
- 入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生方法において、
上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める工程と、
この変更符号化パラメータに基づいて、少なくともサイン波を合成する工程とを有し、
上記変更符号化パラメータを求める工程は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする
ことを特徴とする音声信号の再生方法。 - 上記符号化パラメータとして、上記入力音声信号についての短期予測残差をサイン合成波とノイズとで表現し、これらのサイン合成波とノイズとのそれぞれの周波数スペクトル情報を符号化して得られたものを用いることを特徴とする請求項１記載の音声信号の再生方法。
- 入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生装置において、
上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める手段と、
この変更符号化パラメータに基づいて、少なくともサイン波を合成する手段とを有し、
上記変更符号化パラメータを求める手段は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする
ことを特徴とする音声信号の再生装置。 - 上記符号化パラメータとして、上記入力音声信号についての短期予測残差をサイン合成波とノイズとで表現し、これらのサイン合成波とノイズとのそれぞれの周波数スペクトル情報を符号化して得られたものを用いることを特徴とする請求項３記載の音声信号の再生装置。
Priority Applications (17)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15372395A JP3747492B2 (ja) | 1995-06-20 | 1995-06-20 | 音声信号の再生方法及び再生装置 |
| CA002179228A CA2179228C (en) | 1995-06-20 | 1996-06-17 | Method and apparatus for reproducing speech signals and method for transmitting same |
| US08/664,512 US5926788A (en) | 1995-06-20 | 1996-06-17 | Method and apparatus for reproducing speech signals and method for transmitting same |
| MYPI96002452A MY116532A (en) | 1995-06-20 | 1996-06-18 | Method and apparatus for reproducing speech signals and method for transmitting same |
| MX9602391A MX9602391A (es) | 1995-06-20 | 1996-06-19 | Metodo y aparato para reproducir señales de conversacion y metodo para transmitirlas. |
| DE69614782T DE69614782T2 (de) | 1995-06-20 | 1996-06-19 | Verfahren und Einrichtung zur Wiedergabe von Sprachsignalen und Verfahren zu seiner Übertragung |
| AU56054/96A AU721596B2 (en) | 1995-06-20 | 1996-06-19 | Method and apparatus for reproducing speech signals and method for transmitting the same |
| RU96111955/09A RU2255380C2 (ru) | 1995-06-20 | 1996-06-19 | Способ и устройство воспроизведения речевых сигналов и способ их передачи |
| ES96304568T ES2159688T3 (es) | 1995-06-20 | 1996-06-19 | Metodo y aparato para reproducir señales de voz y metodo para transmitirlas. |
| EP96304568A EP0751493B1 (en) | 1995-06-20 | 1996-06-19 | Method and apparatus for reproducing speech signals and method for transmitting same |
| SG1996010099A SG54343A1 (en) | 1995-06-20 | 1996-06-19 | Method and apparatus for reproducing speech signals and method for transmitting same |
| AT96304568T ATE205011T1 (de) | 1995-06-20 | 1996-06-19 | Verfahren und einrichtung zur wiedergabe von sprachsignalen und verfahren zu seiner übertragung |
| BRPI9602835-1A BR9602835B1 (pt) | 1995-06-20 | 1996-06-19 | processo e aparelho para reproduzir um sinal de voz, e, processo para transmitir o mesmo. |
| CNB961110422A CN1154976C (zh) | 1995-06-20 | 1996-06-19 | 再现语音信号的方法和装置以及传输该信号的方法 |
| KR1019960022517A KR100472585B1 (ko) | 1995-06-20 | 1996-06-20 | 음성신호의재생방법및장치와그전송방법 |
| TR96/00519A TR199600519A2 (tr) | 1995-06-20 | 1996-06-20 | Konusma sinyallerinin olusturulmasina mahsus yöntem ve cihaz ve sinyallerin iletilmesine mahsus yöntem. |
| TW085109383A TW412719B (en) | 1995-06-20 | 1996-08-03 | Method and apparatus for reproducing speech signals and method for transmitting same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15372395A JP3747492B2 (ja) | 1995-06-20 | 1995-06-20 | 音声信号の再生方法及び再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH096397A JPH096397A (ja) | 1997-01-10 |
| JP3747492B2 true JP3747492B2 (ja) | 2006-02-22 |
Family
ID=15568696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15372395A Expired - Lifetime JP3747492B2 (ja) | 1995-06-20 | 1995-06-20 | 音声信号の再生方法及び再生装置 |
Country Status (17)
| Country | Link |
|---|---|
| US (1) | US5926788A (ja) |
| EP (1) | EP0751493B1 (ja) |
| JP (1) | JP3747492B2 (ja) |
| KR (1) | KR100472585B1 (ja) |
| CN (1) | CN1154976C (ja) |
| AT (1) | ATE205011T1 (ja) |
| AU (1) | AU721596B2 (ja) |
| BR (1) | BR9602835B1 (ja) |
| CA (1) | CA2179228C (ja) |
| DE (1) | DE69614782T2 (ja) |
| ES (1) | ES2159688T3 (ja) |
| MX (1) | MX9602391A (ja) |
| MY (1) | MY116532A (ja) |
| RU (1) | RU2255380C2 (ja) |
| SG (1) | SG54343A1 (ja) |
| TR (1) | TR199600519A2 (ja) |
| TW (1) | TW412719B (ja) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3707153B2 (ja) * | 1996-09-24 | 2005-10-19 | ソニー株式会社 | ベクトル量子化方法、音声符号化方法及び装置 |
| US6202046B1 (en) | 1997-01-23 | 2001-03-13 | Kabushiki Kaisha Toshiba | Background noise/speech classification method |
| JP4308345B2 (ja) * | 1998-08-21 | 2009-08-05 | パナソニック株式会社 | マルチモード音声符号化装置及び復号化装置 |
| US6188980B1 (en) * | 1998-08-24 | 2001-02-13 | Conexant Systems, Inc. | Synchronized encoder-decoder frame concealment using speech coding parameters including line spectral frequencies and filter coefficients |
| US7272556B1 (en) * | 1998-09-23 | 2007-09-18 | Lucent Technologies Inc. | Scalable and embedded codec for speech and audio signals |
| US6353808B1 (en) * | 1998-10-22 | 2002-03-05 | Sony Corporation | Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal |
| US6260009B1 (en) | 1999-02-12 | 2001-07-10 | Qualcomm Incorporated | CELP-based to CELP-based vocoder packet translation |
| JP2000305599A (ja) | 1999-04-22 | 2000-11-02 | Sony Corp | 音声合成装置及び方法、電話装置並びにプログラム提供媒体 |
| US6260017B1 (en) * | 1999-05-07 | 2001-07-10 | Qualcomm Inc. | Multipulse interpolative coding of transition speech frames |
| FR2796191B1 (fr) * | 1999-07-05 | 2001-10-05 | Matra Nortel Communications | Procedes et dispositifs de codage et de decodage audio |
| US7092881B1 (en) * | 1999-07-26 | 2006-08-15 | Lucent Technologies Inc. | Parametric speech codec for representing synthetic speech in the presence of background noise |
| US6535843B1 (en) * | 1999-08-18 | 2003-03-18 | At&T Corp. | Automatic detection of non-stationarity in speech signals |
| US20040054525A1 (en) * | 2001-01-22 | 2004-03-18 | Hiroshi Sekiguchi | Encoding method and decoding method for digital voice data |
| JP4680429B2 (ja) * | 2001-06-26 | 2011-05-11 | Ｏｋｉセミコンダクタ株式会社 | テキスト音声変換装置における高速読上げ制御方法 |
| WO2003003345A1 (fr) * | 2001-06-29 | 2003-01-09 | Kabushiki Kaisha Kenwood | Dispositif et procede d'interpolation des composantes de frequence d'un signal |
| US6907632B2 (en) * | 2002-05-28 | 2005-06-21 | Ferno-Washington, Inc. | Tactical stretcher |
| US7523032B2 (en) * | 2003-12-19 | 2009-04-21 | Nokia Corporation | Speech coding method, device, coding module, system and software program product for pre-processing the phase structure of a to be encoded speech signal to match the phase structure of the decoded signal |
| TWI497485B (zh) * | 2004-08-25 | 2015-08-21 | Dolby Lab Licensing Corp | 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法 |
| ATE406652T1 (de) * | 2004-09-06 | 2008-09-15 | Matsushita Electric Ind Co Ltd | Skalierbare codierungseinrichtung und skalierbares codierungsverfahren |
| EP1895511B1 (en) | 2005-06-23 | 2011-09-07 | Panasonic Corporation | Audio encoding apparatus, audio decoding apparatus and audio encoding information transmitting apparatus |
| JP2007150737A (ja) | 2005-11-28 | 2007-06-14 | Sony Corp | 音声信号ノイズ低減装置及び方法 |
| US8756066B2 (en) | 2007-02-14 | 2014-06-17 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| BRPI0808198A8 (pt) * | 2007-03-02 | 2017-09-12 | Panasonic Corp | Dispositivo de codificação e método de codificação |
| CN101622666B (zh) * | 2007-03-02 | 2012-08-15 | 艾利森电话股份有限公司 | 非因果后置滤波器 |
| US8401865B2 (en) | 2007-07-18 | 2013-03-19 | Nokia Corporation | Flexible parameter update in audio/speech coded signals |
| JP5449133B2 (ja) * | 2008-03-14 | 2014-03-19 | パナソニック株式会社 | 符号化装置、復号装置およびこれらの方法 |
| JP4999757B2 (ja) * | 2008-03-31 | 2012-08-15 | 日本電信電話株式会社 | 音声分析合成装置、音声分析合成方法、コンピュータプログラム、および記録媒体 |
| CN101582263B (zh) * | 2008-05-12 | 2012-02-01 | 华为技术有限公司 | 语音解码中噪音增强后处理的方法和装置 |
| US20100191534A1 (en) * | 2009-01-23 | 2010-07-29 | Qualcomm Incorporated | Method and apparatus for compression or decompression of digital signals |
| WO2010111841A1 (zh) * | 2009-04-03 | 2010-10-07 | 华为技术有限公司 | 频域脉冲解码的预测方法和预测装置及解码器 |
| EP2242045B1 (en) * | 2009-04-16 | 2012-06-27 | Université de Mons | Speech synthesis and coding methods |
| JP5316896B2 (ja) * | 2010-03-17 | 2013-10-16 | ソニー株式会社 | 符号化装置および符号化方法、復号装置および復号方法、並びにプログラム |
| EP2830065A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency |
| AU2014336356B2 (en) | 2013-10-18 | 2017-04-06 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information |
| KR20160070147A (ko) * | 2013-10-18 | 2016-06-17 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 결정론적 및 잡음 유사 정보를 사용하는 오디오 신호의 인코딩 및 오디오 신호의 디코딩을 위한 개념 |
| CN107369453B (zh) * | 2014-03-21 | 2021-04-20 | 华为技术有限公司 | 语音频码流的解码方法及装置 |
| CN106067996B (zh) * | 2015-04-24 | 2019-09-17 | 松下知识产权经营株式会社 | 语音再现方法、语音对话装置 |
| US10389994B2 (en) * | 2016-11-28 | 2019-08-20 | Sony Corporation | Decoder-centric UV codec for free-viewpoint video streaming |
| JP6891662B2 (ja) * | 2017-06-23 | 2021-06-18 | 富士通株式会社 | 音声評価プログラム、音声評価方法および音声評価装置 |
| CN108899008B (zh) * | 2018-06-13 | 2023-04-18 | 中国人民解放军91977部队 | 一种对空语音通信杂音模拟干扰方法和系统 |
| KR101971478B1 (ko) | 2018-09-27 | 2019-04-23 | 박기석 | 차량용 차광막 장치 |
| KR102150192B1 (ko) | 2019-04-04 | 2020-08-31 | 박기석 | 차량용 차광막 장치 |
| KR20230114981A (ko) | 2022-01-26 | 2023-08-02 | 주식회사 스마트름뱅이 | 차량용 태양광 차단 및 발전 수행 장치 |
| CN114511474B (zh) * | 2022-04-20 | 2022-07-05 | 天津恒宇医疗科技有限公司 | 血管内超声图像的降噪方法、系统、电子设备及存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL8400728A (nl) * | 1984-03-07 | 1985-10-01 | Philips Nv | Digitale spraakcoder met basisband residucodering. |
| JPH07117562B2 (ja) * | 1988-10-18 | 1995-12-18 | 株式会社ケンウッド | スペクトラムアナライザ |
| JP2823023B2 (ja) * | 1990-09-10 | 1998-11-11 | 富士通株式会社 | リンク配線用マトリクスプリント板におけるコネクタ接続方法 |
| US5226108A (en) * | 1990-09-20 | 1993-07-06 | Digital Voice Systems, Inc. | Processing a speech signal with estimated pitch |
| US5371853A (en) * | 1991-10-28 | 1994-12-06 | University Of Maryland At College Park | Method and system for CELP speech coding and codebook for use therewith |
| US5327520A (en) * | 1992-06-04 | 1994-07-05 | At&T Bell Laboratories | Method of use of voice message coder/decoder |
| US5351338A (en) * | 1992-07-06 | 1994-09-27 | Telefonaktiebolaget L M Ericsson | Time variable spectral analysis based on interpolation for speech coding |
| US5479559A (en) * | 1993-05-28 | 1995-12-26 | Motorola, Inc. | Excitation synchronous time encoding vocoder and method |
| US5602961A (en) * | 1994-05-31 | 1997-02-11 | Alaris, Inc. | Method and apparatus for speech compression using multi-mode code excited linear predictive coding |
| US5729694A (en) * | 1996-02-06 | 1998-03-17 | The Regents Of The University Of California | Speech coding, reconstruction and recognition using acoustics and electromagnetic waves |
| FR2863874B1 (fr) * | 2003-12-18 | 2006-03-17 | Oreal | Composition demaquillante |
-
1995
- 1995-06-20 JP JP15372395A patent/JP3747492B2/ja not_active Expired - Lifetime
-
1996
- 1996-06-17 CA CA002179228A patent/CA2179228C/en not_active Expired - Fee Related
- 1996-06-17 US US08/664,512 patent/US5926788A/en not_active Expired - Lifetime
- 1996-06-18 MY MYPI96002452A patent/MY116532A/en unknown
- 1996-06-19 RU RU96111955/09A patent/RU2255380C2/ru not_active IP Right Cessation
- 1996-06-19 DE DE69614782T patent/DE69614782T2/de not_active Expired - Lifetime
- 1996-06-19 BR BRPI9602835-1A patent/BR9602835B1/pt not_active IP Right Cessation
- 1996-06-19 AT AT96304568T patent/ATE205011T1/de active
- 1996-06-19 CN CNB961110422A patent/CN1154976C/zh not_active Expired - Lifetime
- 1996-06-19 ES ES96304568T patent/ES2159688T3/es not_active Expired - Lifetime
- 1996-06-19 AU AU56054/96A patent/AU721596B2/en not_active Ceased
- 1996-06-19 SG SG1996010099A patent/SG54343A1/en unknown
- 1996-06-19 MX MX9602391A patent/MX9602391A/es unknown
- 1996-06-19 EP EP96304568A patent/EP0751493B1/en not_active Expired - Lifetime
- 1996-06-20 TR TR96/00519A patent/TR199600519A2/xx unknown
- 1996-06-20 KR KR1019960022517A patent/KR100472585B1/ko not_active IP Right Cessation
- 1996-08-03 TW TW085109383A patent/TW412719B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| JPH096397A (ja) | 1997-01-10 |
| BR9602835B1 (pt) | 2009-05-05 |
| ATE205011T1 (de) | 2001-09-15 |
| MX9602391A (es) | 1997-02-28 |
| US5926788A (en) | 1999-07-20 |
| DE69614782D1 (de) | 2001-10-04 |
| EP0751493A3 (en) | 1998-03-04 |
| KR970003109A (ko) | 1997-01-28 |
| RU2255380C2 (ru) | 2005-06-27 |
| CN1145512A (zh) | 1997-03-19 |
| TW412719B (en) | 2000-11-21 |
| TR199600519A2 (tr) | 1997-01-21 |
| AU5605496A (en) | 1997-01-09 |
| MY116532A (en) | 2004-02-28 |
| CA2179228C (en) | 2004-10-12 |
| KR100472585B1 (ko) | 2005-06-21 |
| BR9602835A (pt) | 1998-04-22 |
| SG54343A1 (en) | 1998-11-16 |
| ES2159688T3 (es) | 2001-10-16 |
| CA2179228A1 (en) | 1996-12-21 |
| EP0751493B1 (en) | 2001-08-29 |
| EP0751493A2 (en) | 1997-01-02 |
| CN1154976C (zh) | 2004-06-23 |
| DE69614782T2 (de) | 2002-05-02 |
| AU721596B2 (en) | 2000-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3747492B2 (ja) | 音声信号の再生方法及び再生装置 | |
| JP3557662B2 (ja) | 音声符号化方法及び音声復号化方法、並びに音声符号化装置及び音声復号化装置 | |
| JP3707116B2 (ja) | 音声復号化方法及び装置 | |
| JP4132109B2 (ja) | 音声信号の再生方法及び装置、並びに音声復号化方法及び装置、並びに音声合成方法及び装置 | |
| JP3680380B2 (ja) | 音声符号化方法及び装置 | |
| JP4005154B2 (ja) | 音声復号化方法及び装置 | |
| JP3707153B2 (ja) | ベクトル量子化方法、音声符号化方法及び装置 | |
| KR100487136B1 (ko) | 음성복호화방법및장치 | |
| JP3707154B2 (ja) | 音声符号化方法及び装置 | |
| JP3653826B2 (ja) | 音声復号化方法及び装置 | |
| JP4121578B2 (ja) | 音声分析方法、音声符号化方法および装置 | |
| WO2004097796A1 (ja) | 音声符号化装置、音声復号化装置及びこれらの方法 | |
| JPH10124092A (ja) | 音声符号化方法及び装置、並びに可聴信号符号化方法及び装置 | |
| US5983173A (en) | Envelope-invariant speech coding based on sinusoidal analysis of LPC residuals and with pitch conversion of voiced speech | |
| US20040111257A1 (en) | Transcoding apparatus and method between CELP-based codecs using bandwidth extension | |
| JPH10214100A (ja) | 音声合成方法 | |
| EP1597721B1 (en) | 600 bps mixed excitation linear prediction transcoding | |
| JP4281131B2 (ja) | 信号符号化装置及び方法、並びに信号復号装置及び方法 | |
| JP4826580B2 (ja) | 音声信号の再生方法及び装置 | |
| JP3063087B2 (ja) | 音声符号化復号化装置及び音声符号化装置ならびに音声復号化装置 | |
| JP3006790B2 (ja) | 音声符号化復号化方法及びその装置 | |
| JP3675054B2 (ja) | ベクトル量子化方法、音声符号化方法及び装置、並びに音声復号化方法 | |
| Bae et al. | On a new vocoder technique by the nonuniform sampling | |
| JP3092654B2 (ja) | 信号符号化装置 | |
| JPH09127997A (ja) | 音声符号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |