JP4731775B2 - スーパーフレーム構造のlpcハーモニックボコーダ - Google Patents
スーパーフレーム構造のlpcハーモニックボコーダ Download PDFInfo
- Publication number
- JP4731775B2 JP4731775B2 JP2001525687A JP2001525687A JP4731775B2 JP 4731775 B2 JP4731775 B2 JP 4731775B2 JP 2001525687 A JP2001525687 A JP 2001525687A JP 2001525687 A JP2001525687 A JP 2001525687A JP 4731775 B2 JP4731775 B2 JP 4731775B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- superframe
- speech
- pitch
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 61
- 238000013139 quantization Methods 0.000 claims description 53
- 239000013598 vector Substances 0.000 claims description 41
- 238000004458 analytical method Methods 0.000 claims description 34
- 230000006835 compression Effects 0.000 claims description 32
- 238000007906 compression Methods 0.000 claims description 32
- 230000005284 excitation Effects 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 3
- 230000003139 buffering effect Effects 0.000 claims 2
- 238000012937 correction Methods 0.000 abstract description 14
- 238000004891 communication Methods 0.000 abstract description 9
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000003786 synthesis reaction Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract 1
- 239000011295 pitch Substances 0.000 description 114
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005311 autocorrelation function Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Electroluminescent Light Sources (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Record Information Processing For Printing (AREA)
- Incineration Of Waste (AREA)
Description
(背景をなす特許および刊行物)
背景をなす以下の特許および刊行物を、角括弧内の番号(例えば[1])を使用して時々参照する。
【0002】
[1] Gersho, A., “ADVANCES IN SPEECH AND AUDIO COMPRESSION”, Proceedings of the IEEE, Vol. 82, No. 6, pp. 900-918, June 1994.
[2] McCree et al., “A 2.4 KBIT/S MELP CODER CANDIDATE FOR THE NEW U. S. FEDERAL STANDARD”, 1996 IEEE International Conference on Acoustics, Speech, and Signal Processing Conference Proceedings, Atlanta, GA (Cat. No. 96CH35903), Vol. 1., pp. 200-203, 7-10 May 1996.
[3] Supplee, L. M. et al., “MELP: THE NEW FEDERAL STANDARD AT 2400 BPS”, 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing proceedings (Cat. No. 97CB36052), Munich, Germany, Vol. 2, pp. 21-24, April 1997.
[4] McCree, A. V. et al., “A MIXED EXCITATION LPC VOCODER MODEL FOR LOW BIT RATE SPEECH CODING”, IEEE Transactions on Speech and Audio Processing, Vol. 3, No. 4, pp. 242-250, July 1995.
[5] Specifications for the Analog to Digital Conversion of Voice by 2, 400 Bit/Second Mixed Excitation Linear Prediction FIPS, Draft document of proposed federal standard, dated May 28, 1998.
[6] U. S. Patent No. 5,699, 477.
[7] Gersho, A. et al., “VECTOR QUANTIZATION AND SIGNAL COMPRESSION”, Dordrecht, Netherlands: Kluwer Academic Publishers, 1992, xxii+732 pp.
[8] W. P. LeBlanc, et al., “EFFICIENT SEARCH AND DESIGN PROCEDURES FOR ROBUST MULTI-STAGE VQ OF LPC PARAMETERS FOR 4 KB/S SPEECH CODING” in IEEE Trans. Speech & Audio Processing, Vol. 1, pp. 272-285, Oct. 1993.
[9] Mouy, B. M.; de la Noue, P. E., “VOICE TRANSMISSION AT A VERY LOW BIT RATE ON A NOISY CHANNEL: 800 BPS VOCODER WITH ERROR PROTECTION TO 1200 BPS”, ICASSP-92: 1992 IEEE International Conference Acoustics, Speech and Signal, San Francisco, CA, USA, 23-26 March 1992, New York, NY, USA: IEEE, 1992, Vol. 2, pp. 149-152.
[10] Mouy, B.; De La Noue, P.; Goudezeune, G.“NATO STANAG 4479: A STANDARD FOR AN 800 BPS VOCODER AND CHANNEL CODING IN HF-ECCM SYSTEM”, 1995 International Conference on Acoustics, Speech, and Signal Processing. Conference Proceedings, Detroit, MI, USA, 9-12 May 1995; New York, NY, USA: IEEE, 1995, Vol. 1, pp. 480-483.
[11] Kemp, D. P.; Collura, J. S.; Tremain, T. E.“MULTI-FRAME CODING OF LPC PARAMETERS 600-800 BPS”, ICASSP 91, 1991 International Conference on Acoustics, Speech and Signal Processing, Toronto, Ont., Canada, 14-17 May 1991; New York, NY, USA: IEEE, 1991, Vol. 1, pp. 609-612.
[12] U. S. Patent No. 5,255, 339.
[13] U. S. Patent. 4,815, 134.
[14] Hardwick, J. C.; Lim, J. S., “A 4.8 KBPS MULTI-BAND EXCITATION SPEECH CODER”, ICASSP 1988 International Conference on Acoustics, Speech, and Signal, New York, NY, USA, 11-14 April 1988, New York, NY, USA: IEEE, 1988. Vol. 1, pp. 374-377.
[15] Nishiguchi, L.; Iijima, K.; Matsumoto, J, “HARMONIC VECTOR EXCITATION CODING OF SPEECH AT 2.0 KBPS”, 1997 IEEE Workshop on Speech Coding for Telecommunications Proceedings, Pocono Manor, PA, USA, 7-10 Sept. 1997, New York, NY, USA: IEEE, 1997, pp. 39-40.
[16] Nomura, T., Iwadare, M., Serizawa, M., Ozawa, K., “A BITRATE AND BANDWIDTH SCALABLE CELP CODER”, ICASSP 1998 International Conference on Acoustics, Speech, and Signal, Seattle, WA, USA, 12-15 May 1998, IEEE, 1998, Vol. 1, pp. 341-344.
【0003】
(発明の背景)
(1.発明の分野)
本発明は一般にディジタル通信に関し、より詳細には、パラメトリック音声符号化および復号の方法および装置に関する。
【0004】
(2.背景技術の説明)
定義として、ディジタル化された波形サンプルではなく音声パラメータを送信する音声符号化方法を記述するために用語「ボコーダ」を頻繁に使用することに留意されたい。ディジタル化波形サンプルを生成する際は、入来する波形を周期的にサンプリングしてディジタル化波形データのストリームにディジタル化するが、このストリームは、変換して元の波形とほぼ同一のアナログ波形に戻すことができる。音声パラメータを使用する音声符号化は、符号化された音声にかなり類似する音声を続いて合成できるほど十分な精度をもたらす。音声パラメータ符号化を用いると、ディジタル化波形の場合のように音声波形を正確に再生するのに十分な情報が提供されることはないことに留意されたい。しかし、波形サンプルで必要とされるレートよりも低いレートで音声を符号化することができる。
【0005】
音声符号化の世界では、音声符号化および復号のシステムを指すのに用語「コーダ」がしばしば使用されるが、この用語はそれ自体でエンコーダも指すことが多い。本明細書で使用するときは、用語エンコーダは一般に、音声信号を圧縮データ信号(ビットストリーム)にマッピングする符号化操作について言い、用語デコーダは一般に、データ信号を再構築されたまたは合成された音声信号にマッピングする復号操作について言う。
【0006】
音声のディジタル圧縮(音声圧縮とも呼ばれる)は、現代の通信システムにおいてますます重要になっている。高周波(HF)およびその他の無線チャネルを介した効率的かつ安全な音声通信、衛星音声ページングシステム、マルチプレーヤインターネットゲーム、ならびに多数の追加用途には、500bps(ビット/秒)から2kbps(キロビット/秒)までの範囲の、低い音声送信ビットレートの必要性が望まれている。2.4kbps以下の場合、ほとんどの圧縮方法(「符号化方法」とも呼ばれる)は、パラメトリックボコーダに基づく。現代の当該ボコーダの大部分は、旧来の線形予測符号化(LPC)ボコーダの変形およびこの技法の改良形に基づくか、あるいはハーモニックコーダや多帯域励起コーダ(multiband excitation coder)などの正弦波符号化方法に基づく[1]。最近、MELP(Mixed Excitation Linear Prediction)と呼ばれる、LPCボコーダの向上バージョンが開発された[2、5、6]。本発明は、前述の従来の符号化方法で必要とされるよりも低いビットレートで、同様の音声品質レベルを提供することができる。
【0007】
MELP符号化は他のフレームベースの符号化方法に勝る利点を有するので、本発明は一般に、MELPと共に使用する場合に関して述べる。ただし本発明は、ハーモニックコーダ[15]や多帯域励起(MBE)タイプのコーダ[14]など、様々なコーダに適用することができる。
【0008】
MELPエンコーダは、入力音声を観測し、デコーダに送信するためのデータを22.5ミリ秒フレームごとに生成する。このデータは、線スペクトル周波数(LSF)(線形予測パラメータの一形式)、フーリエ絶対値(Fourier magnitude、「スペクトル絶対値」と呼ばれることもある)、利得(1フレームにつき2つ)、ピッチ、およびボイシングを表すビットからなり、追加で非周期性フラグビット(aperiodic flag bit)、エラー保護ビット、および同期(sync)ビットも含む。図1に、従来の2.4kbpsMELPエンコーダで用いられるバッファ構造を示す。その他のハーモニックまたはMBE符号化方法で採用されるエンコーダは、同一または類似のパラメータの多くを表すデータを生成する(通常これらはLSF、スペクトル絶対値、利得、ピッチ、およびボイシングである)。MELPデコーダは、これらのパラメータをフレームごとに受け取り、元のフレームに近い対応する音声フレームを合成する。
【0009】
異なる通信システムには、異なるビットレートの音声コーダが必要である。例えば、安全な音声電話通信システムには2.4kbpsのビットレートが必要であることが多いのに対して、高周波(HF)無線チャネルは、容量が厳しく制限され、拡張エラー訂正が必要な場合があり、音声パラメータを表すには1.2kbpsのビットレートが最適である場合がある。用途によっては、あるシステム用にあるビットレートで元々符号化された音声信号が別のシステム用に他のビットレートで符号化された音声信号に後で変換されるように、異なる通信システムを相互接続する必要がある。この変換は「トランスコーディング」と呼ばれ、通常2つの通信システム間のゲートウェイに位置する「トランスコーダ」によって行うことができる。
【0010】
(発明の簡単な概要)
一般的に言えば、本発明は、MELPなど既存のボコーダ技法を採用して、ほぼ同じ再生音声品質を維持しながら、ビットレートを通常2分の1に大きく低減する。本発明の中では既存のボコーダ技法を利用し、したがってこれらを「ベースライン」符号化、または別法として「従来型」パラメトリック音声符号化と呼ぶ。
【0011】
限定ではなく例として、本発明は、2.4kbpsMELPコーダと同様の分析モジュールを有する1.2kbpsボコーダを含み、これに追加のスーパーフレームボコーダがオーバーレイされる。本発明の1.2kbpsボコーダの場合、スーパーフレームボコーダ内では、連続する3つのフレームを含むブロック、すなわち「スーパーフレーム」構造を採用して、送信すべきパラメータをより効率的に量子化する。記述を簡単にするために、スーパーフレームは3つのフレームを符号化するように選択される。というのは、この割合がよく機能することがわかっているからである。ただし、この発明的な方法は、どんな離散的なフレーム数を含むスーパーフレームにも適用することができることに留意されたい。スーパーフレーム構造については、前の特許および刊行物[9]、[10]、[11]、[13]の中で言及されている。MELP符号化標準の中では、1つのフレームが分析されるたびに(例えば22.5ミリ秒ごとに)、そのパラメータが符号化されて送信される。しかし本発明では、スーパーフレームの各フレームがバッファ中で同時に利用可能であり、各フレームは分析されて、スーパーフレーム内の3つのフレームすべてのパラメータが同時に量子化に利用可能である。このことは追加の符号化遅延を導入するものの、3つのフレームを別々にではなく一緒に量子化することにより、これらのフレームのパラメータ間に存在する時間相関を効率的に活用することができる。
【0012】
本発明の1.2kbpsコーダのフレームサイズは、MELP標準のコーダと同じ毎秒8000サンプルのサンプリングレートで22.5ミリ秒(すなわち180音声サンプル)であることが好ましい。ただし、大きなピッチエラーを回避するために、本発明ではルックアヘッドの長さを129サンプル増加させる。これに関し、用語「ルックアヘッド」は、現在のフレームを符号化するのに必要な処理のためにバッファ中で利用可能であるはずの、現在のフレームの境界を越えた「未来の」音声セグメントの継続時間を指すことに留意されたい。本発明の1.2kbpsコーダ中ではピッチスムーザも使用し、1.2kbpsコーダの場合のアルゴリズム遅延は103.75ミリ秒である。1.2kbpsコーダの場合に送信されるパラメータは、2.4kbpsMELPコーダの場合と同じである。
【0013】
MELP符号化標準の中では、各フレームにつき、低帯域ボイシング決定または無声/有声決定(U/V決定)が見出される。低帯域ボイシングの値が「1」のときは、フレームは「有声」であると言い、「0」のときは「無声」であると言う。このボイシング条件が、異なる2つのビット割振りのどちらをフレームに使用するかを決定する。しかし、本発明の1.2kbpsコーダでは、各スーパーフレームがいくつかの符号化状態のうちの1つに分類され、各状態につきビット割振りが異なる。状態選択は、スーパーフレームのU/V(無声または有声)パターンに従って行われる。チャネルビットエラーのせいでデコーダが誤った状態識別を行った場合、このスーパーフレームに対して合成音声の深刻な劣化が生じる。したがって本発明の一態様は、チャネルエラーによるエンコーダとデコーダとの状態不一致の影響を低減する技法を含み、この技法は、開発されてデコーダに統合された。
【0014】
本発明では、3つの音声フレームがメモリバッファ中で同時に利用可能であり、各フレームは、従来型のMELP分析モジュールによって別々に分析され、3つのフレームそれぞれにつき(量子化前の)パラメータ値が生成される。これらのパラメータは、まとめて後続の処理および量子化に利用可能である。ピッチスムーザは、3つのフレームに関するピッチおよびU/V決定を観測し、バッファリングされた音声データに対する追加の分析も行って、ピッチ平滑化操作で使用する2つのタイプ(オンセットまたはオフセット)の一方に各フレームを分類するのに必要なパラメータを抽出する。次いでスムーザは、ピッチ決定の修正(平滑化)バージョンを出力し、次いで、スーパーフレームに対するこれらのピッチ値が量子化される。バンドパスボイシングスムーザは、3つのフレームに関するバンドパスボイシング強度を観測し、かつ、バッファリングされた音声から直接抽出されたエネルギー値を検査し、次いで、3つのフレームそれぞれに関するカットオフ周波数を決定する。バンドパスボイシング強度は、音声スペクトルの5つの周波数帯それぞれにおけるボイシングの程度を記述するための、MELPエンコーダによって生成されるパラメータである。カットオフ周波数は、後で定義するが、音声スペクトルの有声部分の帯域幅の時間進展を記述する。スーパーフレーム中の各有声フレームに関するカットオフ周波数は2ビットで符号化される。スーパーフレームに関するLSFパラメータ、ジッタパラメータ、およびフーリエ絶対値パラメータがそれぞれ量子化される。カンタイザ(quantizer)から、送信用の2進データが得られる。簡単にするために、エラー訂正ビット、同期ビット、パリティビット、および送信に向けてビットをシリアルデータストリームに多重化することについては記述しない。これらはすべて当業者に周知である。受信側では、様々なパラメータに対するデータビットが抽出され、復号され、逆カンタイザに加えられる。逆カンタイザは、圧縮データから、量子化されたパラメータ値を再生する。受信側は通常、スーパーフレームの開始点を識別する同期モジュールと、エラー訂正復号および多重分離の手段とを備える。各フレームに関する復元済みパラメータは、シンセサイザに加えることができる。復号後、合成された音声フレームは、連結されて音声出力信号を形成する。シンセサイザは、MELPなど従来型のフレームベースのシンセサイザとすることもでき、本明細書に開示する代替方法によって提供することもできる。
【0015】
本発明の目的は、フレームをスーパーフレームにグループ化して新規な量子化技法をスーパーフレームパラメータに対して実施することにより、より大きな符号化効率を導き、ある音声フレームから別の音声フレームへの相関を開発することである。
【0016】
本発明の別の目的は、ベースラインエンコーダおよびデコーダの既存の音声処理機能を維持できるようにして、向上したコーダがベースラインコーダの動作で見出されるパラメータに作用するようにし、それにより、すでにベースラインエンコーダおよびデコーダによって得られている実験結果および設計結果の財産を保持し、しかもなおビットレートの大幅な低減ももたらすことである。
【0017】
本発明の別の目的は、向上したエンコーダから得られたビットストリームを、ベースラインデコーダによって認識されるビットストリームに変換(トランスコード)する、トランスコーディングのための機構を提供し、同様に、ベースラインエンコーダからきたビットストリームを、向上したデコーダによって認識できるビットストリームに変換する方式を提供することである。このトランスコーディング機能は、ベースラインコーダ/デコーダを実装した端末装置が、向上したコーダ/デコーダを実装した端末装置と通信しなければならない適用例で重要である。
【0018】
本発明の別の目的は、MELPエンコーダの性能を改善する方法を提供することであり、新しい方法はピッチおよびボイシングパラメータを生成する。
【0019】
本発明の別の目的は、MELP復号プロシージャに代わる新しい復号プロシージャを提供し、合成音声品質を維持しながらも複雑さを大きく低減することである。
【0020】
本発明の別の目的は、2.4kbpsで動作するMELP標準のコーダとほぼ等しい品質をもたらす1.2kbps符号化方式を提供することである。
【0021】
本発明の他の目的および利点は本明細書の後続の部分で明らかにするが、この中では、本発明を限定することなくその好ましい実施形態を完全に開示する目的で詳細な説明を提供する。
【0022】
本発明は、後続の図面を参照することによってより完全に理解されるであろうが、これらの図面は例示のためのものにすぎない。
【0023】
(発明の詳細な説明)
例示の目的で、本発明は、図2から図6までを参照しながら述べる。本明細書に開示する基本概念を逸脱することなく、装置の構成および各部の詳細は様々である場合があり、方法の具体的なステップおよびシーケンスは様々である場合があることを理解されたい。
【0024】
(1.ボコーダの概観)
本発明の1.2kbpsエンコーダは、従来の2.4kbpsMELPコーダ中で使用されるものと同様の分析モジュールを採用するが、ブロック、すなわち「スーパーフレーム」エンコーダを追加しており、これは、連続する3つのフレームを符号化し、送信されるパラメータをより効率的に量子化して、1.2kbpsボコーディングを実現する。本発明は1スーパーフレームにつき3フレームを使用する場合に関して述べるが、本発明の方法はその他の整数のフレームを含むスーパーフレームにも適用できることを、当業者なら理解するであろう。さらに、本発明はベースラインコーダとしてMELPを使用する場合に関して述べるが、本発明の方法はその他のハーモニックボコーダにも適用できることを、当業者なら理解するであろう。このようなボコーダは、音声フレームの分析から抽出されるパラメータのセットが類似はするが同一ではない場合があり、フレームサイズおよびビットレートが本明細書に提示する記述で用いるものとは異なる場合がある。
【0025】
MELPエンコーダ内でフレームが分析されるとき(例えば22.5ミリ秒ごと)は、音声パラメータがフレームごとに符号化され、次いで送信されることを理解されたい。しかし本発明では、スーパーフレームを形成するフレームのグループからのデータが、スーパーフレーム中の3つのフレームすべてのパラメータで収集および処理され、これらのパラメータは同時に量子化に利用可能である。このことは追加の符号化遅延を導入するものの、3つのフレームを別々にではなく一緒に量子化することにより、これらのフレームのパラメータ間に存在する時間相関を効率的に活用することができる。
【0026】
本発明によって採用されるフレームサイズは、元々のMELPコーダ中で使いられるサンプルレートと同じ毎秒8000サンプルのサンプリングレートで22.5ミリ秒(すなわち180音声サンプル)であることが好ましい。図1に、従来の2.4kbpsMELPのバッファ構造を示す。大きなピッチエラーの発生を回避するために、好ましい実施形態ではルックアヘッドバッファの長さを129サンプル増加させているが、本発明は様々なルックアヘッドレベルで実施することができる。加えて、ピッチスムーザを導入してピッチエラーをさらに減少させている。述べる1.2kbpsコーダの場合のアルゴリズム遅延は103.75ミリ秒である。1.2kbpsコーダの場合に送信されるパラメータは、2.4kbpsMELPコーダの場合と同じである。図2に、本発明のバッファ構造を見ることができる。
【0027】
(1.1 ビット割振り)
MELP符号化を用いるときは、低帯域ボイシング決定またはU/V決定が各フレームごとに見出され、ボイシング値が1のときは「有声」フレーム、0のときは無声フレームである。しかし本発明の1.2kbpsコーダでは、各スーパーフレームが、異なる量子化方式を採用するいくつかの符号化状態のうちの1つに分類される。状態選択は、スーパーフレームのU/Vパターンに従って行われる。チャネルビットエラーのせいでデコーダが誤った状態識別を行った場合、このスーパーフレームに対して合成音声の深刻な劣化が生じる。したがって、チャネルエラーによるエンコーダとデコーダとの状態不一致の影響を低減する技法を開発し、デコーダに統合した。比較のために、2.4kbpsMELPコーダと1.2kbpsコーダの両方に対するビット割振り方式を表1に示す。
【0028】
図3Aは、本発明による1.2kbps符号化方式10の一般的なブロック図である。入力音声12がスーパーフレームバッファ14と呼ばれるメモリバッファを満たすが、スーパーフレームバッファ14は、スーパーフレームを含み、さらに、3つのフレームのうちで最も古いフレームの開始に先行した履歴サンプルと、3つのフレームのうちで一番最近のフレームに続くルックアヘッドサンプルとを記憶する。好ましい実施形態でこのバッファに記憶されるサンプルの実際の範囲は、図2に示すとおりである。スーパーフレームバッファ14内のフレームは、従来型のMELP分析モジュール16、18、20によって別々に分析されるが、これらの分析モジュールは、スーパーフレームバッファ14内の各フレームにつき、量子化前のパラメータ値のセット22を生成する。具体的には、MELP分析モジュール16は、スーパーフレームバッファに記憶された最初の(最も古い)フレームに作用し、別のMELP分析モジュール18は、バッファに記憶された2番目のフレームに作用し、別のMELP分析モジュール20は、バッファに記憶された3番目の(最も新しい)フレームに作用する。各MELP分析ブロックは、1つのフレームと、このフレームに関連する前のサンプルおよび未来のサンプルにアクセスすることができる。MELP分析モジュールによって生成されたパラメータは、収集されて、量子化前のパラメータのセットを形成し、メモリユニット22に記憶される。このセットは後続の処理および量子化に利用可能である。ピッチスムーザ24は、平滑化分析ブロック26によって計算されるパラメータのセットと共に、スーパーフレームバッファ14内のフレームに関するピッチ値を観測し、ピッチ値の修正バージョンを出力する。ここで出力は量子化される(28)。バンドパスボイシングスムーザ30は、エネルギー分析モジュール32によって計算される平均エネルギー値を観測し、スーパーフレームバッファ14内のフレームに関するバンドパスボイシング強度も観測し、これらをバンドパスボイシングカンタイザ32によって後で量子化されるように適切に修正する。LSPカンタイザ34、ジッタカンタイザ36、およびフーリエ絶対値カンタイザ38がそれぞれ、符号化済みデータを出力する。各カンタイザから、送信用の符号化済み2進データが得られる。簡単にするために、エラー訂正データビットおよび同期ビットの生成、ならびに送信に向けてビットをシリアルデータストリームに多重化することは図示していないが、これらをどのように実施するかは、当業者なら容易に理解するであろう。
【0029】
図3Bに示すデコーダ50では、様々なパラメータについてのデータビットがチャネルデータ52に含まれており、チャネルデータ52は復号逆カンタイザ54に入る。復号逆カンタイザ54は、抽出、復号を行い、逆カンタイザを適用して、圧縮データから量子化済みパラメータ値を再生する。同期モジュール(スーパーフレームの開始点を識別する)およびエラー訂正復号および多重分離は図示していないが、これらをどのように実装するかは、当業者なら容易に理解するであろう。次いで、各フレームに関する復元済みパラメータは、従来型のMELPシンセサイザ56、58、60に加えられる。本発明は、従来技術のMELPシンセサイザとは全く異なる、フレームごとに音声を合成する代替方法も含むことに留意されたい。復号後、合成された音声フレーム62、64、66が連結されて、音声出力信号68を形成する。
【0030】
(2.音声分析)
(2.1 概観)
エンコーダの基本構造は、スーパーフレーム構造を利用するために新しいピッチスムーザおよびバンドパスボイシングスムーザが追加されたことを除いては、2.4kbpsMELPコーダ中で使用されるのと同じ分析モジュールに基づく。コーダは、2.4kbpsMELPコーダ中で使用されるのと同じ、各フレームに作用するMELP分析アルゴリズムを使用して、スーパーフレーム中の連続する3つのフレームから特徴パラメータを抽出する。ピッチおよびバンドパスボイシングパラメータは、平滑化によって向上する。この向上は、隣接する3つのフレームおよびルックアヘッドが同時に利用可能であることから可能である。このようにしてスーパーフレームに作用することにより、3つのフレームすべてに関するパラメータが量子化モジュールへの入力データとして利用可能であり、したがって、各フレームを別々に独立して量子化するときに可能となるよりも効率的な量子化ができる。
【0031】
(2.2 ピッチスムーザ)
ピッチスムーザは、MELP分析モジュールからスーパーフレーム中の各フレームに関するピッチ推定値をとり、図3Aの平滑化分析モジュール26からパラメータのセットをとる。平滑化分析モジュール26は、半フレーム(11.25ミリ秒)ごとに、スーパーフレームバッファに記憶された音声サンプルを直接観測することから新しいパラメータを計算する。図4に、現在のスーパーフレーム中の9つの計算位置を示す。各計算位置は、パラメータが計算されるウィンドウの中心にある。次いで、計算されたパラメータは、追加情報としてピッチスムーザに加えられる。
【0032】
1.2kbpsエンコーダでは、ピッチ平滑化プロセスを導くために、各フレームは2つの範疇に分類され、オンセットフレームまたはオフセットフレームのいずれかを構成する。平滑化分析モジュール26によって計算されてからオンセット/オフセット分類のためにピッチスムーザモジュール24によって使用される新しい波形特徴パラメータは、以下のとおりである。
【0033】
記述 省略形
dBで表したエネルギー subEnergy
零交差レート zeroCrosRate
ピーク度測定値 peakiness
入力音声の最大相関係数 corx
500Hzローパスフィルタにかけた音声の最大相関係数 lowBandCorx
ローパスフィルタにかけた音声のエネルギー lowBandEn
ハイパスフィルタにかけた音声のエネルギー highBandEn
【0034】
入力音声は、x(n)、n=...,0,1,....として示され、x(0)は、現在の計算位置から左に45サンプルの音声サンプルに対応し、nはフレームサイズの半分の90サンプルである。パラメータは以下のように計算される。
【0035】
(1)エネルギー:
【0036】
【数1】
【0037】
(2)零交差レート:
【0038】
【数2】
【0039】
上式で、角括弧中の式は、積x(i)*x(i+1)が負のとき(すなわち零交差が起こるとき)は値1を有し、そうでないときは値0を有する。
【0040】
(3)音声領域中のピーク度測定値:
【0041】
【数3】
【0042】
ピーク度測定値は、MELPコーダにおける場合のように定義されるが[5]、この測定値は、MELPでは音声信号から導出される予測残差信号から計算されるのに対し、この場合は、音声信号自体から計算される。
【0043】
(4)ピッチ探索範囲における最大相関係数:
最初に、入力音声信号は800Hzのカットオフ周波数でローパスフィルタに通され、以下のとおりとなる。
【0044】
H(z)=0.3069/(1−2.4552z-1+2.4552z-2−1.152z-3+0.2099z-4)
【0045】
ローパスフィルタにかけられた信号は、2番目のLPC逆フィルタに通される。逆フィルタにかけられた信号をslv(n)として示す。slv(n)からDC成分が除去されて、
【0046】
【数4】
【0047】
が得られる。次いで、以下の式によって自己相関関数が計算される。
【0048】
【数5】
【0049】
上式で、M=70である。サンプルは、現在の計算位置が自己相関ウィンドウの中心に整合するように選択されるスライディングウィンドウを使用して選択される。最大相関係数パラメータcorxは、関数rkの最大値である。対応するピッチはlである。
【0050】
【数6】
【0051】
(5)ローパスフィルタにかけた音声の最大相関係数:
標準的なMELPでは、バンドパスボイシング分析において5つのフィルタが使用される。第1のフィルタは、実際は0〜500Hzの通過帯域のローパスフィルタである。同じフィルタを入力音声に対して使用して、ローパスフィルタにかけた信号sl(n)が生成される。次いで、(4)で定義した相関関数がsl(n)について計算される。指数の範囲は、[max(20,l−5),min(150,l+5)]に限定される。相関関数の最大値はlowBandCorxとして示す。
【0052】
(6)低帯域エネルギーおよび高帯域エネルギー:
LPC分析モジュール中では、最初の17個の自己相関係数r(n)、n=0,...,16が計算される。自己相関係数をフィルタリングすることにより、低帯域エネルギーおよび高帯域エネルギーが得られる。
【0053】
【数7】
【0054】
【数8】
【0055】
Cl(n)およびCh(n)は、ローパスフィルタおよびハイパスフィルタの係数である。2kHzのカットオフ周波数の場合、各フィルタにつき16個のフィルタ係数が選択され、これらは標準的なFIRフィルタ設計技法によって得られる。
【0056】
以上に挙げたパラメータを使用して、半フレームごとに大まかなU/V決定が行われる。以下に示す、ボイシング決定を行うための分類ロジックが、ピッチスムーザモジュール24中で実施される。voicedEnおよびsilenceEnは、有声フレームおよびサイレンスフレームの移動平均エネルギーである。
【0057】
【0058】
次いで、各サブフレームに関するU/V決定を用いて、フレームをオンセットまたはオフセットに分類する。この分類はエンコーダ内部のものであり、送信されるものではない。現在のフレームごとに、まずオフセットの可能性をチェックする。現在の有声フレームに一連の無声フレームが続いている場合、あるいはエネルギーが少なくとも1フレーム内で8dB、または1と半フレーム内で12dBに減少する場合は、オフセットフレームが選択される。オフセットフレームのピッチは平滑化されない。
【0059】
現在のフレームが第1の有声フレームである場合、あるいはエネルギーが少なくとも1フレーム内で8dB、または1と半フレーム内で12dBに増加する場合は、現在のフレームはオンセットフレームとして分類される。オンセットフレームの場合は、ルックアヘッド領域で評価される自己相関関数の極大のうちの1つからルックアヘッドピッチ候補が推定される。まず、上に挙げた自己相関関数の、最も大きい8つの極大が選択される。これらの極大は、現在の計算位置に対してR(0)(i)、i=0,...,7として示される。次の2つの計算位置に対する極大は、R(1)(i)、R(2)(i)である。各計算位置に対して費用関数が計算され、現在の計算位置に対する費用関数を用いて予測ピッチが推定される。まず、R(2)(i)に対する費用関数が以下のように計算される。
【0060】
C(2)(i)=W[1−R(2)(i)]
【0061】
上式で、Wは定数100である。極大R(1)(i)それぞれにつき、対応するピッチはp(1)(i)として示される。費用関数C(1)(i)は、以下のように計算される。
【0062】
C(1)(i)=W[1-R(1)(i)]+|p(1)(i)-p(2)(ki)|+C(2)(ki)
【0063】
指数kiは、以下のように選択される。
【0064】
【数9】
【0065】
上式で、lの範囲が空集合である場合は、範囲l∈[0,7]が用いられる。費用関数C(0)(i)は、C(1)(i)と同様にして計算される。予測ピッチは、以下のように選択される。
【0066】
【数10】
【0067】
元のピッチ推定値とルックアヘッドピッチとの差が15%よりも大きい場合、ルックアヘッドピッチ候補は現在のピッチとして選択される。
【0068】
現在のフレームがオフセットでもオンセットでもない場合は、ピッチ変動がチェックされる。ピッチジャンプが検出される場合、これはピッチが減少してから増加すること、または増加してから減少することを意味し、前のフレームのピッチと次のフレームのピッチとの間の補間を用いて現在のフレームのピッチが平滑化される。スーパーフレーム中の最後のフレームの場合は、次のフレームのピッチが利用可能ではなく、したがって次のフレームのピッチ値の代わりに予測ピッチ値を用いる。以上のピッチスムーザは、通常なら発生するであろう大きなピッチエラーの多くを検出し、正式な主観的品質テストにおいて著しい品質改善をもたらした。
【0069】
(2.3 バンドパスボイシングスムーザ)
MELP符号化では、入力音声は5つのサブバンドにフィルタリングされる。これらの各サブバンドについてバンドパスボイシング強度が計算され、各ボイシング強度は0と1の間の値に正規化される。続いてこれらの強度が0または1に量子化されて、バンドパスボイシング決定が得られる。量子化された低帯域(0から500Hz)ボイシング強度は、フレームの無声または有声(U/V)特性を決定する。残りの4つの帯域の2進ボイシング情報は、フレームのスペクトルのハーモニックまたはノンハーモニック特性を部分的に記述し、4ビットのコードワードで表すことができる。本発明では、バンドパスボイシングスムーザを使用して、スーパーフレーム中の各フレームに関するこの情報をよりコンパクトに記述し、この情報の時間進展をフレーム全体にわたって平滑化する。最初に、各フレームに関する残りの4つの帯域に対する4ビットのコードワード(有声の場合は1、無声の場合は0)を、許容される4つの値のうちの1つによって単一のカットオフ周波数にマッピングする。このカットオフ周波数は、有声(またはハーモニック)特性を有するより低いスペクトル領域と無声特性を有するより高い領域との間の境界をおおむね識別する。次いでスムーザは、スーパーフレーム中の3つのカットオフ周波数を修正して、フレームのスペクトル特性に関するより自然な時間進展を生成する。各フレーム決定に対する4ビットの2進ボイシングコードワードは、表2に示す2ビットのコードブックを使用して4つのコードワードにマッピングされる。このコードブックのエントリは、4つのカットオフ周波数、すなわち500Hz、1000Hz、2000Hz、4000Hzに相当し、これらはそれぞれ、表2に示すマッピングテーブル中の0000、1000、1100、1111の符号が付いた欄に対応する。例えば、有声フレームに関するバンドパスボイシングパターンが1001のとき、このインデックスは1000にマッピングされ、これは1000Hzのカットオフ周波数に対応する。
【0070】
現在のスーパーフレームの最初の2フレームの場合は、前のフレームと次のフレームのバンドパスボイシング情報に従ってカットオフ周波数が平滑化される。3番目のフレームにおけるカットオフ周波数は、変更されないままである。有声フレームの平均エネルギーをVEとして示す。VEの値は、先行する2つのフレームが有声である各有声フレームにおいて更新される。更新規則は以下のとおりである。
【0071】
【数11】
【0072】
フレームiの場合、現在のフレームのエネルギーをeniとして示す。5つの帯域に対するボイシング強度を、bp[k]i、k=1,...,5として示す。カットオフ周波数fiを平滑化するために、以下の3つの条件が考慮される。
【0073】
(1)前のフレームと次のフレームのカットオフ周波数が共に2000Hzよりも上の場合は、以下のプロシージャを実行する。
【0074】
(fi<2000and((eni>VE-5dB)or(bp[2]i-1>0.5andbp[3]i-1>0.5)))の場合
fi=2000Hz
【0075】
(fi<1000)の場合
fi=1000Hz
【0076】
(2)前のフレームと次のフレームのカットオフ周波数が共に1000Hzよりも上の場合は、以下のプロシージャを実行する。
(fi<1000and((eni>VE-10dB)or(bp[2]i-1>0.4)))の場合
fi=1000Hz
【0077】
(3)前のフレームと次のフレームのカットオフ周波数が共に1000Hzよりも下の場合は、以下のプロシージャを実行する。
(fi>2000and((eni<VE-5dB and bp[3]i-1<0.7)))の場合
fi=2000Hz
【0078】
(3.量子化)
(3.1 概観)
1.2kbpsコーダの送信パラメータは、2.4kbpsMELPコーダの送信パラメータと同じだが、例外として1.2kbpsコーダでは、パラメータはフレームごとに送信されるのではなく、各スーパーフレームにつき1度送信される。表1にビット割振りを示す。補間およびベクトル量子化(VQ)を用いることにより、長いブロックサイズ(スーパーフレーム)を活かした新しい量子化方式が設計された。有声および無声の音声の統計的な特性を考慮する。メモリを節約し、トランスコーディングを容易にするために、2.4kbpsMELPコーダと同じフーリエ絶対値コードブックを1.2kbpsコーダでも使用する。
【0079】
(3.2 ピッチ量子化)
ピッチパラメータは、有声フレームだけに適用可能である。3つのフレームにわたり、異なるU/Vの組合せには異なる量子化方式を用いる。本明細書では、スーパーフレームのピッチ値を量子化する方法の詳細を特定のボイシングパターンの場合について述べる。この章で述べる量子化方法は、ボイシングパターンの合同量子化で用いることができ、ピッチについては後続の章で述べる。表3に、ピッチ量子化方式を要約してある。ボイシングパターンが有声フレームを2つまたは3つ含んでいるスーパーフレーム内では、ピッチパラメータはベクトル量子化される。有声フレームを1つしか含まないボイシングパターンの場合は、MELP標準で指定されているスカラ量子化を有声フレームのピッチに適用する。各フレームが無声であるUUUボイシングパターンの場合は、ピッチ情報のためのビットは必要ない。Uは「Unvoiced(無声)」を示し、Vは「Voiced(有声)」を示すことに留意されたい。
【0080】
2.4kbps標準のピッチ分析から得られる各ピッチ値Pは、量子化前に対数値p=logPに変換される。各スーパーフレームにつき、各有声フレームに関する対数ピッチ値に等しい成分と、各無声フレームに関する0の値に等しい成分とで、ピッチベクトルが構築される。2つまたは3つの有声フレームを有するボイシングパターンの場合、ピッチベクトルは、VQ(Vector Quantization、ベクトル量子化)アルゴリズムを用いて、ピッチの進展を考慮した新しいひずみ測定値で量子化される。このアルゴリズムは、コードブック探索にピッチ差分を組み込むが、これにより、ピッチの時間進展を考慮することが可能になる。標準的なVQコードブック設計が使用される[7]。VQ符号化アルゴリズムは、コードブック探索にピッチ差分を組み込むが、これにより、VQコードブックエントリを選択する際にピッチの時間進展を考慮することが可能になる。この機能は、ピッチ軌跡をうまく追跡することの重要性の認知が動因となる。このアルゴリズムは、最良のインデックスを得るための3つのステップを有する。
【0081】
ステップ1:重み付き平方ユークリッド距離の測定を用いてM個の最良候補を選択する
【0082】
【数12】
【数13】
【0083】
また、piは量子化されていない対数ピッチであり、
【0084】
【数14】
【0085】
は量子化された対数ピッチ値である。上式は、コードブック探索において有声フレームだけが考慮されることを示している。
【0086】
ステップ2:以下の式を使用して、量子化されていない対数ピッチ値の差分を計算する
【0087】
【数15】
【0088】
i=1,2,3の場合、p0は、前のスーパーフレームの最後の対数ピッチ値である。ステップ1で選択された候補対数ピッチ値に対して、式(2)のΔpiおよびpiを
【0089】
【数16】
【0090】
でそれぞれ置き換えることによって候補の差分を計算する。
【0091】
【数17】
【0092】
はp0の量子化バージョンである。
【0093】
ステップ3:M個の最良候補から、以下の式を最小にするインデックスを選択する
【0094】
【数18】
【0095】
上式で、δはピッチ差分の寄与を制御するパラメータであり、1に設定される。
【0096】
有声フレームを1つしか含まないスーパーフレームの場合、ピッチのスカラ量子化が行われる。ピッチ値は、20から160までのサンプル範囲の99レベル均一カンタイザによって対数目盛り上で量子化される。このカンタイザは、2.4kbpsMELP標準におけるものと同じであり、99個のレベルは7ビットのピッチコードワードにマッピングされ、ハミング重み1または2を有する28個の未使用コードワードがエラー保護のために使用される。
【0097】
(3.3 ピッチおよびU/V決定の合同量子化)
各スーパーフレームに関するU/V決定およびピッチパラメータは、12ビットを使用して合同で量子化される。表4に合同量子化方式を要約してある。言い換えれば、スーパーフレームに対するボイシングパターンまたはモード(可能な8つのパターンのうちの1つ)、および3つのピッチ値のセットが、合同量子化方式への入力を形成し、その出力は12ビットワードである。続いてデコーダが、テーブルルックアップによって、この12ビットワードを特定のボイシングパターンおよび量子化された3つのピッチ値のセットにマッピングする。
【0098】
この方式では、12ビットの割振りは、3モードビット(スーパーフレーム中の3つのフレームに関するU/V決定の、可能な8つの組合せを表す)と、ピッチ値のための残りの9ビットとで構成される。この方式は、別々の6つのピッチコードブックを採用し、表4に示すように5つは9ビットを有し(すなわちそれぞれ512エントリ)、1つはスカラカンタイザである。具体的なコードブックは、量子化されたボイシングパターンを表す3ビットコードワードのビットパターンに従って決定される。したがって、まずU/Vボイシングパターンが表4に示すように3ビットコードワードに符号化され、次いでこれを用いて、示す6つのコードブックのうちの1つが選択される。次いで、選択されたコードブックによって3つのピッチ値の順序集合がベクトル量子化され、3つのピッチ値の量子化済みセットを識別する9ビットコードワードが生成される。VVV(有声−有声−有声)モードのスーパーフレームには4つのコードブックが割り当てられることに留意されたい。これは、VVVタイプのスーパーフレームにおけるピッチベクトルがそれぞれ2048個のコードワードのうちの1つによって量子化されることを意味する。スーパーフレーム中の有声フレームの数が2以上でない場合は、3ビットコードワードは000にセットされ、9ビットコードブック内で異なるモード間の区別が決定される。後者のケースは、4つのモードすなわちUUU、VUU、UVU、UUVからなることに留意されたい(Uは無声フレームを示し、Vは有声フレームを示し、3つの記号はスーパーフレーム中の3つのフレームの順序集合のボイシング状況を示す)。この場合、128個のピッチ値を有する3つのモードとピッチ値を有しない1つのモードがあるので、9ビットが利用可能であることは、モード情報ならびにピッチ値を表すのに十分すぎるほどである。
【0099】
(3.4 パリティビット)
送信エラーに対するロバスト性を向上させるために、先に3.3章で定義したスーパーフレーム中の3つのモードビット(ボイシングパターンを表す)についてパリティチェックビットが計算され、送信される。
【0100】
(3.5 LSF量子化)
表5に、線スペクトル周波数(LSF)を量子化するためのビット割振りを示すが、3つのフレームに対する元のLSFベクトルをl1、l2、l3で示してある。UUU、UUV、UVU、VUUのモードでは、無声フレームのLSFベクトルは9ビットコードブックを使用して量子化され、有声フレームのLSFベクトルは、[8]に記述されている手法に基づいて24ビット多段VQ(MSVQ)カンタイザで量子化される。
【0101】
その他のU/Vパターンの場合のLSFベクトルは、以下の前方−後方補間方式を用いて符号化される。この方式は次のように機能する。前のフレームの量子化済みLSFベクトルを
【0102】
【数19】
【0103】
で示す。まず、現在のスーパーフレーム中の最後のフレームl3を、無声フレームの場合は9ビットコードブックを使用して、あるいは有声フレームの場合は24ビットMSVQを使用して直接に
【0104】
【数20】
【0105】
に量子化する。次いで、以下の式を使用して
【0106】
【数21】
【0107】
を補間することにより、l1およびl2の予測値を得る。
【0108】
【数22】
【0109】
上式で、a1(j)およびa2(j)は補間係数である。
【0110】
MSVQ(多段ベクトル量子化)コードブックの設計は、[8]に説明されているプロシージャに従う。
【0111】
係数はコードブックに記憶され、以下のひずみ測定値を最小化することによって最良の係数が選択される。
【0112】
【数23】
【0113】
上式で、係数wi(j)は、2.4kbpsMELP標準におけるものと同じである。最良の補間係数を得た後、フレーム1および2に対する残差LSFベクトルを以下の式によって計算する。
【0114】
【数24】
【0115】
次いで、重み付き多段ベクトル量子化を用いて、20次元の残差ベクトルR=[r1(1),r1(2),...,r1(10),r2(1),r2(2),...,r2(10)]を量子化する。
【0116】
(3.6 補間コードブックの設計方法)
補間係数は次のようにして得られた。各スーパーフレームに対する最適な補間係数は、l1,l2とli1,li2の間の重み付き平均二乗誤差を最小にすることによって計算された。この結果を以下のように示すことができる。
【0117】
【数25】
【0118】
コードブック設計のための訓練データベースの各エントリは、40次元ベクトル
【0119】
【数26】
【0120】
および以下に述べる訓練プロシージャを採用する。
【0121】
このデータベースは、
【0122】
【数27】
【0123】
として示され、
【0124】
【数28】
【0125】
は40次元ベクトルである。出力コードブックはC={(a1,m,a2,m),m=0,...M−1}であり、(a1,m,a2,m)=[a1,m(1),...,a1,m(10),a2,m(1),...,a2,m(10)]は20次元ベクトルである。
【0126】
3.6.1 次に、コードブック訓練の2つの主要プロシージャについて述べる。コードブックC={(a1,m,a2,m)、m=0,...M’−1}とした場合、各データベースエントリ
【0127】
【数29】
【0128】
が特定の重心に関連付けられる。以下の式を使用して、エントリ(入力ベクトル)とコードブック中の各重心との間の誤差関数を計算する。エントリLnは、最小誤差をもたらす重心に関連付けられる。このステップは、入力ベクトルに対する区分を規定する。
【0129】
【数30】
【0130】
3.6.2 特定の区分がある場合、コードブックは更新される。N’個のデータベースエントリが重心Am=(a1,m,a2,m)に関連付けられると仮定すると、重心は、以下の式を使用して更新される。
【0131】
【数31】
【0132】
補間係数コードブックは、いくつかのコードブックサイズについて訓練およびテストされた。16個のエントリを有するコードブックが非常に効率的であることがわかった。以上のプロシージャは、ベクトル量子化および[7]に記述されているコードブック設計の一般概念に精通している技術者には容易に理解される。
【0133】
(3.7 利得量子化)
1.2kbpsコーダでは、1フレームにつき2つの利得パラメータが計算され、1スーパーフレームにつき6つの利得となる。6つの利得パラメータは、10ビットベクトルカンタイザを使用して、対数領域中で定義されるMSE基準でベクトル量子化される。
【0134】
(3.8 バンドパスボイシング量子化)
U/V決定から、合計5つの帯域のうちで最も低い帯域に対するボイシング情報が決定される。残りの4つの帯域のボイシング決定は、有声フレームだけに対して採用される。4つの帯域の2進数ボイシング決定(有声の場合は1、無声の場合は0)は、表2に示す2ビットコードブックを使用して量子化される。このプロシージャにより、各有声フレームに使用される2ビットが得られる。表6に、種々の符号化モードでバンドパスボイシング量子化に必要なビット割振りを示す。
【0135】
(3.9 フーリエ絶対値の量子化)
フーリエ絶対値ベクトルは、有声フレームだけに対して計算される。表7に、フーリエ絶対値に対する量子化プロシージャを要約してある。スーパーフレーム中の3つのフレームに関する量子化前のフーリエ絶対値ベクトルをfi、i=1,2,3として示す。f0で示してあるのは、前のスーパーフレーム中の最後のフレームのフーリエ絶対値ベクトルであり、
【0136】
【数32】
【0137】
は量子化されたベクトルfiを示し、Q(.)は、MELP標準の中で使用されるのと同じ8ビットコードブックを使用したときのフーリエ絶対値ベクトルに対するカンタイザ関数を示す。表7に示すように、スーパーフレーム中の3つのフレームに関する量子化されたフーリエ絶対値ベクトルが得られる。
【0138】
(3.10 非周期性フラグ量子化)
1.2kbpsコーダは、非周期性フラグの量子化のために1スーパーフレームにつき1ビットを使用する。2.4kbpsMELP標準では、非周期性フラグは1フレームに付き1ビットを必要とし、1スーパーフレームでは3ビットである。表8に示す量子化プロシージャを用いて、1スーパーフレームにつき1ビットに圧縮することが達成される。この表では、「J」および「−」は、それぞれ非周期性フラグがセットされている状態およびセットされていない状態を示す。
【0139】
(3.11 エラー保護)
(3.11.1 モード保護)
パリティビットの他にも、VVVモードのスーパーフレームを除いたすべてのスーパーフレーム中で利用可能な予備ビットを採用することによって、追加のモードエラー保護技法がスーパーフレームに適用される。1.2kbpsコーダは、各有声フレームに対するバンドパスボイシングの量子化のために2ビットを使用する。したがって、有声フレームを1つ有するスーパーフレームでは、2つのバンドパスボイシングビットが予備であり、これをモード保護に使用することができる。無声フレームを2つ有するスーパーフレームでは、モード保護に4ビットを使用することができる。さらに、UUUおよびVVUモードでは、LSF量子化の4ビットがモード保護に使用される。表9に、これらのモード保護ビットがどのように使用されるかを示す。モード保護は、1.1章で述べた符号化状態の保護を意味する。
【0140】
(3.11.2 UUUスーパーフレームに対する前方エラー訂正)
UUUモードでは、利得インデックスの最初の8つのMSBが2つの4ビットグループに分割され、各グループがハミング(8,4)符号で保護される。利得インデックスの残りの2ビットは、ハミング(7,4)符号で保護される。ハミング(7,4)符号はシングルビットエラーを訂正し、(8,4)符号はシングルビットエラーを訂正して、さらにダブルビットエラーも検出することに留意されたい。UUUスーパーフレーム中の各フレームに対するLSFビットは、巡回冗長検査(CRC)により、シングルビットエラーおよびダブルビットエラーを検出するCRC(13,9)符号を使用して保護される。
【0141】
(4.デコーダ)
(4.1 ビットのアンパックおよびエラー訂正)
デコーダ内では、受信されたビットがチャネルからアンパックされ、パラメータコードワードに組み立てられる。ほとんどのパラメータに対する復号プロシージャはモード(U/Vパターン)によって決まるので、ピッチおよびU/V決定に割振られた12ビットが最初に復号される。3ビットコードブック中のビットパターンが000の場合、9ビットコードワードは、UUU、UUV、UVU、VUUのモードを指定する。9ビットコードブックの符号がすべて0の場合、または1つのビットがセットされている場合は、UUUモードが使用される。符号の2つのビットがセットされている場合、またはピッチのために使用されないインデックスを指定する場合は、フレーム消去が指示される。
【0142】
U/Vパターンが復号された後、得られたモード情報は、パリティビットおよびモード保護ビットを使用してチェックされる。エラーが検出された場合はモード訂正アルゴリズムが実施される。このアルゴリズムは、パリティビットおよびモード保護ビットを使用してモードエラーの訂正を試みる。訂正不可能エラーが検出された場合は、モードエラーパターンに従って、各パラメータに異なる復号方法が適用される。さらに、パリティエラーが見つかった場合は、パラメータ平滑化フラグがセットされる。表10に訂正プロシージャを記述する。
【0143】
UUUモードでは、モード情報中にエラーがなかったと仮定すると、利得パラメータを表す2つの(8,4)ハミング符号が復号されて、シングルビットエラーが訂正され、ダブルエラーが検出される。訂正不可能エラーが検出された場合は、フレーム消去が指示される。そうでない場合は、利得のための(7,4)ハミング符号およびLSFのための(13,9)CRC(巡回冗長検査)符号が復号されて、それぞれ、シングルエラーが訂正され、シングルエラーおよびダブルエラーが検出される。CRC(13,9)符号中にエラーが見つかった場合は、前のLSFを繰り返すか近傍の正しいLSF間を補間することにより、正しくないLSFが置き換えられる。
【0144】
ハミングデコーダによって現在のスーパーフレーム中でフレーム消去が検出された場合、またはチャネルから直接に消去が信号送信された場合は、フレーム反復機構が実施される。現在のスーパーフレームのパラメータすべてが、前のスーパーフレームの最後のフレームからのパラメータで置き換わる。
【0145】
消去が検出されなかったスーパーフレームの場合、残りのパラメータが復号される。平滑化が必要な場合は、以下の式によって事後平滑化パラメータが得られる。
【0146】
【数33】
【0147】
上式で、
【0148】
【数34】
【0149】
は、それぞれ現在のフレームの復号済みパラメータ、および前のフレームの対応パラメータを表す。
【0150】
(4.2 ピッチ復号)
表4に示すように、ピッチ復号が行われる。無声フレームの場合、ピッチ値は50サンプルに設定される。
【0151】
(4.3 LSF復号)
4.4章および表5に記述するように、LSFが復号される。LSFは、昇順で、かつ最低限の分離でチェックされる。
【0152】
(4.4 利得復号)
利得インデックスを使用して、6つの利得パラメータを含むコードワードが10ビットVQ利得コードブックから取り出される。
【0153】
(4.5 バンドパスボイシングの復号)
無声フレームでは、バンドパスボイシング強度はすべて0にセットされる。有声フレームでは、Vbp1は1にセットされ、残りのボイシングパターンは表2に示すように復号される。
【0154】
(4.6 フーリエ絶対値の復号)
無声フレームのフーリエ絶対値は、1に等しくセットされる。現在のスーパーフレームの最後の有声フレームの場合は、フーリエ絶対値は直接復号される。他の有声フレームのフーリエ絶対値は、表7に示すように線形補間の反復によって生成される。
【0155】
(4.7 非周期性フラグ復号)
表8に示すように、新しいフラグから非周期性フラグが得られる。非周期性フラグが1の場合はジッタが25%に設定され、そうでない場合はジッタが0%に設定される。
【0156】
(4.8 MELP合成)
デコーダの基本構造は、MELP標準におけるものと同じだが、例外として、各ピッチ周期ごとに励起信号を生成するための新しいハーモニック合成方法が導入される。元々の2.4kbpsMELPアルゴリズムでは、フィルタリングされたパルス励起およびノイズ励起の合計として混合励起が生成される。パルス励起は、1ピッチ周期の長さの逆離散フーリエ変換(IDFT)を用いて計算され、ノイズ励起は時間領域で生成される。新しいハーモニック合成アルゴリズムでは、混合励起は完全に周波数領域で生成され、次いでこれは、逆離散フーリエ変換操作を実施して時間領域に変換される。これにより、パルスおよびノイズ励起のバンドパスフィルタリングの必要性が回避され、したがってデコーダの複雑さが低減される。
【0157】
新しいハーモニック合成プロシージャでは、周波数領域における励起は、カットオフ周波数およびフーリエ絶対値ベクトルAl、l=1,2,...,Lに基づいて各ピッチ周期ごとに生成される。カットオフ周波数は、前述のようにバンドパスボイシングパラメータから得られ、次いで、各ピッチ周期ごとに補間される。フーリエ絶対値は、MELP標準における場合と同様にして補間される。
【0158】
ピッチ長をNとして示すと、対応する基本周波数はf0=2π/Nで記述される。この場合、フーリエ絶対値ベクトルの長さはL=N/2によって得られる。経験的に導出されたアルゴリズムを採用して、以下のようにカットオフ周波数Fから2つの遷移周波数FHおよびFLが決定される。
【0159】
【数35】
【0160】
これらの遷移周波数は、2つの周波数成分インデックスVHおよびVLに相当する。VLよりも下のすべての周波数サンプルには有声モデルが使用され、VLとVHの間の周波数サンプルには混合モデルが使用され、VHよりも上の周波数サンプルには無声モデルが使用される。混合モデルを定義するために、カットオフ周波数に応じた値で利得係数gが選択される(カットオフ周波数Fが高いほど利得係数は小さくなる)。
【0161】
【数36】
【0162】
励起の周波数成分の絶対値および位相は、以下のように決定される。
【0163】
【数37】
【0164】
上式で、lは、IDFT周波数範囲の特定の周波数成分を識別するインデックスであり、φ0は、ピッチパルスがピッチ周期境界に来るのを避けるために選択される定数である。位相φRND(l)は、lの各値ごとに独立して生成される、−2πと2πの間で一様に分布する乱数である。
【0165】
言い換えれば、各ピッチ期間中の混合励起信号のスペクトルは、カットオフ周波数によって決定されるスペクトルの3つの領域を考慮することによってモデリングされ、これはFLからFHまでの遷移間隔を決定する。0からFLまでの低い領域では、フーリエ絶対値は直接にスペクトルを決定する。FHよりも上の高い領域では、フーリエ絶対値は利得係数gに応じて縮小する。FLからFHまでの遷移領域では、フーリエ絶対値は、遷移領域にわたって1からgまで下降する直線的な減少の重み係数に応じて縮小する。低い領域には線形に増加する位相が使用され、高い領域にはランダムな位相が使用される。遷移領域では、位相は、線形位相と重み付きランダム位相の合計であり、重みは遷移領域にわたって0から1まで線形に増加する。次いで、混合励起の周波数サンプルが、逆離散フーリエ変換を用いて時間領域に変換される。
【0166】
(5.トランスコーダ)
(5.1 概念)
アプリケーションによっては、異なる2つの音声符号化方式の間で相互運用できるようにすることが重要である。特に、2400bpsMELPコーダと1200bpsのスーパーフレームコーダとの間の相互運用性を可能にすることが有用である。図5Aおよび5Bのブロック図に、トランスコーダの一般的な動作を示す。図5Aのアップコンバート用トランスコーダ70中では、音声が1200bpsボコーダ74に入力され(72)、ボコーダ74の出力は1200bpsの符号化済みビットストリームであり(76)、このビットストリームは「アップトランスコーダ」78によって、2400bpsMELPデコーダ82で復号できる形の2400bpsビットストリーム80に変換され、MELPデコーダ82は合成音声84を出力する。反対に、図3Bのダウンコンバート用トランスコーダ90中では、音声が2400bpsMELPエンコーダ94に入力され(92)、MELPエンコーダ94は2400bpsビットストリーム96を「ダウントランスコーダ」98に出力し、ダウントランスコーダ98は、パラメトリックデータストリームを、1200bpsデコーダ102で復号できる1200bpsビットストリーム100に変換し、デコーダ102は合成音声104を出力する。全二重(両方向)音声通信では、相互運用性を提供するためにアップトランスコーダとダウントランスコーダの両方が必要である。
【0167】
アップトランスコーダを実現する簡単な方式は、1200bpsビットストリームを1200bpsデコーダで復号して、回復された音声信号の生ディジタル表現を入手し、次いでこれを2400bpsエンコーダで再符号化するものである。同様に、ダウントランスコーダを実現する簡単な方法は、2400bpsビットストリームを2400bpsデコーダで復号して、回復された音声信号の生ディジタル表現を入手し、次いでこれを12bpsエンコーダに再符号化するものである。アップトランスコーダおよびダウントランスコーダを実現するこの手法は、いわゆる「タンデム」符号化に対応し、音声品質がかなり劣化すること、およびトランスコーダの複雑さが必要以上に高くなることの欠点を有する。トランスコーダの効率は、タンデム符号化に関連する品質劣化の多くを回避しながら複雑さを低減する以下のトランスコーディング方法によって改善される。
【0168】
(5.2 ダウントランスコーダ)
ダウントランスコーダでは、同期化およびチャネルエラー訂正復号が行われた後、各パラメータを表すビットが、連続する3つのフレーム(スーパーフレームを構成する)それぞれに対するビットストリームから別々に抽出され、パラメータ情報のセットがパラメータバッファに記憶される。各パラメータセットは、連続する3つのフレームに関する所与のパラメータの値からなる。より低いレートのビットストリームに再符号化するために、スーパーフレームパラメータを量子化するのに用いた方法と同じ方法を、ここでも各パラメータセットに適用する。例えば、スーパーフレーム中の3つのフレームそれぞれに関するピッチおよびU/V決定が、3.2章で述べたピッチおよびU/V量子化方式にかけられる。この場合、パラメータセットは、それぞれ7ビットで表される3つのピッチ値と、それぞれ1ビットによってもたらされる3つのU/V決定とで構成され、合計24ビットとなる。これが2400bpsビットストリームから抽出され、再符号化操作によって12ビットに変換されて、スーパーフレームに関するピッチおよびボイシングを表す。このようにすれば、ダウントランスコーダはMELP分析機能を実施する必要はなく、スーパーフレームに必要な量子化操作を行うだけである。ダウントランスコーディング操作の一部として、パリティチェックビット、同期ビット、およびエラー訂正ビットを再生成しなければならないことに留意されたい。
【0169】
(5.3 アップトランスコーダ)
アップトランスコーダの場合、1200bpsの入力ビットストリームが、各スーパーフレームに関する量子化済みパラメータを含む。同期化およびエラー訂正復号を実施した後、アップトランスコーダは、スーパーフレームに関する各パラメータを表すビットを抽出し、これを、現在のスーパーフレーム中の3つのフレームそれぞれに関するこのパラメータの対応する値を別々に指定する、より多数のビットにマッピング(再符号化)する。このマッピングを行うこの方法はパラメータに依存するが、この方法について以下に述べる。スーパーフレームのフレームのパラメータがすべて決定されると、3つの音声フレームを表すビットのシーケンスが生成される。同期ビットおよびパリティビットの挿入ならびにエラー訂正符号化の後、このデータシーケンスから2400bpsビットストリームが生成される。
【0170】
以下は、スーパーフレームに対するパラメータビットを3つのフレームのそれぞれに対する別々のパラメータビットにマッピング(復号)する一般的な手法についての記述である。1200bpデコーダ中で、前述のように各パラメータに対して量子化テーブルおよびコードブックが使用される。復号動作では、1つまたは複数のパラメータを表す2進ワードを取り入れて、各パラメータに対する値、例えばコードブックに記憶されている特定のLSF値やピッチ値を出力する。これらのパラメータ値は量子化される。すなわち、2400bpsMELPコーダの量子化テーブルを採用する新しい量子化動作への入力として加えられる。この再量子化により、2400bpsMELPデコーダで復号するのに適した形でパラメータ値を表す新しい2進ワードがもたらされる。
【0171】
量子化の使用を示す例として、特定のスーパーフレームに関するピッチおよびボイシング情報を含むビットが1200bpsビットストリームから抽出され、スーパーフレーム中の3つのフレームに対する3つのボイシング(U/V)決定および3つのピッチ値に復号される。3つのボイシング決定は2進数であり、2400bpsMELPビットストリームのためのボイシングビットとして直接使用可能である(3つのフレームのそれぞれにつき1ビット)。3つのピッチ値は、それぞれをMELPピッチスカラカンタイザにかけることによって再量子化され、各ピッチ値につき7ビットワードが得られる。述べたこの発明的方法に従ったピッチ再量子化は、当業者なら多くの代替実装形態を設計することができる。
【0172】
具体的な代替形態の一つは、スーパーフレームの単一のフレームだけが有声であるときにピッチ再量子化をとばすことによって生み出すことができる。というのはこの場合、有声フレームに関するピッチ値はすでに、MELPボコーダのフォーマットと一致する量子化済みの形で指定されているからである。同様に、フーリエ絶対値についても、スーパーフレームの最後のフレームはすでにMELPフォーマットでスカラ量子化されているので、このフレームに再量子化は必要ない。ただし、スーパーフレームの他の2つのフレームに関する補間済みフーリエ絶対値は、MELP量子化方式で再量子化する必要がある。ジッタまたは非周期性フラグは、表8の最後の2つの欄を用いたテーブルルックアップによって単純に得られる。
【0173】
(6.ディジタルボコーダ端末ハードウェア)
図6に、本発明の音声符号化方法に従って動作するエンコーダおよびデコーダを備えたディジタルボコーダ端末を示す。マイクロホンMIC112は、アナログ出力信号114を提供する入力音声トランスデューサであり、アナログ出力信号114は、アナログディジタルコンバータ(A/D)116によってサンプリングされディジタル化される。得られたサンプリング済みおよびディジタル化済みの音声118は、DSPコントローラチップ120内で、音声符号化操作を符号化ブロック122中で行うことによってディジタル処理され圧縮される。符号化ブロック122は、本発明によりDSP/コントローラ内のソフトウェア中に実装される。
【0174】
ディジタル信号プロセッサ(DSP)120は、Texas Instruments TMC320C5416集積回路を例とし、音声データおよび中間データおよびパラメータを記憶するのに十分なバッファ空間を備えるランダムアクセスメモリ(RAM)を含む。DSP回路はまた、前述のように、ボコーダ動作を実施するプログラム命令を収録するための読出し専用メモリ(ROM)も含む。DSPは、本発明で述べたボコーダ動作を行うのによく適している。符号化動作から得られるビットストリーム124は、低レートのビットストリーム、Txデータストリームである。Txデータ124は、チャネルインタフェースユニット126に入り、チャネル128を介して送信される。
【0175】
受信側では、チャネル128からのデータがチャネルインタフェースユニット126に入り、チャネルインタフェースユニット126はRxビットストリーム130を出力する。Rxデータ130は、復号ブロック内の音声復号動作のセットに加えられる。これらの動作については前に述べた。得られたサンプリング済みおよびディジタル化済み音声134は、ディジタルアナログコンバータ(D/A)136に加えられる。D/Aは、再構築したアナログ音声138を出力する。再構築済みアナログ音声138は、スピーカ140に加えられるか、再構築済みの音を再生するその他のオーディオトランスデューサに加えられる。
【0176】
図6は、この発明原理を実施することのできるハードウェアの一構成を表したものである。この発明原理は、音声データの符号化および復号化に関して本明細書に述べた処理機能をサポートできる様々な形のボコーダ実装形態で実施することができる。具体的には、この発明的な実装形態の範囲に含まれる多くの変形のうちの少数でしかないが、次のようなものがある。
(a)伝送パスが従来の電話回線であるときに使用するために、音声帯域データモデムを含むチャネルインタフェースユニットを使用する。
(b)適した暗号化デバイスを介して暗号化したディジタル信号を送信に使用し、受信のために記述され、安全な伝送を実現する。この場合、暗号化ユニットもまたチャネルインタフェースユニットに含まれることになる。
(c)伝送チャネルがワイヤレス無線リンクである場合に電波で無線信号を伝送するために、無線周波モジュレータおよびデモジュレータを含むチャネルインタフェースユニットを使用する。
(d)複数の音声および/またはデータチャネルで無線信号を伝送するために、多重化および多重分離の装置を含むチャネルインタフェースユニットを使用する。この場合、複数のTxおよびRx信号がチャネルインタフェースユニットに接続されることになる。
(e)離散的コンポーネント、または離散的要素と処理要素が混合したものを採用して、DSP/コントローラの命令処理動作を置き換える。採用できる例には、プログラマブルゲートアレイ(PGA)が含まれる。本発明は、処理要素を必要とせず完全にハードウェア中で実施するようにすることもできることに留意されたい。
【0177】
この発明原理をサポートするためのハードウェアは、述べたデータ操作をサポートするだけでよい。しかし、DSP/プロセッサチップを使用するのが、現在の最新技術で音声コーダまたはボコーダを実装するのに使用される最も一般的な回路である。
【0178】
以上の記述は多くの限定を含むが、これらは本発明の範囲を限定するものと見なすべきではなく、現時点で好ましい本発明の実施形態のいくつかの例示を提供するにすぎないと見なすべきである。したがって、本発明の範囲は、添付の特許請求の範囲およびこれらの法的均等物によって決定すべきである。
【表1】
【表2】
【表3】
【表4】
【表5】
【表6】
【表7】
【表8】
【表9】
【表10】
【図面の簡単な説明】
【図1】従来の2.4kbpsMELPコーダの入力音声バッファ構造内で用いられるデータ位置の図であり、図示の各単位が音声のサンプルを示す図である。
【図2】本発明の1.2kbpsコーダの入力スーパーフレーム音声バッファ構造内で用いられるデータ位置の図であり、図示の各単位が音声のサンプルを示す図である。
【図3A】本発明の1.2kbpsエンコーダの機能ブロック図である。
【図3B】本発明の1.2kbpsデコーダの機能ブロック図である。
【図4】本発明の1.2kbpsエンコーダ内のデータ位置の図であって、本発明内でピッチスムーザパラメータを計算するための計算位置を示し、図示の各単位が音声のサンプルを示す図である。
【図5A】トランスコーダによって2400bpsストリームにアップコンバートされる1200bpsストリームの機能ブロック図である。
【図5B】トランスコーダによって1200bpsストリームにダウンコンバートされる2400bpsストリームの機能ブロック図である。
【図6】本発明による発明原理を採用したディジタルボコーダ端末内のハードウェアの機能ブロック図である。
Claims (21)
- 音声圧縮装置であって、
(a)音声データの複数のフレームを受け取るスーパーフレームバッファと、
(b)前記スーパーフレーム中に含まれるフレーム内の音声データの特性を分析して、関連する音声データパラメータのセットを生成する、フレームベースのエンコーダ分析モジュールと、
(c)前記スーパーフレームバッファ内に含まれるフレームのグループに関して前記分析モジュールから音声データパラメータを受け取り、前記音声データパラメータを量子化および符号化し、送信用の送出ディジタルビットストリームにするスーパーフレームエンコーダであって、該スーパーフレームエンコーダは、各フレームに関する多帯域ボイシング強度を決定し、該多帯域ボイシング強度から前記各フレームに対するカットオフ周波数を決定するバンドパスボイシングスムーザを備え、前記カットオフ周波数が、許容される値の所定リストからの値の1つをとる前記スーパーフレームエンコーダと
を備えることを特徴とする音声圧縮装置。 - 請求項1に記載の音声圧縮装置であって、前記分析モジュールが、線形予測コーダ、混合励起線形予測コーダ、ハーモニックコーダ、および多帯域励起コーダからなる音声エンコーダのグループから選択されることを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、前記スーパーフレームエンコーダが、ピッチスムーザ、バンドパスボイシングスムーザ、線形予測カンタイザ、ジッタカンタイザ、およびフーリエ絶対値カンタイザからなるパラメトリック処理モジュールのグループから選択される少なくとも2つのパラメトリック処理モジュールを備えることを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、前記スーパーフレームエンコーダがベクトルカンタイザを備え、スーパーフレーム内のピッチ値がピッチエラーに応答した前記ベクトルカンタイザのひずみ測定値でベクトル量子化されることを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、前記スーパーフレームエンコーダがベクトルカンタイザを備え、スーパーフレーム内のピッチ値がピッチ差分およびピッチエラーに応答した前記ベクトルカンタイザのひずみ測定値でベクトル量子化されることを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、前記スーパーフレームエンコーダが線形予測パラメータのカンタイザを備え、各線形予測パラメータにつき異なる補間係数を採用した線形予測パラメータのコードブックベースの補間によって量子化が行われ、前記カンタイザがいくつかのフレームにわたるエラー全体を最小限に抑えることを特徴とする音声圧縮装置。
- 請求項6に記載の音声圧縮装置であって、前記カンタイザが、前記コードブックベースの補間を用いて線スペクトル周波数(LSF)量子化を行うことができることを特徴とする音声圧縮装置。
- 請求項7に記載の音声圧縮装置であって、前記コードブックが、重心ベースの訓練プロシージャによる作用を受ける訓練データベースにより生成されることを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、前記スーパーフレームエンコーダがピッチスムーザを備え、複数のボイシング決定を用いてピッチ軌跡が計算されることを特徴とする音声圧縮装置。
- 請求項9に記載の音声圧縮装置であって、前記ピッチスムーザが、エネルギー、零交差レート、ピーク度、入力音声の最大相関係数、500Hzローパスフィルタにかけた音声の最大相関係数、ローパスフィルタにかけた音声のエネルギー、およびハイパスフィルタにかけた音声のエネルギーからなる波形特徴パラメータのグループから選択される少なくとも4つの波形特徴パラメータに基づいて、フレームをオンセットフレームとオフセットフレームに分類することを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、前記フレームベースのエンコーダ分析モジュールが、MELP(Mixed Excitation Linear Prediction)分析アルゴリズムを使用することを特徴とする音声圧縮装置。
- 請求項11に記載の音声圧縮装置であって、前記バンドパスボイシングスムーザが、フレームのカットオフ周波数を近隣フレームのカットオフ周波数および平均フレームエネルギーの関数として修正することによって平滑化を行うことを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、スーパーフレーム内の各フレームに対する非周期性フラグビットをスーパーフレームごとの単一ビットに圧縮する手段をさらに備え、前記ビットが前記スーパーフレーム内における有声フレームおよび無声フレームの配置に基づいて生成されることを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、前記スーパーフレームエンコーダが、パラメトリックデータをビットのセットに符号化する複数のカンタイザを備え、前記カンタイザの少なくとも1つが、補間係数を表すためにベクトル量子化を採用することを特徴とする音声圧縮装置。
- 請求項1に記載の音声圧縮装置であって、スーパーフレームが、前記スーパーフレーム内における有声フレームと無声フレームの組合せに基づいて複数の符号化状態の1つに分類され、前記符号化状態の各々が、前記スーパーフレームで用いられる異なるビット割振りに関連することを特徴とする音声圧縮装置。
- 音声圧縮装置であって、
(a)音声データの複数のフレームを受け取るスーパーフレームバッファと、
(b)前記音声データに関する音声データパラメータのセットを決定する、フレームベースの分析モジュールと、
(c)スーパーフレーム内のフレームのグループに関する量子化前の音声データパラメータを受け取るスーパーフレームエンコーダとを備え、前記スーパーフレームエンコーダが、
(i)スーパーフレームの各フレームに関するピッチおよび無声/有声決定を決定し、フレームをオンセットフレームとオフセットフレームに分類するのに必要なパラメータを抽出するピッチスムーザと、
(ii)前記スーパーフレーム内のフレームに関するバンドパスボイシング強度を決定し、各フレームに関するカットオフ周波数を決定するバンドパスボイシングスムーザと、
(iii)前記分析モジュール、前記ピッチスムーザ、および前記バンドパスボイシングスムーザから受け取ったボイシングパラメータをビットのセットに量子化し、前記ビットを送信用の送出ディジタルビットストリームに符号化するパラメータカンタイザエンコーダとを備えることを特徴とする音声圧縮装置。 - 音声デコーダ装置であって、
(a)入来したディジタルビットストリームを一連のスーパーフレームとして受け取り、前記スーパーフレームを復号および逆量子化して、フレームベースの量子化済み音声パラメータにするスーパーフレームデコーダと、
(b)前記フレームベースの量子化済み音声パラメータを受け取り、前記フレームベースの量子化済み音声パラメータを結合して合成音声出力信号にする、フレームベースのデコーダとを備え、該フレームベースのデコーダは、
(c)受け取った、複数のピッチ期間を有するパラメトリック音声データストリームをバッファリングし、前記バッファリングしたフレームデータをバッファにロードするステップと、
(d)周波数スペクトルをカットオフ周波数に基づく領域に分割することによって各ピッチ期間内の励起の推定スペクトルを構築するステップであって、
(i)各領域につきフーリエ絶対値を計算し、次いで、前記領域の少なくとも1つについて得られた計算済みフーリエ絶対値を、その領域について計算された利得係数によって増減するステップと、
(ii)各領域内の位相を計算するステップであって、前記領域の少なくとも1つについて得られた位相が重み付きランダム位相を用いて修正されているステップと、
(iii)各領域内の前記フーリエ絶対値および前記位相を、逆離散フーリエ変換を計算することによって時間領域表現に変換するステップとを含むステップと、
(e)前記時間領域表現からアナログ音声信号を生成するステップと
を備える方法を実施することを特徴とする音声デコーダ装置。 - 請求項17に記載の音声デコーダ装置であって、前記周波数スペクトルの分割に用いられる前記領域が、
(a)フーリエ絶対値が前記スペクトルを直接決定する、低い方の領域と、
(b)現在のフレームのカットオフ周波数に応じて1から0でない正の値まで下降する直線的な減少する重み係数でフーリエ絶対値が縮小される遷移領域と、
(c)現在のフレームのカットオフ周波数に応じた重み係数でフーリエ絶対値が縮小される、高い方の領域と
を備えることを特徴とする音声デコーダ装置。 - ディジタル化済み音声をパラメトリック音声データに符号化するボコーダ方法であって、
(a)ディジタル化済み音声の複数のフレームをスーパーフレームバッファにロードするステップと、
(b)パラメトリック分析によりMELP(Mixed Excitation Linear Prediction)分析アルゴリズムを使用して、スーパーフレームバッファの各フレーム内のディジタル化済み音声を符号化して、フレームベースのパラメトリック音声データを生成するステップと、
(c)スーパーフレームの各フレーム内のピッチおよびU/Vパラメータを計算することにより、フレームをオンセットフレームとオフセットフレームに分類し、音声平滑化を実施する前記分類を使用するステップと、
(d)スーパーフレームバッファ内のフレームに関するバンドパスボイシング強度パラメータを計算することにより、スーパーフレーム内の各フレームに関するカットオフ周波数を決定するステップと、
(e)スーパーフレーム内のフレームのグループに対するパラメトリック分析、フレーム分類、およびカットオフ周波数決定のステップから、スーパーフレームパラメータのセットを収集するステップと、
(f)スーパーフレームパラメータを量子化して、量子化済みスーパーフレームパラメータデータを形成する削減されたデータビットのセットによって表される離散的な値にするステップと、
(g)量子化したスーパーフレームパラメータデータを、スーパーフレームベースのパラメトリック音声データのデータストリームに符号化するステップであって、該データストリームは、フレームベースのパラメトリック音声データとほぼ同等の音声情報を含み、しかもなお符号化済み音声の秒あたりのビットレートがより低いステップと
を備えることを特徴とする方法。 - スーパーフレームベースのパラメトリック音声データからディジタル化済み音声を生成するボコーダ方法であって、
(a)スーパーフレームバッファ中でスーパーフレームベースのパラメトリック音声データを受け取るステップと、
(b)前記スーパーフレームバッファ内の前記音声データを復号および逆量子化して、フレームベースの音声パラメータ値のセットを再生するステップと、
(c)前記フレームベースの音声パラメータを復号するフレームベースの音声シンセサイザによって、前記フレームベースの音声パラメータを復号するステップとを備え、
前記フレームベースの音声パラメータを復号するステップは、
(d)受け取った、複数のピッチ期間を有するパラメトリック音声データストリームをバッファリングし、前記バッファリングしたフレームデータをバッファにロードするステップと、
(e)周波数スペクトルをカットオフ周波数に基づく領域に分割することによって各ピッチ期間内の励起の推定スペクトルを構築するステップであって、
(i)各領域につきフーリエ絶対値を計算し、次いで、前記領域の少なくとも1つについて得られた計算済みフーリエ絶対値を、その領域について計算された利得係数によって増減するステップと、
(ii)各領域内の位相を計算するステップであって、前記領域の少なくとも1つについて得られた位相が重み付きランダム位相を用いて修正されているステップと、
(iii)各領域内の前記フーリエ絶対値および前記位相を、逆離散フーリエ変換を計算することによって時間領域表現に変換するステップとを含むステップと、
(f)前記時間領域表現からアナログ音声信号を生成するステップと
を備えることを特徴とする方法。 - オーディオ音声信号を符号化する方法であって、
前記オーディオ音声信号に対応する音声データの複数のフレームを含むスーパーフレームを受け取るステップと、
前記スーパーフレームにおける各フレームに関する、量子化前の音声データパラメータのセットを決定するステップと、
前記スーパーフレームにおける各フレームに関する、ピッチおよび無声/有声決定を決定し、前記スーパーフレームにおける各フレームからフレーム分類に関するパラメータを抽出するステップと、
前記スーパーフレーム内の前記フレームに関するバンドパスボイシング強度およびカットオフ周波数を決定するステップと、
前記音声データパラメータ、ピッチ、無声/有声決定、フレーム分類、バンドパスボイシング強度、およびカットオフ周波数をビットのセットに量子化し、前記ビットのセットを符号化するステップと
を備えることを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/401,068 US7315815B1 (en) | 1999-09-22 | 1999-09-22 | LPC-harmonic vocoder with superframe structure |
US09/401,068 | 1999-09-22 | ||
PCT/US2000/025869 WO2001022403A1 (en) | 1999-09-22 | 2000-09-20 | Lpc-harmonic vocoder with superframe structure |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011038935A Division JP5343098B2 (ja) | 1999-09-22 | 2011-02-24 | スーパーフレーム構造のlpcハーモニックボコーダ |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003510644A JP2003510644A (ja) | 2003-03-18 |
JP2003510644A5 JP2003510644A5 (ja) | 2008-05-29 |
JP4731775B2 true JP4731775B2 (ja) | 2011-07-27 |
Family
ID=23586142
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001525687A Expired - Fee Related JP4731775B2 (ja) | 1999-09-22 | 2000-09-20 | スーパーフレーム構造のlpcハーモニックボコーダ |
JP2011038935A Expired - Fee Related JP5343098B2 (ja) | 1999-09-22 | 2011-02-24 | スーパーフレーム構造のlpcハーモニックボコーダ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011038935A Expired - Fee Related JP5343098B2 (ja) | 1999-09-22 | 2011-02-24 | スーパーフレーム構造のlpcハーモニックボコーダ |
Country Status (9)
Country | Link |
---|---|
US (2) | US7315815B1 (ja) |
EP (1) | EP1222659B1 (ja) |
JP (2) | JP4731775B2 (ja) |
AT (1) | ATE310304T1 (ja) |
AU (1) | AU7830300A (ja) |
DE (1) | DE60024123T2 (ja) |
DK (1) | DK1222659T3 (ja) |
ES (1) | ES2250197T3 (ja) |
WO (1) | WO2001022403A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10242682B2 (en) | 2013-07-22 | 2019-03-26 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Frequency-domain audio coding supporting transform length switching |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7295974B1 (en) * | 1999-03-12 | 2007-11-13 | Texas Instruments Incorporated | Encoding in speech compression |
US6959274B1 (en) | 1999-09-22 | 2005-10-25 | Mindspeed Technologies, Inc. | Fixed rate speech compression system and method |
EP1168734A1 (en) * | 2000-06-26 | 2002-01-02 | BRITISH TELECOMMUNICATIONS public limited company | Method to reduce the distortion in a voice transmission over data networks |
US20030028386A1 (en) * | 2001-04-02 | 2003-02-06 | Zinser Richard L. | Compressed domain universal transcoder |
US7421304B2 (en) * | 2002-01-21 | 2008-09-02 | Kenwood Corporation | Audio signal processing device, signal recovering device, audio signal processing method and signal recovering method |
US8090577B2 (en) * | 2002-08-08 | 2012-01-03 | Qualcomm Incorported | Bandwidth-adaptive quantization |
WO2004090864A2 (en) * | 2003-03-12 | 2004-10-21 | The Indian Institute Of Technology, Bombay | Method and apparatus for the encoding and decoding of speech |
WO2004090870A1 (ja) * | 2003-04-04 | 2004-10-21 | Kabushiki Kaisha Toshiba | 広帯域音声を符号化または復号化するための方法及び装置 |
ATE368279T1 (de) * | 2003-05-01 | 2007-08-15 | Nokia Corp | Verfahren und vorrichtung zur quantisierung des verstärkungsfaktors in einem breitbandsprachkodierer mit variabler bitrate |
US20050049853A1 (en) * | 2003-09-01 | 2005-03-03 | Mi-Suk Lee | Frame loss concealment method and device for VoIP system |
FR2867648A1 (fr) * | 2003-12-10 | 2005-09-16 | France Telecom | Transcodage entre indices de dictionnaires multi-impulsionnels utilises en codage en compression de signaux numeriques |
US7668712B2 (en) * | 2004-03-31 | 2010-02-23 | Microsoft Corporation | Audio encoding and decoding with intra frames and adaptive forward error correction |
US20050232497A1 (en) * | 2004-04-15 | 2005-10-20 | Microsoft Corporation | High-fidelity transcoding |
FR2869151B1 (fr) * | 2004-04-19 | 2007-01-26 | Thales Sa | Procede de quantification d'un codeur de parole a tres bas debit |
AU2004319556A1 (en) * | 2004-05-17 | 2005-11-24 | Nokia Corporation | Audio encoding with different coding frame lengths |
US7596486B2 (en) * | 2004-05-19 | 2009-09-29 | Nokia Corporation | Encoding an audio signal using different audio coder modes |
JP2008503766A (ja) * | 2004-06-21 | 2008-02-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオエンコードの方法 |
WO2006028009A1 (ja) * | 2004-09-06 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | スケーラブル復号化装置および信号消失補償方法 |
US7418387B2 (en) * | 2004-11-24 | 2008-08-26 | Microsoft Corporation | Generic spelling mnemonics |
US7353010B1 (en) * | 2004-12-22 | 2008-04-01 | Atheros Communications, Inc. | Techniques for fast automatic gain control |
WO2006089055A1 (en) * | 2005-02-15 | 2006-08-24 | Bbn Technologies Corp. | Speech analyzing system with adaptive noise codebook |
US8219391B2 (en) * | 2005-02-15 | 2012-07-10 | Raytheon Bbn Technologies Corp. | Speech analyzing system with speech codebook |
JP4846712B2 (ja) * | 2005-03-14 | 2011-12-28 | パナソニック株式会社 | スケーラブル復号化装置およびスケーラブル復号化方法 |
US7848220B2 (en) * | 2005-03-29 | 2010-12-07 | Lockheed Martin Corporation | System for modeling digital pulses having specific FMOP properties |
US7177804B2 (en) | 2005-05-31 | 2007-02-13 | Microsoft Corporation | Sub-band voice codec with multi-stage codebooks and redundant coding |
US7707034B2 (en) * | 2005-05-31 | 2010-04-27 | Microsoft Corporation | Audio codec post-filter |
US7831421B2 (en) * | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
JP5100380B2 (ja) * | 2005-06-29 | 2012-12-19 | パナソニック株式会社 | スケーラブル復号装置および消失データ補間方法 |
US20070011009A1 (en) * | 2005-07-08 | 2007-01-11 | Nokia Corporation | Supporting a concatenative text-to-speech synthesis |
WO2007066771A1 (ja) * | 2005-12-09 | 2007-06-14 | Matsushita Electric Industrial Co., Ltd. | 固定符号帳探索装置および固定符号帳探索方法 |
US7805292B2 (en) * | 2006-04-21 | 2010-09-28 | Dilithium Holdings, Inc. | Method and apparatus for audio transcoding |
US8589151B2 (en) * | 2006-06-21 | 2013-11-19 | Harris Corporation | Vocoder and associated method that transcodes between mixed excitation linear prediction (MELP) vocoders with different speech frame rates |
US8239190B2 (en) | 2006-08-22 | 2012-08-07 | Qualcomm Incorporated | Time-warping frames of wideband vocoder |
US7966175B2 (en) * | 2006-10-18 | 2011-06-21 | Polycom, Inc. | Fast lattice vector quantization |
US7953595B2 (en) * | 2006-10-18 | 2011-05-31 | Polycom, Inc. | Dual-transform coding of audio signals |
US8489392B2 (en) * | 2006-11-06 | 2013-07-16 | Nokia Corporation | System and method for modeling speech spectra |
US20080162150A1 (en) * | 2006-12-28 | 2008-07-03 | Vianix Delaware, Llc | System and Method for a High Performance Audio Codec |
US7937076B2 (en) * | 2007-03-07 | 2011-05-03 | Harris Corporation | Software defined radio for loading waveform components at runtime in a software communications architecture (SCA) framework |
US8315709B2 (en) | 2007-03-26 | 2012-11-20 | Medtronic, Inc. | System and method for smoothing sampled digital signals |
CN101030377B (zh) * | 2007-04-13 | 2010-12-15 | 清华大学 | 提高声码器基音周期参数量化精度的方法 |
US8457958B2 (en) | 2007-11-09 | 2013-06-04 | Microsoft Corporation | Audio transcoder using encoder-generated side information to transcode to target bit-rate |
KR101533186B1 (ko) * | 2008-01-02 | 2015-07-02 | 인터디지탈 패튼 홀딩스, 인크 | Lte에서 cqi 보고를 위한 구성 |
EP2243251B1 (en) | 2008-02-15 | 2015-04-08 | BlackBerry Limited | Method and system for optimizing quantization for noisy channels |
CA2972808C (en) * | 2008-07-10 | 2018-12-18 | Voiceage Corporation | Multi-reference lpc filter quantization and inverse quantization device and method |
US8972828B1 (en) * | 2008-09-18 | 2015-03-03 | Compass Electro Optical Systems Ltd. | High speed interconnect protocol and method |
KR101622950B1 (ko) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 |
US8311115B2 (en) | 2009-01-29 | 2012-11-13 | Microsoft Corporation | Video encoding using previously calculated motion information |
US8396114B2 (en) * | 2009-01-29 | 2013-03-12 | Microsoft Corporation | Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming |
TWI465122B (zh) | 2009-01-30 | 2014-12-11 | Dolby Lab Licensing Corp | 自帶狀脈衝響應資料測定反向濾波器之方法 |
US8270473B2 (en) * | 2009-06-12 | 2012-09-18 | Microsoft Corporation | Motion based dynamic resolution multiple bit rate video encoding |
TWI413096B (zh) * | 2009-10-08 | 2013-10-21 | Chunghwa Picture Tubes Ltd | 適應性畫面更新率調變系統及其方法 |
KR101414305B1 (ko) * | 2009-10-20 | 2014-07-02 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 저 지연 애플리케이션들에서 사용하기 위한 오디오 신호 인코더, 오디오 신호 디코더, 오디오 콘텐츠의 인코딩된 표현을 제공하는 방법, 오디오 콘텐츠의 디코딩된 표현을 제공하는 방법 및 컴퓨터 프로그램 |
ES2374008B1 (es) * | 2009-12-21 | 2012-12-28 | Telefónica, S.A. | Codificación, modificación y síntesis de segmentos de voz. |
US8705616B2 (en) | 2010-06-11 | 2014-04-22 | Microsoft Corporation | Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures |
US9591318B2 (en) | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
TWI453733B (zh) * | 2011-12-30 | 2014-09-21 | Nyquest Corp Ltd | 音訊量化編解碼裝置及其方法 |
US9070362B2 (en) | 2011-12-30 | 2015-06-30 | Nyquest Corporation Limited | Audio quantization coding and decoding device and method thereof |
US11089343B2 (en) | 2012-01-11 | 2021-08-10 | Microsoft Technology Licensing, Llc | Capability advertisement, configuration and control for video coding and decoding |
EP2863386A1 (en) * | 2013-10-18 | 2015-04-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder |
ITBA20130077A1 (it) * | 2013-11-25 | 2015-05-26 | Cicco Luca De | Meccanismo per il controllo del bitrate di codifica in un sistema di video streaming adattivo basato su buffer di playout e sulla stima di banda. |
CN104078047B (zh) * | 2014-06-21 | 2017-06-06 | 西安邮电大学 | 基于语音多带激励编码lsp参数的量子压缩方法 |
CN107924683B (zh) * | 2015-10-15 | 2021-03-30 | 华为技术有限公司 | 正弦编码和解码的方法和装置 |
US10373608B2 (en) | 2015-10-22 | 2019-08-06 | Texas Instruments Incorporated | Time-based frequency tuning of analog-to-information feature extraction |
US10332543B1 (en) * | 2018-03-12 | 2019-06-25 | Cypress Semiconductor Corporation | Systems and methods for capturing noise for pattern recognition processing |
JP7274184B2 (ja) * | 2019-01-11 | 2023-05-16 | ネイバー コーポレーション | 話者適応型モデルを実現して合成音声信号を生成するニューラルボコーダおよびニューラルボコーダの訓練方法 |
CN111818519B (zh) * | 2020-07-16 | 2022-02-11 | 郑州信大捷安信息技术股份有限公司 | 一种端到端语音加密、解密方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5664051A (en) * | 1990-09-24 | 1997-09-02 | Digital Voice Systems, Inc. | Method and apparatus for phase synthesis for speech processing |
US5668925A (en) * | 1995-06-01 | 1997-09-16 | Martin Marietta Corporation | Low data rate speech encoder with mixed excitation |
WO2000021077A1 (fr) * | 1998-10-06 | 2000-04-13 | Thomson-Csf | Procede de quantification des parametres d'un codeur de parole |
Family Cites Families (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4969192A (en) | 1987-04-06 | 1990-11-06 | Voicecraft, Inc. | Vector adaptive predictive coder for speech and audio |
US4815134A (en) | 1987-09-08 | 1989-03-21 | Texas Instruments Incorporated | Very low rate speech encoder and decoder |
CN1062963C (zh) | 1990-04-12 | 2001-03-07 | 多尔拜实验特许公司 | 用于产生高质量声音信号的解码器和编码器 |
JPH04249300A (ja) * | 1991-02-05 | 1992-09-04 | Kokusai Electric Co Ltd | 音声符復号化方法及びその装置 |
US5255339A (en) * | 1991-07-19 | 1993-10-19 | Motorola, Inc. | Low bit rate vocoder means and method |
US5734789A (en) | 1992-06-01 | 1998-03-31 | Hughes Electronics | Voiced, unvoiced or noise modes in a CELP vocoder |
JP2746039B2 (ja) | 1993-01-22 | 1998-04-28 | 日本電気株式会社 | 音声符号化方式 |
US5717823A (en) | 1994-04-14 | 1998-02-10 | Lucent Technologies Inc. | Speech-rate modification for linear-prediction based analysis-by-synthesis speech coders |
JP3277705B2 (ja) | 1994-07-27 | 2002-04-22 | ソニー株式会社 | 情報符号化装置及び方法、並びに情報復号化装置及び方法 |
TW271524B (ja) | 1994-08-05 | 1996-03-01 | Qualcomm Inc | |
US5699477A (en) | 1994-11-09 | 1997-12-16 | Texas Instruments Incorporated | Mixed excitation linear prediction with fractional pitch |
US5751903A (en) | 1994-12-19 | 1998-05-12 | Hughes Electronics | Low rate multi-mode CELP codec that encodes line SPECTRAL frequencies utilizing an offset |
US5699485A (en) | 1995-06-07 | 1997-12-16 | Lucent Technologies Inc. | Pitch delay modification during frame erasures |
US5774837A (en) | 1995-09-13 | 1998-06-30 | Voxware, Inc. | Speech coding system and method using voicing probability determination |
US5835495A (en) | 1995-10-11 | 1998-11-10 | Microsoft Corporation | System and method for scaleable streamed audio transmission over a network |
TW321810B (ja) | 1995-10-26 | 1997-12-01 | Sony Co Ltd | |
IT1281001B1 (it) | 1995-10-27 | 1998-02-11 | Cselt Centro Studi Lab Telecom | Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio. |
US5778335A (en) | 1996-02-26 | 1998-07-07 | The Regents Of The University Of California | Method and apparatus for efficient multiband celp wideband speech and music coding and decoding |
US6041345A (en) | 1996-03-08 | 2000-03-21 | Microsoft Corporation | Active stream format for holding multiple media streams |
JP3335841B2 (ja) | 1996-05-27 | 2002-10-21 | 日本電気株式会社 | 信号符号化装置 |
US6570991B1 (en) | 1996-12-18 | 2003-05-27 | Interval Research Corporation | Multi-feature speech/music discrimination system |
US6317714B1 (en) | 1997-02-04 | 2001-11-13 | Microsoft Corporation | Controller and associated mechanical characters operable for continuously performing received control data while engaging in bidirectional communications over a single communications channel |
US6134518A (en) | 1997-03-04 | 2000-10-17 | International Business Machines Corporation | Digital audio signal coding using a CELP coder and a transform coder |
US6131084A (en) | 1997-03-14 | 2000-10-10 | Digital Voice Systems, Inc. | Dual subframe quantization of spectral magnitudes |
US6292834B1 (en) | 1997-03-14 | 2001-09-18 | Microsoft Corporation | Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network |
US6728775B1 (en) | 1997-03-17 | 2004-04-27 | Microsoft Corporation | Multiple multicasting of multimedia streams |
EP0934638B1 (en) | 1997-05-12 | 2008-10-08 | Texas Instruments Incorporated | Method and apparatus for superframe bit allocation in a discrete multitone (dmt) system |
US6009122A (en) | 1997-05-12 | 1999-12-28 | Amati Communciations Corporation | Method and apparatus for superframe bit allocation |
FI973873A (fi) * | 1997-10-02 | 1999-04-03 | Nokia Mobile Phones Ltd | Puhekoodaus |
US6263312B1 (en) | 1997-10-03 | 2001-07-17 | Alaris, Inc. | Audio compression and decompression employing subband decomposition of residual signal and distortion reduction |
US6199037B1 (en) * | 1997-12-04 | 2001-03-06 | Digital Voice Systems, Inc. | Joint quantization of speech subframe voicing metrics and fundamental frequencies |
US5870412A (en) | 1997-12-12 | 1999-02-09 | 3Com Corporation | Forward error correction system for packet based real time media |
US6351730B2 (en) | 1998-03-30 | 2002-02-26 | Lucent Technologies Inc. | Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment |
US6029126A (en) | 1998-06-30 | 2000-02-22 | Microsoft Corporation | Scalable audio coder and decoder |
US6330533B2 (en) | 1998-08-24 | 2001-12-11 | Conexant Systems, Inc. | Speech encoder adaptively applying pitch preprocessing with warping of target signal |
US6493665B1 (en) | 1998-08-24 | 2002-12-10 | Conexant Systems, Inc. | Speech classification and parameter weighting used in codebook search |
US6823303B1 (en) | 1998-08-24 | 2004-11-23 | Conexant Systems, Inc. | Speech encoder using voice activity detection in coding noise |
US6385573B1 (en) | 1998-08-24 | 2002-05-07 | Conexant Systems, Inc. | Adaptive tilt compensation for synthesized speech residual |
US6480822B2 (en) | 1998-08-24 | 2002-11-12 | Conexant Systems, Inc. | Low complexity random codebook structure |
US6438136B1 (en) | 1998-10-09 | 2002-08-20 | Microsoft Corporation | Method for scheduling time slots in a communications network channel to support on-going video transmissions |
US6289297B1 (en) | 1998-10-09 | 2001-09-11 | Microsoft Corporation | Method for reconstructing a video frame received from a video source over a communication channel |
US6310915B1 (en) | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
US6226606B1 (en) | 1998-11-24 | 2001-05-01 | Microsoft Corporation | Method and apparatus for pitch tracking |
US6311154B1 (en) | 1998-12-30 | 2001-10-30 | Nokia Mobile Phones Limited | Adaptive windows for analysis-by-synthesis CELP-type speech coding |
US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
US6460153B1 (en) | 1999-03-26 | 2002-10-01 | Microsoft Corp. | Apparatus and method for unequal error protection in multiple-description coding using overcomplete expansions |
US7117156B1 (en) | 1999-04-19 | 2006-10-03 | At&T Corp. | Method and apparatus for performing packet loss or frame erasure concealment |
US6952668B1 (en) | 1999-04-19 | 2005-10-04 | At&T Corp. | Method and apparatus for performing packet loss or frame erasure concealment |
DE19921122C1 (de) | 1999-05-07 | 2001-01-25 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals |
US6505152B1 (en) | 1999-09-03 | 2003-01-07 | Microsoft Corporation | Method and apparatus for using formant models in speech systems |
US6621935B1 (en) | 1999-12-03 | 2003-09-16 | Microsoft Corporation | System and method for robust image representation over error-prone channels |
US6732070B1 (en) | 2000-02-16 | 2004-05-04 | Nokia Mobile Phones, Ltd. | Wideband speech codec using a higher sampling rate in analysis and synthesis filtering than in excitation searching |
US6693964B1 (en) | 2000-03-24 | 2004-02-17 | Microsoft Corporation | Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image |
US6757654B1 (en) | 2000-05-11 | 2004-06-29 | Telefonaktiebolaget Lm Ericsson | Forward error correction in speech coding |
CN1202514C (zh) | 2000-11-27 | 2005-05-18 | 日本电信电话株式会社 | 编码和解码语音及其参数的方法、编码器、解码器 |
JP4063670B2 (ja) | 2001-01-19 | 2008-03-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 広帯域信号伝送システム |
US7151749B2 (en) | 2001-06-14 | 2006-12-19 | Microsoft Corporation | Method and System for providing adaptive bandwidth control for real-time communication |
US6658383B2 (en) | 2001-06-26 | 2003-12-02 | Microsoft Corporation | Method for coding speech and music signals |
US6941263B2 (en) | 2001-06-29 | 2005-09-06 | Microsoft Corporation | Frequency domain postfiltering for quality enhancement of coded speech |
US6879955B2 (en) | 2001-06-29 | 2005-04-12 | Microsoft Corporation | Signal modification based on continuous time warping for low bit rate CELP coding |
US6785645B2 (en) | 2001-11-29 | 2004-08-31 | Microsoft Corporation | Real-time speech and music classifier |
US7027982B2 (en) | 2001-12-14 | 2006-04-11 | Microsoft Corporation | Quality and rate control strategy for digital audio |
US6934677B2 (en) | 2001-12-14 | 2005-08-23 | Microsoft Corporation | Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands |
US6647366B2 (en) | 2001-12-28 | 2003-11-11 | Microsoft Corporation | Rate control strategies for speech and music coding |
US6789123B2 (en) | 2001-12-28 | 2004-09-07 | Microsoft Corporation | System and method for delivery of dynamically scalable audio/video content over a network |
US7668712B2 (en) | 2004-03-31 | 2010-02-23 | Microsoft Corporation | Audio encoding and decoding with intra frames and adaptive forward error correction |
US7831421B2 (en) | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
US7707034B2 (en) | 2005-05-31 | 2010-04-27 | Microsoft Corporation | Audio codec post-filter |
US7177804B2 (en) | 2005-05-31 | 2007-02-13 | Microsoft Corporation | Sub-band voice codec with multi-stage codebooks and redundant coding |
-
1999
- 1999-09-22 US US09/401,068 patent/US7315815B1/en not_active Expired - Fee Related
-
2000
- 2000-09-20 ES ES00968376T patent/ES2250197T3/es not_active Expired - Lifetime
- 2000-09-20 DE DE60024123T patent/DE60024123T2/de not_active Expired - Lifetime
- 2000-09-20 WO PCT/US2000/025869 patent/WO2001022403A1/en active IP Right Grant
- 2000-09-20 AU AU78303/00A patent/AU7830300A/en not_active Abandoned
- 2000-09-20 AT AT00968376T patent/ATE310304T1/de active
- 2000-09-20 DK DK00968376T patent/DK1222659T3/da active
- 2000-09-20 JP JP2001525687A patent/JP4731775B2/ja not_active Expired - Fee Related
- 2000-09-20 EP EP00968376A patent/EP1222659B1/en not_active Expired - Lifetime
-
2004
- 2004-07-20 US US10/894,854 patent/US7286982B2/en not_active Expired - Fee Related
-
2011
- 2011-02-24 JP JP2011038935A patent/JP5343098B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5664051A (en) * | 1990-09-24 | 1997-09-02 | Digital Voice Systems, Inc. | Method and apparatus for phase synthesis for speech processing |
US5668925A (en) * | 1995-06-01 | 1997-09-16 | Martin Marietta Corporation | Low data rate speech encoder with mixed excitation |
WO2000021077A1 (fr) * | 1998-10-06 | 2000-04-13 | Thomson-Csf | Procede de quantification des parametres d'un codeur de parole |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10242682B2 (en) | 2013-07-22 | 2019-03-26 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Frequency-domain audio coding supporting transform length switching |
US10984809B2 (en) | 2013-07-22 | 2021-04-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Frequency-domain audio coding supporting transform length switching |
US11862182B2 (en) | 2013-07-22 | 2024-01-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Frequency-domain audio coding supporting transform length switching |
Also Published As
Publication number | Publication date |
---|---|
US7286982B2 (en) | 2007-10-23 |
WO2001022403A1 (en) | 2001-03-29 |
JP5343098B2 (ja) | 2013-11-13 |
DE60024123T2 (de) | 2006-03-30 |
US20050075869A1 (en) | 2005-04-07 |
JP2011150357A (ja) | 2011-08-04 |
EP1222659B1 (en) | 2005-11-16 |
EP1222659A1 (en) | 2002-07-17 |
US7315815B1 (en) | 2008-01-01 |
DE60024123D1 (de) | 2005-12-22 |
AU7830300A (en) | 2001-04-24 |
JP2003510644A (ja) | 2003-03-18 |
ES2250197T3 (es) | 2006-04-16 |
ATE310304T1 (de) | 2005-12-15 |
DK1222659T3 (da) | 2006-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4731775B2 (ja) | スーパーフレーム構造のlpcハーモニックボコーダ | |
EP1202251B1 (en) | Transcoder for prevention of tandem coding of speech | |
KR100873836B1 (ko) | Celp 트랜스코딩 | |
JP4390803B2 (ja) | 可変ビットレート広帯域通話符号化におけるゲイン量子化方法および装置 | |
JP4394578B2 (ja) | 可変ビットレート通話符号化における線形予測パラメータの強力な予測ベクトル量子化方法と装置 | |
US6081776A (en) | Speech coding system and method including adaptive finite impulse response filter | |
JP4270866B2 (ja) | 非音声のスピーチの高性能の低ビット速度コード化方法および装置 | |
JP2004310088A (ja) | 半レート・ボコーダ | |
JP2006525533A5 (ja) | ||
KR20040028750A (ko) | 음성 코덱의 선스펙트럼 주파수 벡터 양자화 방법 및 시스템 | |
US20040111257A1 (en) | Transcoding apparatus and method between CELP-based codecs using bandwidth extension | |
EP1597721B1 (en) | 600 bps mixed excitation linear prediction transcoding | |
US7684978B2 (en) | Apparatus and method for transcoding between CELP type codecs having different bandwidths | |
US20090018823A1 (en) | Speech coding | |
JP4373693B2 (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
KR0155798B1 (ko) | 음성신호 부호화 및 복호화 방법 | |
JP3496618B2 (ja) | 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法 | |
US7295974B1 (en) | Encoding in speech compression | |
EP1334485B1 (en) | Speech codec and method for generating a vector codebook and encoding/decoding speech signals | |
JP3715417B2 (ja) | 音声圧縮符号化装置,音声圧縮符号化方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2000305597A (ja) | 音声圧縮のコード化 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070920 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110415 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110420 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4731775 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |