JP5343098B2 - スーパーフレーム構造のlpcハーモニックボコーダ - Google Patents
スーパーフレーム構造のlpcハーモニックボコーダ Download PDFInfo
- Publication number
- JP5343098B2 JP5343098B2 JP2011038935A JP2011038935A JP5343098B2 JP 5343098 B2 JP5343098 B2 JP 5343098B2 JP 2011038935 A JP2011038935 A JP 2011038935A JP 2011038935 A JP2011038935 A JP 2011038935A JP 5343098 B2 JP5343098 B2 JP 5343098B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- superframe
- audio data
- parameters
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 71
- 238000013139 quantization Methods 0.000 claims description 62
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 14
- 238000004891 communication Methods 0.000 abstract description 9
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000003786 synthesis reaction Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract 1
- 239000011295 pitch Substances 0.000 description 114
- 239000013598 vector Substances 0.000 description 31
- 230000005540 biological transmission Effects 0.000 description 13
- 230000005284 excitation Effects 0.000 description 13
- 230000007704 transition Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000009499 grossing Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000005311 autocorrelation function Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- FDSDTBUPSURDBL-LOFNIBRQSA-N canthaxanthin Chemical compound CC=1C(=O)CCC(C)(C)C=1/C=C/C(/C)=C/C=C/C(/C)=C/C=C/C=C(C)C=CC=C(C)C=CC1=C(C)C(=O)CCC1(C)C FDSDTBUPSURDBL-LOFNIBRQSA-N 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- OOUTWVMJGMVRQF-DOYZGLONSA-N Phoenicoxanthin Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)C(=O)C(O)CC1(C)C)C=CC=C(/C)C=CC2=C(C)C(=O)CCC2(C)C OOUTWVMJGMVRQF-DOYZGLONSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 229940008033 canthaxanthin Drugs 0.000 description 1
- 235000012682 canthaxanthin Nutrition 0.000 description 1
- 239000001659 canthaxanthin Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
Description
背景をなす以下の特許および刊行物を、角括弧内の番号(例えば[1])を使用して時々参照する。
[2] McCree et al., “A 2.4 KBIT/S MELP CODER CANDIDATE FOR THE NEW U. S. FEDERAL STANDARD”, 1996 IEEE International Conference on Acoustics, Speech, and Signal Processing Conference Proceedings, Atlanta, GA (Cat. No. 96CH35903), Vol. 1., pp. 200-203, 7-10 May 1996.
[3] Supplee, L. M. et al., “MELP: THE NEW FEDERAL STANDARD AT 2400 BPS”, 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing proceedings (Cat. No. 97CB36052), Munich, Germany, Vol. 2, pp. 21-24, April 1997.
[4] McCree, A. V. et al., “A MIXED EXCITATION LPC VOCODER MODEL FOR LOW BIT RATE SPEECH CODING”, IEEE Transactions on Speech and Audio Processing, Vol. 3, No. 4, pp. 242-250, July 1995.
[5] Specifications for the Analog to Digital Conversion of Voice by 2, 400 Bit/Second Mixed Excitation Linear Prediction FIPS, Draft document of proposed federal standard, dated May 28, 1998.
[6] U. S. Patent No. 5,699, 477.
[7] Gersho, A. et al., “VECTOR QUANTIZATION AND SIGNAL COMPRESSION”, Dordrecht, Netherlands: Kluwer Academic Publishers, 1992, xxii+732 pp.
[8] W. P. LeBlanc, et al., “EFFICIENT SEARCH AND DESIGN PROCEDURES FOR ROBUST MULTI-STAGE VQ OF LPC PARAMETERS FOR 4 KB/S SPEECH CODING” in IEEE Trans. Speech & Audio Processing, Vol. 1, pp. 272-285, Oct. 1993.
[9] Mouy, B. M.; de la Noue, P. E., “VOICE TRANSMISSION AT A VERY LOW BIT RATE ON A NOISY CHANNEL: 800 BPS VOCODER WITH ERROR PROTECTION TO 1200 BPS”, ICASSP-92: 1992 IEEE International Conference Acoustics, Speech and Signal, San Francisco, CA, USA, 23-26 March 1992, New York, NY, USA: IEEE, 1992, Vol. 2, pp. 149-152.
[10] Mouy, B.; De La Noue, P.; Goudezeune, G.“NATO STANAG 4479: A STANDARD FOR AN 800 BPS VOCODER AND CHANNEL CODING IN HF-ECCM SYSTEM”, 1995 International Conference on Acoustics, Speech, and Signal Processing. Conference Proceedings, Detroit, MI, USA, 9-12 May 1995; New York, NY, USA: IEEE, 1995, Vol. 1, pp. 480-483.
[11] Kemp, D. P.; Collura, J. S.; Tremain, T. E.“MULTI-FRAME CODING OF LPC PARAMETERS 600-800 BPS”, ICASSP 91, 1991 International Conference on Acoustics, Speech and Signal Processing, Toronto, Ont., Canada, 14-17 May 1991; New York, NY, USA: IEEE, 1991, Vol. 1, pp. 609-612.
[12] U. S. Patent No. 5,255, 339.
[13] U. S. Patent. 4,815, 134.
[14] Hardwick, J. C.; Lim, J. S., “A 4.8 KBPS MULTI-BAND EXCITATION SPEECH CODER”, ICASSP 1988 International Conference on Acoustics, Speech, and Signal, New York, NY, USA, 11-14 April 1988, New York, NY, USA: IEEE, 1988. Vol. 1, pp. 374-377.
[15] Nishiguchi, L.; Iijima, K.; Matsumoto, J, “HARMONIC VECTOR EXCITATION CODING OF SPEECH AT 2.0 KBPS”, 1997 IEEE Workshop on Speech Coding for Telecommunications Proceedings, Pocono Manor, PA, USA, 7-10 Sept. 1997, New York, NY, USA: IEEE, 1997, pp. 39-40.
[16] Nomura, T., Iwadare, M., Serizawa, M., Ozawa, K., “A BITRATE AND BANDWIDTH SCALABLE CELP CODER”, ICASSP 1998 International Conference on Acoustics, Speech, and Signal, Seattle, WA, USA, 12-15 May 1998, IEEE, 1998, Vol. 1, pp. 341-344.
(1.発明の分野)
本発明は一般にディジタル通信に関し、より詳細には、パラメトリック音声符号化および復号の方法および装置に関する。
定義として、ディジタル化された波形サンプルではなく音声パラメータを送信する音声符号化方法を記述するために用語「ボコーダ」を頻繁に使用することに留意されたい。ディジタル化波形サンプルを生成する際は、入来する波形を周期的にサンプリングしてディジタル化波形データのストリームにディジタル化するが、このストリームは、変換して元の波形とほぼ同一のアナログ波形に戻すことができる。音声パラメータを使用する音声符号化は、符号化された音声にかなり類似する音声を続いて合成できるほど十分な精度をもたらす。音声パラメータ符号化を用いると、ディジタル化波形の場合のように音声波形を正確に再生するのに十分な情報が提供されることはないことに留意されたい。しかし、波形サンプルで必要とされるレートよりも低いレートで音声を符号化することができる。
一般的に言えば、本発明は、MELPなど既存のボコーダ技法を採用して、ほぼ同じ再生音声品質を維持しながら、ビットレートを通常2分の1に大きく低減する。本発明の中では既存のボコーダ技法を利用し、したがってこれらを「ベースライン」符号化、または別法として「従来型」パラメトリック音声符号化と呼ぶ。
例示の目的で、本発明は、図2から図6までを参照しながら述べる。本明細書に開示する基本概念を逸脱することなく、装置の構成および各部の詳細は様々である場合があり、方法の具体的なステップおよびシーケンスは様々である場合があることを理解されたい。
本発明の1.2kbpsエンコーダは、従来の2.4kbpsMELPコーダ中で使用されるものと同様の分析モジュールを採用するが、ブロック、すなわち「スーパーフレーム」エンコーダを追加しており、これは、連続する3つのフレームを符号化し、送信されるパラメータをより効率的に量子化して、1.2kbpsボコーディングを実現する。本発明は1スーパーフレームにつき3フレームを使用する場合に関して述べるが、本発明の方法はその他の整数のフレームを含むスーパーフレームにも適用できることを、当業者なら理解するであろう。さらに、本発明はベースラインコーダとしてMELPを使用する場合に関して述べるが、本発明の方法はその他のハーモニックボコーダにも適用できることを、当業者なら理解するであろう。このようなボコーダは、音声フレームの分析から抽出されるパラメータのセットが類似はするが同一ではない場合があり、フレームサイズおよびビットレートが本明細書に提示する記述で用いるものとは異なる場合がある。
MELP符号化を用いるときは、低帯域ボイシング決定またはU/V決定が各フレームごとに見出され、ボイシング値が1のときは「有声」フレーム、0のときは無声フレームである。しかし本発明の1.2kbpsコーダでは、各スーパーフレームが、異なる量子化方式を採用するいくつかの符号化状態のうちの1つに分類される。状態選択は、スーパーフレームのU/Vパターンに従って行われる。チャネルビットエラーのせいでデコーダが誤った状態識別を行った場合、このスーパーフレームに対して合成音声の深刻な劣化が生じる。したがって、チャネルエラーによるエンコーダとデコーダとの状態不一致の影響を低減する技法を開発し、デコーダに統合した。比較のために、2.4kbpsMELPコーダと1.2kbpsコーダの両方に対するビット割振り方式を表1に示す。
(2.1 概観)
エンコーダの基本構造は、スーパーフレーム構造を利用するために新しいピッチスムーザおよびバンドパスボイシングスムーザが追加されたことを除いては、2.4kbpsMELPコーダ中で使用されるのと同じ分析モジュールに基づく。コーダは、2.4kbpsMELPコーダ中で使用されるのと同じ、各フレームに作用するMELP分析アルゴリズムを使用して、スーパーフレーム中の連続する3つのフレームから特徴パラメータを抽出する。ピッチおよびバンドパスボイシングパラメータは、平滑化によって向上する。この向上は、隣接する3つのフレームおよびルックアヘッドが同時に利用可能であることから可能である。このようにしてスーパーフレームに作用することにより、3つのフレームすべてに関するパラメータが量子化モジュールへの入力データとして利用可能であり、したがって、各フレームを別々に独立して量子化するときに可能となるよりも効率的な量子化ができる。
ピッチスムーザは、MELP分析モジュールからスーパーフレーム中の各フレームに関するピッチ推定値をとり、図3Aの平滑化分析モジュール26からパラメータのセットをとる。平滑化分析モジュール26は、半フレーム(11.25ミリ秒)ごとに、スーパーフレームバッファに記憶された音声サンプルを直接観測することから新しいパラメータを計算する。図4に、現在のスーパーフレーム中の9つの計算位置を示す。各計算位置は、パラメータが計算されるウィンドウの中心にある。次いで、計算されたパラメータは、追加情報としてピッチスムーザに加えられる。
dBで表したエネルギー subEnergy
零交差レート zeroCrosRate
ピーク度測定値 peakiness
入力音声の最大相関係数 corx
500Hzローパスフィルタにかけた音声の最大相関係数 lowBandCorx
ローパスフィルタにかけた音声のエネルギー lowBandEn
ハイパスフィルタにかけた音声のエネルギー highBandEn
最初に、入力音声信号は800Hzのカットオフ周波数でローパスフィルタに通され、以下のとおりとなる。
標準的なMELPでは、バンドパスボイシング分析において5つのフィルタが使用される。第1のフィルタは、実際は0〜500Hzの通過帯域のローパスフィルタである。同じフィルタを入力音声に対して使用して、ローパスフィルタにかけた信号sl(n)が生成される。次いで、(4)で定義した相関関数がsl(n)について計算される。指数の範囲は、[max(20,l−5),min(150,l+5)]に限定される。相関関数の最大値はlowBandCorxとして示す。
LPC分析モジュール中では、最初の17個の自己相関係数r(n)、n=0,...,16が計算される。自己相関係数をフィルタリングすることにより、低帯域エネルギーおよび高帯域エネルギーが得られる。
subEnergy; /* energy in dB */
zeroCorsRate; /* zero crossing rate */
peakiness; /* peakiness measurement */
corx; /* maximum correlation coefficient of input speech */
lowBandCorx; /* maximum correlation coefficient of
500Hz low pass filtered speech */
lowBandEn; /* Energy of low pass filtered speech */
highBandEn; /* Energy of high pass filtered speech */
} classStat[9];
if (classStat -> subEnergy < 30){
classy = SILENCE;
} else if (classStat -> subEnergy < 0.35*voicedEn + 0.65*silenceEn){
if ( (classStat->zeroCrosRate > 0.6) &&
((classStat->corx < 0.4) || (classStat -> lowBandCorx < 0.5)))
classy = UNVOICED;
else if ( (classStat->lowBandCorx > 0.7) ||
((classStat->lowBandCorx > 0.4) && (classStat->corx > 0.7)))
classy = VOICED;
else if ( (classStat->zeroCrosRate-classStat[-1].zeroCrosRate > 0.3) ||
(classStat->subEnergy-classStat [-1]. subEnergy > 20 ||
(classStat->peakiness > 1.6))
classy = TRANSITION;
else if ((classStat->zeroCrosRate > 0.55 ||
((classStat->highBandEn > classStat -> lowBandEn-5) &&
(classStat->zeroCrosRate > 0.4)))
classy = UNVOICED;
else classy = SILENCE;
}else{
if ( (classStat->zeroCrosRate-classStat[-1].zeroCrosRate > 0.2) ||
(classStat->subEnergy-classStat [-1]. subEnergy > 20) ||
(classStat->peakiness > 1.6)){
if ( (classStat->lowBandCorx > 0.7) || (classStat->corx > 0.8))
classy = VOICED;
else
classy = TRANSITION;
} else if (classStat -> zeroCrosRate < 0.2){
if ( (classStat->lowBandCorx > 0.5 ||
( (classStat->lowBandCorx > 0.3) && (classStat->corx > 0.6))
classy = VOICED;
else if (classStat->subEnergy > 0.7*voicedEn+0.3*silenceEn) {
if (classStat->peakiness > 1.5)
classy = TRANSITION;
else {
classy = VOICED;
}
}else{
classy = SILENCE;
}
}else if (ctassStat -> zeroCrosRate < 0.5){
if ( (classStat->lowBandCorx > 0.55 ||
( (ctassStat->lowBandCorx > 0.3) && (classStat->corx > 0.65)))
classy = VOICED;
else if ( (classStat->subEnergy < 0.4*voicedEn+0.6*silenceEn) & &
(classStat->highBandEn < classStat-> lowBandEn-10))
classy = SILENCE;
else if (classStat->peakiness > 1.4)
classy = TRANSITION;
else
classy = UNVOICED;
} else if (classStat -> zeroCrosRate < 0.7){
if ( ((classStat->lowBandCorx > 0.6) && (classStat-> corx > 0.3)) ||
((classStat->lowBandCorx > 0.4) && (classStat->corx > 0.7)))
classy = VOICED;
else if (classStat->peakiness > 1.5)
classy = TRANSITION;
else
classy = UNVOICED;
} else {
if ( ((classStat->lowBandCorx > 0.65) && (classStat->corx > 0.3)) ||
( (classStat->lowBandCorx > 0.45) && (classStat->corx > 0.7)))
classy = VOICED;
else if (classStat->peakiness > 2.0)
classy = TRANSITION;
else
classy = UNVOICED;
}
}
MELP符号化では、入力音声は5つのサブバンドにフィルタリングされる。これらの各サブバンドについてバンドパスボイシング強度が計算され、各ボイシング強度は0と1の間の値に正規化される。続いてこれらの強度が0または1に量子化されて、バンドパスボイシング決定が得られる。量子化された低帯域(0から500Hz)ボイシング強度は、フレームの無声または有声(U/V)特性を決定する。残りの4つの帯域の2進ボイシング情報は、フレームのスペクトルのハーモニックまたはノンハーモニック特性を部分的に記述し、4ビットのコードワードで表すことができる。本発明では、バンドパスボイシングスムーザを使用して、スーパーフレーム中の各フレームに関するこの情報をよりコンパクトに記述し、この情報の時間進展をフレーム全体にわたって平滑化する。最初に、各フレームに関する残りの4つの帯域に対する4ビットのコードワード(有声の場合は1、無声の場合は0)を、許容される4つの値のうちの1つによって単一のカットオフ周波数にマッピングする。このカットオフ周波数は、有声(またはハーモニック)特性を有するより低いスペクトル領域と無声特性を有するより高い領域との間の境界をおおむね識別する。次いでスムーザは、スーパーフレーム中の3つのカットオフ周波数を修正して、フレームのスペクトル特性に関するより自然な時間進展を生成する。各フレーム決定に対する4ビットの2進ボイシングコードワードは、表2に示す2ビットのコードブックを使用して4つのコードワードにマッピングされる。このコードブックのエントリは、4つのカットオフ周波数、すなわち500Hz、1000Hz、2000Hz、4000Hzに相当し、これらはそれぞれ、表2に示すマッピングテーブル中の0000、1000、1100、1111の符号が付いた欄に対応する。例えば、有声フレームに関するバンドパスボイシングパターンが1001のとき、このインデックスは1000にマッピングされ、これは1000Hzのカットオフ周波数に対応する。
fi=2000Hz
fi=1000Hz
(fi<1000and((eni>VE-10dB)or(bp[2]i-1>0.4)))の場合
fi=1000Hz
(fi>2000and((eni<VE-5dB and bp[3]i-1<0.7)))の場合
fi=2000Hz
(3.1 概観)
1.2kbpsコーダの送信パラメータは、2.4kbpsMELPコーダの送信パラメータと同じだが、例外として1.2kbpsコーダでは、パラメータはフレームごとに送信されるのではなく、各スーパーフレームにつき1度送信される。表1にビット割振りを示す。補間およびベクトル量子化(VQ)を用いることにより、長いブロックサイズ(スーパーフレーム)を活かした新しい量子化方式が設計された。有声および無声の音声の統計的な特性を考慮する。メモリを節約し、トランスコーディングを容易にするために、2.4kbpsMELPコーダと同じフーリエ絶対値コードブックを1.2kbpsコーダでも使用する。
ピッチパラメータは、有声フレームだけに適用可能である。3つのフレームにわたり、異なるU/Vの組合せには異なる量子化方式を用いる。本明細書では、スーパーフレームのピッチ値を量子化する方法の詳細を特定のボイシングパターンの場合について述べる。この章で述べる量子化方法は、ボイシングパターンの合同量子化で用いることができ、ピッチについては後続の章で述べる。表3に、ピッチ量子化方式を要約してある。ボイシングパターンが有声フレームを2つまたは3つ含んでいるスーパーフレーム内では、ピッチパラメータはベクトル量子化される。有声フレームを1つしか含まないボイシングパターンの場合は、MELP標準で指定されているスカラ量子化を有声フレームのピッチに適用する。各フレームが無声であるUUUボイシングパターンの場合は、ピッチ情報のためのビットは必要ない。Uは「Unvoiced(無声)」を示し、Vは「Voiced(有声)」を示すことに留意されたい。
各スーパーフレームに関するU/V決定およびピッチパラメータは、12ビットを使用して合同で量子化される。表4に合同量子化方式を要約してある。言い換えれば、スーパーフレームに対するボイシングパターンまたはモード(可能な8つのパターンのうちの1つ)、および3つのピッチ値のセットが、合同量子化方式への入力を形成し、その出力は12ビットワードである。続いてデコーダが、テーブルルックアップによって、この12ビットワードを特定のボイシングパターンおよび量子化された3つのピッチ値のセットにマッピングする。
送信エラーに対するロバスト性を向上させるために、先に3.3章で定義したスーパーフレーム中の3つのモードビット(ボイシングパターンを表す)についてパリティチェックビットが計算され、送信される。
表5に、線スペクトル周波数(LSF)を量子化するためのビット割振りを示すが、3つのフレームに対する元のLSFベクトルをl1、l2、l3で示してある。UUU、UUV、UVU、VUUのモードでは、無声フレームのLSFベクトルは9ビットコードブックを使用して量子化され、有声フレームのLSFベクトルは、[8]に記述されている手法に基づいて24ビット多段VQ(MSVQ)カンタイザで量子化される。
補間係数は次のようにして得られた。各スーパーフレームに対する最適な補間係数は、l1,l2とli1,li2の間の重み付き平均二乗誤差を最小にすることによって計算された。この結果を以下のように示すことができる。
1.2kbpsコーダでは、1フレームにつき2つの利得パラメータが計算され、1スーパーフレームにつき6つの利得となる。6つの利得パラメータは、10ビットベクトルカンタイザを使用して、対数領域中で定義されるMSE基準でベクトル量子化される。
U/V決定から、合計5つの帯域のうちで最も低い帯域に対するボイシング情報が決定される。残りの4つの帯域のボイシング決定は、有声フレームだけに対して採用される。4つの帯域の2進数ボイシング決定(有声の場合は1、無声の場合は0)は、表2に示す2ビットコードブックを使用して量子化される。このプロシージャにより、各有声フレームに使用される2ビットが得られる。表6に、種々の符号化モードでバンドパスボイシング量子化に必要なビット割振りを示す。
フーリエ絶対値ベクトルは、有声フレームだけに対して計算される。表7に、フーリエ絶対値に対する量子化プロシージャを要約してある。スーパーフレーム中の3つのフレームに関する量子化前のフーリエ絶対値ベクトルをfi、i=1,2,3として示す。f0で示してあるのは、前のスーパーフレーム中の最後のフレームのフーリエ絶対値ベクトルであり、
1.2kbpsコーダは、非周期性フラグの量子化のために1スーパーフレームにつき1ビットを使用する。2.4kbpsMELP標準では、非周期性フラグは1フレームに付き1ビットを必要とし、1スーパーフレームでは3ビットである。表8に示す量子化プロシージャを用いて、1スーパーフレームにつき1ビットに圧縮することが達成される。この表では、「J」および「−」は、それぞれ非周期性フラグがセットされている状態およびセットされていない状態を示す。
(3.11.1 モード保護)
パリティビットの他にも、VVVモードのスーパーフレームを除いたすべてのスーパーフレーム中で利用可能な予備ビットを採用することによって、追加のモードエラー保護技法がスーパーフレームに適用される。1.2kbpsコーダは、各有声フレームに対するバンドパスボイシングの量子化のために2ビットを使用する。したがって、有声フレームを1つ有するスーパーフレームでは、2つのバンドパスボイシングビットが予備であり、これをモード保護に使用することができる。無声フレームを2つ有するスーパーフレームでは、モード保護に4ビットを使用することができる。さらに、UUUおよびVVUモードでは、LSF量子化の4ビットがモード保護に使用される。表9に、これらのモード保護ビットがどのように使用されるかを示す。モード保護は、1.1章で述べた符号化状態の保護を意味する。
UUUモードでは、利得インデックスの最初の8つのMSBが2つの4ビットグループに分割され、各グループがハミング(8,4)符号で保護される。利得インデックスの残りの2ビットは、ハミング(7,4)符号で保護される。ハミング(7,4)符号はシングルビットエラーを訂正し、(8,4)符号はシングルビットエラーを訂正して、さらにダブルビットエラーも検出することに留意されたい。UUUスーパーフレーム中の各フレームに対するLSFビットは、巡回冗長検査(CRC)により、シングルビットエラーおよびダブルビットエラーを検出するCRC(13,9)符号を使用して保護される。
(4.1 ビットのアンパックおよびエラー訂正)
デコーダ内では、受信されたビットがチャネルからアンパックされ、パラメータコードワードに組み立てられる。ほとんどのパラメータに対する復号プロシージャはモード(U/Vパターン)によって決まるので、ピッチおよびU/V決定に割振られた12ビットが最初に復号される。3ビットコードブック中のビットパターンが000の場合、9ビットコードワードは、UUU、UUV、UVU、VUUのモードを指定する。9ビットコードブックの符号がすべて0の場合、または1つのビットがセットされている場合は、UUUモードが使用される。符号の2つのビットがセットされている場合、またはピッチのために使用されないインデックスを指定する場合は、フレーム消去が指示される。
表4に示すように、ピッチ復号が行われる。無声フレームの場合、ピッチ値は50サンプルに設定される。
4.4章および表5に記述するように、LSFが復号される。LSFは、昇順で、かつ最低限の分離でチェックされる。
利得インデックスを使用して、6つの利得パラメータを含むコードワードが10ビットVQ利得コードブックから取り出される。
無声フレームでは、バンドパスボイシング強度はすべて0にセットされる。有声フレームでは、Vbp1は1にセットされ、残りのボイシングパターンは表2に示すように復号される。
無声フレームのフーリエ絶対値は、1に等しくセットされる。現在のスーパーフレームの最後の有声フレームの場合は、フーリエ絶対値は直接復号される。他の有声フレームのフーリエ絶対値は、表7に示すように線形補間の反復によって生成される。
表8に示すように、新しいフラグから非周期性フラグが得られる。非周期性フラグが1の場合はジッタが25%に設定され、そうでない場合はジッタが0%に設定される。
デコーダの基本構造は、MELP標準におけるものと同じだが、例外として、各ピッチ周期ごとに励起信号を生成するための新しいハーモニック合成方法が導入される。元々の2.4kbpsMELPアルゴリズムでは、フィルタリングされたパルス励起およびノイズ励起の合計として混合励起が生成される。パルス励起は、1ピッチ周期の長さの逆離散フーリエ変換(IDFT)を用いて計算され、ノイズ励起は時間領域で生成される。新しいハーモニック合成アルゴリズムでは、混合励起は完全に周波数領域で生成され、次いでこれは、逆離散フーリエ変換操作を実施して時間領域に変換される。これにより、パルスおよびノイズ励起のバンドパスフィルタリングの必要性が回避され、したがってデコーダの複雑さが低減される。
(5.1 概念)
アプリケーションによっては、異なる2つの音声符号化方式の間で相互運用できるようにすることが重要である。特に、2400bpsMELPコーダと1200bpsのスーパーフレームコーダとの間の相互運用性を可能にすることが有用である。図5Aおよび5Bのブロック図に、トランスコーダの一般的な動作を示す。図5Aのアップコンバート用トランスコーダ70中では、音声が1200bpsボコーダ74に入力され(72)、ボコーダ74の出力は1200bpsの符号化済みビットストリームであり(76)、このビットストリームは「アップトランスコーダ」78によって、2400bpsMELPデコーダ82で復号できる形の2400bpsビットストリーム80に変換され、MELPデコーダ82は合成音声84を出力する。反対に、図3Bのダウンコンバート用トランスコーダ90中では、音声が2400bpsMELPエンコーダ94に入力され(92)、MELPエンコーダ94は2400bpsビットストリーム96を「ダウントランスコーダ」98に出力し、ダウントランスコーダ98は、パラメトリックデータストリームを、1200bpsデコーダ102で復号できる1200bpsビットストリーム100に変換し、デコーダ102は合成音声104を出力する。全二重(両方向)音声通信では、相互運用性を提供するためにアップトランスコーダとダウントランスコーダの両方が必要である。
ダウントランスコーダでは、同期化およびチャネルエラー訂正復号が行われた後、各パラメータを表すビットが、連続する3つのフレーム(スーパーフレームを構成する)それぞれに対するビットストリームから別々に抽出され、パラメータ情報のセットがパラメータバッファに記憶される。各パラメータセットは、連続する3つのフレームに関する所与のパラメータの値からなる。より低いレートのビットストリームに再符号化するために、スーパーフレームパラメータを量子化するのに用いた方法と同じ方法を、ここでも各パラメータセットに適用する。例えば、スーパーフレーム中の3つのフレームそれぞれに関するピッチおよびU/V決定が、3.2章で述べたピッチおよびU/V量子化方式にかけられる。この場合、パラメータセットは、それぞれ7ビットで表される3つのピッチ値と、それぞれ1ビットによってもたらされる3つのU/V決定とで構成され、合計24ビットとなる。これが2400bpsビットストリームから抽出され、再符号化操作によって12ビットに変換されて、スーパーフレームに関するピッチおよびボイシングを表す。このようにすれば、ダウントランスコーダはMELP分析機能を実施する必要はなく、スーパーフレームに必要な量子化操作を行うだけである。ダウントランスコーディング操作の一部として、パリティチェックビット、同期ビット、およびエラー訂正ビットを再生成しなければならないことに留意されたい。
アップトランスコーダの場合、1200bpsの入力ビットストリームが、各スーパーフレームに関する量子化済みパラメータを含む。同期化およびエラー訂正復号を実施した後、アップトランスコーダは、スーパーフレームに関する各パラメータを表すビットを抽出し、これを、現在のスーパーフレーム中の3つのフレームそれぞれに関するこのパラメータの対応する値を別々に指定する、より多数のビットにマッピング(再符号化)する。このマッピングを行うこの方法はパラメータに依存するが、この方法について以下に述べる。スーパーフレームのフレームのパラメータがすべて決定されると、3つの音声フレームを表すビットのシーケンスが生成される。同期ビットおよびパリティビットの挿入ならびにエラー訂正符号化の後、このデータシーケンスから2400bpsビットストリームが生成される。
図6に、本発明の音声符号化方法に従って動作するエンコーダおよびデコーダを備えたディジタルボコーダ端末を示す。マイクロホンMIC112は、アナログ出力信号114を提供する入力音声トランスデューサであり、アナログ出力信号114は、アナログディジタルコンバータ(A/D)116によってサンプリングされディジタル化される。得られたサンプリング済みおよびディジタル化済みの音声118は、DSPコントローラチップ120内で、音声符号化操作を符号化ブロック122中で行うことによってディジタル処理され圧縮される。符号化ブロック122は、本発明によりDSP/コントローラ内のソフトウェア中に実装される。
(a) 伝送パスが従来の電話回線であるときに使用するために、音声帯域データモデムを含むチャネルインタフェースユニットを使用する。
(b)適した暗号化デバイスを介して暗号化したディジタル信号を送信に使用し、受信のために記述され、安全な伝送を実現する。この場合、暗号化ユニットもまたチャネルインタフェースユニットに含まれることになる。
(c)伝送チャネルがワイヤレス無線リンクである場合に電波で無線信号を伝送するために、無線周波モジュレータおよびデモジュレータを含むチャネルインタフェースユニットを使用する。
(d)複数の音声および/またはデータチャネルで無線信号を伝送するために、多重化および多重分離の装置を含むチャネルインタフェースユニットを使用する。この場合、複数のTxおよびRx信号がチャネルインタフェースユニットに接続されることになる。
(e)離散的コンポーネント、または離散的要素と処理要素が混合したものを採用して、DSP/コントローラの命令処理動作を置き換える。採用できる例には、プログラマブルゲートアレイ(PGA)が含まれる。本発明は、処理要素を必要とせず完全にハードウェア中で実施するようにすることもできることに留意されたい。
Claims (22)
- スーパーフレームベースで符号化された音声データストリームを受け取り、それをフレームベースで符号化された音声データストリームに変換するアップトランスコーダ装置であって、
(a)前記スーパーフレームベースで符号化された音声データストリームから、複数のフレームを含むスーパーフレームに関する複数のスーパーフレームパラメータを表すビットを抽出する手段と、
(b)前記複数のフレームを含むスーパーフレームに関する前記複数のスーパーフレームパラメータを表す前記ビットを収集するスーパーフレームバッファと、
(c)前記複数のスーパーフレームパラメータのうちの少なくとも一部に対するビットを、前記スーパーフレームの前記複数のフレームの各フレームに関する複数のパラメータ値に逆量子化するデコーダと、
(d)前記複数のフレームの各フレームに関する前記複数のパラメータ値をフレームベースのデータに量子化し、フレームベースで符号化された音声データストリームを生成する、フレームベースのエンコーダと、
(e)前記フレームベースで符号化された音声データストリームを出力する手段と
を備えることを特徴とするアップトランスコーダ装置。 - 請求項1に記載のアップトランスコーダ装置であって、前記複数のスーパーフレームパラメータ、および前記複数のフレームの各フレームに関する前記複数のパラメータ値は、ピッチ、ボイシング決定、および線形予測係数に関するLSF値のうちの1つまたは複数を含むことを特徴とするアップトランスコーダ装置。
- 請求項1に記載のアップトランスコーダ装置であって、前記複数のスーパーフレームパラメータのうちの1つまたは複数は、前記フレームベースで符号化された音声データストリームにおいて、前記デコーダによる逆量子化なしで、かつ、前記フレームベースのエンコーダによる量子化なしで再生され、そうすることによって、前記複数のスーパーフレームパラメータのうちの前記1つまたは複数の再量子化をとばすことを特徴とするアップトランスコーダ装置。
- 請求項3に記載のアップトランスコーダ装置であって、前記複数のスーパーフレームパラメータのうちの1つまたは複数のピッチ値は、前記フレームベースで符号化された音声データストリームにおいて、前記デコーダによる逆量子化なしで、かつ、前記フレームベースのエンコーダによる量子化なしで再生されることを特徴とするアップトランスコーダ装置。
- 請求項3に記載のアップトランスコーダ装置であって、記複数のスーパーフレームパラメータのうちの1つまたは複数のボイシング決定値は、前記フレームベースで符号化された音声データストリームにおいて、前記デコーダによる逆量子化なしで、かつ、前記フレームベースのエンコーダによる量子化なしで再生されることを特徴とするアップトランスコーダ装置。
- 請求項3に記載のアップトランスコーダ装置であって、記複数のスーパーフレームパラメータのうちの1つまたは複数のフーリエ絶対値は、前記フレームベースで符号化された音声データストリームにおいて、前記デコーダによる逆量子化なしで、かつ、前記フレームベースのエンコーダによる量子化なしで再生されることを特徴とするアップトランスコーダ装置。
- 請求項3に記載のアップトランスコーダ装置であって、記複数のスーパーフレームパラメータのうちの1つまたは複数の非周期性フラグ値は、前記フレームベースで符号化された音声データストリームにおいて、前記デコーダによる逆量子化なしで、かつ、前記フレームベースのエンコーダによる量子化なしで再生されることを特徴とするアップトランスコーダ装置。
- 請求項1に記載のアップトランスコーダ装置であって、前記デコーダはスーパーフレームMELPデコーダであり、前記フレームベースのエンコーダはMELPエンコーダであることを特徴とするアップトランスコーダ装置。
- フレームベースで符号化された音声データストリームを受け取り、それをスーパーフレームベースで符号化された音声データストリームに変換するダウントランスコーダ装置であって、
(a)前記フレームベースで符号化された音声データストリームから、パラメトリック音声データの複数のフレームに関する複数のフレームベースの音声パラメータを表すビットを抽出する手段と、
(b)前記複数のフレームに関する複数のフレームベースの音声パラメータを表す前記ビットを収集するバッファと、
(c)パラメトリック音声データの前記複数のフレームの各フレームに関する前記複数のフレームベースの音声パラメータの少なくとも一部に関する前記ビットを、前記複数のフレームの各フレームに関する複数の量子化済みパラメータ値に逆量子化するデコーダと、
(d)前記複数のフレームの各フレームに関する前記複数の量子化済みパラメータを収集し、前記複数のフレームを含むスーパーフレームに関するスーパーフレームパラメトリック音声データのセットを生成し、前記スーパーフレームパラメトリック音声データを量子化および符号化して、送出スーパーフレームベースの符号化済み音声データストリームにするスーパーフレームエンコーダと、
(e)前記スーパーフレームベースで符号化された音声データストリームを出力する手段と
を備えることを特徴とするダウントランスコーダ装置。 - 請求項9に記載のダウントランスコーダ装置であって、前記スーパーフレームパラメトリック音声データ、および前記複数のフレームの各フレームに関する前記複数のフレームベースのパラメータ値は、ピッチ、ボイシング決定、および線形予測係数に関するLSF値のうちの1つまたは複数を含むことを特徴とするダウントランスコーダ装置。
- 請求項9に記載のダウントランスコーダ装置であって、前記デコーダはMELPデコーダであり、前記スーパーフレームエンコーダはスーパーフレームMELPエンコーダであることを特徴とするダウントランスコーダ装置。
- 請求項9に記載のダウントランスコーダ装置であって、前記複数のフレームベースの音声パラメータのうちの少なくとも一部は、前記ダウントランスコーダ装置の外部のフレームベースのエンコーダによるMELP分析によって導出されたものであり、前記ダウントランスコーダ装置は、前記複数のフレームベースの音声パラメータの前記少なくとも一部に関するMELP分析を実施せずに、前記スーパーフレームパラメトリック音声データのセットを生成することを特徴とするダウントランスコーダ装置。
- スーパーフレームベースで符号化された音声データストリームを、フレームベースで符号化された音声データストリームにアップトランスコーディングする方法であって、
前記スーパーフレームベースで符号化された音声データストリームのスーパーフレームデータを受け取り、前記スーパーフレームベースで符号化された音声データストリームから、複数のフレームを含むスーパーフレームに関する複数のスーパーフレームパラメータを表すビットを抽出するステップと、
前記複数のスーパーフレームパラメータのうちの少なくとも一部に対するビットを、前記スーパーフレームの前記複数のフレームに関する複数のパラメータ値に逆量子化して、前記複数のフレームの各フレームが、前記複数のパラメータ値のセットに関連するようにするステップと、
前記複数のフレームの各フレームに関する前記複数のパラメータ値のセットを量子化し、フレームベースで符号化された音声データストリームを生成するステップと、
前記フレームベースで符号化された音声データストリームを出力するステップと
を備えることを特徴とする方法。 - 請求項13に記載の方法であって、前記複数のスーパーフレームパラメータ、および前記複数のフレームの各フレームに関する前記複数のパラメータ値は、ピッチ、ボイシング決定、および線形予測係数に関するLSF値のうちの1つまたは複数を含むことを特徴とする方法。
- 請求項13に記載の方法であって、前記複数のスーパーフレームパラメータのうちの1つまたは複数は、前記フレームベースで符号化された音声データストリームにおいて、逆量子化および量子化なしで再生され、そうすることによって、前記複数のスーパーフレームパラメータのうちの前記1つまたは複数の再量子化をとばすことを特徴とする方法。
- 請求項15に記載の方法であって、前記複数のスーパーフレームパラメータのうちの1つまたは複数のピッチ値は、前記フレームベースで符号化された音声データストリームにおいて、逆量子化および量子化なしで再生されることを特徴とする方法。
- 請求項15に記載の方法であって、前記複数のスーパーフレームパラメータのうちの1つまたは複数のボイシング決定値は、前記フレームベースで符号化された音声データストリームにおいて、逆量子化および量子化なしで再生されることを特徴とする方法。
- 請求項15に記載の方法であって、前記複数のスーパーフレームパラメータのうちの1つまたは複数のフーリエ絶対値は、前記フレームベースで符号化された音声データストリームにおいて、逆量子化および量子化なしで再生されることを特徴とする方法。
- 請求項15に記載の方法であって、前記複数のスーパーフレームパラメータのうちの1つまたは複数の非周期性フラグ値は、前記フレームベースで符号化された音声データストリームにおいて、逆量子化および量子化なしで再生されることを特徴とする方法。
- フレームベースで符号化された音声データストリームを、スーパーフレームベースで符号化された音声データストリームにダウントランスコーディングする方法であって、
前記フレームベースで符号化された音声データストリームのフレームベースのパラメトリック音声データの複数のフレームを受け取り、前記フレームベースで符号化された音声データストリームから、前記複数のフレームに関する複数のフレームベースの量子化済み音声パラメータを表すビットを抽出するステップと、
前記複数のフレームベースの音声パラメータの少なくとも一部を、前記複数のフレームの各フレームに関する複数のパラメータ値のセットに逆量子化するステップと、
前記複数のフレームに関する前記複数のパラメータ値を、前記複数のフレームを含むスーパーフレームに関するスーパーフレームベースのパラメトリック音声データに量子化して、スーパーフレームベースで符号化された音声データストリームを生成するステップと、
前記スーパーフレームベースで符号化された音声データストリームを出力するステップと
を備えることを特徴とする方法。 - 請求項20に記載の方法であって、前記スーパーフレームベースのパラメトリック音声データ、および前記複数のフレームの各フレームに関する前記複数のパラメータ値は、ピッチ、ボイシング決定、および線形予測係数に関するLSF値のうちの1つまたは複数を含むことを特徴とする方法。
- 請求項20に記載の方法であって、前記複数のフレームベースの音声パラメータのうちの少なくとも一部は、ダウントランスコーダ装置の外部のフレームベースのエンコーダによるMELP分析によって導出されたものであり、前記ダウントランスコーダ装置は、前記複数のフレームベースの音声パラメータの前記少なくとも一部に関するMELP分析を実施せずに、前記スーパーフレームベースのパラメトリック音声データのセットを生成することを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/401,068 US7315815B1 (en) | 1999-09-22 | 1999-09-22 | LPC-harmonic vocoder with superframe structure |
US09/401,068 | 1999-09-22 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001525687A Division JP4731775B2 (ja) | 1999-09-22 | 2000-09-20 | スーパーフレーム構造のlpcハーモニックボコーダ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011150357A JP2011150357A (ja) | 2011-08-04 |
JP5343098B2 true JP5343098B2 (ja) | 2013-11-13 |
Family
ID=23586142
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001525687A Expired - Fee Related JP4731775B2 (ja) | 1999-09-22 | 2000-09-20 | スーパーフレーム構造のlpcハーモニックボコーダ |
JP2011038935A Expired - Fee Related JP5343098B2 (ja) | 1999-09-22 | 2011-02-24 | スーパーフレーム構造のlpcハーモニックボコーダ |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001525687A Expired - Fee Related JP4731775B2 (ja) | 1999-09-22 | 2000-09-20 | スーパーフレーム構造のlpcハーモニックボコーダ |
Country Status (9)
Country | Link |
---|---|
US (2) | US7315815B1 (ja) |
EP (1) | EP1222659B1 (ja) |
JP (2) | JP4731775B2 (ja) |
AT (1) | ATE310304T1 (ja) |
AU (1) | AU7830300A (ja) |
DE (1) | DE60024123T2 (ja) |
DK (1) | DK1222659T3 (ja) |
ES (1) | ES2250197T3 (ja) |
WO (1) | WO2001022403A1 (ja) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7295974B1 (en) * | 1999-03-12 | 2007-11-13 | Texas Instruments Incorporated | Encoding in speech compression |
US6959274B1 (en) * | 1999-09-22 | 2005-10-25 | Mindspeed Technologies, Inc. | Fixed rate speech compression system and method |
EP1168734A1 (en) * | 2000-06-26 | 2002-01-02 | BRITISH TELECOMMUNICATIONS public limited company | Method to reduce the distortion in a voice transmission over data networks |
US20030028386A1 (en) | 2001-04-02 | 2003-02-06 | Zinser Richard L. | Compressed domain universal transcoder |
US7421304B2 (en) * | 2002-01-21 | 2008-09-02 | Kenwood Corporation | Audio signal processing device, signal recovering device, audio signal processing method and signal recovering method |
US8090577B2 (en) * | 2002-08-08 | 2012-01-03 | Qualcomm Incorported | Bandwidth-adaptive quantization |
WO2004090864A2 (en) * | 2003-03-12 | 2004-10-21 | The Indian Institute Of Technology, Bombay | Method and apparatus for the encoding and decoding of speech |
WO2004090870A1 (ja) * | 2003-04-04 | 2004-10-21 | Kabushiki Kaisha Toshiba | 広帯域音声を符号化または復号化するための方法及び装置 |
DE602004007786T2 (de) * | 2003-05-01 | 2008-04-30 | Nokia Corp. | Verfahren und vorrichtung zur quantisierung des verstärkungsfaktors in einem breitbandsprachkodierer mit variabler bitrate |
US20050049853A1 (en) * | 2003-09-01 | 2005-03-03 | Mi-Suk Lee | Frame loss concealment method and device for VoIP system |
FR2867648A1 (fr) * | 2003-12-10 | 2005-09-16 | France Telecom | Transcodage entre indices de dictionnaires multi-impulsionnels utilises en codage en compression de signaux numeriques |
US7668712B2 (en) * | 2004-03-31 | 2010-02-23 | Microsoft Corporation | Audio encoding and decoding with intra frames and adaptive forward error correction |
US20050232497A1 (en) * | 2004-04-15 | 2005-10-20 | Microsoft Corporation | High-fidelity transcoding |
FR2869151B1 (fr) * | 2004-04-19 | 2007-01-26 | Thales Sa | Procede de quantification d'un codeur de parole a tres bas debit |
AU2004319556A1 (en) * | 2004-05-17 | 2005-11-24 | Nokia Corporation | Audio encoding with different coding frame lengths |
US7596486B2 (en) * | 2004-05-19 | 2009-09-29 | Nokia Corporation | Encoding an audio signal using different audio coder modes |
WO2006000951A1 (en) * | 2004-06-21 | 2006-01-05 | Koninklijke Philips Electronics N.V. | Method of audio encoding |
US7895035B2 (en) * | 2004-09-06 | 2011-02-22 | Panasonic Corporation | Scalable decoding apparatus and method for concealing lost spectral parameters |
US7418387B2 (en) * | 2004-11-24 | 2008-08-26 | Microsoft Corporation | Generic spelling mnemonics |
US7353010B1 (en) * | 2004-12-22 | 2008-04-01 | Atheros Communications, Inc. | Techniques for fast automatic gain control |
US8219391B2 (en) * | 2005-02-15 | 2012-07-10 | Raytheon Bbn Technologies Corp. | Speech analyzing system with speech codebook |
US7797156B2 (en) * | 2005-02-15 | 2010-09-14 | Raytheon Bbn Technologies Corp. | Speech analyzing system with adaptive noise codebook |
JP4846712B2 (ja) * | 2005-03-14 | 2011-12-28 | パナソニック株式会社 | スケーラブル復号化装置およびスケーラブル復号化方法 |
US7848220B2 (en) * | 2005-03-29 | 2010-12-07 | Lockheed Martin Corporation | System for modeling digital pulses having specific FMOP properties |
US7831421B2 (en) * | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
US7707034B2 (en) * | 2005-05-31 | 2010-04-27 | Microsoft Corporation | Audio codec post-filter |
US7177804B2 (en) | 2005-05-31 | 2007-02-13 | Microsoft Corporation | Sub-band voice codec with multi-stage codebooks and redundant coding |
WO2007000988A1 (ja) * | 2005-06-29 | 2007-01-04 | Matsushita Electric Industrial Co., Ltd. | スケーラブル復号装置および消失データ補間方法 |
US20070011009A1 (en) * | 2005-07-08 | 2007-01-11 | Nokia Corporation | Supporting a concatenative text-to-speech synthesis |
US8352254B2 (en) * | 2005-12-09 | 2013-01-08 | Panasonic Corporation | Fixed code book search device and fixed code book search method |
WO2007124485A2 (en) * | 2006-04-21 | 2007-11-01 | Dilithium Networks Pty Ltd. | Method and apparatus for audio transcoding |
US8589151B2 (en) * | 2006-06-21 | 2013-11-19 | Harris Corporation | Vocoder and associated method that transcodes between mixed excitation linear prediction (MELP) vocoders with different speech frame rates |
US8239190B2 (en) | 2006-08-22 | 2012-08-07 | Qualcomm Incorporated | Time-warping frames of wideband vocoder |
US7953595B2 (en) * | 2006-10-18 | 2011-05-31 | Polycom, Inc. | Dual-transform coding of audio signals |
US7966175B2 (en) * | 2006-10-18 | 2011-06-21 | Polycom, Inc. | Fast lattice vector quantization |
US8489392B2 (en) | 2006-11-06 | 2013-07-16 | Nokia Corporation | System and method for modeling speech spectra |
US20080162150A1 (en) * | 2006-12-28 | 2008-07-03 | Vianix Delaware, Llc | System and Method for a High Performance Audio Codec |
US7937076B2 (en) * | 2007-03-07 | 2011-05-03 | Harris Corporation | Software defined radio for loading waveform components at runtime in a software communications architecture (SCA) framework |
US8315709B2 (en) | 2007-03-26 | 2012-11-20 | Medtronic, Inc. | System and method for smoothing sampled digital signals |
CN101030377B (zh) * | 2007-04-13 | 2010-12-15 | 清华大学 | 提高声码器基音周期参数量化精度的方法 |
US8457958B2 (en) | 2007-11-09 | 2013-06-04 | Microsoft Corporation | Audio transcoder using encoder-generated side information to transcode to target bit-rate |
KR20140049012A (ko) * | 2008-01-02 | 2014-04-24 | 인터디지탈 패튼 홀딩스, 인크 | Lte에서 cqi 보고를 위한 구성 |
WO2009100535A1 (en) | 2008-02-15 | 2009-08-20 | Research In Motion Limited | Method and system for optimizing quantization for noisy channels |
CN102089810B (zh) * | 2008-07-10 | 2013-05-08 | 沃伊斯亚吉公司 | 多基准线性预测系数滤波器量化和逆量化设备及方法 |
US8972828B1 (en) * | 2008-09-18 | 2015-03-03 | Compass Electro Optical Systems Ltd. | High speed interconnect protocol and method |
KR101622950B1 (ko) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 |
US8396114B2 (en) * | 2009-01-29 | 2013-03-12 | Microsoft Corporation | Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming |
US8311115B2 (en) | 2009-01-29 | 2012-11-13 | Microsoft Corporation | Video encoding using previously calculated motion information |
TWI465122B (zh) | 2009-01-30 | 2014-12-11 | Dolby Lab Licensing Corp | 自帶狀脈衝響應資料測定反向濾波器之方法 |
US8270473B2 (en) * | 2009-06-12 | 2012-09-18 | Microsoft Corporation | Motion based dynamic resolution multiple bit rate video encoding |
TWI413096B (zh) * | 2009-10-08 | 2013-10-21 | Chunghwa Picture Tubes Ltd | 適應性畫面更新率調變系統及其方法 |
BR122020024236B1 (pt) * | 2009-10-20 | 2021-09-14 | Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E. V. | Codificador de sinal de áudio, decodificador de sinal de áudio, método para prover uma representação codificada de um conteúdo de áudio, método para prover uma representação decodificada de um conteúdo de áudio e programa de computador para uso em aplicações de baixo retardamento |
ES2374008B1 (es) * | 2009-12-21 | 2012-12-28 | Telefónica, S.A. | Codificación, modificación y síntesis de segmentos de voz. |
US8705616B2 (en) | 2010-06-11 | 2014-04-22 | Microsoft Corporation | Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures |
US9591318B2 (en) | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
US9070362B2 (en) | 2011-12-30 | 2015-06-30 | Nyquest Corporation Limited | Audio quantization coding and decoding device and method thereof |
TWI453733B (zh) * | 2011-12-30 | 2014-09-21 | Nyquest Corp Ltd | 音訊量化編解碼裝置及其方法 |
US11089343B2 (en) | 2012-01-11 | 2021-08-10 | Microsoft Technology Licensing, Llc | Capability advertisement, configuration and control for video coding and decoding |
EP2830058A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Frequency-domain audio coding supporting transform length switching |
EP2863386A1 (en) * | 2013-10-18 | 2015-04-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder |
ITBA20130077A1 (it) * | 2013-11-25 | 2015-05-26 | Cicco Luca De | Meccanismo per il controllo del bitrate di codifica in un sistema di video streaming adattivo basato su buffer di playout e sulla stima di banda. |
CN104078047B (zh) * | 2014-06-21 | 2017-06-06 | 西安邮电大学 | 基于语音多带激励编码lsp参数的量子压缩方法 |
WO2017064264A1 (en) | 2015-10-15 | 2017-04-20 | Huawei Technologies Co., Ltd. | Method and appratus for sinusoidal encoding and decoding |
US10373608B2 (en) * | 2015-10-22 | 2019-08-06 | Texas Instruments Incorporated | Time-based frequency tuning of analog-to-information feature extraction |
US10332543B1 (en) * | 2018-03-12 | 2019-06-25 | Cypress Semiconductor Corporation | Systems and methods for capturing noise for pattern recognition processing |
WO2020145472A1 (ko) * | 2019-01-11 | 2020-07-16 | 네이버 주식회사 | 화자 적응형 모델을 구현하고 합성 음성 신호를 생성하는 뉴럴 보코더 및 뉴럴 보코더의 훈련 방법 |
CN111818519B (zh) * | 2020-07-16 | 2022-02-11 | 郑州信大捷安信息技术股份有限公司 | 一种端到端语音加密、解密方法及系统 |
Family Cites Families (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4969192A (en) | 1987-04-06 | 1990-11-06 | Voicecraft, Inc. | Vector adaptive predictive coder for speech and audio |
US4815134A (en) | 1987-09-08 | 1989-03-21 | Texas Instruments Incorporated | Very low rate speech encoder and decoder |
CN1062963C (zh) | 1990-04-12 | 2001-03-07 | 多尔拜实验特许公司 | 用于产生高质量声音信号的解码器和编码器 |
US5664051A (en) * | 1990-09-24 | 1997-09-02 | Digital Voice Systems, Inc. | Method and apparatus for phase synthesis for speech processing |
JPH04249300A (ja) * | 1991-02-05 | 1992-09-04 | Kokusai Electric Co Ltd | 音声符復号化方法及びその装置 |
US5255339A (en) * | 1991-07-19 | 1993-10-19 | Motorola, Inc. | Low bit rate vocoder means and method |
US5734789A (en) | 1992-06-01 | 1998-03-31 | Hughes Electronics | Voiced, unvoiced or noise modes in a CELP vocoder |
JP2746039B2 (ja) | 1993-01-22 | 1998-04-28 | 日本電気株式会社 | 音声符号化方式 |
US5717823A (en) | 1994-04-14 | 1998-02-10 | Lucent Technologies Inc. | Speech-rate modification for linear-prediction based analysis-by-synthesis speech coders |
JP3277705B2 (ja) | 1994-07-27 | 2002-04-22 | ソニー株式会社 | 情報符号化装置及び方法、並びに情報復号化装置及び方法 |
TW271524B (ja) | 1994-08-05 | 1996-03-01 | Qualcomm Inc | |
US5699477A (en) | 1994-11-09 | 1997-12-16 | Texas Instruments Incorporated | Mixed excitation linear prediction with fractional pitch |
US5751903A (en) | 1994-12-19 | 1998-05-12 | Hughes Electronics | Low rate multi-mode CELP codec that encodes line SPECTRAL frequencies utilizing an offset |
US5668925A (en) | 1995-06-01 | 1997-09-16 | Martin Marietta Corporation | Low data rate speech encoder with mixed excitation |
US5699485A (en) | 1995-06-07 | 1997-12-16 | Lucent Technologies Inc. | Pitch delay modification during frame erasures |
US5774837A (en) | 1995-09-13 | 1998-06-30 | Voxware, Inc. | Speech coding system and method using voicing probability determination |
US5835495A (en) | 1995-10-11 | 1998-11-10 | Microsoft Corporation | System and method for scaleable streamed audio transmission over a network |
TW321810B (ja) | 1995-10-26 | 1997-12-01 | Sony Co Ltd | |
IT1281001B1 (it) | 1995-10-27 | 1998-02-11 | Cselt Centro Studi Lab Telecom | Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio. |
US5778335A (en) | 1996-02-26 | 1998-07-07 | The Regents Of The University Of California | Method and apparatus for efficient multiband celp wideband speech and music coding and decoding |
US6041345A (en) | 1996-03-08 | 2000-03-21 | Microsoft Corporation | Active stream format for holding multiple media streams |
JP3335841B2 (ja) | 1996-05-27 | 2002-10-21 | 日本電気株式会社 | 信号符号化装置 |
US6570991B1 (en) | 1996-12-18 | 2003-05-27 | Interval Research Corporation | Multi-feature speech/music discrimination system |
US6317714B1 (en) | 1997-02-04 | 2001-11-13 | Microsoft Corporation | Controller and associated mechanical characters operable for continuously performing received control data while engaging in bidirectional communications over a single communications channel |
US6134518A (en) | 1997-03-04 | 2000-10-17 | International Business Machines Corporation | Digital audio signal coding using a CELP coder and a transform coder |
US6292834B1 (en) | 1997-03-14 | 2001-09-18 | Microsoft Corporation | Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network |
US6131084A (en) * | 1997-03-14 | 2000-10-10 | Digital Voice Systems, Inc. | Dual subframe quantization of spectral magnitudes |
US6728775B1 (en) | 1997-03-17 | 2004-04-27 | Microsoft Corporation | Multiple multicasting of multimedia streams |
US6009122A (en) | 1997-05-12 | 1999-12-28 | Amati Communciations Corporation | Method and apparatus for superframe bit allocation |
CN1117459C (zh) | 1997-05-12 | 2003-08-06 | 阿马提通信有限公司 | 超帧比特分配方法和系统 |
FI973873A (fi) * | 1997-10-02 | 1999-04-03 | Nokia Mobile Phones Ltd | Puhekoodaus |
US6263312B1 (en) | 1997-10-03 | 2001-07-17 | Alaris, Inc. | Audio compression and decompression employing subband decomposition of residual signal and distortion reduction |
US6199037B1 (en) * | 1997-12-04 | 2001-03-06 | Digital Voice Systems, Inc. | Joint quantization of speech subframe voicing metrics and fundamental frequencies |
US5870412A (en) | 1997-12-12 | 1999-02-09 | 3Com Corporation | Forward error correction system for packet based real time media |
AU3372199A (en) | 1998-03-30 | 1999-10-18 | Voxware, Inc. | Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment |
US6029126A (en) | 1998-06-30 | 2000-02-22 | Microsoft Corporation | Scalable audio coder and decoder |
US6480822B2 (en) | 1998-08-24 | 2002-11-12 | Conexant Systems, Inc. | Low complexity random codebook structure |
US6385573B1 (en) | 1998-08-24 | 2002-05-07 | Conexant Systems, Inc. | Adaptive tilt compensation for synthesized speech residual |
US6823303B1 (en) | 1998-08-24 | 2004-11-23 | Conexant Systems, Inc. | Speech encoder using voice activity detection in coding noise |
US6330533B2 (en) | 1998-08-24 | 2001-12-11 | Conexant Systems, Inc. | Speech encoder adaptively applying pitch preprocessing with warping of target signal |
US6493665B1 (en) | 1998-08-24 | 2002-12-10 | Conexant Systems, Inc. | Speech classification and parameter weighting used in codebook search |
FR2784218B1 (fr) * | 1998-10-06 | 2000-12-08 | Thomson Csf | Procede de codage de la parole a bas debit |
US6438136B1 (en) | 1998-10-09 | 2002-08-20 | Microsoft Corporation | Method for scheduling time slots in a communications network channel to support on-going video transmissions |
US6289297B1 (en) | 1998-10-09 | 2001-09-11 | Microsoft Corporation | Method for reconstructing a video frame received from a video source over a communication channel |
US6310915B1 (en) | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
US6226606B1 (en) | 1998-11-24 | 2001-05-01 | Microsoft Corporation | Method and apparatus for pitch tracking |
US6311154B1 (en) | 1998-12-30 | 2001-10-30 | Nokia Mobile Phones Limited | Adaptive windows for analysis-by-synthesis CELP-type speech coding |
US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
US6460153B1 (en) | 1999-03-26 | 2002-10-01 | Microsoft Corp. | Apparatus and method for unequal error protection in multiple-description coding using overcomplete expansions |
US6952668B1 (en) | 1999-04-19 | 2005-10-04 | At&T Corp. | Method and apparatus for performing packet loss or frame erasure concealment |
US7117156B1 (en) | 1999-04-19 | 2006-10-03 | At&T Corp. | Method and apparatus for performing packet loss or frame erasure concealment |
DE19921122C1 (de) | 1999-05-07 | 2001-01-25 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals |
US6505152B1 (en) | 1999-09-03 | 2003-01-07 | Microsoft Corporation | Method and apparatus for using formant models in speech systems |
US6621935B1 (en) | 1999-12-03 | 2003-09-16 | Microsoft Corporation | System and method for robust image representation over error-prone channels |
US6732070B1 (en) | 2000-02-16 | 2004-05-04 | Nokia Mobile Phones, Ltd. | Wideband speech codec using a higher sampling rate in analysis and synthesis filtering than in excitation searching |
US6693964B1 (en) | 2000-03-24 | 2004-02-17 | Microsoft Corporation | Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image |
US6757654B1 (en) | 2000-05-11 | 2004-06-29 | Telefonaktiebolaget Lm Ericsson | Forward error correction in speech coding |
CZ304212B6 (cs) | 2000-11-27 | 2014-01-08 | Nippon Telegraph And Telephone Corporation | Způsob kódování a dekódování akustického parametru, kódovací a dekódovací zařízení akustického parametru, a program pro provedení způsobu kódování a dekódování akustického parametru |
ATE319162T1 (de) | 2001-01-19 | 2006-03-15 | Koninkl Philips Electronics Nv | Breitband-signalübertragungssystem |
US7151749B2 (en) | 2001-06-14 | 2006-12-19 | Microsoft Corporation | Method and System for providing adaptive bandwidth control for real-time communication |
US6658383B2 (en) | 2001-06-26 | 2003-12-02 | Microsoft Corporation | Method for coding speech and music signals |
US6941263B2 (en) | 2001-06-29 | 2005-09-06 | Microsoft Corporation | Frequency domain postfiltering for quality enhancement of coded speech |
US6879955B2 (en) | 2001-06-29 | 2005-04-12 | Microsoft Corporation | Signal modification based on continuous time warping for low bit rate CELP coding |
US6785645B2 (en) | 2001-11-29 | 2004-08-31 | Microsoft Corporation | Real-time speech and music classifier |
US7027982B2 (en) | 2001-12-14 | 2006-04-11 | Microsoft Corporation | Quality and rate control strategy for digital audio |
US6934677B2 (en) | 2001-12-14 | 2005-08-23 | Microsoft Corporation | Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands |
US6647366B2 (en) | 2001-12-28 | 2003-11-11 | Microsoft Corporation | Rate control strategies for speech and music coding |
US6789123B2 (en) | 2001-12-28 | 2004-09-07 | Microsoft Corporation | System and method for delivery of dynamically scalable audio/video content over a network |
US7668712B2 (en) | 2004-03-31 | 2010-02-23 | Microsoft Corporation | Audio encoding and decoding with intra frames and adaptive forward error correction |
US7707034B2 (en) | 2005-05-31 | 2010-04-27 | Microsoft Corporation | Audio codec post-filter |
US7177804B2 (en) | 2005-05-31 | 2007-02-13 | Microsoft Corporation | Sub-band voice codec with multi-stage codebooks and redundant coding |
US7831421B2 (en) | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
-
1999
- 1999-09-22 US US09/401,068 patent/US7315815B1/en not_active Expired - Fee Related
-
2000
- 2000-09-20 ES ES00968376T patent/ES2250197T3/es not_active Expired - Lifetime
- 2000-09-20 EP EP00968376A patent/EP1222659B1/en not_active Expired - Lifetime
- 2000-09-20 AU AU78303/00A patent/AU7830300A/en not_active Abandoned
- 2000-09-20 DK DK00968376T patent/DK1222659T3/da active
- 2000-09-20 WO PCT/US2000/025869 patent/WO2001022403A1/en active IP Right Grant
- 2000-09-20 JP JP2001525687A patent/JP4731775B2/ja not_active Expired - Fee Related
- 2000-09-20 DE DE60024123T patent/DE60024123T2/de not_active Expired - Lifetime
- 2000-09-20 AT AT00968376T patent/ATE310304T1/de active
-
2004
- 2004-07-20 US US10/894,854 patent/US7286982B2/en not_active Expired - Fee Related
-
2011
- 2011-02-24 JP JP2011038935A patent/JP5343098B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
AU7830300A (en) | 2001-04-24 |
DE60024123T2 (de) | 2006-03-30 |
ATE310304T1 (de) | 2005-12-15 |
JP2011150357A (ja) | 2011-08-04 |
US7315815B1 (en) | 2008-01-01 |
ES2250197T3 (es) | 2006-04-16 |
DK1222659T3 (da) | 2006-03-27 |
US20050075869A1 (en) | 2005-04-07 |
EP1222659B1 (en) | 2005-11-16 |
DE60024123D1 (de) | 2005-12-22 |
JP2003510644A (ja) | 2003-03-18 |
US7286982B2 (en) | 2007-10-23 |
WO2001022403A1 (en) | 2001-03-29 |
EP1222659A1 (en) | 2002-07-17 |
JP4731775B2 (ja) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5343098B2 (ja) | スーパーフレーム構造のlpcハーモニックボコーダ | |
KR100873836B1 (ko) | Celp 트랜스코딩 | |
EP1202251B1 (en) | Transcoder for prevention of tandem coding of speech | |
JP4390803B2 (ja) | 可変ビットレート広帯域通話符号化におけるゲイン量子化方法および装置 | |
JP5373217B2 (ja) | 可変レートスピーチ符号化 | |
US6081776A (en) | Speech coding system and method including adaptive finite impulse response filter | |
JP4270866B2 (ja) | 非音声のスピーチの高性能の低ビット速度コード化方法および装置 | |
JP2004310088A (ja) | 半レート・ボコーダ | |
JP2006510947A (ja) | 可変ビットレート通話符号化における線形予測パラメータの強力な予測ベクトル量子化方法と装置 | |
JP2006525533A5 (ja) | ||
KR20040028750A (ko) | 음성 코덱의 선스펙트럼 주파수 벡터 양자화 방법 및 시스템 | |
US20040111257A1 (en) | Transcoding apparatus and method between CELP-based codecs using bandwidth extension | |
EP1597721B1 (en) | 600 bps mixed excitation linear prediction transcoding | |
US7684978B2 (en) | Apparatus and method for transcoding between CELP type codecs having different bandwidths | |
US20090018823A1 (en) | Speech coding | |
JP4373693B2 (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
KR0155798B1 (ko) | 음성신호 부호화 및 복호화 방법 | |
JP3496618B2 (ja) | 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法 | |
JP3576485B2 (ja) | 固定音源ベクトル生成装置及び音声符号化/復号化装置 | |
US7295974B1 (en) | Encoding in speech compression | |
JP2000305597A (ja) | 音声圧縮のコード化 | |
JP3715417B2 (ja) | 音声圧縮符号化装置,音声圧縮符号化方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
GB2368761A (en) | Codec and methods for generating a vector codebook and encoding/decoding signals, e.g. speech signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120926 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121001 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121025 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121030 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121126 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130701 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130701 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5343098 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |