TWI389099B - 用於在語音合成儀中藉由修改剩餘量之時間規整訊框之方法及處理器可讀媒體 - Google Patents
用於在語音合成儀中藉由修改剩餘量之時間規整訊框之方法及處理器可讀媒體 Download PDFInfo
- Publication number
- TWI389099B TWI389099B TW095108057A TW95108057A TWI389099B TW I389099 B TWI389099 B TW I389099B TW 095108057 A TW095108057 A TW 095108057A TW 95108057 A TW95108057 A TW 95108057A TW I389099 B TWI389099 B TW I389099B
- Authority
- TW
- Taiwan
- Prior art keywords
- speech
- remaining amount
- pitch
- voice
- segment
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 76
- 230000005284 excitation Effects 0.000 claims description 17
- 230000000737 periodic effect Effects 0.000 claims description 9
- 230000001105 regulatory effect Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000001934 delay Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/01—Correction of time axis
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Electric Clocks (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
本發明大體上係關於在語音合成儀中時間規整(擴展或壓縮)語音合成儀訊框之方法。時間規整在封包交換網路中具有許多應用,語音合成儀封包在封包交換網路中可異步到達。儘管可在語音合成儀內部或在語音合成儀外部執行時間規整,但是在語音合成儀中執行時間規整具有許多優點,例如經規整訊框之更好的品質及計算負荷之減少。此文獻所展現之方法可應用於使用與此專利審請案中所提及的相似技術來語音合成聲音資料之任何語音合成儀中。
本發明包括一種藉由操縱語音訊號來時間規整語音訊框之設備及方法。在一實施例中,本方法及設備用於(但不限於)第四代語音合成儀(4GV)。所揭示之實施例包括用以擴展/壓縮不同類型的語音區段之方法及設備。
鑒於如上所述,本發明所描述之特徵大體係關於用於傳遞語音之一或多個改良之系統、方法及/或設備。
在一實施例中,本發明包括一種傳遞語音之方法,該方法包括以下步驟:將語音區段分類;使用碼激勵線性預測對語音區段編碼;及將一剩餘量語音訊號時間規整至該剩餘量語音訊號之經擴展或經壓縮版本。
在另一實施例中,傳遞語音之方法進一步包括:經由線性預測編碼濾波器發送語音訊號,藉此,濾出語音訊號中之短期相關性;及輸出線性預測編碼係數及一剩餘量訊號。
在另一實施例中,該編碼為碼激勵線性預測編碼,且時間規整步驟包括:估計音調延遲;將一語音訊框劃分為音調週期,其中音調週期之邊界係藉由使用語音訊框中不同點處之音調延遲而確定;若壓縮語音剩餘量訊號則重疊該等音調週期;及若擴展語音剩餘量訊號則添加該等音調週期。
在另一實施例中,編碼為原型音調週期編碼,且時間規整步驟包括:估計至少一個音調週期;插入該至少一個音調週期;當擴展該剩餘量語音訊號時添加該至少一個音調週期;及當壓縮該剩餘量語音訊號時減去該至少一個音調週期。
在另一實施例中,編碼為雜訊激勵線性預測編碼,且時間規整步驟包括在合成語音區段前應用可能不同的增益於其不同部分。
在另一實施例中,本發明包括:一語音合成儀,其具有至少一個輸入端及至少一個輸出端;一包含一濾波器之編碼器,其具有可操作地連接至該語音合成儀之輸入端之至少一個輸入端,及至少一個輸出端;一包含一合成器之解碼器,其具有可操作地連接至該編碼器之至少一個輸出端之至少一輸入端,及可操作地連接至該語音合成儀之至少一個輸出端之至少一個輸出端。
在另一實施例中,該編碼器包括一記憶體,其中該編碼器經調適以執行儲存於該記憶體中之指令,該等指令包括將語音區段分類為1/8訊框、原型音調週期、碼激勵線性預測或雜訊激勵線性預測。
在另一實施例中,該解碼器包括一記憶體且該解碼器經調適以執行儲存於該記憶體中之指令,該等指令包括將剩餘量訊號時間規整至該剩餘量訊號之經擴展或經壓縮版本。
本發明更廣之適用範疇將自以下[實施方式]、[申請專利範圍]及[圖式簡單說明]變得顯而易見。然而應瞭解,由於本發明精神及範疇內之多種改變及修改對於熟習此項技術者將變得顯而易見,故當指示本發明之較佳實施例時,僅藉由舉例而給出詳細描述及具體實例。
本文中所使用之詞語"例示性"意謂"作為實例、例子或說明"。本文中作為"例示性"所描述之任何實施例並不必然解釋為比其他實施例較佳或有利。
人類聲音由兩個組分組成。一個組分包括對音調敏感之基本波,另一組分為對音調不敏感之固定諧波。可感知之語音音調為耳朵對頻率的反應,意即,對大多數實用目的而言音調就是頻率。諧波組分為一個人的聲音添加與眾不同的特徵。其隨聲帶、聲道之實體形狀一起改變且被稱為共振峰。
人類聲音可由一數位訊號s(n)10表示。假定s(n)10為一在包含不同口聲(vocal sound)及靜音週期之典型對話中得到之數位語音訊號。語音訊號s(n)10較佳地分段成訊框20中。在一實施例中,s(n)10係以8 kHz經數位取樣。
當前編碼方案藉由移除語音中固有的所有天然冗餘(意即,相關元素)將一數位語音訊號10壓縮為一低位元率訊號。語音一般展示由嘴唇與舌頭之機械動作所導致之短期冗餘以及由聲帶之振動所導致之長期冗餘。線性預測編碼(LPC)藉由移除產生剩餘量語音訊號30之冗餘濾波語音訊號10。LPC接著將所得之剩餘量訊號30模擬為白高斯雜訊(white Gaussian noise)。語音波形之取樣值可藉由對許多過去樣本40(每一過去樣本與一線性預測係數50相乘)之總和加權而預測。因此,線性預測編碼器藉由傳輸濾波器係數50及量化雜訊而不是完整頻寬語音訊號10而達成減少之位元率。藉由自剩餘量訊號30之當前訊框20提取一原型週期100對該剩餘量訊號30編碼。
圖1中可看到本方法及設備所使用之LPC語音合成儀70之一實施例之方塊圖。LPC之功能為使在有限持續時間內在原始語音訊號與估計語音訊號之間的平方誤差總和最小。此可產生一組獨特的預測器係數50,該等預測器係數通常在每一訊框20估計。訊框20一般為20 ms長。時間改變數位濾波器75之轉移函數由下式給出:
其中,預測器係數50由ak
表示且增益由G表示。
自k=1至k=p計算出總和。若使用LPC-10方法,則p=10。此意味著只有前10個係數50可傳輸到LPC合成器80。用以計算該等係數之兩種最通用的方法是(但並不限於)協方差方法及自相關方法。
通常不同講話者使用不同語速講話。一種減少個別講話者語速變化效果之方法為壓縮時間。兩種語音模式之間的時間差別可藉由規整一語音模式之時間軸使得其可與另一語音模式得到最大程度之一致而減少。該時間壓縮技術稱為時間規整。此外,時間規整無需改變聲音訊號之音調就可壓縮或擴展該等聲音訊號。
典型語音合成儀產生持續時間為20 msec之訊框20,該訊框20包含較佳在8 kHz速率下之160個樣本90。該訊框20之經時間規整壓縮版本具有小於20 msec之持續時間,而經時間規整擴展版本具有大於20 msec之持續時間。當經由封包交換網路發送聲音資料時,聲音資料之時間規整具有顯著之有利條件,該封包交換網路在聲音封包之傳輸中引入延遲抖動。在該等網路中,時間規整可用於減輕該延遲抖動之效果且產生"同步"樣子的聲音流。
本發明之實施例係關於一種在語音合成儀70中藉由操縱語音剩餘量30之時間規整訊框20之設備及方法。在一實施例中,本方法及設備用於4GV。所揭示之實施例包括擴展/壓縮不同類型之4GV語音區段110之方法、設備或系統,其中該4GV語音區段110係使用原型音調週期(PPP)、碼激勵線性預測(CELP)或雜訊激勵線性預測(NELP)編碼而經編碼。
術語"語音合成儀"70一般係指藉由基於人類語音產生之模型提取參數而壓縮有聲語音之裝置。語音合成儀70包含一編碼器204及一解碼器206。該編碼器204分析傳入之語音並提取相關參數。在一實施例中,編碼器包括一濾波器75。解碼器206使用具經由一傳輸通道208自編碼器204接收之參數合成語音。在一實施例中,解碼器包括一合成器80。通常將該語音訊號10劃分為由語音合成儀70處理之資料及區塊之訊框20。
熟習此項技術者將認為人類語音可以許多不同方式進行分類。三種習知之語音分類為有聲語音、無聲語音及瞬時語音。圖2A為一有聲語音訊號s(n)402。圖2A展示一稱為音調週期100之有聲語音之可量測共同特性。
圖2B為一無聲語音訊號s(n)404。無聲語音訊號404類似於有色雜訊。
圖2C描繪一瞬時語音訊號s(n)406(意即,既不是有聲語音也不是無聲語音)。圖2C所示之瞬時語音406之實例可表示為在無聲語音與有聲語音之間轉換之s(n)。該等三個分類並未完全包括所有分類。存在許多不同的語音分類,可根據本文中所描述方法使用該等分類以達成相似結果。
本發明之一實施例中所使用之第四代語音合成儀(4GV)70為在無線網路上使用提供有吸引力之特徵。該等特徵中之一些包含權衡品質與位元率之對比之能力、面對不斷增加之封包錯誤率(PER)之更有彈性之語音合成、較好地擦除隱藏性,等等。4GV語音合成儀70可使用四種不同編碼器204及解碼器206中之任意一種。不同編碼器204及解碼器206根據不同編碼方案操作。一些編碼器204在展示特定特性之語音訊號s(n)10之編碼部分中更加有效。因此,在一實施例中,編碼器204及解碼器206之模式可基於當前訊框20之分類而選擇。
4GV編碼器204將聲音資料之每一訊框編碼為四種不同訊框20類型之一種:原型音調週期波形插入(Prototype Pitch Period Waveform Interpolation)(PPPWI)、碼激勵線性預測(CELP)、雜訊激勵線性預測(NELP)或靜音1/8th
速率訊框。CELP用於對具有弱週期性之語音及涉及自一語音區段110至另一週期區段變化之語音進行編碼。因此,一般選擇CELP模式來編碼分類為瞬時語音之訊框。因為該等區段110不會僅自一原型音調週期精確重建,所以CELP用於編碼完全語音區段110之特徵。CELP模式藉由線性預測剩餘量訊號30之量化版本激勵一線性預測聲道模型。本文中所描述之所有的編碼器204及解碼器206中,CELP通常產生更精確之語音再製,但需要更高之位元率。
原型音調週期(PPP)模式可經選擇以對分類為有聲語音之訊框20編碼。有聲語音含有由PPP模式利用之隨時間緩慢變化之週期組分。PPP模式為每一訊框20內之音調週期子集編碼。語音訊號10之剩餘週期100藉由插入於該等原型週期100之間而重建。藉由利用有聲語音之週期性,PPP能夠達成一較之CELP而言更低的位元率,且仍以可感知之精確方式再製語音訊號10。
PPPWI用於編碼實質上是週期性語音資料之語音資料。該語音之特徵由相似於"原型"音調週期(PPP)之不同音調週期100表示。該PPP是編碼器204需要用於編碼之唯一聲音資訊。解碼器可使用該PPP在語音區段110中重建其他音調週期100。
"雜訊激勵線性預測"(NELP)編碼器204可經選擇以為分類為無聲語音之訊框20編碼。以訊號再製而言,NELP編碼可有效地操作,其中語音訊號110幾乎不具有音調結構。更特定而言,NELP用於編碼特徵為類雜訊之語音(如無聲語音或背景雜訊)。NELP使用一經濾波的偽隨機雜訊訊號模擬無聲語音。該語音區段110之類雜訊特徵可藉由在解碼器206中產生隨機訊號及將適當之增益應用於該等隨機訊號而重建。NELP將最簡單的模型用於經編碼語音,因此可達成較低之位元率。
1/8th
速率訊框用於為靜音(例如,使用者並未談話之週期)編碼。
上述所有四種語音合成方案共用如圖3所示之初始LPC濾波程序。將語音特徵化為四個種類之一者後,語音訊號10經由線性預測編碼(LPC)濾波器75發送,該線性預測編碼(LPC)濾波器75使用線性預測濾出語音中之短期相關性。該區塊之輸出是LPC係數50及"剩餘量"訊號30,該"剩餘量"訊號基本上是移除短期相關性後之原始語音訊號10。接著使用特定方法為該剩餘量訊號30編碼,該特定方法是由經選擇用於訊框20之語音合成方法所使用的。
圖4A-4B展示原始語音訊號10及經過LPC合成器80後之剩餘量訊號30之一實例。可見,剩餘量訊號30比原始語音10更清楚地展示音調週期100。因此更合乎道理的是,較之原始語音訊號10(其亦含有短期相關性),剩餘量訊號30可用於更精確地確定語音訊號之音調週期100。
如上所述,時間規整可用於擴展或壓縮語音訊號10。儘管許多方法可用於達成此目的,但是大多數方法係基於自訊號10添加或刪除音調週期100而達成此目的。音調週期100之添加或減去可於接收剩餘量訊號30後且合成該訊號30之前在解碼器206中進行。對於使用CELP或PPP(不是NELP)編碼之語音資料,訊號包含許多音調週期100。因此,自該語音訊號10添加或刪除之最小之單元為一音調週期100,因為任何小於音調週期100之單元將導致相位不連繼,從而導致引入顯著的語音人工製品。因此,時間規整方法中應用於CELP或PPP語音之一步驟係對音調週期100之估計。該音調週期100對於用於CELP/PPP語音訊框20之解碼器206而言為已知的。若同時使用PPP及CELP兩者,音調資訊由編碼器204使用自相關方法計算且傳輸至解碼器206。因此,解碼器206具有音調週期100之準確知識。此使得更易於在解碼器206中應用本發明之時間規整方法。
此外,如上所述,在合成訊號10之前時間規整訊號10會更簡單。若解碼訊號10後應用該等時間規整方法,則將需要估計訊號10之音調週期100。此不僅需要額外之計算,
而且音調週期100之估計可能不會非常準確,因為剩餘量訊號30亦含有LPC資訊170。
另一方面,若額外之音調週期100之估計不是太複雜,則解碼後進行時間規整不需要改變至解碼器206且可因此對所有的語音合成儀70僅實施一次。
在使用LPC編碼合成來合成訊號之前於解碼器206中進行時間規整之另一原因為壓縮/擴展可應用於剩餘量訊號30。此允許線性預測編碼(LPC)合成應用於經時間規整剩餘量訊號30。LPC係數50在語音如何發音中起一定作用,且在規整後應用合成可確保在訊號10中維持正確的LPC資訊170。
另一方面,若對剩餘量訊號30解碼後進行時間規整,則LPC合成已在時間規整之前執行。因此,該規整程序可改變訊號10之LPC資訊170(尤其在解碼後音調週期100預測不是非常準確之情況下)。在一實施例中,在本申請案中所揭示之時間規整方法所執行之步驟係以位於記憶體82中之軟體或韌體81中之指令的形式儲存。圖1展示記憶體位於解碼器206內部。記憶體82亦可位於解碼器206外部。
編碼器204(例如在4GV中之編碼器)可根據訊框20表示有聲語音、無聲語音還是瞬時語音而將語音訊框20分類為PPP(週期的)、CELP(微週期的)或NELP(雜訊的)。使用關於語音訊框20類型之資訊,解碼器206可使用不同方法時間規整不同訊框20類型。舉例而言,NELP語音訊框20沒有音調週期之概念且其剩餘量訊號30使用"隨機"資訊產生
於解碼器206中。因此,CELP/PPP之音調週期100之估計不應用於NELP,一般情況下,以不足一音調週期100之情況規整(擴展/壓縮)NELP訊框20。若在解碼器206中對剩餘量訊號30解碼後執行時間規整,則該資訊不可用。一般情況下,解碼後之類NELP訊框20之時間規整可導致語音人工製品。另一方面,解碼器206中NELP訊框20之規整產生更好之品質。
因此,在解碼器206中(意即,在剩餘量訊號30合成之前)進行時間規整而不是在解碼器後(意即,在剩餘量訊號30合成之後)進行時間規整有兩個優點:(i)計算開銷減少(例如,避免搜尋音調週期100);及(ii)改良的規整品質,其係歸因於a)訊框20類型之知識,b)對經規整訊號執行LPC合成,及c)音調週期之更準確之估計/知識。
下文描述本方法及設備在PPP、CELP及NELP解碼器中時間規整語音剩餘量30的實施例。在每一解碼器206中執行下述兩個步驟:(i)時間規整剩餘量訊號30至其經擴展或經壓縮版本;及(ii)經由LPC合成器80發送經時間規整之剩餘量30。此外,對於PPP、CELP及NELP語音區段110而言可不同地執行步驟(i)。以下將描述該等實施例。
如上所述,當語音區段110為PPP時,可自訊號添加或刪除之最小單元為音調週期100。在對訊號10自原型音調週期100解碼(及重建剩餘量30)之前,解碼器206將訊號10自先前原型音調週期100(經儲存)插入至當前訊框20中之原型音調週期100,並在該過程中添加缺少的音調週期100。該處理如圖5所描繪。該插入導致其自身藉由產生更少或更多的插入音調週期100而更易於進行時間規整。此將產生經壓縮或經擴展剩餘量訊號30,該等剩餘量訊號接著經由LPC合成而發送。
當語音區段110為CELP時剩餘量訊號之時間規整:
如前所述,當語音區段110為PPP時,可自訊號添加或刪除之最小單元為音調週期100。另一方面,在CELP的情況下,規整不如針對PPP情況直接。為規整剩餘量30,解碼器206使用含於編碼訊框20中之音調延遲180資訊。該音調延遲180實際上是在訊框20末端處之音調延遲180。此處應注意,即使在週期訊框20中,音調延遲180亦可能有少許改變。訊框中任一點處之音調延遲180可藉由在前一訊框20之末端之音調延遲180與當前訊框20末端之音調延遲180之間插入而估計。此如圖6所示。一旦訊框20中所有點處之音調延遲180已知,便可將訊框20劃分成音調週期100。音調週期100之邊界由訊框20中各個點處之音調延遲180確定。
圖6A展示如何將訊框20劃分成其音調週期100之一實例。舉例而言,樣本號70具有等於約70之音調延遲180且樣本號142具有約72之音調延遲180。因此,如圖6B所示,音調週期100來自於樣本號[1-70]及樣本號[71-142]。
一旦將訊框20劃分為音調週期100,則該等音調週期100接著可經重疊添加以增加/減少剩餘量30之大小。如圖7B至7F所示。在重疊及添加合成時,藉由自輸入訊號10激勵區段110、沿時間軸重新配置該等區段及執行加權重疊添加來構造合成訊號150,來得到經修改訊號。在一實施例中,區段110可與音調週期100相等。該重疊添加法藉由"合併"語音區段110來用一個語音區段110替代兩個不同的語音區段110。以保存盡可能多的語音品質的方式合併語音。保存語音品質及使人工製品最少地引入語音可藉由小心選擇用以合併之區段110完成。(人工製品是一些不想要的內容,如滴答聲、爆炸聲等等)。語音區段110之選擇係基於區段之"相似性"。當兩個語音區段110經重疊以減少/增加語音剩餘量30之大小時,語音區段110越相似所得語音品質越好且語音人工製品的引入可能性越低。確定音調週期是否應重疊添加之一有用規則係兩個音調週期之音調延遲是否相似(舉例而言,若音調延遲差別少於15個樣本,即對應於約1.8 msec)。
圖7C展示重疊添加如何用於壓縮剩餘量30。重疊/添加法之第一步為將輸入樣本序列s[n]10如上所闡釋分段為音調週期。在圖7A中,展示原始語音訊號10包含四個音調週期100(PP)。下一步包含移除展示於圖7A中之訊號10之音調過期100且用一經合併的音調週期100替代該等音調週期100。例如,圖7C中,PP2及PP3經移除且以一個音調週期100(其中PP2及PP3經重疊添加)替代。更具體而言,在圖7C中,音調週期100 PP2及PP3經重疊添加以使得第二個音調週期100(PP2)之貢獻減少而PP3之貢獻增加。該添加重疊法自兩個不同的語音區段110產生一個語音區段110。在一實施例中,使用加權樣本執行添加重疊。此在如圖8所示之等式a)及b)說明。加權用於在區段(110)之第一PCM(脈衝編碼調節)樣本與區段2(110)之最後PCM樣本之間提供一平滑轉換。
圖7D為經重疊添加之PP2及PP3之另一圖示說明。當較之簡單移除一個區段110且與剩餘鄰近之區段110毗鄰時(如圖7E所示),交叉衰落(cross fade)改良由該方法壓縮之訊號10時間之感知品質。
若當音調週期100改變時,重疊添加法可將具有不同長度的兩個音調週期110合併。在該情況下,在重疊添加兩個音調週期100之前,藉由對齊他們的波峰可達成較好之合併。接著,經擴展/經壓縮之剩餘量經由LPC合成而發送。
擴展語音之一簡單方法係多次重複相同的PCM樣本。然而,不止一次地重複相同PCM樣本可產生具有單調性音調之區域,該單調性音調為易於由人類所偵測出(例如,語音聽起來有點"機器聲")之人工製品。為保護語音品質,可使用添加重疊法。
圖7B展示如何使用本發明之重疊添加法擴展語音訊號10。在圖7B中,添加一自音調週期100 PP1及PP2產生的額外音調週期100。在該額外音調週期100中,音調週期100 PP2及PP1經重疊添加以使得第二音調(PP2)週期100之貢獻減少而PP1之貢獻增加。圖7F為經重疊添加之PP2及PP3之另一圖示說明。
當語音區段為NELP時剩餘量訊號之時間規整:
對於NELP語音區段,編碼器對LPC資訊及語音區段110之不同部分之增益編碼。因為語音本質上非常類似於雜訊,所以沒必要對任何其他資訊編碼。在一實施例中,該增益係以16個PCM樣本為一套而經編碼。因此,舉例而言,具有160個樣本之訊框可由10個經編碼增益值表示,其中,每一編碼增益值表示語音之每16個樣本。解碼器206藉由產生隨機值且接著將個別增益應用於該等隨機值而產生剩餘量訊號30。在該情況下,可能不會存在音調週期100之概念,因此擴展/壓縮不必具有音調週期100之粒度。
為擴展或壓縮一NELP區段,解碼器206產生多於或少於160之區段(110)數目,此取決於區段110是被擴展還是被壓縮。接著將10個經解碼增益應用於該等樣本以產生經擴展或經壓縮之剩餘量30。因為該等10個經解碼增益對應於原始的160個樣本,所以其並不直接應用於擴展/壓縮樣本。多種方法可用於應用該等增益。下文描述其中一些方法。
若待產生之樣本數目小於160,則不必應用所有10個增益。舉例而言,若樣本數目為144,則可應用前9個增益。在該實例中,第一個增益應用於前16個樣本(樣本1-16),第二個增益應用於接著的16個樣本(樣本17-32),等等。同樣地,若樣本多於160個,則可不止一次地應用第10個增益。舉例而言,若樣本數目為192,則第10個增益可應用於樣本145-160、161-176及177-192。
或者,可將樣本劃分成相等數目之10組,每一組都具有相等數目之樣本,且10個增益可應用於該等10組樣本。舉例而言,若樣本之數目為140個,則10個增益可應用於一組有14個樣本之組中。在該實例中,第一個增益應用於前14個樣本(樣本1-14),第二個增益應用於接著的14個樣本(樣本15-28),等等。
若樣本之數目不能恰好被10整除,則第10個增益可應用於被10除後所得到的餘數樣本。舉例而言,若樣本之數目為145時,10個增益可應用於每組有14個樣本組中。另外,第10個增益應用於樣本141-145。
時間規整後,該經擴展/經壓縮之剩餘量30在使用任何上述編碼方法時經由LPC合成而發送。
熟習此項技術者應瞭解,可使用各種不同技術及方法中之任一種表示資訊及訊號。舉例而言,貫穿於上文所參考之資料、指令、命令、資訊、訊號、位元、符號及碼片可由電壓、電流、電磁波、磁場或磁性粒子、光場或光學粒子或其任何組合表示。
此外,熟習此項技術者將進一步瞭解,結合本文中所揭示之實施例所述之多種說明性邏輯區塊、模組、電路及演算法步驟可實施為電子硬體、電腦軟體或兩者之組合。為清楚地說明硬體與軟體之可互換性,多種說明性組件、區塊、模組、電路及步驟已大體根據其功能性在上文中加以描述。該功能性實施為硬體還是實施為軟體取決於施加於整個系統的特殊應用及設計約束條件。熟練之技工可針對每一種特殊之應用以不同方式實施所述功能性,但是該等實施確定不應解釋為導致偏離本發明之範圍之原因。
結合本文中所揭示之實施例所述之多種說明性邏輯區塊、模組及電路可藉由經設計來執行本文所描述之功能之以下組件來實施或執行:通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式閘陣列(EPGA)或其他可程式邏輯裝置、離散閘或電晶體邏輯、離散硬體組件或其任何組合。通用處理器可為微處理器,但或者,該處理器可為任一習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置之組合,例如,DSP與微處理器之組合、複數個微處理器,與DSP核心結合之一或多個微處理器或任何其他該組態。
結合本文中所揭示之實施例所述之方法或演算法之步驟可直接體現於硬體、由處理器執行之軟體模組或該兩者之組合中。軟體模組可存在於隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、電子可程式ROM(EPROM)、電子可擦可程式ROM(EEPROM)、暫存器、硬碟、抽取式磁碟、緊密光碟-唯讀記憶體(CD-ROM)或此項技術中已知之任何其他形式的儲存媒體中。說明性儲存媒體耦接至處理器,使得該處理器可自該儲存媒體讀取資訊並將資訊寫入儲存媒體。或者,儲存媒體可併入處理器。處理器及儲存媒體可存在於一ASIC中。該ASIC可存在於一使用者終端機中。或者,處理器及儲存媒體可作為離散組件存在於使用者終端機中。提供所揭示之實施例之前述描述以使任何熟習此項技術者製造或使用本發明。對於熟習此項技術者而言對該實施例之各種修改將顯而易見,且本文中所定義之一般原則在不偏離本發明之精神或範疇的情況下可應用於其他實施例。因此,並不希望本發明限於本文中所展示之實施例,而應符合與本文中所揭示之原則及新穎特徵一致之最廣範疇。
10...數位訊號
20...編碼訊框
30...剩餘量語音訊號
50...線性預測係數
70...語音合成儀
75...數位濾波器
80...合成器
81...軟體或韌體
82...記憶體
100...音調週期
150...合成訊號
180...音調延遲
204...編碼器
206...解碼器
208...傳輸通道
402...有聲語音訊號
404...無聲語音訊號
406...瞬時語音訊號
圖1為線性預測編碼(LPC)語音合成儀之方塊圖;圖2A為含有有聲語音之語音訊號;圖2B為含有無聲語音之語音訊號;圖2C為含有瞬時語音之語音訊號;圖3為說明對語音進行LPC濾波後對剩餘量進行編碼之方塊圖;圖4A為原始語音曲線圖;圖4B為LPC濾波後剩餘量語音訊號曲線圖;圖5說明在先前原型音調週期與當前原型音調週期之間使用插入之波形產生;圖6A描繪經由插入確定音調延遲;圖6B描繪識別音調週期;圖7A以音調週期形式表示原始語音訊號;圖7B表示使用重疊添加而擴展之語音訊號;圖7C表示使用重疊添加而壓縮之語音訊號;圖7D表示如何使用加權壓縮剩餘量訊號;圖7E表示不使用重疊添加而壓縮之語音訊號;圖7F表示如何使用加權擴展剩餘量訊號;及圖8含有用於添加重疊法中之兩個等式。
Claims (35)
- 一種傳遞語音之方法,其包括:接收一剩餘量語音訊號,其中該剩餘量語音訊號係基於使用原型音調週期(PPP)、碼激勵線性預測(CELP)、雜訊激勵線性預測(NELP)或1/8訊框編碼而被編碼之語音區段;藉由添加或減去一剩餘量語音區段之至少一樣本而時間規整該剩餘量語音訊號中之該剩餘量語音區段,其中複數個不同時間規整方法中之一者係基於該語音區段是否使用原型音調週期、碼激勵線性預測、雜訊激勵線性預測或1/8訊框編碼來編碼而被選擇,其中若該語音區段係使用CELP而被編碼,則該時間規整方法包含:估計該剩餘量語音訊號中之音調延遲;將該剩餘量語音訊號劃分為音調週期,其中該等音調週期之邊界係藉由使用該剩餘量語音訊號中不同點處之音調延遲而確定;若該剩餘量語音訊號減少,則重疊該等音調週期;及若該剩餘量語音訊號增加,則添加該等音調週期;及基於經時間規整之該剩餘量語音訊號產生一經合成之語音訊號。
- 如請求項1之傳遞語音之方法,其進一步包括以下步驟:分類語音訊框; 編碼該等訊框,包含:經由一線性預測編碼濾波器發送該語音訊號,藉此濾出該語音訊號中之短期相關性;及輸出線性預測編碼係數及該剩餘量語音訊號。
- 如請求項2之傳遞語音之方法,其中該分類語音訊框之步驟包括視該等訊框表示有聲語音、無聲語音還是瞬時語音而將語音訊框分類為週期性語音訊框、微週期性語音訊框或雜訊語音訊框。
- 如請求項1之方法,其中該時間規整步驟包括以下步驟:插入至少一個音調週期;及其中該添加或減去包含:當擴展該剩餘量語音訊號時添加該至少一個音調週期;及當壓縮該剩餘量語音訊號時減去該至少一個音調週期。
- 如請求項2之方法,其中若該編碼使用雜訊激勵線性預測編碼,則該編碼步驟進一步包括將線性預測編碼資訊編碼為一語音區段之不同部分之增益。
- 如請求項1之方法,其中若該剩餘量語音訊號減少則重疊該等音調週期之該步驟包括:分段一輸入樣本序列為樣本區塊;以規則時間間隔移除該剩餘量語音訊號之區段;合併該等經移除區段;及 用一合併區段替代該等經移除區段。
- 如請求項1之方法,其中該估計音調延遲步驟包括在一前一訊框之一末端之一音調延遲與一當前訊框之一末端之一音調延遲之間插入。
- 如請求項1之方法,其中該添加該等音調週期步驟包括合併語音區段。
- 如請求項1之方法,其中若該剩餘量語音訊號增加則添加該等音調週期之該步驟包括添加一自一第一音調區段及一第二音調週期區段產生之額外音調週期。
- 如請求項5之方法,其中該等增益經編碼用於多組語音樣本。
- 如請求項6之方法,其中該合併該等經移除區段步驟包括增加一第一音調週期區段之貢獻且減少一第二音調週期區段之貢獻。
- 如請求項8之方法,其進一步包括選擇相似語音區段之步驟,其中該等相似語音區段被合併。
- 如請求項8之方法,其進一步包括使語音區段相關之步驟,藉此相似語音區段得以選擇。
- 如請求項9之方法,其中該添加一自一第一音調區段及一第二音調週期區段產生之額外音調週期之步驟包括添加該第一及該第二音調區段使得該第一音調週期區段之貢獻增加且該第二音調週期區段之貢獻減少。
- 如請求項10之方法,其進一步包括藉由產生隨機值及接著將該等增益應用於該等隨機值而產生一剩餘量訊號之 步驟。
- 如請求項10之方法,其進一步包括將該線性預測編碼資訊表示為10個經編碼增益值之步驟,其中每一經編碼增益值表示16個語音樣本。
- 一種具有至少一個輸入端及至少一個輸出端之語音合成儀,其包括:接收一剩餘量語音訊號之一解碼器,其中該剩餘量語音訊號係基於使用原型音調週期(PPP)、碼激勵線性預測(CELP)、雜訊激勵線性預測(NELP)或1/8訊框編碼而被編碼之語音區段;及其中該解碼器包含一合成器,該合成器具有可操作地連接至該編碼器之該至少一個輸出端之至少一個輸入端,及可操作地連接至該語音合成儀之該至少一個輸出端之至少一輸出端,及一記憶體,其中該解碼器經調適以執行儲存於該記憶體中之軟體指令,該等軟體指令包括藉由添加或減去一剩餘量語音區段之至少一樣本而時間規整該剩餘量語音訊號中之該剩餘量語音區段,其中複數個不同時間規整方法中之一者係基於該語音區段是否使用原型音調週期、碼激勵線性預測、雜訊激勵線性預測或1/8訊框編碼來編碼而被選擇,其中若該語音區段係使用CELP而被編碼,則該時間規整方法包含:估計該剩餘量語音訊號中之音調延遲;將該剩餘量語音訊號劃分為音調週期,其中該等音調 週期之邊界係藉由使用該剩餘量語音訊號中不同點處之音調延遲而確定;若該剩餘量語音訊號減少,則重疊該等音調週期;及若該剩餘量語音訊號增加,則添加該等音調週期。
- 如請求項17之語音合成儀,其進一步包含:包含一濾波器之一編碼器,該濾波器具有可操作地連接至該語音合成儀之該輸入端之至少一個輸入端,及至少一個輸出端,該濾波器為一線性預測編碼濾波器,該濾波器經調適以:濾出一語音訊號中之短期相關性;及輸出線性預測編碼係數及該剩餘量語音訊號。
- 如請求項18之語音合成儀,其中該編碼器包括:一記憶體且該編碼器經調適以執行儲存於該記憶體中之軟體指令,該等軟體指令包括使用碼激勵線性預測編碼對該等語音區段編碼。
- 如請求項18之語音合成儀,其中該編碼器包括:一記憶體且該編碼器經調適以執行儲存於該記憶體中之軟體指令,該等軟體指令包括使用雜訊激勵線性預測編碼對該等語音區段編碼。
- 如請求項17之語音合成儀,其中該時間規整軟體指令包括:插入至少一個音調週期;及其中該添加或減去包含:當擴展該剩餘量語音訊號時添加該至少一個音調週 期;及當壓縮該剩餘量語音訊號時減去該至少一個音調週期。
- 如請求項20之語音合成儀,其中使用雜訊激勵線性預測編碼軟體指令對該等語音區段進行之該編碼包括:將線性預測編碼資訊編碼為一語音區段之不同部分之增益。
- 如請求項17之語音合成儀,其中若該剩餘量語音訊號減少則重疊該音調週期之該指令包括:將一輸入樣本序列分段為樣本區塊;以規則時間間隔移除該剩餘量語音訊號之區段;合併該等經移除區段;及用一合併區段替代該等經移除區段。
- 如請求項17之語音合成儀,其中該估計音調延遲指令包括在一前一訊框之一末端之一音調延遲與一當前訊框之一末端之一音調延遲之間插入。
- 如請求項17之語音合成儀,其中該添加該等音調週期指令包括合併語音區段。
- 如請求項17之語音合成儀,其中若該剩餘量語音訊號增加則添加該等音調週期之該指令包括添加一自一第一音調區段及一第二音調週期區段產生之額外音調週期。
- 如請求項22之語音合成儀,其中該等增益經編碼用於多組語音區段。
- 如請求項23之語音合成儀,其中該合併該等經移除區段之指令包括增加一第一音調週期區段之貢獻且減少一第 二音調週期區段之貢獻。
- 如請求項25之語音合成儀,其進一步包括選擇相似語音區段之步驟,其中該等相似語音區段被合併。
- 如請求項25之語音合成儀,其中該時間規整指令進一步包括使語音區段相關,藉此選擇相似語音區段。
- 如請求項26之語音合成儀,其中該添加一自一第一音調區段及一第二音調週期區段產生之額外音調週期之指令包括添加該第一及該第二音調區段使得該第一音調週期區段之貢獻增加且該第二音調週期區段之貢獻減少。
- 如請求項27之語音合成儀,其中該時間規整指令進一步包括藉由產生隨機值且接著將該等增益應用於該等隨機值而產生一剩餘量語音訊號。
- 如請求項27之語音合成儀,其中該時間規整指令進一步包括將該線性預測編碼資訊表示為10個經編碼增益值,其中每一經編碼增益值表示16個語音樣本。
- 一種語音合成儀,其包括:用於接收一剩餘量語音訊號之構件,其中該剩餘量語音訊號係基於使用原型音調週期(PPP)、碼激勵線性預測(CELP)、雜訊激勵線性預測(NELP)或1/8訊框編碼而被編碼之語音區段以產生一剩餘量訊號;用於藉由添加或減去一剩餘量語音區段之至少一樣本而時間規整該剩餘量語音訊號中之該剩餘量語音區段之構件,其中複數個不同時間規整方法中之一者係基於該語音區段是否使用原型音調週期、碼激勵線性預測、雜 訊激勵線性預測或1/8訊框編碼來編碼而被選擇,其中若該語音區段係使用CELP而被編碼,則該時間規整方法包含:估計該剩餘量語音訊號中之音調延遲;將該剩餘量語音訊號劃分為音調週期,其中該等音調週期之邊界係藉由使用該剩餘量語音訊號中不同點處之音調延遲而確定;若該剩餘量語音訊號減少,則重疊該等音調週期;及若該剩餘量語音訊號增加,則添加該等音調週期;及用於基於經時間規整之該剩餘量語音訊號產生一經合成之語音訊號之構件。
- 一種用於傳遞語音之處理器可讀媒體,其包含多個指令以用於:接收一剩餘量語音訊號,其中該剩餘量語音訊號係基於使用原型音調週期(PPP)、碼激勵線性預測(CELP)、雜訊激勵線性預測(NELP)或1/8訊框編碼而被編碼之語音區段以產生一剩餘量訊號;藉由添加或減去一剩餘量語音區段之至少一樣本而時間規整該剩餘量語音訊號中之該剩餘量語音區段,其中複數個不同時間規整方法中之一者係基於該語音區段是否使用原型音調週期、碼激勵線性預測、雜訊激勵線性預測或1/8訊框編碼來編碼而被選擇,其中若該語音區段係使用CELP而被編碼,則該時間規整方法包含: 估計該剩餘量語音訊號中之音調延遲;將該剩餘量語音訊號劃分為音調週期,其中該等音調週期之邊界係藉由使用該剩餘量語音訊號中不同點處之音調延遲而確定;若該剩餘量語音訊號減少,則重疊該等音調週期;及若該剩餘量語音訊號增加,則添加該等音調週期;及基於經時間規整之該剩餘量語音訊號產生一經合成之語音訊號。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US66082405P | 2005-03-11 | 2005-03-11 | |
US11/123,467 US8155965B2 (en) | 2005-03-11 | 2005-05-05 | Time warping frames inside the vocoder by modifying the residual |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200638336A TW200638336A (en) | 2006-11-01 |
TWI389099B true TWI389099B (zh) | 2013-03-11 |
Family
ID=36575961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW095108057A TWI389099B (zh) | 2005-03-11 | 2006-03-10 | 用於在語音合成儀中藉由修改剩餘量之時間規整訊框之方法及處理器可讀媒體 |
Country Status (14)
Country | Link |
---|---|
US (1) | US8155965B2 (zh) |
EP (1) | EP1856689A1 (zh) |
JP (1) | JP5203923B2 (zh) |
KR (2) | KR100956623B1 (zh) |
AU (1) | AU2006222963C1 (zh) |
BR (1) | BRPI0607624B1 (zh) |
CA (1) | CA2600713C (zh) |
IL (1) | IL185935A (zh) |
MX (1) | MX2007011102A (zh) |
NO (1) | NO20075180L (zh) |
RU (1) | RU2371784C2 (zh) |
SG (1) | SG160380A1 (zh) |
TW (1) | TWI389099B (zh) |
WO (1) | WO2006099529A1 (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6691084B2 (en) * | 1998-12-21 | 2004-02-10 | Qualcomm Incorporated | Multiple mode variable rate speech coding |
WO2006026635A2 (en) * | 2004-08-30 | 2006-03-09 | Qualcomm Incorporated | Adaptive de-jitter buffer for voice over ip |
US7674096B2 (en) * | 2004-09-22 | 2010-03-09 | Sundheim Gregroy S | Portable, rotary vane vacuum pump with removable oil reservoir cartridge |
US8085678B2 (en) * | 2004-10-13 | 2011-12-27 | Qualcomm Incorporated | Media (voice) playback (de-jitter) buffer adjustments based on air interface |
US8355907B2 (en) * | 2005-03-11 | 2013-01-15 | Qualcomm Incorporated | Method and apparatus for phase matching frames in vocoders |
CA2603255C (en) * | 2005-04-01 | 2015-06-23 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband speech coding |
EP1875464B9 (en) * | 2005-04-22 | 2020-10-28 | Qualcomm Incorporated | Method, storage medium and apparatus for gain factor attenuation |
US8259840B2 (en) * | 2005-10-24 | 2012-09-04 | General Motors Llc | Data communication via a voice channel of a wireless communication network using discontinuities |
US7720677B2 (en) * | 2005-11-03 | 2010-05-18 | Coding Technologies Ab | Time warped modified transform coding of audio signals |
US8239190B2 (en) * | 2006-08-22 | 2012-08-07 | Qualcomm Incorporated | Time-warping frames of wideband vocoder |
US8279889B2 (en) * | 2007-01-04 | 2012-10-02 | Qualcomm Incorporated | Systems and methods for dimming a first packet associated with a first bit rate to a second packet associated with a second bit rate |
US9653088B2 (en) | 2007-06-13 | 2017-05-16 | Qualcomm Incorporated | Systems, methods, and apparatus for signal encoding using pitch-regularizing and non-pitch-regularizing coding |
US8401865B2 (en) | 2007-07-18 | 2013-03-19 | Nokia Corporation | Flexible parameter update in audio/speech coded signals |
US20090319261A1 (en) * | 2008-06-20 | 2009-12-24 | Qualcomm Incorporated | Coding of transitional speech frames for low-bit-rate applications |
US20090319263A1 (en) * | 2008-06-20 | 2009-12-24 | Qualcomm Incorporated | Coding of transitional speech frames for low-bit-rate applications |
US8768690B2 (en) * | 2008-06-20 | 2014-07-01 | Qualcomm Incorporated | Coding scheme selection for low-bit-rate applications |
KR101400535B1 (ko) | 2008-07-11 | 2014-05-28 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 시간 워프 활성 신호의 제공 및 이를 이용한 오디오 신호의 인코딩 |
MY154452A (en) | 2008-07-11 | 2015-06-15 | Fraunhofer Ges Forschung | An apparatus and a method for decoding an encoded audio signal |
EP2144230A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
US8798776B2 (en) * | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
US20100191534A1 (en) * | 2009-01-23 | 2010-07-29 | Qualcomm Incorporated | Method and apparatus for compression or decompression of digital signals |
US8428938B2 (en) * | 2009-06-04 | 2013-04-23 | Qualcomm Incorporated | Systems and methods for reconstructing an erased speech frame |
EP2491555B1 (en) | 2009-10-20 | 2014-03-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-mode audio codec |
US8996364B2 (en) * | 2010-04-12 | 2015-03-31 | Smule, Inc. | Computational techniques for continuous pitch correction and harmony generation |
TWI409802B (zh) * | 2010-04-14 | 2013-09-21 | Univ Da Yeh | 音頻特徵處理方法及其裝置 |
MY160265A (en) | 2011-02-14 | 2017-02-28 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V | Apparatus and Method for Encoding and Decoding an Audio Signal Using an Aligned Look-Ahead Portion |
SG185519A1 (en) | 2011-02-14 | 2012-12-28 | Fraunhofer Ges Forschung | Information signal representation using lapped transform |
EP2676264B1 (en) | 2011-02-14 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder estimating background noise during active phases |
SG192734A1 (en) | 2011-02-14 | 2013-09-30 | Fraunhofer Ges Forschung | Apparatus and method for error concealment in low-delay unified speech and audio coding (usac) |
JP5625126B2 (ja) | 2011-02-14 | 2014-11-12 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | スペクトル領域ノイズ整形を使用する線形予測ベースコーディングスキーム |
JP5800915B2 (ja) | 2011-02-14 | 2015-10-28 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | オーディオ信号のトラックのパルス位置の符号化および復号化 |
BR112013020482B1 (pt) | 2011-02-14 | 2021-02-23 | Fraunhofer Ges Forschung | aparelho e método para processar um sinal de áudio decodificado em um domínio espectral |
MY159444A (en) | 2011-02-14 | 2017-01-13 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V | Encoding and decoding of pulse positions of tracks of an audio signal |
ES2623291T3 (es) | 2011-02-14 | 2017-07-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificación de una porción de una señal de audio utilizando una detección de transitorios y un resultado de calidad |
CN103092330B (zh) * | 2011-10-27 | 2015-11-25 | 宏碁股份有限公司 | 电子装置及其语音辨识方法 |
TWI584269B (zh) * | 2012-07-11 | 2017-05-21 | Univ Nat Central | Unsupervised language conversion detection method |
FR3024582A1 (fr) * | 2014-07-29 | 2016-02-05 | Orange | Gestion de la perte de trame dans un contexte de transition fd/lpd |
WO2016142002A1 (en) * | 2015-03-09 | 2016-09-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal |
Family Cites Families (96)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5643800A (en) | 1979-09-19 | 1981-04-22 | Fujitsu Ltd | Multilayer printed board |
JPS57158247A (en) | 1981-03-24 | 1982-09-30 | Tokuyama Soda Co Ltd | Flame retardant polyolefin composition |
JPS59153346A (ja) * | 1983-02-21 | 1984-09-01 | Nec Corp | 音声符号化・復号化装置 |
JPS61156949A (ja) | 1984-12-27 | 1986-07-16 | Matsushita Electric Ind Co Ltd | 音声パケツト通信方式 |
BE1000415A7 (nl) | 1987-03-18 | 1988-11-22 | Bell Telephone Mfg | Asynchroon op basis van tijdsverdeling werkend communicatiesysteem. |
JPS6429141A (en) | 1987-07-24 | 1989-01-31 | Nec Corp | Packet exchange system |
JP2760810B2 (ja) | 1988-09-19 | 1998-06-04 | 株式会社日立製作所 | 音声パケット処理方法 |
SE462277B (sv) | 1988-10-05 | 1990-05-28 | Vme Ind Sweden Ab | Hydrauliskt styrsystem |
JPH04113744A (ja) | 1990-09-04 | 1992-04-15 | Fujitsu Ltd | 可変速度パケット伝送方式 |
AU642540B2 (en) * | 1990-09-19 | 1993-10-21 | Philips Electronics N.V. | Record carrier on which a main data file and a control file have been recorded, method of and device for recording the main data file and the control file, and device for reading the record carrier |
JP2846443B2 (ja) | 1990-10-09 | 1999-01-13 | 三菱電機株式会社 | パケット組立分解装置 |
US5283811A (en) * | 1991-09-03 | 1994-02-01 | General Electric Company | Decision feedback equalization for digital cellular radio |
US5371853A (en) * | 1991-10-28 | 1994-12-06 | University Of Maryland At College Park | Method and system for CELP speech coding and codebook for use therewith |
US5317604A (en) * | 1992-12-30 | 1994-05-31 | Gte Government Systems Corporation | Isochronous interface method |
JP3186315B2 (ja) * | 1993-02-27 | 2001-07-11 | ソニー株式会社 | 信号圧縮装置、信号伸張装置、信号送信装置、信号受信装置及び信号送受信装置 |
US5490479A (en) * | 1993-05-10 | 1996-02-13 | Shalev; Matti | Method and a product resulting from the use of the method for elevating feed storage bins |
US5440562A (en) * | 1993-12-27 | 1995-08-08 | Motorola, Inc. | Communication through a channel having a variable propagation delay |
WO1996005697A1 (en) * | 1994-08-12 | 1996-02-22 | Sony Corporation | Video signal editing device |
NL9401696A (nl) | 1994-10-14 | 1996-05-01 | Nederland Ptt | Bufferuitleesbesturing van ATM ontvanger. |
US5602959A (en) * | 1994-12-05 | 1997-02-11 | Motorola, Inc. | Method and apparatus for characterization and reconstruction of speech excitation waveforms |
US5699478A (en) | 1995-03-10 | 1997-12-16 | Lucent Technologies Inc. | Frame erasure compensation technique |
US5929921A (en) | 1995-03-16 | 1999-07-27 | Matsushita Electric Industrial Co., Ltd. | Video and audio signal multiplex sending apparatus, receiving apparatus and transmitting apparatus |
JP3286110B2 (ja) | 1995-03-16 | 2002-05-27 | 松下電器産業株式会社 | 音声パケット補間装置 |
KR0164827B1 (ko) * | 1995-03-31 | 1999-03-20 | 김광호 | 프로그램 가이드신호 수신기 |
JPH09127995A (ja) | 1995-10-26 | 1997-05-16 | Sony Corp | 信号復号化方法及び信号復号化装置 |
US5640388A (en) * | 1995-12-21 | 1997-06-17 | Scientific-Atlanta, Inc. | Method and apparatus for removing jitter and correcting timestamps in a packet stream |
JPH09261613A (ja) | 1996-03-26 | 1997-10-03 | Mitsubishi Electric Corp | データ受信再生装置 |
US5940479A (en) * | 1996-10-01 | 1999-08-17 | Northern Telecom Limited | System and method for transmitting aural information between a computer and telephone equipment |
JPH10190735A (ja) | 1996-12-27 | 1998-07-21 | Secom Co Ltd | 通話システム |
US6073092A (en) * | 1997-06-26 | 2000-06-06 | Telogy Networks, Inc. | Method for speech coding based on a code excited linear prediction (CELP) model |
US6240386B1 (en) * | 1998-08-24 | 2001-05-29 | Conexant Systems, Inc. | Speech codec employing noise classification for noise compensation |
US6259677B1 (en) * | 1998-09-30 | 2001-07-10 | Cisco Technology, Inc. | Clock synchronization and dynamic jitter management for voice over IP and real-time data |
US6370125B1 (en) * | 1998-10-08 | 2002-04-09 | Adtran, Inc. | Dynamic delay compensation for packet-based voice network |
US6456964B2 (en) * | 1998-12-21 | 2002-09-24 | Qualcomm, Incorporated | Encoding of periodic speech using prototype waveforms |
US6922669B2 (en) * | 1998-12-29 | 2005-07-26 | Koninklijke Philips Electronics N.V. | Knowledge-based strategies applied to N-best lists in automatic speech recognition systems |
EP1088302B1 (en) | 1999-04-19 | 2008-07-23 | AT & T Corp. | Method for performing packet loss concealment |
US7117156B1 (en) * | 1999-04-19 | 2006-10-03 | At&T Corp. | Method and apparatus for performing packet loss or frame erasure concealment |
GB9911737D0 (en) * | 1999-05-21 | 1999-07-21 | Philips Electronics Nv | Audio signal time scale modification |
US6785230B1 (en) * | 1999-05-25 | 2004-08-31 | Matsushita Electric Industrial Co., Ltd. | Audio transmission apparatus |
JP4218186B2 (ja) | 1999-05-25 | 2009-02-04 | パナソニック株式会社 | 音声伝送装置 |
JP4895418B2 (ja) | 1999-08-24 | 2012-03-14 | ソニー株式会社 | 音声再生方法および音声再生装置 |
EP1221694B1 (en) | 1999-09-14 | 2006-07-19 | Fujitsu Limited | Voice encoder/decoder |
US6377931B1 (en) * | 1999-09-28 | 2002-04-23 | Mindspeed Technologies | Speech manipulation for continuous speech playback over a packet network |
US6859460B1 (en) * | 1999-10-22 | 2005-02-22 | Cisco Technology, Inc. | System and method for providing multimedia jitter buffer adjustment for packet-switched networks |
US6665317B1 (en) | 1999-10-29 | 2003-12-16 | Array Telecom Corporation | Method, system, and computer program product for managing jitter |
US6496794B1 (en) * | 1999-11-22 | 2002-12-17 | Motorola, Inc. | Method and apparatus for seamless multi-rate speech coding |
US6366880B1 (en) * | 1999-11-30 | 2002-04-02 | Motorola, Inc. | Method and apparatus for suppressing acoustic background noise in a communication system by equaliztion of pre-and post-comb-filtered subband spectral energies |
US6693921B1 (en) * | 1999-11-30 | 2004-02-17 | Mindspeed Technologies, Inc. | System for use of packet statistics in de-jitter delay adaption in a packet network |
GB2360178B (en) * | 2000-03-06 | 2004-04-14 | Mitel Corp | Sub-packet insertion for packet loss compensation in Voice Over IP networks |
US6813274B1 (en) * | 2000-03-21 | 2004-11-02 | Cisco Technology, Inc. | Network switch and method for data switching using a crossbar switch fabric with output port groups operating concurrently and independently |
AU2001247578A1 (en) | 2000-04-03 | 2001-10-15 | Ericsson Inc. | Method and apparatus for efficient handover in packet data communication system |
US6584438B1 (en) * | 2000-04-24 | 2003-06-24 | Qualcomm Incorporated | Frame erasure compensation method in a variable rate speech coder |
EP2040253B1 (en) | 2000-04-24 | 2012-04-11 | Qualcomm Incorporated | Predictive dequantization of voiced speech |
US7246057B1 (en) * | 2000-05-31 | 2007-07-17 | Telefonaktiebolaget Lm Ericsson (Publ) | System for handling variations in the reception of a speech signal consisting of packets |
US7016970B2 (en) * | 2000-07-06 | 2006-03-21 | Matsushita Electric Industrial Co., Ltd. | System for transmitting stream data from server to client based on buffer and transmission capacities and delay time of the client |
US7155518B2 (en) * | 2001-01-08 | 2006-12-26 | Interactive People Unplugged Ab | Extranet workgroup formation across multiple mobile virtual private networks |
US20020133334A1 (en) * | 2001-02-02 | 2002-09-19 | Geert Coorman | Time scale modification of digitally sampled waveforms in the time domain |
US20040204935A1 (en) * | 2001-02-21 | 2004-10-14 | Krishnasamy Anandakumar | Adaptive voice playout in VOP |
US7212517B2 (en) * | 2001-04-09 | 2007-05-01 | Lucent Technologies Inc. | Method and apparatus for jitter and frame erasure correction in packetized voice communication systems |
WO2002087137A2 (en) | 2001-04-24 | 2002-10-31 | Nokia Corporation | Methods for changing the size of a jitter buffer and for time alignment, communications system, receiving end, and transcoder |
US7006511B2 (en) | 2001-07-17 | 2006-02-28 | Avaya Technology Corp. | Dynamic jitter buffering for voice-over-IP and other packet-based communication systems |
US7266127B2 (en) * | 2002-02-08 | 2007-09-04 | Lucent Technologies Inc. | Method and system to compensate for the effects of packet delays on speech quality in a Voice-over IP system |
US7079486B2 (en) * | 2002-02-13 | 2006-07-18 | Agere Systems Inc. | Adaptive threshold based jitter buffer management for packetized data |
US7158572B2 (en) * | 2002-02-14 | 2007-01-02 | Tellabs Operations, Inc. | Audio enhancement communication techniques |
US7126957B1 (en) * | 2002-03-07 | 2006-10-24 | Utstarcom, Inc. | Media flow method for transferring real-time data between asynchronous and synchronous networks |
US7263109B2 (en) * | 2002-03-11 | 2007-08-28 | Conexant, Inc. | Clock skew compensation for a jitter buffer |
US20030187663A1 (en) | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
JP3761486B2 (ja) * | 2002-03-29 | 2006-03-29 | Necインフロンティア株式会社 | 無線lanシステム、主装置およびプログラム |
AU2002307884A1 (en) * | 2002-04-22 | 2003-11-03 | Nokia Corporation | Method and device for obtaining parameters for parametric speech coding of frames |
US7496086B2 (en) * | 2002-04-30 | 2009-02-24 | Alcatel-Lucent Usa Inc. | Techniques for jitter buffer delay management |
US7280510B2 (en) * | 2002-05-21 | 2007-10-09 | Nortel Networks Limited | Controlling reverse channel activity in a wireless communications system |
WO2003107591A1 (en) * | 2002-06-14 | 2003-12-24 | Nokia Corporation | Enhanced error concealment for spatial audio |
US7336678B2 (en) * | 2002-07-31 | 2008-02-26 | Intel Corporation | State-based jitter buffer and method of operation |
US8520519B2 (en) * | 2002-09-20 | 2013-08-27 | Broadcom Corporation | External jitter buffer in a packet voice system |
JP3796240B2 (ja) | 2002-09-30 | 2006-07-12 | 三洋電機株式会社 | ネットワーク電話機および音声復号化装置 |
JP4146708B2 (ja) | 2002-10-31 | 2008-09-10 | 京セラ株式会社 | 通信システム、無線通信端末、データ配信装置及び通信方法 |
US6996626B1 (en) * | 2002-12-03 | 2006-02-07 | Crystalvoice Communications | Continuous bandwidth assessment and feedback for voice-over-internet-protocol (VoIP) comparing packet's voice duration and arrival rate |
KR100517237B1 (ko) | 2002-12-09 | 2005-09-27 | 한국전자통신연구원 | 직교 주파수 분할 다중화 무선 통신 시스템에서의채널품질 추정과 링크적응 방법 및 그 장치 |
US7525918B2 (en) * | 2003-01-21 | 2009-04-28 | Broadcom Corporation | Using RTCP statistics for media system control |
US7394833B2 (en) * | 2003-02-11 | 2008-07-01 | Nokia Corporation | Method and apparatus for reducing synchronization delay in packet switched voice terminals using speech decoder modification |
JP2004266724A (ja) | 2003-03-04 | 2004-09-24 | Matsushita Electric Ind Co Ltd | リアルタイム音声用バッファ制御装置 |
JP3825007B2 (ja) * | 2003-03-11 | 2006-09-20 | 沖電気工業株式会社 | ジッタバッファの制御方法 |
US7551671B2 (en) * | 2003-04-16 | 2009-06-23 | General Dynamics Decision Systems, Inc. | System and method for transmission of video signals using multiple channels |
JP2005057504A (ja) | 2003-08-05 | 2005-03-03 | Matsushita Electric Ind Co Ltd | データ通信装置及びデータ通信方法 |
CA2446469A1 (en) * | 2003-08-15 | 2005-02-15 | M-Stack Limited | Apparatus, and an associated method, for preserving communication service quality levels during hand-off of communications in a radio communication system |
US7596488B2 (en) | 2003-09-15 | 2009-09-29 | Microsoft Corporation | System and method for real-time jitter control and packet-loss concealment in an audio signal |
US7505764B2 (en) * | 2003-10-28 | 2009-03-17 | Motorola, Inc. | Method for retransmitting a speech packet |
US7272400B1 (en) * | 2003-12-19 | 2007-09-18 | Core Mobility, Inc. | Load balancing between users of a wireless base station |
US7424026B2 (en) * | 2004-04-28 | 2008-09-09 | Nokia Corporation | Method and apparatus providing continuous adaptive control of voice packet buffer at receiver terminal |
JP4076981B2 (ja) | 2004-08-09 | 2008-04-16 | Kddi株式会社 | 通信端末装置およびバッファ制御方法 |
US8085678B2 (en) * | 2004-10-13 | 2011-12-27 | Qualcomm Incorporated | Media (voice) playback (de-jitter) buffer adjustments based on air interface |
SG124307A1 (en) * | 2005-01-20 | 2006-08-30 | St Microelectronics Asia | Method and system for lost packet concealment in high quality audio streaming applications |
US8102872B2 (en) * | 2005-02-01 | 2012-01-24 | Qualcomm Incorporated | Method for discontinuous transmission and accurate reproduction of background noise information |
US20060187970A1 (en) * | 2005-02-22 | 2006-08-24 | Minkyu Lee | Method and apparatus for handling network jitter in a Voice-over IP communications network using a virtual jitter buffer and time scale modification |
US8355907B2 (en) | 2005-03-11 | 2013-01-15 | Qualcomm Incorporated | Method and apparatus for phase matching frames in vocoders |
CA2603255C (en) * | 2005-04-01 | 2015-06-23 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband speech coding |
-
2005
- 2005-05-05 US US11/123,467 patent/US8155965B2/en active Active
-
2006
- 2006-03-10 TW TW095108057A patent/TWI389099B/zh active
- 2006-03-13 RU RU2007137643/09A patent/RU2371784C2/ru active
- 2006-03-13 EP EP06738524A patent/EP1856689A1/en not_active Withdrawn
- 2006-03-13 CA CA2600713A patent/CA2600713C/en active Active
- 2006-03-13 BR BRPI0607624-6A patent/BRPI0607624B1/pt active IP Right Grant
- 2006-03-13 WO PCT/US2006/009472 patent/WO2006099529A1/en active Application Filing
- 2006-03-13 SG SG201001616-0A patent/SG160380A1/en unknown
- 2006-03-13 JP JP2008501073A patent/JP5203923B2/ja active Active
- 2006-03-13 KR KR1020077022667A patent/KR100956623B1/ko active IP Right Grant
- 2006-03-13 MX MX2007011102A patent/MX2007011102A/es active IP Right Grant
- 2006-03-13 KR KR1020097022915A patent/KR100957265B1/ko active IP Right Grant
- 2006-03-13 AU AU2006222963A patent/AU2006222963C1/en active Active
-
2007
- 2007-09-11 IL IL185935A patent/IL185935A/en not_active IP Right Cessation
- 2007-10-10 NO NO20075180A patent/NO20075180L/no not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
AU2006222963B2 (en) | 2010-04-08 |
CA2600713A1 (en) | 2006-09-21 |
JP5203923B2 (ja) | 2013-06-05 |
KR100957265B1 (ko) | 2010-05-12 |
MX2007011102A (es) | 2007-11-22 |
IL185935A (en) | 2013-09-30 |
JP2008533529A (ja) | 2008-08-21 |
US8155965B2 (en) | 2012-04-10 |
NO20075180L (no) | 2007-10-31 |
RU2371784C2 (ru) | 2009-10-27 |
RU2007137643A (ru) | 2009-04-20 |
KR100956623B1 (ko) | 2010-05-11 |
BRPI0607624A2 (pt) | 2009-09-22 |
KR20090119936A (ko) | 2009-11-20 |
US20060206334A1 (en) | 2006-09-14 |
AU2006222963A1 (en) | 2006-09-21 |
EP1856689A1 (en) | 2007-11-21 |
TW200638336A (en) | 2006-11-01 |
KR20070112832A (ko) | 2007-11-27 |
BRPI0607624B1 (pt) | 2019-03-26 |
CA2600713C (en) | 2012-05-22 |
SG160380A1 (en) | 2010-04-29 |
AU2006222963C1 (en) | 2010-09-16 |
WO2006099529A1 (en) | 2006-09-21 |
IL185935A0 (en) | 2008-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI389099B (zh) | 用於在語音合成儀中藉由修改剩餘量之時間規整訊框之方法及處理器可讀媒體 | |
KR100956526B1 (ko) | 보코더에서 프레임을 위상 매칭하는 방법 및 장치 | |
US8239190B2 (en) | Time-warping frames of wideband vocoder | |
US8670990B2 (en) | Dynamic time scale modification for reduced bit rate audio coding | |
JP2010501896A5 (zh) | ||
US7869993B2 (en) | Method and a device for source coding | |
CN101171626B (zh) | 通过修改残余对声码器内的帧进行时间扭曲 | |
Yaghmaie | Prototype waveform interpolation based low bit rate speech coding |