TW477119B - Byte allocation method and device for speech synthesis - Google Patents

Description

477119 五、發明說明（1) 本案為一種位元配置方法及裝置，尤指一語音合成之 位元配置方法及裝置。 以人類聽覺系統發展出的副頻帶（subband)編碼器通 φ可用來壓細大幅變化的音輸入信號，諸如繁雜的語音， 多工發聲及音樂。副頻帶編碼之基本原理係在於分割輸入 音頻譜（audio spectrum)為數個頻帶，再予以分別編碼。

濾波器組（f i Iter bank)通常用來分開輸入的語音信 唬。於分割音頻譜為數個頻帶之後，每一頻帶通過一低通 濾波器’再以奈氏比（Nyqui st)來取樣、量化、編碼、多 工（multiplexed)及傳送。聽覺模型（psych〇ac〇ustie model)計算出一組資料以控制量化器及編碼。這些資料係 依實際編碼器之實作而有所不同。可能的話，會使用遮罩 臨界（masking threshold)的估算來做此量化器的栌制、、。 在接收器方面，副頻帶係解多工、解碼及傳送I回到他 們的原始頻率位置。接著副頻帶信號總合在一起，給 原始語音信號的近似值。 、圖:為習用的副頻帶編碼器。語音信號s(n)_ 通濾波Is 11濾波，得到B 1到BN個副頻帶信號，|中 頻帶信號代表語音信號在該頻帶的能量強度。語副

S(n)係分批並聯輸入至n個帶通濾波器丨丨， = 個信號框（frame)。 复数η代表第n 副頻帶信號B1〜B N必須各藉由一降頻器丨2進行 (decimation)的動作。 頌 每個副㈣可以有個數不@心立元數纟進行量化，言

477119 五、發明說明（2) _

些資訊係内建於位元配置表J 模型1 4產生的。聽覺模型丨4 。位兀配置表係根據聽覺 5 \ 係利用聽覺對頻率變化的感受 ΐ 相同的能量而言，在人耳可= 音頻的咼頻、中頻及低頻中 ^ 」按叹的 在高頻及低頻可能無法聽到，：：H的呈f卻有不同， 吾人即利用此一自然現象決定聽得报清楚。 量，f ··頻率。 、义聽覺模型P(f)，其中p :能 因此根據聽覺模型，吾Α Βϊ _ 1 元個數。影響較重的頻帶，各副頻帶適合的位 的頻帶則配置較少的位元，甚己=的位元，❿影響較輕 數不夠多的話）。 甚至於無（若可供配置的位元 量化編碼器15即根據輪入 立 帶的能量大小及位元配置表$二二二t^S(n)在各個副頻 元數，來量化每一副頻帶；；'，該副頻帶可供配置的位 配置表記錄可供配置的位元：數二如：頻帶請1在位元 B1在經過降頻器12及量化編碼；广:匕：副頻帶信號 〇〇, 01，10, u，可分別用來抑\盗15之後可能出現的數值為 時，副頻帶信號B1的最小值代=、音/、巧（η)在第η信號框 所有副頻帶信號…〜ΒΝ的經人旦、次大值及最大值。 輸出經編碼完成的語音資料里多工器 信號時框皆編碼完成為止。 加以儲存，直到每一 請參見圖二。當吾人欲取 時，則需對其加以解碼，而解 ^ !編碼的語音資料 程剛好相反。經編碼的語立料Κ 1程基本上與編碼的過 曰貝科Χ(η)會先經解多工器21將

Ptd 第5頁 D：\champi〇n\CASE\p〇^new\pdl573. 477119

各個副頻帶的資料取出，再分別輸入解碼器22解出資料。 解碼器22則同時參考上述位元配置表，才能將資料解出。 解出之資料bl〜bN則會經升頻器23作一升頻的動作，即予 j過取樣（up sample)，再輸入各個帶通濾波器“及混合 為2 5二以將語音信號8 ( n )還原回來而播出。 習用位元配置方法在重建的聲音品質方面係有所限制 者。驾用位兀配置的原理係總雜訊遮罩比 (noise-to-mask)在個別信號框（一般為1〇 — 3〇心)取最小 ，，因而所使用位元數量不得超過每一信號框可用的位元 數。例如，當位元比率（b i 卞、L rate)為 B bi ts/sec 且信號 框長度為K ms時，可用來作一〆士躲L 一，^ < τ』用木邗心唬框上副頻帶及邊置資訊 vsUe lnf0rmati0n)編碼的位元數” adb"計算如下： adb = B + 1 0 0 0 X κ ^ =因^_king ef f ects)通常存在許多信號框無 耳，覺'在習用的編碼程序中，這些無法聽覺的 m 配置一定數量的位元。因此會使得位元配 置的效果大打折扣。 ,在消費性產品中’無不以低成本為訴求。i述無法聽 覺的信號框卻被配置位元的做法，顯然徒增成本。 元的目Γ/ί於改善習用做法的缺：⑨得每個位 =己置“己置在有用的信號框’而對於無法聽覺的信號 框則加以過遽，不予配置位元，使位 而降低成本。 1又令 >又午退 為達上述目的，本案提出 種語音合成之位元配置方 /1

2，其係將一總位元數量，分配至一位元配置表。首先， θ供複數個訊號遮罩比。接著，量化該複數個訊號遮罩 比產生特定個數之量化階，該等量化階係分別對應至一 配置位元數、一量化訊號遮罩比及一取樣數。初始化該等 ，置位兀數。根據該等配置位元數及該等量化訊號遮罩 1計算各量化階之一遮罩雜訊比。自該等遮罩雜訊比 旦找出一最小遮罩雜訊比之量化階，並分配該總位元數 ^ ^部份至该最小遮罩雜訊比之量化階之配置位元數。 取後，因應該總位元數量之改變，完成分配該位元配置表 一由於本案在配置位元時，係將總位元數量一次配置到 =兀配置表上，在配置時特地將所有的訊號遮罩比分為特 :個數個量化Ρ皆，再針對每個量化階的權重，予以配置適 :的配置位元t，如此則可充份將位元配置予權重高的信 犰匡，而對於無法聽覺的訊號框，則可以不予配置，因而 可增加位元配置的效率，進而降低成本。 其中’該等訊號雜訊比係由—輸人之語音信號及一聽 :決定之。輸入之語音信號係於整體輸入完成之後， 定該等訊號雜訊比。該總位元數量係為配置至該輸入 之5吾音信號之全部位元數。 位元配置表係包含一時間座標及一頻帶座標，其一格 之内容係代表一時間及一頻帶所分配的位元數。 該里化該複數個訊號遮罩比係包含下列步驟：分類該 複數個訊號遮罩比，找出該等量化階；自各量化階中決定

477119 五、發明說明（5) 以記錄各量化階之訊號遮罩比的個數；以 等量化階中所有的訊號遮罩比。D 遮罩比’用以代表該 數。‘二化3 ΐ 70數係用以代表各量化階配置位元之個 J零初始化該等配置位元數時係設定該等配置位元數全部 該等量化階之該遮罩雜訊比係根據哕黧旦β階之$ wp 得之m / L數再減去該4量化階之該訊號遮罩比而 位元所對應的一訊號增益比。代表該配置位元數母增加一 階之ΪΞΪ元數量之一部份係為該最小遮罩雜訊比之量化 p白之取樣數。因應該最小遮罩 該最小遮罩雜訊比之旦化=雜δί1比之量化階之取樣數予 遮罩μ ” 階之配置位元數之配f，該最小 數ΐΐ”階之配置位元數係加-。另夕卜，因應該 配置位元數，該：訊比之量化階之 位元數量漸減至交，，r漸減…匕。亦即，因應該總 另：ίίΐ 置表係分配完成。 以根據-輸入之語音㈣^之〜己置裝置，係用 處理哭進彳丨__ t Φ" 位元配置表，供一語音

“：ί ί的動作。其包含-聽覺模型、-數 :錯存…量化器。聽覺模型用以過漁全 唬，產生複數個訊號遮罩比。數位二之汶π曰L 聽覺模型，藉以儲存該等訊號遮罩比。；= J 該數位儲存單元，藉以分類該等訊號遮罩比 D: \champion\CASE\p〇_new\pdl573. ptd 第 g 477119 五、發明說明（6) 畺化1%，並根據各量化 配置位 元數，以產生該位元配置表權重，为配各量化階 _ 其中’該語音處理哭 > 解 該位元配置表進行編的：：之該處理動#，係根 於各量化階所涵蓋之以;乍遗化量之權重係取； 本案得藉由下列圖遮罩比之大小。 幻圆不及詳細說明，俾得—更深入之 圖一 ··習用副頻帶編碼器。 圖一 · 4用副頻帶解碼器。 圖三··本案副頻帶編碼器。 圖四··本案位元配置流程。 圖五··本案之應用例。 圖式主要圖號如下： 12 降 頻 器 32 副 頻 帶 編 碼取樣器 35 聽 覺 模 型 37 儲 存 單 元 39 位 元 配 置 表 11 :帶通濾波器 儲存單元 唯讀記憶體 … 。本案語音合成之位元配置裝置主人 聽覺模型35、一數位儲在罝分μ 曰儿衣罝王要包含 、土 数位储存早兀*37、量化器38，係用以根 一輸入之語音信號S(η)，產生一位元配置表39，供一語 處理态3 0 1進行一信號處理的動 <乍。聽覺模型3 5用以過 全部之語音信號S(n)，產生複數個訊號遮罩比36。數位 存單元37係電連接至該聽覺模型35，藉以儲存該等訊號 訊號雜訊比產生器3 7 量化器 請參見圖 D:\charapion\CASE\po_new\pdl573. ptd 第 9 頁 Η·/ /丄丄^ 五、發明說明（7) 遮罩比36。。么 分類該等*器8係電連接至該數位儲存單元37，藉以 重虎；罩比36為特定個數之量化階，綱各量 配置表^ 分配各量化階-配置位元數，以產生該位元 根據ί:元2=理f301進行之該信號處理動作，係 取決於各量化的㈣’而各量化階之權重係 里化h所涵盍之若干訊號遮罩比之大小。

I pies)都儲/在取j^V =有的副頻帶取樣值（subband 每-副頻帶…31内。同時，第n個信號框中 來，且儲存= =η。)係由聽覺模型35所計算出 ]02換一H、’語音信號“11)會先進入本案之位元配置裝置 ^ _人王部處理完成所有的信號框，並根據各作味扩 來配ί適當的配置位元數，以取得位元配置V:。 來，輸入並儲存在儲存單元31的語音作諕 :的能量）’在副頻帶編碼取樣器32進行編二夺'即= 據位兀配，表上記錄每一時間及一副頻帶内應配置 2 數，予以量化編碼，而最後一般則將量化編碼的資料 及位元配置表（又稱邊置資訊)存入唯讀記憶體，以供η 之用，而解碼的過程則與習用相同。 敗解馬 本案最主要是藉由不同的位元配置方法來達 置位元的效率及降低成本。而本案位元配，=配 所示，其包含下列步驟： 1的机私如圖四

477119 五、發明說明（8) 41 :定義下列參數·· QL :訊號遮罩比量化階的個扭立 模型過濾、之所有的訊號遮罩比在量化:魂經聽覺 前會先被存放在儲存單元37，亦即儲^ 二里化的動作 N*T(複數）個訊號遮罩比，其中N 已存有 三中帶通濾波器11的個數），τ為^1頻帶的個數（等於圖 T ^ t ^ „ 定個數個量化階，NT>QL。 σ 先被刀類為QL特 NQL(i) ·第i量化階的取^ 屮旦朴邮由祕八μ诚册加▲ 取樣數。即第i個訊號遮罩 、海®仏从女μ加> I ώ 母個副頻帶會包含一個訊號 遮罩比，共有NT個訊號遮罩比， 邮+么 七—加曰儿卜卜人 因此在經分類為QL個量化 階之後，有母個篁化階會涵芸：笙 —加旦^ 现不荨個數的訊號遮罩比，即 母個篁化階會有不同的取樣數。 S M R (i ) ·量化訊號遮置卜 σ4: ^ ^ 题罩比’代表第i量化階的訊 ?虎遮罩比。如上所述，在各I各咖 — 产嗯 ,^ 合里化階涵蓋有個數不一的訊號 遮罩比，但疋在進行量化時必項A々曰 , 了义須在各量化階中決定一個用 來代表各量化階中所有訊號涉罢^ μ & 观遮罩比的數值，因此吾人將此 數值名為量化訊號遮罩比。I各4咕A m 曰 里化汛號遮罩比則可取各量化 階中的訊號遮罩比的中間值代表之。 BQL ( 1 ) ·第1里化階的配置位元數。由於吾人已 分類為QL個量化階’且各量化階可對應至—量化訊號遮罩 比及-取樣數’所以在配置位元時只需對化階進行配 置即可，當一量化階配置一位分卩士 θ ^ ^ 1立70日守’即代表該量化階所有 的取樣（副頻帶）皆配上一位元。

477119

五、發明說明（9) TB j總位元數量，即用來對輸入語音信號編碼所 有可用的位元數。在配置位元的過程中，則會漸漸減少直 至分配完了（ΤΒ=0)為止。 42 :初始化各量化階的配置位元數。因為各量化階的 配置位το數通常從零開始，所以吾人一開始係將各個量化 階的配置位元數BQL(i)設為〇，語法則為叫以〇=〇，f〇r . 二 1··· QL 〇 43 :計算第i量化階的遮罩雜訊比MNR(i)(Mask & Noise Ratio)。遮罩雜訊比MNR(i)係根據第i量化階的配 置位元數BQL( i )及第i量化階之訊號遮罩比SMR(丨）產生。 其计鼻式如下： MNR(i) = BQL(i)X6.〇2 - SMR(i) 其中常數6· 02係用以代表該配置位元數每增加一位元 所對應的訊號增益比，這是類比數位轉換的一般性法則。 44:找出最小的遮罩雜訊比MNR(k)。其中k代表第k個 量化階，亦即在第k個量化階的遮罩雜訊比最小（在訊號遮 罩比SMR(k)則最大者）。遮罩雜訊比關r最小代表其影響 聽覺的權重最高，因此吾人必須對權重高者先配置，每配 置一次’其權重則會減少一位元（相當於6 · 〇 2 d B )，回頭再 與其他量化階的遮罩雜訊比進行比較。 45 :更新總位元數量。由於已配置若干位元至上述權 重隶咼的量化階的每個取樣的副頻帶了，所以相對可用的 總位元數量會相對減少。 46 ··若總位元數量還有可供配置的（TB>〇)，則回到步

D:\champion\CASE\pcuiew\pdl573.ptd 第 12 頁 477119 五 、發明說明 驟43重覆上述動作。反之則結束配置位元的動作。 47 :結束配置位元的動作。配置位元結束後，在位元 配置表内的每一格内，存有代表每一時間（信號框）的各副 頻帶所分配的位元數。在圖三中’副頻帶取樣編碼器“即 可根據本流程所產生的位元配置表39，加以對輸入的任立 圖五為常見的語音合成裝置’包括唯讀記憶體（R〇M )、隨機存取記憶體（RAM)、數位信號處理器（Dsp)、 數位類比轉換器（D/A )及喇叭（Speaker )等。上述位元 配置表及經編碼的語音信號係儲存在唯讀記憶體r〇m内， 數位信號處理器DSP的功能係為對這些經編碼的資料進行 解碼以及進行整組濾波合成的動作去處理重建、 (reconstructed)脈波編碼調變（pCM )的語音信號。這此 語音PCM資料係暫存在隨機記憶體RAM内供喇叭播放用。& 然在播放之前，會先用數位類比轉換器D/A將數位信號轉" 換為類比信號。而數位類比轉換器D/A的轉換率則由數位 信號處理器DSP控制之。 '

由上述之圖解及說明，吾人可知，本發明主要特點係 在於位元配置方法上，藉由向量量化（vect〇r quantization)的觀念，產生整體的語音信號的位元配置 表，再據以進行編碼的動作，因此可排除在無法聽覺的副 頻帶上配置不必要位元的缺失，改善了位元配置的效率， 進而可節省記憶空間，降低成本。 本案得由熟悉本技藝之人士任施匠思而為諸般修飾，

D:\champion\CASE\po_new\pdl573. ptd

477119 五、發明說明（11) 然皆不脫如附申請專利範圍所欲保護者。 第14頁 D:\champion\CASE\po_new\pdl573. ptd

Claims (1)

1. 477119 六、申請專利範圍 1 · 一種語音合成之位元配置方法，係將一總位元數量， 分配至一位元配置表，包含下列步驟： 提供複數個訊號遮罩比； 量化該複數個訊號遮罩比，產生特定個數之量化階， 該等量化階係分別對應至一配置位元數、一量化訊號遮罩 比及一取樣數； 初始化該等配置位元數； 根據該等配置位元數及該等量化訊號遮罩比，計算各 量化階之一遮罩雜訊比； 自該等遮罩雜訊比中，找出一最小遮罩雜訊比之量化 W 階，並分配該總位元數量之一部份至該最小遮罩雜訊比之 量化階之配置位元數；以及 因應該總位元數量之改變，完成分配該位元配置表的 動作。 2 ·如申請專利範圍第1項所述之語音合成之位元配置方 法，其中該等訊號雜訊比係由一輸入之語音信號及一聽覺 模型決定之。 3 ·如申請專利範圍第2項所述之語音合成之位元配置方 法，其中該輸入之語音信號係於整體輸入完成之後，再決 定該等訊號雜訊比。 · 4 ·如申請專利範圍第3項所述之語音合成之位元配置方 法，其中該總位元數量係為配置至該輸入之語音信號之全 部位元數。 5 ·如申請專利範圍第1項所述之語音合成之位元配置方

   D:\champion\CASE\po_new\pdl573. ptd 第15頁 A、申請專利範圍 ___ 、中5亥位元配置表係包含一時間座；^ 6 ·如申請真剎铲円楚1 S说、+、 &及一頻帶座標。 T明寻利靶圍第1項所述之語入 去，其中兮/ 曰0成之位元配置方 册 Μ位70配置表之一格之内容传 V所分配的位元數。 ，、代表一時間及一頻 ^7 •如申請專利範圍第1項所述之語 一 …5中該量化該複數個訊號遮罩比係$:::置方 複數個訊號遮罩比，找出該匕=步驟· 自各Ϊ化階中決定該等取樣數， 訊號遮罩比的個數；以及 乂记錄各篁化1¾之 自各量化階中，找出該等量 該等量化階由仏七λα 里化5fl號遮罩比，用以代表 里化p自中所有的訊號遮罩比。 8 ·如申請專利範圍第7項所 ^，其中該等配置位元數係成之位元配置方 個數。 Λ代表各1化階配置位元之 9 ·如申請專利範圍第1項所什 法，其中初始化該等配置位:之語音合成之位元配置方 部為零。 數係設定該等配置位元數全 1 〇 ·如申請專利範圍第丄 方法，其中該等量化階之該、、斤述之語音合成之位元配置 之該配置位元數乘上一常^遮罩雜訊比係根據該等量化階 罩比而得之。 再减去該等量化階之該訊號遮 1 1 ·如申請專利範圍第丄 置方法，其中該常數係為6· 〇9項所述之語音合成之位兀， 增加一位元所對應的一訊 ，用以代表該配置位兀數母 泥增益比。

   477119 六、申請專利範圍 1 2 ·如申請專利範圍第1項所述之語音合成之位元配置 方法，其中該總位元數量之一部份係為該最小遮罩雜訊比 之量化階之取樣數。 1 3 ·如申請專利範圍第1 2項所述之語音合成之位元配 置方法，其中因應該最小遮罩雜訊比之量化階之取樣數個 該最小遮罩雜訊比之量化階之配置位元數之配置，該最小 遮罩雜訊比之量化階之配置位元數係加一。 1 4 ·如申請專利範圍第1項所述之語音合成之位元配置 方法，其中因應該總位元數量之一部份分配至該最小遮罩 雜訊比之量化階之配置位元數，該總位元數量係漸減變 化。 1 5 ·如申請專利範圍第1 4項所述之語音合成之位元配 置方法，其中因應該總位元數量漸減至零，該位元配置表 係分配完成。 1 6 · —種語音合成之位元配置裝置，係用以根據一輸入 之語音信號，產生一位元配置表，供一語音處理器進行一 信號處理的動作，包含·· 一聽覺模型，用以過濾全部之該語音信號，產生複數 個訊號遮罩比； 一數位儲存單元，係電連接至該聽覺模型，藉以儲存 該等訊號遮罩比；以及 一量化器，係電連接至該數位儲存單元，藉以分類該 等訊號遮罩比為特定個數之量化階，並根據各量化階之權 重，分配各量化階一配置位元數，以產生該位元配置表。

   D:\charapion\CASE\po_new\pdl573. ptd 第17頁 477119 六、申請專利範圍 1 7 ·如申請專利範圍第1 6項所述之語音合成之位元配 置裝置，其中該語音處理器進行之該信號處理動作，係根 據該位元配置表進行編碼的動作。 1 8 ·如申請專利範圍第1 6項所述之語音合成之位元配 置裝置，其中該位元配置表係包含一時間座標及一頻帶座 標。 1 9 ·如申請專利範圍第1 6項所述之語音合成之位元配 置裝置，其中該位元配置表之一格之内容係代表一時間及 一頻帶所分配的位元數。 2 0 ·如申請專利範圍第1 6項所述之語音合成之位元配 置裝置，其中該等量化階具一取樣數，用以記錄各量化階 之訊號遮罩比之個數。 2 1 ·如申請專利範圍第1 6項所述之語音合成之位元配 置裝置，其中.各量化階之權重係取決於各量化階所涵蓋之 若干訊號遮罩比之大小。

   D:\champion\CASE\po_new\pdl573. ptd 第18頁