201207847 六、發明說明: I: 明所屬椅領3 依據本發明之一實施例係有關於音訊處理及特別係有 關於一種用以以逐一時間節段方式延展或壓縮音訊信號之 裝置與方法。 C 前务好;j 記錄的音訊信號可以該(原先)音訊信號所記錄的原先 速度相異的速度回放。此點可用來減慢或加快音訊信號, 使得收聽者可以對收聽者而言為方便的速率接收由該音訊 信號所傳遞的資訊。收聽者例如在搜尋音訊信號内部的某 個節段時,藉由專注在所搜尋的節段内部的某個關鍵字而 選擇相當快的回放速度。典型地,收聽者在音訊信號係以 高速回放時係無法對該音訊信號所傳遞的整個資訊作思索 處理。雖言如此,若收聽者集中精神在檢測該關鍵字時, 即便以相對高的回放速度,收聽者仍然典型地可辨識該關 鍵字。另一選項係選擇較慢的回放速度,其係可用在當收 聽者想要從該音訊信號中擷取相關資訊時。舉例言之,該 音訊信號係纽庭聽财過財記_需準制音訊信號 之抄本。又另-實例出現在航空領域,當音訊信號已經從 -飛行資料記錄㈣取㈣’委任專家來鑑識該音訊信號 播放期間所能聽到的各個話語及聲音。變更音訊信號之回 放速度有助於辨識所記錄的各個聲音。 目前已知之時間上職與_ —音訊信號之方法係接 收來自使用者例如收聽者的控制資訊。舉例言之已經介 201207847 紹時間延展方法,稱作為「法玻利(Phadvorit)」且描述於下 文,T. Karrer、E_ Lee及J. Borchers ’「法玻利:即時互動式 時間延展之相角聲碼器」於Proc· ICMC,2006年11月第7〇8 至715頁。此種時間延展方法係基於相角聲碼器,使用者可 在運轉時間對其選擇時間延展程度。 此·#及其匕目刖已知方法係以全面性(acr〇ss_the_b〇arc|) 方式處理整個音訊信號或須由使用者明確地控制。 音机信號回放速度的變更典型地造成音訊信號音高的 改變。右此點為非期望,則可使用多種不同的時間延展方 法,諸如同步重疊與相加(S0LA)、音高同步重疊與相加 (PS0LA)、波形相似性重疊與相加(ws〇la)、指標區間控 制重疊與相加(PICOLA)、時域譜波定標(TDMS)、最小覺察 損耗時間壓縮/擴展(MPEX)、或相角聲碼器。此等技術各自 對某些信號有某些優點。但後文描述係關注在相角聲碼器。 「相角聲碼11 :使用說明書」作者MarkDolson,美國 加Η大子聖地牙哥分校音樂實驗中心、電腦音訊研究室一文 中解釋相角聲碼器之操作相角聲碼器係_項信號處理技 術(典型地為數位)’可帛來執行所記錄的聲音之極高保真度 時間定標、音高轉位及其它修改。 於德國專利申睛公告案De 1〇 2麵观αι中描 述-種⑽音贿叙帶寬擴展料。域置使用相角聲 碼器於滤波器排組實施或轉換實施來藉—預定常數因數 而時間性展開該音訊信號。 期望提供-種用以自動地且選擇性地延展及/或壓縮 201207847 s -iU。就特別為語音信號之個別節段的裝置與方法。此項 操作可以 SOLA、WSOLA、PSOLA、PICOLA、TDHS、 mpex、相角聲碼器或其它時間或音高定標技術進行。 此項期望及/或其它期望係藉如申請專利範圍第1項之 音訊信號處理器、如申請專利範圍第14項之方法、或如申 請專利範圍第15項之電腦程式達成。 【發明内容】 本發明之一實施例提供一種音訊信號處理器包含一分 析裝置、一操控因數單元 '及一時間延展及壓縮裝置。該 分析裝置其係實施來測定一音訊信號之一第一時間節段之 一第一貢訊内容測量值及一第二時間節段之一第二資訊内 谷測里值。該操控因數單元其係實施來取決於該第一資訊 内容測量值及該第二f助容測量值而針對該第—時間節 段測定-時間操控因數。該時間延展及壓縮裝置其係實施 來依據該操控因數而時間延展或壓缩該第__時間節段,且 以異於該第-日夺間節段之方式處理該第二時間節段。 藉由施加有關時間延展及壓縮之不同操控因數至不同 時間節段’具有較高資訊内容測量值(例如較高資訊密度) 之時間節段可經時間延展或時間性延長。另-方面,具; 相對低資訊内容測量值之時間節段可被時間性壓縮或甚至 從該信號巾刪除。音訊信號處理器也有助於兩個選項的組 合。採用所提示的音訊信號處理器,在整個音訊信號之持 續時間可能更均勻地分散資訊内容。 在知覺語音及音訊編碼之相關領域中,本語音及音訊 201207847 編碼方去可能無法編碼被覺察為雜訊狀的信號成分反而 可月&使用從發送器傳輸至接收器的數個參數值而在接收器 知s成同樣的雜訊狀知覺信號。此種接收器端取代典型地 係限於雜訊。此項技術係稱作知覺雜訊取代(PNS)。被取代 掉的#號成分典型地並非不重要,反而含有例如含高語義 内谷的絲擦音(sibilant sound)等。 行動電話所使用的另一項技術係插入舒適雜音。此項 技術之目的係為了減少需要傳輸或儲存的資料量,特別於 雜訊之情況下時尤為如此。相反地,所提示的音訊信號處 理器可使用雜訊填補時間節段作為釋放資源而資源可供其 它資訊所使用。此捕性協輯持重要錢部分的品質及/ 或可理解性’而較少努力被耗用在—音職號之雜訊狀節 段的編碼上。 音訊信號處理器之功能並未囿限於雜訊或雜訊狀信號 成分,反而也可應用在具有低資訊内容測量值之其它信號 成分。哪-種信號品質被選用為具有相對高f訊内容^量 值乃赏施 此一曦題及其解 型地係在分析裝置之實施處理期間達成。盘^ ^ 興則述目前語 及音訊編碼方法之另一項差異為利用 。 叮杈不之方法與 置,-雜訊填補時間節段係未以合成雜訊填補,节人、、 訊係經模塑化為仿真原先雜訊。取而代之,私“ * 雜讯填補時 節段及具有低資訊内容測量值之其它時間節 、' 負載資訊填補。採用基於PNS之方法,雜4过’’’生以有 雊吼係在解碼器 重新合成。但不相關的語音節段及暫停並未八 間考慮。
201207847 外,此等有關音訊編碼方法並未修改在該音訊信號内部之 時間節段之持續時間或完整音訊信號之持續時間,原因在 於如此將與音訊編碼方法之目的相互矛盾,該項目的係在 、’爲碼器知之原先彳5號與解碼器端之解碼信號間達成高度相 似性。 第"貝°凡内谷測量值及第二資訊内容測量值之測定可 基於外部提供的控㈣訊,換言之,分析裝置可經組配來 識別及/或抽取控制資訊。舉例言之,外部提供的控制資訊 之分析可基於連同音訊信號所額外地提供之資訊而實時 ㈣time)地進行。資訊内容資料可—祕送作為元(meta) 貝sfl或元資料,其係指示—或數個時間節段之資訊内容。 本音訊信號之時間延展及壓縮方法係以通用全面性方 式作用在音訊信號上’其導致暫停及過剩節段,其係為同 時時間延展或壓縮’且係與其它時間節段時間延展或壓縮 至相等程度。探討資訊之非相關性的音訊編碼方法排它地 就遮罩而言或就雜訊而言如此進行。 依據此處教示之音訊信號處理器從信號本身抽取有關 (逐一時間節段)延展及壓縮程度方面之參數,顯然並未在本 已知方法實施。 音訊信號處理器可用來自動地檢測或估算語音暫彳直, 及使用此等時間區間用於選擇性語音延展。話語可以更俨 速度回放》轉而暫停縮短。主要地,暫停表示說話者寂靜T 但該術語也延伸至所謂的「填補」暫停。填補暫停係指權 宜替代字,諸如「哦」、「嗯」、「噢」等或話語或部分話語 201207847 的重複,例如「我的意思是-是-是…」。結結巴巴的音節也 落入此一類別。全部此等暫停之共通點在於其不含表示交 換事實意義的資訊,如此實質上可忽略不計為不相關。參 考文獻中,此等暫停偶爾係稱作「填補暫停」。 選定的時間節段之時間延展可改良音訊信號之可理解 性,因而使得非母語說話者、聽覺障礙者、老年人等更容 易聽懂說話内容。此外,此種檢測可用在音訊或語音編碼, 原因在於填補暫停可以不良品質編碼或絲毫也未編碼。 於此處揭示教示之若干實施例中,音訊信號處理器可 進一步包含一比較器其係實施來比較該第一時間節段之第 一資訊内容測量值與一臨界值,及依據一個別比較結果而 將該第一時間節段歸類為具有較高資訊内容測量值之一節 段或具有較低資訊内容測量值之一節段。可設置一節段畫 界裝置其係實施來將具有一較高資訊内容測量值之節段與 具有一較低資訊内容測量值之節段間之邊界移位至或朝向 具有一較低資訊内容測量值之節段。該時間延展及壓縮裝 置係進一步實施來以相對應於該第一時間節段邊界之移位 之一因數而時間延展或壓縮具有較高資訊内容測量值之一 節段。 如此處揭示教示之另一實施例提供一種用以調整一音 訊信號之時間資訊内容變化之方法,其係包含:測定該音 訊信號之一第一時間節段之一第一資訊内容測量值及一第 二時間節段之一第二資訊内容測量值;取決於該第一資訊 内容測量值及該第二資訊内容測量值而針對該第一時間節
8 201207847 段測定一時間操控因數;處理該音訊信號使得該第一時間 節段係依據該操控因數而時間延展或壓縮,及該第二時間 節段係以異於該第一時間節段之方式處理。 申請專利範圍附屬項係有關音訊信號處理器之進一步 加強及/或細節,該用以調整一音訊信號之時間資訊内容變 化之方法,及/或電腦程式。 圖式簡單說明 含括附圖以供進一步瞭解實施例且係以引用方式併入 此處。圖式例示說明實施例,圖式連同其描述係用來解說 實施例之原理。其它實施例及意圖涵蓋之實施例之多項優 點容易體會,原因在於參考如下詳細說明部分將變得更為 明瞭。類似的元件符號係指相對應之相似部件。 第1圖為依據本案教示之音訊信號處理器之示意方塊 圖; 第2圖為依據本案教示之音訊信號處理器之另一實施 例之示意方塊圖; 第3圖為略圖例示說明隨著時間之經過,該音訊信號之 多個時間節段之資訊内容測量值; 第4圖顯示資訊内容測量值相對於時間之另一幅略 圖,例示說明遲滯構想; 第5圖為依據本案教示之音訊信號處理器之另一實施 例之示意方塊圖; 第6圖為依據本案教示之音訊信號處理器之另一實施 例之示意方塊圖; 201207847 第7圖為依據本案敎示之一種用以調整一音訊信號之 時間資訊内容變化之方法實施例之*意流程圖; 第8圖為一種用以調整時間資訊内容變化之方法實施 例之示意流程圖; 第9a至9e圖為該音訊信號相對於時間之能量之略圖, 例示說明用以調整時間資訊内容變化之方法實施例之各個 動作;及 第10a至l〇e圖顯示斜對該音訊信號處理器及/或該用以 調整時間資訊内容變化之方法的不同實施或組態,一時間 操控因數相對於時間之略圖。 I:實施方式3 較佳實施例之詳細說明 第1圖顯示依據本案教示之一實施例一種音訊信號處 理器100之示意方塊圖。音訊信號處理器100接收音訊信號s 作為輸入信號。音訊信號s係顯示於第i圖頂部之信號振幅 相對於時間之作圖。音訊信號於兩個時間瞬間{1及〖2間延伸 的第一時間節段(節段1)含有相對高振幅值。並未喪失一般 性且作為舉例說明之實例,假設第一節段含有呈口語形式 之相關資訊’因此具有高資訊内容測量值。第二時間節段 (節段2)係在時間瞬間t2與t3間延伸。平均振幅值於第二節段 比第一節段低。用於舉例說明目的,假設如此指示第二時 間節段之資訊内容測量值低。 於音訊信號處理器100内部,音訊信號s係輸入一節段 識別符102。節段識別符1〇2可進行音訊信號s之粗略分析來 10 勿· 201207847 測定音訊信號S從一個時間瞬間至另一時間瞬間之特性性 質的改變。大型變化可以是音訊信號S在兩個時間節段間之 邊界的指標102之更簡單實施,將音訊信號S分裂成相等長 度的兩個節段(例如1Π0秒至數秒)。節段識別符102之其它 實施亦屬可能。節段識別符102產生欲由音訊信號處理器 100之其它組件所使用的時間瞬間值之集合{I,t2, ...}。 音訊信號s可提供給音訊信號處理器作為數位、脈衝碼 調變(PCM)信號。音訊信號s之其它形式亦屬可能,且甚至 為類比表現型態。於s為類比信號之情況下,可以進行類比 至數位轉換用於隨後之類比信號處理,或可作為類比信號 而接受分析及處理。 時間瞬間集合{^, t2,…}例如係以向量或表單之形式而 傳輸給分析裝置104。分析裝置係以逐一時間節段之方式處 理音訊信號s來測定針對多個時間節段之多個資訊内容測 量值。如此,分析裝置104針對音訊信號s之時間圖内所顯 示的第一節段測定高資訊内容測量值,及第二節段測定較 低資訊内容測量值。資訊内容測量值係以參考符號M,、 M2、...指示。 為了針對一給定的時間節段測定與量化資訊内容測量 值,分析裝置104可以多種不同方式分析在該等時間節段内 部的音訊信號。相當簡單之實施係基於評估在給定時間節 段内部之音訊信號強度。為了達成此項目的,可測定在給 定時間節段内部之音訊信號之平均振幅或功率。在該給定 時間節段内部之最大值的測量乃另一選項。音訊信號之基 11 201207847 '、振巾:或基於功率之分析適合區別音訊信號之無聲部分及 k聲π ” m _辦法係執行時間節段之頻譜分析來 找出曰。M。號係如何於頻域分佈。音訊信號料頻譜相對 於由該音訊信賴占有之頻率範^目t n指 丁曰剔。號大。卩刀係由所評估的時間節段内之雜訊所組 成刀析裝置1〇4之又另一個實施之選項可由樣式檢測所給 定° _時間節段之音訊信號比較多個聲音樣本 ,保有最 相似的聲日樣本。各個聲音樣本可具有與其相關聯之資 A ^不聲音樣本的本質,例如高資訊内容測量值或低資 内合測量值。更繁^貞的辦法甚至區別例如男人聲音、女 人聲音、孩童聲音n交通噪音等。基於比較結果, ^斤裝置可測定該關注的時„段是㈣有高資訊内容測 量值或低貝㈣谷測量值。至於—個選項,分析裝置1〇4可 局4測里S吾音速度(例士D音節速率)用以測定音訊信號s之一 時間節段是否主要係由°語組成,以及若是,則測定該時 間節段内部之語音速度。有關語音速度之資訊 ,可用來控 制在音訊信號S内部之個別時間節段的時間延展及/或壓 縮。分析裝置104之另一選項係接收外部所提供之控制資 料,例如連同音訊信號s所提供之作為元資訊之資料。 資訊内容測量值集合{M|, m2, }傳輸給操控因數單 兀106。操控因數單元106測定多個操控因數{ΔΕ)ι,ΔΕ>2,} (字母D表示「持續時間」)。例如若相對應之資訊内容測量 值Mi為高,則操控因數單元1〇6可分配操控因數ΔΕ>ί ,結果 導致在相對應時間節段i執行時間延展。相反地,具有低資 12
S 201207847 訊内容測量值之時間節段被分配一個操控因數,結果導致 相對應時間節段的壓縮。操控因數單元丨〇 6也可選擇性地接 收寺間瞬間集合{^,t;2,…}。基於有關各個時間節段間之邊 界的時間瞬間資訊,操控因數單元i 〇 6可評估在具有低資訊 内容測量值之時間節段中有多少個邊界可用在具有較高資 °凡内各測量值之時間延展相鄰時間節段。若預期時間延展 及壓縮將不修改整個音訊信號内部相對應時間節段之時間 性位置及/或整個音訊信號之總持續時間,則此點也有用。 例如考慮音訊信號為電影的音訊轨跡之情況。假設—個時 間節段係或多或少地對應演員的一句台詞,要緊地該音訊 信號之時間節段係大致上與影片影像顯示該演員說出該台 π司的貫質上同時回放。雖然由於時間節段的時間延展或壓 縮’回放音訊信號的完美同步化典型地已經不再可行,但 至少演員台詞的起點可與影片的影像同步化,使得觀看者 瞭解在特定場景期間演員在說什麼。如此,特別音訊信號 處理器及操控因數單元可實施,來就給定時間節段之起 點、終點或中心而言,保有該音訊信號内部一給定時間節 段之時間性位置。 操控因數集合{Δϋ,,AD2,…}例如係以向量、表單、或 在音訊信號處理器100之一個或多個暫存器中之交接形式 而從操控因數單元106發送給時間延展及壓縮裝置1〇8。時 間延展及壓縮裝置108也從節段識別符102接收時間瞬間集 合U!,h…},使得時間延展及壓縮裝置1〇8可在節段識別符 102所提供的時間瞬間所指示的區間執行時間延展及/或壓 13 201207847 縮操作。時間延展及壓縮可藉以較高或較低取樣率來重新 取樣音訊信號進行。然後重新取樣的音訊信號經過十進制 化或内插來再度獲得原先取樣率。重新取樣及十進制化或 内插音訊信號典型地造成在受影響的時間節段之音訊信號 的音高修改。音高修改可用作為收聽者的指標指示特定時 間節段已經受到多少時間延展或壓縮。若不期望音高修 改,則例如可藉使用相角聲碼器來防止。相角聲碼器提供 信號之時間標度修改的高品質解決辦法。音高標度修改通 常係實施為時間定標及取樣率轉換的組合。用於相角聲碼 器之詳細說明’參考下列引用文獻: •「相角聲碼器:使用說明書」,Mark Dolson,電腦 音樂期刊’第丨〇卷,第4期,14-27頁,1986年; •「音高移位、調諧及其它外來效應之新穎相角聲碼 器教示」,Jean Laroche及Mark Dolson,IEEE 1999年議事 錄,信號處理應用至音訊及聲學工作坊,紐約州紐帕茲, 1999年10月17至20日,第91-94頁; •「於相角聲碼器之暫態處理新穎辦法」,A. Rdbel, DAFx-03之數位音訊效應國際會議議事錄,英國倫敦,2003 年9月8至11日,DAFx-1至DAFx6頁; •「鎖相聲碼器」,IEEE 1995年議事錄,ASSP,信號 處理應用至音訊及聲學雜訊會議; •美國專利案第6,549,884號。 音訊信號之時間延展及/或壓縮音訊信號之時間節段 之其它可用方法及技術係由PSOLA、WSOLA、SOLA、 201207847 PICOLA、TDHS、及MPEX方法所提供。 時間延展及壓縮裝置108之輸出及典型地也包括音气 信號處理器100之輸出為已修改之音訊信號s,,如第丨圖:$ 二時間圖所示。可知經修改之音訊信號中的第一節段(節段 r)已經經過時間延展而犧牲第二時間節段(節段2,)(>如此又 致第一節段與第二節段間之邊界^移位至新值ν。時間瞬間 tr及t3’實質上不變,因此實質上分別係等於ti^。但觀 意與第1圖所示不同,節段2右側的時間節段也接受時間延 展操作。該種情況下,時間瞬間h已經向左移位,故節段2 之時間區間甚至更強烈壓縮。 第2圖顯示依據本案教示之音訊信號處理器之另一實 施例。節段識別符1〇2、分析裝置104、及時間延展及壓縮 裝置應實質上與第旧戶斤述者相同。分析裝置1〇4提供資訊 内容測量值集合{Ml,M2,…}給比較器2〇4,該比較器將資 訊内容測量值與臨界值NW故峰,謂多個時間節段各自 分類為具有(較)高資訊内容測量值或(較)低資訊内容測量 值。如此所形成的兩類反映出-時間節_為時間延展或 時間壓縮的事實。第三項可能係留下某些時間節段不變, 形成可能的第三類及用於資訊内容測量的第二臨界值。 臨界值可以是預定的及固定的或可變的來配合一給定 音訊信號之性質。例如一個策略係以具有高資訊内容測量 值之時間節段數目約略等於具有低資訊内容測量值之時間 節段數目之方式來測定臨界值Mthr。如此,獲得不同資訊内 容測量值之節段間之邊界具有相對高數目,提高操控因數 15 201207847 單元106及/或時間延展及壓縮裝置1〇8的自由度。為了達成 此項目的,資訊内容測量值全部可在第一步驟測定,然後 依據個別的資訊内容測量值分類,最後,臨界值設定為該 資訊内容測量值之平均值。 比較器204產生分類值集合{Cl,c2,…},提供給節段畫 界裝置206。節段畫界裝置2〇6係實施來移位具有較高資訊 内谷測量值之節段與具有較低資訊内容測量值之節段間之 邊界,而有利於前一時間節段及犧牲後一時間節段。例如 邊界係移位至具有較低資訊内容測量值之時間節段。此等 即段晝界裝置206進一步從節段識別符1〇2接收時間瞬間集 合Οι,。,—}。時間瞬間集合也供給操控因數單元1〇6,也供 、、、Q經由測定原先時間瞬間與經移位之時間瞬間間之差異所 寸的移位時間瞬間集合{ti,,t2’,…}。操控因數單元106可針 對不同時間區間測定時間延展或壓縮因數。然後測得之操 控因數傳輸給時間延展及壓縮裝置108。 第3圖顯示針對多個時間節段測定之資訊内容測量值 略圖。資sfl内谷測量值Μ於本實施例為針對至少一個時 間節段持續時間之逐塊常數。資訊内容測量值與臨界值^ 比較。基於比較結果,時間節段被分類為具有較高資訊内 ♦測量值之節段或具有較低資訊内容測量值之節段。屬於 相同分類的兩個或更多個相鄰節段可組合成為時間節段的 個連續區。用於時間延展及壓縮目的,連續區可視為一 固單仇’例如相同的操控因數施加於該連續區内部的全部 時間節段。測定相鄰連續區間之邊界’且依據針對兩相鄰 201207847 連續區皆有效㈣間操控因數定量移位,典贱係移位至 具有較低資_容測量值之連續區中之—者。第—時間節 段之時間延展或壓縮包含相對應於所移位之邊界及移位 量,將組祕有較高資訊内容測量值之—連續區的時間節 段進行時間延展或壓縮成具有較低資訊内容測量值之至少 一個相鄰連續區。 第4圖顯示針對多個時間節段所測定之資訊内容測量 值Μ類似第3圖所示之線圖。依據時間長度,特別當時間節 段長度及/或臨界值4為預定且固定時,某個㈣可 造成大量變遷,從具有低資訊内容測量值Mi==L〇之時間節 段變遷至具有高資訊内容測量值M i=H〗之時間節段。例如可 能出現在音訊信號已經以低記錄位準紀錄時或說話者以相 當柔性聲音說話時。為了避免高與低資訊内容測量值節段 間的太過快速改變,可設置比較器204來使用遲滞測量分類 結果。如第4圖可知,比較器204使用兩個臨界值心及外。。 若較高臨界值Mhi在向上的方向超前,則具有低資訊内容測 量值之前一個時間節段與具有高資訊内容測量值的隨後時 間節段間出現邊界。另一方面,當較低臨界值%。係在向下 方向超前時,發生從具有高資訊内容測量值之時間節段變 遷為具有低資訊内容測量值之時間節段。如此,由組合數 個相鄰時間節段所形成的連續區係大於不含遲滯時的連續 區。如此避免音訊信號分裂成為太多個連續區,結果導致 操控因數的數量高。若操控因數改變太過頻繁,可能造成 收聽者的困惑。 17 201207847 臨界值Mlhr、Mhi、Μ,。及元素時間節段長度數值之選擇 及其間之互動也可接受前處理步驟,其中該音訊信號係就 例如平均資訊内容層面評估。 第5圖顯示依據本案教示針對音訊信號處理器1〇〇之另 一實施例之示意方塊圖。音訊信號處理器100現在進一步包 含用於時間延展或壓縮之限制裝置508。限制裝置508係實 施來針對具有較高資訊内容之節段,測定時間延展或壓縮 之一目前臨界值,及將該時間延展及壓縮限於該目前臨界 值。第5圖顯示一實施例,其中限制裝置5〇8測定上限臨界 值Μ)·及下限臨界值於區間[Δ〇η^,△D_],限制 裝置508貫上為單元函數,亦即限制裝置之輸出實質 上係等於其輸入。在此區間以外,輸出值係限於個別的上 限值或下限值。限制裝置508之輸出為受限制操控因數集合 {△D】,Δ〇2,…}。限制裝置508及用來調整音訊信號之時間 資訊内容變化方法之相對應的限制動作,避免以過度的操 控因數時間延展或壓縮音訊信號s之時間節段,否則如此將 導致例如語音的回放太慢或太快。 第6圖顯示依據此處教示音訊信號處理器1〇〇之另—實 施例之示意方塊圖。音訊信號s也供給語音速度測量裝置, 用來測疋a 號S之時間節段是否主要包含口語,及若 是,則用來敎在該時間節油部之語音速度。與語音逮 度測量值有關之-節段集合{Vl,V2,}係由語音速度測量 裝置602輸出及前傳給臨界值設定裝置_。臨界值設定裝 置608係連結至語音速度測量裝置6〇2,且意圖用以基於所 201207847 測得之語音速度,來測定對該關注時間節段為有效的操控 因數之至少一個臨界值。臨界值設定裝置608進一步係連結 至臨界值設定裝置608至限制裝置508的輸出端。限制裝置 508從fes界值設定裝置6〇8接收 一目前臨界值或數個目前臨 rmin 第6圖所示音訊信號處理器丨〇 〇之實施例可用來控制在 音讯信號s内部之個別時間節段的時間延展及/或壓縮。特定 吕之,時間延展及/或壓縮程度可測定為瞬時語音速度之函 數。藉由透過瞬時語音速度之估算控制音訊信號處理,由 於此項處理’可在整個語音信號獲得平衡的且實質上一致 的。。e速度。此點對於間歇執行的語音或不規則的語音速 度特別有幫助。此種語音表示型態之語音理職力如此獲 得改良。 =算得的語音速度集合{Vi,% }也可直接供給操控 數單凡106而非供給臨界值設定裝置_,或額外供給操 工因數單兀1()6。也可使用語音速度估值作為乡個時間節段 之資訊内容測量值或作為其前驅值。此種情況下,語音速 度測夏裝置6G2可以是分析mG4的一部分。 於用以魏曰純戒8之時間資訊内容變化方法之脈 絡中’有關語音速度測量值可執行下列動作: '則定曰就·疋否1要包含在-給定時間節段内 4的口語内文; •當音訊信號s在該給定時間節段内部主要包含口語 文時,測定在該給定時間節段期間口語内文之語音速 201207847 度;及 •依據語音速度,針對該給定時間節段測定操控因數 之至少一個臨界值。 可用來測定或估算語音速度之一種方法係檢測在該音 訊信號s的音素(phoneme)及計數每個時間單位的音素數 目。遵照定義,一個音素為採用來在語言或對話中形成話 語間之有意義對比的最小聲音節段單位。 第7圖顯示用來在音訊信號s調整時間資訊内容變化之 方法實施例之示意流程圖。該流程圖所示方法包含若干選 項動作並未構成該方法基本實施例之一部分。於該方法閜 始後,測定第一及第二資訊内容測量值,第一資訊内容測 量值係對應於音訊信號s之第一時間節段,及第二資訊内容 測量值係對應於音訊信號s之第二時間節段(元件符號 702)。如元件符號704的框所示,至少第一資訊内容測量值 可與臨界值M t h r做比較。典型地,全部時間節段之資訊内容 測量值Mi係與臨界值做比較。資訊内容測量值與臨界值Mthr 之比較為準備動作,準備用來將一或多個時間節段分類為 具有高資訊内容測量值之節段或具有低資訊内容測量值之 節段(元件符號706)。其它實施例可使用三類或更多類來替 代只有高及低資訊内容兩類。具有約略相等資訊内容測量 值分組成為可計數的類別數目,使得其可將具有相等分類 結果,亦即屬於同一類的相鄰時間節段組合來形成在該音 訊信號類別中的更大型連續區,其中資訊内容測量值約略 恆定。此種連續區例如可對應於說話者說出完整句子而無 20 201207847 任何顯著停頓 框708表示。 相鄰時間節段的組合在第7圖之㊉程圖係以 於本方法實施例中,容測4值係對相當短的時 間郎段測定(例如約為數分之一秒至數秒,例如0.5秒,♦ 2秒、,每5M、、〇丄 一 D此’可達成相對細小粒度(granularity),其 °,助相$精確檢測音訊信號⑽部的時闕間此處資訊 ^測S值有顯著變化,例如—句話結束接著—個停頓或 寂靜無聲。另—方面,連續區典型地大於單-時間節段, 如此允許較長句子的時間延展或壓縮。 ; '則疋相鄰連續區間的邊界,及然後於712,安 全區段插人具有低資訊内容測量值之連續區。安全區段典 里地係插人相鄰於具有高資訊内容測量值之時間節段的邊 界此點將於第%圖之脈絡進一步詳細解釋如下。簡言之, 進行安全區段的插人來防止說出的句子的起點及終點被視 為只具有低資訊内容測量值處理,可能發生的原因是出現 在起點或終點的π語的邊緣效應或某些現象。然後安全區 段附接至具有高資訊内容測量值之相鄰區 。如此,安全區 段將被視為高資訊内容測量值或區的__部分處理亦即接 受相同的時間延展及/或壓縮(參考元件符號714)。 在716’依據第-資訊内容測量值及第二資訊内容測量 值’針對第-時間節段測定時間操控因數。操控因數奶 的測定可評估環繞具有高資訊内容測量值之-時間節段可 利用成具有低資訊内容測量值之時間區間形式的多少f 源’使得高資訊内容節段可被時間延展成低資訊内容節 21 201207847 段。當含有實質上停頓或無聲的時間節段被壓縮用來有利 於含口語的時間節段時’時間操控因數的測定可維持較短 停頓或無聲’如此例如有助於收聽者在腦海中將接續二句 彼此分節。 時間操控因數叫之目前有效臨界值Δ〇_,係在 第7圖元件符號718的動作測定。然後於72〇,一給定時間節 丰又之時間操控因數叫係依據目前臨界值ΔΕ>_, 測 定。 然後音訊信號s係藉時間延展或壓縮第一時間節段處 理’如第7圖動作722指$。須注意該方法可重複,或只有 該方法的選定動作可重複。 第8圖顯示調整時間資訊内容變化之方法之另一實施 例之另一不意流程圖。語音信號s供給暫停檢測8〇2及供給 選擇性的填補暫停檢測8〇4。填補暫停含有較不重要的資訊 諸如轉換字(嗯、哦、噢等)或重複字,只舉出少數實例。於 動作806,暫停至少部分移除。暫停移除可包含測定音訊信 唬s中經修改的時間瞬間,該音訊信號之無停頓時間節段可 破延展。暫停移除動作806的結果供給功能方塊818,功能 方塊818負責形成時間延展功能。暫停移除806及時間延展 功能818二者係受控制參數808諸如臨界值所控制。然後在 822 ’時間延展功能818供給音訊信號s,獲得經修改的音訊 信號s’。 於第9A至9E圖中,用以調整時間資訊内容變化之方法 的簡單實施調整為目測可見。利用第9A圖所示信號能的評
22 201207847 估,測定暫停,暫停於第爛係以加影_矩形形式顯示。 暫停的測定已將暫停定位在音訊信號s的信號能相當低且 可能接近於零的時間區間。t能量低於某健界值時,推 定減而檢測存在有暫停。此外,安全區段插人檢測得的 暫停兩端來防止低能(丨ow energy)字眼部分諸如「F」或「H」 聲音的移I安全區段在第9C圖中表示為衫個檢測得的 暫停左方及右方的粗線。 第9D圖顯示如何計算暫停相對於語音活性比。時間區 間山表不含語音活動之第—節段的持續時間(包括安全區 段)。時間區間d2表示左方暫停用來達成此項目的時,時間 延展功能818所能利用的持續時間⑽圖)。時間區間^並不 考慮此種特定暫停也可由語音活動的巾心節段所利用。此 點可藉由計算暫停㈣的平均分裂點而在稍後階段加以解 決。分裂·輯計算可歧基於含語音邱的各㈣間節段 之個別持續時間的加權平均計算。 第9 E圖顯示依據預備計算已經執行時間延展或壓縮後 的結果。 須注意雖然第9E圖所示經修㈣音訊信號8,之持續時 間比原先音訊信號s之持續時間更長,但非必然如此。更明 確言之,第9A至9E圖所示含語音活動的三個節段若有所需 可維持在其_的時間性位置。如此,具有各個活動的時 間節段之起點、終點或中央的時間瞬間可以固定,因此, 在原先音訊信號s及再修改後的音訊信號8,為相等。 時間延展可藉將語音節段延展至相鄰的暫停進行。 23 201207847 另外’可進行隨著時間的暫停身份估計,結果可用於 實際時間延展或壓縮。基於檢測得的暫停,計算語音延展 函數,該函數如第10A圖所示限制延展變化。第10A圖顯示 單一時間延展因數作為階級函數之功能。第10B圖顯示基於 第10A圖所示階級函數,内插時間操控因數或延展因數之函 數。當時間延展或壓縮係基於内插時間操控因數時,收聽
者較為容易適應漸進增高或減低的語音速度,而與第10A 圖所示時間操控因數的突然變化相反,後者可導致修改音 訊信號S’之語音速度的同等突然改變。時間操控因數的内插 可藉操控因數平滑器進行用來使操控因數相對於時間而平 滑化。 第1〇C圖顯示時間延展因數之有限變化。如此固定最低 及最尚容許時間延展及/或壓縮。最低及最高臨界值需要例 如藉過度時間操控因數可能導致音訊信號的不自然呈現加 以測定。此外,當給定音訊信號或其時間節段被過度延展 時,聲音品質可能受影響,原因在於原先音訊信號只含有 有限時間樣本係可以數位形式(例如PCM)獲得。原則上,當 例如藉電機手段而時間延展或收縮時,類比信號典型地也 遭遇聲音品質損失。 第10D圖也顯示時間延展/壓縮之限制變化,但係依信 號做調適。時間延展或壓縮程度隨信號而緩慢改變。但短 的時間節段内部變化受限制。緩慢改變的下限及上限臨界 值ADmin⑴及AD·⑴可藉由歷經相當長時間區間例如1〇 秒、30秒或1分鐘的移動平均或其中間值測定。 24 201207847 第10E圖顯示音訊信號處理器100之另一實施例之時間 擴張功能及調整時間資訊内容變化之方法。暫停未被切除 或刪除,反而留在音訊信號内。唯有具有語音活動區係被 時間延展或「壓縮」,而「填補的」暫停維持未經修改。 本案揭示之教示特別為音訊信號處理器、調整時間資 訊内容變化之方法及電腦程式允許以信號適應性方式來時 間延展/壓縮音訊信號而無需人類互動。可能檢測已填補的 暫停或空白暫停,及以與有作用的語音節段不同方式處 理。此外,可更緩慢地回放音訊信號同時維持音高。 特定言之,口語可以更慢速度回放,如此更容易理解 而無需延長音訊信號的持續時間。 另外,若暫停維持其原先的時間長度,則可修改總持 續時間。但暫停無需連同音訊信號其餘部分被時間延展或 壓縮,使得新總持續時間係比藉全面性的時間延展整個音 訊信號所獲得的新總持續時間更短。同理,原則上適用於 音訊信號的壓縮,使得使用所提示方法壓縮後,音訊信號 的總持續時間係比習知(全面性)時間壓縮音訊信號之總持 續時間更長。 音訊信號處理器100進一步包含删除裝置,其係實施來 於第二資訊内容測量值M2比刪除臨界值更低時,刪除第二 時間節段内容。若干内容包含重複字、重複音節、轉換字 等,則第二時間節段内容的刪除或抹除可能有用。若未經 刪除,則此等字眼、音節或聲音例如被壓縮,如此以比較 原先所記錄的更高速度回放而可能岔開收聽者的注意力。 25 201207847 為了識別音訊信號S中含有額外字眼或聲音的信號節段,可 使用樣式檢測器,該樣式檢測器係將該信號節段與儲存於 資料庫的參考信號節段做比較。參考信號節段可包含各個 說話者所發出的前述轉換字、額外聲音諸如清喉嚨等類似 動作。字眼重複及音節重複例如可藉自動校正功能加以刪 除。注意在某些語言(例如德文),字眼的重複很常見且完全 正確,此點須由字眼或音節重複功能加以考慮。切除裝置 可用來將重複字眼或重複音節從音訊信號中移除。 本案揭示之教示可採用於音訊内容分布領域,諸如數 位無線電、網際網路串流、及音訊通訊應用。更明確言之, 應用可假想為兩大類: •及時應用,例如語音通訊及音訊編碼;及 •已記錄材料的處理,例如收音機播出、演講等。 此處教示對於更容易聽出外語或研究外語的人有利。 收聽收音機及有聲書對心智障礙者及老年人有幫助。此 外,也可用在訓練語言障礙者領域。 某些原先音訊信號可能包含相當長的停頓。若此等停 頓經壓縮,使收聽者在兩段語音活動節段間無需等候長時 間,聲音或語音合成器也可插入一個有關原先停頓時間的 短資訊,諸如連續的短嗶聲,各個嗶聲表示例如一分鐘停 頓。停頓時間也可使用不同音高聲音來表示,較低音高聲 音表示長時間停頓,而較高音高聲音表示短時間停頓。語 音合成器可用來插入「停頓X分鐘Y秒」字眼。 雖然已經就裝置脈絡描述若干構面,但顯然此等構面 26 201207847 也表示相對應方法之描述,此處一區塊或裝置係對應於一 方法步驟或一方法步驟特徵。同理,描述方法步驟脈絡之 構面也表示相對應區塊或項目或相對應裝置之特徵描述。 部分或全部方法步驟可藉(或使用)硬體裝置執行,例如微處 理器、可規劃電腦或電子電路。於若干實施例中,最重要 方法步驟中之某一者或某多者可藉此種裝置執行。 依據某些實施要求而定,本發明實施例可於硬體或軟 體實施。實施可使用數位儲存媒體執行,例如軟碟、DVd、 藍光碟、CD、ROM、PROM、EPROM、EEPROM或快閃記 憶體,其上儲存有可電子讀取控制信號,其與可規劃電腦 系統共同協作(或可協作)’因而執行個別方法。因此數位儲 存媒體可為電腦可讀取。 依據本發明之若干實施例包含具有可電子式讀取控制 信號之資料載體,其可與可規劃電腦系統合作,因而執行 此處所述方法中之一者。 大致上,本發明之實施例可實現為具有程式碼之電腦 程式產品,當電腦程式產品在電腦上跑時,該程式碼可操 作來執行該等方法中之一者。程式碼例如也可儲存在機器 可讀取載體上。 其它實施例包含儲存在機器可讀取載體上用來執行此 處所述方法中之一者之電腦程式。 換言之,本方法實施例因而為具有程式碼用來在電腦 程式在電腦上跑時執行此處所述方法中之一者之一種電腦 程式。 27 201207847 本發明方法之又一實施例因而為一種包含用來執行此 處所述方法中之一者之電腦程式記錄於其上之資料載體 (或數位儲存媒體,或電腦可讀取媒體)。資料載體、數位儲 存媒體或記錄媒體典型地為有形具體及/或非暫態。 因此本發明方法之又一實施例為表示用以執行此處所 述方法中之一者之電腦程式之一資料串流或一信號序列。 該資料$流或信號序列例如可經組配來透過資料通訊連結 例如透過網際網路傳輸。 又一實施例包含組配來或適用於執行此處所述方法中 之一者之處理裝置,例如電腦或可規劃邏輯裝置。 又一實施例包含其上安裝用以執行此處所述方法中之 一者之電腦程式的電腦。 依據本發明之又一實施例包含一種裝置或系統,其係 組配來傳輸(例如電子式或光學式)用以執行此處所述方法 中之一者的電腦程式至一接收器。該接收器例如可為電 腦、行動裝置、記憶體裝置等。裝置或系統例如可包含用 來將電腦程式傳輸給接收器之檔案伺服器。 於若干實施例中,可規劃邏輯裝置(例如場可規劃閘陣 列)可用來執行此處所述方法之部分或全部功能。於若干實 施例中,場可規劃閘陣列可與微處理器協力合作來執行此 處所述方法中之一者。一般而言,該等方法較佳係藉硬體 裝置執行。 前述實施例僅供舉例說明本發明之原理。須瞭解此處 所述配置及細節之修改及變化為熟諳技藝人士顯然易知。
28 201207847 因此,意圖僅受隨附之申請專利範圍之範圍所限,而非受 此處實施例之詳細說明部分及解釋所呈現的特定細節所 限。 I:圖式簡單説明3 第1圖為依據本案教示之音訊信號處理器之示意方塊 圖, 第2圖為依據本案教示之音訊信號處理器之另一實施 例之示意方塊圖; 第3圖為略圖例示說明隨著時間之經過,該音訊信號之 多個時間節段之資訊内容測量值; 第4圖顯示資訊内容測量值相對於時間之另一幅略 圖,例示說明遲滯構想; 第5圖為依據本案教示之音訊信號處理器之另一實施 例之示意方塊圖; 第6圖為依據本案教示之音訊信號處理器之另一實施 例之示意方塊圖; 第7圖為依據本案教示之一種用以調整一音訊信號之 時間資訊内容變化之方法實施例之示意流程圖; 第8圖為一種用以調整時間資訊内容變化之方法實施 例之示意流程圖; 第9a至9e圖為該音訊信號相對於時間之能量之略圖, 例示說明用以調整時間資訊内容變化之方法實施例之各個 動作;及 第10a至10e圖顯示針對該音訊信號處理器及/或該用以 29 201207847 調整時間資訊内容變化之方法的不同實施或組態,一時間 操控因數相對於時間之略圖。 【主要元件符號說明】 100...音訊信號處理器 802-822...功能方塊 102...節段識別符 山、d2...時間區間 104...分析裝置 M...資訊内容測量值 106...操控因數單元 M2...第二資訊内容測量值 108...時間延展及壓縮裝置 Μ,、M2···參考符號 204…比較器 Mj...測量值 206...節段晝界裝置 s、s’...音訊信號 508...限制裝置 tl、【2、【3、t| ’、【2,、【3’· · ·日夺間瞬間 · 602...語音速度測量裝置 △Dmax ' Mhi Λ Μ丨0 Λ Mthr _ 608...臨界值設定裝置 700-722...步驟 ...臨界值 30