TW201118854A - Method and apparatus for builiding phonetic variation models and speech recognition - Google Patents

Method and apparatus for builiding phonetic variation models and speech recognition Download PDF

Info

Publication number
TW201118854A
TW201118854A TW098138964A TW98138964A TW201118854A TW 201118854 A TW201118854 A TW 201118854A TW 098138964 A TW098138964 A TW 098138964A TW 98138964 A TW98138964 A TW 98138964A TW 201118854 A TW201118854 A TW 201118854A
Authority
TW
Taiwan
Prior art keywords
speech
model
variation
standard
voice
Prior art date
Application number
TW098138964A
Other languages
English (en)
Other versions
TWI391915B (zh
Inventor
Huan-Chung Li
Chung-Hsien Wu
Han-Ping Shen
Chun-Kai Wang
Chia-Hsin Hsieh
Original Assignee
Inst Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inst Information Industry filed Critical Inst Information Industry
Priority to TW098138964A priority Critical patent/TWI391915B/zh
Priority to US12/637,990 priority patent/US8478591B2/en
Publication of TW201118854A publication Critical patent/TW201118854A/zh
Application granted granted Critical
Publication of TWI391915B publication Critical patent/TWI391915B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Description

201118854 六、發明說明· 【發明所屬之技術領域】 本發明係關於語音變異模型建立之技術領域，更係關 於應用該语音變異模型以進行語音辨識之技術領域。 【先前技術】 一種語言往往隨著地域、使用者之背景而存在各種不 同之腔調。除此之外’某語言在受其他語言的影響下往 往又會產生新的腔調。舉例而言，華語被闊南語影響而有 「台灣國語」（閩南語式華語’或簡稱「台灣腔」）、英文 被中文影響而有「中式英語」等。這些相對某標準注二不 標準的腔調即所謂的「語音變異」。然而，由於語音賴 裝置通常無法對不標等的語音進行辨識，因此這些語音變 異皆會使語音辨識裝置的辨識率劇降。 雖然某些習知的語音辨識裝置亦會建立「語音變里模 型」而對不標準的語音進行辨識.，但「語音變異模型:的 建立必需依靠對這些不標準的腔調進行廣泛而大量的收集 始得以完成，相當耗費人力和時間，並且，有限的非標準 語音語料僅能t)l丨練及建立.出有限的語音變異模型，進而迭 成整體語音辨識率不佳。單-語言本身即可能具有各種= 音變異，遑論全球近7000種語言又會彼此交錯影響，要收 集所有的變異語料幾乎不可行。 θ 因此，如何設計出一種語音變異模型建立方法或裝 置，使其能在少量收集非標準語音語料的情況下達成理想 語音辨識率，實乃一重要課題。 IDEAS98015/0213-A42241，TW/Final/ 4 201118854 【發明内容】 本發明接也 語料資料庫，::種語音變異模型建立裝置，包括一語音 該語言之複藥彻X、己錄浯5之至少一標準語音模型以及 以驗證.出該馨兆非標準語音語料；一語音變異驗證器，甩 之複數個語音錄標準語音語斜與該至少—標準語音模型間 等語音變異^異j 一語音變異轉換計算器，用以依據該 換函式所需之一居音變異轉換函式’產生該語音變異轉 據該語音變異魅數；以及一語音變異模型產生器，用以依 模型，產生至，換函式及其係數、以及該至少-標準語音 本發明4:語音變異模型。 &置，用以輪語音辨識系統，包括：-語音輸入 建立裝置，用以浯音；一種本發明前述之語音變異模型 置，用以依據鼓ft至）一语音變異模变；一語音辨識裂 立裝置所產生之乂標準°。θ模型及該語音變異模型建 本發明另接视日變異模型，對該語音進行辨識。 異模型建立才種^3變異模型建立方法。該語音變 以及該語言之福二挺.提供一語言之至少一標準語音模型 語音語料與讀至小語m驗證出該等非標準 依據該等語音“準語音模型間之複數個語音變里. 變異轉換函式所需變㈣換函式’產生該語音 及其係數1及該至少一標準二：語::異轉換函式 變異模型。 早”杈型，產生至少一語音 本發明另提供一種語音辨識方法。該纽 括：經由—語音輸人裝置輸人—語音；經由i發明前= IDEAS98015/0213-A42241 -TW/Final/ . ^ 201118854 方法產生至少-語音變異模型；以及依據該至少 音模型及所產生之至卜語音變異模型，對該語音進= 識。 藉由執行本發明之方法，可減少非標準語音語料的收 集’解決未㈣非標準語音贿即無㈣練出語 型的問題，並且能夠以鑑別方法來觸並剔除 ；^ 變異模型，進而提升語音辨識裝置❹統的整體語音^ 率 【實施方式】 下文為介紹本發明之最佳實施例。各實施例用以說明 本發明之原理’但非用㈣縣發明。本發明之範.圍當以 後附之權利要求項為準。 第1圖係為習知語音辨識裝置示意圓。語音辨識裝置 100包括前處理模組110、聲學模型.比對模组12〇、辨^士 果解碼模組13G、聲學模型訓練模組·、語音辭典資科^ 150及語法規則資料庫16〇。前處理模組11〇對輸入之語音 進行初步的處理之後，將處理過之語音輸出至聲學模型比 對模組12〇。聲學模型比對模組谓接著將該處理過的語 音與聲學翻辑模組14G訓練出的聲學模型進行比對， 其中’舉例而言，上述聲學模型可為某語言之標準語音模 型，或是非標準語音模型（即變異語音模型）。最後，辨識 結果解碼模組130參照語音辭典資料庫15〇及語法規則資 料庫160而對聲學模型比對模組12〇比對之結果進行語意 辨識，進而產生最終辨識結果。舉例而言，該辨識結果解 碼模組130所產生的最終辨識結果為一段可被理解的字 IDEAS98015/0213-A42241-TW/Finai/ 201118854 ο 2來說，若語音辨識裝置·在輸人語音之後以完 辨識’可經由-前處理一對輸 行之二程圖=理理模組u°所執 ς9Λ0 處理私序200包括：接收語音類比訊 ^ S202、语音取樣s2〇4、往立切蛊丨 幻08、预強蜩S210 曰切割S206、端點偵測 調S210、乘上漢明窗S212、 相關係數求取S216、Lpc來备七、〇頂㈣⑵4自 幻20、輸出語音特徵防2等=取切8、求取倒頻譜係數 劲―m 2 4步驟，用以在前處理程序S200 仃後棘A語音特徵以供該聲 聲學模型比對之用。 比對模組1.2〇進订 聲學模型訓練模組14()可提供 1〇進行聲學模型比對所需之比對基礎。；3 = 型訓練模组140所執行之+驟^ 第3圖為聲學杈 300 #衽.你立步,L程圖。聲學模型訓練流程 模紐:ΓΓ302(包括收集標準或非標準之語 «枓）、模鈕初始化S304、利 算相似度S3G6、判、MVlterbl)演算法計 之結果為是，則進人最後步步驟讓 果為否，則重新評估S308。就辨H聲學模型别2 ;若結 語音單元都錢立_敲;;，其所有的 立，舉例而言，可使用隱藏式馬？夫型二聲學模型之建 一_，由於其非本發::重夫 肤，蓉與婼剂夕^ 幻°。曰進行比對之基礎，因 而盆：隹建 日辨識中佔有舉足輕重的地位， 而其中收集語音語料S302又县後 IDEAS980l5/0213-A42241-TW/Fmal/ 立聲學模型之基本考 ^ / i- 201118854 驟。而本發明之主要目的，係為了減輕收集過多 =語料所產生之負擔，提供一種系統化自動擴增語音變 /、杈型之裝置及方法，其實施方式說明如後。 、第4圖為依照本發明一實施例之語音變異模型建立方 法的流程圖。本發明之語音變異模型建立方法4 步驟S402，提供—語言之至少—標準語音㈣ S4〇4 ’提供該語言之複數個非標準語音語料； 驗證出該轉鮮語音語料與該至少—標準語音模’ 複數個語音變異；步騾S408,依據該等語音變異以二组 產生該語音變異轉換函式所需之係數# 乂驟S41G，依據該語音變異轉換函式及其係數、 二=語音模型，產生至少一語音變異模型;以及;驟 以將所產生的該等語音變異模型中鑑別度低纽 音變異模型予㈣除。為使上述發明易於理解文將〜 一實施例作更詳盡的說明。 、从 以建立華語.的語音變異模型之作說明。在此實 中，按照上述㈣S402提供「標準華語」之語音模型，」 中該標準語音難包括「標準華語」t所有語音單元之^ 學模型。之後，按照上述步驟S404提供複數個之「.台灣 -」（閩南語式華語)語音語料。值得注意的是，本發明 目的即在於減少非鮮語音語料之收集量，因此，此 不而麵:供所有「台灣國語」的語音語料。 " 之後，本實施例進入步驟S406。此步驟可驗證出該等 有限的「台灣國語」語料與「標準華語」發明模型間複數 個語音變異。簡單地說，驗證，係指去「聽取」一語音之 IDEAS98015/0213-A42241 -TW/Final/ 201118854 語音是否標準。詳細地說，驗證的方法可藉由比較一待驗 證語料與另一標準語料在聲學模型相似度關係而判斷該待 驗證語料是否相對該標準語料發生變異。一般而言，語言 可分類為複數種語音特徵，且標準語音模型及非標準語音 語料皆可分別對應該等語音特徵其中之一，因此本發明可 利用對應至該標準語音模型的語音特徵而對各個非標準語 音語料進行驗證。上述語音特徵可應用國際語音字母 (International Phonetic Alphabet，IPA)，如下表 1 所示，但 本發明不必以此為限： «表1»
語音類別 中英文對照 有聲破裂音(Voiced plosive) B、D、G 無聲破裂音(Unvoiced plosive) P、T、K 摩擦音（Fricatives) F、S、SH、H、X、V、 ΤΗ、DH 塞擦音（Affricatives) Ζ、ΖΗ、C、CH、J、Q、 CH、JH 鼻音(Nasals) Μ、N、NG 流音(Liquids) R、L 滑音（Glides) W、Y 前部母音（Front vowels) I、ER、V、El、IH、 EH、AE IDEAS98015/0213-A42241 -TW/Final/ 9 201118854
中央母音（Central vowels) ENG、AN、ANG、ΕΝ、 AH、UH 後部圓唇母音（Back rounded vowels) 〇 後部非圓唇母音(Back A、U、OU、AI、AO、 unrounded vowels) E、EE、OY、AW 舉例而言，驗證的方法包括直接去計算該等非標準語 音語料（「台灣國語」語料)與該標準語音模型（「標準華語」 浯音模型）在語音特徵參數上之差距，其中該語音特徵參數 可以是「梅爾修頻譜參數」（MFCC, Mel-frequency cepstral coefficient ) ’而差距可以利用「歐氏距離」伽也和姐 distance)或「馬氏距離」（Mahalanobis Distance)作為判斷基 準。更詳鈿地說，步驟406可藉由驗證s.enone(音素解碼二 態的聚類結果稱為“senone，，)模型而找出待驗證語料中語音 變異之senone，公式如下： 户一-(七i〇g^ Ac_)-i〇g洲夂一公式⑴ s (χ I ^ - m 〇d ) = ^~.Σ s (χ \ λ η) Λ = 1 公式(2) 其中’當PVerification(x)<閥值’則χ為可能語音變異。 PVedficati〇n(x)為senonex語音正確之信心值；g為辨識記 分函式；χ為以senone為單位之語音資料；Ac〇rrect為。 之正確語音模型，·又anti_model 4與χ正確語音模型最相x 的語音模型集；N為所取與x正確語音模型最相似 = 模型集之模型數量。值得注意的是，在另一實施例中 IDEAS98015/0213-A42241-IW/FinaV 10 锻 201118854 作為比較基準的語音模型不限於「 例而言，如第5圖所示，若一實示準語音模型」等。舉 準語音模型X0(例如：標準華語、)施例中在取得該語言之標 數個其他周邊語音模型Xl〜X4(m外又另取得該語言之複 東腔、湖南腔等），則步驟S4% :北京腔、上海腔、廣 準語音紗X，（台灣腔）分別 步驗證出該等非標 語)與該等周邊語音模型間χι'〜;=ί音模型颂標準華 腔、湖南腔)之複數個語音變異。⑦腔、上海腔、廣東 之後，本實施例進入步驟S4〇8，依據步驟概 變異轉換函式以產生該語音變異轉換函 η::, U ctA D) :¾疋非線性關係（例如 y=axA2+bx+e )，並迴歸或是碰演算法計算轉換函 式。正常發音之模型參數輸入轉換函式Y=AX+R，可獲得 發音變異之模型的參數。 半，γμ)=ρ(χ，γ 剔=Σ\ίκ,Α(^) 9 ν? Μ 以及； 舉例而言，步驟S408可使用EM演算法而取得該語音 變異轉換函式，其公式如下：
. . __ U 公式(3) \(Ά) = 6々,|Ά(χ,) 他丨 A，,+R;，I：7y) ^ bA\) = N{TLt^pzxj) 公式(4-1 〜3) 其中，7Γ為初始機率；a為狀態轉移機率；b為狀態觀測 機率；q為狀態變數；J為狀態指標；t為時間指標了 £為 變異數。EM演算法中包括E步驟及M步驟，其中E步驟 中Q函式之求取如下所示： IDEASQSOl^is-towiSv^^l O , A ) log ^(O ,q\ λ') [ 201118854 〇(λ'\λ) = I 〇,A)l〇gP(Osir I λ') 公式(5) •j· gj, \ο^Ρ{0^\λ') = \ο%π^ + Σ \ogaqt_xqt + Σ \〇gbqt (〇r)公式（6) 0 = {X,Y} = {x1,y1,...>xr5y7,} 公式（7) 此外’ M步驟中最大化Q函式之求取如下所示： λr = arg max Q {λ'\λ) λ ' 典巧(〇 Σ^ι(〇 /=1 π,. Μ •Η ΣΓ=送沿狀_d〇rΑ/彳 奶)χ,ν \ί=1 八 μ Y.rAMy, -Α/χ,) R ·: Σ^〇) /=1 τ:Σ。⑺(y，- ΑΛ-H - α/χ,-r ./=1 31 J J ’ ~τ ----ί>ω 公式（8) 公式（9) 公式（10) 公式(11) 公式（12) 公式（13) 公式（14) 公式（15) 之後，本實施例進入步驟S41〇，依據該語音變異轉換 函式以及步驟S408取得之係數、以及該至少一標準語音模 型’產生至少一語音變異模型（在本實施例中，即「台灣國 語」）。之後，本實施例進入步驟S412,將所產生的該等語 音變異核型中鑑別度低的語音變異模料以剔除。詳細地 IDEAS98015/0213-A42241 -TW/Final/ 12 201118854 說¥步驟S41 〇所產生語音變里 變異模型之間的混淆程产為古睥、：中之-與其他語音 鑑別性〜m H時’判斷該語音變異模型之 音語料亦可依據提供該複數非標準語 識，當語音變異模独進行語音辨 判斷該語音變===結=錯誤率為高時， 本發明另可Μ # 為 卜’為了進行鑑別， 中分佈之㈣^產生複數個語音變異模型在機率空間 距離’ §其中—語音變異模型與其他注 Ϊ之==時，判斷該語音變異模型之鑑別性:低:、或 兹立變^^據對應該語言之複數聲學模型和所產生 靠近模型之間的關係，驗證該最靠近語 音變異模型之鑑恥是否為低。 w近… ^上賴實施财僅以單„_(華 一最佳實施例中，本發明 變里㈣士、、+ 個語言執行上述語音 " 法，進而產生複數個跨語今扭立轡里槿 舉例而言，在一眚竑加士 刀双推廣到極致。 言（例如：^ ’可域域㈣提供複數個語 等汪。、日語)之鮮語音模型、並提供該 純準語音語 式華語、日式英語中至少一者）、驗證出該等非 料與該標準語音模型間（在此實施例為：華語 2數個語音變異、依據該等語音變異以及複數個語音變 ”轉換函式產生該語音變異轉換函式所需之係數、並 該語音變異轉換函式及其係數以及該㈣準語音模 IDEAS98015/0213-Α42241 -TW/Final/ 13 [. 5 201118854 此實施例為：墓士丑^ ^ ,,, 莘5吾、英語、日語）產生複數個語音變異槿划 (例如：中式裳.往 山， 、、t 華祖 武央；σ、中式曰語、英式華語、英式曰語、日式 βσ日式英語）。本發明所屬技術領域中具有通常 可依據本發H神自行.減。 識者 本發明之語音變異模型建立方法已於前文介 此外，其你& w ψ 土於則述方法，本發明另提供一種語音辨識方法， 第6圖即依據本發明—實施例之語音辨識方法流程圖。本 發月之5§音辨識方法包括：執行前述之語音變異模型建立 方而建立至少—語音變異模型、於步S610中經由 立。。S輪入裴置輸入一語音、於步驟s62〇中依據該標準語 曰模型與該等語音變異模型對該語音進行辨識、以及於步 驟S630中計算各語音變異模型下對該語音進行辨識而產 =之各辨識結果的可能性機率值。在取得各辨識結果的可 =值之後’可取射可能性機率值最高者作為辨識 一 ^述發明不限於單一語言之各種腔調，亦可對多種語 二之多種腔調進行辨識。本發明之方法包括提供複數個語 =’，分別為該複數個語言分別產生對應之複數個語音變異 扠型，以及，依據該複數種語言之至少一標準語音模型及 其所建立之至少一語音變異模型，對該語音進行多語言之 語音辨識。藉由使用本發明的方法，吾人在曰常生活中失 雜多種語言、腔調的說話習慣亦不妨礙本發明對語音辨識 之效果，熟悉本技藝人士可依據本發明之精神自行推廣應 用領域’本文將不再贅述。 ^ 除了上述s吾音變異模型建立方法、語音辨識方法之 IDEAS98015/0213-A42241 -TW/Final/ 14 201118854 外，本發明又提供-種語音變異模型建立裳置 之語音變異模型建立裝置之方塊圖: 別用二—r:變異模型建立裝置7°°的各個元件係分 s= 語音變異模型建立方法之各個步驟 ::1別敘述如下：語音變異模型建立裝置· 匕括$曰料資料庫702、一語音變異驗證器7〇6、一語 音變異轉換計算器7G8 一語音變異模型產生器71〇以及 一語音變異模型鑑別器712。其中該語音語料資料庫722
用以紀錄一語言之至少一標準語音模型722以及該語言之 複數個非標準語音語料724(對應步驟S4〇2、S4〇4);該語 音變異驗證器706用以驗證出該等非標準語音語料與該至 少一標準語音模型間之複數個語音變異（對應步驟S4〇6); 該語音變異轉換計算器708用以依據該等語音變異以及一 語音變異轉換函式，產生該語音變異轉換函式所需之係數 (對應步驟S408);該語音變異模型產生器410用以依據該 語音變異轉換函式及其係數、以及該至少一標準語音模 型’產生至少一語音變異模型（對應步驟S410)。該語音變 異模型鑑別器710用以將所產生的該等語音變異模型中鑑 別度低的語音變異模型予以剔除（對應步驟S412)。本發明 之語音變異模型建立裝置700的詳細實施方式、所利用之 演算法皆可參照前述關於語音變異模梨建立方法之實施 例’本文不再贅述。 同樣地，本發明之語音變異模蜜建立裝置700不限於 單一語言之多種腔調，其亦可運用於多種語言及多種腔調 之上。舉例而言’當語音變異模型建立裝置7⑻中之該語 κ IDEAS98015/0213-A42241-TW/Finay 201118854 二^料貝料庫702紀錄了複數個語言(例如華語、英語及日 =注立變異模型產生11 71G可用以產生複數個跨語 ^純型（例如··中式英語、中式日語、英式華語、 央式曰語、曰式華語、曰式英語）。 β本ί明ί語音變異模型建立裝置已於前文介紹完畢。 第8圖述裝置，本發明另提供一種語音辨識系統， ρ依據本發明一實施例之語音辨識系統示意 發明之語音辨識系統8〇〇包括一語音輸入農置^ 述之語音變異模型建立裝置·、—語音辨識裝置如削 =識結果可能性計算器83〇。該語音變異模型建立： 置700，如同前述，可用以建立至少一 裝 該語音輪入裝置81〇在轸^ "模型，當 衣亙δ.川在輸入一浯音之後，該語 82〇即可依據該至少_標準語音模型及 =裝置 立裝置所產生之至少一語音變異模型，對型建 識。之後，该辨識結果可能性計算器83〇可用以仃辨 音變異模型下對該語音進行辨識而產生之 二十^語 能性機率值，在取得各辨識結果的可能性機率2；^的可 取其中可能性機率值最高者作為辨識結果而輪出之谈’可 此外’本發明另提供一種電腦程式產品，里 一電子，備，該電子設備讀取該電腦程式產品時執錯存於 音變異模型建立方法。由於該電腦程式產品所仃〜語 已於前文說明，故在此不再贅述。 仃之方法 藉由使用本發明之裝置或方法，語音辨識 大幅提升，以下提供一實驗證明之。本實驗目的此皆可 施本發明與實施先前技術在語音辨識率上之差異比較實 ffiEAS98015/0213-A42241 -TW/Final/ 16 "。本發明 201118854 包含下列四組實施方案： 方案1:僅在實施如本發明「語音變里模型 之步驟S402後，即對待測語音進行辨識。由於 方法_ 行本發明方法之其他步驟難〜S412，故執 在此=案中’步驟S4〇2中之標準語音模型係取自=° 國計算語言學學會台灣口音英語資料庫」，民 語的學生π說英語共955句。待測語音為如^ ^英 清楚之英語聲音檔； 。3、錄製
方案L實施本發明之步驟S4〇2、S4〇4而不姑 驟S406〜S412,之後對相同於方案1的待測語音進行辨1步 方案2屬於習知技術。在此方案中，步驟S4〇2如同5 而步驟S404從集的非標準語音語料係同樣取自基民b 計算語言學學會台灣σ音英語資料庫」，内 ^ 語的學生口說英語220句； 卜土^央 方案.3 :實施本發明之步驟S4〇2、S4〇4而不 驟S406〜S412’之後對相同於方案！的待測語音進行辨識。 方案3屬於習知技術。在此方案中，步驟以〇2如同方案1 而步驟S4G4從集的非標準語音語料係同樣取自「中華民’ 計算語言學學會台灣σ音英語f料庫」内容為非主修英努 的學生口說英語660句； / 'π 方案4:實施本發明之所有步驟S4〇2〜S4i2之後對 相同於方案1的待測語音進行辨識。在此方案中，步驟以⑽ 如同方案1 ’而步驟S404收集的非標準語音語料係同樣取 自「中華民國計算語言學學會台灣口音英語資料庫」，内 容為非主修英語的學生口說英語22〇句。 roEAS98015/0213-A42241 -TW/Final/ Γ 201118854 ----- 39
產生語音變異 模型之數$ |辨識率
表2 中「產生 作用，但除方案4的姐土、、」類同本發明步驟S410之 音變異轉換函式」產日，1異模型係依照本發明使用「語 由於方案1未收集任柯餘皆依照習如技術產生。其中， 變異模型，使得其對不音語料’故無法產生語音 準語音語料220句後H—般習知技術’其在收集非標 率約鄉。方案3產生:=音變異模型共39個，辨識 但由於方案3相對方案2案2數量之變音變異模型， =雖_ 之，，準:::: 二驟⑷2而使用本發明之幾別方法，故相對貫:宰本2發= 除了 U個鑑別度較低之語音變異模型，並且，由於實施^ 發驟：非S:的緣故’使得方案*在僅收 =之一 音語㈣情況下減達成相同的辨 識率’並相對方案2有較高的辨識率。由上述提供的4 數據可知，經由執行本發明「語音變異模型建立方^驗 可減少非標準語音語料的收集，解決未收集非二 IDEAS98015/0213-A42241 -TW/FinaV 丁 日邊 1〇 201118854 料即無法訓練出語音變異模型的問題，並且能夠以鑑別方 法來判斷並剔除無用的語音變異模型，進而提昇語音辨識 裝置或系統的整體語音辨識率。 本發明雖以較佳實施例揭露如上，然其並非用以限定 本發明的範圍，任何熟習此項技藝者，在不脫離本發明之 精神和範圍内，當可做些許的更動與潤飾，因此本發明之 保護範圍當視後附之申請專利範圍所界定者為準。 Φ 【圖式簡單說明】 第1圖為語音辨識裝置示意圖； 第2圖為前處理模組所執行之步驟流程圖； 第3圖為聲學模型訓練模組所執行之步驟流程圖； 第4圖為依照本發明一實施例之語音變異模型建立方 法的流程圖； 第5圖為步驟S406中驗證出語音變異的示意圖； 第6圖即依據本發明一實施例之語音辨識方法流程圖； φ 第7圖為依據本發明一實施例之語音變異模型建立裝 置之方塊圖； 第8圖即依據本發明一實施例之語音辨識系統示意圖。 【主要元件符號說明】 100〜語音辨識裝置； 110〜前處理模組； 120〜聲學模型比對模組； 130〜辨識結果解碼模組； IDEAS98015/0213-A42241 -TW/Final/ 19 201118854 140〜聲學模型訓練模組； 150〜語音辭典資料庫； 160〜語法規則資料庫； χ〇〜標準語音模型； XI〜周邊語音模型； X2〜周邊語音模型； 又3~周邊語音模型； X4〜周邊語音模型； X’〜非標準語音語料； 700〜語音變異模型建立裝置； 702〜語音語料資料庫； 706〜語音變異驗證器； 708〜語音變異轉換計算器； 710〜語音變異模型產生器； 712〜語音變異模型鑑別器； 722〜標準語音模型； 724〜非標準語音語料； 800〜語音辨識系統； 810〜語音輸入裝置； 700〜語音變異模型建立裝置； 820〜語音辨識裝置； 830〜辨識結果可能性計算器。 E)EAS98015/0213-A42241 -TW/Final/ 20

Claims (1)

  1. 2〇Πΐ8854 七、申請專利範圍： 一種語音變異模型建立裝置，包括. 一語音語料資料庫，用 少— 音語料與該至2標準語錢型 语音變異轉換計算器， 異以及-語音變異轉換函式，產變j語音變 需之係數；以及 4變異轉換函式所 一語音變異模型產生恶 轉換函式及其係數、以及該至少-標異 少一語音變異模型。 °。曰叙1 ’產生至 2. 如申請專利範圍第〗項所逑之 類為複數種語音概，且縣少該語言係分 語音語料係分別對應該二 3. 如申請專利範圍第2項所述之裝置， 異驗證器係驗證對應同-語音特徵之 音變 與該標準語音模型間之該複數個語音變/ 語料 =【係依據該語音特徵之語音變異及對; 之曰憂異轉換函式，產生該語音變里 4 寺徵 數；以及’該語音變異模型產生器依據對應需之係 c換函式及其係數、以及該語音 準π曰模型’產生該至少一語音變異模型。 ^ 4·如申請專利範圍第i項所述之裂置，其中，該語立错 n)EAS98015/0213-A42241-TW/Final/ 21 珥欠 • T r· 201118854 異轉換計算器，更 變異轉換函.式，等語音變異以及-語音 5如魏該⑺θ變異轉換函式之係數。 如U利範圍第1項所述之裝置，更包括： 从一語音變異模型鑑別器，用以將所產生的該耸 "ΎΓ型巾鐘财低㈣音變賤鮮關除。μ 相範㈣_5韻述之裝置 異模=別器係依據當該等所產生語音變異模型；；： :=語音變異模型之間的混潰程度為高時，判= 扣曰變異模型之鑑別性為低。 里專利範圍第5項所述之裝置，其中，該語音變 ;=別·據提供該複數非標準語音語料、且使用 =等所產生語音變異_料行語請識，當其中—狂立 型該語音變^ 8.如申請專利範圍第5項所述之裝置， ===據其所產生複數個語音變異模型= 異模型之距離為小時7斷！;^音變變^模型與其他語音變 9如由& W , 日㈣模型之鑑別性為低。 .如申印專利範圍第5項所述之裝置 異模型鑑別器係依據對應該語言之複 語音變異模型中最靠逬模型之間的關係== 音變異模型之鑑別性衫為低。 …^罪近 10.如申請專利範圍第2項所述之 變異驗證器係經由計算該等非標準㈣音 模型在其對應語音特徵之參數上之-“=:= IDEAS98015/0213-Α42241 -TW/Final/ n % ”丘 Λ 緣寻 201118854 it °。：:::該標準語音模型間之該等語音變異。 特徵炎數卿iG項所述之裝置，其中該“ 離。數係為-梅爾倒頻譜參數、-歐氏距離或-馬： 語料範圍第1項所述之裝置，其中該語音 語音變異㈣器更2語言之複數個周邊語音模型，而該
    別與該標準語音模;非標準_ 變異。 該4周邊浯音模型間之複數個語音 準:音語料係分複 準語音語:與=:=等：:，_ =之參數上之-差距，=二=: :=標準語音模型間、該等周邊語音模型間之複 14.如申請專利範圍第1 變異轉換計算器係使用一 EM 換函式所需之係數。 項所述之裝置，其中該語音 / 臾算法而產生該語音變異轉 15.如申請專利範圍第丨項所述之裝置，其中該纽音 語料資料庫更紀錄了複數個語言其個別之至少一標準 X;: 杈型及其對應之複數個非標準語音語料，·該語音變異驗證 器更包含用以分別驗證出各語言之複數個語音變異.笋立 變異轉換計#器更包含分麟各語言產生對應的語音變= IDEAS98015/0213-A42241 -TW/Final/ 23 I < 201118854 轉換函式所需之係數；以及該語音變異 語言分別產生對應之複數個語音變異 用以分別為該複數個語言厶κ丨丨姦从犯二、生态更匕3 模型。 16· -種語音辨識系統，包括： 一語音輪入裝置，用以輸入一語音； 變異模型 建立裝置；:申”專·®第1項所述之語音 :及f::!異模型建立襄置所產生之至少: ^對該语音進行辨識。 Π.如申請專利範圍第 包括： "辨識裝置’用以域該至少—標準語音模 語音變異模 16碩所述之語音辨識系統，更 模型下對^缺計算11，以計算各語音變盈 率值。”進订辨識而產生之各辨識結果的可能性機 二迷之語音辨識系統，其 =，語音變異模裝= 生盗更用以分別為該複數個狂士八 、、至產 音變異模型，·以及，該語“生對應之複數個語 語言之至少-標準語音模型及^^用以依據該複數種 模型，對該語音進行多語言之語音辨^至少一語音變異 19. 一種語音變異模型 提供-語言之二包括以下步驟： 複數個非標準語音語料； 丁 > °。3杈型以及該語言之 IDEAS98015/0213-A42241 -TW/Final/ 201118854 翻間之準語音語料與該至少_ 標準語音 依據該等語音變異以及一逆立 生該語音變異轉換函式所需之係數^及，、轉換函式，產 依據該語音變異轉換函式及 一=語音模型.，產生至少-語音變異模：該至少 20· *申請專利範圍第㈣所述之方法， 满刀類為複數種語音特徵，且該 立、W言 ·=個非標準語音語料係分別對應該複=心== 步二述之方法，其+該方法 與該標準語音模型間之複數語音語料 之語音變異及對應該語音發立依據該語音特徵 語音特函式所需之係數;以及，依據對應該 二=準:!:轉換函式及其係數'以及該語音特徵 至夕標杨音模型，產生至少— 更勺請專利範圍第19項所述之方法，其中該方法 複二：ί:4語音變異以及-語音變異轉換函式，產生 複數、，且該浯a變異轉換函式之係數。 t如申請專利範圍第19項所述之方法，其中該方法 更U括.將所產生的該等語音 變異模型予以剔除。 没低的。。音 更包m 12 3 _述之m中該方法 等所產生語音變異 IDEAS98015/0213-A42241-TW/Finaiy ,、今 25 *-二-j 201118854 他語音變異模型之 模型之鑑別性為低。、此/王又為高時，判斷該語音變異 更二項Μ之方法’其中該方法 產⑼立ί 該複數非標準語音語料、且使詩算所 刑夕^ '異模型以進行語音辨識，當1中一注立里描 型之辨識結果的錯誤率為古拉^田八中。口《變異模 別性為低。 ‘·、、呵、，判斷該語音變異模型之鑑 更包項所述之方法’其中該方法 分佈之距離：當其中語：變異模型在機率空間中 之距離為小時，判斷與其他語音變異模型 27...如申請專利範圍第幻項所逃之方法，其中 更匕括.依據對應該語言之 〜法 異模型中最靠近模型之間 二語音變 模型之❹】性以輕。I錄錢語音變異 在Λ8· *申請專利範圍第加項所述之方法，1中节方> 係經由計算該等非標準 -中該方法 應語音特徵之參數上之一】準語音模型在其對 語料與該標準語音模二=二=#出該等非標準語音 特徵所述，方法’其中該語音 離。 ㈣_°日參數、-歐氏距離或-馬氏距 30.如申請專利範圍第19項所述之方法，其中 更包括：提供該語言之複數_邊語音模型，1 尊非標準語音語料分職該標準語音模型、 IDEAS98015/0213-Α42241 -TW/Final/ ^ 寻周遺 5口曰 26 201118854 模型間之複數個語音變異。 語言 準語音模型及該等周邊」語音語料與該標 上之-差距， 語音3,間、：等周邊語音模型間之複心 田如申请專利範圍第19項所述之方法，其中兮* :用—现演算法以產生該語音變異轉換函式所 *申請專利範園第19項所述之方法， 匕括.提供複數個語言其個別之至少-桿準达立^决 ：音變異；分別為各語言產生對應 ；:複 式所需之係數；以及，分別為該複數個語古分別j換函 之複數個語音變異模型。 σ刀別產生對應 34. —種語音辨識方法，包括： 經由一語音輸入器輸入一語音. ―語音變=，:r範，9項所述之方法產生至少 音變異模型及所產生之至少1 3.5 .如申請專利範圍第3 包括： 幻4销叙料賴方法，更 IDEAS98015/0213-A42241'TW/Final/ 27 201118854 計算各語音變異模型下對該語音進行辨識而產生 之各辨識結果的可能性機率值。 36. 如申請專利範圍第34項所述之語音辨識方法，其 中該方法更包括：提供複數個語言，分別為該複數個語言 分別產生對應之複數個語音變異模型；以及，依據該複數 種語言之至少一標準語音模型及其所建立之至少一語音變 異模型，對該語音進行多語言之語音辨識。 37. —種電腦程式產品，係儲存於一電子設備，該電 子設備讀取該電腦程.式產品時執行一語音變異模型建立方 法，其包括： 提供一語言之至少一標準語音模型以及該語言之 複數個非標準語音語料； 驗證出該等非標準語音語料與該至少一標準語音 模型間之複數個語音變異； 依據該等語音變異以及一語音變異轉換函式，產 生該語音變異轉換函式所需之係數；以及 依據該語音變異轉換函式及其係數、以及該 至少一標準語音模型，產生至少一語音變異模型。 IDEAS98015/0213-A42241 -TW/Final/ 28
TW098138964A 2009-11-17 2009-11-17 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法 TWI391915B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098138964A TWI391915B (zh) 2009-11-17 2009-11-17 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法
US12/637,990 US8478591B2 (en) 2009-11-17 2009-12-15 Phonetic variation model building apparatus and method and phonetic recognition system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098138964A TWI391915B (zh) 2009-11-17 2009-11-17 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法

Publications (2)

Publication Number Publication Date
TW201118854A true TW201118854A (en) 2011-06-01
TWI391915B TWI391915B (zh) 2013-04-01

Family

ID=44011978

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098138964A TWI391915B (zh) 2009-11-17 2009-11-17 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法

Country Status (2)

Country Link
US (1) US8478591B2 (zh)
TW (1) TWI391915B (zh)

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9275635B1 (en) * 2012-03-08 2016-03-01 Google Inc. Recognizing different versions of a language
US9390085B2 (en) * 2012-03-23 2016-07-12 Tata Consultancy Sevices Limited Speech processing system and method for recognizing speech samples from a speaker with an oriyan accent when speaking english
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) * 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9966064B2 (en) * 2012-07-18 2018-05-08 International Business Machines Corporation Dialect-specific acoustic language modeling and speech recognition
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014200731A1 (en) 2013-06-13 2014-12-18 Apple Inc. System and method for emergency calls initiated by voice command
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9552810B2 (en) 2015-03-31 2017-01-24 International Business Machines Corporation Customizable and individualized speech recognition settings interface for users with language accents
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10446136B2 (en) * 2017-05-11 2019-10-15 Ants Technology (Hk) Limited Accent invariant speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10983983B2 (en) * 2018-03-08 2021-04-20 U.S. Bancorp, National Association Entity resolution based on multiple attributes
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
TWI697890B (zh) * 2018-10-12 2020-07-01 廣達電腦股份有限公司 語音校正系統及語音校正方法
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
TWI746138B (zh) * 2020-08-31 2021-11-11 國立中正大學 構音異常語音澄析裝置及其方法
CN117396879A (zh) * 2021-06-04 2024-01-12 谷歌有限责任公司 用于生成地区特定语音拼写变体的系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593849B2 (en) * 2003-01-28 2009-09-22 Avaya, Inc. Normalization of speech accent
DE602004023134D1 (de) * 2004-07-22 2009-10-22 France Telecom Spracherkennungsverfahren und -system, das an die eigenschaften von nichtmuttersprachlern angepasst ist
GB2424742A (en) * 2005-03-31 2006-10-04 Ibm Automatic speech recognition
KR100815115B1 (ko) * 2006-03-31 2008-03-20 광주과학기술원 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치
CN101226743A (zh) * 2007-12-05 2008-07-23 浙江大学 基于中性和情感声纹模型转换的说话人识别方法
TW200926142A (en) * 2007-12-12 2009-06-16 Inst Information Industry A construction method of English recognition variation pronunciation models
CN101393740B (zh) * 2008-10-31 2011-01-19 清华大学 一种计算机多方言背景的汉语普通话语音识别的建模方法

Also Published As

Publication number Publication date
TWI391915B (zh) 2013-04-01
US8478591B2 (en) 2013-07-02
US20110119051A1 (en) 2011-05-19

Similar Documents

Publication Publication Date Title
TW201118854A (en) Method and apparatus for builiding phonetic variation models and speech recognition
JP7280386B2 (ja) 多言語音声合成およびクロスランゲージボイスクローニング
Bu et al. Aishell-1: An open-source mandarin speech corpus and a speech recognition baseline
WO2017114172A1 (zh) 一种发音词典的构建方法及装置
US9711139B2 (en) Method for building language model, speech recognition method and electronic apparatus
US9613621B2 (en) Speech recognition method and electronic apparatus
US10339920B2 (en) Predicting pronunciation in speech recognition
US10140973B1 (en) Text-to-speech processing using previously speech processed data
Liu et al. Voice Conversion Across Arbitrary Speakers Based on a Single Target-Speaker Utterance.
WO2021061484A1 (en) Text-to-speech processing
Huang et al. The sequence-to-sequence baseline for the voice conversion challenge 2020: Cascading asr and tts
Liu et al. End-to-end accent conversion without using native utterances
TW201517018A (zh) 語音辨識方法及其電子裝置
Li et al. Combining five acoustic level modeling methods for automatic speaker age and gender recognition.
Dabike et al. Automatic Lyric Transcription from Karaoke Vocal Tracks: Resources and a Baseline System.
Bhuvanagirir et al. Mixed language speech recognition without explicit identification of language
Wang et al. Olr 2021 challenge: Datasets, rules and baselines
Wang et al. Improving query-by-singing/humming by combining melody and lyric information
Lux et al. The IMS Toucan System for the Blizzard Challenge 2023
TW200931394A (en) Speech recognition device and method thereof
JP3660512B2 (ja) 音声認識方法、その装置及びプログラム記録媒体
Song et al. Styles2st: Zero-shot style transfer for direct speech-to-speech translation
TW201828281A (zh) 發音詞典的構建方法及裝置
Tsai et al. Customized wake-up word with key word spotting using convolutional neural network
Fatima et al. Vowel-category based short utterance speaker recognition

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees