TWI391915B - 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法 - Google Patents
語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法 Download PDFInfo
- Publication number
- TWI391915B TWI391915B TW098138964A TW98138964A TWI391915B TW I391915 B TWI391915 B TW I391915B TW 098138964 A TW098138964 A TW 098138964A TW 98138964 A TW98138964 A TW 98138964A TW I391915 B TWI391915 B TW I391915B
- Authority
- TW
- Taiwan
- Prior art keywords
- speech
- model
- variation
- standard
- variability
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000006243 chemical reaction Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 49
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 230000035772 mutation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 241001672694 Citrus reticulata Species 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 238000010420 art technique Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
Description
本發明係關於語音變異模型建立之技術領域，更係關於應用該語音變異模型以進行語音辨識之技術領域。
一種語言往往隨著地域、使用者之背景而存在各種不同之腔調。除此之外，某語言在受其他語言的影響下，往往又會產生新的腔調。舉例而言，華語被閩南語影響而有「台灣國語」(閩南語式華語，或簡稱「台灣腔」)、英文被中文影響而有「中式英語」等。這些相對某標準語言不標準的腔調即所謂的「語音變異」。然而，由於語音辨識裝置通常無法對不標準的語音進行辨識，因此這些語音變異皆會使語音辨識裝置的辨識率劇降。
雖然某些習知的語音辨識裝置亦會建立「語音變異模型」而對不標準的語音進行辨識，但「語音變異模型」的建立必需依靠對這些不標準的腔調進行廣泛而大量的收集始得以完成，相當耗費人力和時間，並且，有限的非標準語音語料僅能訓練及建立出有限的語音變異模型，進而造成整體語音辨識率不佳。單一語言本身即可能具有各種語音變異，遑論全球近7000種語言又會彼此交錯影響，要收集所有的變異語料幾乎不可行。
因此，如何設計出一種語音變異模型建立方法或裝置，使其能在少量收集非標準語音語料的情況下達成理想語音辨識率，實乃一重要課題。
本發明提供一種語音變異模型建立裝置，包括一語音語料資料庫，用以紀錄一語言之至少一標準語音模型以及該語言之複數個非標準語音語料；一語音變異驗證器，用以驗證出該等非標準語音語料與該至少一標準語音模型間之複數個語音變異；一語音變異轉換計算器，用以依據該等語音變異以及一語音變異轉換函式，產生該語音變異轉換函式所需之係數；以及一語音變異模型產生器，用以依據該語音變異轉換函式及其係數、以及該至少一標準語音模型，產生至少一語音變異模型。
本發明另提供一種語音辨識系統，包括：一語音輸入裝置，用以輸入一語音；一種本發明前述之語音變異模型建立裝置，用以產生至少一語音變異模型；一語音辨識裝置，用以依據該至少一標準語音模型及該語音變異模型建立裝置所產生之至少一語音變異模型，對該語音進行辨識。
本發明另提供一種語音變異模型建立方法。該語音變異模型建立方法包括：提供一語言之至少一標準語音模型以及該語言之複數個非標準語音語料；驗證出該等非標準語音語料與該至少一標準語音模型間之複數個語音變異；依據該等語音變異以及一語音變異轉換函式，產生該語音變異轉換函式所需之係數；以及依據該語音變異轉換函式及其係數、以及該至少一標準語音模型，產生至少一語音變異模型。
本發明另提供一種語音辨識方法。該語音辨識方法包括：經由一語音輸入裝置輸入一語音；經由本發明前述之方法產生至少一語音變異模型；以及依據該至少一標準語音模型及所產生之至少一語音變異模型，對該語音進行辨識。
藉由執行本發明之方法，可減少非標準語音語料的收集，解決未收集非標準語音語料即無法訓練出語音變異模型的問題，並且能夠以鑑別方法來判斷並剔除無用的語音變異模型，進而提升語音辨識裝置或系統的整體語音辨識率
下文為介紹本發明之最佳實施例。各實施例用以說明本發明之原理，但非用以限制本發明。本發明之範圍當以後附之權利要求項為準。
第1圖係為習知語音辨識裝置示意圖。語音辨識裝置100包括前處理模組110、聲學模型比對模組120、辨識結果解碼模組130、聲學模型訓練模組140、語音辭典資料庫150及語法規則資料庫160。前處理模組110對輸入之語音進行初步的處理之後，將處理過之語音輸出至聲學模型比對模組120。聲學模型比對模組120接著將該處理過的語音與聲學模型訓練模組140訓練出的聲學模型進行比對，其中，舉例而言，上述聲學模型可為某語言之標準語音模型，或是非標準語音模型(即變異語音模型)。最後，辨識結果解碼模組130參照語音辭典資料庫150及語法規則資料庫160而對聲學模型比對模組120比對之結果進行語意辨識，進而產生最終辨識結果。舉例而言，該辨識結果解碼模組130所產生的最終辨識結果為一段可被理解的字串。
一般來說，若語音辨識裝置100在輸入語音之後以完整的語音檔進行語音辨識，可經由一前處理模組110對輸入之語音進行「前處理」。第2圖為前處理模組110所執行之步驟流程圖。前處理程序200包括：接收語音類比訊號輸入S202、語音取樣S204、語音切割S206、端點偵測S208、預強調S210、乘上漢明窗S212、預強調S214、自相關係數求取S216、LPC參數求取S218、求取倒頻譜係數S220、輸出語音特徵S222等步驟，用以在前處理程序S200執行後擷取出語音特徵以供該聲學模型比對模組120進行聲學模型比對之用。
聲學模型訓練模組140可提供該聲學模型比對模組120進行聲學模型比對所需之比對基礎。第3圖為聲學模型訓練模組140所執行之步驟流程圖。聲學模型訓練流程300包括：收集語音語料S302(包括收集標準或非標準之語音語料)、模組初始化S304、利用維特比(Viterbi)演算法計算相似度S306、判斷聲學模型是否收斂S310。若步驟S310之結果為是，則進入最後步驟：建立聲學模型S312；若結果為否，則重新評估S308。就辨識某語言而言，其所有的語音單元都要建立相對應之聲學模型，而聲學模型之建立，舉例而言，可使用隱藏式馬可夫模型(Hidden Makov Model，HMM)，由於其非本發明之重點，故不再贅述。
聲學模型係作為與待辨識的語音進行比對之基礎，因此，聲學模型之建立在語音辨識中佔有舉足輕重的地位，而其中收集語音語料S302又是建立聲學模型之基本步驟。而本發明之主要目的，係為了減輕收集過多「變異」語音語料所產生之負擔，提供一種系統化自動擴增語音變異模型之裝置及方法，其實施方式說明如後。
第4圖為依照本發明一實施例之語音變異模型建立方法的流程圖。本發明之語音變異模型建立方法400包括：步驟S402，提供一語言之至少一標準語音模型；步驟S404，提供該語言之複數個非標準語音語料；步驟S406，驗證出該等非標準語音語料與該至少一標準語音模型間之複數個語音變異；步驟S408，依據該等語音變異以及一語音變異轉換函式，產生該語音變異轉換函式所需之係數；步驟S410，依據該語音變異轉換函式及其係數、以及該至少一標準語音模型，產生至少一語音變異模型；以及步驟S412，用以將所產生的該等語音變異模型中鑑別度低的語音變異模型予以剔除。為使上述發明易於理解，後文將以一實施例作更詳盡的說明。
以建立華語的語音變異模型之作說明。在此實施例中，按照上述步驟S402提供「標準華語」之語音模型，其中該標準語音模型包括「標準華語」中所有語音單元之聲學模型。之後，按照上述步驟S404提供複數個之「台灣國語」(閩南語式華語)語音語料。值得注意的是，本發明之目的即在於減少非標準語音語料之收集量，因此，此步驟不需提供所有「台灣國語」的語音語料。
之後，本實施例進入步驟S406。此步驟可驗證出該等有限的「台灣國語」語料與「標準華語」發明模型間複數個語音變異。簡單地說，驗證，係指去「聽取」一語音之語音是否標準。詳細地說，驗證的方法可藉由比較一待驗證語料與另一標準語料在聲學模型相似度關係而判斷該待驗證語料是否相對該標準語料發生變異。一般而言，語言可分類為複數種語音特徵，且標準語音模型及非標準語音語料皆可分別對應該等語音特徵其中之一，因此本發明可利用對應至該標準語音模型的語音特徵而對各個非標準語音語料進行驗證。上述語音特徵可應用國際語音字母(International Phonetic Alphabet，IPA)，如下表1所示，但本發明不必以此為限：
舉例而言，驗證的方法包括直接去計算該等非標準語音語料(「台灣國語」語料)與該標準語音模型(「標準華語」語音模型)在語音特徵參數上之差距，其中該語音特徵參數可以是「梅爾修頻譜參數」(MFCC,Mel-frequency cepstral coefficient)，而差距可以利用「歐氏距離」(Euclidean distance)或「馬氏距離」(Mahalanobis Distance)作為判斷基準。更詳細地說，步驟406可藉由驗證senone(音素解碼狀態的聚類結果稱為“senone”)模型而找出待驗證語料中語音變異之senone，公式如下：
其中，當PVerification(x)<閥值，則x為可能語音變異。Pverification(x)為senone x語音正確之信心值；g為辨識記分函式；x為以senone為單位之語音資料；λcorrect為x之正確語音模型；λanti-model為與x正確語音模型最相似的語音模型集；N為所取與x正確語音模型最相似的語音模型集之模型數量。值得注意的是，在另一實施例中，被作為比較基準的語音模型不限於「標準語音模型」等。舉例而言，如第5圖所示，若一實施例中在取得該語言之標準語音模型X0(例如：標準華語)之外又另取得該語言之複數個其他周邊語音模型X1~X4(例如：北京腔、上海腔、廣東腔、湖南腔等)，則步驟S406可進一步驗證出該等非標準語音語料X’(台灣腔)分別與該標準語音模型X0(標準華語)與該等周邊語音模型間X1~X4(北京腔、上海腔、廣東腔、湖南腔)之複數個語音變異。
之後，本實施例進入步驟S408，依據步驟406取得之語音變異和一語音變異轉換函式以產生該語音變異轉換函式所需之係數。可假設標準語音模型與非標準語音語料間為線性關係(y=ax+b)或是非線性關係(例如y=ax^2+bx+c)，並利用迴歸或是EM演算法計算轉換函式。正常發音之模型參數輸入轉換函式Y=AX+R，可獲得發音變異之模型的參數。
舉例而言，步驟S408可使用EM演算法而取得該語音變異轉換函式，其公式如下：
以及；
其中，π為初始機率；a為狀態轉移機率；b為狀態觀測機率；q為狀態變數；J為狀態指標；t為時間指標；Σ為變異數。EM演算法中包括E步驟及M步驟，其中E步驟中Q函式之求取如下所示：
O={X,Y}={x 1 ,y 1 ,...,x T ,y T }
公式(7)
此外，M步驟中最大化Q函式之求取如下所示：
之後，本實施例進入步驟S410，依據該語音變異轉換函式以及步驟S408取得之係數、以及該至少一標準語音模型，產生至少一語音變異模型(在本實施例中，即「台灣國語」)。之後，本實施例進入步驟S412，將所產生的該等語音變異模型中鑑別度低的語音變異模型予以剔除。詳細地說，當步驟S410所產生語音變異模型其中之一與其他語音變異模型之間的混淆程度為高時，判斷該語音變異模型之鑑別性為低。或者，本發明亦可依據提供該複數非標準語音語料、且使用該等所產生語音變異模型以進行語音辨識，當其中一語音變異模型之辨識結果的錯誤率為高時，判斷該語音變異模型之鑑別性為低。此外，為了進行鑑別，本發明另可依據其所產生複數個語音變異模型在機率空間中分佈之距離，當其中一語音變異模型與其他語音變異模型之距離為小時，判斷該語音變異模型之鑑別性為低。或者，本發明亦可依據對應該語言之複數聲學模型和所產生語音變異模型中最靠近模型之間的關係，驗證該最靠近語音變異模型之鑑別性是否為低。
雖然上述的實施例中僅以單一語言(華語)作說明，但在一最佳實施例中，本發明更可對複數個語言執行上述語音變異模型建立方法，進而產生複數個跨語言語音變異模型，將本發明自動擴增語音變異模型之功效推廣到極致。舉例而言，在一實施例中，可依據上述步驟提供複數個語言(例如：華語、英語、日語)之標準語音模型、並提供該等語言(例如：華語、英語、日語)之複數個非標準語音語料(例如：中式英語、中式日語、英式華語、英式日語、日式華語、日式英語中至少一者)、驗證出該等非標準語音語料與該標準語音模型間(在此實施例為：華語、英語、日語)之複數個語音變異、依據該等語音變異以及複數個語音變異轉換函式產生該語音變異轉換函式所需之係數、並依據該語音變異轉換函式及其係數以及該等標準語音模型(在此實施例為：華語、英語、日語)產生複數個語音變異模型(例如：中式英語、中式日語、英式華語、英式日語、日式華語、日式英語)。本發明所屬技術領域中具有通常知識者可依據本發明之精神自行推廣。
本發明之語音變異模型建立方法已於前文介紹完畢。此外，基於前述方法，本發明另提供一種語音辨識方法，第6圖即依據本發明一實施例之語音辨識方法流程圖。本發明之語音辨識方法包括：執行前述之語音變異模型建立方法400而建立至少一語音變異模型、於步驟S610中經由一語音輸入裝置輸入一語音、於步驟S620中依據該標準語音模型與該等語音變異模型對該語音進行辨識、以及於步驟S630中計算各語音變異模型下對該語音進行辨識而產生之各辨識結果的可能性機率值。在取得各辨識結果的可能性機率值之後，可取其中可能性機率值最高者作為辨識結果而輸出。
上述發明不限於單一語言之各種腔調，亦可對多種語言之多種腔調進行辨識。本發明之方法包括提供複數個語言，分別為該複數個語言分別產生對應之複數個語音變異模型；以及，依據該複數種語言之至少一標準語音模型及其所建立之至少一語音變異模型，對該語音進行多語言之語音辨識。藉由使用本發明的方法，吾人在日常生活中夾雜多種語言、腔調的說話習慣亦不妨礙本發明對語音辨識之效果，熟悉本技藝人士可依據本發明之精神自行推廣應用領域，本文將不再贅述。
除了上述語音變異模型建立方法、語音辨識方法之外，本發明又提供一種語音變異模型建立裝置。第7圖為依據本發明一實施例之語音變異模型建立裝置之方塊圖。本實施例中，語音變異模型建立裝置700的各個元件係分別用以執行前述語音變異模型建立方法之各個步驟S402~S412，分別敘述如下：語音變異模型建立裝置700包括一語音語料資料庫702、一語音變異驗證器706、一語音變異轉換計算器708、一語音變異模型產生器710以及一語音變異模型鑑別器712。其中該語音語料資料庫722用以紀錄一語言之至少一標準語音模型722以及該語言之複數個非標準語音語料724(對應步驟S402、S404)；該語音變異驗證器706用以驗證出該等非標準語音語料與該至少一標準語音模型間之複數個語音變異(對應步驟S406)；該語音變異轉換計算器708用以依據該等語音變異以及一語音變異轉換函式，產生該語音變異轉換函式所需之係數(對應步驟S408)；該語音變異模型產生器410用以依據該語音變異轉換函式及其係數、以及該至少一標準語音模型，產生至少一語音變異模型(對應步驟S410)。該語音變異模型鑑別器710用以將所產生的該等語音變異模型中鑑別度低的語音變異模型予以剔除(對應步驟S412)。本發明之語音變異模型建立裝置700的詳細實施方式、所利用之演算法皆可參照前述關於語音變異模型建立方法之實施例，本文不再贅述。
同樣地，本發明之語音變異模型建立裝置700不限於單一語言之多種腔調，其亦可運用於多種語言及多種腔調之上。舉例而言，當語音變異模型建立裝置700中之該語音語料資料庫702紀錄了複數個語言(例如華語、英語及日語)時，則語音變異模型產生器710可用以產生複數個跨語言語音變異模型(例如：中式英語、中式日語、英式華語、英式日語、日式華語、日式英語)。
本發明之語音變異模型建立裝置已於前文介紹完畢。此外，基於前述裝置，本發明另提供一種語音辨識系統，第8圖即依據本發明一實施例之語音辨識系統示意圖。本發明之語音辨識系統800包括一語音輸入裝置810、如前述之語音變異模型建立裝置700、一語音辨識裝置820，以及一辨識結果可能性計算器830。該語音變異模型建立裝置700，如同前述，可用以建立至少一語音變異模型，當該語音輸入裝置810在輸入一語音之後，該語音辨識裝置820即可依據該至少一標準語音模型及該語音變異模型建立裝置所產生之至少一語音變異模型，對該語音進行辨識。之後，該辨識結果可能性計算器830可用以計算各語音變異模型下對該語音進行辨識而產生之各辨識結果的可能性機率值，在取得各辨識結果的可能性機率值之後，可取其中可能性機率值最高者作為辨識結果而輸出。
此外，本發明另提供一種電腦程式產品，其係儲存於一電子設備，該電子設備讀取該電腦程式產品時執行一語音變異模型建立方法。由於該電腦程式產品所執行之方法已於前文說明，故在此不再贅述。
藉由使用本發明之裝置或方法，語音辨識之效能皆可大幅提升，以下提供一實驗證明之。本實驗目的在比較實施本發明與實施先前技術在語音辨識率上之差異。本發明包含下列四組實施方案：方案1：僅在實施如本發明「語音變異模型建立方法」之步驟S402後，即對待測語音進行辨識。由於本方案未執行本發明方法之其他步驟S404~S412，故屬於習知技術。在此方案中，步驟S402中之標準語音模型係取自「中華民國計算語言學學會台灣口音英語資料庫」，內容為主修英語的學生口說英語共955句。待測語音為女性語音、錄製清楚之英語聲音檔；方案2：實施本發明之步驟S402、S404而不執行步驟S406~S412，之後對相同於方案1的待測語音進行辨識。方案2屬於習知技術。在此方案中，步驟S402如同方案1，而步驟S404收集的非標準語音語料係同樣取自「中華民國計算語言學學會台灣口音英語資料庫」，內容為非主修英語的學生口說英語220句；方案3：實施本發明之步驟S402、S404而不執行步驟S406~S412，之後對相同於方案1的待測語音進行辨識。方案3屬於習知技術。在此方案中，步驟S402如同方案1，而步驟S404收集的非標準語音語料係同樣取自「中華民國計算語言學學會台灣口音英語資料庫」內容為非主修英語的學生口說英語660句；方案4：實施本發明之所有步驟S402~S412，之後對相同於方案1的待測語音進行辨識。在此方案中，步驟S402如同方案1，而步驟S404收集的非標準語音語料係同樣取自「中華民國計算語言學學會台灣口音英語資料庫」，內容為非主修英語的學生口說英語220句。
上述實施結果如下表2所示：
表2中「產生語音變異模型」類同本發明步驟S410之作用，但除方案4的語音變異模型係依照本發明使用「語音變異轉換函式」產生外，餘皆依照習知技術產生。其中，由於方案1未收集任何非標準語音語料，故無法產生語音變異模型，使得其對不標準語音的辨識率不佳，進而影響整體語音辨識率。方案2為一般習知技術，其在收集非標準語音語料220句後一共產生語音變異模型共39個，辨識率約41%。方案3產生如同方案2數量之變音變異模型，但由於方案3相對方案2收集了更多的非標準語音語料(660句，方案2之三倍)，故辨識率提升至52%。方案3之辨識率雖然堪稱理想(習知技術的最佳辨識率約60%)，但須收集大量非標準語音語料。方案4，由於實施本發明之步驟S412而使用本發明之鑑別方法，故相對方案2、3剔除了12個鑑別度較低之語音變異模型，並且，由於實施本發明步驟S406~S408的緣故，使得方案4在僅收集方案3三分之一量的非標準語音語料的情況下仍能達成相同的辨識率，並相對方案2有較高的辨識率。由上述提供的實驗數據可知，經由執行本發明「語音變異模型建立方法」，可減少非標準語音語料的收集，解決未收集非標準語音語料即無法訓練出語音變異模型的問題，並且能夠以鑑別方法來判斷並剔除無用的語音變異模型，進而提昇語音辨識裝置或系統的整體語音辨識率。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何熟習此項技藝者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．語音辨識裝置
110．．．前處理模組
120．．．聲學模型比對模組
130．．．辨識結果解碼模組
140．．．聲學模型訓練模組
150．．．語音辭典資料庫
160．．．語法規則資料庫
X0．．．標準語音模型
X1．．．周邊語音模型
X2．．．周邊語音模型
X3．．．周邊語音模型
X4．．．周邊語音模型
X’．．．非標準語音語料
700．．．語音變異模型建立裝置
702．．．語音語料資料庫
706．．．語音變異驗證器
708．．．語音變異轉換計算器
710．．．語音變異模型產生器
712．．．語音變異模型鑑別器
722．．．標準語音模型
724．．．非標準語音語料
800．．．語音辨識系統
810．．．語音輸入裝置
700．．．語音變異模型建立裝置
820．．．語音辨識裝置
830．．．辨識結果可能性計算器
第1圖為語音辨識裝置示意圖；
第2圖為前處理模組所執行之步驟流程圖；
第3圖為聲學模型訓練模組所執行之步驟流程圖；
第4圖為依照本發明一實施例之語音變異模型建立方法的流程圖；
第5圖為步驟S406中驗證出語音變異的示意圖；
第6圖即依據本發明一實施例之語音辨識方法流程圖；
第7圖為依據本發明一實施例之語音變異模型建立裝置之方塊圖；
第8圖即依據本發明一實施例之語音辨識系統示意圖。
S402~S412．．．步驟
Claims (37)
- 一種語音變異模型建立裝置，包括：一語音語料資料庫，用以紀錄一語言之至少一標準語音模型以及該語言之複數個非標準語音語料；一語音變異驗證器，用以驗證出該等非標準語音語料與該至少一標準語音模型間之複數個語音變異；一語音變異轉換計算器，用以依據該等語音變異以及一語音變異轉換函式，產生該語音變異轉換函式所需之係數；以及一語音變異模型產生器，用以依據該語音變異轉換函式及其係數、以及該至少一標準語音模型，產生至少一語音變異模型。
- 如申請專利範圍第1項所述之裝置，其中該語言係分類為複數種語音特徵，且該至少一標準語音模型及該複數個非標準語音語料係分別對應該複數種語音特徵其中之一。
- 如申請專利範圍第2項所述之裝置，其中，該語音變異驗證器係驗證對應同一語音特徵之該等非標準語音語料與該標準語音模型間之該複數個語音變異；該語音變異轉換計算器係依據該語音特徵之語音變異及對應該語音特徵之語音變異轉換函式，產生該語音變異轉換函式所需之係數；以及，該語音變異模型產生器依據對應該語音特徵之語音變異轉換函式及其係數、以及該語音特徵之至少一標準語音模型，產生該至少一語音變異模型。
- 如申請專利範圍第1項所述之裝置，其中，該語音變異轉換計算器，更包括用以依據該等語音變異以及一語音變異轉換函式，產生複數組該語音變異轉換函式之係數。
- 如申請專利範圍第1項所述之裝置，更包括：一語音變異模型鑑別器，用以將所產生的該等語音變異模型中鑑別度低的語音變異模型予以剔除。
- 如申請專利範圍第5項所述之裝置，其中，該語音變異模型鑑別器係依據當該等所產生語音變異模型其中之一，與其他語音變異模型之間的混淆程度為高時，判斷該語音變異模型之鑑別性為低。
- 如申請專利範圍第5項所述之裝置，其中，該語音變異模型鑑別器係依據提供該複數非標準語音語料、且使用該等所產生語音變異模型以進行語音辨識，當其中一語音變異模型之辨識結果的錯誤率為高時，判斷該語音變異模型之鑑別性為低。
- 如申請專利範圍第5項所述之裝置，其中，該語音變異模型鑑別器係依據其所產生複數個語音變異模型在機率空間中分佈之距離，當其中一語音變異模型與其他語音變異模型之距離為小時，判斷該語音變異模型之鑑別性為低。
- 如申請專利範圍第5項所述之裝置，其中，該語音變異模型鑑別器係依據對應該語言之複數聲學模型和所產生語音變異模型中最靠近模型之間的關係，驗證該最靠近語音變異模型之鑑別性是否為低。
- 如申請專利範圍第2項所述之裝置，其中該語音變異驗證器係經由計算該等非標準語音語料與該標準語音模型在其對應語音特徵之參數上之一差距，而驗證出該等非標準語音語料與該標準語音模型間之該等語音變異。
- 如申請專利範圍第10項所述之裝置，其中該語音特徵參數係為一梅爾倒頻譜參數、一歐氏距離或一馬氏距離。
- 如申請專利範圍第1項所述之裝置，其中該語音語料資料庫更記錄了該語言之複數個周邊語音模型，而該語音變異驗證器更包括用以驗證出該等非標準語音語料分別與該標準語音模型、該等周邊語音模型間之複數個語音變異。
- 如申請專利範圍第12項所述之裝置，其中該語言係分類為複數種語音特徵，且該至少一標準語音模型及該複數個非標準語音語料係分別對應該複數種語音特徵其中之一；以及，該語音變異驗證器更包括用以計算該等非標準語音語料與該標準語音模型及該等周邊語音模型在其對應語音特徵之參數上之一差距，而驗證出該等非標準語音語料分別與該標準語音模型間、該等周邊語音模型間之複數個語音變異。
- 如申請專利範圍第1項所述之裝置，其中該語音變異轉換計算器係使用一EM演算法而產生該語音變異轉換函式所需之係數。
- 如申請專利範圍第1項所述之裝置，其中該語音語料資料庫更紀錄了複數個語言其個別之至少一標準語音模型及其對應之複數個非標準語音語料；該語音變異驗證器更包含用以分別驗證出各語言之複數個語音變異；語音變異轉換計算器更包含分別為各語言產生對應的語音變異轉換函式所需之係數；以及該語音變異模型產生器更包含用以分別為該複數個語言分別產生對應之複數個語音變異模型。
- 一種語音辨識系統，包括：一語音輸入裝置，用以輸入一語音；一種如申請專利範圍第1項所述之語音變異模型建立裝置；以及一語音辨識裝置，用以依據該至少一標準語音模型及該語音變異模型建立裝置所產生之至少一語音變異模型，對該語音進行辨識。
- 如申請專利範圍第16項所述之語音辨識系統，更包括：一辨識結果可能性計算器，用以計算各語音變異模型下對該語音進行辨識而產生之各辨識結果的可能性機率值。
- 如申請專利範圍第16項所述之語音辨識系統，其中該語音變異模型建立裝置之語音語料資料庫更紀錄了複數個語言，而該語音變異模型建立裝置之語音變異模型產生器更用以分別為該複數個語言分別產生對應之複數個語音變異模型；以及，該語音辨識裝置更用以依據該複數種語言之至少一標準語音模型及其所建立之至少一語音變異模型，對該語音進行多語言之語音辨識。
- 一種語音變異模型建立方法，包括以下步驟：提供一語言之至少一標準語音模型以及該語言之複數個非標準語音語料；驗證出該等非標準語音語料與該至少一標準語音模型間之複數個語音變異；依據該等語音變異以及一語音變異轉換函式，產生該語音變異轉換函式所需之係數；以及依據該語音變異轉換函式及其係數、以及該至少一標準語音模型，產生至少一語音變異模型。
- 如申請專利範圍第19項所述之方法，其中該語言係分類為複數種語音特徵，且該至少一標準語音模型及該複數個非標準語音語料係分別對應該複數種語音特徵其中之一。
- 如申請專利範圍第20項所述之方法，其中該方法步驟中，係驗證對應同一語音特徵之該等非標準語音語料與該標準語音模型間之複數個語音變異；依據該語音特徵之語音變異及對應該語音發音特徵之語音變異轉換函式，產生該語音變異轉換函式所需之係數；以及，依據對應該語音特徵之語音變異轉換函式及其係數、以及該語音特徵之至少一標準語音模型，產生至少一語音變異模型。
- 如申請專利範圍第19項所述之方法，其中該方法更包括依據該等語音變異以及一語音變異轉換函式，產生複數組該語音變異轉換函式之係數。
- 如申請專利範圍第19項所述之方法，其中該方法更包括：將所產生的該等語音變異模型中鑑別度低的語音變異模型予以剔除。
- 如申請專利範圍第23項所述之方法，其中該方法更包括：依據當該等所產生語音變異模型其中之一，與其他語音變異模型之間的混淆程度為高時，判斷該語音變異模型之鑑別性為低。
- 如申請專利範圍第23項所述之方法，其中該方法更包括：依據提供該複數非標準語音語料、且使用該等所產生語音變異模型以進行語音辨識，當其中一語音變異模型之辨識結果的錯誤率為高時，判斷該語音變異模型之鑑別性為低。
- 如申請專利範圍第23項所述之方法，其中該方法更包括：依據其所產生複數個語音變異模型在機率空間中分佈之距離，當其中一語音變異模型與其他語音變異模型之距離為小時，判斷該語音變異模型之鑑別性為低。
- 如申請專利範圍第23項所述之方法，其中該方法更包括：依據對應該語言之複數聲學模型和所產生語音變異模型中最靠近模型之間的關係，驗證該最靠近語音變異模型之鑑別性是否為低。
- 如申請專利範圍第20項所述之方法，其中該方法係經由計算該等非標準語音語料與該標準語音模型在其對應語音特徵之參數上之一差距，而驗證出該等非標準語音語料與該標準語音模型間之該等語音變異。
- 如申請專利範圍第28項所述之方法，其中該語音特徵參數係為一梅爾倒頻譜參數、一歐氏距離或一馬氏距離。
- 如申請專利範圍第19項所述之方法，其中該方法更包括：提供該語言之複數個周邊語音模型，且驗證出該等非標準語音語料分別與該標準語音模型、該等周邊語音模型間之複數個語音變異。
- 如申請專利範圍第30項所述之方法，其中該語言係分類為複數種語音特徵，且該至少一標準語音模型及該複數個非標準語音語料係分別對應該複數種語音特徵其中之一；且該方法更包括：計算該等非標準語音語料與該標準語音模型及該等周邊語音模型在其對應語音特徵之參數上之一差距，而驗證出該等非標準語音語料分別與該標準語音模型間、該等周邊語音模型間之複數個語音變異。
- 如申請專利範圍第19項所述之方法，其中該方法係使用一EM演算法以產生該語音變異轉換函式所需之係數。
- 如申請專利範圍第19項所述之方法，其中該方法更包括：提供複數個語言其個別之至少一標準語音模型及其對應之複數個非標準語音語料；分別驗證出各語言之複數個語音變異；分別為各語言產生對應的語音變異轉換函式所需之係數；以及，分別為該複數個語言分別產生對應之複數個語音變異模型。
- 一種語音辨識方法，包括：經由一語音輸入器輸入一語音；經由如申請專利範圍第19項所述之方法產生至少一語音變異模型；以及依據該至少一標準語音模型及所產生之至少一語音變異模型，對該語音進行辨識。
- 如申請專利範圍第34項所述之語音辨識方法，更包括：計算各語音變異模型下對該語音進行辨識而產生之各辨識結果的可能性機率值。
- 如申請專利範圍第34項所述之語音辨識方法，其中該方法更包括：提供複數個語言，分別為該複數個語言分別產生對應之複數個語音變異模型；以及，依據該複數種語言之至少一標準語音模型及其所建立之至少一語音變異模型，對該語音進行多語言之語音辨識。
- 一種電腦程式產品，係儲存於一電子設備，該電子設備讀取該電腦程式產品時執行一語音變異模型建立方法，其包括：提供一語言之至少一標準語音模型以及該語言之複數個非標準語音語料；驗證出該等非標準語音語料與該至少一標準語音模型間之複數個語音變異；依據該等語音變異以及一語音變異轉換函式，產生該語音變異轉換函式所需之係數；以及依據該語音變異轉換函式及其係數、以及該至少一標準語音模型，產生至少一語音變異模型。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW098138964A TWI391915B (zh) | 2009-11-17 | 2009-11-17 | 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法 |
| US12/637,990 US8478591B2 (en) | 2009-11-17 | 2009-12-15 | Phonetic variation model building apparatus and method and phonetic recognition system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW098138964A TWI391915B (zh) | 2009-11-17 | 2009-11-17 | 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201118854A TW201118854A (en) | 2011-06-01 |
| TWI391915B true TWI391915B (zh) | 2013-04-01 |
Family
ID=44011978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW098138964A TWI391915B (zh) | 2009-11-17 | 2009-11-17 | 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8478591B2 (zh) |
| TW (1) | TWI391915B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI697890B (zh) * | 2018-10-12 | 2020-07-01 | 廣達電腦股份有限公司 | 語音校正系統及語音校正方法 |
| TWI746138B (zh) * | 2020-08-31 | 2021-11-11 | 國立中正大學 | 構音異常語音澄析裝置及其方法 |
Families Citing this family (186)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9275635B1 (en) * | 2012-03-08 | 2016-03-01 | Google Inc. | Recognizing different versions of a language |
| US9390085B2 (en) * | 2012-03-23 | 2016-07-12 | Tata Consultancy Sevices Limited | Speech processing system and method for recognizing speech samples from a speaker with an oriyan accent when speaking english |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) * | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9966064B2 (en) * | 2012-07-18 | 2018-05-08 | International Business Machines Corporation | Dialect-specific acoustic language modeling and speech recognition |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| EP4138075A1 (en) | 2013-02-07 | 2023-02-22 | Apple Inc. | Voice trigger for a digital assistant |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| KR101759009B1 (ko) | 2013-03-15 | 2017-07-17 | 애플 인크. | 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것 |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| WO2014200728A1 (en) | 2013-06-09 | 2014-12-18 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| CN105265005B (zh) | 2013-06-13 | 2019-09-17 | 苹果公司 | 用于由语音命令发起的紧急呼叫的系统和方法 |
| JP6163266B2 (ja) | 2013-08-06 | 2017-07-12 | アップル インコーポレイテッド | リモート機器からの作動に基づくスマート応答の自動作動 |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9606986B2 (en) | 2014-09-29 | 2017-03-28 | Apple Inc. | Integrated word N-gram and class M-gram language models |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9552810B2 (en) | 2015-03-31 | 2017-01-24 | International Business Machines Corporation | Customizable and individualized speech recognition settings interface for users with language accents |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| US10446136B2 (en) * | 2017-05-11 | 2019-10-15 | Ants Technology (Hk) Limited | Accent invariant speech recognition |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
| US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| US10983983B2 (en) * | 2018-03-08 | 2021-04-20 | U.S. Bancorp, National Association | Entity resolution based on multiple attributes |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
| US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
| US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
| US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
| WO2022256026A1 (en) * | 2021-06-04 | 2022-12-08 | Google Llc | Systems and methods for generating phonetic spelling variations |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060224384A1 (en) * | 2005-03-31 | 2006-10-05 | International Business Machines Corporation | System and method for automatic speech recognition |
| CN101226743A (zh) * | 2007-12-05 | 2008-07-23 | 浙江大学 | 基于中性和情感声纹模型转换的说话人识别方法 |
| TW200926142A (en) * | 2007-12-12 | 2009-06-16 | Inst Information Industry | A construction method of English recognition variation pronunciation models |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7593849B2 (en) * | 2003-01-28 | 2009-09-22 | Avaya, Inc. | Normalization of speech accent |
| WO2006021623A1 (fr) * | 2004-07-22 | 2006-03-02 | France Telecom | Procede et systeme de reconnaissance vocale adaptes aux caracteristiques de locuteurs non-natifs |
| KR100815115B1 (ko) * | 2006-03-31 | 2008-03-20 | 광주과학기술원 | 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치 |
| CN101393740B (zh) * | 2008-10-31 | 2011-01-19 | 清华大学 | 一种计算机多方言背景的汉语普通话语音识别的建模方法 |
-
2009
- 2009-11-17 TW TW098138964A patent/TWI391915B/zh not_active IP Right Cessation
- 2009-12-15 US US12/637,990 patent/US8478591B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060224384A1 (en) * | 2005-03-31 | 2006-10-05 | International Business Machines Corporation | System and method for automatic speech recognition |
| CN101226743A (zh) * | 2007-12-05 | 2008-07-23 | 浙江大学 | 基于中性和情感声纹模型转换的说话人识别方法 |
| TW200926142A (en) * | 2007-12-12 | 2009-06-16 | Inst Information Industry | A construction method of English recognition variation pronunciation models |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI697890B (zh) * | 2018-10-12 | 2020-07-01 | 廣達電腦股份有限公司 | 語音校正系統及語音校正方法 |
| TWI746138B (zh) * | 2020-08-31 | 2021-11-11 | 國立中正大學 | 構音異常語音澄析裝置及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8478591B2 (en) | 2013-07-02 |
| US20110119051A1 (en) | 2011-05-19 |
| TW201118854A (en) | 2011-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI391915B (zh) | 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法 | |
| US9711139B2 (en) | Method for building language model, speech recognition method and electronic apparatus | |
| CN102074234B (zh) | 语音变异模型建立装置、方法及语音辨识系统和方法 | |
| US9613621B2 (en) | Speech recognition method and electronic apparatus | |
| WO2017114172A1 (zh) | 一种发音词典的构建方法及装置 | |
| Wang et al. | An acoustic measure for word prominence in spontaneous speech | |
| US20150112674A1 (en) | Method for building acoustic model, speech recognition method and electronic apparatus | |
| US20070219777A1 (en) | Identifying language origin of words | |
| WO2008033095A1 (en) | Apparatus and method for speech utterance verification | |
| Li et al. | Combining five acoustic level modeling methods for automatic speaker age and gender recognition. | |
| CN107886968B (zh) | 语音评测方法及系统 | |
| WO2022166218A1 (zh) | 一种语音识别中添加标点符号的方法及语音识别装置 | |
| CN108346426B (zh) | 语音识别装置以及语音识别方法 | |
| TW200926142A (en) | A construction method of English recognition variation pronunciation models | |
| Tong et al. | A target-oriented phonotactic front-end for spoken language recognition | |
| Marasek et al. | System for automatic transcription of sessions of the Polish senate | |
| Ilyas et al. | Speaker verification using vector quantization and hidden Markov model | |
| KR20160061071A (ko) | 발음 변이를 적용시킨 음성 인식 방법 | |
| Mandava et al. | An investigation of LSTM-CTC based joint acoustic model for Indian language identification | |
| Barman et al. | State of the art review of speech recognition using genetic algorithm | |
| Tripathi et al. | Multilingual and multimode phone recognition system for Indian languages | |
| JP2000250593A (ja) | 話者認識装置及び方法 | |
| Pan et al. | Improvements in tone pronunciation scoring for strongly accented mandarin speech | |
| Pranjol et al. | Bengali speech recognition: An overview | |
| CN112997247A (zh) | 利用大数据的最佳语言模型生成方法及用于其的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |