TWI732390B

TWI732390B - 語音貼圖產生方法與裝置

Info

Publication number: TWI732390B
Application number: TW108146779A
Authority: TW
Inventors: 黃顯詔; 丁羿慈; 陳譽云; 楊崇文
Original assignee: 宏正自動科技股份有限公司
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2021-07-01
Also published as: TW202125214A

Abstract

一種語音貼圖產生方法與裝置，係經由文字轉語音模型將一段文字轉換成一語音，並將語音與一貼圖整合成一語音貼圖。

Description

語音貼圖產生方法與裝置

本發明是有關於一種貼圖產生技術，尤指一種語音貼圖產生方法與裝置。

現有通訊軟體（如Line、WeChat等）上為了讓溝通過程中能增加趣味，進而提供使用者使用語音貼圖。目前語音貼圖均需要使用者從通訊軟體的商城中選購上架的語音貼圖商品，且此些語音貼圖商品的圖片和對應的語音均是固定的，並沒有使用上的彈性。

有鑑於此，本發明實施例提出一種語音貼圖產生方法與裝置。

在一實施例中，語音貼圖產生方法包括：取得一段文字；經由一文字轉語音模型將該段文字轉換成一語音；取得一貼圖；以及整合該語音及該貼圖。

在一實施例中，語音貼圖產生裝置包括文字輸入模組、文字轉語音模組及貼圖整合模組。文字輸入模組供取得一段文字。文字轉語音模組載有一文字轉語音模型，以將該段文字轉換成一語音。貼圖整合模組將一貼圖與該語音整合為一語音貼圖。

綜上所述，根據本發明的實施例，可以機器合成由使用者指定的人員發出的語音，並與使用者指定的貼圖相結合而形成語音貼圖，且語音內容亦可由使用者編寫。

參照圖1，係為本發明一實施例之語音貼圖產生裝置100之硬體架構示意圖。語音貼圖產生裝置100為一個或多個具有運算能力的電腦系統（在此以一處理裝置120為例），例如個人電腦、筆記型電腦、智慧型手機、平板電腦、伺服器叢集等。語音貼圖產生裝置100能夠產生語音貼圖，使得使用者可以使用該語音貼圖，例如：在通訊軟體中發送給對話者。

語音貼圖產生裝置100之處理裝置120的硬體具有處理器121、記憶體122、非暫態電腦可讀取記錄媒體123、周邊介面124、及供上述元件彼此通訊的匯流排125。匯流排125包括但不限於系統匯流排、記憶體匯流排、周邊匯流排等一種或多種之組合。處理器121包括但不限於中央處理單元（CPU）1213和神經網路處理器（NPU）1215。記憶體122包括但不限於揮發性記憶體（如隨機存取記憶體（RAM））1224和非揮發性記憶體（如唯讀記憶體（ROM））1226。非暫態電腦可讀取記錄媒體123可例如為硬碟、固態硬碟等，供儲存包括複數指令的電腦程式產品（後稱「軟體」），致使電腦系統的處理器121執行該些指令時，使得電腦系統執行語音貼圖產生方法。

周邊介面124供連接收音裝置110和輸入裝置130。收音裝置110用以擷取使用者的語音，其包括單一麥克風或多個麥克風（如麥克風陣列）。麥克風可以採用如動圈式麥克風、電容式麥克風、微機電麥克風等類型。輸入裝置130供使用者輸入文字，例如鍵盤、觸控板（配合手寫辨識軟體）、手寫板、滑鼠（配合虛擬鍵盤）等。

在一些實施例中，收音裝置110、處理裝置120及輸入裝置130中的任二者可以是以單一個體形式實現。例如，收音裝置110和處理裝置120為平板電腦之單一裝置實現，而連接一外接形式的輸入裝置130（如鍵盤）。或如，收音裝置110、處理裝置120及輸入裝置130為筆記型電腦之單一裝置實現。

在一些實施例中，收音裝置110、處理裝置120及輸入裝置130可以是分別獨立的個體。例如，處理裝置120為一個人電腦，分別連接外接形式的收音裝置110及輸入裝置130。

在一些實施例中，處理裝置120包括二個以上的電腦系統，例如：一個人電腦及一伺服器。伺服器執行語音貼圖產生處理。個人電腦內建或外接收音裝置110及輸入裝置130，以將使用者語音與輸入文字經由網路傳送給伺服器，並經由網路接收伺服器回傳的語音貼圖。

參照圖2，係為本發明一實施例之語音貼圖產生裝置100之軟體架構示意圖。如圖2所示，語音貼圖產生裝置100之軟體包括：錄音模組210、語料庫220、模型訓練模組230、權重資料庫240、文字輸入模組250、貼圖庫260、文字轉語音模組270及貼圖整合模組280。其中，錄音模組210、語料庫220、模型訓練模組230及權重資料庫240是關於文字轉語音神經網路模型（後稱「文字轉語音模型」）之訓練；文字輸入模組250、貼圖庫260、文字轉語音模組270及貼圖整合模組280是使用經訓練的權重資料庫240來產生語音貼圖。

首先，說明訓練的部分。錄音模組210與語料庫220是用來提供一個人員或多個人員的語料，所述語料是指語音資料，即該人員講話的語音檔。例如，使用者可使用錄音模組210將收音裝置110收取的自己的語音錄製成語料。語料庫220儲存預先錄製好的一個人員或多個人員的語料。在一些實施例中，語料庫220還儲存對應於各該語料的內容的文字。所述人員可以是使用者本身、或其親朋好友、公眾人物等。

模型訓練模組230將屬於一人員的多個語料及相應的文字輸入至文字轉語音模型中，以取得對應此人員的模型權重。此模型權重將被儲存在權重資料庫中240，供文字轉語音模組270調用。在此，文字轉語音模型是序列對序列（Sequence to Sequence）模型。

在一些實施例中，模型訓練模組230可對於待輸入的語料進行預處理，例如濾波、調整音量、時域頻域轉換、動態壓縮、去噪音、去雜訊、使音訊格式一致等。相應於語料的文字可儲存在語料庫220中，或是經由輸入裝置130輸入。

在一些實施例中，可以僅使用錄音模組210配合收音裝置110來取得使用者的語料，因此可不具有語料庫220。在另一些實施例中，可僅使用語料庫220中儲存的語料，而可不具有錄音模組210和收音裝置110。

接下來，說明如何產生語音貼圖。合併參照圖2及圖3，圖3為本發明一實施例之語音貼圖產生方法之流程圖。在步驟S301中，使用者經由操作輸入裝置130進行文字輸入，於此文字輸入模組250會顯示輸入畫面（例如提供一輸入欄位），接著文字輸入模組250會取得使用者在輸入畫面中輸入的一段文字。在步驟S302中，於文字轉語音模組270載入文字轉語音模型後，並將該段文字自文字轉語音模組270的輸入端輸入至文字轉語音模型中。接著，文字轉語音模組270從文字轉語音模型的輸出取得經轉換而成的語音。在步驟S303中，貼圖整合模組280從貼圖庫260中取得一貼圖。此貼圖可以是靜態圖片，也可以是動態圖片（如APNG檔案）。在步驟S304中，貼圖整合模組280將語音和貼圖整合為語音貼圖。

在一些實施例中，所述整合是將語音和貼圖整合成為單一檔案的語音貼圖，例如為影片格式。在另一些實施例中，語音跟貼圖各別是單獨的檔案，例如語音是音訊檔，貼圖是圖檔，所述整合是將語音跟貼圖相關聯，使得在播放語音貼圖的時候能夠將相對應的語音和貼圖同步播放。

在一些實施例中，取得貼圖的方式可以是由貼圖整合模組280提供一選擇畫面（例如提供貼圖選單），使用者藉由操作輸入裝置130來選擇貼圖庫中的貼圖。從而，貼圖整合模組280接收使用者的貼圖選擇，並依據此貼圖選擇從貼圖庫中取出相應的貼圖。

在一些實施例中，文字轉語音模組270提供另一選擇畫面（例如提供人員選單），供使用者操作輸入裝置130來選擇欲以哪一人員的聲音合成語音。從而，文字轉語音模組270接收對應於一人員的聲音選擇，並依據此聲音選擇從權重資料庫240中取出對應的該人員的模型權重。據此，文字轉語音模組270將取出的模型權重套用至文字轉語音模型中，於是可形成如同該人員說出該段文字的語音。

接下來說明文字轉語音模型。參照圖4，係為本發明一實施例之文字轉語音模型之架構示意圖。文字轉語音模型包括編碼器410、注意力機制（Attention）420、解碼器430、後網路（PostNet）440和聲碼器（Vocoder）450。

編碼器410包括文字編碼器（TextEncoder）411和音訊編碼器（AudioEncoder）412。分別參照圖5及圖6，圖5為本發明一實施例之文字編碼器411之架構示意圖，圖6為本發明一實施例之音訊編碼器412之架構示意圖。於一實施例中，文字編碼器411包括一字符嵌入（Character Embedding）層4111、一非因果卷積（Non-causal Convolution）層4112及四個高速公路卷積（Highway Convolution）層4113。於一實施例中，音訊編碼器412包括三個因果卷積（Causal Convolution）層4121和四個高速公路卷積層4122。然而，本發明實施例之文字編碼器411和音訊編碼器412並非以上述實施例之組成為限。

參照圖7，係為本發明一實施例之解碼器430（或稱音訊解碼器（AudioDecoder））之架構示意圖。於一實施例中，解碼器430包括一第一因果卷積層431、四個高速公路卷積層432、二個第二因果卷積層433及一邏輯斯諦函數（Sigmoid）層434。本發明實施例之解碼器430並非以上述組成為限。

於一實施例中，注意力機制420給定一查找（query）和一鍵值（key-value）表，將查找映設到正確輸入的過程，輸出則為加權求和的形式，權重由查找、鍵、值共同決定。參照式1，文字編碼器411的輸出為鍵值。其中，L為輸入的文字，K為鍵，V為值。參照式2，音訊編碼器412的輸出為查找（Q）。其中M _1:F,1:T為輸入的訓練語料音訊的梅爾倒頻，其為 F*T之二維的資訊。F為梅爾濾波器組的數量，T為音訊時間幀（frame）數。文字與語音的匹配程度為𝑄,𝐾 ^𝑇./√𝑑，經過SoftMax函數歸一化處理之後即是注意力權重（Attention），如式3所示。其中，d為維度，𝐾 ^𝑇為K的轉移矩陣，A為注意力權重值。將值與注意力權重內積（如式4所示）後輸入到音訊解碼器430即獲得語音特徵向量，如式5所示。其中，Y _1:F,2:T+1為語音特徵向量，F為梅爾濾波器組的數量，T為音訊時間幀數，R'為注意力機制之輸出。 (K, V) = TextEncoder (L) （式1） Q = AudioEncoder (M _1:F,1:T) （式2） A = SoftMax (QK ^T/ √d) （式3） R = V*A （式4） Y _{1:F, 2:T+1}= AudioDec (R') （式5）

上述注意力機制420並非以前述實施例為限，於另外一實施例中，注意力機制420給定一查找（query）和一鍵值（key-value）表，將查找映設到正確輸入的過程，輸出則為加權求和的形式，權重由查找、鍵、值共同決定。參照式6，文字編碼器（TextEncoder）411的輸出為複數個鍵值。其中，L為輸入的文字， K =[K ₁, ..., K _n]為 n 個鍵， V =[V ₁, ..., V _n]為相對應的 n 個值。參照式7，音訊編碼器412的輸出為 n 個查找（ Q =[Q ₁, ..., Q _n]）。其中M _1:F,1:T為輸入的訓練語料音訊的梅爾倒頻，其為 F*T 之二維的資訊。F 為梅爾濾波器組的數量，T 為音訊時間幀（frame）數。對於第 i 組鍵值與查找配對，文字與語音的匹配程度為 Q _iK _i ^T/ √d。經過SoftMax函數歸一化處理之後即是第 i 組之注意力權重（Attention），如式8所示。其中，d為維度，K _i ^T為K _i的轉移矩陣，A _i為第 i 組注意力權重值。將每一組的值與注意力權重值內積（如式9所示）後並相加 ( Concatenate )，輸入到音訊解碼器430即獲得語音特徵向量，如式10所示。其中，Y _1:F,2:T+1為語音特徵向量，F 為梅爾濾波器組的數量，T 為音訊時間幀數，R 為注意力機制之輸出。 (K, V) = TextEncoder (L) （式6）其中 K 與 V 為各 n 個鍵與值，n 的數目可以為 10、20，但不以此為限。 Q = AudioEncoder (M _1:F,1:T) （式7）其中 Q 為 n 個查找，n 的數目可以為 10、20，但不以此為限。 A _i= SoftMax (Q _iK _i ^T/ √d) （式8）其中 A _i為利用式 6 的 n 個鍵中的第 i 個鍵，與式 7 的 n 個查找中的第 i 個查找計算而來的。A _i的數目跟 K、V、Q 一樣共有 n 個。 R = Concatenate(V _i*A _i) （式9）其中 A _i為式 8 中的 n 個 A _i中的第i個，V _i為式6 中的 n 個值中的第i個。把每一對的 A _i及 V _i做矩陣乘法後相加（ Concatenate）起來，即得到最後的 R。 Y _{1:F, 2:T+1}= AudioDec (R) （式10）

後網路（PostNet）440是對語音特徵向量進行優化處理，換句話說，後網路440是將經過解碼器430輸出的語音特徵向量進行優化，能藉此減少輸出音訊之雜音、爆音，以提高輸出音訊之品質。

聲碼器（Vocoder）450將語音特徵向量轉換為語音輸出。聲碼器450可利用開源軟體「World」或「Straight」來實現，但本發明實施例非以此為限。

在一些實施例中，文字在輸入至文字轉語音模型之前，可先經過預處理，例如：對於中文字轉換成相應於注音符號的編碼字串，對於一段文字進行分詞處理（如透過jieba軟體或中研院 CKIP 中文斷詞系統），對於破音字可透過查表方式找出正確的聲調，或者因應三聲變調規則進行調整。

語音貼圖產生裝置100 處理器121 中央處理單元1213 神經網路處理器1215 記憶體122 揮發性記憶體1224 非揮發性記憶體1226 非暫態電腦可讀取記錄媒體123 周邊介面124 匯流排125 收音裝置110 輸入裝置130 錄音模組210 語料庫220 模型訓練模組230 權重資料庫240 文字輸入模組250 貼圖庫260 文字轉語音模組270 貼圖整合模組280 步驟S301、S302、S303、S304 編碼器410 文字編碼器411 字符嵌入層4111 非因果卷積層4112 高速公路卷積層4113 音訊編碼器412 因果卷積層4121 高速公路卷積層4122 注意力機制420 解碼器430 第一因果卷積層431 高速公路卷積層432 第二因果卷積層433 邏輯斯諦函數層434 後網路440 聲碼器450

[圖1]為本發明一實施例之語音貼圖產生裝置之硬體架構示意圖。 [圖2]為本發明一實施例之語音貼圖產生裝置之軟體架構示意圖。 [圖3]為本發明一實施例之語音貼圖產生方法之流程圖。 [圖4]為本發明一實施例之文字轉語音模型之架構示意圖。 [圖5]為本發明一實施例之文字編碼器之架構示意圖。 [圖6]為本發明一實施例之音訊編碼器之架構示意圖。 [圖7]為本發明一實施例之解碼器之架構示意圖。

錄音模組210 語料庫220 模型訓練模組230 權重資料庫240 文字輸入模組250 貼圖庫260 文字轉語音模組270 貼圖整合模組280

Claims

一種語音貼圖產生方法，包括：取得一段文字；接收響應於一人員選單操作的一聲音選擇，該聲音選擇對應於一人員；依據該聲音選擇自一權重資料庫中取出對應於該人員的一模型權重；套用該模型權重至該文字轉語音模型中；經由一文字轉語音模型將該段文字轉換成如同該人員說出該段文字的一語音；取得一貼圖；以及整合該語音及該貼圖。
如請求項1所述之語音貼圖產生方法，更包括：接收對應一人員的一訓練語料及相應的一訓練文字；輸入該訓練語料及該訓練文字至該文字轉語音模型以獲得對應該人員的一模型權重；以及儲存該模型權重至該權重資料庫中；其中該文字轉語音模型包括依序連接的一編碼器、一注意力機制及一解碼器，該編碼器包括一文字編碼器及一音訊編碼器，該文字編碼器將該訓練文字轉換為鍵、值輸出，該音訊編碼器依據該訓練語料轉換為查找輸出，該模型權重由該查找及該鍵、該值共同決定。
如請求項1所述之語音貼圖產生方法，其中該文字轉語音模型包括依序連接的一編碼器、一注意力機制、一解碼器、一後網路及一聲碼器，該文字轉語音模型包括一編碼器、一解碼器、一後網路及一聲碼器，該編碼器包括一文字編碼器及一音訊編碼器，該文字編碼器將該段文字轉換為鍵、值輸出，該解碼器依據該模型權重及該值獲得語音特徵向量，該後網路用以優化該語音特徵向量，該聲碼器將經優化的該語音特徵向量轉換為該語音。
如請求項1所述之語音貼圖產生方法，其中該取得一貼圖，是接收一貼圖選擇，依據該貼圖選擇從一貼圖庫中取出該貼圖。
一種語音貼圖產生裝置，包括：一權重資料庫；一文字輸入模組，取得一段文字；一文字轉語音模組，接收響應於一人員選單操作的一聲音選擇，該聲音選擇係對應於一人員，以依據該聲音選擇自該權重資料庫中取出對應於該人員的一模型權重，該文字轉語音模組還載有一文字轉語音模型，並套用該模型權重至該文字轉語音模型中，以將該段文字轉換成如同該人員說出該段文字的一語音；以及一貼圖整合模組，將一貼圖與該語音整合為一語音貼圖。
如請求項5所述之語音貼圖產生裝置，更包括一模型訓練模組，接收對應一人員的一訓練語料及相應的一訓練文字，並輸入該訓練語料及該訓練文字至該文字轉語音模型以獲得對應該人員的一模型權重，而儲存該模型權重至該權重資料庫中，其中該文字轉語音模型包括依序連接的一編碼器、一注意力機制及一解碼器，該編碼器包括一文字編碼器及一音訊編碼器，該文字編碼器將該訓練文字轉換為鍵、值輸出，該音訊編碼器依據該訓練語料轉換為查找輸出，該模型權重由該查找及該鍵、該值共同決定。
如請求項5所述之語音貼圖產生裝置，其中該文字轉語音模型包括依序連接的一編碼器、一注意力機制、一解碼器、一後網路及一聲碼器，該文字轉語音模型包括一編碼器、一解碼器、一後網路及一聲碼器，該編碼器包括一文字編碼器及一音訊編碼器，該文字編碼器將該段文字轉換為鍵、值輸出，該解碼器依據該模型權重及該值獲得語音特徵向量，該後網路用以優化該語音特徵向量，該聲碼器將經優化的該語音特徵向量轉換為該語音。
如請求項5所述之語音貼圖產生裝置，更包括一貼圖庫，該貼圖整合模組接收一貼圖選擇，依據該貼圖選擇從該貼圖庫中取出該貼圖。