TWM680693U - 語音轉錄系統 - Google Patents

Abstract

一種語音轉錄系統，包含一電連接一通訊單元及一儲存單元的處理單元。該儲存單元包含一第一暫存區。該第一暫存區儲存對應一識別碼的一音訊檔案。當該處理單元接收到來自一使用端裝置之包含該識別碼的一語音轉文字指令時，從該第一暫存區中讀取與該識別碼對應的該音訊檔案，並使一語者分離模組對該音訊檔案進行語者分離而產生多個語音訊息，且使一語音轉文字模組將該等語音訊息轉換成多個文字內容，並使一大型語言模型對該等文字內容進行校正，且輸出多個校正後文字內容，並彙整該等校正後文字內容而產生一文字檔案。

Description

語音轉錄系統

本新型是有關於一種語音轉錄系統，特別是指一種提升文字準確性及可讀性的語音轉錄系統。

現有技術中，語音轉錄技術多用於將語音內容轉換為文字，以利於後續的資料儲存及應用。然而，若將會議記錄或客服通話等長時間的錄音檔一次輸入語音轉錄系統時，容易造成系統負擔過大，導致系統阻塞或資源爭用，進而產生系統延遲，甚至可能造成語音片段的遺失或錯位。此外，錄音檔中常存在環境噪音或語者音量不一致等情況，因而降低轉錄系統的轉錄效率及準確性。

此外，轉錄後的文字仍可能存在一些問題，例如：專業術語拼寫錯誤、缺少標點符號、語者口齒不清導致轉錄結果出現偏差。若未經校正，將直接影響文字的可讀性降低，而若以人工處理文字校正，不但需耗費大量作業人力及時間，且容易因人工操作導致作業疏失。

因此，本新型的目的，即在提供一種語音轉錄系統，能夠藉由語音分段技術，兼容各式語音轉錄模型及大型語言模型，而分散系統需要集中處理錄音檔的負擔，避免系統延遲，進而提升語音轉錄效率及轉錄文字的準確性與可讀性。

於是，本新型語音轉錄系統，其能與一使用端裝置通訊，並包含一通訊單元、一儲存單元及一處理單元。

該通訊單元，其能與該使用端裝置建立通訊管道。

該儲存單元，其包含一第一暫存區。該第一暫存區儲存對應一識別碼的一音訊檔案。

該處理單元，其電連接該通訊單元及該儲存單元，以藉由該通訊單元與該使用端裝置通訊，並包括一語者分離模組、一語音轉文字模組及一大型語言模型。

其中，當該處理單元接收到來自該使用端裝置之包含該識別碼的一語音轉文字指令時，該處理單元從該第一暫存區中讀取與該識別碼對應的該音訊檔案，並執行該語者分離模組，使該語者分離模組對該音訊檔案進行語者分離而產生分別對應多個語者的多個語音訊息。

該處理單元執行該語音轉文字模組，使該語音轉文字模組將該等語音訊息轉換成相對應的多個文字內容。

該處理單元將該等文字內容輸入該大型語言模型，使該大型語言模型對該等文字內容進行文法及語法校正，並輸出相對應的多個校正後文字內容。

該處理單元彙整該等校正後文字內容而產生對應該音訊檔案的一文字檔案，且將該文字檔案傳送至該使用端裝置。

在一些實施態樣中，其中，該語者分離模組對該音訊檔案進行語者分離時，還對每一該語音訊息標記一時間戳記。且該處理單元根據該等語音訊息的該時間戳記按照時序排序該等校正後文字內容而產生該文字檔案。

在一些實施態樣中，其中，該處理單元根據該等語音訊息對應的該等語者，將該等校正後文字內容分別彙整至與其對應的各該語者。

在一些實施態樣中，其中，當該處理單元接收到來自該使用端裝置的一錄音檔時，該處理單元產生唯一的該識別碼，並對該錄音檔執行優化處理而得到該音訊檔案，且將該識別碼及該音訊檔案儲存至該第一暫存區，使該音訊檔案對應於該識別碼，並將該識別碼傳送至該使用端裝置。

在一些實施態樣中，其中，該處理單元將該錄音檔轉換成張量結構，且對張量結構的該錄音檔執行音訊正規化及移除靜音片段處理，並藉由一降噪演算法對張量結構的該錄音檔進行噪音衰減而得到該音訊檔案。

在一些實施態樣中，其中，該儲存單元還包含一第二暫存區。當該處理單元判斷該第一暫存區的儲存空間不足時，該處理單元將該識別碼及該音訊檔案儲存至該第二暫存區。

在一些實施態樣中，其中，當該處理單元未從該第一暫存區讀取到對應該識別碼的該音訊檔案時，該處理單元改從該第二暫存區讀取對應該識別碼的該音訊檔案。

在一些實施態樣中，其中，當該處理單元接收到來自該使用端裝置之包含該識別碼的一檔案刪除指令時，該處理單元刪除儲存在該第一暫存區或該第二暫存區且對應該識別碼的該音訊檔案。

在一些實施態樣中，其中，該處理單元還記錄該音訊檔案的一暫存時間。且當該處理單元判斷該音訊檔案的該暫存時間大於一時間閾值時，該處理單元刪除儲存在該第一暫存區或該第二暫存區的該音訊檔案。

在一些實施態樣中，其中，當該處理單元刪除儲存在該第一暫存區的該音訊檔案後，該處理單元將儲存在該第二暫存區的該音訊檔案移動至該第一暫存區儲存。

在一些實施態樣中，其中，該語音轉錄系統是一電腦裝置。該第一暫存區是該電腦裝置之主機板上的記憶體。該第二暫存區是該電腦裝置的硬碟。

在一些實施態樣中，其中，該語音轉文字模組以平行運算方式將該等語音訊息轉換成該等文字內容。

在一些實施態樣中，其中，該第一暫存區包含一以環形佇列資料結構實現的標記暫存區及一文字暫存區。且該語者分離模組對該音訊檔案進行語者分離而產生該等語音訊息，並將該等語音訊息儲存至該標記暫存區，該語音轉文字模組從該標記暫存區讀取該等語音訊息並將該等語音訊息轉換成相對應的該等文字內容，並將該等文字內容儲存至該文字暫存區；且該處理單元從該文字暫存區讀取該等文字內容並將該等文字內容輸入該大型語言模型，且將該大型語言模型輸出的該等校正後文字內容儲存於該文字暫存區後，才彙整該等校正後文字內容。

在一些實施態樣中，其中，該大型語言模型已預先經由該處理單元使用多個與文法校正、專有名詞修正、錯別字修正、添加標點符號、識別敏感資訊及摘要生成相關的提示詞進行訓練。

本新型的功效在於：當該處理單元接收到來自該使用端裝置包含該識別碼的該語音轉文字指令時，該處理單元從該儲存單元中讀取與該識別碼對應的該音訊檔案，並使該語者分離模組將該音訊檔案分段成該等語音訊息，以便有效地管理儲存該等語音訊息的該標記暫存區，確保該等語音訊息能夠兼容並順暢地輸入各式語音轉錄模型，避免該語音轉文字模組一次大量載入該等語音訊息導致語音轉錄過程產生延遲，且能夠兼容各式的大型語言模型來對該等文字訊息進行文法及語法的校正，進而提升該等校正後文字訊息的準確性與可讀性，並減少人工校正耗費大量作業人力及時間的問題，提升校正人員的作業效率。

在本新型被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，是本新型語音轉錄系統100的一實施例，其能與一使用端裝置400通訊，並包含一通訊單元1、一儲存單元2及一處理單元3。在本實施例中，該語音轉錄系統100例如是一金融機構所架設的一電腦裝置；該使用端裝置400例如但不限於是一智慧手機、一平板電腦、一筆記型電腦或一個人電腦，並能接收一使用者的指令。該使用端裝置400是以一個示例，但實施上不以特定數量和特定類型之裝置為限。

該通訊單元1例如但不限於是一支援有線或無線網路技術的網路卡、網路控制器、或其他網路設備，並用於提供連網功能，而能與該使用端裝置400建立通訊管道。

該儲存單元2例如但不限於是電腦可讀取記錄媒體，其包含一第一暫存區21及一第二暫存區22。該第一暫存區21儲存對應一識別碼的一音訊檔案。該音訊檔案代表儲存於該第一暫存區21中的複數個音訊檔案其中之一。該第一暫存區21還包含一以環形佇列(Queue)資料結構實現的標記暫存區211及一文字暫存區212。在本實施例中，該第一暫存區21是以該電腦裝置之主機板上的記憶體為例。該第二暫存區22是以該電腦裝置的硬碟為例，但不以此為限。

該處理單元3例如但不限於是中央處理器、微處理器或單晶片微控制器，其電連接該通訊單元1及該儲存單元2，以藉由該通訊單元1與該使用端裝置400通訊，並包括一語者分離模組31、一語音轉文字模組32及一大型語言模型33。其中，該語者分離模組31、該語音轉文字模組32及該大型語言模型33可透過應用程式介面（Application Program Interface，API）實現。該大型語言模型33已預先經由該處理單元3使用多個與文法校正、專有名詞修正、錯別字修正、添加標點符號、識別敏感資訊及摘要生成相關的提示詞進行訓練。

舉例來說，該提示詞可以是例如「請將以下語音轉錄文本進行校對，修正錯別字和語法錯誤。特別注意金融、財經相關的專有名詞、公司名稱、產品代號，確保其準確性。請使用繁體中文和書面語，並保持原始語意」，以達到精確校正金融專有名詞的拼寫(例如定期定額、殖利率、ETF、本益比等)、嚴格核對關鍵數字與數據的準確性(例如交易金額、日期、比率、股票代號等)及識別敏感資訊的詞句(例如不當承諾、誤導性行銷或暗示合規風險)的效果。

首先，說明本實施例產生上述的該音訊檔案的過程。當該處理單元3藉由該通訊單元1接收到來自該使用端裝置400的一錄音檔時，該處理單元3產生唯一的該識別碼，並將該錄音檔轉換成張量(Tensor)結構，且對張量結構的該錄音檔執行音訊正規化及移除靜音片段處理，並藉由一降噪演算法對張量結構的該錄音檔進行噪音衰減而得到該音訊檔案，然後，當該處理單元3判斷該第一暫存區21的儲存空間足夠時，將該識別碼及該音訊檔案儲存至該第一暫存區21，使該音訊檔案對應於該識別碼；反之，當該處理單元3判斷該第一暫存區21的儲存空間不足時，該處理單元3才將該識別碼及該音訊檔案儲存至該第二暫存區22，並使該音訊檔案對應於該識別碼，且該處理單元3還記錄該音訊檔案儲存於該第一暫存區21或該第二暫存區22的一暫存時間，並將該識別碼傳送至該使用端裝置400，至此，即完成錄音檔(音訊檔案)的儲存作業。

詳細地說，本實施例的該錄音檔例如但不限於是會議記錄及通話紀錄等。該識別碼例如但不限於是全球唯一識別符（Globally Unique Identifier，GUID），因此該識別碼不會被重複產生，而能用於辨識對應該識別碼的該音訊檔案。該處理單元3對張量結構的該錄音檔之音訊格式、音訊音量、取樣率及通道數等執行音訊正規化，透過正規化處理，可提高該降噪演算法的穩定性，並透過移除靜音片段以減少該降噪演算法冗餘的計算量，從而提高在該音訊檔案中語音片段的保留程度，並降低該音訊檔案中干擾轉錄準確性的雜訊。

藉此，當該使用者欲對該音訊檔案進行轉錄時，該使用者藉由該使用端裝置400透過該通訊單元1傳送包含該識別碼的一語音轉文字指令給該處理單元3。當該處理單元3接收到該語音轉文字指令時，該處理單元3根據該語音轉文字指令包含的該識別碼，先從該第一暫存區21中讀取與該識別碼對應的該音訊檔案，若該處理單元3未從該第一暫存區21讀取到對應該識別碼的該音訊檔案時，該處理單元3再改從該第二暫存區22讀取對應該識別碼的該音訊檔案，接著，該處理單元3執行該語者分離模組31，使該語者分離模組31對該音訊檔案進行語者分離而產生分別對應多個語者的多個語音訊息，並對每一該語音訊息標記一時間戳記後，該處理單元3將該等語音訊息儲存至該標記暫存區211。

接著，該處理單元3執行該語音轉文字模組32，使該語音轉文字模組32從該標記暫存區211讀取該等語音訊息並以平行運算方式將該等語音訊息轉換成相對應的多個文字內容，並將該等文字內容儲存至該文字暫存區212。

詳細地說，每一該語音訊息的該時間戳記是每一該語音訊息所對應的該語者的發言起始時間及發言結束時間。且該處理單元3將該等語音訊息按照其對應的該時間戳記儲存至以環形佇列資料結構實現的該標記暫存區211，以確保該語音轉文字模組32根據該等語音訊息的儲存順序，以先進先出的方式優先將較早存入該標記暫存區211中的該語音訊息轉換成該文字內容，使該語音轉文字模組32能夠穩定且順暢地轉錄該等語音訊息，以減少轉錄過程產生的延遲，進而避免該等語音訊息片段遺失或錯位，從而確保轉錄後該等文字內容的完整性。

此外，在該語音轉錄系統100配置多個處理器的實施態樣中，該語音轉文字模組32能夠有效利用運算資源，從該標記暫存區211中同時讀取多筆語音訊息並由該等處理器進行平行運算，而同步將該等語音訊息轉換成相對應的該等文字內容，進而提升語音轉錄的效率。而即使在是單一處理器的配置下，該語音轉文字模組32也能夠讀取較早放入該標記暫存區211中的該語音訊息，並轉錄該語音訊息，確保轉錄過程的連續性。藉此，避免該等語音訊息爭用該語音轉文字模組32的運算資源，進而提升語音轉錄的效率。

接著，該處理單元3從該文字暫存區212讀取該等文字內容並將該等文字內容輸入該大型語言模型33，使該大型語言模型33對該等文字內容進行文法及語法校正，並輸出相對應的多個校正後文字內容，且該處理單元3將該大型語言模型33輸出的該等校正後文字內容儲存於該文字暫存區212後，該處理單元3根據該等語音訊息的該時間戳記(發言起始時間及發言結束時間)按照時序排序該等校正後文字內容而產生對應該音訊檔案的一文字檔案；此外，在另一實施態樣中，該處理單元3也可以根據該等語音訊息對應的該等語者，將該等校正後文字內容分別彙整至與其對應的各該語者，亦即按照該等語音訊息所屬的該等語者，將該等校正後文字內容歸類至各該語者，而產生對應該音訊檔案的該文字檔案。然後，該處理單元3將該文字檔案傳送至該使用端裝置400，以供該使用者瀏覽及進行編輯或增刪等作業。

此外，當該使用者欲刪除該音訊檔案以釋放儲存空間而藉由該使用端裝置400透過該通訊單元1傳送包含該識別碼的一檔案刪除指令給該處理單元3，當該處理單元3接收到該檔案刪除指令時，該處理單元3即根據該檔案刪除指令包含的該識別碼刪除儲存在該第一暫存區21或該第二暫存區22且對應該識別碼的該音訊檔案；另一方面，當該處理單元3判斷該音訊檔案的該暫存時間大於一時間閾值(例如但不限於是一天或一周)時，該處理單元3即自動刪除儲存在該第一暫存區21或該第二暫存區22的該音訊檔案，以釋放儲存空間。且當該處理單元3刪除儲存在該第一暫存區21的該音訊檔案後，該處理單元3會將儲存在該第二暫存區22的該音訊檔案移動至該第一暫存區21儲存，以加快該音訊檔案被存取的速度。

綜上所述，本新型語音轉錄系統100的該處理單元3接收到來自該使用端裝置400包含該識別碼的該語音轉文字指令時，該處理單元3從該儲存單元2中讀取與該識別碼對應的該音訊檔案，並使該語者分離模組31將該音訊檔案分段成該等語音訊息，以便有效地管理儲存該等語音訊息的該標記暫存區211，確保該等語音訊息能夠兼容並順暢地輸入各式語音轉錄模型，避免該語音轉文字模組32一次大量載入該等語音訊息導致語音轉錄過程產生延遲，且能夠兼容各式的該大型語言模型33來對該等文字訊息進行文法及語法的校正，進而提升該等校正後文字訊息的準確性與可讀性，並減少人工校正耗費大量作業人力及時間的問題，提升校正人員的作業效率。因此，確實能達成本新型之目的與功效。

惟以上所述者，僅為本新型的實施例而已，當不能以此限定本新型實施的範圍，凡是依本新型申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本新型專利涵蓋的範圍內。

100:語音轉錄系統 400:使用端裝置 1:通訊單元 2:儲存單元 21:第一暫存區 211:標記暫存區 212:文字暫存區 22:第二暫存區 3:處理單元 31:語者分離模組 32:語音轉文字模組 33:大型語言模型

本新型的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 　圖1是一方塊圖，說明本新型語音轉錄系統的一實施例。

100:語音轉錄系統

400:使用端裝置

1:通訊單元

2:儲存單元

21:第一暫存區

211:標記暫存區

212:文字暫存區

22:第二暫存區

3:處理單元

31:語者分離模組

32:語音轉文字模組

33:大型語言模型

Claims (14)

1. 一種語音轉錄系統，其能與一使用端裝置通訊，並包含： 一通訊單元，其能與該使用端裝置建立通訊管道； 一儲存單元，其包含一第一暫存區，該第一暫存區儲存對應一識別碼的一音訊檔案；及 一處理單元，其電連接該通訊單元及該儲存單元，以藉由該通訊單元與該使用端裝置通訊，並包括一語者分離模組、一語音轉文字模組及一大型語言模型； 其中，當該處理單元接收到來自該使用端裝置之包含該識別碼的一語音轉文字指令時，該處理單元從該第一暫存區中讀取與該識別碼對應的該音訊檔案，並執行該語者分離模組，使該語者分離模組對該音訊檔案進行語者分離而產生分別對應多個語者的多個語音訊息； 該處理單元執行該語音轉文字模組，使該語音轉文字模組將該等語音訊息轉換成相對應的多個文字內容； 該處理單元將該等文字內容輸入該大型語言模型，使該大型語言模型對該等文字內容進行文法及語法校正，並輸出相對應的多個校正後文字內容； 該處理單元彙整該等校正後文字內容而產生對應該音訊檔案的一文字檔案，且將該文字檔案傳送至該使用端裝置。
2. 如請求項1所述的語音轉錄系統，其中，該語者分離模組對該音訊檔案進行語者分離時，還對每一該語音訊息標記一時間戳記，且該處理單元根據該等語音訊息的該時間戳記按照時序排序該等校正後文字內容而產生該文字檔案。
3. 如請求項1所述的語音轉錄系統，其中，該處理單元根據該等語音訊息對應的該等語者，將該等校正後文字內容分別彙整至與其對應的各該語者。
4. 如請求項1所述的語音轉錄系統，其中，當該處理單元接收到來自該使用端裝置的一錄音檔時，該處理單元產生唯一的該識別碼，並對該錄音檔執行優化處理而得到該音訊檔案，且將該識別碼及該音訊檔案儲存至該第一暫存區，使該音訊檔案對應於該識別碼，並將該識別碼傳送至該使用端裝置。
5. 如請求項4所述的語音轉錄系統，其中，該處理單元將該錄音檔轉換成張量結構，且對張量結構的該錄音檔執行音訊正規化及移除靜音片段處理，並藉由一降噪演算法對張量結構的該錄音檔進行噪音衰減而得到該音訊檔案。
6. 如請求項4所述的語音轉錄系統，其中，該儲存單元還包含一第二暫存區，當該處理單元判斷該第一暫存區的儲存空間不足時，該處理單元將該識別碼及該音訊檔案儲存至該第二暫存區。
7. 如請求項6所述的語音轉錄系統，其中，當該處理單元未從該第一暫存區讀取到對應該識別碼的該音訊檔案時，該處理單元改從該第二暫存區讀取對應該識別碼的該音訊檔案。
8. 如請求項6所述的語音轉錄系統，其中，當該處理單元接收到來自該使用端裝置之包含該識別碼的一檔案刪除指令時，該處理單元刪除儲存在該第一暫存區或該第二暫存區且對應該識別碼的該音訊檔案。
9. 如請求項6所述的語音轉錄系統，其中，該處理單元還記錄該音訊檔案的一暫存時間，且當該處理單元判斷該音訊檔案的該暫存時間大於一時間閾值時，該處理單元刪除儲存在該第一暫存區或該第二暫存區的該音訊檔案。
10. 如請求項8或9所述的語音轉錄系統，其中，當該處理單元刪除儲存在該第一暫存區的該音訊檔案後，該處理單元將儲存在該第二暫存區的該音訊檔案移動至該第一暫存區儲存。
11. 如請求項6所述的語音轉錄系統，其中，該語音轉錄系統是一電腦裝置，該第一暫存區是該電腦裝置之主機板上的記憶體，該第二暫存區是該電腦裝置的硬碟。
12. 如請求項1所述的語音轉錄系統，其中，該語音轉文字模組以平行運算方式將該等語音訊息轉換成該等文字內容。
13. 如請求項1所述的語音轉錄系統，其中，該第一暫存區包含一以環形佇列資料結構實現的標記暫存區及一文字暫存區，且該語者分離模組對該音訊檔案進行語者分離而產生該等語音訊息，並將該等語音訊息儲存至該標記暫存區，該語音轉文字模組從該標記暫存區讀取該等語音訊息並將該等語音訊息轉換成相對應的該等文字內容，並將該等文字內容儲存至該文字暫存區；且該處理單元從該文字暫存區讀取該等文字內容並將該等文字內容輸入該大型語言模型，且將該大型語言模型輸出的該等校正後文字內容儲存於該文字暫存區後，才彙整該等校正後文字內容。
14. 如請求項1所述的語音轉錄系統，其中，該大型語言模型已預先經由該處理單元使用多個與文法校正、專有名詞修正、錯別字修正、添加標點符號、識別敏感資訊及摘要生成相關的提示詞進行訓練。