TWI509465B - Intelligent voice control system and method - Google Patents

Description

智慧型語音控制系統及方法

本發明係有關於一種智慧型家庭控制系統，尤指連結一語音辨識系統之智慧型語音控制系統及方法。

隨著網路科技的進步，行動設備的快速成長，環境已逐漸從e化進入到M(Mobile)化環境，許多設備已經可以透過網際網路與自動化控制達成需求。佐以智慧型手機的成熟與普及，行動網路的快速發展，即時獲取遠程資訊與控制電子設備已不再是遙不可及的夢想。

近年來，能源危機不斷被大幅報導，許多國家政府開始提倡節能減碳。生活上也出現了許多智慧型電器，協助家庭配合環境因素做出各種情況的調整，讓使用者達到節能又不失舒適度的管理。智慧型居家的概念主要係透過自動化系統將繁雜的居家環境控制交付電腦管理，省下使用者因為環境因素的改變而一再調整電器的設置。而家電自動化在於家電設備經由有線或無線的方式建構成一個網路，使用者可以透過此網路存取或設定家電狀態加上智慧型裝置與行動網路的高速發展，讓使用者不管身在何方，都可以透過手上智慧型裝置，如智慧型手機、平版電腦，對家中各種電器做出控制，因此人機互動也逐漸被受到重視。以自然語言輸入方式的對話系統，是目前最理想的人機互動介面之一。

一般習知技術其語音控制系統會將所接收到之語音訊息轉換為文字的訊息，與其預先內建完成之詞彙資料庫進行比對，以辨識該語音訊息之語意，惟習知技術所內建之詞彙資料庫由於缺乏學習功能，因此所有的詞彙(包含近音或是進似的詞彙)皆係由人為的方式匯入，其中若內建之詞彙資料庫所沒 建立到之詞彙，係無法供由語音訊息轉換為文字的訊息對應以判斷其語意，而一般語音辨識系統，例如google語音辨識系統所回傳的語音辨識結果，其回傳內容多半音近而詞彙相去甚遠，因此用以辨識該語音訊息之詞彙資料庫若侷限於一固定的近音詞彙或是進似詞彙，則容易導致辨識之結果與實際的語意有所出入。是以，在對話系統中，錯誤的語意理解常使得人機對話無法順利進行，所以如何讓語音控制系統能夠精確的理解使用者意圖，係為本發明所欲解決之問題點。

爰此，本發明提出一種智慧型語音控制系統及方法，係以自然語言對話控制智慧型家庭環境，該智慧型語音控制系統具有學習的功能，能夠不斷地收集有關電器設備之名稱及電器設備可執行動作之動作詞彙的近音詞彙，因此於對話過程中，根據句子的詞組結構和大量的語意概念資訊，對其進行評估，可將使用者的語意結構精確地解析出來，以準確地判斷出使用者的意圖，而幫助使用者達到特定目的。

本創作提供之智慧型語音控制系統，用以連結一語音辨識系統，並藉以控制至少一電器設備，包含有：一處理單元，用以訊號連接至前述語音辨識系統及前述電器設備；一語音輸入單元，連結前述處理單元，係接收一語音訊息，並傳輸該語音訊息給前述處理單元；一語意分析單元，連結前述處理單元，係接收至少一文字訊息，前述文字訊息係由前述語音訊息透過前述語音辨識系統轉換而成，且藉由該語意分析單元比對一關鍵意圖詞庫內的詞彙而分析出至少一特定的語意，再根據該特定的語意產生一使用者意圖，並傳輸該使用者意圖給前述處理單元；藉由該處理單元將該語音訊息處理成該語音辨識系統可判讀之訊號，並將該訊號傳送至該語音辨識系統，該語音辨識系統將該訊號轉換為至少一文字訊息並傳送回該處理單元，並藉以由該語意分析單元產生 前述使用者意圖，前述處理單元根據該使用者意圖產生一控制指令，用以控制前述電器設備。

其中，前述關鍵意圖詞庫包含有一意圖詞庫及一角色庫，該角色庫有前述電器設備之一名稱、該電器設備可執行動作之一動作詞彙以及前述名稱與前述動作詞彙的關連性，該意圖詞庫儲存有該角色庫內之名稱與動作詞彙，並由該些名稱與動作詞彙分別各自衍生出一近音詞彙的組合，該語意分析單元包含有一語言前處理模組、一知識模組及一意圖偵測模組，該語言前處理模組用以將前述文字訊息進行斷詞處理與編碼轉換，該知識模組將前述處理後之文字訊息定義有一名稱語意及一動作語意，該意圖偵測模組將前述名稱語意及動作語意與前述意圖詞庫之名稱、動作詞彙與近音詞彙的組合中任一近音詞彙比對，比對相符後，找到前述名稱語意及動作語意所對應之前述角色庫內之名稱與動作詞彙，再自前述角色庫擷取二者之關聯性產生一個以上意圖，該意圖偵測模組將前述一個以上意圖加權計算，並將得分高者判斷為前述使用者意圖。

本創作提供之智慧型語音控制方法，執行包括有下列步驟：步驟A.以一語音輸入單元接收一語音訊息，再由一處理單元將該語音訊息處理成一語音辨識系統可判讀之訊號，並將該訊號傳送至該語音辨識系統；步驟B.該語音辨識系統將該訊號轉換為至少一文字訊息並傳送回該處理單元，藉以由一語意分析單元比對一關鍵意圖詞庫內的詞彙，而分析出至少一特定的語意，並根據該特定的語意產生一使用者意圖；步驟C.前述處理單元根據該使用者意圖產生一控制指令，用以控制一電器設備。

在步驟B中，由該語意分析單元之一語言前處理模組將前述文字訊息進行斷詞處理與編碼轉換，再由該語意分析單元之一知識模組將前述處理後之文字訊息定義有一名稱語意及一動作語意，由該語意分析單元之一意圖偵 測模組將前述名稱語意及動作語意與前述關鍵意圖詞庫之一意圖詞庫內的一名稱、一動作詞彙與前述名稱及動作詞彙所衍生之一近音詞彙的組合中任一近音詞彙比對，比對相符後，再自前述關鍵意圖詞庫之一角色庫內擷取二者之關聯性而產生一個以上意圖，並將前述一個以上意圖加權計算，得分高者判斷為前述使用者意圖。

在執行步驟A之前，係預先手動匯入前述電器設備之一名稱以及該電器設備可執行動作之一動作詞彙至該關鍵意圖詞庫之角色庫，並建立二者之關聯性，再由該處理單元隨機抽取前述名稱或動作詞彙，供使用者發音由該語音辨識系統獲得二個以上文字訊息，並由該知識模組定義二個以上名稱語意與動作語意，當前述名稱語意與動作語意有任一個相符於前述隨機抽取之名稱或動作詞彙時，其它名稱語意與動作語意則被視為對應前述隨機抽取之名稱或動作詞彙之前述近音詞彙，成為前述近音詞彙的組合而一同被儲存至前述關鍵意圖詞庫之意圖詞庫內。

其中，在步驟B中，該語音辨識系統會將該訊號轉換為二個以上文字訊息，由該知識模組定義有二個以上名稱語意與動作語意，當前述名稱語意與動作語意相符於前述關鍵意圖詞庫之意圖詞庫內的名稱、動作詞彙或近音詞彙的組合中任一近音詞彙時，其它名稱語意或動作語意則被視為另一近音詞彙儲存在前述關鍵意圖詞庫之意圖詞庫內。

(100)‧‧‧智慧型語音控制系統

(1)‧‧‧處理單元

(2)‧‧‧語音輸入單元

(3)‧‧‧關鍵意圖詞庫

(31)‧‧‧意圖詞庫

(32)‧‧‧角色庫

(33)‧‧‧名稱

(34)‧‧‧動作詞彙

(4)‧‧‧語意分析單元

(41)‧‧‧語言前處理模組

(42)‧‧‧知識模組

(43)‧‧‧意圖偵測模組

(5)‧‧‧操作畫面

(51)‧‧‧下拉式選單欄位

(52)‧‧‧欄位

(53)‧‧‧查詢欄位

(A)‧‧‧語音辨識系統

(B)‧‧‧電器設備

[第一圖]係為本發明之系統架構圖。

[第二圖]係為本發明新增動作詞彙的操作畫面之示意圖。

[第三圖]係為本發明新增電器設備詞彙的操作畫面之示意圖。

[第四圖]係為本發明動作詞彙之示意圖。

[第五圖]係為本發明電器設備名稱之示意圖。

[第六圖]係為本發明電器設備名稱與動作詞彙的關連性之示意圖。

[第七圖]係為本發明操作畫面之查詢結果之示意圖。

綜合上述技術特徵，本發明之智慧型語音控制系統及方法的主要功效將可於下述實施例清楚呈現。

首先，請參閱第一圖、第四圖及第五圖所示，為一種智慧型語音控制系統(100)，用以連結一語音辨識系統(A)，並藉以控制至少一電器設備(B)，包含有：一處理單元(1)，用以訊號連接至前述語音辨識系統(A)及前述電器設備(B)。

一語音輸入單元(2)，連結前述處理單元(1)，用以接收使用者所發出之一語音訊息，並傳輸該語音訊息給前述處理單元(1)，該語音輸入單元(2)可以係智慧型手機、桌上型電腦、筆記型電腦、平板電腦、個人數位助理(PDA)或其它可攜式電子裝置。

一關鍵意圖詞庫(3)，該關鍵意圖詞庫(3)包含有一意圖詞庫(31)及一角色庫(32)，該角色庫(32)有前述電器設備(B)之一名稱(33)、該電器設備(B)可執行動作之一動作詞彙(34)以及前述名稱(33)與前述動作詞彙(34)的關連性，該意圖詞庫(31)儲存有該角色庫(32)內之名稱(33)與動作詞彙(34)，並由該些名稱(33)與動作詞彙(34)分別各自衍生出一近音詞彙的組合。

一語意分析單元(4)，連結前述處理單元(1)及前述關鍵意圖詞庫(3)，該語意分析單元(4)包含有一語言前處理模組(41)、一知識模組(42)及一意圖偵測模組(43)，該語言前處理模組(41)用 以將前述文字訊息進行斷詞處理與編碼轉換，該知識模組(42)將前述處理後之文字訊息定義有一名稱語意及一動作語意，該意圖偵測模組(43)將前述名稱語意及動作語意與前述意圖詞庫(31)之名稱(33)、動作詞彙(34)與近音詞彙的組合中任一近音詞彙比對，比對相符後，找到前述名稱語意及動作語意所對應之前述角色庫(32)內之名稱(33)與動作詞彙(34)，再自前述角色庫(32)擷取二者之關聯性產生一個以上意圖，該意圖偵測模組(43)將前述一個以上意圖加權計算，並將得分高者判斷為前述使用者意圖。

本創作亦為一種智慧型語音控制方法，係配合前述之智慧型語音控制系統(100)實施，在該智慧型語音控制系統(100)建立初期，該智慧型語音控制系統(100)需要先初步建立前述之關鍵語意詞庫(3)，透過訓練員對於前述電器設備(B)之名稱(33)以及前述電器設備(B)可執行動作之動作詞彙(34)的聯想或是運用網路收集相關詞彙，以建立出前述電器設備(B)之名稱(33)與前述電器設備(B)可執行動作之動作詞彙(34)，以及定義前述名稱(33)與動作詞彙(34)的角色關係，即建立二者之關聯性。

請參閱第二圖及第三圖所示，為新增詞彙的操作畫面(5)，可以於一下拉式選單欄位(51)中，先選擇前述電器設備(B)之名稱(33)或前述電器設備(B)可執行動作之動作詞彙(34)，再於該下拉式選單欄位(51)的右邊一欄位(52)上填入所欲新增之詞彙，例如：於該下拉式選單欄位(51)中選擇「動作-關」，則於其右邊之前述欄位(52)上填入有關「關」的詞彙，像是「關上」、「關掉」、「關起來」等；而前述電器設備(B)之名稱(33)亦使用同樣方式去擴充詞彙，例如：於該下拉式選單欄位(51)中選擇「溫控設備-冷氣」，則於其右邊之前述欄位(52)上填 入有關「冷氣」的詞彙，像是「冷氣機」、「空調」等，此操作畫面主要係用以新增與前述電器設備(B)之名稱(33)或前述電器設備(B)可執行動作之動作詞彙(34)近似的詞彙。

進一步更詳細地說明，請參閱第四圖所示，於較佳實施例中主要係將前述電器設備可執行動作之動作詞彙(34)限縮為四種動作意圖，包含有：一、關：此動作意圖旨在停止電器設備設備運作，包含「斷電」、「關閉電源」等動作；二、開：此動作意圖旨在啟動電器設備運作，包含「通電」、「開啟電源」等動作；三、向上調整：此動作意圖旨在調高電器設備之運作，例如：調亮(調高光度係數)、調升溫度(調高室溫)、向上調整頻道(轉向更高數字頻道)、調高音量等；四、向下調整：此動作意圖旨在調低電器設備之運作，例如：調暗(調低光度係數)、調降溫度(降低室溫)、向下調整頻道(轉向更低數字頻道)、調低音量等。透過此四種動作，我們可以將其編碼，以角色代碼代表動作意圖。

請參閱第五圖所示，並將前述電器設備之名稱(33)分類成「溫控設備」、「照明設備」、「輔助設備」與「視聽設備」，而「溫控設備」內就包含了暖氣機、電暖爐與冷氣等，其它「照明設備」、「輔助設備」與「視聽設備」依此類推，再請參閱第六圖所示，而在建立角色代碼時，會將每個電器設備定義搭配動作代碼，以確認此電器設備對於使用者所能執行之動作。

而要提升該智慧型語音控制系統的辨識率除了收集近似或相關的詞彙外，因為不同的使用者其發音上可能有些許的差異，所以大量收集近音詞彙亦相當重要，因此前述智慧型語音控制系統(100)之處理單元(1)會隨機抽取前述名稱(33)或動作詞彙(34)(例如「打開」、「關上」、「檯燈」等)進行訓練，亦即供訓練員發音以各取得一個以上近音詞彙的組合對應前述名稱(33)及動作詞彙(34)，以「關上」為例，其近音詞彙的組 合中可能包含有「關上」、「光上」或「晚上」等近音詞彙，當前述近音詞彙的組合中之任一近音詞彙相符於前述關鍵意圖詞庫(3)之意圖詞庫(31)內的名稱(33)或動作詞彙(34)時，該近音詞彙的組合中之其它近音詞彙則被視為係對應前述關鍵意圖詞庫(3)之意圖詞庫(31)內的名稱(33)或動作詞彙(34)之近音詞彙，而一同被儲存至前述關鍵意圖詞庫(3)之意圖詞庫(31)內，並統計意圖詞彙出現機率(RS)，又於訓練過程中，訓練次數最低的前五組前述名稱(33)或動作詞彙(34)，則會再回傳給訓練員重複訓練，以持續增加前述關鍵語意詞庫(3)中詞彙的數量，進而提升該智慧型語音控制系統(100)的辨識率。

其中上述之意圖詞彙出現機率(RS)的公式可表示為：

RS=意圖詞彙出現機率

又上述之意圖詞彙出現機率(RS)的公式中之意圖詞彙出現次數，可於前述操作畫面(5)中之一查詢欄位(53)進行查詢，請參閱第七圖所示。

完成初步前述關鍵語意詞庫(3)的建立後，則可開始執行包括有下列步驟：

步驟A.以前述語音輸入單元(2)接收使用者所發出之一語音訊息，再由該處理單元(1)將該語音訊息處理成該語音辨識系統(A)可判讀之訊號，並將該訊號傳送至該語音辨識系統(A)，由該語音辨識系統(A)將該訊號轉換為至少一文字訊息並傳送回該處理單元(1)。

步驟B1.藉由該語意分析單元(4)之語言前處理模組(41)將前述文字訊息進行斷詞處理與編碼轉換，本實施例中透過該語音辨識系統 (A)轉換出的前述文字訊息係以RFC 3986進行編碼，使得字符皆採用統一格式進行編碼，以降低亂碼所造成的錯誤或字符不相符等問題。

步驟B2.透過該語言前處理模組(41)將字符轉換成統一格式後，該語意分析單元(4)之知識模組(42)將提取該關鍵意圖詞庫(3)對編碼完成字串進行搜尋，亦即將前述處理後之文字訊息定義有二個以上名稱語意及動作語意，並由該語意分析單元(4)之意圖偵測模組(43)將前述名稱語意及動作語意與前述關鍵意圖詞庫(3)之意圖詞庫(31)內的名稱(33)與動作詞彙(34)比對，當前述名稱語意與動作語意相符於前述關鍵意圖詞庫(3)之意圖詞庫(31)內的名稱(33)、動作詞彙(34)或近音詞彙的組合中任一近音詞彙時，其它名稱語意或動作語意則被視為另一近音詞彙儲存在前述關鍵意圖詞庫(3)之意圖詞庫(31)內，而比對相符後，再自前述關鍵意圖詞庫(3)之角色庫(32)內擷取二者之關聯性而產生一個以上意圖，前述意圖包括前述電器設備(B)之名稱(33)、前述電器設備(B)可執行動作之動作詞彙(34)以及類型，例如詞彙為「桌燈」，其可執行動作之動作詞彙(34)為「開、關」，電器設備之名稱(33)為「桌燈」，類型為「照明設備」。

步驟B3.該語意分析單元(4)之意圖偵測模組(43)再將前述一個以上意圖進行分數加權計分，並將得分高者判斷為前述使用者意圖。更詳細地說明，該意圖偵測模組(43)係將前述一個以上意圖中之前述意圖詞彙出現機率(RS)較高的詞彙，再依據該語音辨識系統(A)回傳順序設定加權，此加權方式可以使當前述一個以上意圖中之詞彙的前述意圖詞彙出現機率(RS)的數值相近時，加權計分可以有效地辨識意圖，其中前述加權計分的公式可表示為：

n：語音辨識系統回傳組數

步驟C.前述處理單元(1)根據該使用者意圖產生一控制指令，用以控制一電器設備(B)。

惟以上所述僅係為本發明之較佳實施例，當不能以此限定本發明實施之範圍，即依本發明申請專利範圍及發明說明內容所作簡單的等效變化與修飾，皆屬本發明專利涵蓋之範圍內。

(100)‧‧‧智慧型語音控制系統

(1)‧‧‧處理單元

(2)‧‧‧語音輸入單元

(3)‧‧‧關鍵意圖詞庫

(31)‧‧‧意圖詞庫

(32)‧‧‧角色庫

(4)‧‧‧語意分析單元

(41)‧‧‧語言前處理模組

(42)‧‧‧知識模組

(43)‧‧‧意圖偵測模組

(A)‧‧‧語音辨識系統

(B)‧‧‧電器設備

Claims (6)

1. 一種智慧型語音控制系統，用以連結一語音辨識系統，並藉以控制至少一電器設備，包含有：一處理單元，用以訊號連接至前述語音辨識系統及前述電器設備；一語音輸入單元，連結前述處理單元，係接收一語音訊息，並傳輸該語音訊息給前述處理單元；一關鍵意圖詞庫，包含有一意圖詞庫及一角色庫，該角色庫有前述電器設備之一名稱、該電器設備可執行動作之一動作詞彙以及前述名稱與前述動作詞彙的關連性，該意圖詞庫儲存有該角色庫內之名稱與動作詞彙，並由該些名稱與動作詞彙分別各自衍生出一近音詞彙的組合；一語意分析單元，連結前述處理單元，藉由該語意分析單元比對該關鍵意圖詞庫內的詞彙而分析出至少一特定的語意，再根據該特定的語意產生一使用者意圖，並傳輸該使用者意圖給前述處理單元，且該語意分析單元所分析出的前述特定的語意相符於前述關鍵意圖詞庫內的詞彙時，前述特定的語意被視為另一近音詞彙儲存在前述關鍵意圖詞庫內；藉由該處理單元將該語音訊息處理成該語音辨識系統可判讀之訊號，並將該訊號傳送至該語音辨識系統，該語音辨識系統將該訊號轉換為至少一文字訊息並傳送回該處理單元，並藉以由該語意分析單元產生前述使用者意圖，前述處理單元根據該使用者意圖產生一控制指令，用以控制前述電器設備；另外，前述處理單元也會統計前述名稱或動作詞彙出現機率，並將出現機率最低的前五名前述名稱或動作詞彙則會再回傳給前述關鍵意圖詞庫，以持續增加前述關鍵語意詞庫中之詞彙的數量。
2. 如申請專利範圍第1項所述之智慧型語音控制系統，其中，該語意分析單元包含有一語言前處理模組、一知識模組及一意圖偵測模組，該語言前處 理模組用以將前述文字訊息進行斷詞處理與編碼轉換，該知識模組將前述處理後之文字訊息定義有一名稱語意及一動作語意，該意圖偵測模組將前述名稱語意及動作語意與前述意圖詞庫之名稱、動作詞彙與近音詞彙的組合中任一近音詞彙比對，比對相符後，找到前述名稱語意及動作語意所對應之前述角色庫內之名稱與動作詞彙，再自前述角色庫擷取二者之關聯性產生一個以上意圖，該意圖偵測模組將前述一個以上意圖加權計算，並將得分高者判斷為前述使用者意圖。
3. 一種智慧型語音控制方法，執行包括有下列步驟：步驟A.以一語音輸入單元接收一語音訊息，再由一處理單元將該語音訊息處理成一語音辨識系統可判讀之訊號，並將該訊號傳送至該語音辨識系統；步驟B.該語音辨識系統將該訊號轉換為至少一文字訊息並傳送回該處理單元，藉以由一語意分析單元比對一關鍵意圖詞庫內的詞彙，而分析出至少一特定的語意，並根據該特定的語意產生一使用者意圖，並傳輸該使用者意圖給前述處理單元，且該語意分析單元所分析出的前述特定的語意相符於前述關鍵意圖詞庫內的詞彙時，前述特定的語意被視為另一近音詞彙儲存在前述關鍵意圖詞庫內；步驟C.前述處理單元根據該使用者意圖產生一控制指令，用以控制一電器設備，且前述處理單元也會統計前述名稱或動作詞彙出現機率，並將出現機率最低的前五名前述名稱或動作詞彙則會再回傳給前述關鍵意圖詞庫，以持續增加前述關鍵語意詞庫中之詞彙的數量。
4. 如申請專利範圍第3項所述之智慧型語音控制方法，在步驟B中，由該語意分析單元之一語言前處理模組將前述文字訊息進行斷詞處理與編碼轉換，再由該語意分析單元之一知識模組將前述處理後之文字訊息定義有一名稱語意及一動作語意，由該語意分析單元之一意圖偵測模組將前述名稱語意及動作語意與前述關鍵意圖詞庫之一意圖詞庫內的一名稱、一動作詞彙與前述名稱及動 作詞彙所衍生之一近音詞彙的組合中任一近音詞彙比對，比對相符後，再自前述關鍵意圖詞庫之一角色庫內擷取二者之關聯性而產生一個以上意圖，並將前述一個以上意圖加權計算，得分高者判斷為前述使用者意圖。
5. 如申請專利範圍第4項所述之智慧型語音控制方法，在執行步驟A之前，係預先手動匯入前述電器設備之一名稱以及該電器設備可執行動作之一動作詞彙至該關鍵意圖詞庫之角色庫，並建立二者之關聯性，再由該處理單元隨機抽取前述名稱或動作詞彙，供使用者發音由該語音辨識系統獲得二個以上文字訊息，並由該知識模組定義二個以上名稱語意與動作語意，當前述名稱語意與動作語意有任一個相符於前述隨機抽取之名稱或動作詞彙時，其它名稱語意與動作語意則被視為對應前述隨機抽取之名稱或動作詞彙之前述近音詞彙，成為前述近音詞彙的組合而一同被儲存至前述關鍵意圖詞庫之意圖詞庫內。
6. 如申請專利範圍第5項所述之智慧型語音控制方法，其中，在步驟B中，該語音辨識系統會將該訊號轉換為二個以上文字訊息，由該知識模組定義有二個以上名稱語意與動作語意，當前述名稱語意與動作語意相符於前述關鍵意圖詞庫之意圖詞庫內的名稱、動作詞彙或近音詞彙的組合中任一近音詞彙時，其它名稱語意或動作語意則被視為另一近音詞彙儲存在前述關鍵意圖詞庫之意圖詞庫內。