TW202034207A - 使用意圖偵測集成學習之對話系統及其方法 - Google Patents

Abstract

本發明為一種使用意圖偵測集成學習之對話系統及其方法，該方法包括：接收用戶輸入之文字內容，將未標記資料以及已標記資料進行文字前處理，將該未標記資料及該已標記資料導入半監督式對話主題模型以輸出對話主題分布，整合多個意圖決策結果以及強化錯誤樣本學習，以產出最終意圖分類的決策，進而依據該最終意圖分類決定系統回覆內容，傳送該系統回覆內容至該用戶及接收該用戶之回饋資料，以判斷該回覆資料之正確性，最後，對該用戶之文字內容及回饋資料進行對應標注及更新，以將標注後資料匯入該半監督式對話主題模型而進行更新與學習。

Description

使用意圖偵測集成學習之對話系統及其方法

本發明係關於對話系統中意圖辨識之技術，詳而言之，係關於一種使用半監督式意圖偵測集成學習的對話系統及其方法。

近年來對話即平台(conversation as a platform)的概念在各大科技巨頭間興起，人機互動方式由圖形化介面轉向對話交互介面的方式，人類的各項任務，可經由對話描述來實現互動服務，因而自然語言成為人機互動介面的關鍵因子。使用對話機器人將大部分簡單的問題自動回覆，讓客服人員專注在較困難的問題上，可大幅降低文字客服的人力成本支出且對話機器人可以即時(Real-Time)回覆用戶，可以同時服務更多的用戶且每天24小時服務全年無休，因而為了避免機器人答非所問進而降低使用者使用意願，提升機器人對於用戶問句的語意意圖識別率是首要之事。

由過往研究可知，任務型對話系統需要分析問題意圖並給予知識庫定義之對應答案，但對於使用者的角度來說，當然是支援越多功能(意圖)越好，越少對話輪次即可找到答案越好。習知技術大多以建立規則方法或機器學習分類器等方式建構意圖識別器。隨著意圖種類越多，意圖辨識任務越困難。其中 很大的原因是因為標記資料不足與模型輸入特徵不足所造成。因此，如何大量運用未標記資料與增加輸入特徵的多樣性以提供精確的意圖辨識已成為任務型對話系統急需解決的問題。另一方面，面對日新月異的任務需求，快速精確的意圖更新也是對話機器人下一個階段不可或缺的功能。

由上可知，若能找出一種提升對話系統中意圖辨識率之技術，特別是如何透過現有資料和既有資料來提升意圖推測，且還要能依據回饋機制進一步更新判斷準則，進而提高往後辨識結果，此將成為本技術領域人員急欲追求解決方案之目標。

本發明之目的係建立一個精確的意圖辨識與快速的意圖更新機制，透過本專利提出的半監督式對話主題意圖集成識別方法可以提升對話系統效能以降低使用者查找答案所需要的對話輪次。

為達到上述目的與其他目的，本發明係提出一種使用意圖偵測集成學習之對話系統，包括：接收文字輸入模組，係用於接收文字內容；文字前處理模組，係接收該文字內容以定義為未標記資料，將該未標記資料以及既有的已標記資料進行文字前處理，以將詞彙轉為向量表示法；半監督式對話主題模組，係具有用於產出對話主題分布之半監督式對話主題模型，其中，該半監督式對話主題模型係依據來自該文字前處理模組之該未標記資料詞彙與向量以及該已標記資料詞彙與向量所組成之訓練資料而建模；意圖辨識集成學習模組，係具有樣本與特徵選擇器、意圖辨識器及意圖辨識集成器，該樣本與特徵選擇器針對該訓練資料進行樣本與特徵選 取以組成多組訓練資料子集，各該訓練資料子集分別對應一個該意圖辨識器以進行訓練，進而透過該意圖辨識集成器整合多個該意圖辨識器之意圖決策結果，以產出最終意圖分類的決策；知識庫搜尋模組，係透過該最終意圖分類的決策進行查詢，以由資料庫取得系統回覆內容；系統回覆模組，係傳送該系統回覆內容，以接收有關該系統回覆內容是否正確之回覆資料；以及系統標注模組，係於該回覆資料為該系統回覆內容不正確時，將該文字內容標注成正確的意圖類別並且導入至該文字前處理模組以產生新的詞彙向量，據此更新該半監督式對話主題模型以優化所輸出的主題機率分布，進而重新調整該意圖辨識集成學習模組所預測之意圖類別。

於一實施例中，該文字前處理模組復包括：文句正規化單元，係用於濾除特定符號或語文，以及執行編碼轉換；文句斷詞單元，係用於將該文字內容以詞為單位進行分隔；以及詞彙向量化單元，係用於將斷詞後之詞彙轉為向量表示法。

於另一實施例中，該意圖辨識集成學習模組係採用引導聚集算法(Bagging)或逐步提升算法(Boosting)或其組合進行集成學習，藉以降低模型變異與減少模型誤差。

於又一實施例中，該意圖辨識集成學習模組復包括對該意圖辨識集成器所提供之最終意圖分類與該文字內容的真實意圖類別進行衡量，以將錯誤分類的訓練樣本回饋至該樣本與特徵選擇器以提高該錯誤分類的訓練樣本被挑選之權重，並透過反覆疊代訓練直到正確率達到門檻值為止。

另外，該系統回覆內容包括回覆用戶問題、持續性對話或用戶確認。

於再一實施例中，該系統標注模組係利用該半監督式對話主題模組找出與錯誤資料相同主題意涵的相似文句，透過輔助標注或採用最近鄰居演算法方式以於對話主題空間中找出k個最相近的該已標記資料，並排除該錯誤資料原先被該意圖辨識集成學習模組預測的意圖類別，以將該錯誤資料標為投票最高的意圖類別。

另外，該系統標注模組將該文字內容標注成正確的意圖類別並且導入至該文字前處理模組，以成為既有的該已標記資料。

本發明復提出一種使用半監督式意圖偵測集成學習的對話方法，包括：接收文字內容；定義該文字內容為未標記資料，將該未標記資料以及既有的已標記資料進行文字前處理，以將詞彙轉為向量表示法；將該未標記資料及該已標記資料導入半監督式對話主題模型以輸出對話主題分布；結合該對話主題分布與對話文字內容作為輸入，整合多個意圖決策結果以及強化錯誤樣本學習的方法，以產出最終意圖分類的決策；依據該最終意圖分類以決定系統回覆內容；回覆該系統回覆內容至用戶，以接收該用戶之回饋資料以判斷該回覆資料之正確性；以及對該文字內容及回饋資料進行對應標注及更新，進而將標注後資料匯入該半監督式對話主題模型以進行更新與學習。

於一實施例中，該文字前處理包括文句正規化、文句斷詞及詞彙向量化。

於另一實施例中，該最終意圖分類的決策之產出係包括針對該未標記資料詞彙與向量以及該已標記資料詞彙與向量進行樣本與特徵選取以組成多組訓練資料子集，各該訓練資料子集進行訓練後以整合該多個意圖決策結果。

於又一實施例中，該強化錯誤樣本學習的方法係包括對該最終意圖分類與該文字內容的真實意圖類別進行衡量，回饋錯誤分類的訓練樣本以提高該錯誤分類的訓練樣本被挑選之權重，並透過反覆疊代訓練直到正確率達到門檻值為止。

另外，該系統回覆內容包括回覆用戶問題、持續性對話或用戶確認。

於再一實施例中，對該文字內容及回饋資料進行對應標注及更新係指利用該半監督式對話主題模型找出與錯誤資料相同主題意涵的相似文句，透過輔助標注或採用最近鄰居演算法方式以於對話主題空間中找出k個最相近的該已標記資料，並排除該錯誤資料原先預測的意圖類別，以將該錯誤資料標為投票最高的意圖類別。

另外，對該文字內容及回饋資料進行對應標注及更新係包括將該文字內容標注成正確的意圖類別，以成為既有的該已標記資料。

綜上可知，透過本發明所提出之使用意圖偵測集成學習之對話系統及其方法，透過使用半監督式對話主題模型增進意圖辨識以及知識庫更新機制，其中，半監督式係指大量運用未標注的對話文字內容建立半監督式對話主題模型並利用已標記資料引導未標記資料分析對話文句隱含的主題意涵，進而產生較有意義的分群結果，藉此能夠更精確的識別用戶意圖及對話處理，快速更新用戶回饋之意圖，以減少對話輪次，進而提升對話系統效能。

1‧‧‧使用意圖偵測集成學習之對話系統

11‧‧‧接收文字輸入模組

12‧‧‧文字前處理模組

1201‧‧‧文句正規化單元

1202‧‧‧文句斷詞單元

1203‧‧‧詞彙向量化單元

121‧‧‧未標記資料

122‧‧‧已標記資料

123‧‧‧文句正規化

124‧‧‧文句斷詞與去贅詞

125‧‧‧詞彙向量化

126‧‧‧未標記資料詞彙與向量

127‧‧‧已標記資料詞彙與向量

13‧‧‧半監督式對話主題模組

131‧‧‧詞袋模型

132‧‧‧TFIDF模型

133‧‧‧半監督式LDA對話主題模型

134‧‧‧對話主題分布

14‧‧‧意圖辨識集成學習模組

141‧‧‧樣本與特徵選擇器

142‧‧‧意圖辨識器

143‧‧‧意圖辨識集成器

15‧‧‧知識庫搜尋模組

16‧‧‧系統回覆模組

17‧‧‧系統標注模組

S61~S67‧‧‧步驟

第1圖為本發明之使用意圖偵測集成學習之對話系統的系統架構 圖；第2圖為本發明所述系統中文字前處理模組的架構圖；第3圖為本發明所述系統中文字前處理模組的執行流程圖；第4圖為本發明所述系統中意圖辨識集成學習模組的執行流程圖；第5圖為本發明所述系統中半監督式對話主題模組的執行流程圖；以及第6圖為本發明之使用意圖偵測集成學習之對話方法的步驟圖。

以下藉由特定的具體實施形態說明本發明之技術內容，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點與功效。然本發明亦可藉由其他不同的具體實施形態加以施行或應用。

第1圖為本發明之使用意圖偵測集成學習之對話系統的系統架構圖。如圖所示，本發明之使用意圖偵測集成學習之對話系統1係包括接收文字輸入模組11、文字前處理模組12、半監督式對話主題模組13、意圖辨識集成學習模組14、知識庫搜尋模組15、系統回覆模組16以及系統標注模組17。

接收文字輸入模組11用於接收用戶輸入之文字內容。使用意圖偵測集成學習之對話系統1透過接收文字輸入模組11接收用戶所輸入之文字內容。假若用戶實際輸入為語音，其應用前端可以銜接語音辨識器，將語音轉文字處理後，再銜接此接收文字輸入模組11。

具體實施時，接收文字輸入模組11為一可供用戶輸入文字的接收 介面，可用用戶端-伺服端(client-server)網頁接收方式或是手機應用程式(APP)方式提供輸入畫面給用戶端(client)輸入對話問句，再透過網路傳輸至伺服端(server)或雲端(cloud)，然後再將文字傳送給伺服端或雲端的文字前處理模組12處理。

文字前處理模組12接收該用戶輸入之文字內容以定義為未標記資料，將該未標記資料以及既有的已標記資料進行文字前處理，以將詞彙轉為向量表示法。簡言之，文字前處理模組12主要將用戶輸入之文字內容與標注系統17標注的內容進行文字前處理，具體而言，如第2圖所示，文字前處理模組12可包含但不限定於文句正規化單元1201、文句斷詞單元1202以及詞彙向量化單元1203，其中，文句正規化單元1201係將特定符號或語文濾除及編碼轉換，文句斷詞單元1202係將用戶輸入之文字內容以詞為單位做分隔，而詞彙向量化單元1203係將斷詞後的詞彙轉為向量表示法。於具體實施時，文字前處理模組12可為一伺服端或雲端的文字前處理程式。

半監督式對話主題模組13具有用於產出對話主題分布之半監督式對話主題模型，其中，該半監督式對話主題模型係依據來自該文字前處理模組之該未標記資料詞彙與向量以及該已標記資料詞彙與向量所組成之訓練資料而建模。半監督式對話主題模組13主要是利用已標記資料引導未標記資料以分析出對話文句(即文字內容)隱含的主題意涵，藉以產生較有意義的分群結果，具體而言，半監督式對話主題模組13是接收文字前處理模組12紀錄的未標記資料詞彙與向量以及已標記資料詞彙與向量來進行半監督式對話主題模型之建模。爾後，當前對話資料經文字前處理模組12處理後的結果，再輸入至半監督式對話主題模組13中，即可產出當前對話資料的對話主題分布。於具體實施時，半監督式對話主題模型可為一在伺服端或雲端預測對話主題分布的程式模型，其 輸入資料來源為文字前處理模組12的未標記資料詞彙與向量以及已標記資料詞彙與向量。

意圖辨識集成學習模組14具有樣本與特徵選擇器、意圖辨識器及意圖辨識集成器，該樣本與特徵選擇器針對該訓練資料進行樣本與特徵選取以組成多組訓練資料子集，各該訓練資料子集分別對應一個該意圖辨識器以進行訓練，並透過該意圖辨識集成器整合多個該意圖辨識器之意圖決策結果，以產出最終意圖分類的決策。意圖辨識集成學習模組14主要是應用集成學習方式，採用引導聚集算法(Bagging)或逐步提升算法(Boosting)或以上兩種混合之方式，以降低模型變異與減少模型誤差。

具體而言，意圖辨識集成學習模組14可透過樣本與特徵選擇器，針對訓練資料進行樣本與特徵選取以組成多組訓練資料子集，將每一批訓練資料分別對應一組意圖辨識器進行訓練，該意圖辨識器包含但不限定於使用：模式匹配、統計方法(回歸分析)、機器學習模型(SVM、類神經網路、決策樹…)、深度學習模型(RNN、LSTM、DNN、CNN…)等個別或其組合方式，之後再經意圖辨識集成器整合多組意圖辨識器之意圖決策結果，以產出最終意圖分類的決策。另外，該意圖辨識集成器包含但不限定於使用加權平均法、投票法等整合方式。

綜上可知，意圖辨識集成學習模組14接收來自文字前處理模組12之未標記資料詞彙與向量以及已標記資料詞彙與向量以及半監督式對話主題模組13之對話主題分布，進而產出當前對話文字之意圖結果，並將結果傳送給知識庫搜尋模組。於具體實施時，意圖辨識集成學習模組14可為一在伺服端或雲端透過集成學習方式增進對話意圖預測能力的處理程式。

知識庫搜尋模組15係透過該最終意圖分類的決策進行查詢，以由資料庫取得系統回覆內容。知識庫搜尋模組15以意圖辨識集成學習模組14所接收之對話意圖來查詢知識庫，藉以決定系統回覆內容，之後將該系統回覆內容傳送給系統回覆模組16，其中，系統回覆內容類型包含但不限定於回覆用戶問題、持續性對話或用戶確認等內容。於具體實施時，知識庫搜尋模組15可為一在伺服端或雲端儲存對話意圖與回應句對應的資料庫模組，可提供索引、搜尋與模糊比對功能。

系統回覆模組16係將該系統回覆內容傳送至該用戶，並接收該用戶所回傳有關該系統回覆內容是否正確之回覆資料。系統回覆模組16將知識庫搜尋模組15產生的系統回覆內容回覆給用戶，接著進行回覆資料正確性判斷，確認對話系統是否回覆正確，其會將問題文句(Q)、答案文句(A)、意圖(Intent)與回覆評價(Reply)對應資料記錄下來，並且將回覆錯誤(即回覆評價差)的部分傳用給系統標注模組17進行資料標注。

於具體實施時，系統回覆模組16可為一回覆文字訊息給用戶的介面，可用用戶端-伺服端(client-server)網頁顯示方式或是手機應用程式(APP)方式提供回覆畫面給用戶端(client)觀看對話回應、點選文字超連結與播放語音或影像多媒體等。系統回覆模組16提供之用戶回應介面，其可設計為「喜歡」或「不喜歡」的按鈕或標記回應，再將這些問題文句(Q)、答案文句(A)、意圖(Intent)與回覆評價(Reply)對應資料記錄下來，回饋給系統標注模組17。

系統標注模組17於該回覆資料為該系統回覆內容為不正確時，將該用戶輸入之文字內容標注成正確的意圖類別並且導入至該文字前處理模組以產生新的詞彙向量，據此更新該半監督式對話主題模型以優化所輸出的主題機 率分布，進而重新調整該意圖辨識集成學習模組所預測之意圖類別。系統標注模組17主要目的是更新意圖類別以增進意圖辨識精確度，其接收系統回覆模組16回饋為錯誤的用戶文字輸入資料並將此錯誤的資料標注成正確的意圖類別，如此便能新增多筆有標注的訓練資料導入文字前處理模組12以產生新的詞彙向量，進而更新半監督式對話主題模組13輸出新的主題機率分布，藉由重新調整意圖辨識集成學習模組14使其能更精準預測意圖類別，以於知識庫中搜尋出更合適的回覆內容回給用戶，以完成對話系統效能的精進。

系統標注模組17的標注方式包含但不限於人工標注、系統自動預測標注或其組合。系統標注模組17亦可利用半監督式對話主題模組13找出與此錯誤資料相同主題意涵的相似文句，藉此輔助人工標注或採用最近鄰居演算法方式在對話主題空間中找出k個最相近的已標記資料，並排除該錯誤資料原先被意圖辨識集成學習模組14預測的意圖類別，以自動將此錯誤資料標為投票最高的意圖類別。

於具體實施時，系統標注模組17可為一在伺服端或雲端進行資料標注的應用系統。系統標注模組17可提供人工標注與系統自動標注功能，人工標注提供一個操作管理介面供標注人員操作使用，其可為網頁資料庫呈現方式，包含但不限定於對話語句相關資料呈現、對話文句主題分布呈現介面、標記輸入介面、圖形化操作介面、圖表趨勢呈現、權限管理控制等，而系統自動標注為一演算法程式，能在半監督式對話主題模組13中找出與需標注的對話文句相近的前m個主題，並在這m主題中挑出與此對話文句相近的n筆有標記的對話資料(即問題文句(Q)與意圖(Intent)對應)，並先排除此對話文句先前錯誤分類的意圖，再依據自然語言語意相似演算法找出最相似的k個對話文句，進行多數表 決以決定自動標注的意圖為何。在人工標注或系統自動標注後，可將這些已標注資料導入半監督式對話主題模組13之半監督式對話主題模型以及與意圖辨識集成學習模組14中進行模型更新，藉以精進整體對話意圖辨識能力。

第3圖為本發明所述系統中文字前處理模組的執行流程圖。請一併參考第1圖，如圖所示，從接收文字輸入模組11接收之文句會儲存於文字前處理模組12中的未標記資料121的資料庫，更具體來說，文字前處理模組12其主要輸入來源分為兩部分，一為接收文字輸入模組11收到的用戶輸入之文字問句(即未標記資料121的資料庫之資料來源)，另一為經由系統標注模組17根據先前系統回饋與使用者回饋所產出的對話文字問句與該句對應標注的意圖類別(即已標記資料122的資料庫之資料來源)。將前述兩種來源所收到的對話文字問句內容導入文字前處理模組12，即可輸出文字前處理後的詞彙向量表示法。

文字前處理模組12會執行包含但不限定於文句正規化123、文句斷詞與去贅詞124以及詞彙向量化125等程序，其中，文句正規化123會將特定符號或語文濾除及編碼轉換，文句斷詞與去贅詞124會將用戶輸入文字內容以詞為單位做分隔並依據停止詞表(stopwords)去除贅詞，而詞彙向量化125會將斷詞後的詞彙轉為向量表示法，最後，將詞彙與向量儲存在未標記資料詞彙與向量126的資料庫與已標記資料詞彙與向量127的資料庫中。

第4圖為本發明所述系統中意圖辨識集成學習模組的執行流程圖。請一併參考第1圖，意圖辨識集成學習模組14是應用集成學習方式採用引導聚集算法(Bagging)或逐步提升算法(Boosting)或以上兩種混合之方式來降低模型變異與減少模型誤差，其訓練方式是將文字前處理模組12處理後的詞彙與向量及匯入半監督式對話主題模組13後產生的主題機率分布結果串接當成輸入特徵組 成訓練資料，並導入意圖辨識集成學習模組14，藉此產出此文句的對話意圖。

如圖所示，意圖辨識集成學習模組14可包括樣本與特徵選擇器141、意圖辨識器142與意圖辨識集成器143，其輸入特徵則由對話文字向量與對話主題分布所組成，透過樣本與特徵選擇器141選擇多組訓練子集傳遞至多個意圖辨識器142進行訓練，最後再由意圖辨識集成器143整合最終意圖辨識結果，並回饋錯誤分類樣本給樣本與特徵選擇器141調整權重，透過反覆疊代訓練直到正確率收斂為止。具體來說，意圖辨識集成學習模組14具有樣本與特徵選擇器141可針對訓練資料進行樣本與特徵選取以組成多組訓練資料子集，將每批訓練資料分別對應一組意圖辨識器142進行訓練，各該意圖辨識器142包含但不限定於使用模式匹配、統計方法(回歸分析)、機器學習模型(SVM、類神經網路、決策樹…)、深度學習模型(RNN、LSTM、DNN、CNN…)等個別或其組合方式。接著，再由一意圖辨識集成器143整合多組意圖辨識器142的意圖決策結果，以產出最終意圖分類的決策。另外，意圖辨識集成器143包含但不限定於使用加權平均法、投票法等整合方式，最後，將意圖辨識集成器143預測的意圖分類與真實的意圖類別進行評價後，挑選出分類錯誤的樣本回饋給樣本與特徵選擇器141以更新訓練樣本選擇權重，接著，反覆疊代訓練直到精確度達到滿意的門檻值為止。待訓練完成後，此意圖辨識集成學習模組14即可辨識出對話文句之意圖。

第5圖為本發明所述系統中半監督式對話主題模組的執行流程圖。請一併參考第1圖，半監督式對話主題模型13主要是利用已標記資料引導未標記資料分析對話文句隱含的主題意涵，使用半監督式的原因是已標記資料有限且取得成本高，而未標記資料相對容易取得但單獨使用未標記資料建模效果較不顯著且難以解釋，故結合兩者資料進行建模能利用已知類別的已標記資料引 導未知類別的未標記資料，藉此產生較有意義的分群結果。

如圖所示，半監督式對話主題模型13組成元件包括詞袋模型131、詞頻-反向文件頻率(TFIDF，term frequency-inverse document frequency)模型132、半監督式線性判斷分析(LDA，Linear Discriminant Analysis)對話主題模型133，最後會產出對話主題分布134。據此，半監督式對話主題模型13根據先前文字前處理模組12所輸出的未標記資料(第3圖之未標記資料詞彙與向量126)與已標記資料(第3圖之已標記資料詞彙與向量127)所組成的訓練資料進行半監督式對話主題模型訓練建模，半監督式對話主題模型之建模方式包含但不限定於使用模式匹配、機器學習模型(LDA、LSI…)、深度學習模型(TopicRNN、LSTM+LDA…)等個別或其組合方式，當半監督式對話主題模型訓練完成後，將欲分析所屬主題的文句輸入此半監督式對話主題模型中，即可產生該段文字主題機率分布。

第6圖為本發明之使用意圖偵測集成學習之對話方法的步驟圖。

於步驟S61中，接收用戶輸入之文字內容。本步驟即接收用戶所輸入之文字內容。於一實施例中，如用戶實際輸入為語音，其應用前端可以銜接語音辨識器，經語音轉文字處理後，再作後續處理。

於步驟S62中，定義該用戶輸入之文字內容為未標記資料，將該未標記資料以及既有的已標記資料進行文字前處理，以將詞彙轉為向量表示法。本步驟即將用戶輸入之文字內容進行文字前處理並輸出文字前處理結果，文字內容來源可以是前面步驟S61所接收的用戶所輸入之文字內容(即未標記資料)，也可以是已標記資料(後面步驟S67所產生者)，文字前處理包含但不限定於文句正規化、文句斷詞以及詞彙向量化，文句正規化會將特定符號或語文濾除及編碼轉換，文句斷詞會將用戶輸入文字內容以詞為單位做分隔，詞彙向量化會將 斷詞後的詞彙轉為向量表示法，最後可將文字前處理後的結果分成已標記與未標記內容分別儲存於不同資料庫中。

於步驟S63中，將該未標記資料及該已標記資料導入半監督式對話主題模型以輸出對話主題分布。本步驟是將已標記資料與未標記資料導入半監督式對話主題模型，進而取得對話主題分布，如前所述，大量運用未標注的對話文字內容建立主題模型，並利用已標記資料引導未標記資料而分析對話文句隱含的主題意涵，藉以產生較有意義的分群結果，也就是說，最後產生對話主題分布可為之後訓練資料(即透過意圖辨識器)的主題特徵。

於步驟S64中，結合該對話主題分布與對話文字內容作為輸入，整合多個意圖決策結果以及強化錯誤樣本學習的方法，以產出最終意圖分類的決策。於本步驟中，結合對話主題分布與對話文字內容為輸入，整合多個意圖辨識器與強化錯誤樣本學習的方法，針對訓練資料進行樣本與特徵選取以組成多組訓練資料子集。將每批訓練資料分別對應一組意圖辨識器進行訓練，再整合多個意圖決策結果以產出最終意圖分類的決策。另外，最後在對最終意圖與真實的意圖進行衡量，回饋錯誤分類的訓練樣本以提高它們下次被挑選的權重，再透過反覆疊代訓練直到正確率達到滿意的門檻值為止，據上，訓練完後，輸入當前對話文字內容與步驟S64產出的對話主題分布情況，即可辨別出該對話意圖。

於步驟S65中，依據該最終意圖分類以決定系統回覆內容。於本步驟中，可透過資料庫查詢，系統回覆內容類型係包含但不限定於回覆用戶問題、持續性對話、與用戶確認等部分。

於步驟S66中，回覆該系統回覆內容至該用戶，並接收該用戶之 回饋資料以判斷該回覆資料之正確性。本步驟即將系統產生的系統回覆內容回覆給用戶，接著進行回覆資料正確性判斷，確認對話系統是否回覆正確。

於步驟S67中，對該用戶之文字內容及回饋資料進行對應標注及更新，進而將標注後資料匯入該半監督式對話主題模型以進行更新與學習。本步驟即對於使用者問句以及使用者回饋進行對應標注及更新，並將標注後資料匯入半監督式對話主題模型進行模型更新與學習以精進系統。

以下將參考第1-4圖以一具體範例說明本發明之使用半監督式意圖偵測集成學習的對話系統於一實施例中個組件的運作情況。

首先，接收文字輸入模組11會透過文字輸入介面接收使用者所輸入於此對話系統之文字內容，例如此實施例為：「我要查日本的囯際漫遊方案@#$@」。上述會傳遞給文字前處理模組12。接著，文字前處理模組12會先將用戶文字輸入進行文句正規化123，只保留中文英文及少部分標點符號，並且將中文轉成繁體字。此時，實施例文字轉為「我要查日本的國際漫遊方案」。

接著進行文句斷詞與去贅詞124，將語句依據斷詞器分隔成一個一個詞彙並將列於停止詞表(stopwords)中的詞彙去除，於本實施例中，會先將文句斷詞為「我 要查 日本 國際漫遊 方案」，並假設詞彙「我」跟「方案」出現在停止詞表中，因而最終去贅後的斷詞結果為「要查 日本 國際漫遊」。接著，進行詞彙向量化125，將斷詞後的詞彙轉化為其代表向量，此實施例採用One-Hot向量表示法，向量長度為辭典大小，每個維度代表辭典裡的一個詞，每個詞彙的One-Hot向量只有在其唯一代表維度是1，其他維度都是0，例如：「日本」的一種One-Hot向量表示為[0,1,0,0,0,0,0]。最後，將文字正規化及斷詞結果以及詞彙向量化結果整合作為文字前處理結果，傳遞給半監督式對話主題模組13內 的半監督式對話主題模型。因此，此實施例輸入「我要查日本的囯際漫遊方案@#$@」於文字前處理模組12，則文字前處理結果將包含文字正規化及斷詞去贅後結果：「要查 日本 國際 漫遊」以及詞彙向量化結果「要查=[1,0,0,0,0,0,0]；日本=[0,1,0,0,0,0,0]；國際=[0,0,1,0,0,0,0]；漫遊=[0,0,0,1,0,0,0]」。

再來，半監督式對話主題模型會透過預先蒐集好的訓練資料，即未標記資料詞彙與向量126與已標記資料詞彙與向量127，訓練一個主題模型。於此實施例中，以半監督式的隱含狄利克雷分布(Latent Dirichlet allocation，LDA)為例，由於LDA模型須採用以頻率為主的表示方式進行，故需在對訓練資料進行詞袋模型(bag of words，BOW)131轉換，而為避免主題常常被高頻詞佔據也可再經TFIDF模型132進行轉換。

傳統LDA模型生成的實施步驟如下：(1)從狄利克雷分布α中採樣生成文章m的主題分布θ _m ；(2)從主題的多項式分布θ _m 中採樣生成文章第n個詞的主題Z _m,n ；(3)從狄利克雷分布β中採樣生成主題Z _m,n 對應的詞彙分布

；(4)從詞彙的多項式分布

中採樣最終生成詞彙W _m,n 。

上述方式為無監督式的學習演算法(即無使用標記資料)，加入標記資料於此無監督式模型轉化為半監督式模型的一個簡單方式為增強某些重要詞彙於特定主題中的出現機率。本實施例假設有一主題Z _i 為「日本國際漫遊」，而我們認為字彙組{"日本","出國"}與此主題高度相關，故在資料標注時將「日本國際漫遊」的主題Z _i 的關鍵字標注為W _key ={ 日本,出國 }，並使得該關鍵字出現於該主題的機率P(Z _i |W _key )=1。如此，在LDA的訓練過程中，將這些有標記的資料輸入，每當對應到有標記的主題與關鍵字匹配時，便能增強此關鍵字屬於此主題的機率。另外，也可設定一機率門檻值控制標記資料的影響程度，即隨 機產生一0~1之間隨機數，小於此門檻值才執行此方式。

訓練完成半監督式LDA對話主題模型133後，即可得到每個主題由哪些關鍵字依權重所組成，例如主題Z _i 由{0.5*日本+0.3*出國+0.1*國際+0.1*漫遊}所組成，因此，我們可以說此主題應可命名「日本國際漫遊」。假設我們預先設定共有100個主題，預測時輸入文句「我要出國到日本」經文字前處理後斷句成「出國 日本」，在分別對所有主題Z ₀~Z ₉₉計算此句屬於該主題的分數後，可得到100維預測此句對話主題分布134為Topics ¹⁰⁰=[0.12,0.3,0.8,...]。

接著，意圖辨識集成學習模組14會事先透過預先建立好的訓練資料即是將文字前處理模組12處理後的詞彙向量及匯入半監督式對話主題模型後產生的主題機率分布結果串接當成輸入特徵而組成訓練資料，訓練資料導入意圖辨識集成學習模組14，產出此文句的對話意圖。此實施例如第4圖所示，訓練資料透過樣本與特徵選擇器141進行樣本與特徵選取，其初始的選取方式可以抽取放回的隨機選取方式，抽取n組訓練資料大小為m的子集T ₁~T _n 。將每批訓練資料分別對應一組意圖辨識器142進行訓練，此實施例以SVM為意圖辨識器142的分類方法，因此，需分別訓練n組SVM模型SVM ₁~SVM _n ，訓練後同一輸入文句對每組SVM _i 模型可各別辨識該組所屬的意圖Intent _i 。

再經過一個意圖辨識集成器143整合各組SVM _i 的意圖Intent _i 結果來產出最終意圖分類的決策。於此，該意圖辨識集成器143的算法可使用投票法(Majority vote)來決定最後意圖。即收集所有意圖決策Intent _1~n 找出票數最多的那一類即為最終意圖。最後，在對最終意圖與該筆文句真實的意圖進行衡量，將錯誤分類的訓練樣本回饋給樣本與特徵選擇器141，以提高它們下次被挑選的權重。於此實施例中，權重的更新方式可以下方Adaboost的權重更新方式來實 行：

接著，反覆疊代訓練此模型直到模型正確率達到滿意的門檻值為止，門檻值可例如0.95。訓練完成後，此意圖辨識集成學習模組14即可辨識出對話文句之意圖。

接著，知識庫搜尋模組15藉由意圖辨識集成學習模組14產生的對話意圖查詢知識庫，再決定系統回覆內容。系統回覆內容類型係包含但不限定於回覆用戶問題、持續性對話以及用戶確認等部分。舉例來說，意圖辨識為「日本國際漫遊」查找知識庫後可回給用戶「請使用APP登入選取辦理國際漫遊選項->日本國際漫遊，選擇所需的使用日期，送出即可」。

系統回覆模組16主要功用為接收知識庫搜尋模組15所產生的系統回覆內容並回覆給用戶，接著，進行回覆資料正確性判斷以確認對話系統是否回覆正確，其會將回覆錯誤的用戶文字輸入資料紀錄下來傳給系統標注模組17進行資料標注。於此實施例中，會將回答文句「請使用APP登入選取辦理國際漫遊選項，選擇所需的使用日期，送出即可」傳送給用戶並接收用戶評價。系統可設計一評分介面於回覆訊息上，由用戶於接收畫面點選評價結果「喜歡」或「不喜歡」，而系統回覆模組16可將這些問題文句(Q)、答案文句(A)、意圖(Intent)與回覆評價(Reply)對應資料記錄下來，例如：{Q：「我要出國到日本」，A：「請使用APP登入選取辦理國際漫遊選項->日本國際漫遊，選擇所需的使用日期，送出即可」，Intent：「日本國際漫遊」，Reply：喜歡}。

系統標注模組17為更新意圖類別增進意圖辨識精確度的精進模組，其接收系統回覆模組16回饋為錯誤的用戶文字輸入資料並將此錯誤的資料標注成正確的意圖類別，如此，便能新增多筆有標注的訓練資料導入文字前處理模組12以產生新的詞彙向量，更新半監督式對話主題模型輸出新的主題分布，重新調整意圖辨識集成學習模組14以預測更精準的意圖類別，並能在知識庫中搜尋出更合適的回覆內容回給用戶，以完成對話系統效能的精進。

系統標注模組17的標注方式包含但不限於人工標注、系統自動預測標注或其組合之方法，還可利用半監督式對話主題模型找出與此錯誤資料相同主題意涵的相似文句用以輔助人工標注或採用最近鄰居演算法方式在對話主題空間中找出k個最相近的已標記資料，並排除該錯誤資料原先被意圖辨識集成學習模組14預測的意圖類別，藉此自動將此錯誤資料標為投票最高的意圖類別。於此實施例中，假設系統回覆模組16回傳一評價為錯誤(用戶不喜歡)的資料對{Q：「我要打電話到日本」，A：「使用APP登入選取辦理國際漫遊選項->日本國際漫遊，選擇所需的使用日期，送出即可」，Intent：「日本國際漫遊」，Reply：不喜歡}。而系統標注模組使用人工標注更新了{Q：「我要打電話到日本」，Intent：「撥打國際電話」}，將Q的斷詞結果「打電話 日本」透過半監督式對話主題模型找出最接近的兩個主題是Z _i {0.5*日本+0.3*出國+0.1*國際+0.1*漫遊}(分數為0.5)與Z _j {0.4*打電話+0.4*國際+0.1*撥打}(分數為0.4)，並分別列出兩主題的語句(Z _i ：我要辦理日本國際漫遊，Z _j ：我要打國際電話)供人工標注參考。當系統標注模組17使用自動標注則找出Z _i 和Z _j 中有標注的樣本，假設有5筆為S ₁{Q：我要辦理日本國際漫遊，Intent：「日本國際漫遊」}，S ₂{Q：我要去日本需要漫遊，Intent：「日本國際漫遊」}，S ₃{Q：我要打國際電話，Intent： 「撥打國際電話」}，S ₄{Q：我要撥打電話到韓國，Intent：「撥打國際電話」}，S ₅{Q：我要撥打電話到台北，Intent：「撥打市話」}，排除原本錯誤的標記「日本國際漫遊」的S _1,2後剩S _3,4,5三筆，使用最近鄰居演算法後得出自動標注的意圖為「撥打國際電話」。

綜上所述，本發明所提出之使用意圖偵測集成學習之對話系統及其方法，應用半監督式對話主題模型及意圖偵測集成學習來提升對話系統精確度，相較於過往習知技術，其具備以下特點及功效：第一，大量運用未標注的對話文字內容建立主題模型產生訓練資料的主題特徵，可增進意圖識別器輸入特徵的多樣性以提供精確的意圖辨識，減少對話輪次；第二，具備快速回饋及精進機制，可根據用戶回饋與系統回饋透過半監督式對話主題模型輔助AI訓練師於標注系統標記資料並且可根據用戶答案與機器人識別結果之差異對模型加強訓練，使系統效能更進步；以及第三，結合集成學習的更新模式，降低對話意圖主題模型的誤差與變異，以訓練出有效且即時更新的模型。

上述實施形態僅例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

1‧‧‧使用意圖偵測集成學習之對話系統

11‧‧‧接收文字輸入模組

12‧‧‧文字前處理模組

13‧‧‧半監督式對話主題模組

14‧‧‧意圖辨識集成學習模組

15‧‧‧知識庫搜尋模組

16‧‧‧系統回覆模組

17‧‧‧系統標注模組

Claims (14)

1. 一種使用意圖偵測集成學習之對話系統，包括：接收文字輸入模組，係用於接收文字內容；文字前處理模組，係接收該文字內容以定義為未標記資料，將該未標記資料以及既有的已標記資料進行文字前處理，以將詞彙轉為向量表示法；半監督式對話主題模組，係具有用於產出對話主題分布之半監督式對話主題模型，其中，該半監督式對話主題模型係依據來自該文字前處理模組之該未標記資料詞彙與向量以及該已標記資料詞彙與向量所組成之訓練資料而建模；意圖辨識集成學習模組，係具有樣本與特徵選擇器、意圖辨識器及意圖辨識集成器，該樣本與特徵選擇器針對該訓練資料進行樣本與特徵選取以組成多組訓練資料子集，各該訓練資料子集分別對應一個該意圖辨識器以進行訓練，進而透過該意圖辨識集成器整合多個該意圖辨識器之意圖決策結果，以產出最終意圖分類的決策；知識庫搜尋模組，係透過該最終意圖分類的決策進行查詢，以由資料庫取得系統回覆內容；系統回覆模組，係傳送該系統回覆內容，以接收有關該系統回覆內容是否正確之回覆資料；以及系統標注模組，係於該回覆資料為該系統回覆內容不正確時，將該文字內容標注成正確的意圖類別並且導入至該文字前處理模組以產生新的詞 彙向量，據此更新該半監督式對話主題模型以優化所輸出的主題機率分布，進而重新調整該意圖辨識集成學習模組所預測之意圖類別。
2. 如申請專利範圍第1項所述之使用意圖偵測集成學習之對話系統，其中，該文字前處理模組復包括：文句正規化單元，係用於濾除特定符號或語文，以及執行編碼轉換；文句斷詞單元，係用於將該文字內容以詞為單位進行分隔；以及詞彙向量化單元，係用於將斷詞後之詞彙轉為向量表示法。
3. 如申請專利範圍第1項所述之使用意圖偵測集成學習之對話系統，其中，該意圖辨識集成學習模組係採用引導聚集算法或逐步提升算法或其組合進行集成學習，藉以降低模型變異與減少模型誤差。
4. 如申請專利範圍第1項所述之使用意圖偵測集成學習之對話系統，其中，該意圖辨識集成學習模組復包括對該意圖辨識集成器所提供之最終意圖分類與該文字內容的真實意圖類別進行衡量，以將錯誤分類的訓練樣本回饋至該樣本與特徵選擇器以提高該錯誤分類的訓練樣本被挑選之權重，並透過反覆疊代訓練直到正確率達到門檻值為止。
5. 如申請專利範圍第1項所述之使用意圖偵測集成學習之對話系統，其中，該系統回覆內容包括回覆用戶問題、持續性對話或用戶確認。
6. 如申請專利範圍第1項所述之使用意圖偵測集成學習之對話系統，其中，該系統標注模組係利用該半監督式對話主題模組找出與錯誤資料相同主題意涵的相似文句，透過輔助標注或採用最近鄰居演算法方式以於對話主題空間中找出k個最相近的該已標記資料，並排除該錯誤資料 原先被該意圖辨識集成學習模組預測的意圖類別，以將該錯誤資料標為投票最高的意圖類別。
7. 如申請專利範圍第1項所述之使用意圖偵測集成學習之對話系統，其中，該系統標注模組將該文字內容標注成正確的意圖類別並且導入至該文字前處理模組，以成為既有的該已標記資料。
8. 一種使用半監督式意圖偵測集成學習的對話方法，包括：接收文字內容；定義該文字內容為未標記資料，將該未標記資料以及既有的已標記資料進行文字前處理，以將詞彙轉為向量表示法；將該未標記資料及該已標記資料導入半監督式對話主題模型以輸出對話主題分布；結合該對話主題分布與對話文字內容作為輸入，整合多個意圖決策結果以及強化錯誤樣本學習的方法，以產出最終意圖分類的決策；依據該最終意圖分類以決定系統回覆內容；回覆該系統回覆內容至用戶，以接收該用戶之回饋資料以判斷該回覆資料之正確性；以及對該文字內容及回饋資料進行對應標注及更新，且將標注後資料匯入該半監督式對話主題模型以進行更新與學習。
9. 如申請專利範圍第8項所述之使用半監督式意圖偵測集成學習的對話方法，其中，該文字前處理包括文句正規化、文句斷詞及詞彙向量化。
10. 如申請專利範圍第8項所述之使用半監督式意圖偵測集成學習的對話方法，其中，該最終意圖分類的決策之產出係包括針對該未標記資料詞彙與向量以及該已標記資料詞彙與向量進行樣本與特徵選取以組成多組訓練資料子集，各該訓練資料子集進行訓練後以整合該多個意圖決策結果。
11. 如申請專利範圍第8項所述之使用半監督式意圖偵測集成學習的對話方法，其中，該強化錯誤樣本學習的方法係包括對該最終意圖分類與該文字內容的真實意圖類別進行衡量，回饋錯誤分類的訓練樣本以提高該錯誤分類的訓練樣本被挑選之權重，並透過反覆疊代訓練直到正確率達到門檻值為止。
12. 如申請專利範圍第8項所述之使用半監督式意圖偵測集成學習的對話方法，其中，該系統回覆內容包括回覆用戶問題、持續性對話或用戶確認。
13. 如申請專利範圍第8項所述之使用半監督式意圖偵測集成學習的對話方法，其中，對該文字內容及回饋資料進行對應標注及更新係指利用該半監督式對話主題模型找出與錯誤資料相同主題意涵的相似文句，透過輔助標注或採用最近鄰居演算法方式以於對話主題空間中找出k個最相近的該已標記資料，並排除該錯誤資料原先預測的意圖類別，以將該錯誤資料標為投票最高的意圖類別。
14. 如申請專利範圍第8項所述之使用半監督式意圖偵測集成學習的對話方法，其中，對該文字內容及回饋資料進行對應標注及更新係包括將該文字內容標注成正確的意圖類別，以成為既有的該已標記資料。

Images