TWI728507B - 產生一對話狀態追蹤模型之裝置及方法 - Google Patents

產生一對話狀態追蹤模型之裝置及方法 Download PDF

Info

Publication number
TWI728507B
TWI728507B TW108137091A TW108137091A TWI728507B TW I728507 B TWI728507 B TW I728507B TW 108137091 A TW108137091 A TW 108137091A TW 108137091 A TW108137091 A TW 108137091A TW I728507 B TWI728507 B TW I728507B
Authority
TW
Taiwan
Prior art keywords
feature quantity
feature
field
candidate word
integrated
Prior art date
Application number
TW108137091A
Other languages
English (en)
Other versions
TW202118269A (zh
Inventor
楊偉楨
邱冠龍
邱育賢
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW108137091A priority Critical patent/TWI728507B/zh
Priority to CN201911069687.3A priority patent/CN112667786A/zh
Priority to US16/691,547 priority patent/US11182563B2/en
Publication of TW202118269A publication Critical patent/TW202118269A/zh
Application granted granted Critical
Publication of TWI728507B publication Critical patent/TWI728507B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks

Abstract

一種產生一對話狀態追蹤模型之裝置及方法。該裝置根據一詢問訊息所對應之一詢問欄位自一資料庫擷取該詢問欄位所對應之一欄位特徵量。該裝置自該資料庫擷取該詢問欄位所對應之至少一候選詞各自對應之一候選詞特徵量，且將之整合為一整合特徵量。該裝置還產生與該詢問訊息對應之一回覆訊息之至少一關聯子句，且根據該至少一關聯子句產生一語句關聯特徵量。該裝置還根據該欄位特徵量、該整合特徵量及該語句關聯特徵量產生一詢問欄位相關特徵，且根據該詢問欄位相關特徵訓練該對話狀態追蹤模型。

Description

產生一對話狀態追蹤模型之裝置及方法
本發明係關於一種產生一對話狀態追蹤模型之裝置及方法。具體而言，本發明係關於一種基於對話記錄產生一對話狀態追蹤模型之裝置及方法。
目前已有許多企業導入以人工智慧(Artificial Intelligence；AI)為基礎的對話式服務，例如：採用對話機器人提供客戶服務。這類對話式服務涉及自然語言理解、對話管理及自然語言生成等三個面向的技術。對話管理技術中的對話狀態追蹤係用以判讀對話中的關鍵資訊，為對話式服務能否正確地達成任務(例如：協助使用者辦理車禍理賠、協助使用者購票)的重要關鍵。
某些習知的對話管理技術為規則式的。概要而言，這類技術先對使用者所輸入/所說出的句子進行語意理解，再基於語意理解的結果以預定的規則回覆。這類技術極度仰賴語意理解的準確度，若未能準確地理解使用者所輸入/所說出的句子的語意，則基於預定規則所決定出來的回覆也會不準確。此外，由於這類技術受限於預定的規則，因此缺乏彈性。基於前述各種缺點，採用這類技術，一旦發生誤判，往往會導致連續的錯誤，而無法完成任務。
目前已有一些學習式的對話管理技術，其係利用特徵來訓練神經網路模型，再以經過訓練的神經網路模型作為對話狀態追蹤模型。然而，這類技術能否準確地進行對話狀態追蹤，進而完成任務，取決於訓練神經網路模型時所使用的特徵，以及如何以這些特徵訓練神經網路模型。儘管學習式的對話管理技術優於規則式的對話管理技術，但相較於由人類直接提供服務，仍有相當大的改善空間。有鑑於此，針對學習式的對話管理技術，如何提供適當的特徵(例如：含有語意及各種語句關聯的特徵)來訓練神經網路模型作為對話狀態追蹤模型，以及如何利用這些特徵訓練該模型，乃業界亟需努力之目標。
本發明之一目的在於提供一種產生一對話狀態追蹤模型之裝置。該裝置包含一儲存器及一處理器，其中該處理器電性連接至該儲存器。該儲存器儲存一資料庫。該處理器根據一詢問訊息所對應之一詢問欄位自該資料庫擷取該詢問欄位所對應之一欄位特徵量，自該資料庫擷取該詢問欄位所對應之至少一候選詞各自對應之一候選詞特徵量，且將該至少一候選詞特徵量整合為一整合特徵量。該處理器還產生與該詢問訊息對應之一回覆訊息之至少一關聯子句，根據該至少一關聯子句產生一語句關聯特徵量，且根據該欄位特徵量、該整合特徵量及該語句關聯特徵量產生一詢問欄位相關特徵。該處理器還根據該詢問欄位相關特徵訓練該對話狀態追蹤模型。
本發明之又一目的在於提供一種產生一對話狀態追蹤模型之方法，其係適用於一電子裝置。該電子裝置儲存一資料庫。該方法包含下 列步驟：(a)根據一詢問訊息所對應之一詢問欄位自該資料庫擷取該詢問欄位所對應之一欄位特徵量，(b)自該資料庫擷取該詢問欄位所對應之至少一候選詞各自對應之一候選詞特徵量，(c)將該至少一候選詞特徵量整合為一整合特徵量，(d)產生與該詢問訊息對應之一回覆訊息之至少一關聯子句，(e)根據該至少一關聯子句產生一語句關聯特徵量，(f)根據該欄位特徵量、該整合特徵量及該語句關聯特徵量產生一詢問欄位相關特徵，以及(g)根據該詢問欄位相關特徵訓練該對話狀態追蹤模型。
本發明所提供之產生一對話狀態追蹤模型之技術(至少包含裝置及方法)會根據一輪對話中的詢問訊息所對應之詢問欄位，自資料庫擷取出不同的特徵量(包含詢問欄位本身所對應之欄位特徵量及候選詞所對應之候選詞特徵量)。此外，本發明會找出該輪對話中的回覆訊息的關聯子句，且據以產生語句關聯特徵量。本發明再根據自資料庫擷取出的特徵量及語句關聯特徵量產生用以訓練一對話狀態追蹤模型之詢問欄位相關特徵，且以詢問欄位相關特徵來訓練該對話狀態追蹤模型。
在某些實施態樣中，本發明還可利用該回覆訊息從資料庫擷取出其他的特徵量，而這些其他的特徵量與關聯資訊及語意資訊相關。本發明還可利用這些其他的特徵量，產生其他用以訓練該對話狀態追蹤模型之特徵(例如：進階關聯特徵、語意理解特徵)，再以詢問欄位相關特徵與進階關聯特徵或/及語意理解特徵一起來訓練對話狀態追蹤模型。
本發明在產生用來訓練對話狀態追蹤模型的各種特徵時，考量了與詢問訊息及回覆訊息相關的多種特徵量，考量了回覆訊息的各種關聯子句及語意，且考量了這些特徵量、關聯子句與語意彼此的交互影響，因 此以本發明所產生之特徵訓練出來的對話狀態追蹤模型能大幅度地提高對話狀態追蹤的準確度，進而提高完成任務的比例。
以下結合圖式闡述本發明之詳細技術及實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之特徵。
1:模型產生裝置
10:對話狀態追蹤模型
11:儲存器
13:處理器
15:資料庫
12a、……、12k:預設欄位
D:對話記錄
D1、D2、D3:對話
Q1、Q2、Q3、Qm:詢問訊息
R1、R2、R3、Rm:回覆訊息
f1、f4:欄位特徵量
f2、f5:回覆特徵量
f3:語句關聯特徵量
I1~I5:整合特徵量
v11、……、v1n、v21、……、v2m、v31、……、v3p:候選詞特徵量
v41、……、v4q、v51、……、v5s:候選詞特徵量
O1~O8:輸出特徵量
tf1:詢問欄位相關特徵
tf2:進階關聯特徵
tf3:語意理解特徵
OP1~OP12:運作
NN1、NN2、NN3、NN4、NN5:神經網路模型
S201~S213:步驟
S231~S237:步驟
S241~S247:步驟
S251~S267:步驟
第1A圖描繪第一實施方式之產生模型裝置1之架構示意圖；第1B圖描繪對話記錄之一具體範例；第1C圖描繪產生詢問欄位相關特徵tf1之示意圖；第1D圖描繪產生詢問欄位相關特徵tf1之另一示意圖；第1E圖描繪產生進階關聯特徵tf2之示意圖；第1F圖描繪產生語意理解特徵tf3之示意圖；第2A圖描繪第二實施方式之產生模型方法之流程圖；第2B圖描繪某些實施方式之產生模型方法之流程圖；第2C圖描繪某些實施方式之產生模型方法之部分流程圖；以及第2D圖描繪某些實施方式之產生模型方法之部分流程圖。
以下將透過實施方式來解釋本發明所提供之產生一對話狀態追蹤模型之裝置及方法。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於以下實施方式之說明僅在於闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪 示，且圖式中各元件之尺寸以及元件間之尺寸比例僅為便於繪示及說明，而非用以限制本發明之範圍。
本發明之第一實施方式為一種產生一對話狀態追蹤模型10之裝置(下稱「模型產生裝置」)1，其架構示意圖係描繪於第1A圖。模型產生裝置1包含一儲存器11及一處理器13，且二者電性連接。儲存器11可為一硬碟(Hard Disk Drive；HDD)、一通用串列匯流排(Universal Serial Bus；USB)碟、一光碟(Compact Disk；CD)或本發明所屬技術領域中具有通常知識者所知之任何其他具有相同功能之非暫態儲存媒體或裝置。處理器13可為各種處理器、中央處理單元(Central Processing Unit；CPU)、微處理器(Microprocessor Unit；MPU)、數位訊號處理器(Digital Signal Processor；DSP)或本發明所屬技術領域中具有通常知識者所知之任何其他具有相同功能之計算裝置。
於本實施方式中，模型產生裝置1之儲存器11儲存一資料庫15，且資料庫15包含某一任務(例如：保險理賠、售票系統，但不以此為限)之對話常用的複數個詞彙、各詞彙之一特徵量以及詞彙間之對應關係(例如：哪些詞彙之間彼此具有關聯)。各詞彙之特徵量可為一特徵向量。舉例而言，該等特徵量可為將該等詞彙經由一詞轉向量(word to vector)演算法轉換至一向量空間後所得到之複數個詞向量。
於本實施方式中，儲存器11還儲存一人機對話系統(例如：一對話機器人)與一使用者間之一對話記錄D。對話記錄D包含至少一輪對話，各輪對話包含一詢問訊息及一回覆訊息，且同一輪對話中之詢問訊息及回覆訊息彼此對應。一輪對話中之詢問訊息為人機對話系統所提出之問題， 而一輸對話中之回覆訊息為使用者針對該詢問訊息之回覆。為便於理解，請參第1B圖所示之一具體範例，但其非用以限制本發明之範圍。於該具體範例中，一對話記錄包含三輪對話D1、D2、D3，其中對話D1包含彼此對應之詢問訊息Q1及回覆訊息R1，對話D2包含彼此對應之詢問訊息Q2及回覆訊息R2，且對話D3包含彼此對應之詢問訊息Q3及回覆訊息R3。
需說明者，於某些實施方式中，對話記錄D可不儲存於儲存器11，而是由模型產生裝置1所包括之一接收介面(例如：一通用串列匯流排介面、一網路介面，但不以此為限)接收。在該等實施方式中，該接收介面與處理器13電性連接。
於本實施方式中，模型產生裝置1之處理器13會根據對話記錄D中之某一輪對話之詢問訊息Qm及回覆訊息Rm產生用來訓練一對話狀態追蹤模型10之詢問欄位相關特徵tf1，再利用詢問欄位相關特徵tf1來訓練對話狀態追蹤模型10。
詢問訊息Qm為人機對話系統所提出之問題，因此詢問訊息Qm預設地對應至一詢問欄位(未繪示)。詢問訊息Qm所對應之詢問欄位代表人機對話系統期望從使用者得到之資訊。舉例而言，若詢問訊息Qm之內容為「請問您的生日？」，則其對應之詢問欄位可為「生日」，代表人機對話系統期望得知使用者之生日。某些詢問訊息Qm則預設地對應至一詢問欄位及一欄位回覆(未繪示)。詢問訊息Qm所對應之詢問欄位及欄位回覆，代表人機對話系統期望使用者確認某一資訊之正確性。舉例而言，若詢問訊息Qm之內容為「請問您的生日是3月3日嗎？」，則其對應之詢問欄位及欄位回覆可分別為「生日」及「3月3日」，代表人機對話系統希望使用者確認其生 日是否為3月3日。
請參第1C圖。茲先說明詢問訊息Qm對應至一詢問欄位時處理器13所執行之運作。處理器13根據詢問訊息Qm所對應之詢問欄位(例如：生日)自資料庫15擷取詢問欄位所對應之一欄位特徵量f1。具體而言，處理器13係從資料庫15中找出與詢問欄位相同之詞彙，並以該詞彙對應之特徵量作為欄位特徵量f1。此外，處理器13還自資料庫15擷取詢問欄位所對應之至少一候選詞(未繪示)各自對應之一候選詞特徵量。具體而言，處理器13根據資料庫15所儲存之詞彙間之對應關係，找出詢問欄位此一詞彙所對應之詞彙作為候選詞，再擷取出各候選詞之特徵量作為候選詞特徵量。為便於後續說明，茲假設處理器13經前述處理後得到候選詞特徵量v11、……、v1n。之後，處理器13以一運作OP1(例如：加總、串接(concatenate)、內積，但不以此為限)將候選詞特徵量v11、……、v1n整合為一整合特徵量I1。舉例而言，處理器13可將候選詞特徵量v11、……、v1n加總，且以加總後之結果作為整合特徵量I1。
另外，處理器13針對與詢問訊息Qm對應之回覆訊息Rm分析，找出回覆訊息Rm之各種關聯子句，再根據回覆訊息Rm之關聯子句產生一語句關聯特徵量f3。舉例而言，處理器13可將回覆訊息Rm斷詞並標註詞性，再採用中華民國發明專利第I666558號所揭露之技術來產生回覆訊息Rm之關聯子句。處理器13可將各關聯子句個別地輸入一神經網路模型(例如：卷積神經網路(Convolutional Neural Network；CNN)，但不以此為限)以產生一關聯子句特徵量，再將所有的關聯子句特徵量整合(例如：加總、串接、內積，但不以此為限)為語句關聯特徵量f3。需說明者，前述產生回覆訊息 Rm之關聯子句之技術為本發明所屬技術領域中具有通常知識者所熟知的技術，故未贅言。
接著，處理器13根據欄位特徵量f1、整合特徵量I1及語句關聯特徵量f3產生一詢問欄位相關特徵tf1。於某些實施方式中，處理器13藉由一運作OP2將欄位特徵量f1及整合特徵量I1整合為一輸出特徵量O1。舉例而言，處理器13可將欄位特徵量f1與整合特徵量I1進行向量內積以得到輸出特徵量O1，將欄位特徵量f1與整合特徵量I1進行向量內積之用意在於找出二者間之相似度，亦可理解為找出欄位特徵量f1落在詢問欄位空間中的那一區塊。接著，處理器13將輸出特徵量O1輸入一神經網路模型NN1以產生一輸出特徵量O2。之後，處理器13以一運作OP3將輸出特徵量O2及語句關聯特徵量f3整合(例如：加總、串接、內積，但不以此為限)以產生一輸出特徵量O3。之後，處理器13將輸出特徵量O3輸入一神經網路模型NN2以產生詢問欄位相關特徵tf1。上述神經網路模型NN1、NN2各可為一卷積神經網路、一深度神經網路(Deep Neural Network；DNN)，但不以此為限。
之後，處理器13根據詢問欄位相關特徵tf1訓練對話狀態追蹤模型10。需說明者，對話狀態追蹤模型10可為一卷積神經網路、一深度神經網路或其他神經網路。
請參第1D圖。接著說明詢問訊息Qm對應至一詢問欄位及一欄位回覆時處理器13所執行之運作。與第1C圖所示之情況類似，處理器13會根據詢問訊息Qm所對應之詢問欄位，採取雷同之運作產生欄位特徵量f1與整合特徵量I1，茲不贅言。以下說明將著重於與第1C圖不同之處。
處理器13還會根據詢問訊息Qm所對應之欄位回覆自資料庫 15擷取其所對應之一回覆特徵量f2。具體而言，處理器13係從資料庫15中找出與欄位回覆相同之詞彙，並以該詞彙對應之特徵量作為回覆特徵量f2。舉例而言，若詢問訊息Qm之內容為「請問您的生日是3月3日嗎？」，則其對應之欄位回覆可為「3月3日」，處理器13便據以擷取出對應之回覆特徵量f2。此外，處理器13自資料庫15擷取欄位回覆所對應之至少一候選詞(未繪示)各自對應之一候選詞特徵量。具體而言，處理器13根據資料庫15所儲存之詞彙間之對應關係，找出欄位回覆(例如：3月3日)此一詞彙所對應之詞彙作為候選詞，再擷取出各候選詞之特徵量作為候選詞特徵量。為便於後續說明，茲假設處理器13經前述處理後得到候選詞特徵量v21、……、v2m。之後，處理器13以一運作OP4(例如：加總、串接、內積，但不以此為限)將候選詞特徵量v21、……、v2m整合為一整合特徵量I2。
之後，處理器13便根據欄位特徵量f1、回覆特徵量f2、整合特徵量I1、I2及語句關聯特徵量f3產生詢問欄位相關特徵tf1。於某些實施方式中，處理器13藉由運作OP2將欄位特徵量f1及整合特徵量I1整合為輸出特徵量O1，其已詳述於前。此外，處理器13藉由一運作OP5將回覆特徵量f2及整合特徵量I2整合為輸出特徵量O4。舉例而言，處理器13可將回覆特徵量f2與整合特徵量I2進行向量內積以得到輸出特徵量O4，將回覆特徵量f2與整合特徵量I2進行向量內積之用意在於找出二者間之相似度，亦可理解為找出回覆特徵量f2落在欄位回覆空間中的那一區塊。接著，處理器13將輸出特徵量O1、輸出特徵量O4及語句關聯特徵量f3輸入一神經網路模型NN3以產生詢問欄位相關特徵tf1。前述神經網路模型NN3可為一卷積神經網路、一深度神經網路，但不以此為限。之後，處理器13根據詢問欄位相關特徵tf1訓練對話 狀態追蹤模型10。
請參第1E圖。於某些實施方式中，模型產生裝置1之處理器13除了產生詢問欄位相關特徵tf1，還會產生一進階關聯特徵tf2。在該等實施方式中，處理器13係利用詢問欄位相關特徵tf1及進階關聯特徵tf2訓練對話狀態追蹤模型10。
具體而言，在該等實施方式中，儲存器11還儲存複數個預設欄位12a、……、12k，且預設欄位12a、……、12k之內容為何係取決於模型產生裝置1目前所處理的對話記錄D與哪一工作任務相關。舉例而言，若對話記錄D與保險理賠相關，則預設欄位12a、……、12k可包含姓名、生日、地址、出險類型等等。
在該等實施方式中，處理器13根據回覆訊息Rm及預設欄位12a、……、12k，自資料庫15擷取至少一候選詞(未繪示)各自對應之候選詞特徵量。具體而言，處理器13檢視回覆訊息Rm中是否有對應至任一預設欄位12a、……、12k之相關資訊，再根據資料庫15所儲存之詞彙間之對應關係，找出相關資訊所對應之詞彙作為候選詞，再擷取出各候選詞之特徵量作為候選詞特徵量。為便於後續說明，茲假設處理器13經前述處理後得到候選詞特徵量v31、……、v3p。之後，處理器13以一運作OP6(例如：加總、串接、內積，但不以此為限)將候選詞特徵量v31、……、v3p整合為一整合特徵量I3。
接著，處理器13根據語句關聯特徵量f3及整合特徵量I3產生進階關聯特徵tf2。於某些實施方式中，處理器13藉由一運作OP7(例如：加總、串接、內積，但不以此為限)將語句關聯特徵量f3及整合特徵量I3整合 為一輸出特徵量O5，再將輸出特徵量O5輸入一神經網路模型NN4以產生進階關聯特徵。前述神經網路模型NN4可為一卷積神經網路、一深度神經網路，但不以此為限。之後，處理器13根據詢問欄位相關特徵tf1及進階關聯特徵tf2訓練對話狀態追蹤模型10。
請參第1F圖。於某些實施方式中，模型產生裝置1之處理器13除了產生詢問欄位相關特徵tf1，還會產生一語意理解特徵tf3。在該等實施方式中，處理器13係利用詢問欄位相關特徵tf1及語意理解特徵tf3訓練對話狀態追蹤模型10。
具體而言，處理器13對回覆訊息Rm進行自然語言理解(Natural Language Understanding；NLU)分析以得一語意理解欄位(未繪示)及一語意理解回覆(未繪示)，其目的在於透過自然語言理解之技術分析出回覆訊息Rm中的欄位訊息以及與欄位訊息對應之回覆。需說明者，本發明所屬技術領域中具有通常知識者應熟知自然語言理解之運作方式，故不詳述其運作細節。
處理器13自資料庫15擷取語意理解欄位所對應之一欄位特徵量f4。具體而言，處理器13係從資料庫15中找出與語意理解欄位相同之詞彙，並以該詞彙對應之特徵量作為欄位特徵量f4。另外，處理器13自資料庫15擷取語意理解欄位所對應之至少一候選詞(未繪示)各自對應之一候選詞特徵量。具體而言，處理器13根據資料庫15所儲存之詞彙間之對應關係，找出語意理解欄位此一詞彙所對應之詞彙作為候選詞，再擷取出各候選詞之特徵量作為候選詞特徵量。為便於後續說明，茲假設處理器13經前述處理後得到候選詞特徵量v41、……、v4q。之後，處理器13以一運作OP8(例如： 加總、串接、內積，但不以此為限)將候選詞特徵量v41、……、v4q整合為一整合特徵量I4。
另外，處理器13自資料庫15擷取語意理解回覆所對應之一回覆特徵量f5。具體而言，處理器13係從資料庫15中找出與語意理解回覆相同之詞彙，並以該詞彙對應之特徵量作為回覆特徵量f5。處理器13還自資料庫15擷取語意理解回覆所對應之至少一候選詞(未繪示)各自對應之一候選詞特徵量。具體而言，處理器13根據資料庫15所儲存之詞彙間之對應關係，找出語意理解回覆此一詞彙所對應之詞彙作為候選詞，再擷取出各候選詞之特徵量作為候選詞特徵量。為便於後續說明，茲假設處理器13經前述處理後得到候選詞特徵量v51、……、v5s。之後，處理器13以一運作OP9(例如：加總、串接、內積，但不以此為限)將候選詞特徵量v51、……、v5s整合為一整合特徵量I5。
處理器13根據欄位特徵量f4、整合特徵量I4、回覆特徵量f5及整合特徵量I5產生一語意理解特徵tf3。於某些實施方式中，處理器13以一運作OP10(例如：加總、串接、內積，但不以此為限)將欄位特徵量f4及整合特徵量I4整合為一輸出特徵量O6，以一運作OP11(例如：加總、串接、內積，但不以此為限)將回覆特徵量f5及整合特徵量I5整合為一輸出特徵量O7，且以一運作OP12(例如：加總、串接、內積，但不以此為限)將輸出特徵量O6及輸出特徵量O7整合為一輸出特徵量O8。之後，處理器13將輸出特徵量O8輸入一神經網路模型NN5以產生語意理解特徵tf3。前述神經網路模型NN5可為一卷積神經網路、一深度神經網路，但不以此為限。之後，處理器13根據詢問欄位相關特徵tf1及語意理解特徵tf3訓練對話狀態追蹤模型 10。
於某些實施方式中，模型產生裝置1可綜合地使用前述各種技術產生多種用來訓練對話狀態追蹤模型10之特徵，再以這些特徵一起來訓練對話狀態追蹤模型10。簡言之，在該等實施方式中，處理器13會採用前述的技術產生詢問欄位相關特徵tf1、進階關聯特徵tf2及語意理解特徵tf3，再以詢問欄位相關特徵tf1、進階關聯特徵tf2及語意理解特徵tf3訓練對話狀態追蹤模型10。
如前所述，對話記錄D可包含多輪對話，且各輪對話包含一詢問訊息及一回覆訊息。因此，在某些實施方式中，處理器13可基於各輪對話之詢問訊息及回覆訊息產生對應的詢問欄位相關特徵tf1，甚至還產生進階關聯特徵tf2或/及語意理解特徵tf3，再據以訓練對話狀態追蹤模型10，茲不贅言。
綜上所述，模型產生裝置1會根據詢問訊息所對應之詢問欄位，自資料庫擷取不同的特徵量(包含詢問欄位本身所對應之欄位特徵量及候選詞所對應之候選詞特徵量)。模型產生裝置1亦會找出回覆訊息之關聯子句，且據以產生語句關聯特徵量。之後，模型產生裝置1再根據自資料庫擷取出的特徵量及語句關聯特徵量產生用以訓練一對話狀態追蹤模型之詢問欄位相關特徵，且以詢問欄位相關特徵來訓練該對話狀態追蹤模型。
模型產生裝置1還可進一步地從回覆訊息找出其他可用的關聯資訊及語意資訊，據以產生進階關聯特徵及語意理解特徵，再利用詢問欄位相關特徵與進階關聯特徵或/及語意理解特徵來訓練該對話狀態追蹤模型。由於模型產生裝置1考量了詢問訊息及回覆訊息中的多種不同的特徵 量，考量了回覆訊息中的各種關聯子句及語意，且考量了這些特徵量、關聯子句及語意彼此的交互影響，因此大幅度地提高對話狀態追蹤的準確度，進而提高完成一對話任務的比例。
本發明之第二實施方式為一種產生一對話狀態追蹤模型之方法(下稱「模型產生方法」)，其主要流程圖係描繪於第2A圖。該模型產生方法適用於一電子裝置(例如：第一實施方式中之模型產生裝置1)。該電子裝置儲存一資料庫，其中該資料庫包含某一任務之對話常用的複數個詞彙、各詞彙之一特徵量以及詞彙問之對應關係。該電子裝置還儲存一人機對話系統與一使用者問之一對話記錄，且該對話記錄包含至少一輪對話。各輪對話包含一詢問訊息及一回覆訊息，且同一輪對話中之詢問訊息及回覆訊息彼此對應。
模型產生方法會根據一輪對話中之一詢問訊息及一回覆訊息產生用來訓練該對話狀態追蹤模型之詢問欄位相關特徵，再利用該詢問欄位相關特徵來訓練該對話狀態追蹤模型。具體而言，於步驟S201，由該電子裝置根據該詢問訊息所對應之一詢問欄位(例如：生日)自該資料庫擷取該詢問欄位所對應之一欄位特徵量。於步驟S203，由該電子裝置自該資料庫擷取該詢問欄位所對應之至少一候選詞各自對應之一候選詞特徵量。需說明者，本發明未限制步驟S201及步驟S203之執行順序；換言之，步驟S203亦可早於步驟S201執行，或者二步驟可同時執行。之後，於步驟S205，由該電子裝置將該至少一候選詞特徵量整合(例如：加總、串接、內積，但不以此為限)為一整合特徵量。
另外，於步驟S207，由該電子裝置產生該回覆訊息之至少一 關聯子句。需說明者，本發明亦未限制步驟S201、S203及S207之執行順序；換言之，步驟S207亦可早於步驟S201或/及S203執行，亦可與步驟S201或/及S203同時執行。於步驟S209，由該電子裝置根據該等關聯子句產生一語句關聯特徵量。接著，於步驟S211，由該電子裝置根據該欄位特徵量、該整合特徵量及該語句關聯特徵量產生該詢問欄位相關特徵。之後，於步驟S213，由該電子裝置根據該詢問欄位相關特徵訓練該對話狀態追蹤模型。
在某些實施方式中，步驟S211可包含：步驟(a)將該欄位特徵量及該整合特徵量整合(例如：加總、串接、內積，但不以此為限)為一輸出特徵量，步驟(b)將步驟(a)產生之輸出特徵量輸入一神經網路模型以產生另一輸出特徵量，步驟(c)將步驟(b)產生之輸出特徵量及該語句關聯特徵量整合(例如：加總、串接、內積，但不以此為限)以產生一輸出特徵量，以及步驟(d)將步驟(c)所產生之輸出特徵量輸入另一神經網路模型以產生該詢問欄位相關特徵。
於某些實施方式中，該詢問訊息除了對應至一詢問欄位，還對應至一欄位回覆。該等實施方式之模型產生方法可執行如第2B圖所示之流程。於該等實施方式中，該模型產生方法亦會執行前述步驟S201至步驟S209。另外，於步驟S231，由該電子裝置根據該詢問訊息所對應之該欄位回覆自該資料庫擷取其所對應之一回覆特徵量。於步驟S233，由該電子裝置自該資料庫擷取該欄位回覆所對應之至少一候選詞各自對應之一候選詞特徵量。需說明者，本發明亦未限制步驟S201、S203、S207、S231及S233之執行順序。之後，於步驟S235，由該電子裝置將步驟S233所擷取之該至少一候選詞特徵量整合(例如：加總、串接、內積，但不以此為限)為一整合特徵 量。於步驟S237，由該電子裝置根據該欄位特徵量、該回覆特徵量、步驟S205所產生之整合特徵量、步驟S235所產生之整合特徵量及該語句關聯特徵量產生該詢問欄位相關特徵。之後，於步驟S213，由該電子裝置根據該詢問欄位相關特徵訓練該對話狀態追蹤模型。
於某些實施方式中，步驟S237可包含：步驟(a)將該欄位特徵量及步驟S205所產生之整合特徵量整合(例如：加總、串接、內積，但不以此為限)為一輸出特徵量，步驟(b)將該回覆特徵量及步驟S235所產生之整合特徵量整合(例如：加總、串接、內積，但不以此為限)為另一輸出特徵量，以及步驟(c)將步驟(a)產生之輸出特徵量、步驟(b)產生之輸出特徵量及該語句關聯特徵量輸入一神經網路模型以產生該詢問欄位相關特徵。
於某些實施方式中，模型產生方法除了以第2A圖之流程或第2B圖之流程產生詢問欄位相關特徵，還會以第2C圖所示之流程產生一進階關聯特徵。
於該等實施方式中，該電子裝置儲存還儲存複數個預設欄位。於步驟S241，由該電子裝置根據該回覆訊息及該等預設欄位自該資料庫擷取至少一候選詞各自對應之一候選詞特徵量。舉例而言，步驟S241可檢視該回覆訊息中是否有對應至任一預設欄位之相關資訊，再根據資料庫所儲存之詞彙問之對應關係，找出相關資訊所對應之詞彙作為候選詞，再擷取出各候選詞之特徵量作為候選詞特徵量。於步驟S243，由該電子裝置將步驟S241所擷取出之該至少一候選詞特徵量整合為一整合特徵量。接著，於步驟S245，由該電子裝置根據該語句關聯特徵量及步驟S243所產生之整合特徵量產生一進階關聯特徵。之後，於步驟S247，由該電子裝置根據該詢問欄位 相關特徵及該進階關聯特徵訓練該對話狀態追蹤模型。
在某些實施方式中，前述步驟S245可包含：步驟(a)將該語句關聯特徵量及步驟S243所產生之整合特徵量整合為一輸出特徵量，以及步驟(b)將步驟(a)所產生之輸出特徵量輸入一神經網路模型以產生該進階關聯特徵。
於某些實施方式中，模型產生方法除了以第2A圖之流程或第2B圖之流程產生詢問欄位相關特徵，還會以第2D圖所示之流程產生一語意理解特徵。具體而言，於步驟S251，由該電子裝置對該回覆訊息進行自然語言理解分析以得一語意理解欄位及一語意理解回覆。於步驟S253，由該電子裝置自該資料庫擷取該語意理解欄位所對應之一欄位特徵量。於步驟S255，由該電子裝置自該資料庫擷取該語意理解欄位所對應之至少一候選詞各自對應之一候選詞特徵量。於步驟S257，由該電子裝置將步驟S255所擷取之該至少一候選詞特徵量整合為一整合特徵量。
接著，於步驟S259，由該電子裝置自該資料庫擷取該語意理解回覆所對應之一回覆特徵量。於步驟S261，由該電子裝置自該資料庫擷取該語意理解回覆所對應之至少一候選詞各自對應之一候選詞特徵量。需說明者，本發明未限制步驟S253、S255、S259及S261之執行順序。於步驟S263，由該電子裝置將步驟S261所擷取之該至少一候選詞特徵量整合為一整合特徵量。於步驟S265，由該電子裝置根據步驟S253所擷取之欄位特徵量、步驟S257所產生之整合特徵量、步驟S259所擷取之回覆特徵量及步驟S263所產生之整合特徵量產生該語意理解特徵。之後，於步驟S267，由該電子裝置根據該詢問欄位相關特徵及該語意理解特徵訓練該對話狀態追蹤模型。
在某些實施方式中，前述步驟S265可包含：步驟(a)將步驟S253所擷取之欄位特徵量及該步驟S257所產生之整合特徵量整合(例如：加總、串接、內積，但不以此為限)為一輸出特徵量，步驟(b)將步驟S259所擷取之回覆特徵量及步驟S263所產生之整合特徵量整合(例如：加總、串接、內積，但不以此為限)為另一輸出特徵量，步驟(c)將步驟(a)所產生之輸出特徵量及步驟(b)所產生之輸出特徵量整合為一輸出特徵量，以及步驟(d)將步驟(c)所產生之輸出特徵量輸入一神經網路模型以產生該語意理解特徵。
於某些實施方式中，該模型產生方法可綜合地使用前述第2A圖至第2D圖之流程來產生用來訓練對話狀態追蹤模型之各種特徵，再以這些特徵一起來訓練對話狀態追蹤模型。本發明所屬技術領域中具有通常知識者可直接瞭解如何基於上述實施方式綜合地使用前述流程，故不贅述。
另外，於某些實施方式中，若一對話記錄包含多輪對話且各輪對話包含一詢問訊息及一回覆訊息，則模型產生方法可基於各輪對話之詢問訊息及回覆訊息產生對應的詢問欄位相關特徵，甚至還可產生一進階關聯特徵及一語意理解特徵，再據以訓練該對話狀態追蹤模型，茲不贅言。
除了上述步驟，第二實施方式能執行第一實施方式所描述之模型產生裝置1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
需說明者，於本案的申請專利範圍中，某些用語(包含：欄 位特徵量、候選詞、候選詞特徵量、整合特徵量、輸出特徵量、回覆特徵量、神經網路模型等)前被冠以「第一」、「第二」及「第三」，該等數字僅用來區分該等用語係指不同項目。
綜上所述，本發明所提供之產生一對話狀態追蹤模型之技術(至少包含裝置及方法)根據詢問訊息所對應之詢問欄位自資料庫擷取出不同的特徵量(包含詢問欄位本身所對應之欄位特徵量及候選詞所對應之候選詞特徵量)。此外，本發明會找出該輪對話中的回覆訊息的關聯子句，且據以產生語句關聯特徵量。接著，本發明根據自資料庫擷取出的特徵量及語句關聯特徵量產生用以訓練一對話狀態追蹤模型之詢問欄位相關特徵，且以詢問欄位相關特徵來訓練該對話狀態追蹤模型。
本發明還可從回覆訊息找出其他可用的關聯資訊及語意資訊，本發明可利用這些不同的特徵量產生進階關聯特徵及語意理解特徵，且利用詢問欄位相關特徵與進階關聯特徵或/及語意理解特徵來訓練該對話狀態追蹤模型。由此可知，本發明考量了與詢問訊息及回覆訊息相關的多種不同的特徵量，考量了回覆訊息的各種關聯子句及語意，且考量了這些特徵量、關聯子句與語意彼此的交互影響，因此，本發明所提供之產生一對話狀態追蹤模型能大幅度地提高對話狀態追蹤的準確度，進而提高完成任務的比例。
上述實施方式僅為例示性說明本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何熟悉此技藝之人士可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。
Qm‧‧‧詢問訊息
Rm‧‧‧回覆訊息
f1‧‧‧欄位特徵量
I1‧‧‧整合特徵量
f3‧‧‧語句關聯特徵量
v11、……、v1n‧‧‧候選詞特徵量
O1、O2、O3‧‧‧輸出特徵量
OP1、OP2、OP3‧‧‧運作
NN1、NN2‧‧‧神經網路模型
tf1‧‧‧詢問欄位相關特徵
10‧‧‧對話狀態追蹤模型

Claims (20)

  1. 一種產生一對話狀態追蹤模型之裝置，包含：
    一儲存器，儲存一資料庫；以及
    一處理器，電性連接至該儲存器，根據一詢問訊息所對應之一詢問欄位自該資料庫擷取該詢問欄位所對應之一第一欄位特徵量，自該資料庫擷取該詢問欄位所對應之至少一第一候選詞各自對應之一第一候選詞特徵量，且將該至少一第一候選詞特徵量整合為一第一整合特徵量，
    其中，該處理器還產生與該詢問訊息對應之一回覆訊息之至少一關聯子句，根據該至少一關聯子句產生一語句關聯特徵量，根據該第一欄位特徵量、該第一整合特徵量及該語句關聯特徵量產生一詢問欄位相關特徵，且根據該詢問欄位相關特徵訓練該對話狀態追蹤模型。
  2. 如請求項1所述之裝置，其中該處理器還將該第一欄位特徵量及該第一整合特徵量整合為一第一輸出特徵量，將該第一輸出特徵量輸入一第一神經網路模型以產生一第二輸出特徵量，將該第二輸出特徵量及該語句關聯特徵量整合為一第三輸出特徵量，且將該第三輸出特徵量輸入一第二神經網路模型以產生該詢問欄位相關特徵。
  3. 如請求項1所述之裝置，其中該處理器還根據該詢問訊息所對應之一欄位回覆自該資料庫擷取該欄位回覆所對應之一第一回覆特徵量，自該資料庫擷取該欄位回覆所對應之至少一第二候選詞各自對應之一第二候選詞特徵量，且將該至少一第二候選詞特徵量整合為一第二整合特徵量，其中該處理器係根據該第一欄位特徵量、該第一回覆特徵量、該第一整合特徵量、該第二整合特徵量及該語句關聯特徵量產生該詢問欄位 相關特徵。
  4. 如請求項3所述之裝置，其中該處理器還將該第一欄位特徵量及該第一整合特徵量整合為一第一輸出特徵量，將該第一回覆特徵量及該第二整合特徵量整合為一第二輸出特徵量，將該第一輸出特徵量、該第二輸出特徵量及該語句關聯特徵量輸入一神經網路模型以產生該詢問欄位相關特徵。
  5. 如請求項1所述之裝置，其中該處理器還根據該回覆訊息及複數個預設欄位自該資料庫擷取至少一第二候選詞各自對應之一第二候選詞特徵量，將該至少一第二候選詞特徵量整合為一第二整合特徵量，且根據該語句關聯特徵量及該第二整合特徵量產生一進階關聯特徵，其中該處理器係根據該詢問欄位相關特徵及該進階關聯特徵訓練該對話狀態追蹤模型。
  6. 如請求項5所述之裝置，其中該處理器還將該語句關聯特徵量及該第二整合特徵量整合為一輸出特徵量，且將該輸出特徵量輸入一神經網路模型以產生該進階關聯特徵。
  7. 如請求項1所述之裝置，其中該處理器還對該回覆訊息進行自然語言理解(Natural Language Understanding；NLU)分析以得一語意理解欄位及一語意理解回覆，自該資料庫擷取該語意理解欄位所對應之一第二欄位特徵量，自該資料庫擷取該語意理解欄位所對應之至少一第二候選詞各自對應之一第二候選詞特徵量，且將該至少一第二候選詞特徵量整合為一第二整合特徵量，
    其中，該處理器還自該資料庫擷取該語意理解回覆所對應之一回覆 特徵量，自該資料庫擷取該語意理解回覆所對應之至少一第三候選詞各自對應之一第三候選詞特徵量，且將該至少一第三候選詞特徵量整合為一第三整合特徵量，
    其中，該處理器還根據該第二欄位特徵量、該第二整合特徵量、該回覆特徵量及該第三整合特徵量產生一語意理解特徵，
    其中，該處理器係根據該詢問欄位相關特徵及該語意理解特徵訓練該對話狀態追蹤模型。
  8. 如請求項7所述之裝置，其中該處理器還將該第二欄位特徵量及該第二整合特徵量整合為一第一輸出特徵量，將該回覆特徵量及該第三整合特徵量整合為一第二輸出特徵量，將該第一輸出特徵量及該第二輸出特徵量整合為一第三輸出特徵量，且將該第三輸出特徵量輸入一神經網路模型以產生該語意理解特徵。
  9. 如請求項1所述之裝置，其中該處理器還根據該回覆訊息及複數個預設欄位自該資料庫擷取至少一第二候選詞各自對應之一第二候選詞特徵量，將該至少一第二候選詞特徵量整合為一第二整合特徵量，且根據該語句關聯特徵量及該第二整合特徵量產生一進階關聯特徵，
    其中，該處理器還對該回覆訊息進行自然語言理解分析以得一語意理解欄位及一語意理解回覆，自該資料庫擷取該語意理解欄位所對應之一第二欄位特徵量，自該資料庫擷取該語意理解欄位所對應之至少一第三候選詞各自對應之一第三候選詞特徵量，且將該至少一第三候選詞特徵量整合為一第三整合特徵量，
    其中，該處理器還自該資料庫擷取該語意理解回覆所對應之一回覆 特徵量，自該資料庫擷取該語意理解回覆所對應之至少一第四候選詞各自對應之一第四候選詞特徵量，將該至少一第四候選詞特徵量整合為一第四整合特徵量，且根據該第二欄位特徵量、該第三整合特徵量、該回覆特徵量及該第四整合特徵量產生一語意理解特徵，
    其中，該處理器係根據該詢問欄位相關特徵、該進階關聯特徵及該語意理解特徵訓練該對話狀態追蹤模型。
  10. 如請求項3所述之裝置，其中該處理器還根據該回覆訊息及複數個預設欄位自該資料庫擷取至少一第三候選詞各自對應之一第三候選詞特徵量，將該至少一第三候選詞特徵量整合為一第三整合特徵量，且根據該語句關聯特徵量及該第三整合特徵量產生一進階關聯特徵，
    其中，該處理器還對該回覆訊息進行自然語言理解分析以得一語意理解欄位及一語意理解回覆，自該資料庫擷取該語意理解欄位所對應之一第二欄位特徵量，自該資料庫擷取該語意理解欄位所對應之至少一第四候選詞各自對應之一第四候選詞特徵量，且將該至少一第四候選詞特徵量整合為一第四整合特徵量，
    其中，該處理器還自該資料庫擷取該語意理解回覆所對應之一第二回覆特徵量，自該資料庫擷取該語意理解回覆所對應之至少一第五候選詞各自對應之一第五候選詞特徵量，將該至少一第五候選詞特徵量整合為一第五整合特徵量，且根據該第二欄位特徵量、該第四整合特徵量、該第二回覆特徵量及該第五整合特徵量產生一語意理解特徵，
    其中，該處理器係根據該詢問欄位相關特徵、該進階關聯特徵及該語意理解特徵訓練該對話狀態追蹤模型。
  11. 一種產生一對話狀態追蹤模型之方法，由一電子裝置執行，該電子裝置儲存一資料庫，該方法包含下列步驟：
    (a)根據一詢問訊息所對應之一詢問欄位自該資料庫擷取該詢問欄位所對應之一第一欄位特徵量；
    (b)自該資料庫擷取該詢問欄位所對應之至少一第一候選詞各自對應之一第一候選詞特徵量；
    (c)將該至少一第一候選詞特徵量整合為一第一整合特徵量；
    (d)產生與該詢問訊息對應之一回覆訊息之至少一關聯子句；
    (e)根據該至少一關聯子句產生一語句關聯特徵量；
    (f)根據該第一欄位特徵量、該第一整合特徵量及該語句關聯特徵量產生一詢問欄位相關特徵；以及
    (g)根據該詢問欄位相關特徵訓練該對話狀態追蹤模型。
  12. 如請求項11所述之方法，其中該步驟(f)包含下列步驟：
    將該第一欄位特徵量及該第一整合特徵量整合為一第一輸出特徵量；
    將該第一輸出特徵量輸入一第一神經網路模型以產生一第二輸出特徵量；
    將該第二輸出特徵量及該語句關聯特徵量整合為一第三輸出特徵量；以及
    將該第三輸出特徵量輸入一第二神經網路模型以產生該詢問欄位相關特徵。
  13. 如請求項11所述之方法，還包括下列步驟：
    根據該詢問訊息所對應之一欄位回覆自該資料庫擷取該欄位回覆對應之一第一回覆特徵量；
    自該資料庫擷取該欄位回覆所對應之至少一第二候選詞各自對應之一第二候選詞特徵量；以及
    將該至少一第二候選詞特徵量整合為一第二整合特徵量，
    其中，該步驟(f)係根據該第一欄位特徵量、該第一回覆特徵量、該第一整合特徵量、該第二整合特徵量及該語句關聯特徵量產生該詢問欄位相關特徵。
  14. 如請求項13所述之方法，其中該步驟(f)包含下列步驟：
    將該第一欄位特徵量及該第一整合特徵量整合為一第一輸出特徵量；
    將該第一回覆特徵量及該第二整合特徵量整合為一第二輸出特徵量；以及
    將該第一輸出特徵量、該第二輸出特徵量及該語句關聯特徵量輸入一神經網路模型以產生該詢問欄位相關特徵。
  15. 如請求項11所述之方法，還包括下列步驟：
    根據該回覆訊息及複數個預設欄位自該資料庫擷取至少一第二候選詞各自對應之一第二候選詞特徵量；
    將該至少一第二候選詞特徵量整合為一第二整合特徵量；以及
    根據該語句關聯特徵量及該第二整合特徵量產生一進階關聯特徵，
    其中，該步驟(g)係根據該詢問欄位相關特徵及該進階關聯特徵訓練該對話狀態追蹤模型。
  16. 如請求項15所述之方法，其中產生該進階關聯特徵之步驟包括下列步驟：
    將該語句關聯特徵量及該第二整合特徵量整合為一輸出特徵量；以及
    將該輸出特徵量輸入一神經網路模型以產生該進階關聯特徵。
  17. 如請求項11所述之方法，還包括下列步驟：
    對該回覆訊息進行自然語言理解分析以得一語意理解欄位及一語意理解回覆；
    自該資料庫擷取該語意理解欄位所對應之一第二欄位特徵量；
    自該資料庫擷取該語意理解欄位所對應之至少一第二候選詞各自對應之一第二候選詞特徵量；
    將該至少一第二候選詞特徵量整合為一第二整合特徵量；
    自該資料庫擷取該語意理解回覆所對應之一回覆特徵量；
    自該資料庫擷取該語意理解回覆所對應之至少一第三候選詞各自對應之一第三候選詞特徵量；
    將該至少一第三候選詞特徵量整合為一第三整合特徵量；以及
    根據該第二欄位特徵量、該第二整合特徵量、該回覆特徵量及該第三整合特徵量產生一語意理解特徵，
    其中，該步驟(g)係根據該詢問欄位相關特徵及該語意理解特徵訓練該對話狀態追蹤模型。
  18. 如請求項17所述之方法，其中產生該語意理解特徵之步驟包括下列步驟：
    將該第二欄位特徵量及該第二整合特徵量整合為一第一輸出特徵量；
    將該回覆特徵量及該第三整合特徵量整合為一第二輸出特徵量；
    將該第一輸出特徵量及該第二輸出特徵量整合為一第三輸出特徵量；以及
    將該第三輸出特徵量輸入一神經網路模型以產生該語意理解特徵。
  19. 如請求項11所述之方法，還包含下列步驟：
    根據該回覆訊息及複數個預設欄位自該資料庫擷取至少一第二候選詞各自對應之一第二候選詞特徵量；
    將該至少一第二候選詞特徵量整合為一第二整合特徵量；
    根據該語句關聯特徵量及該第二整合特徵量產生一進階關聯特徵；
    對該回覆訊息進行自然語言理解分析以得一語意理解欄位及一語意理解回覆；
    自該資料庫擷取該語意理解欄位所對應之一第二欄位特徵量；
    自該資料庫擷取該語意理解欄位對應之至少一第三候選詞各自對應之一第三候選詞特徵量；
    將該至少一第三候選詞特徵量整合為一第三整合特徵量；
    自該資料庫擷取該語意理解回覆所對應之一回覆特徵量；
    自該資料庫擷取該語意理解回覆所對應之至少一第四候選詞各自對應之一第四候選詞特徵量；
    將該至少一第四候選詞特徵量整合為一第四整合特徵量；以及
    根據該第二欄位特徵量、該第三整合特徵量、該回覆特徵量及該第 四整合特徵量產生一語意理解特徵，
    其中，該步驟(g)係根據該詢問欄位相關特徵、該進階關聯特徵及該語意理解特徵訓練該對話狀態追蹤模型。
  20. 如請求項13所述之方法，還包含下列步驟：
    根據該回覆訊息及複數個預設欄位自該資料庫擷取至少一第三候選詞各自對應之一第三候選詞特徵量；
    將該至少一第三候選詞特徵量整合為一第三整合特徵量；
    根據該語句關聯特徵量及該第三整合特徵量產生一進階關聯特徵；
    對該回覆訊息進行自然語言理解分析以得一語意理解欄位及一語意理解回覆；
    自該資料庫擷取該語意理解欄位所對應之一第二欄位特徵量；
    自該資料庫擷取該語意理解欄位對應之至少一第四候選詞各自對應之一第四候選詞特徵量；
    將該至少一第四候選詞特徵量整合為一第四整合特徵量；
    自該資料庫擷取該語意理解回覆所對應之一第二回覆特徵量；
    自該資料庫擷取該語意理解回覆所對應之至少一第五候選詞各自對應之一第五候選詞特徵量；
    將該至少一第五候選詞特徵量整合為一第五整合特徵量；以及
    根據該第二欄位特徵量、該第四整合特徵量、該第二回覆特徵量及該第五整合特徵量產生一語意理解特徵，
    其中，該步驟(g)係根據該詢問欄位相關特徵、該進階關聯特徵及該語意理解特徵訓練該對話狀態追蹤模型。
TW108137091A 2019-10-15 2019-10-15 產生一對話狀態追蹤模型之裝置及方法 TWI728507B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108137091A TWI728507B (zh) 2019-10-15 2019-10-15 產生一對話狀態追蹤模型之裝置及方法
CN201911069687.3A CN112667786A (zh) 2019-10-15 2019-11-05 产生一对话状态追踪模型的装置及方法
US16/691,547 US11182563B2 (en) 2019-10-15 2019-11-21 Apparatus and method for generating a dialogue state tracking model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108137091A TWI728507B (zh) 2019-10-15 2019-10-15 產生一對話狀態追蹤模型之裝置及方法

Publications (2)

Publication Number Publication Date
TW202118269A TW202118269A (zh) 2021-05-01
TWI728507B true TWI728507B (zh) 2021-05-21

Family

ID=75383995

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108137091A TWI728507B (zh) 2019-10-15 2019-10-15 產生一對話狀態追蹤模型之裝置及方法

Country Status (3)

Country Link
US (1) US11182563B2 (zh)
CN (1) CN112667786A (zh)
TW (1) TWI728507B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471887B2 (en) * 2013-11-27 2016-10-18 Ntt Docomo Inc. Automatic task classification based upon machine learning
CN107133349A (zh) * 2017-05-24 2017-09-05 北京无忧创新科技有限公司 一种对话机器人系统
TW201923569A (zh) * 2017-11-08 2019-06-16 香港商阿里巴巴集團服務有限公司 任務處理方法和設備
TWI666558B (zh) * 2018-11-20 2019-07-21 財團法人資訊工業策進會 語意分析方法、語意分析系統及非暫態電腦可讀取媒體
CN110188361A (zh) * 2019-06-10 2019-08-30 北京智合大方科技有限公司 结合文本、语音与情绪特征的语音意图识别方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041570B2 (en) * 2005-05-31 2011-10-18 Robert Bosch Corporation Dialogue management using scripts
US9201923B2 (en) * 2005-10-04 2015-12-01 Robert Bosch Corporation Method and apparatus for organizing and optimizing content in dialog systems
US9384450B1 (en) * 2015-01-22 2016-07-05 International Business Machines Corporation Training machine learning models for open-domain question answering system
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
US20180054523A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for context sensitive intelligent virtual agents
US10546066B2 (en) * 2016-08-31 2020-01-28 Microsoft Technology Licensing, Llc End-to-end learning of dialogue agents for information access
CN107885756B (zh) * 2016-09-30 2020-05-08 华为技术有限公司 基于深度学习的对话方法、装置及设备
US10268679B2 (en) * 2016-12-02 2019-04-23 Microsoft Technology Licensing, Llc Joint language understanding and dialogue management using binary classification based on forward and backward recurrent neural network
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置
US10515155B2 (en) * 2018-02-09 2019-12-24 Digital Genius Limited Conversational agent
JP6885506B2 (ja) * 2018-03-02 2021-06-16 富士通株式会社 応答処理プログラム、応答処理方法、応答処理装置および応答処理システム
US10824658B2 (en) * 2018-08-02 2020-11-03 International Business Machines Corporation Implicit dialog approach for creating conversational access to web content
US10915588B2 (en) * 2018-08-02 2021-02-09 International Business Machines Corporation Implicit dialog approach operating a conversational access interface to web content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471887B2 (en) * 2013-11-27 2016-10-18 Ntt Docomo Inc. Automatic task classification based upon machine learning
CN107133349A (zh) * 2017-05-24 2017-09-05 北京无忧创新科技有限公司 一种对话机器人系统
TW201923569A (zh) * 2017-11-08 2019-06-16 香港商阿里巴巴集團服務有限公司 任務處理方法和設備
TWI666558B (zh) * 2018-11-20 2019-07-21 財團法人資訊工業策進會 語意分析方法、語意分析系統及非暫態電腦可讀取媒體
CN110188361A (zh) * 2019-06-10 2019-08-30 北京智合大方科技有限公司 结合文本、语音与情绪特征的语音意图识别方法及装置

Also Published As

Publication number Publication date
US20210109996A1 (en) 2021-04-15
TW202118269A (zh) 2021-05-01
US11182563B2 (en) 2021-11-23
CN112667786A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN112528672B (zh) 一种基于图卷积神经网络的方面级情感分析方法及装置
CN108959246B (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
US20030004716A1 (en) Method and apparatus for determining a measure of similarity between natural language sentences
CN109920414A (zh) 人机问答方法、装置、设备和存储介质
CN112100354B (zh) 人机对话方法、装置、设备及存储介质
CN111984766A (zh) 缺失语义补全方法及装置
CN110245349B (zh) 一种句法依存分析方法、装置及一种电子设备
Su et al. Deep learning for conversational AI
CN111026840A (zh) 文本处理方法、装置、服务器和存储介质
CN113779190B (zh) 事件因果关系识别方法、装置、电子设备与存储介质
Stoyanchev et al. Action state update approach to dialogue management
CN113268974B (zh) 多音字发音标注方法、装置、设备及存储介质
CN112905772B (zh) 语义相关性分析方法、装置及相关产品
US20210327415A1 (en) Dialogue system and method of controlling the same
CN113065352B (zh) 一种电网调度工作文本的操作内容识别方法
TWI728507B (zh) 產生一對話狀態追蹤模型之裝置及方法
Wang et al. A framework for intelligent building information spoken dialogue system (iBISDS)
Yoon et al. Off-Topic Spoken Response Detection with Word Embeddings.
Kazakova et al. Analysis of natural language processing technology: modern problems and approaches
CN114239555A (zh) 一种关键词提取模型的训练方法及相关装置
Yeh et al. Ontology‐based speech act identification in a bilingual dialog system using partial pattern trees
CN115408500A (zh) 问答一致性的评估方法、装置、电子设备及介质
CN113064887B (zh) 数据管理方法、装置、设备及存储介质
CN112651223B (zh) 一种基于ner和nlu的骚扰信息判断方法及系统
Dong et al. Robot intent recognition method based on state grid business office