TW202217627A - 人工智慧模型訓練系統及人工智慧模型訓練方法 - Google Patents

人工智慧模型訓練系統及人工智慧模型訓練方法 Download PDF

Info

Publication number
TW202217627A
TW202217627A TW109136193A TW109136193A TW202217627A TW 202217627 A TW202217627 A TW 202217627A TW 109136193 A TW109136193 A TW 109136193A TW 109136193 A TW109136193 A TW 109136193A TW 202217627 A TW202217627 A TW 202217627A
Authority
TW
Taiwan
Prior art keywords
artificial intelligence
intelligence model
test
training
processor
Prior art date
Application number
TW109136193A
Other languages
English (en)
Other versions
TWI768513B (zh
Inventor
毛俊傑
許子豪
周生傑
黃錦軒
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW109136193A priority Critical patent/TWI768513B/zh
Publication of TW202217627A publication Critical patent/TW202217627A/zh
Application granted granted Critical
Publication of TWI768513B publication Critical patent/TWI768513B/zh

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Feedback Control In General (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本揭露提出一種人工智慧模型訓練系統及人工智慧模型訓練方法。人工智慧模型訓練系統包括人工智慧模型及處理器。處理器將多個同義字從第一訓練資料移除以獲得第二訓練資料，並根據第二訓練資料來訓練人工智慧模型。處理器將根據同義字擴展第一測試資料以獲得第二測試資料，並在測試操作中根據第二測試資料來測試人工智慧模型。當對應關鍵字詞的測試結果產生錯誤時，處理器根據關鍵字詞及第二訓練資料獲得第三訓練資料，並根據第三訓練資料來訓練人工智慧模型。

Description

人工智慧模型訓練系統及人工智慧模型訓練方法
本揭露是有關於一種人工智慧模型訓練系統及人工智慧模型訓練方法，且特別是有關於一種有效率地強化同義字詞學習的人工智慧模型訓練系統及人工智慧模型訓練方法。
一個好的機器學習模型必需要能夠做到一定程度的泛化(Generalization)。也就是說，即使某些字詞並未經過特別訓練，機器學習模型也能夠將這些未經訓練的字詞辨識出來。然而，要訓練出一個高度泛化的機器學習模型並不容易。因此，如何提供一個訓練方法來有效地訓練出高度泛化的機器學習模型是本領域技術人員應致力的目標。
有鑑於此，本揭露提供一種人工智慧模型訓練系統及人工智慧模型訓練方法，能夠有效率地強化同義字詞的學習。
本揭露提出一種人工智慧模型訓練系統，包括人工智慧模型及處理器耦接到人工智慧模型。處理器將多個同義字從第一訓練資料移除以獲得第二訓練資料，並根據第二訓練資料來訓練人工智慧模型。處理器將根據同義字擴展第一測試資料以獲得第二測試資料，並在測試操作中根據第二測試資料來測試人工智慧模型。當對應關鍵字詞的測試結果產生錯誤時，處理器根據關鍵字詞及第二訓練資料獲得第三訓練資料，並根據第三訓練資料來訓練人工智慧模型。
本揭露提出一種人工智慧模型訓練方法，適用於人工智慧模型訓練系統。人工智慧模型訓練系統包括人工智慧模型及處理器耦接到人工智慧模型。人工智慧模型訓練方法包括藉由處理器將多個同義字從第一訓練資料移除以獲得第二訓練資料，並根據第二訓練資料來訓練人工智慧模型。人工智慧模型訓練方法還包括藉由處理器將根據同義字擴展第一測試資料以獲得第二測試資料，並在測試操作中根據第二測試資料來測試人工智慧模型。人工智慧模型訓練方法還包括當對應關鍵字詞的測試結果產生錯誤時，藉由處理器根據關鍵字詞及第二訓練資料獲得第三訓練資料，並根據第三訓練資料來訓練人工智慧模型。
基於上述，本揭露的人工智慧模型訓練系統及人工智慧模型訓練方法會從第一訓練資料移除同義字以獲得第二訓練資料並根據第二訓練資料來訓練人工智慧模型。接著，第一測試資料會根據同義字擴展成第二測試資料且第二測試資料會用於測試人工智慧模型。當對應一個關鍵字詞(即，無法被泛化處理的字詞)的測試結果產生錯誤時，第三訓練資料會根據關鍵字詞及第二訓練資料來獲得且人工智慧模型會再次根據第三訓練資料來訓練。
在本揭露一實施例的語意模型中，使用者問題中重要的單詞可被稱作實體(Entity)，而使用者的目的可被稱作意圖(Intention)。舉例來說，在問句「where is the repair center in Tokyo」中，語意模型可理解語意並進而將資訊簡化成意圖「Find Repair Center」及實體「Tokyo」，並根據解析出的意圖及實體到系統後端資料庫尋找對應的答案提供給使用者。由於相同的意圖可能會發生在不同的實體上，因此語意模型必需要有能力學習並辨認不同實體。
表一為使用者詢問的句子及其意圖的範例。
表一
句子 意圖
Hi Greeting
Hello Greeting
Hi there Greeting
Where is the repair center in Tokyo Find Repair Center
I want to find a repair center in Taipei city Find Repair Center
I want to go to the acer repair center Find Repair Center
Why my wifi is not working Troubleshooting
I am not able to use my wifi Troubleshooting
My wifi doesn’t work Troubleshooting
Launch the system backup Use Application
Use the system backup Use Application
Please open the Acer Recovery Use Application
表一列舉了使用者問句及對應意圖的範例。句子中的「Tokyo」、「Taipei」、「wifi」、「system backup」、「Acer Recovery」則為實體。
在一實施例的語意模型中，「wifi」可透過人工替換成「WI-FI」或「wireless」等同義字，然而這會大幅提升人力成本。在另一實施例的語意模型中，可利用同義字詞應用程式介面(Application Program Interface，API)來替換句子中的同義字來增加語意模型對句子的意圖及/或實體中的同義字的識別能力。
圖1為根據本揭露一實施例的人工智慧模型訓練系統的方塊圖。
請參照圖1，本揭露一實施例的人工智慧模型訓練系統100包括人工智慧模型110及處理器120。處理器120耦接到人工智慧模型110。人工智慧模型訓練系統100例如是伺服器、個人電腦、筆記型電腦、智慧型手機、平板電腦或其他類似電子裝置。處理器120例如是中央處理單元(Central Processing Unit，CPU)或其他類似裝置。在一實施例中，人工智慧模型110可為聊天機器人模型，用於接收使用者問題並作出相關的回應。處理器120可對人工智慧模型110進行訓練、測試及分析等操作。
在一實施例中，處理器120將多個同義字從第一訓練資料移除以獲得第二訓練資料，並根據第二訓練資料來訓練人工智慧模型110。處理器120將根據同義字擴展第一測試資料以獲得第二測試資料，並在測試操作中根據第二測試資料來測試人工智慧模型110。當對應關鍵字詞的測試結果產生錯誤時，處理器120根據關鍵字詞及第二訓練資料獲得第三訓練資料，並根據第三訓練資料來訓練人工智慧模型110。
圖2為根據本揭露一實施例的人工智慧模型訓練方法的流程圖。
請同時參照圖1及圖2，本揭露一實施例的人工智慧模型訓練方法包括前處理流程210、訓練流程220、測試流程230及分析流程240。
在前處理流程210中，處理器120可將多個同義字213從第一訓練資料211中移除，而產生不具有同義字213的第二訓練資料212。由於第二訓練資料212不包括同義字213，因此可大幅增加人工智慧模型110的訓練速度。
在訓練流程220中，第二訓練資料212會被輸入人工智慧模型110中進行訓練操作221以產生已訓練模型222。
在測試流程230中，處理器120可根據同義字213來擴展第一測試資料231以獲得擴展後測試資料(或稱為第二測試資料)，並用擴展後測試資料對人工智慧模型110進行測試操作232以產生測試結果233。測試操作232的細節會在下文中詳細說明。
在分析流程240中，處理器120會對測試結果233進行分析操作241以產生分析結果242。當分析結果242記錄測試結果233的錯誤時，處理器120會根據產生錯誤的關鍵字詞及第二訓練資料212進行訓練資料調整操作244來獲得第三訓練資料243。訓練資料調整操作244的細節會在下文中詳細說明。
在一實施例中，測試操作232可包括第一測試及第二測試。在第一測試中，人工智慧模型110可接收句子以進行測試操作並產生對應句子的意圖及實體，且處理器120判斷意圖及實體是否與對應句子的預定意圖及預定實體相同。若判斷出的意圖及實體符合人工標註的正確答案則第一測試成功。在第二測試中，人工智慧模型110透過意圖及實體到資料庫中搜尋對應句子的答案(或稱為第一答案)。若人工智慧模型110透過意圖及實體到資料庫中正確地搜尋對應句子的第一答案則第二測試成功。
圖3為根據本揭露一實施例的分析流程的流程圖。
圖3，在步驟S301中，讀取測試結果。
在步驟S302中，從測試結果判斷錯誤類型。
在步驟S303中，判斷測試結果是否發生第一類錯誤或第二類錯誤。第一類錯誤及第二類錯誤會在下文中詳細說明。
若測試結果沒發生第一類錯誤或第二類錯誤，則在步驟S305中，產生分析結果。
若測試結果發生第一類錯誤或第二類錯誤，在步驟S304中，根據產生錯誤的關鍵字詞產生重新訓練資料(或稱為第三訓練資料)。
在步驟S305中，產生分析結果。
在一實施例中，當第一測試失敗且第二測試失敗則處理器120判斷發生第一類錯誤。第一類錯誤又可稱為缺同義字的錯誤，代表人工智慧模型110無法識別預先定義好的字詞且這個字詞不在同義字集中，也無法用預測出的意圖及實體到資料庫找出答案。當第一類錯誤發生時，處理器120可根據句子中的關鍵字詞搜尋同義字詞資料庫(例如，同義字詞應用程式介面)以獲得對應關鍵字詞的多個同義字詞，並根據同義字詞替換該句子中的關鍵字詞以獲得第三訓練資料。舉例來說，當人工智慧模型110無法識別「why my WI-FI is not working」時，處理器120可搜尋「WI-FI」的同義字「wifi」並以「wifi」替換問句中的「WI-FI」以將「why my wifi is not working」加入第三訓練資料中。
當第一測試成功且第二測試失敗則判斷發生第二類錯誤。第二類錯誤又可稱為缺答案的錯誤，代表人工智慧模型110可以識別預先定義好的字詞但這個字詞不在同義字集裡面，由於這組同義字詞沒有與資料庫中的答案關聯，因此人工智慧模型也無法用識別出的字詞到資料庫找出答案。當第二類錯誤發生時，處理器120可根據句子中的關鍵字詞搜尋同義字詞資料庫以獲得對應關鍵字詞的多個同義字詞，並將同義字詞關聯到資料庫中對應關鍵字詞的答案(或稱為第二答案)。舉例來說，當人工智慧模型110成功識別出「why my WI-FI is not working」但「WI-FI」並不在同義字集裡面時，處理器120可透過同義字詞資料庫將「WI-FI」對應的答案與「wifi」對應的答案關聯，以將系統後端資料庫的答案補充完整。
綜上所述，本揭露的人工智慧模型訓練系統及人工智慧模型訓練方法會從第一訓練資料移除同義字以獲得第二訓練資料並根據第二訓練資料來訓練人工智慧模型。接著，第一測試資料會根據同義字擴展成第二測試資料且第二測試資料會用於測試人工智慧模型。當對應一個關鍵字詞(即，無法被泛化處理的字詞)的測試結果產生錯誤時，第三訓練資料會根據關鍵字詞及第二訓練資料來獲得且人工智慧模型會再次根據第三訓練資料來訓練。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
100:人工智慧模型訓練系統 110:人工智慧模型 120:處理器 210:前處理流程 211:第一訓練資料 212:第二訓練資料 213:同義字 220:訓練流程 221:訓練操作 222:已訓練模型 230:測試流程 231:第一測試資料 232:測試操作 233:測試結果 240:分析流程 241:分析操作 242:分析結果 243:第三訓練資料 244:訓練資料調整操作 S301~S305:分析流程的步驟
圖1為根據本揭露一實施例的人工智慧模型訓練系統的方塊圖。 圖2為根據本揭露一實施例的人工智慧模型訓練方法的流程圖。 圖3為根據本揭露一實施例的分析流程的流程圖。
210:前處理流程
211:第一訓練資料
212:第二訓練資料
213:同義字
220:訓練流程
221:訓練操作
222:已訓練模型
230:測試流程
231:第一測試資料
232:測試操作
233:測試結果
240:分析流程
241:分析操作
242:分析結果
243:第三訓練資料
244:訓練資料調整操作

Claims (10)

  1. 一種人工智慧模型訓練系統，包括： 一人工智慧模型；以及 一處理器，耦接到該人工智慧模型，其中 該處理器將多個同義字從一第一訓練資料移除以獲得一第二訓練資料，並根據該第二訓練資料來訓練該人工智慧模型； 該處理器將根據該些同義字擴展一第一測試資料以獲得一第二測試資料，並在一測試操作中根據該第二測試資料來測試該人工智慧模型；以及 當對應一關鍵字詞的一測試結果產生一錯誤時，該處理器根據該關鍵字詞及該第二訓練資料獲得一第三訓練資料，並根據該第三訓練資料來訓練該人工智慧模型。
  2. 如請求項1所述的人工智慧模型訓練系統，其中在一第一測試中，該人工智慧模型接收一句子以進行該測試操作並產生對應該句子的一意圖及一實體，且處理器判斷該意圖及該實體是否與對應該句子的一預定意圖及一預定實體相同。
  3. 如請求項2所述的人工智慧模型訓練系統，其中在一第二測試中，該人工智慧模型透過該意圖及該實體到一資料庫中搜尋對應該句子的一第一答案。
  4. 如請求項3所述的人工智慧模型訓練系統，其中當該第一測試結果失敗且該第二測試結果失敗時，該處理器根據該句子中的該關鍵字詞搜尋一同義字詞資料庫以獲得對應該關鍵字詞的多個同義字詞，並根據該些同義字詞替換該句子中的該關鍵字詞以獲得該第三訓練資料。
  5. 如請求項3所述的人工智慧模型訓練系統，其中當該第一測試結果成功且該第二測試結果失敗時，該處理器根據該句子中的該關鍵字詞搜尋一同義字詞資料庫以獲得對應該關鍵字詞的多個同義字詞，並將該些同義字詞關聯到該資料庫中對應該關鍵字詞的一第二答案。
  6. 一種人工智慧模型訓練方法，適用於一人工智慧模型訓練系統，該人工智慧模型訓練系統包括一人工智慧模型及一處理器耦接到該人工智慧模型，該人工智慧模型訓練方法包括： 藉由該處理器將多個同義字從一第一訓練資料移除以獲得一第二訓練資料，並根據該第二訓練資料來訓練該人工智慧模型； 藉由該處理器將根據該些同義字擴展一第一測試資料以獲得一第二測試資料，並在一測試操作中根據該第二測試資料來測試該人工智慧模型；以及 當對應一關鍵字詞的一測試結果產生一錯誤時，藉由該處理器根據該關鍵字詞及該第二訓練資料獲得一第三訓練資料，並根據該第三訓練資料來訓練該人工智慧模型。
  7. 如請求項6所述的人工智慧模型訓練方法，其中在一第一測試中，該人工智慧模型接收一句子以進行該測試操作並產生對應該句子的一意圖及一實體，且處理器判斷該意圖及該實體是否與對應該句子的一預定意圖及一預定實體相同。
  8. 如請求項7所述的人工智慧模型訓練方法，其中在一第二測試中，該人工智慧模型透過該意圖及該實體到一資料庫中搜尋對應該句子的一第一答案。
  9. 如請求項8所述的人工智慧模型訓練方法，其中當該第一測試結果失敗且該第二測試結果失敗時，該處理器根據該句子中的該關鍵字詞搜尋一同義字詞資料庫以獲得對應該關鍵字詞的多個同義字詞，並根據該些同義字詞替換該句子中的該關鍵字詞以獲得該第三訓練資料。
  10. 如請求項8所述的人工智慧模型訓練方法，其中當該第一測試結果成功且該第二測試結果失敗時，該處理器根據該句子中的該關鍵字詞搜尋一同義字詞資料庫以獲得對應該關鍵字詞的多個同義字詞，並將該些同義字詞關聯到該資料庫中對應該關鍵字詞的一第二答案。
TW109136193A 2020-10-20 2020-10-20 人工智慧模型訓練系統及人工智慧模型訓練方法 TWI768513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109136193A TWI768513B (zh) 2020-10-20 2020-10-20 人工智慧模型訓練系統及人工智慧模型訓練方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109136193A TWI768513B (zh) 2020-10-20 2020-10-20 人工智慧模型訓練系統及人工智慧模型訓練方法

Publications (2)

Publication Number Publication Date
TW202217627A true TW202217627A (zh) 2022-05-01
TWI768513B TWI768513B (zh) 2022-06-21

Family

ID=82558792

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109136193A TWI768513B (zh) 2020-10-20 2020-10-20 人工智慧模型訓練系統及人工智慧模型訓練方法

Country Status (1)

Country Link
TW (1) TWI768513B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI802459B (zh) * 2022-07-01 2023-05-11 中華電信股份有限公司 基於資料增強推薦問答的系統及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301227A (zh) * 2017-06-21 2017-10-27 北京百度网讯科技有限公司 基于人工智能的搜索信息解析方法及装置
CN109635117B (zh) * 2018-12-26 2021-05-14 零犀(北京)科技有限公司 一种基于知识图谱识别用户意图方法及装置
CN110377911B (zh) * 2019-07-23 2023-07-21 中国工商银行股份有限公司 对话框架下的意图识别方法和装置
CN111382231B (zh) * 2020-03-05 2022-07-08 思必驰科技股份有限公司 意图识别系统及方法

Also Published As

Publication number Publication date
TWI768513B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US10586155B2 (en) Clarification of submitted questions in a question and answer system
US9460085B2 (en) Testing and training a question-answering system
WO2021159632A1 (zh) 智能问答方法、装置、计算机设备及计算机存储介质
US9146987B2 (en) Clustering based question set generation for training and testing of a question and answer system
WO2020233380A1 (zh) 缺失语义补全方法及装置
US9230009B2 (en) Routing of questions to appropriately trained question and answer system pipelines using clustering
CN114556328B (zh) 数据处理方法、装置、电子设备和存储介质
US20140298199A1 (en) User Collaboration for Answer Generation in Question and Answer System
JP2017097882A (ja) 機械翻訳評価方法および装置、並びに機械翻訳方法および装置
US11526512B1 (en) Rewriting queries
CN110428822A (zh) 一种语音识别纠错方法及人机对话系统
Ravichander et al. NoiseQA: Challenge set evaluation for user-centric question answering
WO2020143301A1 (zh) 一种训练样本有效性检测方法、计算机设备及计算机非易失性存储介质
WO2022217708A1 (zh) 基于人工智能的问答方法、装置、服务器及存储介质
TWI768513B (zh) 人工智慧模型訓練系統及人工智慧模型訓練方法
CN112988212A (zh) 神经网络模型之在线增量更新方法、装置、系统及存储介质
CN118113831A (zh) 问答数据的处理方法、装置、电子设备及存储介质
WO2021239078A1 (zh) 领域识别的方法、交互的方法、电子设备及存储介质
US20180150747A1 (en) Enhancing Time-to-Answer for Community Questions in Online Discussion Sites
JP2019036210A (ja) 機械学習を利用したｆａｑ登録支援方法、及びコンピュータシステム
CN114492397B (zh) 人工智能模型训练系统及人工智能模型训练方法
US9146918B2 (en) Compressing data for natural language processing
TWI745878B (zh) 聊天機器人系統及聊天機器人模型訓練方法
JP2018163586A (ja) 学習プログラム、学習方法および学習装置
Peng et al. ChatGraph: Chat with Your Graphs