TWI815605B - 自文件自動產生對話流程 - Google Patents

自文件自動產生對話流程 Download PDF

Info

Publication number
TWI815605B
TWI815605B TW111130335A TW111130335A TWI815605B TW I815605 B TWI815605 B TW I815605B TW 111130335 A TW111130335 A TW 111130335A TW 111130335 A TW111130335 A TW 111130335A TW I815605 B TWI815605 B TW I815605B
Authority
TW
Taiwan
Prior art keywords
question
answer
pairs
input
document
Prior art date
Application number
TW111130335A
Other languages
English (en)
Other versions
TW202318274A (zh
Inventor
王大闊
徐安邦
于墨
淦創
劉曉通
劉海斌
Original Assignee
美商萬國商業機器公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商萬國商業機器公司 filed Critical 美商萬國商業機器公司
Publication of TW202318274A publication Critical patent/TW202318274A/zh
Application granted granted Critical
Publication of TWI815605B publication Critical patent/TWI815605B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Paper (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本發明提供一種用於建立一對話流程之電腦化方法、系統及電腦程式產品。該方法之一個實施例可包含：接收一輸入文件，該輸入文件包含內容；及由一問答管線自該輸入文件之該內容產生複數個問答對。對於各問答對，該方法可進一步包含：將該問答對之該問題饋送至一對話流程結構之一意圖中；及將該問答對之該答覆饋送為該意圖之一個回應。該方法可進一步包含：用一對應文件節索引標記該複數個問答對中之各者；由一交談式代理程式向一使用者誦讀該輸入文件；當該交談式代理程式到達該輸入文件中之該等文件節索引中之一者時暫停該誦讀，且作為回應，向該使用者誦讀對應於該等文件節索引之該問題。

Description

自文件自動產生對話流程
本發明係關於人工智慧(AI)，且更具體而言係關於將AI用於人機互動(HCI)。
1948年EDVAC系統之開發常常引用為電腦時代之開始。從彼時起，電腦系統已演變成極其複雜的裝置。現今的電腦系統通常包括複雜硬體及軟體組件、應用程式、作業系統、處理器、匯流排、記憶體、輸入/輸出裝置等等之組合。隨著半導體處理及電腦架構之進階將效能推得愈來愈高，甚至更進階的電腦軟體已演變成利用彼等能力之相對更高效能，從而使當今電腦系統比幾年前更強大。
當今，資訊技術(IT)部門正自獨立、靜態、實體資料處理系統(DPS)之傳統基礎建設過渡為內部部署(on-premise)、受管理雲端、私有雲端及公共雲端環境之動態混合，運行於連續擴展及重新組態之虛擬化或軟體定義之資源上。然而，此等環境中之應用程式及系統產生大量資料。
傳統的基於網域之IT管理解決方案僅可提供有限幫助。舉例而言，傳統的解決方案不能智慧地自周圍資料中對重要事件進行排序。另外，此等傳統的解決方案不能跨越不同(但相互依賴)環境將資料相關聯。此外，此類傳統的解決方案不能提供IT操作團隊所需之即時洞察及預測分析。此外，此等傳統的解決方案不能提供足夠快的即時洞察及預測分析以滿足使用者及客戶服務等級期望。
人工智慧IT維運(AIOps)通常係指解決方案之集合，該等解決方案提供對所有環境中之效能資料及相關性的可見性；分析資料以擷取與減速或故障相關的重要事件；且自動提醒IT職員問題、其根本原因及所建議之解決方案。
根據本發明之實施例，一種用於自動產生問答對之電腦化方法包含接收一輸入文件，該輸入文件包含內容。該方法可進一步包含：由一第一機器學習模型自該輸入文件產生基於該輸入文件之該內容之複數個答覆；及由一第二機器學習模型自該輸入文件為該複數個答覆中之各者產生一問題以形成複數個問答對。該方法可進一步包含：由一第三機器學習模型對該複數個問答對進行排序；選擇預定數目個最高排序問答對；及向一使用者返回該預定數目個最高排序問答對。
根據本發明之實施例，一種用於自動產生問答對之系統包含一處理單元及耦接至該處理單元之一記憶體。該記憶體可含有可由該處理單元執行以使該處理單元接收一輸入文件之程式指令，該輸入文件包含內容。該記憶體可進一步含有用於進行以下操作之程式指令：由一第一機器學習模型自該輸入文件產生基於該輸入文件之該內容之複數個答覆；及由一第二機器學習模型自該輸入文件為該複數個答覆中之各者產生一問題以形成複數個問答對。該記憶體可進一步含有用於進行以下操作之程式指令：由一第三機器學習模型對該複數個問答對進行排序，選擇預定數目個最高排序問答對及向一使用者返回該預定數目個最高排序問答對。
根據本發明之實施例，一種用於產生問答對之電腦程式產品，該電腦程式產品包含具有由其體現之程式指令之電腦可讀儲存媒體。該等程式指令可由該處理器執行以使處理器接收一輸入文件，該輸入文件包含內容。該等程式指令可進一步使該處理器進行以下操作：由一第一機器學習模型自該輸入文件產生基於該輸入文件之該內容之複數個答覆；及由一第二機器學習模型自該輸入文件為該複數個答覆中之各者產生一問題以形成複數個問答對。該等程式指令可進一步使該處理器進行以下操作：由一第三機器學習模型對該複數個問答對進行排序，選擇預定數目個最高排序問答對及向一使用者返回該預定數目個最高排序問答對。
根據本發明之實施例，一種用於建立一對話流程之電腦化方法包含：接收一輸入文件，該輸入文件包含內容；及由一問答管線自該輸入文件之該內容產生複數個問答對。對於各問答對，該方法可進一步包含：將該問答對之該問題饋送至一對話流程結構之一意圖中；及將該問答對之該答覆饋送為該意圖之一個回應。該方法可進一步包含：用一對應文件節索引標記該複數個問答對中之各者；由一交談式代理程式向一使用者誦讀該輸入文件；當該交談式代理程式到達該輸入文件中之該等文件節索引中之一者時暫停該誦讀，且作為回應，向該使用者誦讀對應於該等文件節索引之該問題。
根據本發明之實施例，一種用於建立一對話流程之電腦程式產品包含一電腦可讀儲存媒體，該電腦可讀儲存媒體具有由其體現之程式指令。該等程式指令可由一處理器執行以使該處理器進行以下操作：經由一圖形網頁使用者介面收集複數個輸入文件文本之使用者輸入；使用該使用者輸入以訓練一第一深度學習模型；將一新輸入文件文本饋送至該第一深度學習模型中；及由該第一深度學習模型自該輸入文本擷取複數個問答對。該等程式指令可進一步使該處理器進行以下操作：用該對應文件節索引標記該複數個問答對；及由一第二深度學習模型為該複數個問答對中之至少一些產生具有與該答覆類似的一語意意義之至少一個額外答覆及具有與該答覆相反的一語意意義之至少一個矛盾額外答覆；及自該等問答對、該等額外答覆及該等矛盾答覆形成複數個＜問題，正確答覆，不正確答覆＞元組。對於各＜問題，正確答覆，不正確答覆＞元組，該程式指令可進一步使該處理器進行以下操作：將各問題饋送至一對話流程結構之一新意圖中；將該等正確答覆饋送為該意圖之一個回應；及將該等不正確答覆饋送為該意圖之另一回應選項。
根據本發明之實施例，一種用於建立一對話流程之系統包含一處理單元及耦接至該處理單元之一記憶體。該記憶體可含有可由該處理單元執行以使該處理單元進行以下操作之程式指令：接收一輸入文件，該輸入文件包含內容；及由一問答管線自該輸入文件之該內容產生複數個問答對。對於各問答對，該記憶體可進一步含有用於使該處理單元進行以下操作之程式指令：將該問答對之該問題饋送至一對話流程結構之一意圖中及將該問答對之該答覆饋送為該意圖之一個回應。該記憶體可進一步含有用於使該處理單元進行以下操作之程式指令：用一對應文件節索引標記該複數個問答對中之各者；由一交談式代理程式向一使用者誦讀該輸入文件；當該交談式代理程式到達該輸入文件中之該等文件節索引中之一者時暫停該誦讀，且作為回應，向該使用者誦讀對應於該等文件節索引之該問題。
以上發明內容並不意欲描述本發明之各所說明實施例或每個實施。
本發明之態樣係關於人工智慧(AI)，更特別地，態樣係關於將AI用於人機互動(HCI)。儘管本發明不必限於此類應用，但可藉由使用此上下文論述各種實例來瞭解本發明之各個態樣。
許多IT部門正由來自各種結構化及非結構化來源之大量其可用資訊所壓倒。舉例而言，許多IT產品具備豐富的產品文件。然而，與直覺相反，文件之範疇可使IT職員很難在任何特定時刻找到文件中相關的特定部分。此外，當IT職員嘗試將文件與各種主題之網際網路搜尋之結果拼在一起時，資訊差距可產生。
為了輔助其客戶的IT職員，一些企業IT系統開發者使用問答(QA)系統，該等問答系統可將自然語言問題作為輸入，且返回指示輸入問題之最可能答覆之結果。特別地，一些QA系統可解釋自然語言輸入問題；針對輸入問題分析大量內容來源(例如，產品文件)；且接著產生輸入問題之答案，以及關於彼答覆相對於輸入問題之準確度之置信測度。
QA系統不僅為文件搜尋系統。QA系統與文件搜尋系統之間的一個差異為文件搜尋系統通常採取關鍵字查詢且返回文件之清單，該清單按與查詢之相關性順序進行排序。另一方面，QA系統可採取用自然語言表示之問題，尋求詳細理解其且返回彼問題之精確答覆。舉例而言，QA系統之終端使用者可以自然語言形式(例如，經由聊天機器人)輸入問題，就像其詢問另一個人一樣。作為回應，QA系統可篩選大量潛在證據以返回相關答覆之經排序清單。QA系統之此等輸出亦可包括證明/支援證據之摘要，此可使得終端使用者/客戶能夠快速評估彼證據。
QA系統亦不僅為搜尋引擎。儘管搜尋引擎(例如，網際網路網頁搜尋引擎)通常可存取大量資訊來源且可在給定少量查詢術語之情況下快速尋找相關結果(例如，網頁)，但搜尋引擎並不返回問題答覆；相反，搜尋引擎返回使用者可嘗試尋找之結果(例如，網頁)之經排序清單。
傳統的基於知識之QA系統人工智慧方法嘗試自問題之邏輯編碼及與彼問題相關的所有領域知識-邏輯地證明答覆為正確的。然而，此類傳統方法具有挑戰，該等挑戰包括獲取其所需之相對大量知識及接著將彼知識正式編碼成其模型可存取之邏輯公式所涉及之過高的時間及人力。另外，此等傳統方法很難很好地理解自然語言問題以利用此類正式編碼。因此，此類傳統QA系統就廣度而言傾向於衰退。基於模版之方法已應用於部分改善此問題，但此類基於模版之方法易於出錯且通常僅指向相關頁面或部分，而非正確答覆自身。
因此，本發明之一些實施例可提供一種AIOps系統，其使用巨量資料、分析及機器學習(ML)能力來執行以下中之一或多者：(i)收集及聚合由多個IT基礎建設組件、應用程式及效能監視工具產生之相對大量的操作資料；(ii)智慧地自『雜訊』篩選出『信號』以識別與系統效能及可用性問題相關之事件及模式；(iii)診斷且向IT報告根本原因，以用於快速回應及補救，或在一些情況下，在無人為干預之情況下自動解決此等問題；及(iv)用單個智慧型且自動化IT操作平台取代單個手動IT操作工具。藉由以此方式取代手動IT操作工具，一些實施例可使得IT操作團隊能夠以更少的工作量更快地(甚至主動地)回應減速及故障。因此，藉由一方面橋接愈加不同、動態及難以監視之IT景觀之間的差距，另一方面滿足使用者對應用程式效能及可用性很少或沒有故障之期望，一些實施例可為有用的。
更具體地，一些實施例可使用人工智慧(AI)自動產生且接著自諸如產品文件之來源文件對問答(QA)對進行排序。在一些實施例中，AI可執行四個操作：(i)剖析新輸入文件；(ii)自輸入文件擷取主要概念，且接著使用彼等主要概念產生候選項答覆；(iii)對於各候選項答覆，產生可引起彼答覆之一或多個問題，藉此形成複數個問答(QA)對；及(iv)對所有QA對進行排序，且接著選擇/返回預定數目個最高排序QA對。如說明性實例，輸入文件中之一者可包含以下文本： 資訊中心中提供z/OS®產品文件之CICS®TS，以供下載至你的環境中。IBM®計劃提供一個供離線使用之IBM知識中心版本。當此可用時，其將取代CICS TS資訊中心。 你可將資訊中心設置為經由你的組織之內部網路在伺服器上運行或設置為在你自身系統上之區域安裝。CICS資訊中心由框架(建立於Eclipse上之IBM使用者介面求助系統)及作為一組文件外掛程式遞送之內容組成。CICS資訊中心在Windows、Linux®、AIX®或z/OS®環境中運行。你在你的通常網頁瀏覽器中查看資訊中心。 你可選擇下載包括Eclipse框架及CICS內容二者之程式包或可僅選擇CICS內容以與現有資訊中心整合。為了下載包括CICS內容及Eclipse框架二者之資訊中心，轉到：IBM出版品中心。為了僅下載CICS內容，轉到CICS資訊下載站。 本發明之一些實施例可自彼輸入文本產生對應QA對： ＜「我可以在哪裡下載CICS內容?」，「CICS資訊下載站＜https://xxx.xxx.xxx.xxx?」＞ ＜「CICS可在什麼環境上運作？」，「Windows、Linux、AIX或z/OS」？＞ 此等所得QA對可用於自動產生頻繁詢問問題(FAQ)頁面及/或自動產生供聊天機器人使用之回應樹。
在一些實施例中，AI可包含深度學習架構以使用三個子系統自動產生問題及答覆：答覆擷取子系統、問題產生子系統及排序子系統。答覆產生子系統可包含第一深度學習模型，該第一深度學習模型剖析輸入文件且識別語音、名稱實體及語意角色之部分。答覆產生子系統可進一步包含第二深度學習模型，該第二深度學習模型使用剖析文件作為輸入識別主要事實及關係。問題產生子系統可包含第三深度學習模型，該第三深度學習模型將答覆及剖析文件中之一者作為輸入，且接著產生與彼答覆匹配之一或多個問題。可對答覆中之各者重複此操作，從而形成複數個QA對。排序子系統可包含第四深度學習模型，該第四深度學習模型根據相對重要性(例如，典型IT人員認為輸入文件中重要的內容)並根據語意正確性對QA對進行排序，且返回預定數目個最高排序QA對。可藉由收集相關輸入文本之使用者輸入(例如，來自與類似產品文件相關的真實客戶/使用者之問題)來訓練深度學習模型。以此方式，一些實施例可產生與回應於新輸入文件(例如，新產品之文件)而由實際客戶提交之問題類似的問題。 資料處理系統 (DPS)
圖1說明與一些實施例一致之資料處理系統(DPS) 100a、100b (本文中一般稱作DPS 100)之一個實施例。圖1僅描繪DPS 100之代表性主要組件，且彼等個別組件可具有比圖1中表示更大的複雜度。在一些實施例中，DPS 100可實施為個人電腦；伺服器電腦；可攜式電腦，諸如膝上型電腦或筆記型電腦、個人數位助理(PDA)、平板電腦或智慧型手機；處理器，其嵌入於諸如汽車、飛機、電話會議系統、器具之較大裝置；智慧型裝置；或任何其他合適類型的電子裝置。此外，可存在除圖1中所展示之組件之外或除圖1中所展示之組件以外的其他組件，且此等組件之數目、類型及組態可變化。
圖1中之DPS 100可包含複數個處理單元110a至110d (一般地，處理器110或CPU 110)，該等處理單元可由系統匯流排122連接至主記憶體112、大量儲存介面114、終端/顯示介面116、網路介面118及輸入/輸出(「I/O」)介面120。此實施例中之大量儲存介面114可將系統匯流排122連接至一或多個大量儲存裝置，諸如直接存取儲存裝置140、USB驅動機141及/或可讀/可寫光碟驅動機142。網路介面118可允許DPS 100a經由網路106與其他DPS 100b通信。主記憶體112可含有作業系統124、複數個應用程式126及程式資料128。
圖1中之DPS 100實施例可為通用運算裝置。在此等實施例中，處理器110可為能夠執行儲存於主記憶體112中之程式指令之任何裝置，且自身可由一或多個微處理器及/或積體電路建構。在一些實施例中，DPS 100可含有多個處理器及/或處理核心，其為較大、能力更強的電腦系統之典型；然而，在其他實施例中，運算系統100可僅包含設計用於模擬多處理器系統之單一處理器系統及/或單一處理器。另外，處理器110可使用多個異質資料處理系統100實施，其中主處理器110與次要處理器一起存在於單一晶片上。作為另一說明性實例，處理器110可為含有同一類型的多個處理器110之對稱多處理器系統。
當DPS 100啟動時，相關處理器110可初始地執行構成作業系統124之程式指令。反之，作業系統124可管理DPS 100之實體及邏輯資源。此等資源可包括主記憶體112、大量儲存介面114、終端/顯示介面116、網路介面118及系統匯流排122。與處理器110一樣，一些DPS 100實施例可使用多系統介面114、116、118、120及匯流排122，反之，此等介面可各自包括其自身獨立、完全程式化之微處理器。
用於作業系統124及/或應用程式126之指令(一般地，「程式碼」、「電腦可用程式碼」或「電腦可讀程式碼」)可初始地定位於大量儲存裝置中，該等大量儲存裝置經由系統匯流排122與處理器110通信。不同實施例中之程式碼可體現於不同實體或有形電腦可讀媒體上，諸如記憶體112或大量儲存裝置。在圖1中之說明性實例中，指令可以持久儲存之功能形式儲存於直接存取儲存裝置140上。此等指令可接著載入至主記憶體112中以供由處理器110執行。然而，程式碼亦可以功能形式定位於電腦可讀媒體上，諸如在一些實施例中可選擇地移除之直接存取儲存裝置140或可讀/可寫光碟驅動機142。程式碼可載入至或傳送至DPS 100上以供由處理器110執行。
繼續參考圖1，系統匯流排122可為便於處理器110、主記憶體112與介面114、116、118、120之間及當中之通信的任何裝置。此外，儘管此實施例中之系統匯流排122為提供系統匯流排122之間的直接通信路徑之相對簡單的單一匯流排結構，但其他匯流排結構與本發明一致，包括不限於階層式、星形或網頁組態中之點對點鏈路、多階層式匯流排、平行及冗餘路徑等。
主記憶體112及大量儲存裝置140可協同工作以儲存作業系統124、應用程式126及程式資料128。在一些實施例中，主記憶體112可為能夠儲存資料及程式指令之隨機存取半導體記憶體裝置(「RAM」)。儘管圖1概念地描繪主記憶體112作為單一單石實體，但在一些實施例中主記憶體112可為較複雜配置，諸如快取記憶體及其他記憶體裝置之階層。舉例而言，主記憶體112可存在於多層快取記憶體中，且此等快取記憶體可按功能進一步劃分使得一個快取記憶體保持指令而另一快取記憶體保持由處理器110使用之非指令資料。主記憶體112可進一步分佈且與不同處理器110或處理器110之集合相關聯，如在各種所謂的非均勻記憶體存取(NUMA)電腦架構中之任一者中為已知的。此外，一些實施例可利用虛擬定址機制，該等虛擬定址機制允許DPS 100表現好像其存取大型單一儲存實體，而不存取多個較小儲存實體(諸如主記憶體112及大量儲存裝置140)。
儘管作業系統124、應用程式126及程式資料128在圖1中說明為含於DPS 100a之主記憶體112內，但在一些實施例中，其之一些或所有可實體地定位於不同電腦系統(例如，DPS 100b)上且可例如經由網路106遠端存取。此外，作業系統124、應用程式126及程式資料128不必全部同時完全含於同一實體DPS 100a中，且可甚至駐存於其他DPS 100b之實體或虛擬記憶體中。
在一些實施例中，系統介面114、116、118、120可支援與多種儲存器及I/O裝置之通信。大量儲存介面114可支援一或多個大量儲存裝置140之附接，該等大量儲存裝置可包括旋轉磁碟驅動機儲存裝置、使用積體電路總成作為記憶體以持久儲存資料之固態儲存裝置(SSD)，通常使用快閃記憶體或兩者之組合。此外，大量儲存裝置140亦可包含其他裝置及總成，包括經組態以對主機顯示為單一大型儲存裝置之磁碟驅動機陣列(通常稱作RAID陣列)及/或檔案儲存媒體，諸如硬磁碟驅動機、磁帶(例如，迷你DV)、可寫光碟(例如，CD-R及CD-RW)、數位通用磁碟(例如，DVD、DVD-R、DVD+R、DVD+RW、DVD-RAM)、全像儲存系統、藍光雷射磁碟、IBM Millipede裝置及類似者。I/O介面120可支援一或多個I/O裝置之附接，諸如鍵盤181、滑鼠182、數據機183或印表機(未展示)。
終端/顯示介面116可用於直接地將一或多個顯示器180連接至資料處理系統100。此等顯示器180可為非智慧(亦即，基本型)終端，諸如LED監視器，或自身可為允許IT管理員及使用者與DPS 100通信之可充分程式化工作站。然而，應注意，儘管可提供顯示介面116以支援與一或多個顯示器180通信，但電腦系統100不必要求顯示器180，此是因為所有需要的互動與使用者及其他處理可經由網路106發生。
網路106可為任何適合網路或網路之組合，且可支援適合於與/自多個DPS 100進行資料及/或程式碼通信之任何合適協定。因此，網路介面118可為便於此類通信之任何裝置，而不管網路連結係使用當今的類比及/或數位技術抑或經由未來之一些網路連結機制進行的。適合網路106包括但不限於使用「InfiniBand」或電機及電子工程師學會(Institute of Electrical and Electronics Engineer；IEEE) 802.3x「乙太網路」規格中之一或多者實施之網路；蜂巢式傳輸網路；實施IEEE 802.11x、IEEE 802.16、通用封包無線電服務(「GPRS」)、家庭無線電服務(FRS)或藍牙規格中之一者之無線網路；超寬頻帶(「UWB」)技術，諸如FCC 02-48中描述之技術；或類似者。熟習此項技術者將瞭解許多不同網路及傳送協定可用於實施網路106。傳輸控制協定/網際網路協定(「TCP/IP」)套件含有適合網路及傳送協定。 雲端運算
圖2說明適合於啟動QA系統之雲端環境之一個實施例。應理解，儘管本發明包括關於雲端運算之詳細描述，但本文中所敍述之教示之實施不限於雲端運算環境。實情為，本發明之實施例能夠結合現在已知或稍後開發之任何其他類型之運算環境來實施。
雲端運算為一種服務遞送模型，其實現對共用可組態運算資源池(例如，網路、網路頻寬、伺服器、處理、記憶體、儲存器、應用程式、虛擬機及服務)之便利、按需的網路存取，此等資源可以最少的管理工作量或與服務提供者之互動快速地供應及釋放。此雲端模型可包括至少五個特性、至少三個服務模型及至少四個部署模型。
特性如下： •   按需自我服務：雲端客戶可在需要時自動地單方面供應運算能力(諸如，伺服器時間及網路儲存)，而無需與服務之提供者進行人為互動。 •   廣泛網路存取：可經由網路提供能力且經由標準機制存取能力，該等標準機制促進異質瘦或厚客戶端平台(例如，移動電話、膝上型電腦及PDA)之使用。 •   資源池化：使用多租戶模型將提供者之運算資源池化以服務多個客戶，其中根據需要動態地指派及重新指派不同實體及虛擬資源。存在位置獨立性之意義，此係因為客戶通常無法控制或瞭解所提供資源之確切位置，但可能能夠在較高抽象層次(例如，國家、州或資料中心)指定位置。 •   快速彈性：可快速地且彈性地供應能力，在一些狀況下自動地供應能力，以迅速地向外延展，且可快速地釋放能力以迅速地向內延展。對於客戶，可用於供應之能力通常呈現為無限制的且可在任何時間以任何數量來購買。 •   量測服務：雲端系統藉由利用適合於服務類型(例如，儲存、處理、頻寬及活動使用者賬戶)之一些抽象層次之計量能力而自動控制及最佳化資源使用。可監視、控制及報告資源使用狀況，由此向所利用服務之提供者及客戶兩者提供透明性。
服務模型如下： •  軟體即服務(SaaS)：提供給客戶之能力係使用在雲端基礎建設上運行的提供者之應用程式。可經由諸如網頁瀏覽器(例如，基於網頁之電子郵件)之瘦客戶端介面自各種客戶端裝置存取應用程式。客戶並不管理或控制包括網路、伺服器、作業系統、儲存器或甚至個別應用程式能力之基礎雲端基礎建設，其中可能的例外為有限的使用者特定應用程式組態設定。 •  平台即服務(PaaS)：提供給客戶之能力係將客戶建立之應用程式或使用由提供者支援之程式設計語言及工具建立之所獲取應用程式部署至雲端基礎建設上。客戶並不管理或控制包括網路、伺服器、作業系統或儲存器之基礎雲端基礎建設，但控制所部署之應用程式及可能的應用程式代管環境組態。 •  基礎建設即服務(IaaS)：提供給客戶之能力係供應處理、儲存、網路及其他基礎運算資源，其中客戶能夠部署及運行可包括作業系統及應用程式之任意軟體。客戶並不管理或控制基礎雲端基礎建設，但控制作業系統、儲存器、所部署應用程式，且可能有限地控制選擇網路連結組件(例如，主機防火牆)。
部署模型如下： •  私有雲端：可僅針對組織操作雲端基礎建設。私有雲端可由組織或第三方來管理且可存在於內部或外部。 •  社群雲端：雲端基礎建設由若干組織共用且支援具有共用關注點(例如，任務、安全要求、政策及符合性考量)之特定社群。社群雲端可由組織或第三方來管理且可存在於內部或外部。 •  公共雲端：使雲端基礎建設可用於通用公共或大型工業集團且由銷售雲端服務之組織擁有。 •  混合雲端：雲端基礎建設為兩個或更多個雲端(私有、社群或公共)之組合物，該等雲端保持唯一實體但藉由實現資料及應用程式可攜性(例如，用於雲端之間的負載平衡的雲爆發)之標準化或專屬技術結合在一起。
雲端運算環境係面向服務的，關注無國界、低耦合、模組化及語意互操作性。雲端運算之核心係包括互連節點之網路的基礎建設。
現參考圖2，描繪說明性雲端運算環境50。如所展示，雲端運算環境50包括一或多個雲端運算節點10，雲端客戶所使用之諸如個人數位助理(PDA)或蜂巢式電話54A、桌上型電腦54B、膝上型電腦54C及/或汽車電腦系統54N的區域運算裝置可與該一或多個雲端運算節點通信。節點10可彼此通信。可在一或多個網路(諸如，如上文所描述之私有、社群、公共或混合雲端或其組合)中將該等節點實體地或虛擬地分組(未展示)。此情形允許雲端運算環境50供應基礎建設、平台及/或軟體作為服務，針對該等服務，雲端客戶不需要維護區域運算裝置上之資源。應理解，圖2中所展示之運算裝置54A至54N之類型意欲僅為說明性的，且運算節點10及雲端運算環境50可經由任何類型之網路及/或網路可定址連接(例如，使用網頁瀏覽器)與任何類型之電腦化裝置通信。
現參考圖3，展示由雲端運算環境50 (圖2)提供之功能抽象層之集合。事先應理解，圖3中所展示之組件、層及功能意欲僅為說明性的且本發明之實施例不限於此。如所描繪，提供以下層及對應功能。
硬體及軟體層60包括硬體及軟體組件。硬體組件之實例包括：大型電腦61；基於精簡指令集電腦(RISC)架構之伺服器62；伺服器63；刀鋒伺服器64；儲存裝置65；及網路及網路連結組件66。在一些實施例中，軟體組件包括網路應用程式伺服器軟體67及資料庫軟體68。
虛擬化層70提供抽象層，可自該抽象層提供虛擬實體之以下實例：虛擬伺服器71；虛擬儲存器72；虛擬網路73，其包括虛擬私有網路；虛擬應用程式及作業系統74；及虛擬客戶端75。
在一個實例中，管理層80可提供下文所描述之功能。資源供應81提供運算資源及用以在雲端運算環境內執行任務之其他資源之動態採購。當在雲端運算環境內利用資源時，計量及定價82提供成本追蹤，且為此等資源之消耗記賬或開發票。在一個實例中，此等資源可包括應用程式軟體執照。安全性提供對雲端消費者及任務之身分驗證，以及對資料及其他資源之保護。使用者入口網站83為客戶及系統管理員提供對雲端運算環境之存取。服務等級管理84提供雲端運算資源分配及管理以使得滿足所需服務等級。服務等級協議(SLA)規劃及實現85提供對雲端運算資源之預先配置及採購，對於該等雲端運算資源，未來要求係根據SLA來預期。
工作負載層90提供可利用雲端運算環境之功能性之實例。可自此層提供之工作負載及功能之實例包括：地圖測繪及導航91；軟體開發及生命週期管理92；虛擬教室教育遞送93；資料分析處理94；異動處理95；及機器學習(ML)模型96。 人工智慧
在一些實施例中，AI可包含一或多個機器學習(ML)模型，諸如ML模型96。反之，ML模型可為辨識模式之任何軟體系統。在一些實施例中，ML模型包含經由稱作類神經或閘極之連接點互連之複數個人工神經元。各類神經可編碼一個神經元之輸出與另一神經元之輸入之間的連接之強度。反之，各神經元之輸出可由自連接至其之其他神經元接收到之彙總輸入判定，且因此可由此等「上游」連接神經元之輸出及由類神經連接權數判定之連接的強度判定。
可藉由調整類神經之權重來訓練ML模型以解決特定問題(例如，答覆產生等)，使得具體類別之輸入產生所要輸出。在此等實施例中，此權重調整步驟稱為「學習」。理想地，此等調整引起類神經連接權數之模式，該模式在學習過程期間基於某種成本函數朝向給定問題之最佳解收斂。在一些實施例中，人工神經元可組織成層。
圖4A說明與一些實施例一致之實例ML模型400。ML模型400包含複數個層405 1至405 n。層中之各者包含權重4051 w至405 nw及偏差405 1b至405 nb(出於明晰之目的，僅標記一些)。接收外部資料之層405 1為輸入層。產生極限結果之層405 n為輸出層。一些實施例包括輸入層與輸出層之間的複數個隱藏層405 2至405 n-1及通常數百個此類隱藏層。隱藏層405 2至405 n-1中之一些可具有與其他隱藏層405 2至405 n-1不同的大小、組織及目的。舉例而言，ML模型中之隱藏層中之一些可為卷積層，而其他隱藏層可為完全連接層、反卷積層或遞迴層。
現參考圖4B，描繪與一些實施例一致且參考作為說明性實例之答覆產生描述之ML模型訓練方法450之一個實施例。在操作452，系統接收且載入訓練資料。在此實例中，輸入數據集合可包括由組織之真實世界客戶經由圖形網頁介面向前幾代產品/產品文件實際提交之問題，或由有經驗員工產生之QA對以用於訓練新員工。在操作454，準備訓練資料以減小偏差之來源，通常包括重複刪除、正規化及順序隨機化。在操作456，為訓練選擇模型且初始化(例如，隨機化)初始類神經連接權數。取決於基礎任務，適合模型包括但不限於前饋技術(例如，卷積神經網路)、基於調節回饋意見之系統、徑向基底函數(RBF)技術及基於遞迴神經網路之技術(例如，長短期記憶)。在操作458，所選擇之模型用於使用輸入資料元件預測輸出，且將彼預測與對應目標資料進行比較。接著在操作460使用梯度(例如，預測值與目標值之間的差)以更新類神經連接權數。此過程重複，各迭代更新權重，直至訓練資料耗盡或模型達到可接受的準確度及/或精確度等級。在操作462，產生模型可視情況與此前未評估之資料進行比較以驗證及測試其效能。 QA 產生管線
圖5為與一些實施例一致之QA產生管線500之系統圖。QA產生管線500可包含三個子系統：基於規則之答覆產生(AG)子系統510、問題產生(QG)子系統520及排序子系統530。
在一些實施例中，AG子系統510可接收文件「z」(例如，基於文本之文件)作為輸入。AG子系統510可接著向輸入文件z傳遞用於詞性標記之語言模型512。此語言模型512可包括名稱實體擷取器514及名詞塊擷取器516，其可識別輸入文件z中之句子之主語及賓語。語言模型512亦可包括語意角色標籤秤515，其可自輸入文件z擷取觸發動詞及其他從屬詞。主語、賓語、動詞及從屬詞可由語言模型512組合以建立複數個候選項答覆a 1...a i(統稱為A i)。在一些實施例中，名稱實體擷取器514、名詞塊擷取器516及語意角色標籤秤515可各自包含獨立的經訓練ML模型。此等經訓練ML模型可為經訓練以剖析文本材料之通用ML模型。
候選項答覆A i可接著與原始文本z一起作為輸入傳遞至QG子系統520。QG子系統520可使用此等輸入以為各所產生答覆A i產生至少一個相關聯問題q 1...q i(統稱為Q i)。此等問題Q i及答覆A i可作為問答對(QA對)儲存在一起。在一些實施例中，此等QA對可具有涉及輸入文件z中之一或多個事實、動作或事件之一或多個動作、因果關係及結果分解關係。反之，結果分解關係可使用來自語意角色標籤秤515之輸出(例如，觸發動詞及其他附屬節點)以組合為主語、動詞及賓語之組合，作為相關聯問題Q i。
在一些實施例中，QG子系統520可包含基於BART之深度學習模型。反之，BART通常係指最初在Mike Lewis、Yinhan Liu、Naman Goyal、Marjan Ghazvininejad、Abdelrahman Mohamed、Omer Levy、Ves Stoyanov及Luke Zettlemoyer之BART: 「Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension」(2019年10月29日)中提出之一類「雙向及自回轉換器」模型。在一些實施例中，基於BART之深度學習模型可對類似於輸入文件z之資料集(未展示)進一步微調。
在一些實施例中，視情況，QA管線500可進一步使用含有複數個專家定義之模版528之QA分類子系統525。此等模版528可用於自所產生答覆A i當中更好地建立複數個類型/類別之問題「c」。以此方式，專家定義之模版528可確保建立廣泛多種QA對類型，此反過來可幫助QA管線500產生類似於回應於訓練語料庫而由實際客戶提交之問題的問題。舉例而言，一些QA對可執行特定觸發/回應動作(例如，Q：「當我的XXX伺服器故障時我應該做什麼？」，A：「你可以參考http://xx.xx.xx且遵循以下步驟。步驟1…」)，而一些QA可針對特定事實(例如，Q：「我在哪裡尋找系統更新補丁文件？」，A：「http://bb.bb.bb」)。
上文描述之AG子系統510及QG子系統520可產生相對較大數目個QA對，超過特定應用程式之終端使用者通常所希望之數目，例如對於典型IT相關輸入文件超過14,000個QA對。因此，一些實施例可使用排序子系統530以將輸出減小至預定數目個相對最高品質QA對。反之，QA排序子系統530可包含QA評等模型532及評分子系統534。
在操作中，QA評等模型532可接收QA對及輸入文件z作為輸入，且可提供所產生QA品質之自動評估。QA評等模型532可為經訓練以評估各所產生答覆A i是否與其相關聯所產生問題Qi匹配的基於BART ML之模型，且此基於BART之模型可對與輸入文件z類似的資料語料庫進行訓練及/或微調。一些QA評等模型532可為各QA對輸出RougeL評分，如描述於Chin-Yew Lin中。「Rouge: A package for automatic evaluation of summaries」(2004年)作為評估度量。評分子系統534可返回預定數目個最高排序QA對作為清單以及其相關聯評分。 自動產生 QA 對
圖6為與一些實施例一致之說明自諸如技術文件之輸入文件自動產生QA對之清單的一種方法600之流程圖。此方法600可例如用於產生用於聊天機器人之常見問題清單或答覆回應之清單。在操作605，在雲端環境50中操作之DPS 100可收集來自真實世界客戶之複數個問題以及相關聯產品文件。此資訊可儲存於相關聯資料儲存庫中，諸如資料庫軟體68。在操作610，儲存文件及客戶問題可用作資料語料庫以訓練一或多個ML模型，諸如AG子系統510、QG子系統520及排序子系統530中之ML模型。
在操作615，DPS 100可接收產品文件之新集合。作為回應，在操作620，AG子系統510可分析產品文件，且可基輸入文件之內容產生複數個答覆A i。此可包括剖析輸入文件以識別一或多個詞性(例如，名詞塊)、名稱實體及語意角色。在操作625，QG子系統520可接著為複數個答覆a i中之各者產生問題q i，由此形成複數個QA對。
在操作630，DPS 100可基於一或多個準則對複數個問答對進行排序，諸如RougeL評分及/或QA對與在操作605處接收到之問題之相似程度。在一些實施例中，此排序可由ML模型執行。接下來，在操作635，可選擇預定數目個最高排序QA對且接著向使用者返回。 自文件自動產生對話流 程
圖7為與一些實施例一致之交談式代理程式系統700之系統圖。圖7中之實施例可包含：文件誦讀子系統720，其可攝取輸入文件710且自其產生複數個QA對730；及對話子系統740，在該對話子系統中可建立對話流程結構750。對話流程結構750可針對來自QA對730中之複數個錨定問題735 (例如，最高評等問題)中之各者，關聯正確答覆742、複數個替代正確答覆744及複數個不正確答覆746。正確答覆742、複數個替代正確答覆744及複數個不正確答覆746可各自與複數個回饋意見回應748中之一者關聯。對話流程結構750亦可含有針對對話流程結構750中未以其他方式解決之答覆的所有其他答覆選項760以及相關聯回饋意見回應762。
如說明性實例，交談式代理程式系統700可用於訓練新網站可靠性工程師(SRE)。傳統的交談式代理系統未很好地適於此應用程式，此係因為彼等傳統的系統不容易消化IT支援文件，且此係因為手動建立此類傳統的系統為耗時且昂貴的。相比之下，一些交談式代理程式系統700可包括可自技術文件自動產生對話流程之架構及系統。此架構可包括對來自有經驗的SRE (亦即，實際真實世界使用者)之問答對進行訓練之進階神經網路算法。以此方式，一些實施例可模擬有經驗的SRE向新雇用的SRE詢問之問題之類型及難度。
然而，儘管交談式代理程式系統700之實施例將參考機載SRE來描述，但熟習此項技術者將瞭解其方法及架構為通用的。因此，交談式代理程式系統700之實施例可適於廣泛多種輸入文件且自其產生對話樹，且其進階神經網路算法可使用多種訓練集合微調。舉例而言，如將在附錄中更詳細描述，本發明之實施例已經成功地應用於教學軟體。
在操作中，交談式代理程式系統700可：(i)經由圖形網頁使用者介面自一或多個有經驗的SRE收集輸入。此輸入可包含複數個QA對及相關聯技術支援文件；(ii)使用所收集答覆以訓練QA系統，諸如關於圖5更詳細論述之QA產生管線500；(iii)剖析新輸入文件(例如，將文件之文本饋送至文件誦讀子系統720中，自其產生複數個QA對，接著選擇複數個最高排序QA對作為包括於對話流程結構750中之「錨定」問題735，且為各錨定問題735識別對應文件位置)；(iv)為各錨定問題735產生複數個替答覆及不正確答覆；(v)將錨定問題、正確答覆742、替代正確答覆744、不正確答覆746饋送至對話流程結構750中；且(vi)由對話子系統740，向新SRE誦讀輸入文件，當其到達與錨定問題735相關聯之文件位置中之一者時暫停，且接著觸發對話子系統740以根據對話流程結構750處置新SRE回應。
圖8A至圖8B為更詳細地說明與一些實施例一致之操作交談式代理程式系統700之一種方法800的流程圖。在一些實施例中，方法800可在操作805開始，藉由經由圖形使用者介面自一或多個有經驗的SRE接收關於訓練文件之複數個問題及答覆。此等問題及答覆可表示有經驗的SRE認為表示訓練文件中最相關及/或最關重要的部分之細節。輸入以及相關聯訓練文件可儲存於資料儲存庫中。接下來，在操作810，複數個輸入及文件可用於訓練及/或微調文件誦讀子系統720之一或多個ML模型。此文件誦讀子系統720可包含參考圖5更詳細地描述之問答管線500。以此方式，文件誦讀子系統720可產生與有經驗的SRE在誦讀彼特定文件時產生之問答對類似的問答對730。
可在操作820由經訓練文件誦讀子系統720接收新輸入文件(例如，新技術文件)。作為回應，在操作825，經訓練文件誦讀子系統720可自新輸入文件之內容產生複數個新QA對730。來自QA對730之最高排序問題可用作錨定問題735。接下來，在操作830，錨定問題735可饋送至對話流程結構750之意圖中；且來自QA對730之對應答覆可作為彼意圖之正確答覆742饋送至對話流程結構中。
視情況，在一些實施例中，在操作840，經訓練文件誦讀子系統720亦可為各錨定問題735產生一或多個額外答覆744。額外答覆744可具有與正確答覆742類似的語意意義(例如，釋義)。在操作842，經訓練文件誦讀子系統720亦可為各錨定問題735產生具有與正確答覆742相反的(opposing/opposite)語意意義之一或多個矛盾答覆746。在操作848，此等正確答覆742、類似答覆744及矛盾答覆746可與錨定問題735相關聯以形成＜問題，正確答覆，不正確答覆＞元組。在操作848，＜問題，正確答覆，不正確答覆＞元組可作為替代正確答覆及不正確答覆饋送至對話流程結構750中。
在操作850，將答覆742、替代答覆744及矛盾答覆746中之各者可與複數個回饋意見回應748中之一者相關聯。此等回饋意見回應可為通用的(例如，「正確」，「幹得好」等)、自訂的(例如，「抱歉，正確答覆為…」)或兩種類型之組合。在操作855，可建立「所有其他」意圖760及回應762且將其添加至對話流程結構750。
在操作860，複數個錨定問題735中之各者可用對應文件節索引(例如，輸入文件與彼錨定問題735相關的特定部分)標記。在操作865，對話子系統740可開始向新SRE誦讀輸入文件。在操作870，當對話子系統740到達輸入文件中之文件節索引中之一者時，對話子系統740可暫停誦讀且詢問對應於新SRE之彼文件節索引之錨定問題735。在操作875，新SRE可以回應(且對話子系統740可接收)錨定問題735之接收到之答覆。對話子系統740將接著使用對話流程結構750以選取接收到之答覆之合適回饋意見回應748、762。此可包括在操作880使接收到之答覆與以下中之一者相關聯：對話流程結構750中之答覆742、替代答覆744、不正確答覆746或其他回應760，且接著使用相關聯回饋意見回應748、762對新SRE進行回覆。可接著針對文件中之各文件節索引重複操作860至880。 電腦程式產品
本發明可為在任何可能之技術細節整合層級處之系統、方法及/或電腦程式產品。電腦程式產品可包括一(或多個)電腦可讀儲存媒體，其上有電腦可讀程式指令以使處理器進行本發明之態樣。
電腦可讀儲存媒體可為有形裝置，其可保持及儲存指令以供指令執行裝置使用。電腦可讀儲存媒體可為例如但不限於電子儲存裝置、磁性儲存裝置、光學儲存裝置、電磁儲存裝置、半導體儲存裝置或前述各者之任何適合組合。電腦可讀儲存媒體之更具體實例的非窮盡性清單包括以下：可攜式電腦磁片、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可攜式光碟唯讀記憶體(CD-ROM)、數位通用磁碟(DVD)、記憶棒、軟磁、機械編碼裝置(諸如其上記錄有指令之凹槽中之打孔卡或凸起結構)及前述各者之任何適合組合。如本文中所使用，不應將電腦可讀儲存媒體自身解釋為暫時信號，諸如無線電波或其他自由傳播之電磁波、經由波導或其他傳輸媒體傳播之電磁波(例如，經由光纖纜線傳遞之光脈衝)，或經由電線傳輸之電信號。
本文中所描述之電腦可讀程式指令可自電腦可讀儲存媒體下載至各別運算/處理裝置或經由網路(例如，網際網路、區域網路、廣域網路及/或無線網路)下載至外部電腦或外部儲存裝置。網路可包含銅傳輸纜線、光傳輸光纖、無線傳輸、路由器、防火牆、交換器、閘道電腦及/或邊緣伺服器。各運算/處理裝置中之網路配接卡或網路介面自網路接收電腦可讀程式指令且轉遞電腦可讀程式指令以供儲存於各別運算/處理裝置內之電腦可讀儲存媒體中。
用於實行本發明之操作的電腦可讀程式指令可為以一或多種程式設計語言之任何組合編寫的組譯器指令、指令集架構(ISA)指令、機器指令、機器相關指令、微碼、韌體指令、狀態設定資料、用於積體電路系統之組態資料，或原始碼或目標碼，該一或多種程式設計語言包括：物件導向程式設計語言，諸如Smalltalk、C++或類似者；及程序性程式設計語言，諸如「C」程式設計語言或類似程式設計語言。電腦可讀程式指令可完全在使用者之電腦上、部分在使用者之電腦上、作為獨立套裝軟體、部分在使用者之電腦上及部分在遠端電腦上或完全在遠端電腦或伺服器上執行。在後一情況下，遠端電腦可經由任何類型之網路連接至使用者之電腦，網路類型包括區域網路(LAN)或廣域網路(WAN)，或可連接至外部電腦(例如，經由網際網路使用網際網路服務提供者)。在一些實施例中，包括例如可程式化邏輯電路系統、場可程式化閘陣列(FPGA)或可程式化邏輯陣列(PLA)之電子電路系統可藉由利用電腦可讀程式指令之狀態資訊來個人化電子電路系統而執行電腦可讀程式指令，以便執行本發明之態樣。
本文中參考根據本發明之實施例之方法、設備(系統)及電腦程式產品之流程圖說明及/或方塊圖來描述本發明之態樣。將理解，可由電腦可讀程式指令實施流程圖說明及/或方塊圖中之各區塊以及流程圖說明及/或方塊圖中之區塊的組合。
可將此等電腦可讀程式指令提供至電腦或其他可程式化資料處理設備之處理器以產生一機器，使得經由該電腦或其他可程式化資料處理設備之處理器執行之指令建立用於實施一或多個流程圖及/或方塊圖區塊中所指定之功能/動作之構件。亦可將此等電腦可讀程式指令儲存於電腦可讀儲存媒體中，該等指令可指導電腦、可程式化資料處理設備及/或其他裝置以特定方式起作用，使得其中儲存有指令之電腦可讀儲存媒體包含製品，該製品包括實施一或多個流程圖及/或方塊圖區塊中所指定之功能/動作之態樣的指令。
電腦可讀程式指令亦可載入至電腦、其他可程式化資料處理裝置或其他裝置上，以使在電腦、其他可程式化裝置或其他裝置上執行一系列操作步驟以產生電腦實施之處理程序，使得在電腦、其他可程式化設備或其他裝置上執行之指令實施一或多個流程圖及/或方塊圖區塊中所指定之功能/動作。
圖式中之流程圖及方塊圖說明根據本發明之各種實施例之系統、方法及電腦程式產品之可能實施之架構、功能性及操作。就此而言，流程圖或方塊圖中之各區塊可表示子系統、片段或部分指令，其包含用於實施指定邏輯功能之一或多個可執行指令。在一些替代實施中，區塊中所指出之功能可不按圖式中所指出之順序發生。舉例而言，取決於所涉及之功能性，連續展示之兩個區塊實際上可實現為一個步驟，同時、實質上同時、以部分或完全在時間上重疊之方式執行，或該等區塊有時可以反向順序執行。亦將注意，可藉由執行指定功能或動作或實行專用硬體及電腦指令之組合的基於專用硬體之系統實施方塊圖及/或流程圖說明之各區塊，及方塊圖及/或流程圖說明中之區塊之組合。 綜述
儘管本發明之實施例已參考AIOps及訓練SRE描述，但其他應用程式在其範疇及精神內。舉例而言，如詳細描述於以下附錄中，本發明之實施例已成功地應用於教學軟體，諸如誦讀及自動產生用於兒童故事書之問答對(QA對)。另外，一些實施例允許父母及/或監護人與系統合作以建立說故事體驗，完成互動式問題及答覆。此外，一些實施例可提供兩種相異的模式：(i)輔助父母-AI共同誦讀模式，其中系統可藉由識別提問及推薦後續問題之潛在機會來輔助父母說故事。在此模式下操作之實施例可減小父母之認知負荷且降低識字障壁，促進孩子之技能發展，同時鼓勵雙方在其關係中重視直接親子互動；及(ii)異步自動化機器人誦讀模式，在此模式下，父母可藉由組態問題產生模型，自產生的問題中選擇，且自訂後續問題來為任何故事建立互動式說故事機器人。機器人可接著講故事，向孩子們提問並提供回饋意見，且與孩子們交談，以讓他們參與進來而在不受父母之干預。在兩種模式中，一些實施例可追蹤孩子之進度且可啟用可幫助父母可視化其孩子的表現資料之儀錶板，使父母能夠分析孩子之理解能力之發展。
已出於說明之目的呈現本發明之各種實施例之描述，但該等描述並不意欲為詳盡的或限於所揭示之實施例。在不脫離所描述實施例之範疇及精神之情況下，許多修改及變化對一般熟習此項技術者而言將顯而易見。本文中所使用之術語經選擇以最佳地解釋實施例之原理、實際應用程式或對市場中發現之技術的技術改良，或使得其他一般熟習此項技術者能夠理解本文中所揭示之實施例。
因此，需要在各方面將本文中所描述之實施例視為說明性的而非限制性的，且需要對隨附申請專利範圍進行參考以便確定本發明之範疇。
10:雲端運算節點 50:雲端運算環境 54A:蜂巢式電話 54B:桌上型電腦 54C:膝上型電腦 54N:汽車電腦系統 60:硬體及軟體層 61:大型電腦 62:基於精簡指令集電腦架構之伺服器 63:伺服器 64:刀鋒伺服器 65:儲存裝置 66:網路及網路連結組件 67:網路應用程式伺服器軟體 68:資料庫軟體 70:虛擬化層 71:虛擬伺服器 72:虛擬儲存器 73:虛擬網路 74:虛擬應用程式及作業系統 75:虛擬客戶端 80:管理層 81:資源供應 82:計量及定價 83:使用者入口網站 84:服務等級管理 85:服務等級協議規劃及實現 90:工作負載層 91:地圖測繪及導航 92:軟體開發及生命週期管理 93:虛擬教室教育遞送 94:資料分析處理 95:異動處理 96:機器學習模型 100a:資料處理系統 100b:資料處理系統 106:網路 110a:處理單元 110b:處理單元 110c:處理單元 110d:處理單元 112:主記憶體 114:大量儲存介面 116:終端/顯示介面 118:網路介面 120:I/O介面 122:系統匯流排 124:作業系統 126:應用程式 128:程式資料 140:直接存取儲存裝置 141:USB驅動機 142:可讀/可寫光碟驅動機 180:顯示器 400:ML模型 405 1:層 405 2:層 405 3:層 405 4:層 405 n:層 405 2b:偏差 405 2w:權重 405 4b:偏差 405 4w:權重 450:ML模型訓練方法 452:操作 454:操作 456:操作 458:操作 460:操作 462:操作 500:QA產生管線 510:基於規則之答覆產生子系統 512:語言模型 514:名稱實體擷取器 515:語意角色標籤秤 516:名詞塊擷取器 520:問題產生子系統 525:QA分類子系統 528:模版 530:排序子系統 532:QA評等模型 534:評分子系統 600:方法 605:操作 610:操作 615:操作 620:操作 625:操作 630:操作 635:操作 700:交談式代理程式系統 710:輸入文件 720:文件誦讀子系統 730:QA對 735:錨定問題 740:對話子系統 742:正確答覆 744:替代正確答覆 746:不正確答覆 748:回饋意見回應 750:對話流程結構 760:其他答覆選項 762:回饋意見回應 800:方法 805:操作 810:操作 820:操作 825:操作 830:操作 840:操作 850:操作 855:操作 860:操作 865:操作 870:操作 875:操作 880:操作
包括於本申請案中之圖式併入至說明書中且形成說明書之部分。圖式說明本發明之實施例，且連同說明書一起用以解釋本發明之原理。圖式僅說明某些實施例且不限制本發明。
圖1說明與一些實施例一致之資料處理系統(DPS)之一個實施例。
圖2說明適合於邊緣啟用的可擴充及動態轉移學習機制之雲端環境之一個實施例。
圖3展示由雲端運算環境提供之功能抽象層之集合。
圖4A說明與一些實施例一致之實例ML模型。
圖4B描繪與一些實施例一致之描繪ML模型訓練方法的一個實施例。
圖5為與一些實施例一致之QA產生管線之系統圖。
圖6為與一些實施例一致之說明自輸入文件自動產生QA對之清單之一種方法的流程圖。
圖7為與一些實施例一致之交談式代理程式系統之系統圖。
圖8A至圖8B為更詳細地說明與一些實施例一致之操作交談式代理程式系統之一種方法的流程圖。
儘管本發明容許各種修改及替代性形式，但其細節已藉助於實例在圖式中展示且將詳細地描述。然而，應理解不意欲將本發明限制在所描述之特定實施例中。相反，意圖為涵蓋屬於本發明之精神及範疇內之所有修改、等效物及替代例。
600:方法
605:操作
610:操作
615:操作
620:操作
625:操作
630:操作
635:操作

Claims (17)

  1. 一種用於建立一對話流程的電腦化方法，其包含：接收一輸入文件，該輸入文件包含內容；由一問答管線自該輸入文件之該內容產生複數個問答對；對於各問答對：將該問答對之問題饋送至一對話流程結構之一意圖中；將該問答對之答覆饋送為該意圖之一個回應；用一對應文件節索引標記該複數個問答對中之各者；由一交談式代理程式向一使用者誦讀該輸入文件；且當該交談式代理程式到達該輸入文件中之該等文件節索引中之一者時暫停該誦讀，且作為回應，向該使用者誦讀對應於該等文件節索引之該問題。
  2. 如請求項1之電腦化方法，其進一步包含：由該交談式代理程式自該使用者接收對該誦讀問題之一答覆；及根據該對話流程結構對該接收到之答覆作出回應。
  3. 如請求項1之電腦化方法，其進一步包含：自複數個使用者接收複數個輸入；及將該複數個輸入儲存至一資料儲存庫中；及使用該複數個輸入以訓練該問答管線。
  4. 如請求項1之電腦化方法，其中自該輸入文件之該內容產生該複數個問答對包含：由該問答管線之一答覆產生子系統自該輸入文件產生基於該輸入文件之該內容之複數個答覆候選項；及由該問答管線之一問題產生子系統自該輸入文件為該複數個答覆候選項中之各者產生一問題以形成複數個問答候選項對；由該問答管線之一排序子系統對該複數個問答候選項對進行排序；及將預定數目個最高排序問答候選項對選擇為該複數個問答對。
  5. 如請求項1之電腦化方法，其進一步包含：對於各問答對，由一機器學習模型產生具有類似語意意義之一或多個額外答覆；及將該等額外答覆與問答對相關聯以形成<問題，正確答覆>元組。
  6. 如請求項5之電腦化方法，其進一步包含：由該機器學習模型產生具有相反語意意義之一或多個矛盾答覆；及進一步將該等矛盾答覆與該問答對相關聯以形成<問題，正確答覆，不正確答覆>元組。
  7. 如請求項6之電腦化方法，其進一步包含將該等不正確答覆饋送為該意圖之另一回應選項。
  8. 如請求項5之電腦化方法，其中該等類似語意意義包含該答覆之一或多個釋義。
  9. 一種用於建立一對話流程之電腦程式產品，其包含一電腦可讀儲存媒體，該電腦可讀儲存媒體具有由其體現之程式指令，該等程式指令可由一處理器執行以使該處理器進行以下操作：經由一圖形網頁使用者介面收集複數個輸入文件文本之使用者輸入；使用該使用者輸入以訓練一第一深度學習模型；將一新輸入文件文本饋送至該第一深度學習模型中；由該第一深度學習模型自輸入文本擷取複數個問答對；用該對應文件節索引標記該複數個問答對；由一第二深度學習模型為該複數個問答對中之至少一些產生具有與該答覆類似的一語意意義之至少一個額外答覆及具有與該答覆相反的一語意意義之至少一個矛盾額外答覆；自該等問答對、該等額外答覆及該等矛盾答覆形成複數個<問題，正確答覆，不正確答覆>元組；對於各<問題，正確答覆，不正確答覆>元組：將各問題饋送至一對話流程結構之一新意圖中；將該等正確答覆饋送為該意圖之一個回應；且將該等不正確答覆饋送為該意圖之另一回應選項；由一交談式代理程式向一使用者誦讀該新輸入文件；當該交談式代理程式到達該新輸入文件中之該等文件節索引中之一 者時暫停該誦讀，且作為回應，向該使用者誦讀對應於該等文件節索引之該問題。
  10. 如請求項9之電腦程式產品，其進一步包含對複數個新輸入文件重複該擷取、標記、產生、形成及饋送操作。
  11. 一種用於建立一對話流程之系統，其包含：一處理單元；及一記憶體，其耦接至該處理單元，其中該記憶體含有可由該處理單元執行以使該處理單元進行以下操作之程式指令：接收一輸入文件，該輸入文件包含內容；由一問答管線自該輸入文件之該內容產生複數個問答對；對於各問答對：將該問答對之問題饋送至一對話流程結構之一意圖中；將該問答對之答覆饋送為該意圖之一個回應；用一對應文件節索引標記該複數個問答對中之各者；由一交談式代理程式向一使用者誦讀該輸入文件；當該交談式代理程式到達該輸入文件中之該等文件節索引中之一者時暫停該誦讀，且作為回應，向該使用者誦讀對應於該等文件節索引之該問題。
  12. 如請求項11之系統，其進一步包含用於進行以下操作之程式指令：由該交談式代理程式自該使用者接收對該誦讀問題之一答覆；及 根據該對話流程結構對該接收到之答覆作出回應。
  13. 如請求項11之系統，其中自該輸入文件之該內容產生該複數個問答對包含：由該問答管線之一答覆產生子系統自該輸入文件產生基於該輸入文件之該內容之複數個答覆候選項；及由該問答管線之一問題產生子系統自該輸入文件為該複數個答覆候選項中之各者產生一問題以形成複數個問答候選項對；由該問答管線之一排序子系統對該複數個問答候選項對進行排序；及將預定數目個最高排序問答候選項對選擇為該複數個問答對。
  14. 如請求項11之系統，其進一步包含用於進行以下操作之程式指令：對於各問答對，由一機器學習模型產生具有類似語意意義之一或多個額外答覆；及將該等額外答覆與問答對相關聯以形成一<問題，正確答覆>元組。
  15. 如請求項14之系統，其進一步包含用於進行以下操作之程式指令：由該機器學習模型產生具有相反語意意義之一或多個矛盾答覆；及進一步將該等矛盾答覆與問答對相關聯以形成<問題，正確答覆，不正確答覆>元組。
  16. 如請求項15之系統，其進一步包含用於將該等不正確答覆饋送為該意圖之另一回應選項之程式指令。
  17. 如請求項14之系統，其中該等類似語意意義包含該答覆之一或多個釋義。
TW111130335A 2021-10-28 2022-08-12 自文件自動產生對話流程 TWI815605B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/452,624 US20230135625A1 (en) 2021-10-28 2021-10-28 Automated generation of dialogue flow from documents
US17/452,624 2021-10-28

Publications (2)

Publication Number Publication Date
TW202318274A TW202318274A (zh) 2023-05-01
TWI815605B true TWI815605B (zh) 2023-09-11

Family

ID=86145063

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111130335A TWI815605B (zh) 2021-10-28 2022-08-12 自文件自動產生對話流程

Country Status (2)

Country Link
US (1) US20230135625A1 (zh)
TW (1) TWI815605B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710343A (zh) * 2009-12-11 2010-05-19 北京中机科海科技发展有限公司 一种基于文本挖掘的本体自动构建系统及方法
US20120173464A1 (en) * 2009-09-02 2012-07-05 Gokhan Tur Method and apparatus for exploiting human feedback in an intelligent automated assistant
CN108446321A (zh) * 2018-02-10 2018-08-24 武汉市灯塔互动文化传播有限公司 一种基于深度学习的自动问答方法
TW201832104A (zh) * 2017-02-16 2018-09-01 香港商阿里巴巴集團服務有限公司 自然語言問句答案的產生方法、裝置及伺服器
US20190147044A1 (en) * 2016-12-19 2019-05-16 Interactions Llc Underspecification of intents in a natural language processing system
US20190317994A1 (en) * 2018-04-16 2019-10-17 Tata Consultancy Services Limited Deep learning techniques based multi-purpose conversational agents for processing natural language queries
TW202034207A (zh) * 2019-03-13 2020-09-16 中華電信股份有限公司 使用意圖偵測集成學習之對話系統及其方法
CN112231537A (zh) * 2020-11-09 2021-01-15 张印祺 基于深度学习和网络爬虫的智能阅读系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173464A1 (en) * 2009-09-02 2012-07-05 Gokhan Tur Method and apparatus for exploiting human feedback in an intelligent automated assistant
CN101710343A (zh) * 2009-12-11 2010-05-19 北京中机科海科技发展有限公司 一种基于文本挖掘的本体自动构建系统及方法
US20190147044A1 (en) * 2016-12-19 2019-05-16 Interactions Llc Underspecification of intents in a natural language processing system
TW201832104A (zh) * 2017-02-16 2018-09-01 香港商阿里巴巴集團服務有限公司 自然語言問句答案的產生方法、裝置及伺服器
CN108446321A (zh) * 2018-02-10 2018-08-24 武汉市灯塔互动文化传播有限公司 一种基于深度学习的自动问答方法
US20190317994A1 (en) * 2018-04-16 2019-10-17 Tata Consultancy Services Limited Deep learning techniques based multi-purpose conversational agents for processing natural language queries
TW202034207A (zh) * 2019-03-13 2020-09-16 中華電信股份有限公司 使用意圖偵測集成學習之對話系統及其方法
CN112231537A (zh) * 2020-11-09 2021-01-15 张印祺 基于深度学习和网络爬虫的智能阅读系统

Also Published As

Publication number Publication date
TW202318274A (zh) 2023-05-01
US20230135625A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
US10621284B2 (en) Training data update
US10878033B2 (en) Suggesting follow up questions from user behavior
US11119764B2 (en) Automated editing task modification
CN107077466A (zh) 计算机自然语言处理中通用本体的词元映射
US20180203793A1 (en) Intelligent device selection for mobile application testing
US10223440B2 (en) Question and answer system emulating people and clusters of blended people
US10198501B2 (en) Optimizing retrieval of data related to temporal based queries
US20180004752A1 (en) Log-Aided Automatic Query Expansion Based on Model Mapping
US11250719B2 (en) Generating and rating user assessments
US20180089569A1 (en) Generating a temporal answer to a question
US11099107B2 (en) Component testing plan considering distinguishable and undistinguishable components
US20180144235A1 (en) Cognitive online meeting assistant facility
US20230133392A1 (en) Automatic generation of question answer pairs
US10970490B2 (en) Automatic evaluation of artificial intelligence-based processes
US11144727B2 (en) Evaluation framework for intent authoring processes
TWI818695B (zh) 用於反事實對話模擬之電腦實施方法、電腦程式產品及電腦系統
TWI815605B (zh) 自文件自動產生對話流程
US11526509B2 (en) Increasing pertinence of search results within a complex knowledge base
US11880661B2 (en) Unsupervised dynamic confidence thresholding for answering questions
US11822528B2 (en) Database self-diagnosis and self-healing
US20220067539A1 (en) Knowledge induction using corpus expansion
US11521065B2 (en) Generating explanations for context aware sequence-to-sequence models
US20230027897A1 (en) Rapid development of user intent and analytic specification in complex data spaces
US20240013003A1 (en) Providing a semantic encoding and language neural network
US20230418852A1 (en) Question-answering system for autonomic management