TW202314579A

TW202314579A - 機器閱讀理解裝置及方法

Info

Publication number: TW202314579A
Application number: TW110134998A
Authority: TW
Inventors: 邱育賢; 楊偉楨; 邱冠龍
Original assignee: 財團法人資訊工業策進會
Priority date: 2021-09-17
Filing date: 2021-09-17
Publication date: 2023-04-01
Also published as: CN115827830A; US20230088411A1

Abstract

一種機器閱讀理解裝置及方法。該裝置接收待答問題及內容文本。該裝置根據該待答問題、該內容文本及該機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子。該裝置判斷該待答問題的問題類別。該裝置自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子。該裝置將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為擴充字串。該裝置根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。

Description

機器閱讀理解裝置及方法

本發明係關於一種機器閱讀理解裝置及方法。具體而言，本發明係關於一種基於多個階段的調整機制提升機器閱讀理解準確率的機器閱讀理解裝置及方法。

近年來，市場對於對話式人工智慧的應用越來越廣泛，而機器閱讀理解（Machine Reading Comprehension；MRC）技術是對話式人工智慧中一個相當重要的技術環節。

在機器閱讀理解應用的情境中，可由使用者提出與一內容文本（例如：某一文章）相關之一待答問題，由機器去自動閱讀理解該內容文本的內容，並產生對應該待答問題之一預測答案。具體而言，在傳統的機器閱讀理解技術中，一般是藉由大量訓練資料去訓練一機器閱讀理解模型，以使機器閱讀理解模型能從內容文本中擷取部分內容以作為對應待答問題的預測答案。

然而，傳統的機器閱讀理解技術中，機器閱讀理解產生的預測答案往往會與實際正確答案有偏移的情況（即，預測答案的起始位置與終止位置與實際正確答案的起始位置與終止位置不相同），而產生不完整的答案或甚至是不正確的答案。

舉例而言，一篇關於「小高句麗國」（Little Goguryeo）的內容文本中包含了一段「《小高句麗國的研究》的作者是日野開三郎」的敘述，而使用者提出了一個待答問題為「《小高句麗國的研究》作者是誰?」。在傳統的機器閱讀理解技術中，機器在閱讀理解內容文本後，可能產生的預測答案為「開三郎」。然而，針對該待答問題，實際上完整且正確的答案應該是「日野開三郎」（Hino Kaisaburo）而不僅是「開三郎」（Kaisaburo）。顯然地，傳統的機器閱讀理解技術可能僅會擷取了內容文本中的部分答案，因而產生了不完整的答案，甚至是不正確的答案。

此外，傳統的機器閱讀理解技術也缺乏對於特定領域的特定專有名詞進行判斷，因此難以正確的產生包含領域特定專有名詞的答案。

有鑑於此，如何提供一種可提升機器閱讀理解準確率之技術，乃業界亟需努力之目標。

本發明之一目的在於提供一種機器閱讀理解裝置。該機器閱讀理解裝置包含一儲存器、一收發介面及一處理器，該處理器電性連接至該儲存器及該收發介面。該儲存器儲存一機器閱讀理解模型及一微觀探詢模型。該處理器透過該收發介面接收一待答問題及一內容文本。該處理器根據該待答問題、該內容文本及該機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子。該處理器判斷該待答問題的一問題類別。該處理器自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子。該處理器將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為一擴充字串。該處理器根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。

本發明之另一目的在於提供一種機器閱讀理解方法，該機器閱讀理解方法用於一電子裝置，該電子裝置包含一儲存器、一收發介面及一處理器。該儲存器儲存一機器閱讀理解模型及一微觀探詢模型。該機器閱讀理解方法由該處理器所執行且包含下列步驟：透過該收發介面接收一待答問題及一內容文本；根據該待答問題、該內容文本及該機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子；判斷該待答問題的一問題類別；自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子；將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為一擴充字串；以及根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。

本發明所提供之機器閱讀理解技術（至少包含裝置及方法），於機器閱讀理解階段，根據待答問題、內容文本及機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子。於答案強化特徵階段，判斷該待答問題的問題類別。自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子。將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為擴充字串。於微觀探詢階段，根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。本發明所提供之機器閱讀理解技術，提升機器閱讀理解的準確率，解決習知技術產生的預測答案可能產生不完整答案的問題。此外，本發明亦對於特定領域的特定專有名詞進行判斷，解決習知技術難以正確的產生包含領域特定專有名詞的答案的問題。

以下結合圖式闡述本發明之詳細技術及實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。

以下將透過實施方式來解釋本發明所提供之一種機器閱讀理解裝置及方法。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本發明之範圍。

本發明之第一實施方式為機器閱讀理解裝置1，其架構示意圖係描繪於第1圖。機器閱讀理解裝置1包含一儲存器11、收發介面13及處理器15，處理器15電性連接至儲存器11及收發介面13。儲存器11可為記憶體、通用串列匯流排（Universal Serial Bus；USB）碟、硬碟、光碟、隨身碟或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體或電路。收發介面13為可接收及傳輸資料之介面或本發明所屬技術領域中具有通常知識者所知悉之其他可接收及傳輸資料之介面，收發介面13可透過例如：外部裝置、外部網頁、外部應用程式等等來源接收資料。處理器15可為各種處理單元、中央處理單元（Central Processing Unit；CPU）、微處理器或本發明所屬技術領域中具有通常知識者所知悉之其他計算裝置。

於本實施方式中，如第1圖所示，儲存器11儲存機器閱讀理解模型110及微觀探詢（Micro Finder）模型115。須說明者，於本實施方式中，機器閱讀理解裝置1將先透過機器閱讀理解模型110產生初步的預測答案，後續再由微觀探詢模型115進行調整運作，以下段落先說明機器閱讀理解模型110的具體實施內容，微觀探詢模型115的具體實施內容容後詳述。

具體而言，機器閱讀理解模型110為一已訓練完成的語言模型，訓練完成後的機器閱讀理解模型110可基於待答問題及內容文本，產生預測答案。須說明者，機器閱讀理解模型110可由機器閱讀理解裝置1自外部裝置直接接收已訓練完成的機器閱讀理解模型110，或是由機器閱讀理解裝置1自行訓練產生。

於某些實施方式中，訓練機器閱讀理解模型的運作，可以一語言模型為基礎（例如：Google提出的語言模型 BERT（Bidirectional Encoder Representations from Transformers）），再基於大量的人工標記輸入資料進行訓練（例如：內容文本、人工設計的待答問題及正確答案），透過例如神經網路（Neural Network）的架構進行機器學習，對於該語言模型進行模型微調（fine-tuning），以產生訓練後的機器閱讀理解模型。本領域具有通常知識者應可根據前述說明內容，理解如何透過類神經網路架構進行機器學習訓練的運作內容，茲不贅言。

先簡單說明本發明之第一實施方式的運作，本發明主要分為三階段，分別為機器閱讀理解階段、答案強化特徵（Answer Enhance Feature; AE Feature）階段及微觀探詢（Micro Finder）階段，以下段落將詳細說明與本發明相關之實施細節。

首先，於機器閱讀理解階段，如第1圖所示，處理器15透過收發介面13接收待答問題133及內容文本135。接著，處理器15根據待答問題133、內容文本135及機器閱讀理解模型110，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子（Span Sentence）。須說明者，第一來源句子為該第一預測答案在內容文本135中的句子來源（即，機器閱讀理解模型110是依據該第一來源句子來產生該第一預測答案）。

舉例而言，若內容文本135為「日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後，高句麗王族後代在遼東和朝鮮半島大同江以北建立了復興政權小高句麗」，待答問題133為「《小高句麗國的研究》作者是誰?」。在本範例中，機器閱讀理解模型110基於內容文本135中的句子「日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後」判斷第一預測答案為「開三郎」，因此「日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後」即為第一來源句子。

須說明者，於某些實施方式中，機器閱讀理解模型110可能產生複數個具有排名順序（例如：基於信心度排序）的第一預測答案及對應之第一來源句子，可由機器閱讀理解裝置1視規模及需求而調整／設定，僅選擇部分之第一預測答案及對應之第一來源句子進行後續之運作（例如：僅選擇前二名的第一預測答案及對應之第一來源句子）。

接著，以下段落將說明答案強化特徵階段。須說明者，答案強化特徵階段分為特殊用語擷取階段及組合擴充字串階段，以下段落將詳細說明與本發明相關之實施細節。

首先，於特殊用語擷取階段中，為了更精確的從內容文本135擷取出可能的完整答案（例如：特定領域的專有名詞或特殊用語），處理器15將分析待答問題133的問題類別，且基於該問題類別從內容文本135中擷取對應問題類別的特殊用語。具體而言，處理器15判斷待答問題133的問題類別。接著，處理器15自內容文本135中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子。

須說明者，在不同實施方式中，機器閱讀理解裝置1可視內容文本135調整問題的類別項目及數量。於某些實施方式中，機器閱讀理解裝置1可將問題類別分為「誰」（Who）、「哪裡」（Where）、「何時」（When）、「其他」（Other）等四種類別項目。舉例而言，基於前述四種類別，處理器15判斷待答問題133的「《小高句麗國的研究》作者是誰?」是屬於「誰」的類別。

於某些實施方式中，判斷待答問題133的問題類別可透過訓練完成的一問題分類模型完成，該問題分類模型系透過大量的人工標記輸入資料進行訓練，並透過神經網路的架構進行機器學習，本領域具有通常知識者應可根據前述說明內容，理解透過類神經網路串接以進行機器學習訓練的運作內容，茲不贅言。

於某些實施方式中，處理器15分析內容文本135，以產生複數個實體分類、對應各該實體分類之該等特殊用語及對應該等特殊用語中各者的複數個第二來源句子。接著，處理器15根據該問題類別及該等實體分類，擷取與該問題類別相關之該等個特殊用語及對應該等特殊用語中各者的該等第二來源句子。具體而言，前述的產生實體分類、特殊用語及第二來源句子等運作，處理器15可透過例如命名實體識別（Named Entity Recognition; NER）模型、關鍵詞比對演算法、特殊用語擷取演算法等等的方式實施。

為便於理解，以下將以一具體範例舉例而言。於本範例中，內容文本135為「日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後，高句麗王族後代在遼東和朝鮮半島大同江以北建立了復興政權小高句麗」，待答問題133為「《小高句麗國的研究》作者是誰? 」（已被分類至「誰」類別）。

如下表1所示，處理器15分析內容文本135後，產生「人名」、「地理名詞」、「國家組織」等實體分類，以及對應「人名」的特殊用語「日野開三郎」、對應「地理名詞」的特殊用語「遼東」及「朝鮮半島」、對應「國家組織」的特殊用語「日本」、「高句麗」及「小高句麗」。此外，如下表2所示，處理器15會產生對應「日野開三郎」、「遼東」、「朝鮮半島」、「日本」、「高句麗」及「小高句麗」的複數個第二來源句子。

實體分類	特殊用語
人名	日野開三郎
地理名詞	遼東、朝鮮半島
國家組織	日本、高句麗、小高句麗

表1

特殊用語	第二來源句子
日野開三郎	日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後
遼東	高句麗王族後代在遼東和朝鮮半島大同江以北建立了復興政權小高句麗
朝鮮半島	高句麗王族後代在遼東和朝鮮半島大同江以北建立了復興政權小高句麗
日本	日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後
高句麗	日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後
小高句麗	日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後、高句麗王族後代在遼東和朝鮮半島大同江以北建立了復興政權小高句麗

表2

於本範例中，由於實體分類中僅有「人名」與「誰」的這個分類有關。因此，處理器15擷取與該問題類別（即，「誰」）相關之該等個特殊用語（即，「日野開三郎」）及對應該等特殊用語中各者的該等第二來源句子（即，「日本學者日野開三郎在其著《小高句麗國的研究》中描述高句麗滅亡後」）。

須說明者，表1及表2僅用於方便例示本範例的內容，其並非用以限制本發明之範圍。本領域具有通常知識者應可基於上述說明內容，理解在其他範例中（例如：具有更多內容的內容文本）具體運作及實施的方式，茲不贅言。

接著，以下將說明組合擴充字串階段的運作。於組合擴充字串階段，處理器15更透過將前述運作中產生的特徵串接成擴充字串，以作為後續輸入至微觀探詢模型115的增強答案特徵。具體而言，處理器15將待答問題133、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為擴充字串200。

於某些實施方式中，處理器15組合擴充字串200時，處理器15是基於該等第一來源句子及該等第二來源句子在內容文本135中出現的順序，組合擴充字串200中之一來源句子字串。此外，當該來源句子字串中存在一重複句子時，處理器15刪除該重複句子（即，刪除重複的來源句子）。換言之，處理器15基於來源句子在內容文本135中出現的順序，將來源句子進行聯集並串接。

於某些實施方式中，在處理器15將該擴充字串200輸入至微觀探詢模型115運作時，處理器15對於擴充字串200作編碼處理（Encoder），以利後續微觀探詢階段時以各個字元位置為單位進行計算。具體而言，處理器15更基於一單字編碼長度（例如：各個單字即為為一字元單位），對該擴充字串進行編碼運作，以產生複數個編碼向量。最後，處理器15將該等編碼向量輸入至微觀探詢模型115。

為便於理解，第2A示出擴充字串200的字串分布位置示意圖，第2B圖示出擴充字串200經由編碼運作後的編碼向量位置示意圖。須說明者，來源句子字串202由前述將來源句子進行聯集並串接所產生。由於來源句子字串202中包含前述運作中機器閱讀理解模型110產生的第一來源句子及與特殊用語相關的第二來源句子，因此來源句子字串202中包含高機率為答案的句子來源，來源句子字串202即作為後續輸入至微觀探詢模型115的增強答案特徵（Answer Enhance Feature; AEF）。

須說明者，第一預測答案Ans_1、…、第一預測答案Ans_n及特殊用語NER_1、…、特殊用語NER_m中分別帶有在來源句子字串202中其所對應的起始指標（index）及結束指標（即，分別指向起始及結束的字元編碼向量位置），該資訊將用於後續微觀探詢階段的計算。

接著，以下段落將說明微觀探詢階段。於微觀探詢階段中，機器閱讀理解裝置1將基於帶有增強答案特徵的擴充字串200及微觀探詢模型115，計算來源句子字串202中各個編碼向量位置是起始位置或結束位置的機率，並基於開始結束配對機率向量，判斷更精確的預測答案。具體而言，處理器15根據擴充字串200及微觀探詢模型115，產生對應待答問題133之複數個第二預測答案。

於某些實施方式中，處理器15更基於第一預測答案或特殊用語中的起始指標或結束指標，基於偏移位元值將起始指標或結束指標前後幾個字元（例如：前後2個字元）作為熱區（Hot Zone），加強後續搜尋的權重。具體而言，處理器15將複數個起始指標及複數個結束指標，分別指向該等編碼向量中各該第一預測答案及各該特殊用語中的一起始位置及一結束位置。接著，處理器15基於該等起始指標、該等結束指標及一偏移位元值，產生一權重調整矩陣。為便於理解，如第3圖所示，以第一預測答案Ans_1及特殊用語NER_1為例，處理器15將第一預測答案Ans_1的起始指標Start_Ans_1及結束指標End_Ans_1前後的字元均設為熱區，提高其權重。同樣地，處理器15將特殊用語NER_1的起始指標Start_ NER_1及結束指標End_ NER_1前後的字元均設為熱區，提高其權重。

舉例而言，處理器15可利用以下公式產生起始權重調整矩陣

及結束調整矩陣

，以起始權重調整矩陣

舉例如下:

於上述公式中，參數

、…、

分別代表來源句子字串202中的編碼向量位置的權重值，參數

則代表位於熱區時的調整權重值。

隨後，處理器15基於該等編碼向量及權重調整矩陣，計算一起始指標機率矩陣及一結束指標機率矩陣。舉例而言，處理器15可利用以下公式產生起始指標機率矩陣

：

於上述公式中，參數

、…、

代表來源句子字串202中的各個編碼向量位置是起始指標的機率，參數

、…、

代表來源句子字串202中的各個編碼向量位置不是起始指標的機率。參數

為經神經網路訓練後的微觀探詢模型115產生的起始（start）權重值。

舉例而言，處理器15可利用以下公式產生結束指標機率矩陣

：

於上述公式中，參數

、…、

代表來源句子字串202中的各個編碼向量位置是結束指標的機率，參數

、…、

代表來源句子字串202中的各個編碼向量位置不是結束指標的機率。參數

為經神經網路訓練後的微觀探詢模型115產生的結束（end）權重值。

隨後，處理器15基於起始指標機率矩陣

及結束指標機率矩陣

，決定一高機率起始指標集及一高機率結束指標集。舉例而言，處理器15可利用以下公式決定一高機率起始指標集

及一高機率結束指標集

：

於上述公式中，若

，則認為起始指標

有高機率為真正的起始指標，將其加入高機率起始指標集

。若

，則認為結束指標

有高機率為真正的結束指標，將其加入高機率結束指標集

。舉例而言，

可設為0.2。

接著，處理器15基於高機率起始指標集及該高機率結束指標集，產生一起始結束配對（pair）機率向量。舉例而言，處理器15可利用以下公式產生一起始結束配對機率向量

：

於上述公式中，

是深度學習中常見的激勵函數 (activation function)，參數

為經神經網路訓練後的微觀探詢模型115產生的起始結束權重值，

為二個向量的串接符號。具體而言，起始結束配對機率向量表示每個起始結束（Start-End）配對為正確解的機率

。

最後，處理器15基於該起始結束配對機率向量，產生對應該待答問題之該等第二預測答案。舉例而言，處理器15可利用以下公式產生一起始結束配對機率向量：

,

,

具體而言，處理器15將結束指標位置早於起始指標位置的情形排除，並基於

過濾距離太遠的配對結果（舉例而言，通常將

設為10）。

於某些實施方式中，微觀探詢模型115是由大量的的人工標記輸入資料進行訓練，且透過神經網路的架構進行機器學習後產生。具體而言，由處理器15基於複數個測驗內容文本、複數個測驗問題及對應該等測驗問題中各者的一標準答案，計算各該標準答案的一正確起始指標、一正確結束指標及一正確配對結果。接著，透過機器學習建立該等正確起始指標、該等正確結束指標及該等正確配對結果的複數個關聯權重。最後，根據該等關聯權重，建立微觀探詢模型115。舉例而言，處理器15可利用以下公式產生目標函式：

+

+

於上述公式中，參數

、

、

為介於0至1的權重值（舉例而言：參數

、

通常各為1/3）。

為Cross Entropy Loss函式，該函式可讓模型去學習預測資料的機率分佈。參數

及

分別為真實的起始指標、結束指標、及起始結束配對，處理器15透過大量輸入資料進行訓練以得到關聯權重

、

、

。本領域具有通常知識者應可根據前述說明內容，理解透過類神經網路串接以進行機器學習訓練的運作內容，茲不贅言。

由上述說明可知，本發明所提供之機器閱讀理解裝置1，於機器閱讀理解階段，根據待答問題、內容文本及機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子。於答案強化特徵階段，判斷該待答問題的問題類別。自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子。將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為擴充字串。於微觀探詢階段，根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。本發明所提供之機器閱讀理解技術，提升機器閱讀理解的準確率，解決習知技術產生的預測答案可能產生不完整答案的問題。此外，本發明亦對於特定領域的特定專有名詞進行判斷，解決習知技術難以正確的產生包含領域特定專有名詞的答案的問題。

本發明之第二實施方式為一機器閱讀理解方法，其流程圖係描繪於第4圖。機器閱讀理解方法400適用於一電子裝置，該電子裝置包含一儲存器、一收發介面及一處理器，例如：第一實施方式所述之機器閱讀理解裝置1。電子裝置儲存機器閱讀理解模型及微觀探詢模型，例如：第一實施方式之機器閱讀理解模型110及微觀探詢模型115。機器閱讀理解方法400透過步驟S401至步驟S411產生對應待答問題之複數個第二預測答案。

於步驟S401，由電子裝置透過該收發介面接收一待答問題及一內容文本。於步驟S403，由電子裝置根據該待答問題、該內容文本及該機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子。

接著，於步驟S405，由電子裝置判斷該待答問題的一問題類別。隨後，於步驟S407，由電子裝置自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子。接著，於步驟S409，由電子裝置將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為一擴充字串。

最後，於步驟S411，由電子裝置根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。

於某些實施方式中，機器閱讀理解方法400更包含下列步驟：分析該內容文本，以產生複數個實體分類、對應各該實體分類之該等特殊用語及對應該等特殊用語中各者的複數個第二來源句子。根據該問題類別及該等實體分類，擷取與該問題類別相關之該等個特殊用語及對應該等特殊用語中各者的該等第二來源句子。

於某些實施方式中，其中組合該擴充字串時更包含下列步驟：基於該等第一來源句子及該等第二來源句子在內容文本中出現的順序，組合該擴充字串中之一來源句子字串。當該來源句子字串中存在一重複句子時，刪除該重複句子。

於某些實施方式中，其中在將該擴充字串輸入至該微觀探詢模型運作時更包含下列步驟：基於一單字編碼長度，對該擴充字串進行一編碼運作，以產生複數個編碼向量。將該等編碼向量輸入至該微觀探詢模型。

於某些實施方式中，機器閱讀理解方法400更包含下列步驟：將複數個起始指標及複數個結束指標，分別指向該等編碼向量中各該第一預測答案及各該特殊用語中的一起始位置及一結束位置。基於該等起始指標、該等結束指標及一偏移位元值，產生一權重調整矩陣。基於該等編碼向量及權重調整矩陣，計算一起始指標機率矩陣及一結束指標機率矩陣。基於該起始指標機率矩陣及該結束指標機率矩陣，決定一高機率起始指標集及一高機率結束指標集。基於高機率起始指標集及該高機率結束指標集，產生一起始結束配對（pair）機率向量。基於該起始結束配對機率向量，產生對應該待答問題之該等第二預測答案。

於某些實施方式中，機器閱讀理解方法400更包含下列步驟：基於複數個測驗內容文本、複數個測驗問題及對應該等測驗問題中各者的一標準答案，計算各該標準答案的一正確起始指標、一正確結束指標及一正確配對結果。透過機器學習建立該等正確起始指標、該等正確結束指標及該等正確配對結果的複數個關聯權重。根據該等關聯權重，建立該微觀探詢模型。

除了上述步驟，第二實施方式亦能執行第一實施方式所描述之機器閱讀理解裝置1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。

需說明者，於本發明專利說明書及申請專利範圍中，某些用語（包含：預測答案及來源句子）前被冠以「第一」或「第二」，該等「第一」及「第二」僅用來區分不同之用語。例如：第一來源句子及第二來源句子中之「第一」及「第二」僅用來表示不同階段時所產生之來源句子。

綜上所述，本發明所提供之機器閱讀理解技術（至少包含裝置及方法），於機器閱讀理解階段，根據待答問題、內容文本及機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子。於答案強化特徵階段，判斷該待答問題的問題類別。自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子。將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為擴充字串。於微觀探詢階段，根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。本發明所提供之機器閱讀理解技術，提升機器閱讀理解的準確率，解決習知技術產生的預測答案可能產生不完整答案的問題。此外，本發明亦對於特定領域的特定專有名詞進行判斷，解決習知技術難以正確的產生包含領域特定專有名詞的答案的問題。

上述實施方式僅用來例舉本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，而本發明之權利保護範圍以申請專利範圍為準。

1:機器閱讀理解裝置 11:儲存器 13:收發介面 15:處理器 110:機器閱讀理解模型 115:微觀探詢模型 133:待答問題 135:內容文本 200:擴充字串 202:來源句子字串 400:機器閱讀理解方法 Start_Ans_1:第一預測答案的起始指標 End_Ans_1:第一預測答案的結束指標 Start_ NER_1:特殊用語的起始指標 End_ NER_1:特殊用語的結束指標 S401、S403、S405、S407、S409、S411:步驟

第1圖係描繪第一實施方式之機器閱讀理解裝置之架構示意圖；第2A圖係描繪第一實施方式之擴充字串的字串分布位置示意圖；第2B圖係描繪第一實施方式之擴充字串經由編碼運作後的編碼向量位置示意圖；第3圖係描繪第一實施方式之熱區示意圖；以及第4圖係描繪第二實施方式之機器閱讀理解方法之部分流程圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

400:機器閱讀理解方法

S401、S403、S405、S407、S409、S411:步驟

Claims

一種機器閱讀理解裝置，包含：一儲存器，儲存一機器閱讀理解模型及一微觀探詢模型；一收發介面；以及；一處理器，電性連接至該儲存器及該收發介面，用以執行以下運作：透過該收發介面接收一待答問題及一內容文本；根據該待答問題、該內容文本及該機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子；判斷該待答問題的一問題類別；自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子；將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為一擴充字串；以及根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。
如請求項1所述之機器閱讀理解裝置，其中該處理器更執行以下運作：分析該內容文本，以產生複數個實體分類、對應各該實體分類之該等特殊用語及對應該等特殊用語中各者的複數個第二來源句子；以及根據該問題類別及該等實體分類，擷取與該問題類別相關之該等個特殊用語及對應該等特殊用語中各者的該等第二來源句子。
如請求項1所述之機器閱讀理解裝置，其中該處理器組合該擴充字串時，更執行以下運作：基於該等第一來源句子及該等第二來源句子在內容文本中出現的順序，組合該擴充字串中之一來源句子字串；以及當該來源句子字串中存在一重複句子時，刪除該重複句子。
如請求項1所述之機器閱讀理解裝置，其中該處理器在將該擴充字串輸入至該微觀探詢模型運作時，更執行以下運作：基於一單字編碼長度，對該擴充字串進行一編碼運作，以產生複數個編碼向量；以及將該等編碼向量輸入至該微觀探詢模型。
如請求項4所述之機器閱讀理解裝置，其中該處理器更執行以下運作：將複數個起始指標及複數個結束指標，分別指向該等編碼向量中各該第一預測答案及各該特殊用語中的一起始位置及一結束位置；基於該等起始指標、該等結束指標及一偏移位元值，產生一權重調整矩陣；基於該等編碼向量及權重調整矩陣，計算一起始指標機率矩陣及一結束指標機率矩陣；基於該起始指標機率矩陣及該結束指標機率矩陣，決定一高機率起始指標集及一高機率結束指標集；基於高機率起始指標集及該高機率結束指標集，產生一起始結束配對機率向量；以及基於該起始結束配對機率向量，產生對應該待答問題之該等第二預測答案。
如請求項1所述之機器閱讀理解裝置，其中該處理器更執行以下運作：基於複數個測驗內容文本、複數個測驗問題及對應該等測驗問題中各者的一標準答案，計算各該標準答案的一正確起始指標、一正確結束指標及一正確配對結果；透過機器學習建立該等正確起始指標、該等正確結束指標及該等正確配對結果的複數個關聯權重；以及根據該等關聯權重，建立該微觀探詢模型。
一種機器閱讀理解方法，用於一電子裝置，該電子裝置包含一儲存器、一收發介面及一處理器，該儲存器儲存一機器閱讀理解模型及一微觀探詢模型，該機器閱讀理解方法由該處理器所執行且包含下列步驟：透過該收發介面接收一待答問題及一內容文本；根據該待答問題、該內容文本及該機器閱讀理解模型，產生複數個第一預測答案及對應該等第一預測答案中各者的複數個第一來源句子；判斷該待答問題的一問題類別；自該內容文本中，擷取與該問題類別相關之複數個特殊用語及對應該等特殊用語中各者的複數個第二來源句子；將該待答問題、該等第一來源句子、該等第二來源句子、該等第一預測答案及該等特殊用語組合為一擴充字串；以及根據該擴充字串及該微觀探詢模型，產生對應該待答問題之複數個第二預測答案。
如請求項7所述之機器閱讀理解方法，其中更包含下列步驟：分析該內容文本，以產生複數個實體分類、對應各該實體分類之該等特殊用語及對應該等特殊用語中各者的複數個第二來源句子；以及根據該問題類別及該等實體分類，擷取與該問題類別相關之該等個特殊用語及對應該等特殊用語中各者的該等第二來源句子。
如請求項7所述之機器閱讀理解方法，其中組合該擴充字串時更包含下列步驟：基於該等第一來源句子及該等第二來源句子在內容文本中出現的順序，組合該擴充字串中之一來源句子字串；以及當該來源句子字串中存在一重複句子時，刪除該重複句子。
如請求項7所述之機器閱讀理解方法，其中在將該擴充字串輸入至該微觀探詢模型運作時更包含下列步驟：基於一單字編碼長度，對該擴充字串進行一編碼運作，以產生複數個編碼向量；以及將該等編碼向量輸入至該微觀探詢模型。
如請求項10所述之機器閱讀理解方法，其中更包含下列步驟：將複數個起始指標及複數個結束指標，分別指向該等編碼向量中各該第一預測答案及各該特殊用語中的一起始位置及一結束位置；基於該等起始指標、該等結束指標及一偏移位元值，產生一權重調整矩陣；基於該等編碼向量及權重調整矩陣，計算一起始指標機率矩陣及一結束指標機率矩陣；基於該起始指標機率矩陣及該結束指標機率矩陣，決定一高機率起始指標集及一高機率結束指標集；基於高機率起始指標集及該高機率結束指標集，產生一起始結束配對機率向量；以及基於該起始結束配對機率向量，產生對應該待答問題之該等第二預測答案。
如請求項7所述之機器閱讀理解方法，其中更包含下列步驟：基於複數個測驗內容文本、複數個測驗問題及對應該等測驗問題中各者的一標準答案，計算各該標準答案的一正確起始指標、一正確結束指標及一正確配對結果；透過機器學習建立該等正確起始指標、該等正確結束指標及該等正確配對結果的複數個關聯權重；以及根據該等關聯權重，建立該微觀探詢模型。