TWI774324B

TWI774324B - 用於變換黑箱模型以基於自黑箱模型、觀察資料、或合成資料導出之若干組一或多個規則產生白箱模型之電腦實施方法、電腦系統、及裝置及相關的電腦可讀媒體及低功率晶片、及用於白箱模型誘導之裝置及電腦程式產品

Info

Publication number: TWI774324B
Application number: TW110113706A
Authority: TW
Inventors: 安杰羅達利; 慕埃羅皮爾羅恩
Original assignee: 馬爾他商優奈有限公司
Priority date: 2021-04-16
Filing date: 2021-04-16
Publication date: 2022-08-11
Also published as: TW202242725A

Abstract

可展示及描述一種用於可解釋人工智慧(XAI)之模型誘導方法。一黑箱AI之一模型連同一樣本輸入資料集可作為至該模型誘導方法之一輸入。可使用一線性或非線性預測器函數來預測該黑箱模型之輸出，從而產生一資料點集。可由一分割函數分割該等資料點，且各分區可表示一或多個規則。亦可使用數個變換函數，諸如一多項式展開變換該資料。可將一局部模型擬合至該或該等經變換函數。一組規則可自該等局部模型解譯且可形成一白箱AI模型。可由該白箱模型模型化線性或非線性資料。此外，可在一低功率器件上實施該白箱模型。

Description

用於變換黑箱模型以基於自黑箱模型、觀察資料、或合成資料導出之若干組一或多個規則產生白箱模型之電腦實施方法、電腦系統、及裝置及相關的電腦可讀媒體及低功率晶片、及用於白箱模型誘導之裝置及電腦程式產品

可展示及描述一種用於自一既有機器學習模型提取一模型之方法。

機器學習領域中之最近成果已產生人工智慧之大量新實施方案，從而提供許多益處及優勢。AI演算法在新應用領域方面勝過人類。儘管有此成功，但AI可能並不完美，且可能仍然易於正如同人類般犯錯。此等錯誤通常可能無法偵測，不可預測，且可能不具有直接的干預解決。儘管有此等限制，但AI仍然可在任務關鍵環境中實施，此可能在出錯時導致重大後果。

人工智慧及機器學習演算法通常無法向人類使用者解釋其等之決策及行動。因此，當出錯時，可能難以偵測及校正。因此，在該領域可能需要一種解釋一AI之結論背後之推論之方法。

一個所提出解決方案係廣義的線性規則模型。此方法使用利用基於規則之特徵之線性模型且用於回歸及分類兩者。此方法可在廣義線性模型(GLM)之框架內採取決策規則之一線性組合。廣義的線性模型方法可隨著該模型及規則數目增加並隨著線性模型不充分地擬合一組規則而混亂。

可在提供與模型預測中之特徵貢獻成比例之一例項級特徵重要性之屬性方法中找到另一可能的解決方案。如同LIME及夏普利值之系統探測有關一輸入之擾動之行為且接著使用彼資料來構建用作該輸入之鄰域中之完整模型之一簡化代理之一局部線性模型。如同LRP、SmoothGrad、DeepLIFT及DeConvNet之基於梯度之屬性方法使用通過該系統之至少一個向前及/或向後遍次來產生特徵屬性。來自屬性方法之所得輸出可為可解釋哪些特徵對於一特定預測最重要之一組特徵連同權重。

另外，存在數種規則提取方法。此等方法之一些可以一神經元級，而非整個網路架構級工作且被稱為分解技術。此等方法因為其等係模型特定的而受限。代替地，其它規則提取方法可採用教學技術，該等教學技術可應用於任何黑箱模型，而不管底層架構如何。教學方法可產生人工資料點以饋送至黑箱以觀察如何應用規則。

不管技術如何，上文所揭示之模型可能無法在不產生精細規則之情況下模型化非線性資料。此可能導致可能比原始模型更慢或更低效之一高度複雜的基於規則之模型。此外，使用一典型模型提取方法之非線性資料模型化可產生不準確結果或不產生任何結果。另外，經產生模型可能需要大量儲存及處理能力而變有效。可能需要網路連接性以供該模型處理資料。

可展示及描述一種用於可解釋人工智慧(XAI)之模型誘導方法。一黑箱AI之一模型連同一樣本輸入資料集，諸如訓練資料或合成產生資料可為至該模型誘導方法之一輸入。該模型誘導方法可使用一合適擾動方法以多種方式擾動輸入資料，且可合併該經擾動資料與該樣本輸入資料。接下來，可使用一預測器函數來預測該黑箱模型之輸出。該預測器函數可為線性或非線性的。可由該預測器函數創建一資料點集。可由一分割函數分割該等資料點，使得資料點之一分區可表示一或多個規則。

可過濾該等經分割資料點。該等經分割資料點可表示一局部模型之資料。一局部模型可被定義為僅應用於一個分區上之一模型，而一全域模型係應用於整個資料集上之一模型。可將一局部模型擬合至各分區。該局部模型可為線性的。亦可使用數個變換函數，諸如一多項式展開變換該資料。可將一局部模型擬合至該或該等經變換函數。最後，可由該模型解譯該等經變換及經擬合函數以形成可以符號邏輯呈現之規則。可在一全域模型創建程序中使用多個局部模型之一組合。

所得規則組可形成一白箱AI模型。與原始黑箱模型相較，該白箱模型可在大小上更小且需要更少處理能力來操作。因此，該白箱模型可在不犧牲準確度之情況下與該黑箱模型一樣快地操作或比該黑箱模型更快地操作。可由該白箱模型模型化線性或非線性資料。此外，該白箱模型可在一低功率器件上實施且可能不需要網際網路連接性。

在一第一態樣中，本發明提供一種用於變換一黑箱模型以基於自該黑箱模型導出之若干組一或多個規則產生一白箱模型之電腦實施方法，該方法包括：接收該黑箱模型；產生與該黑箱模型相關聯之一資料點集，其中該黑箱模型經組態以導出該資料點集；使用一分割函數分割該資料點集以獲得一經分割資料點集，其中該等經分割資料點經分配給由該分割函數產生之一或多個分區，其中該一或多個分區之各分區表示一組一或多個規則；基於該經分割資料點集，識別該經分割資料點集之一變換函數，其中自該經識別變換函數之一局部模型解譯該組一或多個規則；及提供與自該分割函數獲得之分區相關聯之該若干組一或多個規則以藉由應用該若干組一或多個規則來產生該白箱模型，其中該若干組一或多個規則包括呈現該各分區之該組一或多個規則。

在一第二態樣中，本發明提供一種用於變換一黑箱模型以基於自該黑箱模型導出之若干組一或多個規則以產生一白箱模型之電腦系統，該系統包括：至少一個電路，其經組態以執行由至少一個處理器執行之一可程式化指令集之行動序列，其中該可程式化指令集呈電腦可讀儲存媒體之形式儲存，使得該等行動序列之該執行使該至少一個處理器能夠：接收該黑箱模型及/或一輸入集；基於該輸入集，產生與該黑箱模型相關聯之一資料點集，其中該黑箱模型經組態以導出該資料點集；使用一分割函數分割該資料點集以獲得一經分割資料點集，其中該等經分割資料點經分配給由該分割函數產生之一或多個分區，其中該一或多個分區之各分區表示一組一或多個規則；基於該經分割資料點集，識別該經分割資料點集之一變換函數，其中自該經識別變換函數之一局部模型解譯該組一或多個規則；及提供與自該分割函數獲得之分區相關聯之該若干組一或多個規則以產生該白箱模型，其中該若干組一或多個規則包括呈現該各分區之該組一或多個規則。

在其他態樣中係一種用於白箱模型誘導之裝置及電腦產品，其包括經組態以實施本文中所描述之方法或系統之一或多個處理器。

本文中所描述之方法可由在一有形儲存媒體上呈機器可讀形式之軟體執行，例如呈包括電腦程式碼構件之一電腦程式之形式，該電腦程式碼構件經調適以當該程式在一電腦上運行時且在該電腦程式可體現於一電腦可讀媒體上之情況下執行本文中所描述之任何方法之所有步驟。有形(或非暫時性)儲存媒體之實例包含磁碟、拇指隨身碟、記憶卡等，且不包含傳播信號。該軟體可適合於在一平行處理器或一串列處理器上執行，使得方法步驟可以任何合適順序或同時執行。

本申請案認可韌體及軟體可為有價值的、單獨可交易商品。其意欲於涵蓋在標準硬體上運行以實行所要功能之軟體。其亦意欲於涵蓋「描述」或定義硬體組態之軟體，諸如如用於設計矽晶片或用於組態通用可程式化晶片以實行所要功能之HDL(硬體描述語言)軟體。在此情況下，一低功率矽晶片經組態以應用基於自一黑箱模型導出之若干組一或多個規則產生之一白箱模型。白箱模型經組態以經由該晶片之一或多個處理器執行一可程式化指令集。

進一步應暸解，本發明之各種選項可適當地組合，如對於熟習此項技術者而言將係顯而易見的，且可與本發明之任何態樣組合。

102:步驟

104:步驟

106:步驟

108:步驟

110:步驟

112:步驟

114:步驟

200:輸入影像

202:分類標籤

204:數字

206:解釋

210:筆記本

212:棒球

214:箱

302:白箱模型提取器

304:黑箱模型

306:額外輸入資料

308:資料點預測及分類

404:電信網路模型

406:訓練及測試資料

408:模型誘發方法

410:可解釋模型或可解釋人工智慧(XAI)規則

502:步驟

504:步驟

506:步驟

508:步驟

510:步驟

511:步驟

512:步驟

514:步驟

516:步驟

518:步驟

520:步驟

522:步驟

524:步驟

700:輸入

702:腿

704:尾巴

706:鼻嘴

708:頸圈

710:類似貓的耳朵

712:鼻子

714:眼睛

本發明之實施例之優點自其實例性實施例之以下詳細描述將係顯而易見的，該描述應結合隨附圖式進行考量，其中類似元件符號指示類似元件，其中：圖1係用於自一黑箱機器學習演算法提取一機器學習演算法之一可解釋白箱模型之一實例性方法。

圖2A係一黑箱影像分類演算法之一輸出之一實例性實施例。

圖2B係一白箱影像分類演算法之一輸出之一實例性實施例。

圖3係描繪一白箱模型提取器與一黑箱模型之間的互動之一實例性流程圖。

圖4係繪示一實例性模型誘導方法之實施方案之一實例性流程圖。

圖5係繪示模型誘導程序之一實例性圖。

圖6係繪示一組實例性規則之階層分區之一實例性圖。

圖7係繪示一實例性可解釋AI系統之內部結構之一實例性圖。

在涉及本發明之特定實施例之以下描述及相關圖中揭示本發明之態樣。熟習此項技術者將認知，在不脫離發明申請專利範圍之精神或範疇之情況下，可想出替代實施例。另外，將不詳細地描述或將省略本發明之實例性實施例之眾所周知的元件以免模糊本發明之相關細節。

如本文中所使用，字詞「實例性」意謂「用作一實例、例項或圖解」。本文中所描述之實施例並非限制性的，而是僅係實例性的。應暸解，所描述實施例不一定被解釋為較佳的或優於其他實施例。此外，術語「本發明之實施例」、「實施例」或「發明」不要求本發明之所有實施例包含所論述特徵、優點或操作模式。

此外，本文中所描述之諸多實施例在例如由一運算器件之元件執行之行動序列方面進行描述。熟習此項技術者應認知，本文中所描述之各種行動序列可由特定電路(例如，特定應用積體電路(ASIC))及/或由藉由至少一個處理器執行之程式指令來執行。另外，本文中所描述之行動序列可完全體現於任何形式之電腦可讀儲存媒體中，使得行動序列之執行使該處理器能夠執行本文中所描述之功能。因此，本發明之各個態樣可體現為數種不同形式，所有該等形式已被考慮在所主張標的物之範疇內。另外，針對本文中所描述之實施例之各者，任何此等實施例之對應形式可在本文中被描述為例如「經組態以」執行所描述行動之「一電腦」。

識別及暸解一黑箱系統之行為可能在多種應用中有用。可使用一組規則或一合適邏輯等效物模型化此行為。自行為模型導出之資訊可向一人類使用者提供關於黑箱系統如何得出一特定結論之更好洞察。該等規則之知識可允許一使用者識別與機器學習系統相關聯之可能風險及錯誤。如本文中所使用，一黑箱系統可意謂具有至少一個不可解譯或不可解釋或以其它方式不可存取組件之任何機器學習模型。

可揭示一種用於模型化資料之方法、系統或電腦程式。在一實例性實施例中，該系統可使用規則之一組合模型化非線性資料。該等規則可呈任何形式，諸如析取範式(DNF)或合取範式(CNF)。可藉由組合線性方法與非線性變換(諸如多項式變換)來模型化非線性資料。該方法可為模型無關的，使得其可應用於任何黑箱系統，而不管底層模型如何。

一實例性程式可利用一既有黑箱模型作為一演算法之一輸入預測器。給定一些輸入資料，該預測器模型可用來輸出預測。此技術可在若干應用中提供有用洞察。例如，可分析一機器學習模型以判定該模型可能已選定之訓練資料中之任何偶發型樣，且接著可校正此等誤差。此外，該分析可提供有關機器學習模型之特定域之洞察。可分析及解釋提供醫療診斷之一機器學習模型以向一醫師提供關於一患者之哪些症狀產生診斷之進一步洞察。除此等實例之外，該系統亦可在任何人工智慧或機器學習模型上實施。

用於提取一模型之一實例性系統可涉及創建輸入資料之一第一步驟。輸入資料可為任何類型之資料，諸如訓練資料及/或合成資料。各合成資料樣本可用於測試預測。合成資料可足夠寬使得測試整個黑箱機器學習演算法。每筆合成基資料可為單個變數、特徵或值。接著，該系統可將合成資料作為輸入應用於一黑箱系統以接收該模型之一變化輸出。在一實例性實施例中，該系統可另外應用合成資料集之一擾動。可記錄該輸出，且該演算法可識別各輸入如何影響該輸出，而無需以其它方式分析預測器模型之內部結構。因此，即使最初已供應訓練資料之一小部分，新產生模型亦可具有整個資料集之一全域視圖。

現在參考實例性圖4，圖4可繪示一模型誘導方法之實施方案。考量其中一黑箱模型用來偵測一電信網路內之資料封包之異常型樣且採取適當行動，諸如允許一使用者保持連接、丟棄資料封包之部分或修改該網路之路由優先級以實施更快或更慢傳輸之實例。針對所有此等案例，用吾人之白箱模型產生為何需要此行動之一解釋，而一黑箱將簡單地推薦該行動而無任何解釋。兩者對於電信業者及客戶暸解為何該模型得出一結論將係有用的。利用一白箱模型，吾人可暸解哪些條件及特徵導致該結果。雙方具有不同目標。一方面，電信業者對最小化安全風險及最大化網路利用率感興趣，而客戶則對正常運行時間及可靠性感興趣。在一種情況下，可在當前資料存取型樣可疑之基礎上將一客戶斷開連接，且該客戶在被允許重新連接之前必須關閉或刪除產生此等可疑資料型樣之應用程式。此解釋幫助該客戶暸解如何糾正其等設置以遵守電信業者服務且幫助電信業者免於徹底丟失該客戶，但仍然最小化風險。電信業者亦可受益於此解釋。該業者可觀察到該客戶因為由一特定應用程式致使之重複安全漏洞而被拒絕，此可能指示存在該客戶可表示在所應用安全策略之當前參數內之一不可接受的安全風險之一高可能性。該業者亦可受益於觀察到可與該解釋一起產生之一隨附理由(justification)，含有該解釋自身如何由白箱模型產生之一後設解釋。此外，一第三方亦可受益於該解釋：電信安全模型之創建者。該模型之創建者可觀察到該模型有偏差，使得其使快速重新連接計數變數過度優先於其他、更重要變數，且可更改該模型以考量該偏差。

仍然參考實例性圖4，所繪示系統可考量多種因數。例如，在所繪示系統中，此等因數可包含在最後一小時內之連接數目、上傳及下載兩者所消耗之頻寬、連接速度、連接及重新連接計數、存取點資訊、存取點統計、作業系統資訊、器件資訊、位置資訊、並行應用程式之數目、應用程式使用資訊、最後一天中之存取型樣、週或月、計費資訊等。根據電信網路模型404，該等因數可各不同地加權。訓練及測試資料406可包含併入該等變數之各種值以便對寬範圍之資料進行取樣之實例。訓練及測試資料406可進一步包含合成產生資料，且亦可經擾動。亦可考慮，模型誘發方法408可能僅需要訓練資料，而測試資料可僅僅用於評估可解釋模型或XAI規則410。訓練及測試資料連同電信網路模型可用作至模型誘導方法之輸入。模型誘導方法408可使用訓練及測試資料406查詢電信網路模型404以便獲得一可解釋模型或XAI規則410。

在其中預測模型通常產生較高準確度之一黑箱環境中，該模型簡單地返回具有一概率分佈之一二元結果，例如70%是、30%否。使用諸如決策樹之可解譯模型之此實例之一些解決方案能夠返回所謂該結果之根本原因之一堆疊追蹤；然而，此等模型通常缺乏由黑箱模型提供之預測效能。一實例性實施例在實現可解譯性之同時呈現黑箱模型之可比較預測能力。

繪示由本發明之一實例性實施例使用之一些原理之另一實例可為用於對影像進行分類之一黑箱機器學習演算法之分析。合成資料可應用於黑箱系統且可採取各種輸入之形式。例如，合成資料可包含各種影像連同包含可已自此等影像提取之可選特徵之該等影像之更改。該資料可含有各分類類別之多個影像。經產生之所得XAI模型保留黑箱模型之分類能力，同時實現可用來暸解用於得出分類答案之底層程序之解譯能力，包含但不限於所關注區域、特徵型樣、熱圖、變換等。至誘導方法之輸入可呈輸入資料點及其各自標籤或回應(預測器模型輸出)，連同預測器模型自身之形式。可經由(a)訓練資料及/或(b)合成產生資料；及/或(c)藉由動態地查詢預測器模型獲得之經取樣經擾動資料點之一組合獲得所得標籤或回應。

模型化系統之一實例性實施例可將資料輸入至黑箱系統中且可記錄對應於各輸入之輸出。在另一實施例中，模型化系統可使用返回對輸入資料集之全部或部分之標籤或回應(此等效於直接在訓練資料上運行誘導方法)之一普通預測器函數，如同一簡單映射函數。在另一實施例中，模型化系統可使用一合適自動預測器建置方法來直接自訓練資料創建預測器模型。將黑箱或預測器模型作為輸入添加至誘導方法可幫助減少或消除來自原始輸入資料集之誤差及/或雜訊。

可最初自訓練資料之全部或部分，視情況與合成產生資料組合而獲得資料點。合成產生資料可經由一外部程序產生，諸如一模擬系統、世界模型等。輸入資料亦可為空集，在此情況下，誘導方法將使用自輸入預測器模型獲得之經擾動資料來工作。在執行誘導方法之前，亦可將一可選資料品質保證函數作為整體應用於輸入資料點及/或輸入資料之一子集。誘導方法藉由動態地創建經擾動樣本資料點來建置一全域模型(接著將該等經擾動樣本資料點注入至輸入預測器模型中，該輸入預測器模型可為一黑箱)，且接著將輸出結果註記並與來自訓練及/或合成資料之所有其他可用資料點組合。可考慮，在不使用原始訓練資料之情況下，可自行利用經擾動資料。一擾動方法之一實例性實施例可利用以下項之一組合：隨機雜訊添加方法、旋轉擾動、投影擾動、k匿名化、生成對抗網路(GAN)或任何其他合適擾動方法。所得組合資料點可形成至誘導方法之分割函數之輸入。來自預測器模型之資料點可為連續、離散或歸類值。輸出一分類結果之預測器模型可將此分類應用於：(i.)經由指派適當類別標籤之某個適當變換函數之離散化輸出，或(ii.)可直接或經由某個適當變換函數使用之概率輸出。

下一實例性步驟可識別「分區」之一階層。各分區可覆蓋自可用於誘導方法之組合資料擷取之一資料點集或群集。各分區可定義零、一或多個規則，且可視情況含有具有其等各自相關聯規則之子分區。經提取分區可併入重疊及非重疊分區。在重疊分區之情況下，可使用某個優先函數來判定哪個分區待啟動。在一替代實施例中，若啟動一個以上分區，則可使用某個聚合函數來組合來自多個經啟動分區之結果。可實施各種方法以查找規則或關於一規則之資料點群集，只要各分區具有足夠資料來擬合一線性模型且不太複雜至使得一線性模型可能無法良好地執行即可。非線性變換，包含但不限於多項式展開、旋轉、因次及無因次縮放、狀態空間及相位空間變換、整數/實數/複數/四元數/八元數變換、傅立葉變換、沃爾什(Walsh)函數、連續資料桶化(bucketization)、哈爾及非哈爾小波、廣義L2函數、基於分形之變換、哈達瑪變換、類型1及類型2模糊邏輯、知識圖形網路、歸類編碼、資料及條件特徵之差異分析及正規化/標準化可在線性擬合之前應用於一個別分區，以增強模型效能。

一分區可為視情況根據某個規則及/或距離類似性函數對資料點進行分組之一群集。各分區可表示一概念或一獨特資料類別。由恰好一個規則表示之分區具有輸出預測或分類之值之一線性模型。由於可線性地模型化該模型，因此該線性模型之係數可用來藉由該等特徵之重要性對該等特徵進行計分。底層特徵可表示線性及非線性擬合之一組合，此係因為誘導方法處置線性及非線性資料及/或線性及非線性預測器模型兩者。

例如，以下係可在圖4中所繪示之電信網路安全控制應用程式中創建之分區：

●IF Upload_Bandwidth>10000 AND Reconnect_Count<=3000 THEN Connection_Approval=....

●IF Upload_Bandwidth>10000 AND Reconnect_Count>3000 THEN Connection_Approval=...

●IF Banwidth_In_The_Last_10_Minutes>=500000 THEN Connection_Approval=...

●IF Device_Status=“Idle”AND Concurrent_Applications<10 THEN Connection_Approval=...

●Etc以下係用來預測連接核可概率之線性模型之一實例。

Connection_Approval=Sigmoid(θ ₁+θ ₂ Upload_Bandwidth+θ ₃Reconnect_Count+θ ₄Concurrent_Applications+…)。各係數θ _i可表示各特徵在判定最終輸出時之重要性，其中i可表示特徵索引。在此實例中使用作為一可選啟動函數之S形函數，此係因為其係一二元分類案例。另一規則可併入非線性變換，諸如多項式展開，例如θ _i Concurrent_Applications ²可為規則方程式中之特徵之一者。

參考涉及影像之分類之先前實例，一階層分區可含有根據黑箱系統之對應於特定輸入之輸出中之特定趨勢識別之規則。一實例性模型化系統可認知，每當將一特定形狀作為一輸入給予黑箱系統時，諸如一迴紋針，黑箱系統總是或幾乎總是返回相同分類作為輸出，諸如辦公用品。應注意，該系統可能不如此般認知或標記迴紋針，而是可解譯該唯一形狀中之灰色像素之配置以作為通常導致「辦公用品」之一輸出分類之一輸入。該系統可計算關於作為輸入之一迴紋針形狀返回作為一輸出之辦公用品之次數之一百分比，且產生與迴紋針形狀相關聯之一權重。此外，白箱演算法可輸出導致分類之一物件之細節。例如，在圖2B中，如此識別及標記迴紋針，此係因為該演算法偵測到(i.)該物件含有4條筆直平行線，(ii.)該物件含有各形成一半圓之3條曲線，且(iii.)(i.)及(ii.)中之物件係連續的。此解釋可連同百分比輸出。該百分比亦可併入該演算法可預測經偵測物件正確地被識別之準確度，包含表示確定性或不確定性程度之一誤差範圍或信賴區間。可向使用者呈現輸出權重或百分比作為結論或輸出分類之一解釋。因此，使用者現在可暸解為何黑箱系統返回對應於輸入影像之「辦公用品」之一輸出分類。在一實例性實施例中，該系統可返回其中突顯或指出迴紋針之影像，連同給予經突顯物件之百分比或權重之一呈現。

此外，一旦已由該系統分析黑箱影像分類器，便可提取該系統之一白箱模型，使得一使用者可利用白箱模型代替原始黑箱模型。白箱模型可與黑箱模型相同地執行，而同時提供對其返回之分類或預測之解釋。可將該解釋呈現或變換成各種類型之機器及人類可讀解釋，諸如文字、影像或圖。該解釋可伴隨一理由，該理由係展示白箱模型如何產生該解釋之一後設解釋。此外，白箱模型可為一人工智慧或機器學習演算法或系統。

可以數學術語繪示一實例性實施例。在一實例性實施例中，X可表示輸入資料集，且Predict(x)可表示具有n個輸出之預測器模型函數。X可為具有m個維度之一矩陣。各維度(m)可表示X之輸入特徵且各輸出可表示類別(n)之數目。輸入資料集可為訓練資料及合成產生資料之一組合。另外，在一實例性實施例中，Perturbate(x)可為用以在給定某個輸入訓練或測試資料X之情況下產生樣本擾動資料之任何擾動函數，其中X可為輸入資料之一子集、輸入資料之某個鄰域、輸入/輸出/解釋資料之某個合適嵌入，或可甚至為普通空集，在此情況下擾動函數需要使用某種形式之一隨機或非隨機型樣查詢預測器模型。X _p可表示經擾動及原始輸入資料集之組合，Y可表示來自預測器模型函數之輸出，使得X _P=X∪Perturbate(X)，且Y=Predict(X _P)。

分區之階層可由P透過一外部函數Partition表示，使得Partition(X _p ,Y)=P，其中P={P ₁,...,P _i,...,P _k}且k等於其中各分區由恰好一個規則定義之情況下規則之數目。

R _i (x)可表示第i分區中之各規則。各規則(R _i (x))可由多個條件組成，使得R _i(x)=C ₁∧C ₂∧...∧C _j∧...∧C _q，其中q可表示該規則中之條件之數目，且C _j可為相對於第i規則(即，第i分區)之輸入矩陣x之第j條件。經擾動輸入矩陣X_P可被劃分成k個矩陣，其中k等於規則之數目，使得X_L表示由{x|x

X _P∧R_i(x)=True}定義之局部過濾矩陣，使得當分區非重疊時並集{X_L1,X_L2,...,X_Li,...X_Lk}=X_p。當分區彼此重疊時，並集 {X_L1,X_L2,...,X_Li,...X_Lk}≠X_p。當分區彼此重疊時，需要應用一排名函數以選擇最相關規則或以某種形式之概率加權組合方法使用。在一替代實施例中，若啟動一個以上分區，則使用某個聚合函數來組合來自多個分區之結果。

一第三實例性步驟可涉及將一局部模型擬合至由P_i定義之各分區。首先，X _L可表示X _P及R _i (x)兩者中找到之輸入。換言之，X _L可為應用於第i規則之輸入或特徵資料。接著可擾動X _L，且X _LP可表示X _L及Perburate(X _L )之一局部擾動資料集之組合。因此，Y_L=Predict(X _LP )。最後，可藉由找到X _LP之一變換來計算X _T，使得X _T=Transform(X _LP)。變換函數可為變換之一管線，包含但不限於多項式展開、旋轉、因次及無因次縮放、傅立葉變換、整數/實數/複數/四元數/八元數變換、沃爾什函數、狀態空間及相位空間變換、哈爾及非哈爾小波、廣義L2函數、基於分形之變換、哈達瑪變換、類型1及類型2模糊邏輯、知識圖形網路、歸類編碼、資料之差異分析及正規化/標準化。變換函數管線可進一步含有分析根據一或多個變數之值排序之資料序列之變換，包含時間排序資料序列。X_T可產生新特徵，使得z表示變換函數之特徵之總數。

針對1至n(即，輸出之數目)之範圍內之各j，該系統可以一線性方式計算局部模型。Y _L係由n個向量組成之一矩陣，各輸出一個向量，使得Y _Lj表示第j輸出向量。線性模型可由Y _ij=Fit(X _T ,Y _Lj )定義，其中Fit係擬合一線性模型之一函數，諸如線性回歸、邏輯回歸、內核方法等。線性模型定義一係數集{β ₀..β _z}，使得Y _ij=β ₀+β ₁ x ₁+…+β _i x _i+…+β _z x _z。在一替代實施例中，可使用並行程式化或梯度下降技術或一合適等效物在一個原子擬合函數中達成局部模型之擬合。應注意，x _i可為一經變換特徵，諸如多項式(諸如x ²)、交集(諸如xy)、條件特徵(諸如x>10及Y<2)、傅立葉變換等。應注意，β _i可為正或負，對應於相關變換特徵對該模型之正或負貢獻。正或負貢獻亦通常可稱為激發及抑制影響。亦可應用壓縮或正則化技術來簡化局部模型之擬合，此亦間接簡化所得解釋。

最後，可自Y _ij之各種組合構建規則。

若R ₁(x)，則Rule ₁(x)={Y ₁₁,Y _1,2,...,Y _i,n}

若R ₂(x)，則Rule ₂(x)={Y ₂₁,Y _2,2,...,Y _2,n}

若R _i(x)，則Rule _i(x)={Y _i1,Y _i,2,...,Y _i,n}

若R _k(x)，則Rule _k(x)={Y _k1,Y _k,2,...,Y _k,n}

此外，可將額外函數應用於規則之最終輸出。例如，softmax函數可用於定義一多類別分類系統之規則，使得若R _i(x)，則Rule _i(x)=Softmax({Y _i1,Y _i,2,...,Y _i,n})，及

在一替代實例性實施例中，S形函數可應用於輸出以應用於一二元分類演算法，使得：若R _i(x)，則Rule _i(x)=Sigmoid(Y _i1)

現在參考實例性圖5，圖5可描繪模型誘導程序。在一實例性實施例中，可創建具有m個維度之訓練資料X 502。另外，可最初創建具有n個輸出之一預測器模型Predict(x)，其中Predict(x)具有n個輸出504。在下一實例性步驟中，可擾動輸入訓練資料且可合併各種樣本506。一預測器模型，諸如Y=Predict(X _p )，可在另一步驟508中預測樣本輸出。此外，可將樣本分割成k個階層分區510，使得P=Partition(X_p,Y)={P_i,...，P_i，...，P_k}。Partition(X,Y)可為經組態以分割資料之樣本之一函數。此分割函數可由一叢集演算法組成，諸如k-平均、貝葉斯、基於連接性、基於質心、基於分配、基於網格、基於密度、基於模糊邏輯、熵、一基於互資訊(MI)之方法，或任何其他邏輯上合適之方法。分割函數亦可包含將導致數個重疊或非重疊分區之一集合方法。在重疊分區之情況下，可使用一聚合函數來組合來自多個分區之結果。替代地，分割函數可包含基於關聯之演算法、基於因果關係之分割或其他邏輯上合適之分區實施方案。接下來，可將k個分區擬合至局部模型中511。此可藉由首先過濾局部樣本512，接著局部地擾動樣本，且組合經擾動樣本與經過濾局部樣本514來完成。接著，該模型可使用預測器模型局部地預測經擾動資料516。另外，可使用多種變換公式之一者變換該資料518。可針對各第j輸出擬合一局部模型，使得Y_Lj=Fit(X_T)520。作為局部分區擬合之最後一個步驟，可自局部模型Y_Lj提取係數522。在一替代實施例中，擬合511可經重新組態以並行地或作為一原子操作實施內部函數。例如，可在單個步驟中實施各局部模型之擾動，而可在另一單個步驟中實施所有局部模型之變換及擬合。在一實例性實施方案中，可考慮，可同時使用梯度下降技術擬合表示個別分區之多個局部模型。在一替代實施例中，局部模型之擬合亦可用作回饋以依一全域方式改良分割程序，因此實現一全域細化程序。可使用梯度下降方法實施回饋。在最後一個實例性步驟中，可使用局部分區及經提取係數創建具有k個規則之XAI模型524。

可由以下實例進一步繪示圖5中所演示之實例性數學。給定m=2，其可表示維度之數目(2個維度，即x軸及y軸)。此外，在此實例中k=4，其可表示4個規則R₀、R₁、R₂及R₃。基於此四個規則提取分區可揭示該等規則將係例如，R ₁=x

10

R ₂=x>10∧x

20

R ₃=x>20∧y

15

R ₄=x>20∧y>15分區歸屬函數取決於分割函數或若干分割函數之選擇且係所誘導模型之所得可解釋性之一關鍵選擇。分區類型及特性亦可由分割函數或若干分割函數之選擇來判定。合適分區類型包含線性、貝葉斯及曲線分區，包含連續及非連續分段分區，諸如貝氏曲線段，及賦予自身可解釋性及可解譯性之其他合適分區類型。在拓撲術語中，模型誘導方法可使用分割函數或若干分割函數以將來自一T0(克默果夫)、T1(弗雷歇)、T2/T3/T4/T5/T6(豪斯多夫)及T3½(吉洪諾夫)空間之預測器模型運算資料空間變換成由所誘導白箱模型使用之一T2/T3/T4/T5/T6(豪斯多夫)及T3½(吉洪諾夫)空間。

在此實例性實施例中，變換函數可被應用為一多項式展開。除原始特徵x及y之外，多項式展開可引入由xy定義之額外特徵，諸如x²、y²特徵及交集。在變換之後，可使用一線性方法應用一局部模型。在此實例性實施例中，可應用一邏輯回歸，如將用於一分類演算法。因此，可生產以下局部擬合：Y ₁=Sigmoid(β ₀+β ₁ x+β ₂ y+β ₃ xy)

Y ₂=Sigmoid(β ₄+β ₅ xy)

Y ₃=Sigmoid(β ₆+β ₇ x ²+β ₈ y ²)

Y ₄=Sigmoid(β ₉+β ₁₀ y)

最後，可組合上述局部擬合與該等局部擬合以產生以下基於規則之模型：

此等方程式之解譯可為用來產生解釋之一方法。解釋可呈文字、影像、視聽等之形式。變換函數可用來經由例如係數及底層方程式提取解釋。在上述實例中，係數{B₀,...,B₁₀}指示特徵重要性。在一實例中，在由f_r(5,20)定義之XAI模型函數中，使x=5及y=20，此將觸發第一規則，即當x

10時係Sigmoid(β ₀+β ₁ x+β ₂ y+β ₃ xy)。展開方程式將得到：Sigmoid(β ₀+β ₁5+β ₂20+β ₃100)。自此方程式，可將各係數及變數組合之乘積提取至由R={β ₁5,β ₂20,β ₃100}定義之一集中。出於特徵重要性之目的，可忽略B₀。當對R進行排序時，可判定最重要的係數/特徵組合。可利用係數/特徵之此「排名」以產生呈一文字格式、呈影像之一熱圖之形式或任何其它經考慮形式的解釋。可使用以一不同方式利用解釋係數之其他解釋方法。底層方程式可能影響應用於所得解釋之順序及過濾。因果模型之使用將進一步影響所得解釋之產生，包含干預及反事實解釋之產生。接著，可根據一使用者與組合可用於該系統之一目標行動計劃及其他相關資訊之世界模型進一步修改基本解釋。現在參考實例性圖6，圖6可繪示展示階層分區之上述規則。

所誘導XAI模型之使用實現超出基於規則之模型之數個額外AI使用案例，包含偏差偵測、因果分析、解釋產生、轉換為一可解釋神經網路、可解譯神經網路、可解釋換能器及變壓器、可解釋尖峰網路、可解釋記憶體網路、可解釋加強學習、邊緣硬體上之部署及與用於人類輔助協作AI之專家系統之整合。所誘導模型可表達為一通用格式或可直接被使用。可考慮，可使用已例如經由梯度下降技術(諸如神經網路、換能器、變壓器、自動編碼器、尖峰網路、記憶體網路及/或加強學習系統)適當地訓練之一適當機器學習系統重新創建對此誘導方法或其部分之一邏輯上等效程序。

總結技術可提供用於簡化解釋之一方法。在高次多項式(2或更高)之情況下，該技術可提取更簡單特徵。例如，一方程式可具有具其等各自係數{θ ₁..θ ₆}之特徵x、x ²、y、y ²、y ³、xy。所得特徵重要性係元素之有序集R={θ ₁ x,θ ₂ x ²,θ ₃ y,θ ₄ y ²,θ ₅ y ³,θ ₅ xy}。出於特徵重要性及所總結解釋之目的，可對元素進行分組，而不管多項式次如何。在此實例性情況下，簡化結果集係R _S={θ ₁ x+θ ₂ x ²,θ ₃ y+y ²+θ ₅ y ³,θ ₅ xy}。一簡化解釋亦可包含一臨限值，使得僅考量前n個特徵，其中n係一靜態數或百分比值。其他總結技術可用於非線性方程式上，包含但不限於多項式方程式、狀態空間及相位空間變換、傅立葉變換等。

XAI模型之解譯可用來產生人類及機器可讀解釋兩者。人類可讀解釋可以各種格式產生，包含自然語言文字文件、影像、圖、音訊、語音、視訊、言詞上、3D資料及其他適當格式。機器可解譯解釋可使用一通用格式或任何其他邏輯上等效格式來表示。此外，所得模型可為一白箱AI或機器學習模型，其準確地捕獲原始模型，該原始模型可為一非線性黑箱模型，諸如一深度學習或集合方法。可被查詢且產生一結果(諸如一分類、回歸或一預測結果)之任何模型或方法可為產生一對應白箱可解釋模型之源。該源可具有任何底層結構，此係因為不需要分析內部結構。

另外，經提取模型可為全域的，使得其捕獲原始模型之整個多維空間。全域模型可能係完全可解譯的，即使原始模型並非完全可解譯，且仍然可能維持一高階模型效能或準確度。可與答案同時及並行地完成解釋且可能不存在效能損失。

一經提取白箱模型可具有不存在於原始模型中之優點。該該經提取模型可適合於其中例如當在自主車輛或醫療手術機器人中使用時需要低延時之應用，此等即時或準即時環境。該系統可使用一空間有效變換以使用如底層模型中所需般放大或縮小之一階層細節層次儘可能緊湊地儲存該模型。因此，其可經部署於具有低記憶體及少量處理能力之硬體中。此在各種應用中可能係尤其有利的。例如，一低功率晶片可在一車輛中實施。低功率晶片之添加可比需要在一更高功率晶片上實施之一黑箱模型明顯更便宜。另外，可將需要網際網路連接性之一模型轉換成可在不需要網際網路連接性之一低功率晶片中實施之一白箱模型。此外，所得白箱模型可體現於軟體及硬體兩者中。由於所得白箱模型係原始輸入模型之一完整表示，因此其不需要任何網路或線上處理且可完全線下工作。可考慮，可使用如同FPGA之靈活架構或如同ASIC或類比/數位電子裝置之更靜態架構實施誘導方法及/或所得白箱模型之一硬體實施例。

所得XAI(可解釋AI)模型可使用一階符號邏輯來表示，從而使其在運算上等效於已知程式設計語言且適用於任何運算器件。經提取模型之性質可使其能夠形成數個XAI方法、因果邏輯提取方法、人類知識併入及調整/回饋技術之基礎。

在一實例性實施例中，該系統可自動地適應不同細節區。

現在參考實例性圖1，其可繪示用於自一黑箱機器學習演算法提取一機器學習演算法之一可解釋白箱模型之一實例性方法。在一實例性第一步驟中，可創建或獲得合成資料及/或訓練資料102。亦可創建合成資料及/或訓練資料集之經擾動變動，使得可獲得一更大資料集而不增加對額外合成資料及/或訓練資料之需要，因此節省資源。可考慮，使用一合適正規化方法(諸如最小值-最大值縮放、標準縮放或其他合適方法)，在步驟102之前或在步驟102、104、106、108、110、112及114之任一者內正規化合成資料及/或訓練資料。可進一步考慮，使用所應用之任何正規化方法之一適當反向，在步驟102之前或在步驟102、104、106、108、110、112及114之任一者內應用一反向正規化方法。接著，可將合成資料及/或訓練資料作為一輸入載入至黑箱系統中104。黑箱系統可為任何底層架構之一機器學習演算法。在一實例性實施例中，機器學習演算法可為一深度神經網路(DNN)。黑箱系統可另外含有非線性模型化資料。黑箱模型之底層架構及結構可能並不重要，此係因為其可能無法直接被分析。代替地，可將合成資料及/或訓練資料作為輸入104載入，且可將輸出記錄為資料點預測或分類106。由於將大量廣泛合成資料及/或訓練資料作為輸入載入，因此輸出資料點預測或分類可提供黑箱演算法之一全域視圖。在一替代實施例中，黑箱模型可以一合適方式分裂，使得僅其部分係由誘導方法誘導。例如，在一迴旋神經網路(CNN)之情況下，僅誘導完全連接之非迴旋層，從而留下前述層(迴旋及匯集層)充當至誘導方法之經變換輸入。

仍然參考實例性圖1，該方法可藉由將資料點預測或分類聚合至階層分區中108而繼續。可自階層分區獲得規則條件。用來找到分區之程序係或分區之邊界係由Partition(X)定義之一外部函數。Partition(X)可為經組態以分割類似資料之一函數，且可用來創建規則。分割函數可包含一叢集演算法，諸如k-平均、貝葉斯、基於連接性、基於質心、基於分佈、基於網格、基於密度、基於模糊邏輯、熵或一基於互資訊(MI)之方法。替代地，分割函數可包含基於關聯之演算法、基於因果關係之分割或其他邏輯上合適之分割實施方案。

階層分區可以多種方式組織輸出資料點。在一實例性實施例中，可聚合資料點，使得各分區表示一規則或一組規則。接著，可使用數學變換及線性模型模型化階層分區。可使用任何變換函數或變換函數組合，包含但不限於多項式展開、迴旋濾波器、模糊歸屬函數、整數/實數/複數/四元數/八元數變換、傅立葉變換等。在步驟108之前及/或在步驟110期間可應用此變換函數或變換函數組合。一實例性實施例可應用一多項式展開。在步驟108內，階層分區亦可經受可視情況涉及使用某個合適聚合、分裂或最佳化方法合併及分裂階層分區之一或多個反覆最佳化步驟。一合適最佳化方法可尋求在預測器之運算資料空間內找到所有路徑連接之拓撲空間，同時給予最小化分區之總數之一最佳規範固定。此外，可將一線性擬合模型應用於分區110。取決於黑箱模型之應用，諸如softmax或S形函數，可在線性擬合之前應用額外函數及變換。自分區獲得之經計算線性模型可用來構建規則或某個其他邏輯上等效之表示112。規則可經儲存於任何媒體中。例如，規則可經儲存為數學方程式或可使用一階符號邏輯來表示。如此儲存規則可允許經提取模型應用於任何已知程式設計語言且可應用於任何運算器件。最後，規則可應用於白箱模型114。白箱模型可儲存黑箱模型之規則，從而允許其模仿黑箱模型之函數，而同時提供黑色模型可能尚未提供之解釋。此外，經提取白箱模型可在效能、效率及準確度上類似於原始黑箱模型。作為經由誘導方法轉換輸入預測器模型U之結果之經提取白箱模型W係U之一近似或完美互模擬，即，W~U。經誘導白箱模型與原始預測器模型之間的互模擬程度係可在步驟108、110、112及114期間設定之一參數。就模型及輸出可解譯性而言，互模擬通常涉及在作為誘導方法之最終結果之經提取模型之情況下之輸出可解譯性。

現在參考實例性圖2A及圖2B，圖2A可展示一黑箱影像分類演算法之輸出，且圖2B可展示自圖2A之黑箱演算法提取之一白箱影像分類演算法之輸出。可將相同影像200作為輸入載入至圖2A之黑箱演算法及圖2B之白箱演算法兩者中。如實例性圖2A中所見，黑箱演算法可輸出影像分類之一標籤，在此情況下該標籤係「辦公用品」。另外，黑箱演算法可額外呈現或可不額外呈現預測係準確之一百分比機率。在此實施例中黑箱模型不提供除分類以外之任何其他資訊作為輸出。

圖2B可展示自黑箱模型提取之白箱模型之輸出。白箱模型可返回經分類影像連同一分類標籤202。白箱模型亦將影像分類為「辦公用品」。另外，白箱模型可返回表示模型之準確度之一數字204。可將準確度呈現為經標記分類係準確之一百分比機率。在此情況下，該模型計算出經返回分類被正確地標記為「辦公用品」之一89%機率。此外，白箱模型可返回標籤202之一解釋206。該解釋可由多個細節層次組成，直至單個物件級。以數學方式產生解釋且接著使用一單獨程序將其等轉換為一人類可讀格式，因此允許在解釋自身之產生中之靈活性及一般性。解釋可採取文字、圖、影像等之形式。一實例性詳細解釋206對應於標籤202。

在此實例性實施例中，解釋206可由導致最終分類之變數或因數之一清單組成。例如，該演算法可識別在影像內存在一筆記本210。筆記本210可指示影像應被分類為「辦公用品」之一24%機率。24%可自從黑箱模型提取之規則計算。另外，亦可列出得出影像應被分類為「辦公用品」的結論之其他因數。在此實例性實施例中，可以重要性或對最終決策之影響之順序列出元素，使得一使用者可快速地識別得出結論之關鍵因數。該演算法亦可識別減小分類係正確之機率之物件，諸如棒球212。在此情況下，實例性白箱模型計算出棒球212將分類係正確之機率減小達7%。此規則及百分比可自白箱模型之規則獲得。在此實例性實施例中，可能已識別輸入影像200之額外特徵，諸如筆、馬克筆、訂書機或其他筆記本，然而，其等可能對輸出具有一較小影響。輸出解釋可經組態以僅顯示對最終判定具有最大影響之特徵，使得不向一使用者呈現大量無足輕重的資訊及使得一使用者不被大量無足輕重的資訊淹沒。可考慮，識別輸入影像200內部之所有物件，且僅向使用者呈現相關特徵。呈現哪些特徵之臨限值可由使用者或演算法設定。臨限值可為特徵之一特定數目，諸如前6個特徵。替代地，臨限值可為一百分比，例如，演算法可呈現影響最終結果達大於5%之任何特徵。待向使用者呈現之細節層次亦可能受該系統已知之一使用者模型影響且可取決於使用者之專業水準、對模型域之熟悉度、當前目標、當前工作階段、使用者及世界模型與可在解釋之個性化中利用之其他相關資訊之一組合。可針對使用者隱藏或顯示或互動地折疊及展開之解釋之部分以維持正確細節層次。

在一進一步實例性實施例中，白箱模型可繪示有關輸入影像之解釋206，諸如藉由將經識別因數圍封於一箱中。例如，棒球212可具有包圍其之一箱214連同該棒球對總體查找之經計算百分比。在涉及影像之一實例性情況下，亦可呈現引導系統標記物件之底層視覺特徵。視覺表示可採取任何形式。可突顯最大地貢獻於結論之最重要因數，而可忽略僅略微貢獻於結論之其他因數以便對使用者提供一適度(而非過度)資訊量以供處理。

圖2A及圖2B提供白箱可解釋人工智慧模型可如何提供自一黑箱模型提取之規則之文字及視覺解釋兩者之僅一項實例。提取方法可應用於可能比一影像分類演算法遠更複雜之任何黑箱模型。輸出可呈百分比及因數之形式，諸如在圖2B中，或可替代地採取規則、變數、差異或可輔助一使用者暸解結論之任何其它資料之一清單之形式。

現在參考實例性圖3，圖3可繪示白箱模型提取器302與黑箱模型304之間的互動。在一實例性實施例中，黑箱模型可為任何黑箱機器學習演算法。此外，該模型不必係一黑箱模型。該模型可為使用者尋求進一步分析之另一白箱模型。白箱模型提取器302可提供至黑箱機器學習演算法304之一輸入。白箱模型可藉由一介面顯示或至少部分地顯示。合成資料可由模型提取器302或由一外部程序產生且可與輸入資料組合。代替地，訓練資料可用作輸入，或輸入可來自另一程序，諸如一模擬系統或一加強學習模型。可擾動輸入。接著，黑箱機器學習演算法304可如其經設計般執行且可輸出其經設計以返回的任何輸出。輸出可呈任何形式且可用作白箱模型提取器302可處理之資料點預測及分類308。在處理資料點以定義與黑箱機器學習演算法304之規則對應之一組規則之後，白箱模型提取器302可將彼等規則應用於白箱模型。

該程序可為反覆的，且接著可將額外輸入資料306載入至黑箱模型304中以產生額外資料點預測及分類308。額外資料點可不同於原始資料點以便覆蓋黑箱機器學習演算法304之一新部分且產生或發現與其相關聯之一新規則。可連續地載入輸入資料306且可連續地處理對應資料點預測及分類308直至白箱模型完全類似於黑箱模型為止。該兩個模型可具有不同底層結構或架構，但仍然可能遵循相同規則，使得一輸入將產生來自兩個模型之相同輸出。白箱模型提取器可具有可比較兩個模型之規則之一模組。該模組可輸入一資料集且進行檢查以確保兩個模型之輸出相同。若兩個模型之輸出不同，則白箱模型提取器可產生額外合成資料306且再次開始該程序以便定義未知規則。可引導額外合成資料306，使得其等可自黑箱模型型304產生不同於先前獲得之資料點之資料點預測及分類308，以便定義不同規則。

在一進一步實例性實施例中，可將白箱模型轉換成一般可解釋神經網路。可維持原始白箱模型之效能及準確度。無損變換可保留原始模型之所有底層特徵。此外，可對所得可解釋神經網路輸出方法實行各種效能增強。此可實現利用所有既有人工神經網路庫，包含深度學習及其他相關方法。

在另一實例性實施例中，可將經提取模型轉換或整合成一因果機器學習演算法或XAI。藉由整合因果邏輯模型，可藉由因果關係支援解釋。藉由實施因果關係，解釋可包含邏輯解釋，諸如「what-if」及「what-if-not」分析且使用諸如干預及反事實之因果邏輯工具。接著，AI可具有原因及效應推論能力之能力，同時仍然保留XAI架構之優點。

經提取白箱模型自身可為一獨立白箱可解釋AI系統。現在參考圖7，圖7可描繪一可解釋AI系統之內部結構。一狗之影像可為AI系統之輸入700。在此實例性實施例中，AI可為一影像分類演算法。該系統可藉由將一組規則應用於輸入影像且分析是否滿足該等規則而對該影像進行分類。此實例性實施例可對該等規則實施一階層結構，儘管亦可應用一線性或其他結構。一實例性實施例可首先分析狗之一部分，諸如腿702。 R₁可為當偵測到具有4隻腿之一物件時觸發之一規則。由於R₁由輸入影像觸發，因此可引導該系統將規則R₂及R₃應用於輸入影像。規則R₂可為可由一尾巴704之外觀觸發之一條件規則。該規則可以析取範式儲存或制定。規則R₂可由諸如一細物件之條件觸發，該細物件自亦滿足R₁(識別腿之規則)之相同或一類似色彩(主體)之另一、較粗物件突出。一旦已滿足規則R₂，便可將AI引導至規則R₄及R₅。規則R₄可識別狗之鼻嘴706。其可由多個條件觸發，諸如類似於其他狗之一圓形鼻子、眼睛及一嘴的經偵測存在。規則R₅可為由一頸圈708之存在觸發之一額外規則。規則R₅可能對於分類並非必需的，然而，R₅可增加作出一準確分類之機率。

另外，在觸發R₁之後，可能已將該系統引導至規則R₃。規則R₃可分析輸入影像中之狗之耳朵。在此實例性情況下，規則R₃可由類似貓的耳朵710之存在觸發。該系統可偵測到輸入影像中之狗具有尖耳，此係諸多貓共有之一特性。因此，輸入影像可進一步比較輸入影像之特徵與常見貓特徵。由於規則R₃可能已由輸入影像之尖耳觸發，因此可將該系統引導至規則R₆及R₇。規則R₆可比較輸入影像之鼻子712與各種貓之鼻子，或貓鼻嘴之常見形狀。規則R₆之條件可包含帶鬚及尖牙之一短鼻嘴。此規則可能並非由輸入影像觸發。此外，規則R₇可比較一貓之眼睛之獨特特徵與輸入影像之眼睛714。此規則可由在貓身上找到之獨特垂直瞳孔觸發。由於R₆及R₇可能並非由輸入影像觸發，因此該系統可認知該影像將可能不被正確地分類為一貓，即使其可能具有類似貓的耳朵。

仍然參考由圖7所繪示之一可解釋AI之實例性實施例，輸出可為輸入影像之一分類，諸如「狗」。可解釋AI可提供額外資訊連同分類。可提供或解釋各種規則以提供對分類之洞察。例如，輸出可演示輸入影像具有4隻腿，此將其引導至各種動物。此外，輸出可展示輸入影像之尾巴，及其如何與其他各種狗之尾巴進行比較或含有類似於狗身上常見之尾巴之特徵(R₂)。接著，輸出可展示R₅中之鼻嘴與常見狗鼻嘴之比較，且R₆中分析之頸圈，其可能已導致輸入影像係一狗之一增加概率。準確度之概率可與此等規則解釋之各者一起呈現。例如，輸出可繪示存在R₂中分析之物件之部分係一尾巴之一85%機率。輸出可進一步繪示輸出之經預測準確度。例如，輸出可繪示尾巴獨自指示存在物件係一狗之一12%機率，或尾巴當與鼻嘴及頸圈一起被偵測時指示輸入影像係一狗之一78%機率。

另外，輸出可繪示為何分類並非為另一物件，諸如貓。輸出可展示，儘管R₃指示例如歸因於尖耳，存在物件係一貓之一9%機率，但R₇未偵測到貓眼且R₆未偵測到一類似貓的鼻嘴，因此輸入影像係一貓之概率減小至2%。

藉由演示為何選擇一特定輸出而非另一輸出，人工智慧系統之一使用者可經更好地配備以應用現實世界中之結果。此外，使用者可分析輸出以便分析底層人工智慧系統。解釋可提供對系統中找到之特定偏差及偶發錯誤之洞察，一旦已識別該等特定偏差及偶發錯誤，該系統之一使用者或創建者便可對其等進行修復。

因果模型可進一步具備強度及偏差資料。另外，亦可實施來自分類學及外部知識源之經推論資料。可分析輸入且可產生一因果模型，該因果模型可解釋關於輸入之歷史之可能境況。例如，若輸入係一事件之發生，則因果模型可解釋可能已貢獻於事件發生之事件。此外，可半自動地識別適當因果模型，使得其可依賴於經標記及未經標記訓練資料兩者。因此，可以一監督或無監督方式推論因果關係。此可使XAI模型能夠分析底層輸入資料特徵之因果模型。

在一進一步實施例中，一XAI模型可併入人類輸入以開發因果模型。XAI之一替代實例性實施例可在一偏差偵測系統中實施。該系統可偵測偏差，且可進一步校正無意的偏差。屬性於XAI模型之白箱性質，一實例性實施例可建議該模型中之校正以減少或消除偏差。另外，由於原因及效應，可有目的地將有意的偏差引入至資料中。

在一個態樣中係一種用於變換一黑箱模型以基於自該黑箱模型導出之若干組一或多個規則產生一白箱模型之電腦實施方法，該方法包括：接收該黑箱模型；產生與該黑箱模型相關聯之一資料點集，其中該黑箱模型經組態以導出該資料點集；使用一分割函數分割該資料點集以獲得一經分割資料點集，其中該等經分割資料點經分配給由該分割函數產生之一或多個分區，其中該一或多個分區之各分區表示一組一或多個規則；基於該經分割資料點集，識別該經分割資料點集之一變換函數，其中自該經識別變換函數之一局部模型解譯該組一或多個規則；及提供與自該分割函數獲得之分區相關聯之該若干組一或多個規則以藉由應用該若干組一或多個規則來產生該白箱模型，其中該若干組一或多個規則包括呈現該各分區之該組一或多個規則。

作為一選項，該方法進一步包括：接收一輸入集，其中根據該輸入集產生該資料點集。

作為另一選項，擾動該輸入集以產生一經擾動資料集。

作為又另一選項，該輸入集包括自一內部或一外部程序合成地產生之訓練資料。

作為又另一選項，該方法進一步包括：合併該經擾動資料集與該輸入集。

作為又另一選項，可藉由應用一分類、一回歸及/或一或多種預測技術來導出該經產生資料點集。

作為又另一選項，該經產生資料點集包括根據一或多個變數之一值排序之單個值、多個值及/或序列，其中該一或多個變數包含時間排序資料點。

作為又另一選項，該方法進一步包括：將一全域模型擬合至該經產生資料點集。

作為又另一選項，該方法進一步包括：其中該分割函數包括至少一種叢集演算法。

作為又另一選項，該方法包括：將自該分割函數獲得之該等分區配置於分區之一階層內。

作為又另一選項，該方法進一步包括：應用一聚合函數來聚合來自該等分區之結果。

作為又另一選項，該方法進一步包括：應用一分裂函數來分裂來自該等分區之結果。

作為又另一選項，該經識別變換函數係一線性或非線性函數。

作為又另一選項，該方法進一步包括：藉由應用一或多種程式化技術或演算法來將該局部模型擬合至該經識別變換函數。

作為又另一選項，該方法進一步包括：識別用於該等分區及/或該等經分割資料點之一線性或一非線性啟動函數及/或排名函數，其中該排名函數經組態以提供該等分區及/或該等經分割資料點之各者之一排名；其中該排名函數係經組態以判定哪個分區待啟動之一優先函數。

作為又另一選項，該組一或多個規則呈一邏輯表示格式，其中該邏輯表示格式包括機器及人類可讀之格式。

作為又另一選項，該邏輯表示格式呈一析取範式及/或合取範式。

作為又另一選項，該邏輯表示格式對應於線性或非線性。

作為又另一選項，判定該組一或多個規則可結合可連同該變換函數應用之一相關聯脈絡來解釋。

作為又另一選項，該變換函數之一輸出對作為答案自該白箱模型導出之該資料點集提供與自該局部模型解譯之該組一或多個規則相關聯之解釋。

作為又另一選項，各解釋包括與解譯準確度相關聯之一百分比之一信賴區間；其中該解譯準確度被量測為關於該一或多個規則之一確定性程度。

作為又另一選項，該各答案及該各解釋分別與一答案脈絡及一解釋脈絡相關聯，使得可針對特定情況定製該等答案及該等解釋。

作為又另一選項，該方法進一步包括：應用一空間有效變換以依一緊湊方式儲存該白箱模型。

作為又另一選項，該空間有效變換經組態以降低該白箱模型之延時。

作為又另一選項，部署該空間有效變換以在一低記憶體及一低功率硬體中實施該白箱模型。

在另一態樣中係一種用於變換一黑箱模型以基於自該黑箱模型導出之若干組一或多個規則以產生一白箱模型之電腦系統，該系統包括：至少一個電路，其經組態以作為由至少一個處理器執行之一可程式化指令集執行行動序列，其中該可程式化指令集呈電腦可讀儲存媒體之形式儲存，使得該等行動序列之該執行使該至少一個處理器能夠：接收該黑箱模型及/或一輸入集；基於該輸入集，產生與該黑箱模型相關聯之一資料點集，其中該黑箱模型經組態以導出該資料點集；使用一分割函數分割該資料點集以獲得一經分割資料點集，其中該等經分割資料點經分配給由該分割函數產生之一或多個分區，其中該一或多個分區之各分區表示一組一或多個規則；基於該經分割資料點集，識別該經分割資料點集之一變換函數，其中自該經識別變換函數之一局部模型解譯該組一或多個規則；及提供與自該分割函數獲得之分區相關聯之該若干組一或多個規則以產生該白箱模型，其中該若干組一或多個規則包括呈現該各分區之該組一或多個規則。

作為一選項，該系統進一步包括：其中藉由應用該若干組一或多個規則及至少一個局部模型來產生該白箱模型。

作為一選項，該至少一個處理器進一步經組態以接收與該黑箱模型相關聯之多種因數。

作為另一選項，單獨地加權該多種因數之各者。

作為又另一選項，該經產生白箱模型保留該黑箱模型之分類、回歸及/或預測能力且併入用於產生一或多種類型之結果之解譯能力。

作為又另一選項，該系統經組態以執行前述選項中任一項之方法。

作為又另一選項，該系統或方法進一步包括：一品質保證函數，其經組態以在該變換或誘導之一執行之前作為整體應用於輸入資料之子集。

作為又另一選項，該系統或方法進一步包括：一理由，其以一後設解釋之形式伴隨該經產生白箱模型。

作為又另一選項，該經產生白箱模型係一人工智慧或一機器學習演算法。

作為又另一選項，該系統或方法進一步包括：一排名函數，其經組態以回應於使該等分區重疊而選擇至少一個規則或應用一概率及/或聚合方法。

作為又另一選項，該系統或方法進一步包括：其中變換函數包括分析根據一或多個變數之一值排序之該資料點集之序列之一或多個變換，包含時間排序資料序列。

作為又另一選項，該等分區經擬合至一或多個局部分區中。

作為又另一選項，至該一或多個局部分區中之該擬合經重新組態以並行地或作為一原子操作實施一內部函數。

作為又另一選項，至該一或多個局部分區中之該擬合經組態以用作對由該分割函數執行之分割程序之回饋。

作為又另一選項，該白箱模型包括伴隨自該局部模型提取之係數之該若干組一或多個規則，其中該若干組一或多個規則包括比較該若干組一或多個規則當中之至少兩組之一模組。

作為又另一選項，根據該一或多個機器學習模型產生該白箱模型，其中該一或多個機器學習模型至少部分地經組態以應用一邏輯等效程序來執行該黑箱模型之該變換。

作為又另一選項，該黑箱模型至少部分地經分裂以變換為該白箱模型。

作為又另一選項，該系統或方法進一步包括：一使用者模型，其與一使用者相關聯，該使用者模型經組態以根據該使用者調適該白箱模型以維持一層次細節。

作為又另一選項，該白箱模型之至少一部分係透過一介面顯示。

作為又另一選項，該白箱模型經組態以基於使用者輸入產生一因果模型，其中該因果模型提供來自分類學及外部知識源之資料之一推論。

作為又另一選項，該白箱模型經組態以偵測偏差，其中該偏差係根據該白箱模型來校正。

作為又另一選項，該系統或方法進一步包括：在該分割函數分割該資料點集之前應用一變換函數或將一變換函數應用於該資料點集。

作為又另一選項，該系統或方法進一步包括：一預測器函數，其經組態以識別或識別該黑箱模型之至少一個輸入與至少一個輸出之間的一關係以導出該資料點集，其中該預測器函數包括線性或非線性之至少一個函數。

作為又另一選項，該黑箱模型經調適以具有至少一個不可存取內部組件。

在另一態樣中係一種電腦可讀媒體，其包括指令，該等指令在於一運算系統中實施時致使該系統實施如任一前述選項之方法或系統。

在另一態樣中係一種用於變換一黑箱模型以基於自該黑箱模型導出之若干組一或多個規則產生一白箱模型之裝置，該裝置經組態以實施如任一前述選項之方法或系統。

在另一態樣中係一種用於白箱模型誘導之裝置，其包括經組態以實施如前述選項中任一項之方法之一或多個處理器。

在另一態樣中係一種低功率晶片，其經組態以應用基於自一黑箱模型導出之若干組一或多個規則產生之一白箱模型，其中該白箱模型經組態以經由該晶片之一或多個處理器執行一可程式化指令集。

在另一態樣中係一種用於白箱模型誘導之電腦程式產品，該產品經組態以實施如任一前述選項之方法或系統。

作為一選項，該產品經組態以在一低功率晶片上實施。

前述描述及附圖繪示本發明之原理、較佳實施例及操作模式。然而，本發明不應被解釋為限於上文所論述之特定實施例。熟習此項技術者將明白上文所論述之實施例之額外變動。

因此，上述實施例應被認為係闡釋性而非限制性的。據此，應明白，在不脫離如由以下發明申請專利範圍界定之本發明之範疇之情況下，熟習此項技術者可進行彼等實施例之變動。