JP2023546021A - 機械学習モデルにおける反実仮想説明のためのシステム及び方法 - Google Patents
機械学習モデルにおける反実仮想説明のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2023546021A JP2023546021A JP2023521466A JP2023521466A JP2023546021A JP 2023546021 A JP2023546021 A JP 2023546021A JP 2023521466 A JP2023521466 A JP 2023521466A JP 2023521466 A JP2023521466 A JP 2023521466A JP 2023546021 A JP2023546021 A JP 2023546021A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- counterfactual
- machine learning
- hypothetical
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 111
- 238000010801 machine learning Methods 0.000 title claims description 59
- 238000005457 optimization Methods 0.000 claims abstract description 45
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 12
- 230000002787 reinforcement Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 abstract description 14
- 238000004422 calculation algorithm Methods 0.000 description 85
- 238000002474 experimental method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 20
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 235000000332 black box Nutrition 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000011888 foil Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
Description
本開示は、2021年1月29日に出願された米国特許出願第17/162931号及び2021年1月29日に出願された米国特許出願第17/162967号に対する優先権を主張するが、これらは2020年10月8日に出願された米国仮出願第63/089,473号の非仮出願であり、35 U.S.C.119の下でこれに対する優先権を主張するものであり、これらのすべては、参照によってその全体が本明細書に明示的に組み込まれる。
本開示は、一般的に機械学習モデル及びニューラルネットワークに関連し、より具体的には、機械学習モデルのための候補反実仮想特徴(counterfactual feature)の選択と最適化を介した反実仮想説明(counterfactual explanation)システムに関する。
図1は、本明細書で説明される実施形態による、機械学習モデルの反実仮想説明を生成する概要を示す簡略図100を示している。図100は、トレーニングされた機械学習モデル110f( )、例えばXGBoost又はディープラーニングモデルとともに実装され得るフレームワークを示す。
図3は、いくつかの実施形態による、反実仮想説明を生成するためのコンピューティングデバイスの簡略図である。図3に示されるように、コンピューティングデバイス300は、メモリ320に結合されたプロセッサ310を含む。コンピューティングデバイス300の動作はプロセッサ310によって制御される。また、コンピューティングデバイス300は、1つのプロセッサ310のみを有するように示されているが、プロセッサ310は、コンピューティングデバイス300における1つ以上の中央演算処理ユニット、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、グラフィクス処理ユニット(GPU)等を表してもよいことが理解される。コンピューティングデバイス300は、スタンドアロンサブシステムとして、コンピューティングデバイスに追加されるボードとして及び/又は仮想マシンとして実装されてもよい。
図4は、本明細書で説明される実施形態による、反実仮想例生成の方法を示す例示的論理フロー図を提供する。方法400のプロセス402~414のうちの1つ以上は、少なくとも部分的に、1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサにプロセス402~414のうちの1つ以上を実行させる、非一時的な有形の機械読取可能媒体に記憶された実行可能コードの形式で実装されてよい。いくつかの実施形態では、方法400は、モジュール330によって使用される方法に対応してよい。
近接性=-||x’cat-xcat||0-||(x’con-xcon)/mcon||1
ここで、xcat及びxconは、それぞれ、カテゴリ特徴と連続特徴であり、mconは、トレーニングデータに対するxconの中央値(media)である。
図12~図27は、一実施形態による、反実仮想例生成のデータ実験結果を示す例示のデータ表を提供する。5つの表形式データセットと1つの時系列分類データセットが、本明細書で説明される反実仮想例生成モジュールを評価するためのデータ実験を行うために使用される。
Claims (40)
- 機械学習モデルにおける反実仮想説明のための反実仮想例を生成する方法であって、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって、予測ラベルを生成するステップと、
トレーニングデータセットから構築された最近傍探索ツリーを介して、前記クエリインスタンスに対する最近傍クエリインスタンスの数を識別するステップであって、前記最近傍クエリインスタンスの数の各々は、前記予測ラベルとは異なるラベルに対応する、ステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を含む、方法。 - 前記最近傍クエリインスタンスの数は、
前記異なるラベルで注釈が付けられたトレーニングクエリインスタンスに基づいて、前記異なるラベルの探索インデックスを構築するステップと、
前記探索インデックスを介して、前記最近傍クエリインスタンスの数を見つけるステップと、
によって識別される、請求項1に記載の方法。 - 前記比較に基づいて、特徴列変化の第1頻度と特徴値変化の第2頻度を計算するステップと、
最も高い変化の頻度を有する前記特徴列のサブセットを選択するステップと、
前記特徴列のサブセット内の選択された特徴列ごとに、前記特徴値変化の第2頻度に基づいて特徴値のそれぞれのサブセットを選択するステップと、
を更に含む、請求項1に記載の方法。 - 前記反実仮想説明は、前記特徴列のサブセットに基づいて、反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項1に記載の方法。 - 前記反実仮想特徴最適化は、修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定することを含む、
請求項4に記載の方法。 - 機械学習モデルにおける反実仮想説明のための反実仮想例を生成する方法であって、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって、予測ラベルを生成するステップと、
前記クエリインスタンスの入力と前記予測ラベルに応答する推奨モデルに基づいて、予測結果を変更する可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を含む、方法。 - 前記推奨モデルは、前記機械学習モデルに基づいて構築されたデータセットと、クエリインスタンスとそれぞれのラベルのトレーニングデータセットによってトレーニングされる、
請求項6に記載の方法。 - 前記データセットは、前記トレーニングデータセット内のトレーニングクエリインスタンスの最近傍の数を微細化することによって構築される、
請求項7に記載の方法。 - 特徴のサブセットは、前記推奨モデルから生成された最も高い確率を有する特徴列を選択することによって識別される、
請求項6に記載の方法。 - 前記反実仮想説明は、前記特徴列のサブセットに基づいて反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項6に記載の方法。 - 機械学習モデルにおける反実仮想説明のための反実仮想例を生成するシステムであって、
前記機械学習モデルを記憶するメモリと、
複数の特徴列と対応する特徴値とを含むクエリインスタンスを受け取るデータインタフェースと、
前記メモリから命令を読み出して、
前記クエリインスタンスに応答して、機械学習モデルによって、予測ラベルを生成するステップと、
トレーニングデータセットから構築された最近傍探索ツリーを介して、前記クエリインスタンスに対する最近傍クエリインスタンスの数を識別するステップであって、前記最近傍クエリインスタンスの数の各々は、前記予測ラベルとは異なるラベルに対応する、ステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を実行する、プロセッサと、
を備える、システム。 - 前記最近傍クエリインスタンスの数は、
前記異なるラベルで注釈が付けられたトレーニングクエリインスタンスに基づいて、前記異なるラベルの探索インデックスを構築するステップと、
前記探索インデックスを介して、前記最近傍クエリインスタンスの数を見つけるステップと、
によって識別される、請求項11に記載のシステム。 - 前記プロセッサは更に、前記メモリから命令を読み出して、
前記比較に基づいて、特徴列変化の第1頻度と特徴値変化の第2頻度を計算するステップと、
最も高い変化の頻度を有する前記特徴列のサブセットを選択するステップと、
前記特徴列のサブセット内の選択された特徴列ごとに、前記特徴値変化の第2頻度に基づいて特徴値のそれぞれのサブセットを選択するステップと、
を更に含む、請求項11に記載のシステム。 - 前記反実仮想説明は、前記特徴列のサブセットに基づいて、反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項11に記載のシステム。 - 前記反実仮想特徴最適化は、修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定することを含む、
請求項14に記載のシステム。 - 機械学習モデルにおける反実仮想説明のための反実仮想例を生成するシステムであって、
機械学習モデルを記憶するメモリと、
複数の特徴列と対応する特徴値とを含むクエリインスタンスを受け取るデータインタフェースと、
前記メモリから命令を読み出して、
前記クエリインスタンスに応答して、前記機械学習モデルによって、予測ラベルを生成するステップと、
前記クエリインスタンスの入力と前記予測ラベルに応答する推奨モデルに基づいて、予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
前記クエリインスタンスと最近傍クエリインスタンスとの間の特徴列と、対応する特徴値を比較するステップと、
前記比較からの特徴列変化の頻度に基づいて、前記複数の特徴列から特徴列のサブセットを選択するステップと、
前記機械学習モデルによって、前記予測ラベルに付随する反実仮想説明を出力するステップであって、前記反実仮想説明は前記特徴列のサブセットに基づいて生成される、ステップと、
を実行するプロセッサと、
を備える、システム。 - 前記推奨モデルは、前記機械学習モデルに基づいて構築されたデータセットと、クエリインスタンスとそれぞれのラベルのトレーニングデータセットによってトレーニングされる、
請求項16に記載のシステム。 - 前記データセットは、前記トレーニングデータセット内のトレーニングクエリインスタンスの最近傍の数を微細化することによって構築される、
請求項17に記載のシステム。 - 特徴のサブセットは、前記推奨モデルから生成された最も高い確率を有する特徴列を選択することによって識別される、
請求項16に記載のシステム。 - 前記反実仮想説明は、前記特徴列のサブセットに基づいて反実仮想特徴最適化を通じて反実仮想例を構築することによって生成される、
請求項16に記載のシステム。 - 機械学習モデルにおける反実仮想説明のための反実仮想例を生成する方法であって、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって予測結果を生成するステップと、
前記複数の特徴列から、前記予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定するステップと、
前記決定された最適ポリシーに従って、最も高い特徴値に対応する特徴列の数と、関連付けられる特徴値の数を選択するステップと、
前記選択された特徴列の数と、前記関連付けられる特徴値の数とを使用して、反実仮想例を構築するステップと、
前記機械学習モデルによって、前記反実仮想例を、前記クエリインスタンスに応答する前記予測結果の反実仮想説明として出力するステップと、
を含む、方法。 - 前記目的は、強化学習(RL)によって決定され、この場合、
修正される特徴列と値が、前記RLにおけるアクションとして扱われ、
前記クエリインスタンスに対して前記アクションを取る反実仮想例候補が、前記RLにおける状態として扱われ、
前記RLの報酬関数が、前記予測結果以外の異なるラベルの予測スコアである、
請求項21に記載の方法。 - 前記目的は、前記アクションを選択するための確率的ポリシーに課されるスパース性制約を受ける、
請求項22に記載の方法。 - 前記確率的ポリシーは、前記機械学習モデルのパラメータによってパラメータ化された確率分布によって計算される、
請求項23に記載の方法。 - 前記目的は、前記予測結果以外の異なるラベルに対応する前記機械学習モデルの出力に基づく第一項と、特定の特徴列が修正されるかどうかを示す変数とを含む、
請求項21に記載の方法。 - 前記目的は、スパース解を促進する勾配なし降下法によって最適化される、
請求項25に記載の方法。 - 前記最適ポリシーから多様な反実仮想例を生成するステップ、
を更に含む、請求項21に記載の方法。 - 前記多様な反実仮想例は、
前記最適ポリシーから反実仮想例の集合を構築するステップと、
それぞれの目的関数値に基づいて前記反実仮想例の集合をソートするステップと、
重複する反実仮想例を前記反実仮想例の集合から除去するステップと、
によって生成される、請求項27に記載の方法。 - 前記機械学習モデルは、入力シーケンスの時系列のクエリインスタンスを受け取る多変量時系列分類子である、
請求項21に記載の方法。 - 代替特徴値に関連付けられる特徴列を有する前記特徴列のサブセットは、トレーニングデータセットから構築された最近傍探索ツリーを介して、前記クエリインスタンスに対する最近傍クエリインスタンスの数から識別される、
請求項21に記載の方法。 - 機械学習モデルにおける反実仮想説明のための反実仮想例を生成するシステムであって、
前記機械学習モデルを記憶するメモリと、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するデータインタフェースと、
前記メモリから命令を読み出して、
前記クエリインスタンスに応答して、前記機械学習モデルによって、予測結果を生成するステップと、
前記複数の特徴列から、前記予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定するステップと、
前記決定された最適ポリシーに従って、最も高い特徴値に対応する特徴列の数と、関連付けられる特徴値の数を選択するステップと、
前記選択された特徴列の数と、前記関連付けられる特徴値の数とを使用して、反実仮想例を構築するステップと、
前記機械学習モデルによって、前記反実仮想例を、前記クエリインスタンスに応答する前記予測結果の反実仮想説明として出力するステップと、
を実行する、プロセッサと、
を備える、システム。 - 前記目的は、強化学習(RL)によって決定され、この場合、
修正される特徴列と値が、前記RLにおけるアクションとして扱われ、
前記クエリインスタンスに対して前記アクションを取る反実仮想例候補が、前記RLにおける状態として扱われ、
前記RLの報酬関数が、前記予測結果以外の異なるラベルの予測スコアである、
請求項31に記載のシステム。 - 前記目的は、前記アクションを選択するための確率的ポリシーに課されるスパース性制約を受ける、
請求項32に記載のシステム。 - 前記確率的ポリシーは、前記機械学習モデルのパラメータによってパラメータ化された確率分布によって計算される、
請求項33に記載のシステム。 - 前記目的は、前記予測結果以外の異なるラベルに対応する前記機械学習モデルの出力に基づく第一項と、特定の特徴列が修正されるかどうかを示す変数とを含む、
請求項31に記載のシステム。 - 前記目的は、スパース解を促進する勾配なし降下法によって最適化される、
請求項35に記載のシステム。 - 前記プロセッサは更に、前記メモリから命令を読み出して、
前記最適ポリシーから多様な反実仮想例を生成するステップ、
を実行する、請求項31に記載のシステム。 - 前記多様な反実仮想例は、
前記最適ポリシーから反実仮想例の集合を構築するステップと、
それぞれの目的関数値に基づいて前記反実仮想例の集合をソートするステップと、
重複する反実仮想例を前記反実仮想例の集合から除去するステップと、
によって生成される、請求項37に記載のシステム。 - 前記機械学習モデルは、入力シーケンスの時系列のクエリインスタンスを受け取る多変量時系列分類子である、
請求項31に記載のシステム。 - 機械学習モデルにおける反実仮想説明のための反実仮想例を生成するプロセッサ読取可能な命令を記憶するプロセッサ読取可能な非一時的記憶媒体であって、前記命令は、プロセッサによって実行されて、
複数の特徴列と、対応する特徴値とを含むクエリインスタンスを受信するステップと、
前記クエリインスタンスに応答して、機械学習モデルによって予測結果を生成するステップと、
前記複数の特徴列から、前記予測結果を変化させる可能性のある代替特徴値に関連付けられる特徴列を有する特徴列のサブセットを識別するステップと、
修正されたクエリインスタンスによって引き起こされる予測フィードバック報酬を含む目的を最大化する最適ポリシーを決定するステップと、
前記決定された最適ポリシーに従って、最も高い特徴値に対応する特徴列の数と、関連付けられる特徴値の数を選択するステップと、
前記選択された特徴列の数と、前記関連付けられる特徴値の数とを使用して、反実仮想例を構築するステップと、
前記機械学習モデルによって、前記反実仮想例を、前記クエリインスタンスに応答する前記予測結果の反実仮想説明として出力するステップと、
を実行する、プロセッサ読取可能な非一時的記憶媒体。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063089473P | 2020-10-08 | 2020-10-08 | |
US63/089,473 | 2020-10-08 | ||
US17/162,931 US20220114481A1 (en) | 2020-10-08 | 2021-01-29 | Systems and methods for counterfactual explanation in machine learning models |
US17/162,967 | 2021-01-29 | ||
US17/162,931 | 2021-01-29 | ||
US17/162,967 US20220114464A1 (en) | 2020-10-08 | 2021-01-29 | Systems and methods for counterfactual explanation in machine learning models |
PCT/US2021/053955 WO2022076676A1 (en) | 2020-10-08 | 2021-10-07 | Systems and methods for counterfactual explanation in machine learning models |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023546021A true JP2023546021A (ja) | 2023-11-01 |
Family
ID=81079072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023521466A Pending JP2023546021A (ja) | 2020-10-08 | 2021-10-07 | 機械学習モデルにおける反実仮想説明のためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US20220114481A1 (ja) |
EP (1) | EP4226283A1 (ja) |
JP (1) | JP2023546021A (ja) |
CN (1) | CN116348894A (ja) |
WO (1) | WO2022076676A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11928719B2 (en) * | 2021-12-06 | 2024-03-12 | International Business Machines Corporation | Facilitating user selection using trend-based joint embeddings |
US12001779B2 (en) * | 2022-01-14 | 2024-06-04 | Huawei Cloud Computing Technologies Co., Ltd. | Method and system for automatically formulating an optimization problem using machine learning |
US20240144038A1 (en) * | 2022-10-31 | 2024-05-02 | Intuit Inc. | Finding short counterfactuals |
US20240256638A1 (en) * | 2023-01-27 | 2024-08-01 | Intuit Inc. | Synthetic data creation using counterfactuals |
CN116994687B (zh) * | 2023-09-28 | 2024-02-06 | 之江实验室 | 基于反事实对比的临床决策支持模型解释系统 |
CN117237096B (zh) * | 2023-09-28 | 2024-02-23 | 大连理工大学 | 可解释的机器学习驱动的信贷风控系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7630986B1 (en) * | 1999-10-27 | 2009-12-08 | Pinpoint, Incorporated | Secure data interchange |
US8504504B2 (en) * | 2008-09-26 | 2013-08-06 | Oracle America, Inc. | System and method for distributed denial of service identification and prevention |
US20140025509A1 (en) * | 2012-07-18 | 2014-01-23 | Media6Degrees Inc. | Methods and apparatus for bid optimization and inventory scoring |
US11361246B2 (en) * | 2012-08-31 | 2022-06-14 | DataRobot, Inc. | Methods for automating aspects of machine learning, and related systems and apparatus |
US10366346B2 (en) * | 2014-05-23 | 2019-07-30 | DataRobot, Inc. | Systems and techniques for determining the predictive value of a feature |
US11068942B2 (en) * | 2018-10-19 | 2021-07-20 | Cerebri AI Inc. | Customer journey management engine |
US20210117784A1 (en) * | 2019-10-16 | 2021-04-22 | Manyworlds, Inc. | Auto-learning Semantic Method and System |
US11551000B2 (en) * | 2019-10-20 | 2023-01-10 | International Business Machines Corporation | Introspective extraction and complement control |
-
2021
- 2021-01-29 US US17/162,931 patent/US20220114481A1/en active Pending
- 2021-01-29 US US17/162,967 patent/US20220114464A1/en active Pending
- 2021-10-07 EP EP21802093.1A patent/EP4226283A1/en active Pending
- 2021-10-07 CN CN202180066186.9A patent/CN116348894A/zh active Pending
- 2021-10-07 JP JP2023521466A patent/JP2023546021A/ja active Pending
- 2021-10-07 WO PCT/US2021/053955 patent/WO2022076676A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022076676A1 (en) | 2022-04-14 |
US20220114481A1 (en) | 2022-04-14 |
US20220114464A1 (en) | 2022-04-14 |
EP4226283A1 (en) | 2023-08-16 |
CN116348894A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023546021A (ja) | 機械学習モデルにおける反実仮想説明のためのシステム及び方法 | |
Krishnaiah et al. | Survey of classification techniques in data mining | |
Craven et al. | Using neural networks for data mining | |
JP2021182398A (ja) | 事象予測装置および事象予測用プログラム | |
Czarnowski et al. | An approach to data reduction for learning from big datasets: Integrating stacking, rotation, and agent population learning techniques | |
US20060047616A1 (en) | System and method for biological data analysis using a bayesian network combined with a support vector machine | |
Kumar et al. | A benchmark to select data mining based classification algorithms for business intelligence and decision support systems | |
Padh et al. | Addressing fairness in classification with a model-agnostic multi-objective algorithm | |
Colaco et al. | A review on feature selection algorithms | |
Garreta et al. | Scikit-learn: machine learning simplified: implement scikit-learn into every step of the data science pipeline | |
Satyanarayana et al. | Survey of classification techniques in data mining | |
Sriwanna et al. | Graph clustering-based discretization of splitting and merging methods (graphs and graphm) | |
Singh et al. | Feature selection based classifier combination approach for handwritten Devanagari numeral recognition | |
Kluska et al. | Extremely simple classifier based on fuzzy logic and gene expression programming | |
Liu et al. | The design of error-correcting output codes algorithm for the open-set recognition | |
Tallón-Ballesteros et al. | Merging subsets of attributes to improve a hybrid consistency-based filter: a case of study in product unit neural networks | |
Pal et al. | Pattern recognition and big data | |
Jang et al. | Kaggle competitions: Author identification & statoil/C-CORE iceberg classifier challenge | |
Nikoloski et al. | Data-driven structuring of the output space improves the performance of multi-target regressors | |
Hijazi et al. | A constrained feature selection approach based on feature clustering and hypothesis margin maximization | |
Lalbakhsh et al. | TACD: a transportable ant colony discrimination model for corporate bankruptcy prediction | |
Rosander et al. | Email Classification with Machine Learning and Word Embeddings for Improved Customer Support | |
Blazek et al. | Automated discovery of algorithms from data | |
Papič et al. | Conditional generative positive and unlabeled learning | |
Husin | Designing multiple classifier combinations a survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240903 |