JP7293988B2 - 学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法 - Google Patents

学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法 Download PDF

Info

Publication number
JP7293988B2
JP7293988B2 JP2019155085A JP2019155085A JP7293988B2 JP 7293988 B2 JP7293988 B2 JP 7293988B2 JP 2019155085 A JP2019155085 A JP 2019155085A JP 2019155085 A JP2019155085 A JP 2019155085A JP 7293988 B2 JP7293988 B2 JP 7293988B2
Authority
JP
Japan
Prior art keywords
data
machine learning
importance
learning model
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019155085A
Other languages
English (en)
Other versions
JP2021033792A (ja
Inventor
淳真 工藤
幸太 山越
俊秀 宮城
那美加 江原
大紀 塙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019155085A priority Critical patent/JP7293988B2/ja
Priority to US16/990,437 priority patent/US20210065024A1/en
Publication of JP2021033792A publication Critical patent/JP2021033792A/ja
Application granted granted Critical
Publication of JP7293988B2 publication Critical patent/JP7293988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、判定処理プログラム等に関する。
難病法に基づき指定される指定難病について、効果的な治療法が確立されるまでの間、医療費の経済的な負担の大きい患者を支援する制度がある。
たとえば、県庁の職員は、患者の申請内容と、重症度分類等とを照らし合わせて、患者の病状の程度が一定程度以上であるか否かに応じて、指定難病に対する補助金を認定するか否かを判断する作業を行っている。
ここで、指定難病に対する補助金認定の作業では、要求される作業量に対して適切に判断できるスキルを有する人が少ないという現状がある。このような問題は、指定難病に対する補助金認定の作業に限定されるものではなく、各種の申請内容に対して、他の認定を行う場合にも発生し得る問題である。
上記の状況に対して、コンピュータによるデータ解析(人工知能等)を用いて、患者の申請内容のデータから、補助金を認定するか否かを自動で判定させる試みがある。
補助金の認定に限らず、コンピュータを用いることで、入力データに対して何らかの判定結果を得ることができるが、判定結果の根拠を説明することが求められている。
"Explainable artificial intelligence"、[令和1年8月9日検索]、インターネット<URL:https://en.wikipedia.org/wiki/Explainable_artificial_intelligence>
入力データに基づく判定を行う手法として、k近傍法がある。図14、図15は、k近傍法を説明するための図である。k近傍法では、学習データの集合D、新規データTがあったとき、入力データTに最も近いデータを学習データDからk個選択して、判定を行うものである。
図14について説明する。学習データDには、認定データ1a~1dと、不認定データ2a~2eが含まれる。k=3とすると、入力データTとの距離に基づいて、認定データ1b~1dが選択される。選択されたデータが全て認定データであるため、入力データTは「認定データ」であると予測される。
図15について説明する。学習データDには、認定データ1a~1dと、不認定データ2a~2eが含まれる。k=3とすると、入力データTとの距離に基づいて、認定データ1dと、不認定データ2a,2bが選択される。選択されたデータにおいて、認定データよりも不認定データの数が多いため、入力データTは、「不認定データ」であると予測される。
上記のように、説明性に関して言えば、k近傍法は、入力データに類似するデータを判定結果の根拠として提示できるというメリットがある。たとえば、図14で説明した例では、入力データTを「認定データ」であると予測した根拠として、認定データ1b~1dを提示することができる。図15で説明した例では、入力データTを「不認定データ」であると予測した根拠として、不認定データ2a,2bを提示することができる。
しかしながら、発明者による検証の結果、ランダムフォレストやNN(Neural Network)等の学習モデルを利用した判定手法と比較すると、k近傍法を用いた判定の精度には優位性があるとは言い難い場合があることがわかった。
ただし、ランダムフォレストやNN等の学習モデルを利用した判定手法の場合、判定結果と合わせて、入力データに類似するデータを提示することは難しい。このため、従来では、判定結果の精度と説明性とがトレードオフの関係となっており、判定結果の精度と説明性とを両立を図ることが難しい。
1つの側面では、本発明は、判定結果の精度と説明性との両立を図ることができる判定処理プログラム、判定処理方法および判定処理装置を提供することを目的とする。
第1の案では、コンピュータは、次の処理を実行する。コンピュータは、複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第1機械学習モデルを学習することで、複数の特徴量に対する重要度ベクトルを算出する。コンピュータは、学習データと重要度ベクトルとを基にして、k近傍法の第2機械学習モデルを学習する。コンピュータは、学習済みの第2機械学習モデルと、予測対象データとを基にして、訓練データから予測対象データに類似するデータを判定する。
判定結果の精度と説明性との両立を図ることができる。
図1は、本実施例1に係る判定処理装置の構成を示す機能ブロック図である。 図2は、学習データのデータ構造の一例を示す図である。 図3は、訓練データのデータ構造の一例を示す図である。 図4は、第1機械学習モデルの一例を示す図である。 図5は、決定木の一例を示す図である。 図6は、データ集合Dとデータ集合wDとの関係を示す図である。 図7は、本実施例1に係る判定処理装置の処理手順を示すフローチャートである。 図8は、本実施例2に係る判定処理装置の構成を示す機能ブロック図である。 図9は、本実施例2に係る判定処理装置の処理手順を示すフローチャートである。 図10は、機械学習モデルのわかりやすさと精度との関係を示す図である。 図11は、本実施例3に係る判定処理装置の構成を示す機能ブロック図である。 図12は、本実施例3に係る判定処理装置の処理手順を示すフローチャートである。 図13は、判定処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図14は、k近傍法を説明するための図(1)である。 図15は、k近傍法を説明するための図(2)である。
以下に、本願の開示する判定処理プログラム、判定処理方法および判定処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例1に係る判定処理装置の構成を示す機能ブロック図である。図1に示すように、この判定処理装置100は、通信部110と、入力部120と、表示部130と、記憶部140と、制御部150とを有する。
通信部110は、ネットワークを介して、外部装置(図示略)とデータ通信を実行する処理部である。通信部110は、通信装置の一例である。判定処理装置100は、後述する学習データ140aを、外部装置から取得してもよい。
入力部120は、各種の情報を判定処理装置100に入力するための入力装置である。たとえば、入力部120は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部120を操作して、予測対象データを入力してもよい。予測対象データの説明は後述する。
表示部130は、制御部150から出力される情報を表示する表示装置である。たとえば、制御部150から出力される情報は、予測対象データに対する判定結果と判定結果の根拠とを対応付けた情報を含む。表示部130は、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ、タッチパネル等に対応する。
記憶部140は、学習データ140a、第1機械学習モデル140b、第2機械学習モデル140c、重要度ベクトルデータ140dを有する。記憶部140は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
学習データ140aは、訓練データと、ラベルとを対応付けるデータである。図2は、学習データのデータ構造の一例を示す図である。図2に示すように、この学習データは、訓練データdと、ラベルyとを対応付ける。本実施例では一例として、訓練データdを、患者の申請内容のデータとする。ラベルyを、指定難病として、認定するか否か(認定または不認定)を示すラベル(正解ラベル)とする。各訓練データdの集合を、「データ集合D」とする。
図3は、訓練データのデータ構造の一例を示す図である。図3に示すように、一つの訓練データには、項番と、項目と、特徴量とが対応付けられる。項番は、項目、特徴量を識別する番号である。項目は、申請内容の項目である。特徴量は、項目に対応する値である。
たとえば、項目には、重症度分類、発熱、体温、頻脈、脈拍、貧血、ヘモグロビン等が含まれる。項目「重症度分類」の特徴量は「中等症」、項目「発熱」の特徴量は「なし」、項目「体温」の特徴量は「36.6」、項目「頻脈」の特徴量は「なし」である。項目「脈拍」の特徴量は「65」、項目「貧血」の特徴量は「なし」、項目「ヘモグロビン」の特徴量は「15.3」である。訓練データに含まれる項目が特徴に対応し、項目に対応する値が、特徴量に対応する。
訓練データdと、ラベルyとの組み合わせにより、後述する第1機械学習モデル140b、第2機械学習モデル140cが学習される。
第1機械学習モデル140bは、アンサンブル学習によって学習される学習モデルである。図4は、第1機械学習モデルの一例を示す図である。図4に示すように、第1機械学習モデル140bは、入力部30aと、出力部30bと、決定木31a,31b,31cとを有する。本実施例では、一例として、決定木31a~31cを示すが、第1機械学習モデル140bは、他の決定木を含んでいてもよい。以下の説明では、特に区別しない場合、決定木31a~31cをまとめて、決定木31と表記する。
入力部30aは、データを決定木31に入力するものである。入力部30aが、決定木31に入力するデータには、訓練データ、予測対象データが含まれる。
出力部30bは、決定木31の判定結果を取得し、最終的な判定結果を判定して出力する。出力部30bは、決定木31からそれぞれ出力される判定結果の多数決を行って、最終的な判定結果を特定してもよいし、各判定結果の確信度を出力してもよい。
たとえば、決定木31は、入力されたデータを基にして、「認定」か「不認定」かを判定する決定木であるものとする。決定木31a,31bの出力が「認定」、決定木31cの出力が「不認定」の場合、出力部30bは、最終的な判定結果「認定」を出力する。または、出力部30bは、認定の確信度(2/3)と、不認定の確信度(1/3)とを出力してもよい。
決定木31は、入力部30aから入力されるデータを基にして、認定か、不認定かを判定する決定木(分類木)である。図5は、決定木の一例を示す図である。図5に示す例では、説明の便宜上、決定木のノード40a~40dと、葉41a~41cを示す。決定木は、ノード40a~40d以外のノード、葉41a~41e以外の葉を更に含んでいてもよい。以下の説明では、ノード40a~40d(他のノード)をまとめて、「ノード40」と表記する。葉41a~41e(他の葉)をまとめて、「葉41」と表記する。
ノード40は、訓練データ(予測対象データ)の項目に対応するノードである。該当する項目に応じて、条件はそれぞれ異なる。たとえば、ノード40に対応する項目が、発熱である場合には、ノード40に設定される条件は、発熱の有無によって分岐する条件となる。ノード40に対応する項目が、体温である場合には、ノード40に設定される条件は、数値が閾値以上であるか否かで分岐する条件となる。
葉41は、判定結果を示すものである。たとえば、データとノード40の条件とを比較して、決定木31を辿り、「認定」の葉41に到達した場合には、判定結果は「認定」となる。データとノード40の条件とを比較して、決定木31を辿り、「不認定」の葉41に到達した場合には、判定結果は「不認定」となる。
決定木31は、学習データ140aを基に学習される場合、認定、不認定を判定するうえで、重要度の大きい項目ほど、上層のノード40に設定される。決定木31を学習することで、各項目(各項目の特徴量)の重要度が決定される。
図1の説明に戻る。第2機械学習モデル140cは、k近傍法によって、「認定」または「不認定」の判定結果を出力するモデルである。たとえば、第2機械学習モデル140cは、学習データ140aの重み付けを行った各訓練データの位置と、各訓練データのラベルとを対応付ける。以下の説明では、重み付けを行った訓練データを、「重み付け訓練データ」と表記する。重み付け訓練データの説明は後述する。
なお、第2学習部150cは、データ(訓練データ、予測対象データ)の特徴量が数値以外の場合には、特徴量を数値に変更して処理を行ってもよい。たとえば、発熱の特徴量は「ある」または「なし」であるが、これを、「1(ある)」、「0(なし)」として、処理を行ってもよい。
第2機械学習モデル140cは、判定結果を出力する場合に、判定結果の確信度を合わせて出力してもよい。たとえば、k=3とし、入力されたデータに最も近い訓練データについて、ラベル「認定」が付与された訓練データが2個、ラベル「不認定」が付与された訓練データが1個であるものとする。この場合、第2機械学習モデル140cは、判定結果「認定」、確信度「2/3」を出力する。
重要度ベクトルデータ140dは、データ(訓練データ、予測対象データ)に含まれる各特徴量の重要度を示す。各特徴量の重要度は、第1機械学習モデル140bを学習する過程において、決定される。重要度ベクトルwは、式(1)によって定義される。重要度ベクトルwは、各特徴量の重要度を、項番の順に配列したベクトルである。項番は、図3に示した、項目、特徴量を識別するものである。
w=(w,・・・,w)・・・(1)
図1の説明に戻る。制御部150は、取得部150aと、第1学習部150bと、第2学習部150cと、判定部150dとを有する。制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
取得部150aは、外部装置(図示略)等から、学習データ140aを取得する処理部である。取得部150aは、取得した学習データ140aを、記憶部140に格納する。また、取得部150aは、予測対象データを取得した場合、予測対象データを、判定部150dに出力する。
第1学習部150bは、学習データ140aを基にして、アンサンブル学習を実行し、第1機械学習モデル140bを生成する処理部である。第1機械学習モデル140bに、3つの決定木31a~31cが含まれる場合、第1学習部150bは、学習データ140aを3つに分割し、分割した各学習データを基にして、決定木31a~31cをそれぞれ学習する。
第1学習部150bは、どのようなアルゴリズムを用いて、決定木31を学習してもよい。たとえば、第1学習部150bは、ジニ不純度または情報エントロピーを用いて、親ノードと子ノードとの不純度を算出する。親ノードの不純度と、子ノードの不純度との差分が最大となるように、子ノードを分ける処理を繰り返し実行し、決定木31を生成する。
第1学習部150bは、第1機械学習モデル140bを生成した場合に、決定木31の各ノードに対応する項目を基にして、各特徴量の重要度を特定し、重要度ベクトルデータ140dを生成する。一つの特徴量(項目)の重要度が、各決定木31a~31cで異なる場合には、第1学習部150bは、異なる重要度を基にして、一つの重要度を特定する。第1学習部150bは、各重要度を平均してもよいし、各重要度の中央値を選択してもよい。
第2学習部150cは、学習データ140aを基にして、第2機械学習モデル140cを生成する処理部である。たとえば、第2学習部150cは、学習データ140aに含まれる訓練データのデータ集合Dと、重要度ベクトルwとの積「wD」を算出する。wDは、式(2)のように定義される。式(2)のwdは、重み付け訓練データである。
wD={wd=(w,・・・,w):d∈D}・・・(2)
図6は、データ集合Dとデータ集合wDとの関係を示す図である。図6において、グラフ50aは、データ集合Dのグラフを示し、グラフ50bは、データ集合wDのグラフを示す。グラフ50a,50bの横軸は、第1特徴量に対応する軸である。グラフ50a,50bの縦軸は、第2特徴量に対応する軸である。たとえば、第1特徴量、第2特徴量は、図3に示した各項目に対応する特徴量のいずれかに対応するものである。
たとえば、第1特徴量の重要度が大きく、第2特徴量の重要度が小さいものとする。この場合には、グラフ50aと50bとを比較すると、グラフ50bの各データにおける縦方向の差が縮む。グラフ50bに示すようなデータ集合wDに対して、k近傍法を行うことで、重要度の小さい特徴量は差が考慮されず、重要度の大きい特徴量は差が考慮される用になり、k近傍法の精度が向上する。
第2学習部150cは、重み付け訓練データの位置と、重み付けを行う前の訓練データのラベルとを対応付けることで、第2機械学習モデル140cを生成する。
判定部150dは、予測対象データの判定結果を予測する処理部である。判定部150dは、予測対象データを取得すると、式(3)を基にして、「重み付けデータ」を算出する。式(3)において、Tは、予測対象データである。wは、式(1)で説明した重要度ベクトルである。
T’=w*T・・・(3)
判定部150dは、重み付けデータを、第2機械学習モデル140cに入力することで、k近傍法による判定結果を得る。また、判定部150dは、重み付けデータに類似する訓練データを、第2機械学習モデル140cを基にして判定する。たとえば、判定部150dは、重み付けデータと各重み付け訓練データとの距離をそれぞれ算出し、重み付けデータとの距離が小さいものから順に、各重み付け訓練データをソートする。判定部150dは、先頭からk個の重み付け訓練データを選択する。判定部150dは、選択した重み付け訓練データに対して、重要度ベクトルを乗算する前の訓練データを、予測対象データに類似するデータとして判定する。以下の説明では、予測対象データに類似するデータを、「類似データ」と表記する。
判定部150dは、第2機械学習モデル140cによる判定結果と、判定の根拠となる情報とを対応付けて、表示部130に出力して表示させる。判定の根拠となる情報は、類似データである。
なお、判定部150dは、予測対象データを、第1機械学習モデル140bに入力して、判定結果を取得してもよい。この場合、判定部150dは、第1機械学習モデル140bによる判定結果と、判定の根拠となる情報とを対応付けて、表示部130に出力して表示させてもよい。判定の根拠となる情報は、上記の類似データである。
次に、本実施例1に係る判定処理装置100の処理手順の一例について説明する。図7は、本実施例1に係る判定処理装置の処理手順を示すフローチャートである。図7に示すように、判定処理装置100の取得部150aは、学習データ140aを取得し、記憶部140に格納する(ステップS101)。
判定処理装置100の第1学習部150bは、学習データ140aを基にして、アンサンブル学習を実行し、第1機械学習モデル140bを生成する(ステップS102)。第1学習部150bは、第1機械学習モデル140bを基にして、重要度ベクトルデータ140dを生成する(ステップS103)。
判定処理装置100の第2学習部150cは、学習データ140aを基にして、k近傍法学習を実行し、第2機械学習モデル140cを生成する(ステップS104)。ステップS104において、第2学習部150cは、学習データ140aのデータ集合Dと、重要度ベクトルwとの積「wD」を用いて、第2機械学習モデル140cを生成する。
判定処理装置100の取得部150aは、予測対象データを取得する(ステップS105)。判定処理装置100の判定部150dは、重要度ベクトルと予測対象データとの積によって、重み付けデータを算出する(ステップS106)。
判定部150dは、重み付けデータを、第2機械学習モデル140cに入力することで、判定結果および類似データを判定する(ステップS107)。判定部150dは、判定結果と、類似データ(判定結果の根拠となる情報)とを対応付けた情報を表示部に出力して表示させる(ステップS108)。
次に、本実施例1に係る判定処理装置100の効果について説明する。判定処理装置100は、学習データ140aのデータ集合Dと、重要度ベクトルとの積wDを基にして、第2機械学習モデル140cを生成する。判定処理装置100は、予測対象データTと、重要度ベクトルwとの積によって、重み付けデータT’を算出する。判定処理装置100は、かかる重み付けデータT’を、第2機械学習モデル140cに入力することで、判定結果と、類似データとを取得し、判定結果の根拠として、類似データを出力する。これによって、重要度が大きい項目は、特徴量の差が考慮され、重要度の小さい項目は、特徴量の差が考慮されなくなるため、k近傍法による判定精度が向上する。また、k近傍法は説明性が優れているため、判定結果の精度と説明性との両立を図ることができる。
図8は、本実施例2に係る判定処理装置の構成を示す機能ブロック図である。図8に示すように、この判定処理装置200は、通信部210と、表示部230と、記憶部240と、制御部250とを有する。
通信部210は、ネットワークを介して、外部装置(図示略)とデータ通信を実行する処理部である。通信部210は、通信装置の一例である。判定処理装置200は、後述する学習データ240aを、外部装置から取得してもよい。
入力部220は、各種の情報を判定処理装置200に入力するための入力装置である。たとえば、入力部220は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部220を操作して、予測対象データを入力してもよい。
表示部230は、制御部250から出力される情報を表示する表示装置である。たとえば、制御部250から出力される情報は、予測対象データに対する判定結果と判定結果の根拠とを対応付けた情報を含む。表示部230は、液晶ディスプレイ、有機ELディスプレイ、タッチパネル等に対応する。
記憶部240は、学習データ240a、第1機械学習モデル240b、第2機械学習モデル240c、重要度ベクトルデータ240dを有する。記憶部240は、RAM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
学習データ240aは、訓練データと、ラベルとを対応付けるデータである。学習データ240aのデータ構造は、図2で説明した、学習データ140aのデータ構造と同様であるため、説明を省略する。訓練データのデータ構造は、図3で説明した訓練データのデータ構造と同様である。
第1機械学習モデル240bは、アンサンブル学習によって学習される学習モデルである。第1機械学習モデル240bの説明は、図4で説明した、第1機械学習モデル140bの説明と同様である。第1機械学習モデル240bは、入力されたデータに対する判定結果と、判定結果の確信度とを出力する。判定結果は、「認定」または「不認定」となる。
第2機械学習モデル240cは、k近傍法によって、「認定」または「不認定」の判定結果を出力するモデルである。たとえば、第2機械学習モデル240cは、各重み付け訓練データと、各訓練データのラベルとを対応付ける。第2機械学習モデル240cは、判定結果を出力する場合に、判定結果の確信度を合わせて出力する。
重要度ベクトルデータ240dは、データ(訓練データ、予測対象データ)に含まれる各特徴量の重要度を示す。各特徴量の重要度は、第1機械学習モデル240bを学習する過程において、決定される。重要度ベクトルwは、式(1)によって定義される。
制御部250は、取得部250aと、第1学習部250bと、第2学習部250cと、調整部250dと、判定部250eとを有する。制御部250は、CPUやMPUなどによって実現できる。また、制御部250は、ASICやFPGAなどのハードワイヤードロジックによっても実現できる。
取得部250aは、外部装置(図示略)等から、学習データ240aを取得する処理部である。取得部250aは、取得した学習データ240aを、記憶部240に格納する。また、取得部250aは、予測対象データを取得した場合、予測対象データを、判定部250eに出力する。
第1学習部250bは、学習データ240aを基にして、アンサンブル学習を実行し、第1機械学習モデル240bを生成する処理部である。第1機械学習モデル240bに、3つの決定木31a~31cが含まれる場合、第1学習部250bは、学習データ240aを3つに分割し、分割した各学習データを基にして、決定木31a~31cをそれぞれ学習する。第1学習部250bが、決定木31を学習する処理は、実施例1で説明した第1学習部250bと同様である。
なお、第1学習部250bは、後述する調整部250dと協働して、重要度ベクトルwを調整する。
第2学習部250cは、学習データ240aを基にして、第2機械学習モデル240cを生成する処理部である。たとえば、第2学習部250cは、学習データ240aに含まれる訓練データのデータ集合Dと、重要度ベクトルwとの積「wD」を算出する。wDは、実施例1で説明したように、式(2)のように定義される。
第2学習部250cは、重み付け訓練データの位置と、(重み付けを行う前の)訓練データのラベルとを対応付けることで、第2機械学習モデル240cを生成する。
調整部250dは、データ集合Dを、第1機械学習モデル240bに入力した場合の判定結果と、データ集合Dと重要度ベクトルwとの積wDを第2機械学習モデル240cに入力した場合の判定結果とを基にして、重要度ベクトルwを調整する処理部である。調整部250dは、調整した重要度ベクトルwによって、重要度ベクトルデータ240dを更新する。
データ集合Dを、第1機械学習モデル240bに入力した場合の判定結果は、第1判定結果に対応する。積wDを第2機械学習モデル240cに入力した場合の判定結果は、第2判定結果に対応する。調整部250dは、第1判定結果の確信度と、第2判定結果の確信度との差が最小となるような重要度ベクトルwを探索する。
調整部250dは、式(4)の目的関数の値が最小となるように、重要度ベクトルwを調整する。式(4)は、M(D)とK(wD)との差分が最小になるというものである。最小化する目的関数は、行列のノルム(フロベニウスノルム)である。
Figure 0007293988000001
式(4)において、M(D)は、データ集合Dに含まれる各訓練データdを、第1機械学習モデル240bに入力した場合に出力される予測確率の行列(各ラベルについての確信度)を示すものである。
k(wD)は、積wDに含まれる各訓練データwdを、第2機械学習モデル240cに入力した場合に出力される予測確率の行列を示すものである。
たとえば、調整部250dは、第1学習部250bと協働し、重要度ベクトルwを更新し、更新した重要度ベクトルwに応じて、第1機械学習モデル240bの決定木31を更新し、式(4)の値を求める処理を繰り返し実行することで、式(4)の目的関数が最小化するような重要度ベクトルwを探索する。調整部250dは、どのような探索方法を用いてもよいが、たとえばブラックボックス最適化手法の「hyperopt」を用いてもよい。
判定部250eは、予測対象データの判定結果を予測する処理部である。判定部250eは、実施例1で説明した、式(3)を基にして、「重み付けデータ」を算出する。
判定部250eは、重み付けデータを、第2機械学習モデル240cに入力することで、k近傍法による判定結果を得る。また、判定部250eは、重み付けデータに類似する訓練データを、第2機械学習モデル240cを基にして判定する。たとえば、判定部250eは、重み付けデータと各重み付け訓練データとの距離をそれぞれ算出し、重み付けデータとの距離が小さいものから順に、各重み付け訓練データをソートする。判定部250eは、先頭からk個の重み付け訓練データを選択する。判定部250eは、選択した重み付け訓練データに対して、重要度ベクトルを乗算する前の訓練データを、予測対象データに類似するデータ(類似データ)として判定する。
判定部250eは、第2機械学習モデル240cによる判定結果と、判定の根拠となる情報とを対応付けて、表示部230に出力して表示させる。判定の根拠となる情報は、類似データである。
なお、判定部250eは、予測対象データを、第1機械学習モデル240bに入力して、判定結果を取得してもよい。この場合、判定部250eは、第1機械学習モデル240bによる判定結果と、判定の根拠となる情報とを対応付けて、表示部230に出力して表示させてもよい。判定の根拠となる情報は、上記の類似データである。
次に、本実施例2に係る判定処理装置200の処理手順の一例について説明する。図9は、本実施例2に係る判定処理装置の処理手順を示すフローチャートである。図9に示すように、判定処理装置200の取得部250aは、学習データ240aを取得し、記憶部240に格納する(ステップS201)。
判定処理装置200の第1学習部250bは、学習データ240aを基にして、アンサンブル学習を実行し、第1機械学習モデル240bを生成する(ステップS202)。第1学習部250bは、第1機械学習モデル240bを基にして、重要度ベクトルデータ240dを生成する(ステップS203)。
判定処理装置200の第2学習部250cは、学習データ240aを基にして、k近傍法学習を実行し、第2機械学習モデル240cを生成する(ステップS204)。ステップS204において、第2学習部250cは、学習データ240aのデータ集合Dと、重要度ベクトルwとの積「wD」を用いて、第2機械学習モデル240cを生成する。
判定処理装置200の調整部250dは、式(4)の目的関数を最小化する重要度ベクトルを探索する(ステップS205)。取得部250aは、予測対象データを取得する(ステップS206)。判定処理装置200の判定部250eは、重要度ベクトルと予測対象データとの積によって、重み付けデータを算出する(ステップS207)。
判定部250eは、重み付けデータを、第2機械学習モデル240cに入力することで、判定結果および類似データを判定する(ステップS208)。判定部250eは、判定結果と、類似データ(判定結果の根拠となる情報)とを対応付けた情報を表示部230に出力して表示させる(ステップS209)。
次に、本実施例2に係る判定処理装置200の効果について説明する。判定処理装置200は、第1判定結果の確信度と、第2判定結果の確信度との差が最小となるような重要度ベクトルwを探索する。判定処理装置200は、探索した重要度ベクトルwを用いて、予測対象データに重み付けを行い、第2機械学習モデル240cに入力して、判定結果および判定結果の根拠を特定し、表示させる。実施例1で説明したアンサンブル学習のみによって特定される重要度ベクトルwは、必ずしも各特徴量に対する重要度を最適に表していない場合がある。これに対して、本実施例2では、式(4)に示す目的関数を最小化するような重要度ベクトルwを探索することで、各特徴量に対する重要度を適切に求めることができ、判定精度が向上する。
機械学習の説明性という点において、上述した実施例1、2は、k近傍法を用いた局所説明である。図10は、機械学習モデルのわかりやすさと精度との関係を示す図である。図10において、横軸はわかりやすさに対応する軸であり、右に行くほど、よりわかりやすく、判定結果の判定の根拠を示しやすいことを示す。縦軸は精度に対応する軸であり、上に行くほど、より判定精度が高いことを示す。
一般的に、機械学習モデルのわかりやすさと精度とはトレードオフの関係にある。たとえば、ディープラーニングは、判定結果の精度が高いが、そのような判定結果に至る仕組みを人間がモデルから把握することは難しい。一方、k近傍法は、ディープラーニングと比べると、判定結果の精度が低いが、そのような判定結果に至る仕組みを人間が理解することは容易である。このため、実施例3では、予測用のモデルと、説明用のモデルとを用意することで、判定結果の精度と説明性との両立を図る。
ここで、検索技術のBM25は、与えられたクエリによって、単語における重要度重みを変えたk近傍法と見なすことができる。単語q、・・・、qを含むクエリQが与えられた場合、文書DのBM25スコアは、式(5)によって算出される。
Figure 0007293988000002
式(5)において、TF(q)は、文書Dに含まれる単語qの出現数を、文書Dの全単語の出現数で除算した値を示す。IDF(q)は、式(6)によって算出される。b、kは、パラメータである。avgdlは、各文書の平均単語数である。
IDF(q)=log(文書Dに含まれる文書の総数/単語qを含む文書の数)・・・(6)
上記のBM25では、与えられたデータに対して、その付近では考える重要度が異なるという考え方に基づく。
本実施例3に係る判定処理装置は、与えられた予測対象データT毎に、重要度ベクトルを算出する。図11は、本実施例3に係る判定処理装置の構成を示す機能ブロック図である。図11に示すように、判定処理装置300は、通信部310と、表示部330と、記憶部340と、制御部350とを有する。
通信部310は、ネットワークを介して、外部装置(図示略)とデータ通信を実行する処理部である。通信部310は、通信装置の一例である。判定処理装置300は、後述する学習データ340aを、外部装置から取得してもよい。
入力部320は、各種の情報を判定処理装置300に入力するための入力装置である。たとえば、入力部320は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部320を操作して、予測対象データを入力してもよい。
表示部330は、制御部350から出力される情報を表示する表示装置である。たとえば、制御部350から出力される情報は、予測対象データに対する判定結果と判定結果の根拠とを対応付けた情報を含む。表示部330は、液晶ディスプレイ、有機ELディスプレイ、タッチパネル等に対応する。
記憶部340は、学習データ340a、第1機械学習モデル340b、第2機械学習モデル340c、重要度ベクトルデータ340dを有する。記憶部340は、RAM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
学習データ340aは、訓練データと、ラベルとを対応付けるデータである。学習データ340aのデータ構造は、図2で説明した、学習データ140aのデータ構造と同様であるため、説明を省略する。訓練データのデータ構造は、図3で説明した訓練データのデータ構造と同様である。
第1機械学習モデル340bは、アンサンブル学習によって学習される学習モデルである。第1機械学習モデル340bの説明は、図4で説明した、第1機械学習モデル140bの説明と同様である。第1機械学習モデル340bは、入力されたデータに対する判定結果と、判定結果の確信度とを出力する。判定結果は、「認定」または「不認定」となる。
第2機械学習モデル340cは、k近傍法によって、「認定」または「不認定」の判定結果を出力するモデルである。たとえば、第2機械学習モデル340cは、各重み付け訓練データと、各訓練データのラベルとを対応付ける。第2機械学習モデル340cは、判定結果を出力する場合に、判定結果の確信度を合わせて出力する。
重要度ベクトルデータ340dは、データ(訓練データ、予測対象データ)に含まれる各特徴量の重要度を示す。各特徴量の重要度は、第1機械学習モデル340bを学習する過程において、決定される。重要度ベクトルwは、式(1)によって定義される。
制御部350は、取得部350aと、第1学習部350bと、第2学習部350cと、調整部350dと、判定部350eとを有する。制御部350は、CPUやMPUなどによって実現できる。また、制御部350は、ASICやFPGAなどのハードワイヤードロジックによっても実現できる。
取得部350aは、外部装置(図示略)等から、学習データ340aを取得する処理部である。取得部350aは、取得した学習データ340aを、記憶部340に格納する。また、取得部350aは、予測対象データを取得した場合、予測対象データを、判定部350eに出力する。
また、取得部350aは、学習データ340aに含まれるデータ集合Dと、予測対象データとを比較し、データ集合Dに含まれる訓練データのうち、予測対象データの近傍に存在する訓練データをサンプリングする。予測対象データの近傍を、予測対象データの位置から所定範囲内とする。取得部350aは、サンプリングした訓練データの集合を、データ集合Zと表記する。
取得部350aは、データ集合Zと、データ集合Zに含まれる各訓練データのラベルとを対応付けた情報(以下、近傍学習データ)を、第1学習部350bおよび第2学習部350cに出力する。取得部350aは、データ集合Zの情報を、調整部350dに出力する。
第1学習部350bは、たとえば、近傍学習データを基にして、アンサンブル学習を実行し、第1機械学習モデル340bを生成する処理部である。第1機械学習モデル340bに、3つの決定木31a~31cが含まれる場合、第1学習部350bは、近傍学習データを3つに分割し、分割した各近傍学習データを基にして、決定木31a~31cをそれぞれ学習する。第1学習部350bが、決定木31を学習する処理は、実施例1で説明した第1学習部350bと同様である。
なお、第1学習部350bは、後述する調整部350dと協働して、重要度ベクトルwを調整する。
第2学習部350cは、近傍学習データを基にして、第2機械学習モデル340cを生成する処理部である。たとえば、第2学習部350cは、近傍学習データに含まれる訓練データのデータ集合Zと、重要度ベクトルwとの積「wZ」を算出する。
第2学習部350cは、重み付け訓練データ(訓練データは、データ集合Zに含まれる訓練データ)の位置と、(重み付けを行う前の)訓練データのラベルとを対応付けることで、第2機械学習モデル340cを生成する。
調整部350dは、データ集合Zを、第1機械学習モデル340bに入力した場合の判定結果と、データ集合Zと重要度ベクトルwとの積wZを第2機械学習モデル240cに入力した場合の判定結果とを基にして、重要度ベクトルwを調整する処理部である。調整部350dは、調整した重要度ベクトルwによって、重要度ベクトルデータ340dを更新する。
データ集合Zを、第1機械学習モデル340bに入力した場合の判定結果は、第1判定結果に対応する。積wZを第2機械学習モデル340cに入力した場合の判定結果は、第2判定結果に対応する。調整部350dは、第1判定結果の確信度と、第2判定結果の確信度との差が最小となるような重要度ベクトルwを探索する。
調整部350dは、式(7)の目的関数の値が最小となるように、重要度ベクトルwを調整する。式(7)は、M(Z)とK(wZ)との差分が最小になるというものである。最小化する目的関数は、行列のノルム(フロベニウスノルム)である。
Figure 0007293988000003
式(7)において、M(Z)は、データ集合Zに含まれる各訓練データdを、第1機械学習モデル340bに入力した場合に出力される予測確率の行列(各ラベルについての確信度)を示すものである。
k(wZ)は、積wZに含まれる各訓練データwdを、第2機械学習モデル340cに入力した場合に出力される予測確率の行列を示すものである。
たとえば、調整部350dは、第1学習部350bと協働し、重要度ベクトルwを更新し、更新した重要度ベクトルwに応じて、第1機械学習モデル340bの決定木31を更新し、式(7)の値を求める処理を繰り返し実行することで、式(7)の目的関数が最小化するような重要度ベクトルwを探索する。調整部350dは、どのような探索方法を用いてもよいが、たとえばブラックボックス最適化手法の「hyperopt」を用いてもよい。
判定部350eは、予測対象データの判定結果を予測する処理部である。判定部350eは、判定結果を予測するモデルとして、第1機械学習モデル340bを用いる。判定部350eは、判定結果の判定の根拠となる類似データを特定するための解釈用のモデルとして、第2機械学習モデル230cを用いる。
判定部350eが、予測対象データの判定結果を予測する処理について説明する。判定部350eは、第1機械学習モデル340bに、予測対象データを入力し、第1機械学習モデル340bから出力される判定結果を取得する。
判定部350eが、判定結果の判定の根拠となる類似データを特定する処理について説明する。判定部350eは、実施例1で説明した、式(3)を基にして、「重み付けデータ」を算出する。
判定部350eは、重み付けデータと各重み付け訓練データとの距離をそれぞれ算出し、重み付けデータとの距離が小さいものから順に、各重み付け訓練データをソートする。判定部350eは、先頭からk個の重み付け訓練データを選択する。判定部350eは、選択した重み付け訓練データに対して、重要度ベクトルを乗算する前の訓練データを、予測対象データに類似するデータ(類似データ)として判定する。
判定部350eは、第1機械学習モデル340bによる判定結果と、判定の根拠となる情報とを対応付けて、表示部330に出力して表示させる。判定の根拠となる情報は、上記の類似データである。
次に、本実施例3に係る判定処理装置300の処理手順の一例について説明する。図12は、本実施例3に係る判定処理装置の処理手順を示すフローチャートである。図12に示すように、判定処理装置200の取得部350aは、学習データ340aを取得し、記憶部240に格納する(ステップS301)。取得部350aは、予測対象データを取得する(ステップS302)。取得部350aは、データ集合Dと、予測対象データとを比較し、予測対象データ近傍の訓練データの集合(データ集合Z)を抽出する(ステップS303)。
判定処理装置300の第1学習部350bは、近傍学習データを基にして、アンサンブル学習を実行し、第1機械学習モデル340bを生成する(ステップS304)。第1学習部350bは、第1機械学習モデル340bを基にして、重要度ベクトルデータ340dを生成する(ステップS305)。
判定処理装置300の第2学習部350cは、近傍学習データを基にして、k近傍法学習を実行し、第2機械学習モデル340cを生成する(ステップS306)。ステップS306において、第2学習部350cは、データ集合Zと、重要度ベクトルwとの積「wZ」を用いて、第2機械学習モデル240cを生成する。
判定処理装置300の調整部350dは、式(7)の目的関数を最小化する重要度ベクトルを探索する(ステップS307)。判定処理装置200の判定部350eは、予測対象データを、第1機械学習モデル340bに入力することで、判定結果を予測する(ステップS308)。
判定部350eは、重要度ベクトルと予測対象データとの積によって、重み付けデータを算出する(ステップS309)。判定部250eは、重み付けデータを、第2機械学習モデルに入力することで、類似データを判定する(ステップS310)。判定部350eは、判定結果と類似データ(判定結果の根拠となる情報)とを対応付けた情報を表示部330に出力して表示させる(ステップS311)。
次に、本実施例3に係る判定処理装置300の効果について説明する。判定処理装置300は、データ集合Dに含まれる訓練データのうち、予測対象データの近傍に存在する訓練データをサンプリングすることで、データ集合Zを抽出する。判定処理装置300は、データ集合Zを、第1機械学習モデル340bに入力した場合の判定結果と、w*Zを第2機械学習モデル340cに入力した場合の判定結果との差分が、最小になるように、重要度ベクトルを調整する。これによって、予測対象データの近傍の訓練データを基にして、重要度ベクトルを調整することができる。
判定処理装置300は、判定結果を予測するモデルとして、第1機械学習モデル340bを用い、判定結果の判定の根拠となる類似データを特定するための解釈用のモデルとして、第2機械学習モデル230cを用いる。これによって、判定結果の精度を高めつつ、判定結果の根拠を示すことができる。
次に、上記実施例に示した判定処理装置100(200,300)と同様の機能を実現するコンピュータのハードウェア構成の一例について順に説明する。
図13は、判定処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。図13に示すように、コンピュータ400は、各種演算処理を実行するCPU401と、ユーザからのデータの入力を受け付ける入力装置402と、ディスプレイ403と、読み取り装置404とを有する。また、コンピュータ400は、ネットワークを介して、外部装置との間でデータの授受を行うインタフェース装置405とを有する。コンピュータ400は、各種情報を一時記憶するRAM406と、ハードディスク装置407とを有する。そして、各装置401~407は、バス408に接続される。
ハードディスク装置407は、取得プログラム407a、第1学習プログラム407b、第2学習プログラム407cと、調整プログラム407dと、判定プログラム407eとを有する。CPU401は、取得プログラム407a、第1学習プログラム407b、第2学習プログラム407cと、調整プログラム407dと、判定プログラム407eとを読み出してRAM406に展開する。
取得プログラム407aは、取得プロセス406aとして機能する。第1学習プログラム407bは、第1学習プロセス406bとして機能する。第2学習プログラム407cは、第2学習プロセス406cとして機能する。調整プログラム407dは、調整プロセス406dとして機能する。判定プログラム407eは、判定プロセス406eとして機能する。
取得プロセス406aの処理は、取得部150a,250a,350aの処理に対応する。第1学習プロセス406bの処理は、第1学習部150b,250b,350bの処理に対応する。第2学習プロセス406cの処理は、第2学習部150c,250c,350cの処理に対応する。調整プロセス406dの処理は、調整部250d,350dの処理に対応する。判定プロセス406eの処理は、判定部150d,250e,350eの処理に対応する。
なお、各プログラム407a~407eについては、必ずしも最初からハードディスク装置407に記憶させておかなくてもよい。例えば、コンピュータ400に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ400が各プログラム407a~407eを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第1機械学習モデルを学習することで、前記複数の特徴量に対する重要度ベクトルを算出し、
前記学習データと前記重要度ベクトルとを基にして、k近傍法の第2機械学習モデルを学習し、
学習済みの前記第2機械学習モデルと、予測対象データとを基にして、前記訓練データから前記予測対象データに類似するデータを判定する
処理をコンピュータに実行させることを特徴とする判定処理プログラム。
(付記2)前記判定する処理は、前記重要度ベクトルと、前記予測対象データとを乗算した値を、前記第2機械学習モデルに入力することで、前記類似するデータを判定し、
前記予測対象データを前記第1機械学習モデルに入力した場合の判定結果と、前記類似するデータとを関連付けて出力する処理を更に実行することを特徴とする付記1に記載の判定処理プログラム。
(付記3)前記コンピュータに、更に、
前記訓練データを前記第1機械学習モデルに入力した場合の第1判定結果の確信度と、前記訓練データの複数の特徴量を前記重要度ベクトルで補正した補正訓練データを前記第2機械学習モデルに入力した場合の第2判定結果の確信度との差分が最小となるように、前記重要度ベクトルを調整する処理を実行させることを特徴とする付記1または2に記載の判定処理プログラム。
(付記4)前記学習データに含まれる複数の訓練データのうち、前記予測対象データの近傍に存在する複数の訓練データを含むデータ集合を抽出する処理を更に実行し、
前記調整する処理は、前記データ集合を前記第1機械学習モデルに入力した場合の判定結果と、前記データ集合の複数の特徴量に前記重要度ベクトルを乗算したデータ集合を前記第2機械学習モデルに入力した場合の判定結果とを基にして、重要度ベクトルを調整することを特徴とする付記1、2または3に記載の判定処理プログラム。
(付記5)複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第1機械学習モデルを学習することで、前記複数の特徴量に対する重要度ベクトルを算出する第1学習部と、
前記学習データと前記重要度ベクトルとを基にして、k近傍法の第2機械学習モデルを学習する第2学習部と、
学習済みの前記第2機械学習モデルと、予測対象データとを基にして、前記訓練データから前記予測対象データに類似するデータを判定する判定部と
を有することを特徴とする判定処理装置。
(付記6)前記判定部は、前記重要度ベクトルと、前記予測対象データとを乗算した値を、前記第2機械学習モデルに入力することで、前記類似するデータを判定し、前記予測対象データを前記第1機械学習モデルに入力した場合の判定結果と、前記類似するデータとを関連付けて出力する処理を更に実行することを特徴とする付記5に記載の判定処理装置。
(付記7)前記訓練データを前記第1機械学習モデルに入力した場合の第1判定結果の確信度と、前記訓練データの複数の特徴量を前記重要度ベクトルで補正した補正訓練データを前記第2機械学習モデルに入力した場合の第2判定結果の確信度との差分が最小となるように、前記重要度ベクトルを調整する調整部を更に有することを特徴とする付記5または6に記載の判定処理装置。
(付記8)前記学習データに含まれる複数の訓練データのうち、前記予測対象データの近傍に存在する複数の訓練データを含むデータ集合を抽出する取得部を更に有し、
前記調整部は、前記データ集合を前記第1機械学習モデルに入力した場合の判定結果と、前記データ集合の複数の特徴量に前記重要度ベクトルを乗算したデータ集合を前記第2機械学習モデルに入力した場合の判定結果とを基にして、重要度ベクトルを調整することを特徴とする付記7に記載の判定処理装置。
(付記9)コンピュータが実行する判定処理方法であって、
複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第1機械学習モデルを学習することで、前記複数の特徴量に対する重要度ベクトルを算出し、
前記学習データと前記重要度ベクトルとを基にして、k近傍法の第2機械学習モデルを学習し、
学習済みの前記第2機械学習モデルと、予測対象データとを基にして、前記訓練データから前記予測対象データに類似するデータを判定する
処理を実行することを特徴とする判定処理方法。
(付記10)前記判定する処理は、前記重要度ベクトルと、前記予測対象データとを乗算した値を、前記第2機械学習モデルに入力することで、前記類似するデータを判定し、
前記予測対象データを前記第1機械学習モデルに入力した場合の判定結果と、前記類似するデータとを関連付けて出力する処理を更に実行することを特徴とする付記9に記載の判定処理方法。
(付記11)前記訓練データを前記第1機械学習モデルに入力した場合の第1判定結果の確信度と、前記訓練データの複数の特徴量を前記重要度ベクトルで補正した補正訓練データを前記第2機械学習モデルに入力した場合の第2判定結果の確信度との差分が最小となるように、前記重要度ベクトルを調整する処理を更に実行することを特徴とする付記9または10に記載の判定処理方法。
(付記12)前記学習データに含まれる複数の訓練データのうち、前記予測対象データの近傍に存在する複数の訓練データを含むデータ集合を抽出する処理を更に実行し、
前記調整する処理は、前記データ集合を前記第1機械学習モデルに入力した場合の判定結果と、前記データ集合の複数の特徴量に前記重要度ベクトルを乗算したデータ集合を前記第2機械学習モデルに入力した場合の判定結果とを基にして、重要度ベクトルを調整することを特徴とする付記11に記載の判定処理方法。
100,200 判定処理装置
110,210 通信部
120,220 入力部
130,230 表示部
140,240 記憶部
140a,240a,340a 学習データ
140b,240b,340b 第1機械学習モデル
140c,240c,340c 第2機械学習モデル
140d,240d,340d 重要度ベクトルデータ
150,250,350 制御部
150a,250a,350a 取得部
150b,250b,350b 第1学習部
150c,250c,350c 第2学習部
150d,250e,350e 判定部
250d,350d 調整部

Claims (9)

  1. 複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第1機械学習モデルを訓練することで、前記複数の特徴量それぞれの重要度を示す重要度ベクトルを算出し、
    前記訓練データに含まれる前記複数の特徴量のそれぞれと前記重要度ベクトルが示す前記複数の特徴量それぞれの重要度をそれぞれ乗算した結果を用いてk近傍法の第2機械学習モデルを生成する
    処理をコンピュータに実行させることを特徴とする学習プログラム。
  2. 訓練データに含まれる複数の特徴量のそれぞれに、前記複数の特徴量を含む前記訓練データと判定結果とを対応付けた学習データを用いて第1機械学習モデルを訓練することで算出された重要度ベクトルが示す前記複数の特徴量それぞれの重要度を乗算した結果を用いて生成されたk近傍法の第2機械学習モデルと、
    予測対象データと、
    を基にして、前記予測対象データに類似するデータを判定する
    処理をコンピュータに実行させることを特徴とする判定処理プログラム。
  3. 前記判定する処理は、前記重要度ベクトルと、前記予測対象データとを乗算した値を、前記第2機械学習モデルに入力することで、前記類似するデータを判定し、
    前記予測対象データを前記第1機械学習モデルに入力した場合の判定結果と、前記類似するデータとを関連付けて出力する処理を更に実行することを特徴とする請求項に記載の判定処理プログラム。
  4. 前記コンピュータに、更に、
    前記訓練データを前記第1機械学習モデルに入力した場合の第1判定結果の確信度と、前記訓練データの複数の特徴量を前記重要度ベクトルで補正した補正訓練データを前記第2機械学習モデルに入力した場合の第2判定結果の確信度との差分が最小となるように、前記重要度ベクトルを調整する処理を実行させることを特徴とする請求項またはに記載の判定処理プログラム。
  5. 前記学習データに含まれる複数の訓練データのうち、前記予測対象データの近傍に存在する複数の訓練データを含むデータ集合を抽出する処理を更に実行し、
    前記調整する処理は、前記データ集合を前記第1機械学習モデルに入力した場合の判定結果と、前記データ集合の複数の特徴量に前記重要度ベクトルを乗算したデータ集合を前記第2機械学習モデルに入力した場合の判定結果とを基にして、重要度ベクトルを調整することを特徴とする請求項4に記載の判定処理プログラム。
  6. 複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第1機械学習モデルを訓練することで、前記複数の特徴量それぞれの重要度を示す重要度ベクトルを算出する第1学習部と、
    前記訓練データに含まれる前記複数の特徴量のそれぞれと前記重要度ベクトルが示す前記複数の特徴量それぞれの重要度をそれぞれ乗算した結果を用いてk近傍法の第2機械学習モデルを生成する第2学習部と、
    を有することを特徴とする学習装置。
  7. 訓練データに含まれる複数の特徴量のそれぞれに、前記複数の特徴量を含む前記訓練データと判定結果とを対応付けた学習データを用いて第1機械学習モデルを訓練することで算出された重要度ベクトルが示す前記複数の特徴量それぞれの重要度を乗算した結果を用いて生成されたk近傍法の第2機械学習モデルと、予測対象データと、を基にして、前記予測対象データに類似するデータを判定する判定部
    を有することを特徴とする判定処理装置。
  8. コンピュータが実行する学習方法であって、
    複数の特徴量を含む訓練データと判定結果とを対応付けた学習データを基にして、第1機械学習モデルを訓練することで、前記複数の特徴量それぞれの重要度を示す重要度ベクトルを算出し、
    前記訓練データに含まれる前記複数の特徴量のそれぞれと前記重要度ベクトルが示す前記複数の特徴量それぞれの重要度をそれぞれ乗算した結果を用いてk近傍法の第2機械学習モデルを生成する
    処理を実行することを特徴とする学習方法。
  9. コンピュータが実行する判定処理方法であって、
    訓練データに含まれる複数の特徴量のそれぞれに、前記複数の特徴量を含む前記訓練データと判定結果とを対応付けた学習データを用いて第1機械学習モデルを訓練することで算出された重要度ベクトルが示す前記複数の特徴量それぞれの重要度を乗算した結果を用いて生成されたk近傍法の第2機械学習モデルと、
    予測対象データと、
    を基にして、前記予測対象データに類似するデータを判定する
    処理を実行することを特徴とする判定処理方法。
JP2019155085A 2019-08-27 2019-08-27 学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法 Active JP7293988B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019155085A JP7293988B2 (ja) 2019-08-27 2019-08-27 学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法
US16/990,437 US20210065024A1 (en) 2019-08-27 2020-08-11 Non-transitory computer-readable storage medium for storing determination processing program, determination processing method, and determination processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019155085A JP7293988B2 (ja) 2019-08-27 2019-08-27 学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法

Publications (2)

Publication Number Publication Date
JP2021033792A JP2021033792A (ja) 2021-03-01
JP7293988B2 true JP7293988B2 (ja) 2023-06-20

Family

ID=74678747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019155085A Active JP7293988B2 (ja) 2019-08-27 2019-08-27 学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法

Country Status (2)

Country Link
US (1) US20210065024A1 (ja)
JP (1) JP7293988B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202207373D0 (en) * 2022-05-19 2022-07-06 Samsung Electronics Co Ltd Method and apparatus for on-device user personalisation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236367A (ja) 2006-03-24 2006-09-07 Fuji Electric Systems Co Ltd ニューラルネットワークの出力値の評価方法及び記憶媒体
WO2013001893A1 (ja) 2011-06-28 2013-01-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 主観的な階層クラスタリングにおける特徴量ごとの重みを求める情報処理装置、方法、およびプログラム
JP2017062713A (ja) 2015-09-25 2017-03-30 キヤノン株式会社 識別器作成装置、識別器作成方法、およびプログラム
JP2017157213A (ja) 2016-02-29 2017-09-07 富士通株式会社 予測分析のための時系列のデータ・セットを生成する方法及びデータ処理装置
JP2019114308A (ja) 2019-04-23 2019-07-11 株式会社AI Samurai 知的財産システム、知的財産支援方法および知的財産支援プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074188A (ja) * 1996-05-23 1998-03-17 Hitachi Ltd データ学習装置およびプラント制御装置
CN102903008B (zh) * 2011-07-29 2016-05-18 国际商业机器公司 用于计算机问答的方法及系统
JP6931624B2 (ja) * 2018-05-22 2021-09-08 株式会社日立製作所 学習支援装置および学習支援方法
WO2020041859A1 (en) * 2018-08-29 2020-03-05 Darwinai Corporation System and method for building and using learning machines to understand and explain learning machines
JP7196696B2 (ja) * 2019-03-07 2022-12-27 株式会社ジェイテクト 機械学習装置及び機械学習方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236367A (ja) 2006-03-24 2006-09-07 Fuji Electric Systems Co Ltd ニューラルネットワークの出力値の評価方法及び記憶媒体
WO2013001893A1 (ja) 2011-06-28 2013-01-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 主観的な階層クラスタリングにおける特徴量ごとの重みを求める情報処理装置、方法、およびプログラム
JP2017062713A (ja) 2015-09-25 2017-03-30 キヤノン株式会社 識別器作成装置、識別器作成方法、およびプログラム
JP2017157213A (ja) 2016-02-29 2017-09-07 富士通株式会社 予測分析のための時系列のデータ・セットを生成する方法及びデータ処理装置
JP2019114308A (ja) 2019-04-23 2019-07-11 株式会社AI Samurai 知的財産システム、知的財産支援方法および知的財産支援プログラム

Also Published As

Publication number Publication date
JP2021033792A (ja) 2021-03-01
US20210065024A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US10943068B2 (en) N-ary relation prediction over text spans
CN111209370A (zh) 一种基于神经网络可解释性的文本分类方法
CN109804363A (zh) 使用通过示例的格式修改的连接
JP2019185551A (ja) アノテーション付テキストデータの拡張方法、アノテーション付テキストデータの拡張プログラム、アノテーション付テキストデータの拡張装置、及び、テキスト分類モデルの訓練方法
Dubey et al. A cluster-level semi-supervision model for interactive clustering
Hung Penalized blind kriging in computer experiments
WO2020242766A1 (en) Machine learning-based apparatus for engineering meso-scale peptides and methods and system for the same
CN104598925A (zh) 一种基于ELM的多类Adaboost集成学习方法
JP7293988B2 (ja) 学習プログラム、判定処理プログラム、学習装置、判定処理装置、学習方法および判定処理方法
US20200227142A1 (en) Autonomous reasoning and experimentation agent for molecular discovery
Chong et al. Evaluation of Active Learning Techniques on Medical Image Classification with Unbalanced Data Distributions
US20170154294A1 (en) Performance evaluation device, control method for performance evaluation device, and control program for performance evaluation device
US20150339786A1 (en) Forensic system, forensic method, and forensic program
JP2010146222A (ja) 文書分類装置、文書分類方法およびプログラム
US8001122B2 (en) Relating similar terms for information retrieval
Vallat et al. Building and assessing atomic models of proteins from structural templates: Learning and benchmarks
JP6705506B2 (ja) 学習プログラム、情報処理装置および学習方法
Yang et al. On the Importance of Diversity in Re-Sampling for Imbalanced Data and Rare Events in Mortality Risk Models
WO2020144730A1 (ja) 抽出方法、抽出プログラムおよび情報処理装置
Tavares et al. Expert knowledge integration in the data mining process with application to cardiovascular risk assessment
JP6884945B2 (ja) 訓練用データ生成装置、最適パラメータ取得装置、訓練用データ生成方法、および最適パラメータ取得方法
US20240005214A1 (en) Non-transitory computer-readable recording medium storing information presentation program, information presentation method, and information presentation device
JP4543687B2 (ja) データ分析装置
Hofmann et al. " Learning to rank for information retrieval from user interactions" by K. Hofmann, S. Whiteson, A. Schuth, and M. de Rijke with Martin Vesely as coordinator
Thummala et al. Prediction of Heart Disease using Random Forest in Comparison with Logistic Regression to Measure Accuracy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7293988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150