JP7172332B2 - 学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置 - Google Patents

Description

本発明の実施形態は、学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置に関する。

従来、離散データの非線形分類に用いられる技術として、教師つきの訓練データによってデータを分類するために用いる分類ルール、すなわち決定木を機械学習し、学習した決定木を用いて入力データの分類結果を予測する技術がある。

L. Breiman,"RANDOM FORESTS"，Machine Learning, vol.45, pp. 5-32 (2001) J.R. Quinlan,"Induction of Decision Trees"，Machine Learning, vol.1, pp. 81-106 (1986)

機械学習の結果に含まれるそれぞれの「点」（例えば決定木における葉）に対し、機械学習で利用したルールが対応づいている場合は、人間が直接理解できる形、すなわち解釈性を持つ形で機械学習の結果を利用することができる。

例えば、訓練データから決定木を生成した場合、それぞれの点の決定木による出力結果は、決定木を構成するルールと対応付けられており、判断の根拠を人間が理解することができる。このように、決定木は、予測モデル（予測結果を導くルール（根拠））を人間が理解しやすいことが特徴の一つである。

特に医療の分野などにおいては、機械学習による予測の結果に含まれる「点」を導くルール自体だけでなく、当該予測、および、代替の予測の可能性や、代替の予測を導くルールを知りたい場合がある。また、出力された予測が、不十分なデータによる学習である場合は、その旨を知ることができることが望ましい。

しかしながら、上記の従来技術における決定木を用いた予測では、特に、少ない説明変数の組み合わせで（決定木において根から葉に至る節点の数が少なく）対象の性質が説明できる場合に、訓練データ以外の点について予測の可能性や、代替の予測、代替の予測を導くルールなどが得られない場合がある。これは、決定木が、複数の可能性が存在する場合に、最も可能性が高いもの以外が除外され、かつ、複数のルールが相互に矛盾しない形で生成されることによる。

ここで、上記の課題について、具体例を示して説明する。図１４は、訓練データの一例を示す説明図である。

図１４に示すように、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）は、データの性質を説明するＡ～Ｄの説明変数（予測に用いる情報）と、＋または－へのＣｌａｓｓ（分類）を示す正解情報である目的変数（予測したい情報）とを含む。例えば、訓練データＰ_１～Ｐ_４は、目的変数Ａ～Ｄそれぞれが０または１であり、＋に分類されるデータである。同様に、訓練データＮ_１～Ｎ_３は、目的変数Ａ～Ｄそれぞれが０または１であり、－に分類されるデータである。

図１５－１、図１５－２は、決定木の一例を示す説明図である。具体的には、図１５－１に示す決定木Ｔ_１、図１５－２に示す決定木Ｔ_２ともに、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）による学習で得られた決定木である。

図１５－１に示すように、決定木Ｔ_１は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に対し、分類精度１００％で分類を行う。また、図１５－２に示すように、決定木Ｔ_２は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に対し、分類精度１００％で分類を行う。このように、同じ訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に対しては、同品質（分類精度１００％）の決定木Ｔ_１、Ｔ_２が複数する場合がある。

そして、これらの決定木Ｔ_１、Ｔ_２は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に含まれていない未知の入力に対してそれぞれ異なる予測値を与える場合がある。

図１６は、決定木ごとの予測値を説明する説明図である。具体的には、図１６は、入力データ（ＩＮ_１、ＩＮ_２）、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）および決定木Ｔ_１、Ｔ_２について、４説明変数（Ａ～Ｄ）のカルノー図例である。

なお、図１６において、説明変数（１／０）については、オーバーライン（以下、「バー」と称する）の有無で表現している。例えばＡは、Ａ＝１であり、ＡバーはＡ＝０を示す。また、目的変数（＋／－）については、網掛けで表現している。例えば、訓練データＰ_１～Ｐ_４、Ｃバーなどの網掛けは、目的変数が＋を示す。また、訓練データＮ_１～Ｎ_３、ＣＡなどの網掛けは、目的変数が－を示す。なお、これらの表現は、他の図面でも共通であるものとする。

図１６に示すように、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に含まれていない入力データＩＮ_１、ＩＮ_２について、決定木Ｔ_１と、決定木Ｔ_２とでは、予測値（分類結果）が異なることとなる。具体的には、入力データＩＮ_１について、決定木Ｔ_１では、－と分類される。これに対し、決定木Ｔ_２では、入力データＩＮ_１は＋と分類される。

図１７は、決定木Ｔ_１によるルールを説明する説明図である。図１７に示すように、決定木Ｔ_１では、予測結果に含まれる各点に対応付けられるパス（＝ルール）は１つである。これは、決定木というモデル自体が有する性質であり、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に含まれる、または、含まれない、いずれの点についてもルールは１つである。

例えば、ルールＲ_１は、決定木Ｔ_１において入力データＩＮ_２が＋に分類されることを示す唯一のルールである。また、ルールＲ_２は、決定木Ｔ_１において入力データＩＮ_１が－に分類されることを示す唯一のルールである。

したがって、各決定木において、各点に関する代替の予測（例えば＋の予測の代替として－に予測）の可能性を評価することは困難である。また、決定木Ｔ_１または決定木Ｔ_２のどちらの決定木が妥当であるかは、限られた訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）から決められることではない（どちらの可能性も排除できない）。

１つの側面では、入力データに対する予測結果と、予測に関する根拠とを示すことを可能とする学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置を提供することを目的とする。

１つの案では、学習プログラムは、生成する処理と、学習を行う処理とをコンピュータに実行させる。生成する処理は、それぞれに説明変数および目的変数を有する訓練データから、説明変数の組み合わせにより構成され、訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合を生成する。学習を行う処理は、訓練データそれぞれに対する、仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、複数の仮説それぞれの重みを算出する学習を行う。

本発明の１実施態様によれば、入力データに対する予測結果と、予測に関する根拠とを示すことができる。

図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。 図２は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。 図３は、訓練データの一例を示す説明図である。 図４は、仮説の生成を説明する説明図である。 図５は、仮説の生成を説明する説明図である。 図６は、仮説の生成を説明する説明図である。 図７は、生成された仮説の一例を示す説明図である。 図８は、入力データに適合する仮説を説明する説明図である。 図９は、ロジスティック回帰による重み付けを説明する説明図である。 図１０は、仮説の選別を説明する説明図である。 図１１は、入力データに適合する仮説の一例を示す説明図である。 図１２は、正例である確率の推定値を例示する説明図である。 図１３は、実施形態にかかる情報処理装置のハードウエア構成例を説明する説明図である。 図１４は、訓練データの一例を示す説明図である。 図１５－１は、決定木の一例を示す説明図である。 図１５－２は、決定木の一例を示す説明図である。 図１６は、決定木ごとの予測値を説明する説明図である。 図１７は、決定木によるルールを説明する説明図である。

以下、図面を参照して、実施形態にかかる学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。

図１に示すように、情報処理装置１は、入力部１０、記憶部２０、仮説生成部３０、学習部４０、予測部５０および出力部６０を有する。

入力部１０は、機械学習に関する訓練データ２１や、予測対象となる入力データ２２などの各種データの入力を受け付ける処理部である。入力部１０は、入力を受け付けた訓練データ２１や入力データ２２を記憶部２０に格納する。

記憶部２０は、例えば訓練データ２１、入力データ２２、仮説集合データ２３、重みデータ２４および結果データ２５などの各種データを記憶する。

仮説生成部３０は、それぞれに説明変数および目的変数を有する訓練データ２１から、説明変数の組み合わせにより構成される仮説（目的変数に応じた予測となることを説明するルール（根拠））を網羅的に探索する。

次いで、仮説生成部３０は、探索した仮説それぞれについて、訓練データ２１の説明変数および目的変数をもとに、訓練データ２１のいずれかを分類し、特定の条件を満たす仮説を特定する。ここで、特定の条件とは、仮説（説明変数の組み合わせ）が示すルールによって所定のクラスに分類される訓練データ２１の数または割合が所定の値以上であることなどである。例えば、仮説生成部３０は、探索した仮説について、その仮説により分類される訓練データ２１の数または割合が所定の値以上であり、仮説による分類結果があるクラスに属することを一定以上のサンプル数かつ（または）一定以上のサンプル割合で説明しているものを特定する。つまり、仮説生成部３０は、訓練データ２１の目的変数に応じた予測となることを正しく説明している可能性のある仮説を特定する。

次いで、仮説生成部３０は、特定した仮説を仮説集合に加える。このようにして、仮説生成部３０は、訓練データ２１の目的変数に応じた予測となることを正しく説明している可能性のある仮説を仮説集合に列挙する。次いで、仮説生成部３０は、仮説を列挙した仮説集合を示す仮説集合データ２３を記憶部２０に格納する。すなわち、仮説生成部３０は、生成部の一例である。

学習部４０は、訓練データ２１それぞれに対する、仮説集合データ２３の仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、複数の仮説それぞれの重みを算出する学習を行う。学習部４０は、学習結果により得られた複数の仮説それぞれの重みを重みデータ２４として記憶部２０に格納する。このようにして得られた仮説集合データ２３および重みデータ２４が、予測結果を得るための予測モデルである。

予測部５０は、仮説集合データ２３による仮説集合と、重みデータ２４による複数の仮説の重み、すなわち予測モデルを用いて、予測対象である入力データ２２の予測結果を生成する処理部である。

具体的には、予測部５０は、入力データ２２の性質を説明する説明変数をもとに、仮説集合データ２３による仮説集合の中から入力データ２２に適合する仮説（説明変数の組み合わせが共通する仮説）を求める。なお、この適合する仮説に対応付けられた分類結果（目的変数）が入力データ２２の予測結果を示す。次いで、予測部５０は、適合する仮説における、重みデータ２４が示す仮説における重みをもとに、予測の確度を示す予測スコアを求める。次いで、予測部５０は、予測結果、予測の確度を示す予測スコア、および、予測結果と対応付けられた仮説を結果データ２５として記憶部２０に格納する。

出力部６０は、記憶部２０に格納された結果データ２５を読み出し、ディスプレイやファイルなどに出力する処理部である。これにより、情報処理装置１は、予測部５０が予測した予測結果をディスプレイやファイルなどに出力する。

このように、情報処理装置１は、学習装置および予測装置の一例である。なお、本実施形態では学習および予測を一つの情報処理装置１で統合して行う構成を例示するが、学習および予測については、別々の情報処理装置１で実現してもよい。

次に、情報処理装置１の動作例を示しながら、上記の各機能部の処理を詳細に説明する。図２は、実施形態にかかる情報処理装置１の動作例を示すフローチャートである。

図２に示すように、情報処理装置１の動作は、予測モデルを生成する学習時の動作（Ｓ１）と、生成した予測モデルを予測対象の入力データ２２に適用して予測結果を得る予測時の動作（Ｓ２）とがある。まず、学習時の動作（Ｓ１）について説明する。

図２に示すように、処理が開始されると、入力部１０は、訓練データ２１の入力を受け付け（Ｓ１１）、記憶部２０に格納する。

図３は、訓練データの一例を示す説明図である。訓練データ２１は、複数の事例ごとの教師付きデータであり、データの性質を説明するＡ～Ｄの説明変数と、＋または－への分類結果（正解情報）である目的変数とを含む。なお、以下では、図３に示すように、図１４と同様の訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）を例に説明を行う。

例えば、医療の分野などにおいて、検査データから検査結果を分類する予測モデルを生成するための訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の場合、Ａ～Ｄの説明変数は検査項目ごとの検査値などに対応する。また、目的変数は、陽性／陰性などの検査結果に対応する。

次いで、仮説生成部３０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に含まれる説明変数について、それぞれとり得る値（使用しない＝＊、値＝１、値＝０）の組み合わせ、すなわち仮説を網羅的に列挙する（Ｓ１２）。

なお、組み合わせる説明変数の数は、所定の数以下とするように制限（条件）を設けてもよい。例えば、Ａ～Ｄの４説明変数の場合、組み合わせる説明変数の数を２以下とする（４説明変数のうち「使用しない＝＊」とするものを少なくとも２つ組み合わせる）ように制限してもよい。これにより、組み合わせが増大することを事前に抑止できる。

次いで、仮説生成部３０は、Ｓ１２で列挙した組み合わせから所定の組み合わせを選択する（Ｓ１３）。次いで、仮説生成部３０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の説明変数および目的変数をもとに、選択した組み合わせが訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）のいずれかを分類し、特定の条件を満たす有効な組み合わせであるか否かを判定する（Ｓ１４）。

図４は、仮説の生成を説明する説明図である。図４では、Ａ～Ｄの４説明変数の全てが「＊」である組み合わせＣ０１からＣＤ（ＡＢは「＊」）である組み合わせＣ０９が一例として示されている。

図４に示すように、仮説生成部３０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の説明変数をもとに、組み合わせＣ０１～Ｃ０９それぞれの仮説（ルール）に該当する訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）を列挙する。

例えば、組み合わせＣ０２のＤバー（残り３説明変数は「使用しない＝＊」）のルールには、訓練データＰ_２、Ｎ_１、Ｎ_２が該当する。この組み合わせＣ０２のルール（Ｄバー）では、目的変数が＋である訓練データ（Ｐ_２）と、目的変数が－である訓練データ（Ｎ_１、Ｎ_２）とが混在している。したがって、組み合わせＣ０２は、あるクラスに分類することを正しく説明する仮説としての可能性が低く、有効な組み合わせとは言えない。

ここで、組み合わせＣ０４のルール（Ｃバー）には、目的変数が＋である訓練データ（Ｐ_１、Ｐ_３、Ｐ_４）が該当する。すなわち、組み合わせＣ０４は、＋のクラスに分類される訓練データ（Ｐ_１、Ｐ_３、Ｐ_４）の数または割合が所定の値以上であり、＋のクラスに分類することを正しく説明するルールとしての可能性が高い。よって、仮説生成部３０は、組み合わせＣ０４（Ｃバー）を、＋のクラスに分類する有効な組み合わせ（仮説）と判定する。同様に、仮説生成部３０は、組み合わせＣ０５、Ｃ０６についても＋のクラスに分類する有効な組み合わせ（仮説）と判定する。

また、組み合わせＣ０８のルール（ＣＤバー）には、目的変数が－である訓練データ（Ｎ_１、Ｎ_２）が該当する。すなわち、組み合わせＣ０８は、－のクラスに分類される訓練データ（Ｎ_１、Ｎ_２）の数または割合が所定の値以上であり、－のクラスに分類することを正しく説明するルールとしての可能性が高い。よって、仮説生成部３０は、組み合わせＣ０８（ＣＤバー）を、－のクラスに分類する有効な組み合わせ（仮説）と判定する。

有効な組み合わせと判定するための条件である、所定のクラスに分類される訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の数または割合は、任意に設定してもよい。例えば、訓練データにはノイズが混じる場合があることから、所定のクラス（例えば＋）とは逆のクラス（例えば－）を所定数許容するように設定してもよい。

一例として、訓練データ１つ分のノイズを許容する場合、組み合わせＣ０３（Ｄ）については、＋のクラスに分類する有効な組み合わせ（仮説）と判定される。同様に、組み合わせＣ０７（Ｃ）については、－のクラスに分類する有効な組み合わせ（仮説）と判定される。

図２に戻り、組み合わせが有効でない場合（Ｓ１４：ＮＯ）、仮説生成部３０は、選択した組み合わせを仮説集合に加えることなく、Ｓ１７へ処理を進める。

組み合わせが有効である場合（Ｓ１４：ＹＥＳ）、仮説生成部３０は、選択した組み合わせが仮説集合に含まれる他の仮説の特殊ケースになっているか否かを判定する（Ｓ１５）。

例えば、図４における組み合わせＣ０５のＣバーＤと、組み合わせＣ０６のＣバーＤバーとは、組み合わせＣ０４のＣバーに新たなリテラルを付加して作られるものである。このような組み合わせＣ０５、Ｃ０６について、仮説生成部３０は、組み合わせＣ０４のＣバーの特殊ケースになっているものと判定する。

特殊ケースになっている場合（Ｓ１５：ＹＥＳ）、仮説生成部３０は、選択した組み合わせを仮説集合に加えることなく、Ｓ１７へ処理を進める。

図５は、仮説の生成を説明する説明図である。図５に示すように、仮説生成部３０は、Ｃバーの特殊ケースになっている組み合わせ（組み合わせＣ０５、Ｃ０６）は省略し、Ｃバーの組み合わせＣ０４ａを仮説集合として残すようにする。

特殊ケースになっていない場合（Ｓ１５：ＮＯ）、仮説生成部３０は、選択した組み合わせを仮説集合データ２３の仮説集合に加える（Ｓ１６）。次いで、仮説生成部３０は、Ｓ１２で列挙した全ての組み合わせを選択済みであるか否かを判定する（Ｓ１７）。未選択の組み合わせがある場合（Ｓ１７：ＮＯ）、仮説生成部３０はＳ１３へ処理を戻す。

このＳ１３～Ｓ１７の処理を繰り返すことで、仮説生成部３０は、訓練データ２１の目的変数に応じた予測となることを正しく説明している可能性のある仮説をもれなく仮説集合に列挙する。

図６は、仮説の生成を説明する説明図であり、具体的には図４、５の内容をカルノー図例で説明する図である。

図６に示すように、仮説生成部３０は、Ａ（残り３説明変数は「使用しない＝＊」）の組み合わせ（Ｓ３１）、Ａバー（残り３説明変数は「使用しない＝＊」）の組み合わせ（Ｓ３２）…の順に組み合わせを変更して有効な組み合わせを検討する（Ｓ３１～Ｓ３５…）。

ここで、Ｓ３３の（Ｃバー）の組み合わせでは、目的変数が＋である訓練データ（Ｐ_１、Ｐ_３、Ｐ_４）が該当する。すなわち、Ｓ３３では、＋のクラスに分類される訓練データ（Ｐ_１、Ｐ_３、Ｐ_４）の数または割合が所定の値以上である。よって、Ｓ３３の（Ｃバー）の組み合わせを＋のクラスに分類する有効な組み合わせ（仮説）と判定する。なお、以下の処理では、（Ｃバー）にリテラルを加える組み合わせは除外する。

次いで、仮説生成部３０は、３説明変数を「使用しない＝＊」とする全ての組み合わせの検討後に、２説明変数を「使用しない＝＊」とする組み合わせの検討を開始する（Ｓ３４）。ここで、Ｓ３５の（ＡバーＢ）の組み合わせでは、目的変数が＋である訓練データ（Ｐ_１、Ｐ_２）が該当する。すなわち、Ｓ３５では、＋のクラスに分類される訓練データ（Ｐ_１、Ｐ_２）の数または割合が所定の値以上である。よって、Ｓ３５の（ＡバーＢ）の組み合わせを＋のクラスに分類する有効な組み合わせ（仮説）と判定する。

図７は、生成された仮説の一例を示す説明図である。図７に示すように、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）からは、分類結果が＋または－となる仮説Ｈ１～Ｈ１１の仮説が生成され、仮説集合データ２３として記憶部２０に格納される。

この仮説Ｈ１～Ｈ１１のそれぞれは、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の分類結果が＋または－となることについて正しく説明していることを要件とする独立した仮説である。よって、仮説Ｈ２と、仮説Ｈ６のように、相互には矛盾した仮説が含まれる場合がある。

また、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に含まれていない入力データ（ＩＮ_１、ＩＮ_２、ＩＮ_３）については、仮説Ｈ１～Ｈ１１の中で適合する仮説から予測結果を得ることができる。

図８は、入力データ（ＩＮ_１、ＩＮ_２、ＩＮ_３）に適合する仮説を説明する説明図である。図８に示すように、入力データＩＮ_１については、仮説Ｈ２のＣＤバー⇒－、仮説Ｈ６のＢＤバー⇒＋、仮説Ｈ８のＡバーＢ⇒＋が適合する仮説である。また、入力データＩＮ_２については、仮説Ｈ４のＢバーＤ⇒＋、仮説Ｈ５のＢバーＣ⇒－、仮説Ｈ７のＡバーＤ⇒＋、仮説Ｈ９のＡバーＢバー⇒－が適合する仮説である。また、入力データＩＮ_３については、仮説Ｈ１のＣバー⇒＋、仮説Ｈ７のＡバーＤ⇒＋、仮説Ｈ８のＡバーＢ⇒＋が適合する仮説である。

図２に戻り、未選択の組み合わせがない場合（Ｓ１７：ＹＥＳ）、学習部４０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）それぞれに対する、仮説集合データ２３の仮説集合に含まれる各仮説（Ｈ１～Ｈ１１）の成立有無に基づき、各仮説（Ｈ１～Ｈ１１）の重みを算出する（Ｓ１８）。次いで、学習部４０は、算出結果を重みデータ２４として記憶部２０に格納する。

学習部４０における重み算出は、例えば次の３つの手法のいずれであってもよい。
・どのルール（Ｈ１～Ｈ１１）も重み１（ルールの数による多数決）とする。
・ルール（Ｈ１～Ｈ１１）を支持（該当）する訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の数に応じた重みとする。
・訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）を適用したロジスティック回帰による重み付けを行う。

図９は、ロジスティック回帰による重み付けを説明する説明図である。ロジスティック回帰では、図９に示すように、モデル式に訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）適用し、仮説Ｈ１～Ｈ１１に関する重み（β_１～β_１１）を求める。

ここで、学習部４０は、ロジスティック回帰などで得られた各仮説（Ｈ１～Ｈ１１）の重みに応じて、仮説の選別を行ってもよい。

図１０は、仮説の選別を説明する説明図である。図１０に示すように、学習部４０は、仮説Ｈ１～Ｈ１１の重み（β_１～β_１１）をもとに、重みが所定値以上であり、予測結果に大きな影響を与える主要な仮説を選別する。図示例では、０ではい重みを有する、Ｃバー、ＣＤバー、ＢバーＤバー、ＡバーＢ、ＡＣの５つの仮説Ｈ１～３、Ｈ８、Ｈ１１を主要な仮説として選別している。

図２に戻り、予測時（Ｓ２）の動作について説明する。Ｓ２が開始されると、入力部１０は、予測対象の入力データ２２を受け付けて記憶部２０に格納する（Ｓ２１）。

次いで、予測部５０は、入力データ２２の性質を説明する説明変数をもとに、仮説集合データ２３による仮説集合の中から入力データ２２に適合する仮説を特定する（Ｓ２２）。次いで、予測部５０は、重みデータ２４を参照し、適合する仮説の重みをもとに、予測の確度を示す予測スコアを求める。次いで、予測部５０は、入力データ２２に適合する仮説に対応付けられた予測結果、予測スコア、および、入力データ２２に適合する仮説などを結果データ２５として記憶部２０に格納する。次いで、出力部６０は、結果データ２５を参照することで、入力データ２２の予測結果と予測に関連する仮説を示す情報（予測スコア、入力データ２２に適合する仮説）をディスプレイやファイルなどに出力する（Ｓ２３）。

図１１は、入力データ（ＩＮ_１、ＩＮ_２、ＩＮ_３）に適合する仮説を説明する説明図である。

図１１に示すように、入力データＩＮ_１については、仮説Ｈ２のＣＤバー⇒－０．０４、仮説Ｈ８のＡバーＢ⇒＋０．５０が適合する仮説である。したがって、重み０．５０を持つ仮説Ｈ８の「ＡバーＢ⇒＋」により、正例と推定される。ただし、仮説Ｈ２の「ＣＤバー⇒－」（重み０．０４）もあることから、仮説Ｈ２が正しかった場合に、この点が負例である可能性も残っていることを示唆している。

また、入力データＩＮ_２については、主要な仮説が存在しない。すなわち、訓練データ２１のセットは、入力データＩＮ_２に関する推定を行うには十分ではない。

また、入力データＩＮ_３については、仮説Ｈ１のＣバー⇒＋１．４６、仮説Ｈ８のＡバーＢ⇒＋０．５０が適合する仮説である。したがって、重み１．４６を持つ仮説Ｈ１の「Ｃバー⇒＋」と、重み０．５０を持つ仮説Ｈ８の「ＡバーＢ⇒＋」により、どちらにしても正例と推定される。また、訓練データ２１のセットでは、入力データＩＮ_３が負例であると推定する根拠は観測されていない。

このように、情報処理装置１では、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）以外の点について予測の可能性や、代替の予測、代替の予測を導くルールなどを知ることができる。

図１２は、正例である確率の推定値を例示する説明図である。図１２に示すように、予測部５０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）より得られた仮説集合データ２３、重みデータ２４をもとに、各組み合わせについて正例である確率の推定値（Ｐ）を求めてもよい。具体的には、Ｌ１正規化（λ＝０．５）などの条件で、正例である確率の推定値（Ｐ：０．５を正例／負例を半々とする）を求めてもよい。

以上のように、情報処理装置１は、仮説生成部３０と、学習部４０とを有する。仮説生成部３０は、それぞれに説明変数および目的変数を有する訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）から、説明変数の組み合わせにより構成され、訓練データのいずれかを分類し、特定の条件を満たす仮説（Ｈ１～Ｈ１１）を列挙した仮説集合を生成する。学習部４０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）それぞれに対する、仮説集合に含まれる複数の仮説（Ｈ１～Ｈ１１）それぞれの成立有無に基づき、複数の仮説それぞれの重みを算出する学習を行う。

これにより、情報処理装置１は、予測対象の入力データ（ＩＮ_１、ＩＮ_２）より、予測の確度を示す予測スコア、および、予測結果に対応付けられた仮説を含む予測結果を生成する予測モデルを得ることができる。したがって、情報処理装置１は、適用フェーズ（Ｓ２）において、予測対象の入力データ（ＩＮ_１、ＩＮ_２）に対し、生成した予測モデルを適用することで、予測の確度を示す予測スコア、および、予測結果に対応付けられた仮説、すなわち予測に関する根拠を含む予測結果を示すことができる。

また、仮説集合の生成に関する特定の条件は、リテラルの数が所定の値以下である。これにより、情報処理装置１では、学習の汎化性を高めることができる。

例えば、多くの機械学習技術は、学習対象における各事象の性質がそれぞれ少数の説明変数（特徴量）で説明できることを利用している。多くの説明変数を使った説明は、訓練データ個別の状況に特化したものとなるため、学習結果の汎用性が失われる（過学習と呼ばれる状態）。一つのリテラルは、ある説明変数の値が１（肯定）または０（否定）であることに対応しているため、リテラルの数が所定の値以下である条件は、組み合わせる説明変数を所定の数以下に制限することになり、学習の汎化性を高める効果がある。

また、仮説集合の生成に関する特定の条件は、仮説により分類される訓練データの数または割合が所定の値以上である。これにより、情報処理装置１では、訓練データに含まれるノイズに対して頑健に仮説を生成できる。

例えば、訓練データにはノイズ（説明変数または目的変数の値に誤りを含むもの）が含まれることがある。ノイズを考慮しない場合には、一つ以上の訓練データを含みその全てが正例または負例となるような分類を仮説とすることができる。

これに対し、一定数のノイズがあることを仮定する場合、ただ一つの訓練データから導かれる仮説は、ノイズによる無意味な仮説かもしれない。ただし、一定数以上の訓練データがあれば、それがノイズばかりである可能性は低いため、そこから導かれる仮説は信頼できると考えられる。また、本来のルールに対応している複数の訓練データがあっても、ノイズがあると１００％の分類とはならず、仮説を見落としてしまう可能性がある。このような事態を避けるために、ある説明変数の組み合わせにおいて、分類される訓練データの数または割合が所定の値以上であれば仮説として許容してもよい。

また、仮説生成部３０は、説明変数の組み合わせの中から特定の条件が成立する組み合わせのみを仮説として列挙する。例えば、特定の条件を満たさない組み合わせも全て仮説として列挙しておき、次の段階において、不要な仮説の重みを０とするように処理する場合と比較すると、不要な仮説を列挙の段階で除去し、特定の条件が成立する組み合わせのみを仮説として列挙することで処理効率を改善することができる。また、処理効率が改善するだけでなく、学習結果、列挙した仮説（仮説集合）を人間が直接理解しやすくもなる。

また、仮説生成部３０は、説明変数の組み合わせの中から特定の条件が成立する組み合わせのうち、リテラルの数が極小となる組み合わせのみを仮説として列挙する。例えば、ある仮説が成立する場合、その仮説に新たなリテラルを付加して作られるものも（既に正例または負例で満たされた空間をさらに分割していることになるため）仮説の条件を満たす可能性が高い。そして、新たなリテラルを付加して作られた仮説は、同じ訓練データを同じような形で説明するものであり、リテラルを付加する前の仮説に対して意味が冗長なものとなる。したがって、リテラル数が極小の組み合わせは、最もカバー範囲が広く、範囲を代表する仮説として使用できる。また、人間が理解するためにも有用である。

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

情報処理装置１で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、情報処理装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータ（ハードウエア）の一例を説明する。図１３は、実施形態にかかる情報処理装置１のハードウエア構成例を説明する説明図である。

図１３に示すように、情報処理装置１は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３と、スピーカ１０４とを有する。また、情報処理装置１は、記憶媒体からプログラム等を読み取る媒体読取装置１０５と、各種装置と接続するためのインタフェース装置１０６と、有線または無線により外部機器と通信接続するための通信装置１０７とを有する。また、情報処理装置１は、各種情報を一時記憶するＲＡＭ１０８と、ハードディスク装置１０９とを有する。また、情報処理装置１内の各部（１０１～１０９）は、バス１１０に接続される。

ハードディスク装置１０９には、上記の実施形態で説明した各種の処理を実行するためのプログラム１１１が記憶される。また、ハードディスク装置１０９には、プログラム１１１が参照する各種データ１１２（例えば訓練データ２１、入力データ２２、仮説集合データ２３、重みデータ２４および結果データ２５）が記憶される。入力装置１０２は、例えば、情報処理装置１の操作者から操作情報の入力を受け付ける。モニタ１０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置１０６は、例えば印刷装置等が接続される。通信装置１０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。

ＣＰＵ１０１は、ハードディスク装置１０９に記憶されたプログラム１１１を読み出して、ＲＡＭ１０８に展開して実行することで、入力部１０、仮説生成部３０、学習部４０、予測部５０および出力部６０に関する各種の処理を行う。なお、プログラム１１１は、ハードディスク装置１０９に記憶されていなくてもよい。例えば、情報処理装置１が読み取り可能な記憶媒体に記憶されたプログラム１１１を、情報処理装置１が読み出して実行するようにしてもよい。情報処理装置１が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム１１１を記憶させておき、情報処理装置１がこれらからプログラムを読み出して実行するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合を生成し、
前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、前記複数の仮説それぞれの重みを算出する学習を行う、
処理をコンピュータに実行させることを特徴とする学習プログラム。

（付記２）前記特定の条件は、リテラルの数が所定の値以下である、
ことを特徴とする付記１に記載の学習プログラム。

（付記３）前記特定の条件は、前記仮説により分類される訓練データの数または割合が所定の値以上である、
ことを特徴とする付記１または２に記載の学習プログラム。

（付記４）前記生成する処理は、前記説明変数の組み合わせの中から前記特定の条件が成立する組み合わせのみを前記仮説として列挙する、
ことを特徴とする付記１乃至３のいずれか一に記載の学習プログラム。

（付記５）前記生成する処理は、前記説明変数の組み合わせの中から前記特定の条件が成立する組み合わせのうち、リテラルの数が極小となる組み合わせのみを前記仮説として列挙する、
ことを特徴とする付記１乃至４のいずれか一に記載の学習プログラム。

（付記６）予測対象の入力データを受け付け、
それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データの予測結果を生成する処理をコンピュータに実行させ、
前記予測結果は、予測の確度を示す予測スコア、および、当該予測結果に対応付けられた仮説を含む、
ことを特徴とする予測プログラム。

（付記７）それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合を生成し、
前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、前記複数の仮説それぞれの重みを算出する学習を行う、
処理をコンピュータが実行することを特徴とする学習方法。

（付記８）前記特定の条件は、リテラルの数が所定の値以下である、
ことを特徴とする付記７に記載の学習方法。

（付記９）前記特定の条件は、前記仮説により分類される訓練データの数または割合が所定の値以上である、
ことを特徴とする付記７または８に記載の学習方法。

（付記１０）前記生成する処理は、前記説明変数の組み合わせの中から前記特定の条件が成立する組み合わせのみを前記仮説として列挙する、
ことを特徴とする付記７乃至９のいずれか一に記載の学習方法。

（付記１１）前記生成する処理は、前記説明変数の組み合わせの中から前記特定の条件が成立する組み合わせのうち、リテラルの数が極小となる組み合わせのみを前記仮説として列挙する、
ことを特徴とする付記７乃至１０のいずれか一に記載の学習方法。

（付記１２）予測対象の入力データを受け付け、
それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データの予測結果を生成する処理をコンピュータが実行し、
前記予測結果は、予測の確度を示す予測スコア、および、当該予測結果に対応付けられた仮説を含む、
ことを特徴とする予測方法。

（付記１３）それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合を生成する生成部と、
前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、前記複数の仮説それぞれの重みを算出する学習を行う学習部と、
を有することを特徴とする学習装置。

（付記１４）前記特定の条件は、リテラルの数が所定の値以下である、
ことを特徴とする付記１３に記載の学習装置。

（付記１５）前記特定の条件は、前記仮説により分類される訓練データの数または割合が所定の値以上である、
ことを特徴とする付記１３または１４に記載の学習装置。

（付記１６）前記生成部は、前記説明変数の組み合わせの中から前記特定の条件が成立する組み合わせのみを前記仮説として列挙する、
ことを特徴とする付記１３乃至１５のいずれか一に記載の学習装置。

（付記１７）前記生成部は、前記説明変数の組み合わせの中から前記特定の条件が成立する組み合わせのうち、リテラルの数が極小となる組み合わせのみを前記仮説として列挙する、
ことを特徴とする付記１３乃至１６のいずれか一に記載の学習装置。

（付記１８）予測対象の入力データを受け付ける入力部と、
それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データの予測結果を生成する予測部と、を有し、
前記予測結果は、予測の確度を示す予測スコア、および、当該予測結果に対応付けられた仮説を含む、
ことを特徴とする予測装置。

１…情報処理装置
１０…入力部
２０…記憶部
２１…訓練データ
２２…入力データ
２３…仮説集合データ
２４…重みデータ
２５…結果データ
３０…仮説生成部
４０…学習部
５０…予測部
６０…出力部
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…スピーカ
１０５…媒体読取装置
１０６…インタフェース装置
１０７…通信装置
１０８…ＲＡＭ
１０９…ハードディスク装置
１１０…バス
１１１…プログラム
１１２…各種データ
Ｃ０１～Ｃ０９…組み合わせ
Ｈ１～Ｈ１１…仮説
ＩＮ_１～ＩＮ_３…入力データ
Ｐ_１～Ｐ_４…訓練データ
Ｎ_１～Ｎ_３…訓練データ
Ｒ_１、Ｒ_２…ルール
Ｔ_１、Ｔ_２…決定木

Claims (9)

1. それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、リテラルの数が所定の値以下である条件を満たす仮説を列挙した仮説集合を生成し、
   前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、前記複数の仮説それぞれの重みを算出する学習を行う、
   処理をコンピュータに実行させることを特徴とする学習プログラム。
2. 前記条件は、前記仮説により分類される訓練データの数または割合が所定の値以上を含む、
   ことを特徴とする請求項１に記載の学習プログラム。
3. 前記生成する処理は、前記説明変数の組み合わせの中から前記条件が成立する組み合わせのみを前記仮説として列挙する、
   ことを特徴とする請求項１または２に記載の学習プログラム。
4. 前記生成する処理は、前記説明変数の組み合わせの中から前記条件が成立する組み合わせのうち、リテラルの数が極小となる組み合わせのみを前記仮説として列挙する、
   ことを特徴とする請求項１乃至３のいずれか一項に記載の学習プログラム。
5. 予測対象の入力データを受け付け、
   それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、リテラルの数が所定の値以下である条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データの予測結果を生成する処理をコンピュータに実行させ、
   前記予測結果は、予測の確度を示す予測スコア、および、当該予測結果に対応付けられた仮説を含む、
   ことを特徴とする予測プログラム。
6. それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、リテラルの数が所定の値以下である条件を満たす仮説を列挙した仮説集合を生成し、
   前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、前記複数の仮説それぞれの重みを算出する学習を行う、
   処理をコンピュータが実行することを特徴とする学習方法。
7. 予測対象の入力データを受け付け、
   それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、リテラルの数が所定の値以下である条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データの予測結果を生成する処理をコンピュータが実行し、
   前記予測結果は、予測の確度を示す予測スコア、および、当該予測結果に対応付けられた仮説を含む、
   ことを特徴とする予測方法。
8. それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、リテラルの数が所定の値以下である条件を満たす仮説を列挙した仮説集合を生成する生成部と、
   前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、前記複数の仮説それぞれの重みを算出する学習を行う学習部と、
   を有することを特徴とする学習装置。
9. 予測対象の入力データを受け付ける入力部と、
   それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、リテラルの数が所定の値以下である条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データの予測結果を生成する予測部と、を有し、
   前記予測結果は、予測の確度を示す予測スコア、および、当該予測結果に対応付けられた仮説を含む、
   ことを特徴とする予測装置。

Images