JP7259596B2 - 予測プログラム、予測方法および予測装置 - Google Patents

Description

本発明の実施形態は、予測プログラム、予測方法および予測装置に関する。

従来、離散データの非線形分類に用いられる技術として、教師つきの訓練データによってデータを分類するために用いる分類ルール、すなわち決定木を機械学習し、学習した決定木を用いて入力データの分類結果を予測する技術がある。

L. Breiman, Machine Learning, vol.45, pp. 5-32 (2001)

入力データに対する予測については、分類ルールを用いて、最適なアクション（例えば、製造工程において次に行う工程の制御をどうするか、マーケティング対象の顧客に対して次に行うべき働きかけをどうするか等）を特定（予測）することが目的の１つとして挙げられる。

しかしながら、予測のための分類ルールは複数生成される場合がある。このため、上記の従来技術では、最適なアクションを予測する際に、複数の分類ルールそれぞれに基づくアクションをすべて試行することとなり、処理コストの増大を招くという問題がある。

１つの側面では、入力データに対する予測を効率的に行うことを可能とする予測プログラム、予測方法および予測装置を提供することを目的とする。

１つの案では、予測プログラムは、受け付ける処理と、生成する処理とをコンピュータに実行させる。受け付ける処理は、予測対象の入力データを受け付ける。生成する処理は、それぞれに説明変数および目的変数を有する訓練データから、説明変数の組み合わせにより構成され、訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、訓練データそれぞれに対する、仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、複数の仮説それぞれの重みを用いて、入力データを用いた予測結果を生成する。また、生成する処理は、学習の結果生成され、説明変数に対応する変数を含み、特定の条件を満たす確度の算出に用いられる疑似ブール関数により算出される、入力データを用いた予測結果が特定の条件を満たす確度が所定の基準を満たすように疑似ブール関数に含まれる変数の値を決定する。

１つの側面では、入力データに対する予測を効率的に行うことができる。

図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。 図２は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。 図３は、訓練データの一例を示す説明図である。 図４は、仮説の生成を説明する説明図である。 図５は、仮説の生成を説明する説明図である。 図６は、仮説の生成を説明する説明図である。 図７は、生成された仮説の一例を示す説明図である。 図８は、入力データに適合する仮説を説明する説明図である。 図９は、ロジスティック回帰による重み付けを説明する説明図である。 図１０は、仮説の選別を説明する説明図である。 図１１は、擬似ブール関数を利用する予測処理を例示するフローチャートである。 図１２は、ｆｉｎｄＭａｘ関数のアルゴリズムを例示する説明図である。 図１３は、変数の値割り当ての一例を説明する説明図である。 図１４は、変数の値割り当ての一例を説明する説明図である。 図１５は、予測処理の適用例を説明する説明図である。 図１６は、実施形態にかかる情報処理装置のハードウエア構成例を説明する説明図である。

以下、図面を参照して、実施形態にかかる予測プログラム、予測方法および予測装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する予測プログラム、予測方法および予測装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。

図１に示すように、情報処理装置１は、入力部１０、記憶部２０、仮説生成部３０、学習部４０、予測部５０および出力部６０を有する。

入力部１０は、機械学習に関する訓練データ２１や、予測対象となる入力データ２２などの各種データの入力を受け付ける処理部である。入力部１０は、入力を受け付けた訓練データ２１や入力データ２２を記憶部２０に格納する。

記憶部２０は、例えば訓練データ２１、入力データ２２、仮説集合データ２３、重みデータ２４および結果データ２５などの各種データを記憶する。

仮説生成部３０は、それぞれに説明変数および目的変数を有する訓練データ２１から、説明変数の組み合わせにより構成される仮説（目的変数に応じた予測となることを説明するルール（根拠））を網羅的に探索する。

次いで、仮説生成部３０は、探索した仮説それぞれについて、訓練データ２１の説明変数および目的変数をもとに、訓練データ２１のいずれかを分類し、特定の条件を満たす仮説を特定する。ここで、特定の条件とは、仮説（説明変数の組み合わせ）が示すルールによって所定のクラスに分類される訓練データ２１の数または割合が所定の値以上であることなどである。例えば、仮説生成部３０は、探索した仮説について、その仮説により分類される訓練データ２１の数または割合が所定の値以上であり、仮説による分類結果があるクラスに属することを一定以上のサンプル数かつ（または）一定以上のサンプル割合で説明しているものを特定する。つまり、仮説生成部３０は、訓練データ２１の目的変数に応じた予測となることを正しく説明している可能性のある仮説を特定する。

次いで、仮説生成部３０は、特定した仮説を仮説集合に加える。このようにして、仮説生成部３０は、訓練データ２１の目的変数に応じた予測となることを正しく説明している可能性のある仮説を仮説集合に列挙する。次いで、仮説生成部３０は、仮説を列挙した仮説集合を示す仮説集合データ２３を記憶部２０に格納する。

学習部４０は、訓練データ２１それぞれに対する、仮説集合データ２３の仮説集合に含まれる複数の仮説それぞれの成立有無に基づき、複数の仮説それぞれの重みを算出する学習を行う。学習部４０は、学習結果により得られた複数の仮説それぞれの重みを重みデータ２４として記憶部２０に格納する。このようにして得られた仮説集合データ２３および重みデータ２４が、予測結果を得るための予測モデルである。

予測部５０は、仮説集合データ２３による仮説集合と、重みデータ２４による複数の仮説の重み、すなわち予測モデルを用いて、予測対象である入力データ２２に基づき予測結果を生成する処理部である。予測部５０は、生成した予測結果を結果データ２５として記憶部２０に格納する。

入力データ２２には、例えば既知のアクション（説明変数の一部）と、目標とするラベル（目的変数）とが含まれる。予測部５０は、未知のアクション（残りの説明変数）について、予測モデルを用いて、既知のアクションを行ったうえで目標とするラベルとなるような最適な説明変数の値、すなわち最適なアクションを予測する。

例えば、製造工程において、良品を製造するために次に行う工程の制御をどうするかを予測する場合、入力データ２２に含まれる既知のアクションには、製造工程における観測値や制御の設定値などがある。また、目標とするラベルには、製造工程で製造される製品が良品であることを示すものがある。これにより、予測部５０は、良品を製造するために次に行う工程の制御（未知のアクション）をどうするかを予測することができる。

また、例えば、マーケティングが成功するために顧客に対して次に行うべき働きかけをどうするかを予測する場合、入力データ２２に含まれる既知のアクションには、マーケティングにおけるユーザへの応対内容などがある。また、目標とするラベルには、マーケティングが成功することを示すものがある。これにより、予測部５０は、マーケティングが成功するために顧客に対して次に行うべき働きかけ（未知のアクション）をどうするかを予測することができる。

具体的には、予測部５０は、仮説集合データ２３による仮説集合の各仮説と、重みデータ２４が示す各仮説における重みによる予測モデルをもとに、入力データ２２に含まれる値（説明変数の一部および目的変数）を適用して最適なアクション（未知の説明変数の値）を予測する。

ここで、予測モデルについては、特定の条件（ラベル）となる確度（予測スコア）を求めるスコア関数が疑似ブール関数（Pseudo-Boolean function）で表現される。予測部５０は、スコア関数が疑似ブール関数で表現されることを用いて、入力データ２２に含まれる条件を満たす確度が目的変数に対応する所定の基準を満たす（目的変数に対応するラベルとなる等）ように疑似ブール関数に含まれる変数（未知の変数）を決定する。

疑似ブール関数であることを利用すると、等価な状態の判別が可能、下界と上界の計算が容易、疑似ブール関数に関する既存技術（Endre Boros and Peter L. Hammer, “Pseudo-Boolean optimization”, Discrete Applied Mathematics, Vol. 123, Issues 1-3, pp. 155-225, 2002.）を応用できるなどの利点がある。したがって、予測スコア（以下、スコアと表記する場合もある）が疑似ブール関数で表現されることを利用することで、すべてのアクションを一つずつ試行する場合よりも効率的に予測を行うことができる。

出力部６０は、記憶部２０に格納された結果データ２５を読み出し、ディスプレイやファイルなどに出力する処理部である。これにより、情報処理装置１は、予測部５０が予測した予測結果をディスプレイやファイルなどに出力する。

このように、情報処理装置１は、学習装置および予測装置の一例である。なお、本実施形態では学習および予測を一つの情報処理装置１で統合して行う構成を例示するが、学習および予測については、別々の情報処理装置１で実現してもよい。

次に、情報処理装置１の動作例を示しながら、上記の各機能部の処理を詳細に説明する。図２は、実施形態にかかる情報処理装置１の動作例を示すフローチャートである。

図２に示すように、情報処理装置１の動作は、予測モデルを生成する学習時の動作（Ｓ１）と、生成した予測モデルを予測対象の入力データ２２に適用して予測結果を得る予測時の動作（Ｓ２）とがある。まず、学習時の動作（Ｓ１）について説明する。

図２に示すように、処理が開始されると、入力部１０は、訓練データ２１の入力を受け付け（Ｓ１１）、記憶部２０に格納する。

図３は、訓練データの一例を示す説明図である。訓練データ２１は、複数の事例ごとの教師付きデータであり、データの性質を説明するＡ～Ｄの説明変数と、＋または－への分類結果（正解情報）である目的変数とを含む。

図３に示すように、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）は、データの性質を説明するＡ～Ｄの説明変数（予測に用いる情報）と、＋または－へのＣｌａｓｓ（分類）を示す正解情報である目的変数（予測したい情報）とを含む。例えば、訓練データＰ_１～Ｐ_４は、目的変数Ａ～Ｄそれぞれが０または１であり、＋に分類されるデータである。同様に、訓練データＮ_１～Ｎ_３は、目的変数Ａ～Ｄそれぞれが０または１であり、－に分類されるデータである。

例えば、製造工程の分野などにおいて、工程のデータから製造品の結果（良品／不良品）を分類する予測モデルを生成するための訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の場合、Ａ～Ｄの説明変数は工程ごとの観測値、制御値などに対応する。また、目的変数は、良品／不良品などの製造結果に対応する。

なお、説明変数（１／０）については、オーバーライン（以下、「バー」と称する）の有無で表現している。例えばＡは、Ａ＝１であり、ＡバーはＡ＝０を示す。また、目的変数（＋／－）については、網掛けで表現している。例えば、訓練データＰ_１～Ｐ_４などの網掛けは、目的変数が＋を示す。また、訓練データＮ_１～Ｎ_３などの網掛けは、目的変数が－を示す。なお、これらの表現は、他の図面でも共通であるものとする。

次いで、仮説生成部３０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に含まれる説明変数について、それぞれとり得る値（使用しない＝＊、値＝１、値＝０）の組み合わせ、すなわち仮説を網羅的に列挙する（Ｓ１２）。

なお、組み合わせる説明変数の数は、所定の数以下とするように制限（条件）を設けてもよい。例えば、Ａ～Ｄの４説明変数の場合、組み合わせる説明変数の数を２以下とする（４説明変数のうち「使用しない＝＊」とするものを少なくとも２つ組み合わせる）ように制限してもよい。これにより、組み合わせが増大することを事前に抑止できる。

次いで、仮説生成部３０は、Ｓ１２で列挙した組み合わせから所定の組み合わせを選択する（Ｓ１３）。次いで、仮説生成部３０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の説明変数および目的変数をもとに、選択した組み合わせが訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）のいずれかを分類し、特定の条件を満たす有効な組み合わせであるか否かを判定する（Ｓ１４）。

図４は、仮説の生成を説明する説明図である。図４では、Ａ～Ｄの４説明変数の全てが「＊」である組み合わせＣ０１からＣＤ（ＡＢは「＊」）である組み合わせＣ０９が一例として示されている。

図４に示すように、仮説生成部３０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の説明変数をもとに、組み合わせＣ０１～Ｃ０９それぞれの仮説（ルール）に該当する訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）を列挙する。

例えば、組み合わせＣ０２のＤバー（残り３説明変数は「使用しない＝＊」）のルールには、訓練データＰ_２、Ｎ_１、Ｎ_２が該当する。この組み合わせＣ０２のルール（Ｄバー）では、目的変数が＋である訓練データ（Ｐ_２）と、目的変数が－である訓練データ（Ｎ_１、Ｎ_２）とが混在している。したがって、組み合わせＣ０２は、あるクラスに分類することを正しく説明する仮説としての可能性が低く、有効な組み合わせとは言えない。

ここで、組み合わせＣ０４のルール（Ｃバー）には、目的変数が＋である訓練データ（Ｐ_１、Ｐ_３、Ｐ_４）が該当する。すなわち、組み合わせＣ０４は、＋のクラスに分類される訓練データ（Ｐ_１、Ｐ_３、Ｐ_４）の数または割合が所定の値以上であり、＋のクラスに分類することを正しく説明するルールとしての可能性が高い。よって、仮説生成部３０は、組み合わせＣ０４（Ｃバー）を、＋のクラスに分類する有効な組み合わせ（仮説）と判定する。同様に、仮説生成部３０は、組み合わせＣ０５、Ｃ０６についても＋のクラスに分類する有効な組み合わせ（仮説）と判定する。

また、組み合わせＣ０８のルール（ＣＤバー）には、目的変数が－である訓練データ（Ｎ_１、Ｎ_２）が該当する。すなわち、組み合わせＣ０８は、－のクラスに分類される訓練データ（Ｎ_１、Ｎ_２）の数または割合が所定の値以上であり、－のクラスに分類することを正しく説明するルールとしての可能性が高い。よって、仮説生成部３０は、組み合わせＣ０８（ＣＤバー）を、－のクラスに分類する有効な組み合わせ（仮説）と判定する。

有効な組み合わせと判定するための条件である、所定のクラスに分類される訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の数または割合は、任意に設定してもよい。例えば、訓練データにはノイズが混じる場合があることから、所定のクラス（例えば＋）とは逆のクラス（例えば－）を所定数許容するように設定してもよい。

一例として、訓練データ１つ分のノイズを許容する場合、組み合わせＣ０３（Ｄ）については、＋のクラスに分類する有効な組み合わせ（仮説）と判定される。同様に、組み合わせＣ０７（Ｃ）については、－のクラスに分類する有効な組み合わせ（仮説）と判定される。

図２に戻り、組み合わせが有効でない場合（Ｓ１４：ＮＯ）、仮説生成部３０は、選択した組み合わせを仮説集合に加えることなく、Ｓ１７へ処理を進める。

組み合わせが有効である場合（Ｓ１４：ＹＥＳ）、仮説生成部３０は、選択した組み合わせが仮説集合に含まれる他の仮説の特殊ケースになっているか否かを判定する（Ｓ１５）。

例えば、図４における組み合わせＣ０５のＣバーＤと、組み合わせＣ０６のＣバーＤバーとは、組み合わせＣ０４のＣバーに新たなリテラルを付加して作られるものである。このような組み合わせＣ０５、Ｃ０６について、仮説生成部３０は、組み合わせＣ０４のＣバーの特殊ケースになっているものと判定する。

特殊ケースになっている場合（Ｓ１５：ＹＥＳ）、仮説生成部３０は、選択した組み合わせを仮説集合に加えることなく、Ｓ１７へ処理を進める。

図５は、仮説の生成を説明する説明図である。図５に示すように、仮説生成部３０は、Ｃバーの特殊ケースになっている組み合わせ（組み合わせＣ０５、Ｃ０６）は省略し、Ｃバーの組み合わせＣ０４ａを仮説集合として残すようにする。

特殊ケースになっていない場合（Ｓ１５：ＮＯ）、仮説生成部３０は、選択した組み合わせを仮説集合データ２３の仮説集合に加える（Ｓ１６）。次いで、仮説生成部３０は、Ｓ１２で列挙した全ての組み合わせを選択済みであるか否かを判定する（Ｓ１７）。未選択の組み合わせがある場合（Ｓ１７：ＮＯ）、仮説生成部３０はＳ１３へ処理を戻す。

このＳ１３～Ｓ１７の処理を繰り返すことで、仮説生成部３０は、訓練データ２１の目的変数に応じた予測となることを正しく説明している可能性のある仮説をもれなく仮説集合に列挙する。

図６は、仮説の生成を説明する説明図であり、具体的には図４、５の内容をカルノー図例で説明する図である。

図６に示すように、仮説生成部３０は、Ａ（残り３説明変数は「使用しない＝＊」）の組み合わせ（Ｓ３１）、Ａバー（残り３説明変数は「使用しない＝＊」）の組み合わせ（Ｓ３２）…の順に組み合わせを変更して有効な組み合わせを検討する（Ｓ３１～Ｓ３５…）。

ここで、Ｓ３３の（Ｃバー）の組み合わせでは、目的変数が＋である訓練データ（Ｐ_１、Ｐ_３、Ｐ_４）が該当する。すなわち、Ｓ３３では、＋のクラスに分類される訓練データ（Ｐ_１、Ｐ_３、Ｐ_４）の数または割合が所定の値以上である。よって、Ｓ３３の（Ｃバー）の組み合わせを＋のクラスに分類する有効な組み合わせ（仮説）と判定する。なお、以下の処理では、（Ｃバー）にリテラルを加える組み合わせは除外する。

次いで、仮説生成部３０は、３説明変数を「使用しない＝＊」とする全ての組み合わせの検討後に、２説明変数を「使用しない＝＊」とする組み合わせの検討を開始する（Ｓ３４）。ここで、Ｓ３５の（ＡバーＢ）の組み合わせでは、目的変数が＋である訓練データ（Ｐ_１、Ｐ_２）が該当する。すなわち、Ｓ３５では、＋のクラスに分類される訓練データ（Ｐ_１、Ｐ_２）の数または割合が所定の値以上である。よって、Ｓ３５の（ＡバーＢ）の組み合わせを＋のクラスに分類する有効な組み合わせ（仮説）と判定する。

図７は、生成された仮説の一例を示す説明図である。図７に示すように、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）からは、分類結果が＋または－となる仮説Ｈ１～Ｈ１１の仮説が生成され、仮説集合データ２３として記憶部２０に格納される。

この仮説Ｈ１～Ｈ１１のそれぞれは、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の分類結果が＋または－となることについて正しく説明していることを要件とする独立した仮説である。よって、仮説Ｈ２と、仮説Ｈ６のように、相互には矛盾した仮説が含まれる場合がある。

また、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）に含まれていない入力データ（ＩＮ_１、ＩＮ_２、ＩＮ_３）については、仮説Ｈ１～Ｈ１１の中で適合する仮説から予測結果を得ることができる。

図８は、入力データ（ＩＮ_１、ＩＮ_２、ＩＮ_３）に適合する仮説を説明する説明図である。図８に示すように、入力データＩＮ_１については、仮説Ｈ２のＣＤバー⇒－、仮説Ｈ６のＢＤバー⇒＋、仮説Ｈ８のＡバーＢ⇒＋が適合する仮説である。また、入力データＩＮ_２については、仮説Ｈ４のＢバーＤ⇒＋、仮説Ｈ５のＢバーＣ⇒－、仮説Ｈ７のＡバーＤ⇒＋、仮説Ｈ９のＡバーＢバー⇒－が適合する仮説である。また、入力データＩＮ_３については、仮説Ｈ１のＣバー⇒＋、仮説Ｈ７のＡバーＤ⇒＋、仮説Ｈ８のＡバーＢ⇒＋が適合する仮説である。

図２に戻り、未選択の組み合わせがない場合（Ｓ１７：ＹＥＳ）、学習部４０は、訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）それぞれに対する、仮説集合データ２３の仮説集合に含まれる各仮説（Ｈ１～Ｈ１１）の成立有無に基づき、各仮説（Ｈ１～Ｈ１１）の重みを算出する（Ｓ１８）。次いで、学習部４０は、算出結果を重みデータ２４として記憶部２０に格納する。

学習部４０における重み算出は、例えば次の３つの手法のいずれであってもよい。
・どのルール（Ｈ１～Ｈ１１）も重み１（ルールの数による多数決）とする。
・ルール（Ｈ１～Ｈ１１）を支持（該当）する訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）の数に応じた重みとする。
・訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）を適用したロジスティック回帰による重み付けを行う。

図９は、ロジスティック回帰による重み付けを説明する説明図である。ロジスティック回帰では、図９に示すように、モデル式に訓練データ（Ｐ_１～Ｐ_４、Ｎ_１～Ｎ_３）適用し、仮説Ｈ１～Ｈ１１に関する重み（β_１～β_１１）を求める。このモデル式は、予測スコアを求めるスコア関数に相当し、疑似ブール関数で表現される。

ここで、学習部４０は、ロジスティック回帰などで得られた各仮説（Ｈ１～Ｈ１１）の重みに応じて、仮説の選別を行ってもよい。

図１０は、仮説の選別を説明する説明図である。図１０に示すように、学習部４０は、仮説Ｈ１～Ｈ１１の重み（β_１～β_１１）をもとに、重みが所定値以上であり、予測結果に大きな影響を与える主要な仮説を選別する。図示例では、０ではい重みを有する、Ｃバー、ＣＤバー、ＢバーＤバー、ＡバーＢ、ＡＣの５つの仮説Ｈ１～３、Ｈ８、Ｈ１１を主要な仮説として選別している。

図２に戻り、予測時（Ｓ２）の動作について説明する。Ｓ２が開始されると、入力部１０は、予測対象の入力データ２２を受け付けて記憶部２０に格納する（Ｓ２１）。次いで、予測部５０は、仮説集合データ２３による仮説集合と、重みデータ２４による各仮説の重みとによる予測モデルのスコア関数が擬似ブール関数であることを利用して、入力データ２２をもとに予測処理を実行する（Ｓ２２）。予測部５０は、予測処理の予測結果を示す結果データ２５を記憶部２０に格納する。次いで、出力部６０は、結果データ２５を参照することで、入力データ２２に対する予測結果をディスプレイやファイルなどに出力する（Ｓ２３）。

ここで、予測部５０における予測処理の詳細を説明する。図１１は、疑似ブール関数を利用する予測処理を例示するフローチャートである。なお、図１１に示すフローチャートでは、上述したＳ１に対応する処理（Ｓ４１、Ｓ４２）が含まれており、予測部５０が行う予測処理はＳ４３～Ｓ４７が相当する。

図１１に示すように、処理が開始されると、仮説生成部３０は、訓練データ２１からスコア関数における積項（重要な仮説）を列挙し、仮説集合を求める（Ｓ４１）。次いで、学習部４０は、良品／不良品などの判定精度の高い予測モデルになるように、スコア関数（疑似ブール関数）の重み、すなわち仮説集合に含まれる各仮説の重みを計算する（Ｓ４２）。

次いで、予測部５０は、入力データ２２より予測対象の説明変数において既知となっている観測値（既知のアクション）を収集する（Ｓ４３）。次いで、予測部５０は、入力データ２２において目標とするラベルのスコアを求める予測モデルのスコア関数に、コントロール不可能な変数の現在値を代入する（Ｓ４４）。具体的には、予測部５０は、予測対象の説明変数の中で既知となっている観測値の値（現在値）をスコア関数に代入する。

次いで、予測部５０は、スコア関数における予測スコアを最適化するように、残りの変数（説明変数の中で未知の変数）の値割り当てを決定する（Ｓ４５）。具体的には、予測部５０は、残りの各変数について予測スコアを最大化する変数値の割り当て（組み合わせ）を探索するｆｉｎｄＭａｘ関数を用いて変数の割り当てを決定する。

図１２は、ｆｉｎｄＭａｘ関数のアルゴリズムを例示する説明図である。予測部５０は、図１２に示すようなアルゴリズムのｆｉｎｄＭａｘ関数を用いて、ｆｉｎｄＭａｘ（スコア関数，－∞）を実行することで、予測スコアを最大化する残りの各変数の割り当てを探索する。

次いで、予測部５０は、変数の値割り当てに従ってアクションを実行し（Ｓ４６）、所定の終了条件を満たすか否かを判定する（Ｓ４７）。終了条件を満たさない場合（Ｓ４７：Ｎｏ）、予測部５０はＳ４３へ処理を戻す。終了条件を満たす場合（Ｓ４７：Ｙｅｓ）、予測部５０は、処理を終了する。

図１２、図１３は、変数の値割り当ての一例を説明する説明図である。なお、図１２は、変数Ａ、Ｐ、Ｑ、Ｒ、Ｓの中で、変数Ａは既知となっている観測値であり、変数Ｐ、Ｑ、Ｒ、Ｓが未知であるものとする。図１３は、変数Ｐ、Ｑ、Ｒ、Ｓが未知であり、かつ、変数Ｒは制御されない項目に対応する変数であるものとする。

未知の説明変数（Ｐ、Ｑ、Ｒ、Ｓ）については、入力データ２２において、製造工程における工程順などに対応する順序（例えばＰ→Ｑ→Ｒ→Ｓ）や、制御される項目（コントロール可能）または制御されない項目（コントロール不可能）が予め設定されているものとする。なお、制御されない項目については、例えば、製造工程において人により設定される制御値などがある。また、制御されない項目については、工程の状態として観測された観測値などがある。

図１２に示すように、変数Ａ、Ｐ、Ｑ、Ｒ、Ｓと、各変数の重みと、によるスコア関数はＳ１０１のとおりであるものとする。ここで、予測部５０は、変数Ａは既知となっている観測値（Ａ＝１）であるので、コントロール不可能の変数Ａの観測値をスコア関数に代入する（Ｓ１０２）。これにより、スコア関数はＳ１０３のとおりとなる。

次いで、予測部５０は、設定順（Ｐ→Ｑ→Ｒ→Ｓ）に従って変数を設定し、予測スコアを最大化するように、変数値の割り当てを決定する。

例えば、予測部５０は、Ｐ＝０をスコア関数に代入することで、Ａ＝１、Ｐ＝０の状態に関するスコア関数を得る（Ｓ１０４）。次いで、予測部５０は、Ｑ＝１をスコア関数に代入することで、Ａ＝１、Ｐ＝０、Ｑ＝１の状態に関するスコア関数を得る（Ｓ１０５）。

次いで、予測部５０は、Ｒ＝１をスコア関数に代入することで、Ａ＝１、Ｐ＝０、Ｑ＝１、Ｒ＝１の状態に関するスコア関数を得る（Ｓ１０６）。ここで、Ｓ＝０の場合は予測スコアは０であり、Ｓ＝１の場合は予測スコアは２であることが判明する。

Ｓ１０５に戻り、予測部５０は、Ｒ＝０をスコア関数に代入することで、Ａ＝１、Ｐ＝０、Ｑ＝１、Ｒ＝０の状態に関して予測スコアが５であることが判る（Ｓ１０７）。これにより、Ａ＝１、Ｐ＝０、Ｑ＝１の状態では、Ｓの値に関係なく、Ｒ＝０の状態で予測スコアが最大となることが判る。

次いで、予測部５０は、Ｓ１０４に戻り、Ｑ＝０をスコア関数に代入することで、Ａ＝１、Ｐ＝０、Ｑ＝０の状態に関するスコア関数を得る（Ｓ１０８）。ここで、予測部５０は、スコア関数の正の項から上界が１であることが判る。よって、Ａ＝１、Ｐ＝０、Ｑ＝０の状態については、Ｒ、Ｓの状態を探索することなく、Ａ＝１、Ｐ＝０、Ｑ＝１の状態よりもスコア関数が低くなることが判明する。

次いで、予測部５０は、Ｓ１０３に戻り、Ｐ＝１をスコア関数に代入することで、Ａ＝１、Ｐ＝１の状態に関するスコア関数を得る（Ｓ１０９）。次いで、予測部５０は、Ｑ＝０をスコア関数に代入することで、Ａ＝１、Ｐ＝１、Ｑ＝０の状態に関するスコア関数を得る。このスコア関数はＳ１０８と同じであるため、Ａ＝１、Ｐ＝１、Ｑ＝０の状態については、Ｒ、Ｓの状態を探索することなく、Ａ＝１、Ｐ＝０、Ｑ＝１の状態よりもスコア関数が低くなることが判明する。

次いで、予測部５０は、Ｓ１０９に戻り、Ｑ＝１をスコア関数に代入することで、Ａ＝１、Ｐ＝１、Ｑ＝１の状態に関するスコア関数を得る（Ｓ１１０）。

次いで、予測部５０は、Ｒ＝０をスコア関数に代入することで、Ａ＝１、Ｐ＝１、Ｑ＝１、Ｒ＝０の状態に関するスコア関数を得る（Ｓ１１１）。ここで、予測部５０は、スコア関数の正の項から上界が３であることが判る。よって、Ａ＝１、Ｐ＝１、Ｑ＝１、Ｒ＝０の状態については、Ｓの状態を探索することなく、Ａ＝１、Ｐ＝０、Ｑ＝１の状態よりもスコア関数が低くなることが判明する。

次いで、予測部５０は、Ｓ１１０に戻り、Ｒ＝１をスコア関数に代入することで、Ａ＝１、Ｐ＝１、Ｑ＝１、Ｒ＝１の状態に関して予測スコアが４であることが判る。

予測部５０では、上記の処理を行うことで、Ａ＝１、Ｐ＝０、Ｑ＝１、Ｒ＝０の状態（Ｓは任意）となる変数の組み合わせＲ１で予測スコアが最大となることが判る。

なお、予測部５０は、制御されない項目に対応する変数については、予測スコアを小さくすると見積もられる値に決定してもよい。これにより、制御されない項目については最悪のケースを想定した上で、他の変数の予測を行うことができる。

具体的には、図１３に示すように、予測部５０は、Ａ＝１、Ｐ＝０、Ｑ＝１の状態に関するスコア関数を得た後に（Ｓ１２１）、変数Ｑの次の変数Ｒ（制御されない項目）の値を設定して予測スコアを求める（Ｓ１２２、Ｓ１２３）。

ここで、予測部５０は、予測スコアを小さくすると見積もられる値を変数Ｒの値とする。例えば、Ｒ＝１の場合は、Ｓ＝１で予測スコアが０または２であり、Ｒ＝０の場合は、Ｓに関係なく予測スコアが５である。このため、変数Ｒは、予測スコアを小さくすると見積もられるＲ＝０とする。なお、変数Ｓについては、予測スコアを最大化するものを設定することから、Ｓ＝１となる。

同様に、予測部５０は、Ａ＝１、Ｐ＝０、Ｑ＝０の状態に関するスコア関数を得た後に（Ｓ１２４）、変数Ｑの次の変数Ｒ（制御されない項目）の値を設定して予測スコアを求める（Ｓ１２５、Ｓ１２６）。また、予測部５０は、Ａ＝１、Ｐ＝１、Ｑ＝１の状態に関するスコア関数を得た後に（Ｓ１２７）、変数Ｑの次の変数Ｒ（制御されない項目）の値を設定して予測スコアを求める（Ｓ１２８、Ｓ１２９）。

このようにして、予測部５０は、変数Ｒについては予測スコアを小さくすると見積もられる値に決定した上で、他の変数については予測スコアを最大化するようにして各変数の割り当てを探索する。これにより、予測部５０は、Ａ＝１、Ｐ＝１、Ｑ＝１、Ｒ＝０、Ｓ＝０の状態となる変数の組み合わせＲ２を得る。

なお、予測部５０は、制御されない項目に対応する変数について、予測スコアの期待値を高めるように決定してもよい。具体的には、予測部５０は、未知でかつコントロール不可能な変数を含む積項の重みを０に固定し、スコア関数の重み付けを再計算する。次いで、予測部５０は、新しいスコア関数を最大化するように、未知かつコントロール可能な変数（例えば変数Ｐ、Ｑ、Ｓ）の値を選択する。次いで、予測部５０は、次がコントロール可能な変数（例えば変数Ｐ、Ｑ）である間、順にアクションを実行する。また、予測部５０は、次がコントロール不可能な変数である間、その値が確定するのを待つ。以下、予測部５０は、上記の処理を繰り返すことで、変数の組み合わせを探索する。

図１５は、予測処理の適用例を説明する説明図である。図１５に示すように、データ収集（Ｓ２０１）では、原材料２０１から製造品２０２を製造する製造工程において、良品・不良品ができる条件、すなわち訓練データ２１を収集する。具体的には、各工程における温度（Ａ）、圧力（Ｂ）、電力（Ｃ）などのコントロール不可能な項目と、投入量（Ｐ）、回転数（Ｑ）などのコントロール可能な項目の条件が収集される。

次いで、情報処理装置１は、訓練データ２１をもとに、重要な仮説（積項）を列挙した仮説集合を生成する。そして、情報処理装置１は、全ての仮説を使って、良品または不良品を予測する予測モデルを生成する（Ｓ２０２）。

次いで、情報処理装置１は、既知のアクション（説明変数の一部）と、目標とするラベル（目的変数）とを含む入力データ２２をもとに、既知のアクションを行ったうえで目標とするラベルとなるような最適なアクションの予測（アクション導出）を行う（Ｓ２０３）。

例えば、情報処理装置１は、良品ができる場合の予測モデルに対して、予測スコアを最大化するアクションを予測することで、良品ができるアクションを導出することができる。また、情報処理装置１は、不良品ができる場合の予測モデルに対して、予測スコアを最小化するアクションを予測することで、不良品ができる仮説を改善するアクションを導出することができる。

以上のように、情報処理装置１は、入力部１０と、予測部５０とを有する。入力部１０は、予測対象の入力データ２２を受け付ける。予測部５０は、仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習部４０により学習した、複数の仮説それぞれの重みを用いて、入力データ２２を用いた予測結果を生成する。また、予測部５０は、学習の結果生成され、説明変数に対応する変数を含み、特定の条件を満たす確度の算出に用いられる疑似ブール関数により算出される、入力データ２２を用いた予測結果が特定の条件を満たす確度が所定の基準を満たすように疑似ブール関数に含まれる変数を決定する。

一般的なブラックボックスの予測モデルでは、すべてのアクションを一つずつ試して予測スコアが最大となるものを探すこととなる。これに対し、情報処理装置１では、予測スコアが擬似ブール関数で表現されることを利用している。このため、情報処理装置１では、等価な状態の判別が可能、下界と上界の計算が容易、疑似ブール関数に関する既存技術を応用できるなどの、擬似ブール関数の利点により予測を効率的に行うことができる。

また、予測部５０は、疑似ブール関数に含まれる変数の値の中の所定の変数の値に入力データ２２に含まれる値を代入した上で、疑似ブール関数に含まれる残りの変数の値を決定する。これにより、情報処理装置１では、入力データ２２において観測値が得られている項目についてはその観測値を擬似ブール関数に代入した上で、未定の項目に関する変数の値を順次求めることができる。

また、予測部５０は、疑似ブール関数に含まれる残りの変数の値について、所定の順序で値を設定して確度が最大となる変数の値の組み合わせに決定する。このように、情報処理装置１では、疑似ブール関数の変数について、順序性をもって確度が最大となる変数の値の組み合わせを探索するので、例えば上界、下界が見積もられた場合には、以降の変数の見積もりを省略することができる。

また、予測部５０は、疑似ブール関数に含まれる残りの変数の値の中の、制御されない項目に対応する変数の値について、確度を小さくすると見積もられる値に決定する。これにより、情報処理装置１では、制御されない項目については確度が小さくなるような悪化するケースを予め想定した上で、他の変数の予測を行うことができる。

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

情報処理装置１で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、情報処理装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータ（ハードウエア）の一例を説明する。図１６は、実施形態にかかる情報処理装置１のハードウエア構成例を説明する説明図である。

図１６に示すように、情報処理装置１は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３と、スピーカ１０４とを有する。また、情報処理装置１は、記憶媒体からプログラム等を読み取る媒体読取装置１０５と、各種装置と接続するためのインタフェース装置１０６と、有線または無線により外部機器と通信接続するための通信装置１０７とを有する。また、情報処理装置１は、各種情報を一時記憶するＲＡＭ１０８と、ハードディスク装置１０９とを有する。また、情報処理装置１内の各部（１０１～１０９）は、バス１１０に接続される。

ハードディスク装置１０９には、上記の実施形態で説明した各種の処理を実行するためのプログラム１１１が記憶される。また、ハードディスク装置１０９には、プログラム１１１が参照する各種データ１１２（例えば訓練データ２１、入力データ２２、仮説集合データ２３、重みデータ２４および結果データ２５）が記憶される。入力装置１０２は、例えば、情報処理装置１の操作者から操作情報の入力を受け付ける。モニタ１０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置１０６は、例えば印刷装置等が接続される。通信装置１０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。

ＣＰＵ１０１は、ハードディスク装置１０９に記憶されたプログラム１１１を読み出して、ＲＡＭ１０８に展開して実行することで、入力部１０、仮説生成部３０、学習部４０、予測部５０および出力部６０に関する各種の処理を行う。なお、プログラム１１１は、ハードディスク装置１０９に記憶されていなくてもよい。例えば、情報処理装置１が読み取り可能な記憶媒体に記憶されたプログラム１１１を、情報処理装置１が読み出して実行するようにしてもよい。情報処理装置１が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム１１１を記憶させておき、情報処理装置１がこれらからプログラムを読み出して実行するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）予測対象の入力データを受け付け、
それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データを用いた予測結果を生成する処理をコンピュータに実行させ、
前記生成する処理は、前記学習の結果生成され、前記説明変数に対応する変数を含み、前記特定の条件を満たす確度の算出に用いられる疑似ブール関数により算出される、前記入力データを用いた予測結果が前記特定の条件を満たす確度が所定の基準を満たすように前記疑似ブール関数に含まれる変数の値を決定する、
ことを特徴とする予測プログラム。

（付記２）前記生成する処理は、前記疑似ブール関数に含まれる変数の値の中の所定の変数の値に前記入力データに含まれる値を代入した上で、前記疑似ブール関数に含まれる残りの変数の値を決定する、
ことを特徴とする付記１に記載の予測プログラム。

（付記３）前記生成する処理は、前記疑似ブール関数に含まれる残りの変数の値について、所定の順序で値を設定して前記確度が最大となる組み合わせに決定する、
ことを特徴とする付記２に記載の予測プログラム。

（付記４）前記生成する処理は、前記疑似ブール関数に含まれる残りの変数の値の中の、制御されない項目に対応する変数の値について、前記確度を小さくすると見積もられる値に決定する、
ことを特徴とする付記３に記載の予測プログラム。

（付記５）予測対象の入力データを受け付け、
それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データを用いた予測結果を生成する処理をコンピュータが実行し、
前記生成する処理は、前記学習の結果生成され、前記説明変数に対応する変数を含み、前記特定の条件を満たす確度の算出に用いられる疑似ブール関数により算出される、前記入力データを用いた予測結果が前記特定の条件を満たす確度が所定の基準を満たすように前記疑似ブール関数に含まれる変数の値を決定する、
ことを特徴とする予測方法。

（付記６）前記生成する処理は、前記疑似ブール関数に含まれる変数の値の中の所定の変数の値に前記入力データに含まれる値を代入した上で、前記疑似ブール関数に含まれる残りの変数の値を決定する、
ことを特徴とする付記５に記載の予測方法。

（付記７）前記生成する処理は、前記疑似ブール関数に含まれる残りの変数の値について、所定の順序で値を設定して前記確度が最大となる組み合わせに決定する、
ことを特徴とする付記６に記載の予測方法。

（付記８）前記生成する処理は、前記疑似ブール関数に含まれる残りの変数の値の中の、制御されない項目に対応する変数の値について、前記確度を小さくすると見積もられる値に決定する、
ことを特徴とする付記７に記載の予測方法。

（付記９）予測対象の入力データを受け付ける入力部と、
それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データを用いた予測結果を生成する予測部と、を有し、
前記予測部は、前記学習の結果生成され、前記説明変数に対応する変数を含み、前記特定の条件を満たす確度の算出に用いられる疑似ブール関数により算出される、前記入力データを用いた予測結果が前記特定の条件を満たす確度が所定の基準を満たすように前記疑似ブール関数に含まれる変数の値を決定する、
ことを特徴とする予測装置。

（付記１０）前記予測部は、前記疑似ブール関数に含まれる変数の値の中の所定の変数の値に前記入力データに含まれる値を代入した上で、前記疑似ブール関数に含まれる残りの変数の値を決定する、
ことを特徴とする付記９に記載の予測装置。

（付記１１）前記予測部は、前記疑似ブール関数に含まれる残りの変数の値について、所定の順序で値を設定して前記確度が最大となる組み合わせに決定する、
ことを特徴とする付記１０に記載の予測装置。

（付記１２）前記予測部は、前記疑似ブール関数に含まれる残りの変数の値の中の、制御されない項目に対応する変数の値について、前記確度を小さくすると見積もられる値に決定する、
ことを特徴とする付記１１に記載の予測装置。

１…情報処理装置
１０…入力部
２０…記憶部
２１…訓練データ
２２…入力データ
２３…仮説集合データ
２４…重みデータ
２５…結果データ
３０…仮説生成部
４０…学習部
５０…予測部
６０…出力部
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…スピーカ
１０５…媒体読取装置
１０６…インタフェース装置
１０７…通信装置
１０８…ＲＡＭ
１０９…ハードディスク装置
１１０…バス
１１１…プログラム
１１２…各種データ
２０１…原材料
２０２…製造品
Ｃ０１～Ｃ０９、Ｒ１、Ｒ２…組み合わせ
Ｈ１～Ｈ１１…仮説

Claims (6)

1. 予測対象の入力データを受け付け、
   それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データを用いた予測結果を生成する処理をコンピュータに実行させ、
   前記生成する処理は、前記学習の結果生成され、前記説明変数に対応する変数を含み、前記特定の条件を満たす確度の算出に用いられる疑似ブール関数により算出される、前記入力データを用いた予測結果が前記特定の条件を満たす確度が所定の基準を満たすように前記疑似ブール関数に含まれる変数の値を決定する、
   ことを特徴とする予測プログラム。
2. 前記生成する処理は、前記疑似ブール関数に含まれる変数の値の中の所定の変数の値に前記入力データに含まれる値を代入した上で、前記疑似ブール関数に含まれる残りの変数の値を決定する、
   ことを特徴とする請求項１に記載の予測プログラム。
3. 前記生成する処理は、前記疑似ブール関数に含まれる残りの変数の値について、所定の順序で値を設定して前記確度が最大となる組み合わせに決定する、
   ことを特徴とする請求項２に記載の予測プログラム。
4. 前記生成する処理は、前記疑似ブール関数に含まれる残りの変数の値の中の、制御されない項目に対応する変数の値について、前記確度を小さくすると見積もられる値に決定する、
   ことを特徴とする請求項３に記載の予測プログラム。
5. 予測対象の入力データを受け付け、
   それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データを用いた予測結果を生成する処理をコンピュータが実行し、
   前記生成する処理は、前記学習の結果生成され、前記説明変数に対応する変数を含み、前記特定の条件を満たす確度の算出に用いられる疑似ブール関数により算出される、前記入力データを用いた予測結果が前記特定の条件を満たす確度が所定の基準を満たすように前記疑似ブール関数に含まれる変数の値を決定する、
   ことを特徴とする予測方法。
6. 予測対象の入力データを受け付ける入力部と、
   それぞれに説明変数および目的変数を有する訓練データから、前記説明変数の組み合わせにより構成され、前記訓練データのいずれかを分類し、特定の条件を満たす仮説を列挙した仮説集合と、前記訓練データそれぞれに対する、前記仮説集合に含まれる複数の仮説それぞれの成立有無に基づき学習した、前記複数の仮説それぞれの重みを用いて、前記入力データを用いた予測結果を生成する予測部と、を有し、
   前記予測部は、前記学習の結果生成され、前記説明変数に対応する変数を含み、前記特定の条件を満たす確度の算出に用いられる疑似ブール関数により算出される、前記入力データを用いた予測結果が前記特定の条件を満たす確度が所定の基準を満たすように前記疑似ブール関数に含まれる変数の値を決定する、
   ことを特徴とする予測装置。

Images