JP7136217B2 - 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム - Google Patents

決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム Download PDF

Info

Publication number
JP7136217B2
JP7136217B2 JP2020547594A JP2020547594A JP7136217B2 JP 7136217 B2 JP7136217 B2 JP 7136217B2 JP 2020547594 A JP2020547594 A JP 2020547594A JP 2020547594 A JP2020547594 A JP 2020547594A JP 7136217 B2 JP7136217 B2 JP 7136217B2
Authority
JP
Japan
Prior art keywords
decision list
rule
rules
decision
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020547594A
Other languages
English (en)
Other versions
JPWO2020059136A1 (ja
Inventor
穣 岡嶋
邦彦 定政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020059136A1 publication Critical patent/JPWO2020059136A1/ja
Application granted granted Critical
Publication of JP7136217B2 publication Critical patent/JP7136217B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)

Description

本発明は、決定リストを学習する決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラムに関する。
機械学習の分野において、単純な条件を複数組み合わせるルールベースのモデルは、解釈が容易であるという利点がある。
決定リスト（decision list）は、ルールベースのモデルの一つである。決定リストは、条件と予測から構成されるルールが、順序付きで並べられたリストである。用例が与えられたとき、予測器は、このリストを順にたどり、用例が条件に適合する最初のルールを採用し、そのルールの予測を出力する。
非特許文献１には、決定リストを最適化する方法の一例が記載されている。非特許文献１に記載された方法では、マルコフ連鎖モンテカルロ法を用いて決定リストを最適化する。
Letham, Benjamin, Rudin, Cynthia, McCormick, Tyler H., and Madigan, David, "Interpretable classifiers using rules and Bayesian analysis: Building a better stroke prediction model", Annals of Applied Statistics, 9(3), pp.1350?1371, 2015.
決定リストは、解釈性が高いという利点がある一方で、最適化が難しいという欠点がある。線形モデルやニューラルネットワークのような連続的なパラメータを持つモデルであれば、その最適化は連続最適化問題になる。そのため、微分により勾配を計算して勾配降下法を利用するなど、連続最適化の手法が容易に適用できる。しかし、決定リストは、連続的なパラメータを持たず、ルールの適用順序だけで予測が決まるため、この最適化は離散最適化問題となる。そのため、パラメータで微分することができず、最適化が難しい。
非特許文献１に記載されている方法は、予測精度が改善されるまで決定リストをランダムに変更する方法であり、好ましい決定リストが偶然得られるまで長い時間をかけて様々なリストを試す必要がある。そのため、非特許文献１に記載された方法は、予測精度が高い決定リストが得られるまでに、非常に長い時間がかかってしまうため非効率的であり、現実的な計算時間で予測精度が高い決定リストを導出することは困難である。
そこで、本発明は、予測精度を高めつつ実用的な時間で決定リストを構築できる決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラムを提供すること目的とする。
本発明による決定リスト学習装置は、決定リストを学習する決定リスト学習装置であって、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力部と、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成部と、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新する学習部とを備えたことを特徴とする。
本発明による決定リスト学習方法は、決定リストを学習する決定リスト学習方法であって、コンピュータが、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付け、コンピュータが、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当て、コンピュータが、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新することを特徴とする。
本発明による決定リスト学習プログラムは、決定リストを学習するコンピュータに適用される決定リスト学習プログラムであって、コンピュータに、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力処理、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成処理、および、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新する学習処理を実行させることを特徴とする。
本発明によれば、予測精度を高めつつ実用的な時間で決定リストを構築できる。
本発明による決定リスト学習装置の第一の実施形態の構成例を示すブロック図である。 ルールセットの例を示す説明図である。 確率的決定リストの例を示す説明図である。 重み付線形和を導出する処理の例を示す説明図である。 予測値を算出する処理の例を示すフローチャートである。 学習結果の例を示す説明図である。 決定リストを生成する処理の例を示す説明図である。 第一の実施形態の決定リスト学習装置の動作例を示すフローチャートである。 第一の実施形態の決定リスト学習装置の変形例を示すブロック図である。 ルールを抽出する処理の例を示す説明図である。 本発明による決定リスト学習装置の第二の実施形態の構成例を示すブロック図である。 確率的決定リストの例を示す説明図である。 本発明の情報処理システムの構成例を示すブロック図である。 本発明による決定リスト学習装置の概要を示すブロック図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
以下、本発明の実施形態を図面を参照して説明する。本発明では、ｘを観測データとし、正解ｙを予測する問題を考える。以下では、ｙが任意の連続値である回帰問題について説明するが、クラスへの所属確率をｙとして用いることで、分類問題にも適用可能である。
実施形態１．
図１は、本発明による決定リスト学習装置の第一の実施形態の構成例を示すブロック図である。本実施形態の決定リスト学習装置１００は、リスト上での位置に基づいてルールの適用順序が決まる決定リストを学習する装置である。決定リスト学習装置１００は、入力部１０と、確率的決定リスト生成部２０と、確率的決定リスト学習部３０と、離散化部４０と、出力部５０とを備えている。
入力部１０は、最適化の対象とするルールセットを受け付ける。ルールセットは、観測データに関する条件と、その観測データが条件を満たす場合の予測とを含むルールの集合である。ルールセットに含まれる各ルールには、インデックスが付与されていてもよい。この場合、各ルールがインデックスに従って順に並べられていてもよい。また、入力部１０は、観測データと正解とのペアである訓練データの集合を受け付ける。
本実施形態では、ルールセットが事前に構築されていると仮定する。また、各ルールには、０で始まるインデックスが割り当てられており、インデックスｊで特定されるルールをｒｊと記す。また、このルールの予測（予測値）をｙ＾ｊ、または、ｙｊの上付き＾で記す。
図２は、ルールセットの例を示す説明図である。図２に示す例では、ルールに観測データｘ＝［ｘ０，ｘ１］Ｔに関する条件が含まれる。本実施形態で用いられるルールには、例えば、訓練データに頻出パターンマイニングを適用することで自動獲得されたルールや、人間が手作業で作成したルールを用いることが可能である。
また、ルールの条件は、観測データが与えられた場合に真偽が判定できるものであれば特に限定されない。ルールの条件に、例えば、複数の条件をＡＮＤで結合した複合条件が含まれていてもよい。また、非特許文献１に記載されているような、頻出パターンマイニングで抽出されたルールが用いられてもよい。さらに、Ｒａｎｄｏｍ Ｆｏｒｅｓｔのような決定木アンサンブルにより抽出されるルールが用いられてもよい。決定木アンサンブルによりルールを抽出する方法は、後述される。
確率的決定リスト生成部２０は、ルールとそのルールが出現する度合いを示す出現度とを対応付けたリストを生成する。この出現度は、決定リストにおける特定の位置にルールが出現する度合いを示す値である。本実施形態の確率的決定リスト生成部２０は、受け付けたルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てたリストを生成する。
以下の説明では、出現度を、ルールが決定リスト上に出現する確率（以下、出現確率と記す。）として扱う。そこで、生成されるリストを、以下、確率的決定リストと記す。
確率的決定リスト生成部２０が決定リスト上の複数の位置にルールを割り当てる方法は任意である。ただし、後述する確率的決定リスト学習部３０が、決定リスト上のルールの順序を適切に決定できるようにするため、各ルールの前後関係を網羅するようにルールを割り当てることが好ましい。確率的決定リスト生成部２０は、例えば、第一のルールと第二のルールとを割り当てる際に、第一のルールの後に第二のルールを割り当てるとともに、第二のルールの後に第一のルールを割り当てるようにすることが好ましい。なお、確率的決定リスト生成部２０がルールを割り当てる数は、各ルールで一致していてもよいし、異なっていてもよい。
また、確率的決定リスト生成部２０は、ルールセットＲに含まれる全てのルールをインデックスに従って並べた長さ｜Ｒ｜のリストを、δ回複製して連結することにより、長さδ｜Ｒ｜の確率的決定リストを生成してもよい。このように、同一のルールセットを複製して確率的決定リストを生成することで、後述する確率的決定リスト学習部３０による学習処理を効率化できる。
上述する例の場合、ルールｒｊは、リスト中に計δ回出現し、その出現位置は、以下に例示する式１で表される。
π（ｊ，ｄ）＝ｄ＊｜Ｒ｜＋ｊ （ｄ∈［０，δ－１］） （式１）
確率的決定リスト生成部２０は、ルールｒｊが位置π（ｊ，ｄ）に出現する確率ｐπ（ｊ，ｄ）、を、出現度として、以下の式２に例示する温度つきソフトマックス関数を用いて計算してもよい。式２において、τは温度パラメータであり、ｗｊ，ｄは、ルールｒｊがリスト内の位置π（ｊ，ｄ）に出現する度合いを表わすパラメータである。
Figure 0007136217000001
このように、確率的決定リスト生成部２０は、式２に例示するソフトマックス関数で定義される出現確率つきで、決定リスト上の複数の位置に各ルールを割り当てた確率的決定リストを生成してもよい。
ここで、式２において、ｄ＝δの場合のパラメータ（つまり、ｗｊ，ｄ）は、ルールｒｊがリスト内に出現しない度合いを表すパラメータである。すなわち、確率的決定リスト生成部２０は、決定リストに含まれ得る候補のルールセット（リスト内ルールセットと記すこともある。）と、決定リストに含まれない候補のルールセット（リスト外ルールセットと記すこともある。）とを含む確率的決定リストを生成する。
また、上記式２において、パラメータｗｊ，ｄは、［－∞，∞］の範囲の任意の実数である。ただし、ソフトマックス関数によって、確率ｐｊ，ｄは、合計１に正規化される。すなわち、各ルールについて、リスト内のδ個の位置での出現確率、及び、リストに出現しない確率を合計すると１になる。
式２において、温度τが０に近づくと、ソフトマックス関数の出力はｏｎｅ－ｈｏｔベクトルに近づく。すなわち、あるルールは、いずれか１つの位置のみ確率が１になり、他の位置では確率が０になる。
以下の説明では、割り当てた複数のルールの中から一つのルールを決定する範囲をグループと記す。本実施形態では、同一のルールを纏めたものを一つのグループとする。そのため、確率的決定リスト生成部２０は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定していると言える。言い換えると、本実施形態の確率的決定リスト生成部２０は、複数の位置に割り当てられる同一のルールの出現度の合計が１になるように出現度を決定する。
図３は、確率的決定リストを生成する処理の例を示す説明図である。図３（ａ）に示す例では、入力部１０が５つのルールを含むルールセットＲ１を受け付け、ルールセットＲ１から３つの複製されたルールセットを含む確率的決定リストを生成したとする（δ＝２）。この場合、先頭の２つのルールセットがリスト内ルールセットＲ２に対応し、残りの１つのルールセットがリスト外ルールセットＲ３に対応する。
また、図３（ａ）に示す例では、リスト内ルールセットＲ２に含まれる各ルールの出現度が０．３に設定され、リスト外ルールセットＲ３に含まれる各ルールの出現度が０．４に設定されている。ただし、設定される出現度は、リスト内ルールセットＲ２やリスト外ルールセットＲ３で同一である必要はなく、任意の出現度を設定することが可能である。なお、本実施形態では、同一のグループに所属するルールの出現度の合計が１になるように決定される。
例えば、３つのルール０を含むグループに着目すると、図３に例示するルール０の出現度の合計は、０．３＋０．３＋０．４＝１．０に設定されている。他のルールについても同様である。
また、確率的決定リスト生成部２０は、図３（ｂ）に示すように、受け付けたルールセットＲ１の中から、ランダムにルールを選択して確率的決定リスト（リスト内ルールセットＲ４およびリスト外ルールセットＲ５）を生成してもよい。ただし、上述するように、規則的にルールが並んでいる方が、計算の観点（より詳しくは、行列計算の観点）から、より好ましい。
確率的決定リスト学習部３０は、受け付けた訓練データに含まれる観測データが条件を満たすルールの予測を、そのルールに対応付けられた出現度に基づいて統合する。以下、統合された予測のことを統合予測と記す。そして、確率的決定リスト学習部３０は、統合予測と正解との差を小さくするように、出現度を決定するパラメータを更新して、確率的決定リストを学習する。上記式２の例では、確率的決定リスト学習部３０は、パラメータｗｊ，ｄを更新して確率的決定リストを学習する。
具体的には、まず、確率的決定リスト学習部３０は、受け付けた観測データが満たす条件を含むルールを抽出する。次に、確率的決定リスト学習部３０は、抽出したルールを順に並べたときに、観測データが条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するように、ルールの重みを算出する。そして、確率的決定リスト学習部３０は、算出した重みを用いてルールの予測を統合したものを統合予測とする。
例えば、あるルールの出現度が確率ｐで表されるとき、確率的決定リスト学習部３０は、その後続のルールの出現度に対して（１－ｐ）の累積積を乗じてルールの重みを算出し、算出された重みを各予測に乗じて加算した重み付線形和を統合予測としてもよい。例えば、確率的決定リストがルールセットＲの複製で生成されている場合、統合予測ｙ＾は、以下に例示する式３で表される。
Figure 0007136217000002
式３において、λ（ｉ）＝ｉ％｜Ｒ｜は、位置ｉに対応するルールを示すインデックスである。また、１ｉ（ｘ）は、位置ｉに対応するルールの条件を入力ｘが満たす場合に１、満たさない場合に０になる関数である。
図４は、重み付線形和を導出する処理の例を示す説明図である。図３に例示する確率的決定リストが生成された状況で、ルール１とルール３の条件を満たす観測データが受け付けられたとする。この場合、確率的決定リスト学習部３０は、受け付けた観測データが満たす条件を含むルール１およびルール３を抽出する（ルールリストＲ６）。
次に、確率的決定リスト学習部３０は、確率的決定リストの上から順に、各ルールの確率ｐに、その前のルールの確率ｐを１から減じた値（１－ｐ）を乗じることで重みを算出する。図４に示す例では、一行目のルール１の確率が０．３の場合、確率的決定リスト学習部３０は、二行目のルール３の重みを、ルール３の確率０．３に、一行目のルール１の確率を１から減じた値（１－０．３）を乗じることで、重み（０．２１）を算出する。
同様に、確率的決定リスト学習部３０は、三行目のルール１の重みを、ルール１の確率０．３に、一行目のルール１の確率を１から減じた値（１－０．３）、および、二行目のルール３の確率を１から減じた値（１－０．３）を乗じることで、重み（０．１４７）を算出する。また、確率的決定リスト学習部３０は、四行目のルール３の重みを、ルール３の確率０．３に、一行目のルール１の確率を１から減じた値（１－０．３）、二行目のルール３の確率を１から減じた値（１－０．３）、および、三行目のルール１の確率を１から減じた値（１－０．３）を乗じることで、重み（０．１０２９）を算出する（算出結果Ｒ７）。
なお、上述するように、リスト外ルールセットは、決定リストに含まれない候補のルールセットであるため、確率的決定リスト学習部３０は、リスト外ルールセットに含まれるルールの出現度を重みの算出処理には用いない。
確率的決定リスト学習部３０は、算出した重みを各予測の係数として加算した重み付線形和を予測値として算出する。図４に示す例では、一行目のルール１による予測１、二行目のルール３による予測３、三行目のルール１による予測１、および、四行目のルール３による予測３に、それぞれ、重み、０．３、０．２１、０．１４７および０．１０２９を乗じて加算することで、重み付線形和Ｆ１を算出する。
なお、受け付けた観測データが満たす条件を含むルールが存在しない場合を考慮し、デフォルトの予測値が設けられていてもよい。この場合、統合予測ｙ＾は、以下に例示する式４で表されてもよい。式４において、ｙ＾ｄｅｆは、デフォルトの予測値である。ｙ＾ｄｅｆとして、例えば、訓練データに含まれるすべてのｙの平均値が用いられてもよい。
Figure 0007136217000003
図５は、予測値ｙ＾を算出する処理の例を示すフローチャートである。確率的決定リスト学習部３０は、まず、初期値として、ｙ＾およびｓにそれぞれ０を設定し、ｑｉに１を設定する（ステップＳ１１）。次に、確率的決定リスト学習部３０は、ｉ＝０からδ｜Ｒ｜－１まで、以下に示すステップＳ１２からステップＳ１３の処理を繰り返す。
入力ｘがルールｒｊの条件を満たす場合（ステップＳ１２におけるＹｅｓ）、確率的決定リスト学習部３０は、ｙ＾にｑｉｐｉｙ＾ｊを加算し、ｓにｑｉｐｉを加算し、ｑｉに（１－ｐｉ）を乗じる（ステップＳ１３）。一方、入力ｘがルールｒｊの条件を満たさない場合（ステップＳ１２におけるＮｏ）、ステップＳ１３の処理は行われない。そして、確率的決定リスト学習部３０は、予測値ｙ＾に、（１－ｓ）ｙ＾ｄｅｆを加算し（ステップＳ１４）、加算した値を予測値ｙ＾とする。
図５に例示する処理の結果、当たらないルールは下層に追いやられ、当たるルールは上層に浮かび上がるように学習されることになる。また、図５に例示するフローチャートのアルゴリズムは、以下のように解釈できる。上記の式４に示すように、予測値ｙ＾は、入力ｘが条件を満たすような全てのルールの予測値と、デフォルト予測値の重み付き平均である。そして、ある位置ｉでのルールの出現確率ｐｉは、後続のルールの予測値全てにペナルティとして作用する。すなわち、ｐｉの値が大きいほど、後続のルールの予測値の重みは小さくなる。
例えば、ｐｉ＝１のとき、後続するルールの予測値の重みは全て０になる。特に、上記の式２において、τが０に限りなく近づくとき、各ルールはいずれかの位置においてのみ確率１で存在する。すなわち、全ての位置ｉにおいて、ｐｉは、０か１のいずれかの値をとる。このとき、ｐｉ＝１であり、かつ、入力ｘが条件を満たす最初のルールの予測値が、最終的な予測値になる。
つまり、確率的決定リストは、ｐｉ＝１になるルールのみが存在するとみなした通常の離散的な決定リストに収束することを意味する。このことから、これまで説明してきた確率的決定リストは、通常の離散的な決定リストに近似すると言える。
すなわち、確率的決定リスト学習部３０が、観測データが条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するように、ルールの重みを算出することで、そのルール以降に存在するルールを使わないようにする効果が得られる。これは、確率的に分布するとみなした確率的決定リストから、最終的な決定リストを導出していると言える。
なお、確率的決定リスト学習部３０が、統合予測と正解との差を小さくするように出現度を決定するパラメータを更新する方法は任意である。例えば、観測データｘｉと、正解ｙｉのペアの集合である訓練データＤ＝｛（ｘｉ，ｙｉ）｝ｎ－１ ｉ＝０と、出現度を決定するパラメータＷを用いて、損失関数Ｌ（Ｄ；Ｗ）、誤差関数Ｅ（Ｄ；Ｗ）、正則化項Ｒ（Ｗ）を以下に例示する式５のように定義してもよい。
Ｌ（Ｄ；Ｗ）＝Ｅ（Ｄ；Ｗ）＋ｃＲ（Ｗ） （式５）
ｃは、誤差関数と正則化項のバランスをとるためのハイパーパラメータである。例えば回帰問題の場合、誤差関数Ｅ（Ｄ；Ｗ）として、以下の式６に例示する平均二乗誤差が用いられてもよい。また、例えば、分類問題の場合、誤差関数として、クロスエントロピーが用いられてもよい。すなわち、勾配の計算が可能であれば、どのような誤差関数が定義されてもよい。
Figure 0007136217000004
また、正則化項Ｒ（Ｗ）として、例えば、以下に例示する式７が用いられてもよい。式７に例示する正則化項は、全てのルールについて、リスト内に存在する確率を合計したものである。この正則化項を加えることで、リストに含まれるルールの数が少なくなるため、汎化性能を向上させることが可能になる。
Figure 0007136217000005
確率的決定リスト学習部３０は、損失関数の勾配を計算し、勾配降下法を用いて最小化する。なお、同一のルールセットを複製して確率的決定リストが生成されている場合、上記式２において、ｗｊ，ｄを、ｊ行目ｄ列目の要素とするサイズ（｜Ｒ｜，δ＋１）の行列と定義することができる。このようにパラメータを定義することで、行列演算により勾配を計算することが可能になる。
図６は、学習結果の例を示す説明図である。例えば、図３に例示する確率的決定リストに基づいて確率的決定リスト学習部３０が学習した結果、予測精度を向上させるように各ルールの出現度が最適化され、更新される。具体的には、図６に示す例では、２行目のルール１、５行目のルール４、８行目のルール２の出現度が、それぞれ０．３から０．８に更新され、適切な位置のルールの出現度が向上したことを示す。また、図６に示す例では、リスト外ルールセットにおいて、１行目のルール０と、４行目のルール０の出現度が、それぞれ０．４から０．８に更新されており、これらのルールの適用可能性が低いことを示す。
離散化部４０は、学習された確率的決定リストに基づいて、決定リストを生成する。具体的には、離散化部４０は、学習された確率的決定リストに基づいて、同一のルールの中から対応付けられた出現度が最も高いルールを選択して、決定リストを生成する。上記グループの観点では、離散化部４０は、同一グループ内で最大の出現度が対応付けられたルールの出現度を１に置換し、置換された以外のルールの出現度を０に置換することで、離散的な決定リストを生成する。これは、出現度が１に置換されたルールのみを適用することにより、確率的に分布するとみなされたルールのリストを離散的なルールのリストとみなすることを意味する。
このように、離散化部４０は、確率的な分布を示す確率的決定リストから離散的な決定リストを生成していることから、決定リスト生成部と言うことができる。また、離散化部４０は、最大確率になる位置にルールを固定する処理を行っているとも言える。
図７は、決定リストを生成する処理の例を示す説明図である。確率的決定リストとして、例えば、図６に例示する結果が得られているとする。ここで、ルール１に着目した場合、出現度の最も大きい位置は、出現度が０．８の２行目であることが分かる。そこで、離散化部４０は、ルール１については、２行目に割り当てられたルールを適用すると決定する。同様に、ルール２については、３行目に割り当てられたルールよりも、８行目に割り当てられたルールの方が出現度が高い。そこで、離散化部４０は、ルール２については、８行目に割り当てられたルールを適用すると決定する。他のルールについても同様である。
離散化部４０は、全てのグループ（ルール）について上記処理を行った結果、ルール１、ルール４、ルール２の順で決定リストＲ８を生成する。なお、リスト外ルールセットのルール０およびルール３は不要なため、離散化部４０は、ルール０およびルール３を決定リストから除外する。
出力部５０は、生成された決定リストを出力する。
入力部１０と、確率的決定リスト生成部２０と、確率的決定リスト学習部３０と、離散化部４０と、出力部５０とは、プログラム（決定リスト学習プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array ））によって実現される。
例えば、プログラムは、決定リスト学習装置１００が備える記憶部（図示せず）に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部１０、確率的決定リスト生成部２０、確率的決定リスト学習部３０、離散化部４０および出力部５０として動作してもよい。また、決定リスト学習装置１００の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
また、入力部１０と、確率的決定リスト生成部２０と、確率的決定リスト学習部３０と、離散化部４０と、出力部５０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
また、決定リスト学習装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
次に、本実施形態の決定リスト学習装置１００の動作を説明する。図８は、本実施形態の決定リスト学習装置１００の動作例を示すフローチャートである。入力部１０は、条件と予測とを含むルールの集合（ルールセット）、及び、観測データと正解のペアである訓練データを受け付ける（ステップＳ２１）。確率的決定リスト生成部２０は、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる（ステップＳ２２）。確率的決定リスト学習部３０は、観測データが条件を満たすルールの予測を、出現度に基づいて統合して、統合予測を取得し（ステップＳ２３）、統合予測と正解との差を小さくするように、出現度を決定するパラメータを更新する（ステップＳ２４）。
以降、離散化部４０は、複数の位置にルールおよび出現度が割り当てられた確率的決定リストから離散的な決定リストを生成し、出力部５０は、生成された決定リストを出力する。
以上のように、本実施形態では、入力部１０が、ルールの集合及び訓練データを受け付け、確率的決定リスト生成部２０が、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に出現度つきで割り当てる。そして、確率的決定リスト学習部３０が、観測データが条件を満たすルールの予測を、出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新する。よって、予測精度を高めつつ実用的な時間で決定リストを構築できる。
すなわち、通常の決定リストは離散的で微分不可能であるが、確率的決定リストは連続的で微分可能である。本実施形態では、確率的決定リスト生成部２０が、決定リスト上の複数の位置に各ルールを出現度つきで割り当てて確率的決定リストを生成する。生成された決定リストは、ルールが確率的に分布するとみなすことで確率的に存在する決定リストであり、勾配降下法で最適化できるため、より精度が高い決定リストを実用的な時間で構築できる。
次に、第一の実施形態の変形例を説明する。図９は、第一の実施形態の決定リスト学習装置の変形例を示すブロック図である。本変形例の決定リスト学習装置１０１は、第一の実施形態の決定リスト学習装置１００に加え、抽出部１１を備えている。
入力部１０は、ルールセットの代わりに、決定木の入力を受け付ける。抽出部１１は、受け付けた決定木から、ルールを抽出する。具体的には、抽出部１１は、決定木から複数のルールとして、根ノードから葉ノードを辿る条件と、その葉ノードが示す予測とを抽出する。
図１０は、ルールを抽出する処理の例を示す説明図である。入力部１０が、図１０に例示する決定木Ｔ１を受け付けたとする。このとき、抽出部１１は、根ノードから葉ノードを辿って、各ノードに設定された条件を結合したルールと、その葉ノードが示す予測とを抽出する。例えば、予測が「Ｂ」になる葉ノードへの条件として、抽出部１１は、「（ｘ０≦４）ＡＮＤ（ｘ１＞２）」を抽出する。抽出部１１は、他の葉ノードに対しても同様に条件および予測を抽出すればよい。
このように、抽出部１１が決定木から複数のルールを抽出することで、Ｒａｎｄｏｍ Ｆｏｒｅｓｔのような決定木アンサンブルと連携して処理を行うことが可能になる。
実施形態２．
次に、本発明による決定リスト学習装置の第二の実施形態を説明する。第一の実施形態では、確率的決定リスト生成部２０が、１つの位置に１つのルールを割り当てたリスト（確率的決定リスト）を生成する方法について説明した。本実施形態では、１つの位置に複数のルールが割り当てられたリストを用いて、決定リストを学習する方法を説明する。
図１１は、本発明による決定リスト学習装置の第二の実施形態の構成例を示すブロック図である。本実施形態の決定リスト学習装置２００は、入力部１０と、確率的決定リスト生成部２１と、確率的決定リスト学習部３０と、離散化部４０と、出力部５０とを備えている。
すなわち、本実施形態の決定リスト学習装置２００は、第一の実施形態の決定リスト学習装置１００と比較して、確率的決定リスト生成部２０の代わりに確率的決定リスト生成部２１を備えている点において異なる。それ以外の構成は、第一の実施形態と同様である。なお、決定リスト学習装置２００が、第一の実施形態の変形例で示す抽出部１１を備えていてもよい。
確率的決定リスト生成部２１は、第一の実施形態の確率的決定リスト生成部２０と同様に、ルールと出現度とを対応付けたリストを生成する。ただし、本実施形態の確率的決定リスト生成部２１は、１つの位置に複数のルールおよび出現度を割り当てた確率的決定リストを生成する。その際、確率的決定リスト生成部２１は、１つの位置に存在するルールの確率が合計１になるように正規化する。
本実施形態では、１つの位置に存在する複数のルールを一つのグループとして扱う。そのため、本実施形態の確率的決定リスト生成部２１も、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定していると言える。すなわち、確率的決定リスト生成部２１は、同一の位置に割り当てられた複数のルールの出現度の合計が１になるように出現度を決定する。
図１２は、確率的決定リストの例を示す説明図である。図１２に示す例では、１つの位置に５つのルール（ルール０～４）および出現度を割り当てた確率的決定リストを示す。また、図１２に示す例では、各行がそれぞれ１つのグループに対応し、出現度の合計が１．０になっていることを示す。
本実施形態の確率的決定リスト学習部３０も、受け付けた訓練データに含まれる観測データが条件を満たすルールの予測を、そのルールに対応付けられた出現度に基づいて統合する。具体的には、確率的決定リスト学習部３０は、観測データが条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するように、ルールの重みを算出する。
本実施形態では、確率的決定リスト学習部３０は、１つの位置で入力データｘに該当するルールの出現度の合計を確率ｑとし、その後続のルールの出現度に対して（１－ｑ）の累積積を乗じてルールの重みを算出する。このように算出された重みを各予測に乗じて加算した重み付線形和を統合予測としてもよい。
例えば、図１２に例示する確率的決定リストが生成された状況で、ルール１とルール３の条件を満たす観測データが受け付けられたとする。この場合、確率的決定リスト学習部３０は、受け付けた観測データが満たす条件を含むルール１およびルール３を抽出する。
次に、確率的決定リスト学習部３０は、各位置で該当するルールの出現度の合計を算出し、それを確率ｑとする。確率的決定リスト学習部３０は、各ルールの確率ｐに、その前のルールの確率ｑを１から減じた値（１－ｑ）を乗じることで重みを算出する。
図１２に示す例では、一行目のルール１とルール３の確率の合計が０．２＋０．２＝０．４になる。そこで、確率的決定リスト学習部３０は、二行目のルール１の確率０．１に、一行目のルールの確率の合計を１から減じた値（１－０．４）を乗じることで、重み（０．０６）を算出する。同様に、確率的決定リスト学習部３０は、二行目のルール３の確率０．１に、一行目のルールの確率の合計を１から減じた値（１－０．４）を乗じることで、重み（０．０６）を算出する。以下の行についても同様である。
そして、確率的決定リスト学習部３０は、算出した重みを各予測の係数として加算した重み付線形和を予測値として算出する。
以降、第一の実施形態と同様に、確率的決定リスト学習部３０は、統合予測と正解との差を小さくするように出現度を決定するパラメータを更新する。本実施形態においても、例えば、上記式２におけるτ→０になる極限で、第一の実施形態と同様に、確率的決定リストは、通常の決定リストに収束することになる。
以上のように、本実施形態では、確率的決定リスト生成部２１が、１つの位置に複数のルールおよび出現度を割り当てた確率的決定リストを生成し、確率的決定リスト学習部３０が、統合予測と正解との差を小さくするように出現度を決定するパラメータを更新する。そのような構成によっても、予測精度を高めつつ実用的な時間で決定リストを構築できる。
実施形態３．
次に、本発明で生成される決定リストの適用例を説明する。一般的に、決定リストは、上から順に入力ｘに対する条件がチェックされ、１番目に該当するルールが選択される。本実施形態では、選択するルールを拡張し、該当するルールが発見された場合でも、後続の条件でさらに該当するルールを選択して処理を行う方法を説明する。
図１３は、本発明の情報処理システム３００の構成例を示すブロック図である。図１３に例示する情報処理システム３００は、決定リスト学習装置１００と、予測器３１０とを備えている。なお、決定リスト学習装置１００の代わりに、決定リスト学習装置１０１や決定リスト学習装置２００が用いられてもよい。また、予測器３１０が、決定リスト学習装置１００と一体になって構成されていてもよい。
予測器３１０は、決定リスト学習装置１００が学習した決定リストを取得する。そして、予測器３１０は、予め定めた件数の条件に該当するまで、決定リストを上から順にチェックし、決定リストから入力ｘに該当する条件を含むルールを、予め定めた件数取得する。なお、予め定めた件数に該当する条件が存在しない場合、予測器３１０は、条件に該当する全てのルールを決定リストから取得すればよい。
そして、予測器３１０は、取得した全てのルールを用いて予測を行う。予測器３１０は、例えば、取得したルールの予測の平均を、最終的な予測として決定してもよい。また、決定リストの各ルールに重みが設定されている場合、予測器３１０は、各ルールの重みに従って予測を算出してもよい。
決定リストから条件に該当する１つのルールを取得し、そのルールに基づいて予測を行う方法は、通常の決定リストを用いた方法に一致する。この場合、解釈性の高い予測を行うことが可能になる。一方、複数のルールの予測を用いて、多数決的に予測を行う方法は、予測の精度をより向上させることが可能になる。
すなわち、決定リストから選択されるルールの数をｋとした場合、ｋ＝１で通常の決定リストを利用する方法に一致する。また、ｋ＝∞で、複数のルールを考慮して処理が行われることからＲａｎｄｏｍ Ｆｏｒｅｓｔを利用する方法に一致すると言える。このように、上位からｋ件のルールを選択して行われる処理を、トップｋ決定リスト（Ｔｏｐ－ｋ ｄｅｃｉｓｉｏｎ ｌｉｓｔｓ）と呼ぶことができる。
また、ｋの値（すなわち、選択するルールの数）は、ユーザが予め指定することが可能である。上述するように、ｋ＝１の場合には、より解釈性の高い予測を行うことができ、ｋを大きくするほど、予測の精度を向上させることができる。すなわち、ユーザは、解釈性と予測精度のトレードオフを自由に選択することが可能になる。
次に、本発明の概要を説明する。図１４は、本発明による決定リスト学習装置の概要を示すブロック図である。本発明による決定リスト学習装置８０は、決定リストを学習する決定リスト学習装置（例えば、決定リスト学習装置１００，１０１，２０１）であって、条件と予測とを含むルールの集合、及び、観測データと正解のペア（例えば、訓練データ）を受け付ける入力部８１（例えば、入力部１０）と、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる（例えば、確率的決定リストを生成する）確率的決定リスト生成部８２（例えば、確率的決定リスト生成部２０）と、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測（例えば、重み付線形和）と、正解との差を小さくするように、出現度を決定するパラメータを更新する学習部８３（例えば、確率的決定リスト学習部３０）とを備えている。
そのような構成により、予測精度を高めつつ実用的な時間で決定リストを構築できる。
また、学習部８３は、観測データが条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するようにルールの重みを算出し、その重みを用いてルールの予測を統合したものを統合予測としてもよい。このように、条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するように、ルールの重みを算出することで、そのルール以降に存在するルールを使わないようにする効果が得られる。
また、確率的決定リスト生成部８２は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定してもよい。
具体的には、確率的決定リスト生成部８２は、複数の位置に割り当てられた同一のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定してもよい。
もしくは、確率的決定リスト生成部８２は、同一の位置に割り当てられた複数のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定してもよい。
また、決定リスト学習装置８０は、同一グループ内で最大の出現度を１に置換し、置換された以外の出現度を０に置換することで、離散的なリストを決定リストとして生成する離散化部（例えば、離散化部４０）を備えていてもよい。
また、決定リスト学習装置８０は、決定木からルールを抽出する抽出部（例えば、抽出部１１）を備えていてもよい。そして、入力部８１は、決定木の入力を受け付け、抽出部は、受け付けた決定木から、根ノードから葉ノードを辿る条件とその葉ノードが示す予測とをルールとして抽出してもよい。そのような構成によれば、決定木から複数のルールを抽出することが可能になる。
また、確率的決定リスト生成部８２は、ルールの集合に含まれるすべてのルールを複数回複製して連結することにより、各ルールを決定リスト上の複数の位置に出現度つきで割り当ててもよい。そのような構成によれば、パラメータを行列で定義することができるため、行列演算により勾配を計算することが可能になる。
また、学習部８３は、出現度に応じて減少させたルールの重みをそのルールの予測にそれぞれ乗じて総和とした重み付線形和を統合予測としてもよい。
図１５は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。
上述の決定リスト学習装置８０は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（決定リスト学習プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）決定リストを学習する決定リスト学習装置であって、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力部と、前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成部と、前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習部とを備えたことを特徴とする決定リスト学習装置。
（付記２）学習部は、観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出し、当該重みを用いて前記ルールの予測を統合したものを統合予測とする付記１記載の決定リスト学習装置。
（付記３）確率的決定リスト生成部は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定する付記１または付記２記載の決定リスト学習装置。
（付記４）確率的決定リスト生成部は、複数の位置に割り当てられた同一のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する付記１から付記３のうちのいずれか１つに記載の決定リスト学習装置。
（付記５）確率的決定リスト生成部は、同一の位置に割り当てられた複数のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する付記１から付記３のうちのいずれか１つに記載の決定リスト学習装置。
（付記６）同一グループ内で最大の出現度を１に置換し、置換された以外の出現度を０に置換することで、離散的なリストを決定リストとして生成する離散化部を備えた付記３から付記５のうちのいずれか１つに記載の決定リスト学習装置。
（付記７）決定木からルールを抽出する抽出部を備え、入力部は、決定木の入力を受け付け、前記抽出部は、受け付けた決定木から、根ノードから葉ノードを辿る条件と当該葉ノードが示す予測とをルールとして抽出する付記１から付記６のうちのいずれか１つに記載の決定リスト学習装置。
（付記８）確率的決定リスト生成部は、ルールの集合に含まれるすべてのルールを複数回複製して連結することにより、各ルールを決定リスト上の複数の位置に出現度つきで割り当てる付記１から付記７のうちのいずれか１つに記載の決定リスト学習装置。
（付記９）学習部は、出現度に応じて減少させたルールの重みを当該ルールの予測にそれぞれ乗じて総和とした重み付線形和を統合予測とする付記２記載の決定リスト学習装置。
（付記１０）決定リストを学習する決定リスト学習方法であって、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付け、前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当て、前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新することを特徴とする決定リスト学習方法。
（付記１１）観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出し、当該重みを用いて前記ルールの予測を統合したものを統合予測とする付記１０記載の決定リスト学習方法。
（付記１２）決定リストを学習するコンピュータに適用される決定リスト学習プログラムであって、前記コンピュータに、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力処理、前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成処理、および、前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習処理を実行させるための決定リスト学習プログラム。
（付記１３）コンピュータに、学習処理で、観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出させ、当該重みを用いて前記ルールの予測を統合したものを統合予測とさせる付記１２記載の決定リスト学習プログラム。
１０ 入力部
１１ 抽出部
２０，２１ 確率的決定リスト生成部
３０ 確率的決定リスト学習部
４０ 離散化部
５０ 出力部
１００，１０１，２００ 決定リスト学習装置
３００ 情報処理システム
３１０ 予測器

Claims (10)

  1. 決定リストを学習する決定リスト学習装置であって、
    条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力部と、
    前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成部と、
    前記観測データが条件を満たす前記ルールの予測を前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習部とを備えた
    ことを特徴とする決定リスト学習装置。
  2. 学習部は、観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出し、当該重みを用いて前記ルールの予測を統合したものを統合予測とする
    請求項１記載の決定リスト学習装置。
  3. 確率的決定リスト生成部は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定する
    請求項１または請求項２記載の決定リスト学習装置。
  4. 確率的決定リスト生成部は、複数の位置に割り当てられた同一のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する
    請求項１から請求項３のうちのいずれか１項に記載の決定リスト学習装置。
  5. 確率的決定リスト生成部は、同一の位置に割り当てられた複数のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する
    請求項１から請求項３のうちのいずれか１項に記載の決定リスト学習装置。
  6. 同一グループ内で最大の出現度を１に置換し、置換された以外の出現度を０に置換することで、離散的なリストを決定リストとして生成する離散化部を備えた
    請求項３から請求項５のうちのいずれか１項に記載の決定リスト学習装置。
  7. 決定木からルールを抽出する抽出部を備え、
    入力部は、決定木の入力を受け付け、
    前記抽出部は、受け付けた決定木から、根ノードから葉ノードを辿る条件と当該葉ノードが示す予測とをルールとして抽出する
    請求項１から請求項６のうちのいずれか１項に記載の決定リスト学習装置。
  8. 確率的決定リスト生成部は、ルールの集合に含まれるすべてのルールを複数回複製して連結することにより、各ルールを決定リスト上の複数の位置に出現度つきで割り当てる
    請求項１から請求項７のうちのいずれか１項に記載の決定リスト学習装置。
  9. 決定リストを学習する決定リスト学習方法であって、
    コンピュータが、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付け、
    前記コンピュータが、前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当て、
    前記コンピュータが、前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する
    ことを特徴とする決定リスト学習方法。
  10. 決定リストを学習するコンピュータに適用される決定リスト学習プログラムであって、
    前記コンピュータに、
    条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力処理、
    前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成処理、および、
    前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習処理
    を実行させるための決定リスト学習プログラム。
JP2020547594A 2018-09-21 2018-09-21 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム Active JP7136217B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/035162 WO2020059136A1 (ja) 2018-09-21 2018-09-21 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム

Publications (2)

Publication Number Publication Date
JPWO2020059136A1 JPWO2020059136A1 (ja) 2021-08-30
JP7136217B2 true JP7136217B2 (ja) 2022-09-13

Family

ID=69886846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547594A Active JP7136217B2 (ja) 2018-09-21 2018-09-21 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム

Country Status (3)

Country Link
US (1) US20210350260A1 (ja)
JP (1) JP7136217B2 (ja)
WO (1) WO2020059136A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022259309A1 (ja) * 2021-06-07 2022-12-15
WO2024029261A1 (ja) * 2022-08-04 2024-02-08 日本電気株式会社 情報処理装置、予測装置、機械学習方法、および学習プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168460A1 (ja) 2016-03-29 2017-10-05 日本電気株式会社 情報処理システム、情報処理方法および情報処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2630235B2 (ja) * 1993-12-20 1997-07-16 日本電気株式会社 連続値決定リストを用いた学習装置
JP3209163B2 (ja) * 1997-09-19 2001-09-17 日本電気株式会社 分類装置
US20090018918A1 (en) * 2004-11-04 2009-01-15 Manyworlds Inc. Influence-based Social Network Advertising
CN102308533B (zh) * 2010-06-28 2013-10-09 华为技术有限公司 对报文进行分类的方法及装置
US8756171B2 (en) * 2011-06-15 2014-06-17 International Business Machines Corporation Generating predictions from a probabilistic process model
US8688603B1 (en) * 2011-11-14 2014-04-01 Amazon Technologies, Inc. System and method for identifying and correcting marginal false positives in machine learning models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168460A1 (ja) 2016-03-29 2017-10-05 日本電気株式会社 情報処理システム、情報処理方法および情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白木伸征 ほか，「複数決定リストの順次適用による文節まとめあげ」，自然言語処理，第7巻, 第4号，日本，言語処理学会，2000年10月10日，pp. 229-246，ISSN 1340-7619

Also Published As

Publication number Publication date
JPWO2020059136A1 (ja) 2021-08-30
WO2020059136A1 (ja) 2020-03-26
US20210350260A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
Jiang et al. Holt–Winters smoothing enhanced by fruit fly optimization algorithm to forecast monthly electricity consumption
Rajendran et al. MapReduce-based big data classification model using feature subset selection and hyperparameter tuned deep belief network
CA3088899C (en) Systems and methods for preparing data for use by machine learning algorithms
Setiono et al. Extraction of rules from artificial neural networks for nonlinear regression
Wauters et al. A comparative study of Artificial Intelligence methods for project duration forecasting
Merigó et al. Group decision making with expertons and uncertain generalized probabilistic weighted aggregation operators
Guo et al. Fuzzy time series forecasting based on axiomatic fuzzy set theory
JP7271216B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7136217B2 (ja) 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム
JP7051724B2 (ja) 計算機システム及び対象に関する目的を達成するために有用な情報の提示方法
JP7481902B2 (ja) 管理計算機、管理プログラム、及び管理方法
CA3119351C (en) Extending finite rank deep kernel learning to forecasting over long time horizons
Solgi et al. Pre-processing data using wavelet transform and PCA based on support vector regression and gene expression programming for river flow simulation
Güler Dincer A new fuzzy time series model based on fuzzy C-regression model
CN115409168A (zh) 神经网络优化方法及其装置
Mori et al. Inference in hybrid Bayesian networks with large discrete and continuous domains
Bandeira et al. Comparison of selection and combination strategies for demand forecasting methods
US20210192361A1 (en) Intelligent data object generation and assignment using artificial intelligence techniques
de Lima e Silva et al. A new granular approach for multivariate forecasting
JP7287490B2 (ja) 学習装置、学習方法、及び、プログラム
Edali et al. Automated analysis of regularities between model parameters and output using support vector regression in conjunction with decision trees
CN110717537B (zh) 训练用户分类模型、执行用户分类预测的方法及装置
JP7196933B2 (ja) 学習装置および学習方法
Povkhan et al. The issue of efficient generation of generalized features in algorithmic classification tree methods
KR20220101868A (ko) 동적 딥 뉴럴 네트워크 학습 방법 및 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7136217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151