JP7464946B2 - 論理プログラム推定装置、論理プログラム推定方法、及びプログラム - Google Patents

Description

本発明は、与えられた正例と負例から、正例を導出できて、かつ負例を導出しないような規則の集合を見つけ出すための機械学習手法である帰納論理プログラミングに関するものである。

一階述語論理を用いて記述された規則の集合のことを論理プログラムと呼ぶ。帰納論理プログラミングとは、訓練データである正例の集合と負例の集合とが与えられたときに、全ての正例が論理的帰結とし、かついずれの負例も論理的帰結としないような規則の集合（論理プログラム）を推定する、機械学習手法の一種である。

一般の機械学習手法と比較した際の帰納論理プログラミングの最大の特徴は、推定される機械学習モデルが論理プログラムとして与えられる点にある。論理プログラムは一階述語論理で記述された論理式（確定節）の集合であるため、可読性が高く、また他の論理プログラムと組み合わせたり、人手で学習結果を修正することが容易であるという特徴がある。

Richard Evans and Edward Grefestette,"Learning Explanatory Rules from Noisy Data", Journal of Artificial Intelligence Research, Vol 61, pp 1 - 64, 2018.1

帰納論理プログラミングの欠点として、訓練データに含まれる誤りやノイズに対応できないという点が挙げられる。帰納論理プログラミングは矛盾のない論理プログラムを求める手法であるため、ノイズや誤りがあると正しく論理プログラムを推定することができない。

非特許文献１に開示された∂ＩＬＰは、このような帰納論理プログラミングの欠点を克服するために考案された機械学習手法である。帰納論理プログラミングにおいて訓練例から論理プログラムを推定する代わりに、∂ＩＬＰでは損失関数の値を最小とするような論理プログラムに付与された実数値のパラメータを求めることで、訓練例と適合するような論理プログラムを求める。

また、∂ＩＬＰにおける学習にはニューラルネットワークの学習で広く用いられている微分に基づくパラメータ推定手法を用いることで、効率的な学習を実現している。∂ＩＬＰを用いると、訓練例に誤りやノイズが含まれるような場合であっても、妥当な論理プログラムを推定することが可能である。

しかしながら、∂ＩＬＰで扱う論理プログラムには関数記号を用いることができないため、学習可能なプログラムの形状が制限されるという課題があった。∂ＩＬＰにおいて関数記号を含むようなプログラムを学習させようと考えると、計算モデルのサイズ及びモデルを使った推定の計算量が爆発的に増加するため、現実的な問題において学習を実現できないという課題があった。

本発明は上記の点に鑑みてなされたものであり、帰納論理プログラミングにおいて、関数記号を含む論理プログラムを訓練例から効率的に学習可能とする技術を提供することを目的とする。

開示の技術によれば、ある概念についての訓練例に基づいて、当該概念を表す論理プログラムを推定する論理プログラム推定装置であって、
前記論理プログラムを構成する確定節の候補となる候補確定節集合をビーム探索により生成し、前記候補確定節集合に基づいてグラウンドアトム集合を生成し、前記候補確定節集合における各候補確定節の重みからなるパラメータ集合を用いて、前記グラウンドアトム集合における各グラウンドアトムの導出確度を表す評価ベクトルを生成する生成部と、
前記訓練例におけるグラウンドアトムのラベルと、前記評価ベクトルに基づいて推定されたラベルとの間の誤差を示す損失関数が最小になるように、前記パラメータ集合を算出する学習処理部と、
を備える論理プログラム推定装置が提供される。

開示の技術によれば、帰納論理プログラミングにおいて、関数記号を含む論理プログラムを訓練例から効率的に学習可能とする技術が提供される。

本発明の実施の形態における論理プログラム推定装置の構成図である。 論理プログラム推定装置のハードウェア構成例を示す図である。 論理プログラム推定装置の動作を説明するためのフローチャートである。 計算グラフ構築処理を示すフローチャートである。 アルゴリズム１を示す図である。 アルゴリズム１における処理の流れを示すフローチャートである。 アルゴリズム２を示す図である。 アルゴリズム２における処理の流れを示すフローチャートである。 ｖ_Ｔを算出する処理の流れを示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（実施の形態の概要）
本実施の形態では、後述する論理プログラム推定装置が、ある概念についての正例と負例からなる訓練例から、当該概念を表す、関数記号を含む論理プログラムをデータから微分操作によって推定する。そのために、本実施の形態では、既存手法である∂ＩＬＰに比べて計算を効率化している。具体的には、推定する対象の論理プログラムに含まれ得るｄｅｆｉｎｉｔｅ ｃｌａｕｓｅ（確定節）を探索する際にビーム探索に基づく探索を実行することで、余分な探索の実行を避けて計算量を削減する。また、学習の途中で必要となるＧｒｏｕｎｄ ａｔｏｍの列挙において、訓練例を参照することによって不必要なａｔｏｍの列挙を避ける。最後に、訓練例から計算グラフを作成する際に、新たな選択演算（後述するｓｏｆｔｏｒ）を導入することによって、∂ＩＬＰにおいて課されていた節の形式に関する制約事項を回避する。

以上の三つの処理を含む処理を実行する論理プログラム推定装置により、関数記号を含む論理プログラムを微分操作によって訓練例から効率的に学習可能としている。

（記号、用語の説明）
論理プログラム推定装置の構成と動作について説明する前に、まず、本実施の形態の説明で用いる記号や用語について説明する。

ｎ個の引数を取る述語ｐをｐ／ｎと表す。同様に、ｎ個の引数を取る関数記号ｆを、ｆ／ｎと表す。定数、変数、あるいはｎ‐引数の関数記号ｆと項ｔ_１，...，ｔ_ｎを用いて構成される表現ｆ（ｔ_１，...，ｔ_ｎ）をｔｅｒｍ（項）と呼ぶ。

ｎ‐引数の述語記号ｐとｔｅｒｍｔ_１，...，ｔ_ｎからなる表現ｐ（ｔ_１，...，ｐ_ｎ）をａｔｏｍ（アトム）と呼ぶ。変数を含まないａｔｏｍをｆａｃｔもしくはｇｒｏｕｎｄ ａｔｏｍ（グラウンドアトム）と呼ぶ。あるａｔｏｍ ａ、もしくはａに否定演算子

を作用させて得られる

をｌｉｔｅｒａｌ（リテラル）と呼ぶ。ａｔｏｍのみからなるｌｉｔｅｒａｌをｐｏｓｉｔｉｖｅ ｌｉｔｅｒａｌと呼び、ａｔｏｍに否定演算子を作用させたｌｉｔｅｒａｌをｎｅｇａｔｉｖｅ ｌｉｔｅｒａｌと呼ぶ。有限個のｌｉｔｅｒａｌ ｌ_１，...，ｌ_ｎを選言記号（∨）で連結した式ｌ_１∨ｌ_２∨・・・∨ｌ_ｎをｃｌｕａｓｅ（節）と呼ぶ。ｐｏｓｉｔｉｖｅ ｌｉｔｅｒａｌを常に１つのみ含むｃｌａｕｓｅをｄｅｆｉｎｉｔｅ ｃｌａｕｓｅ（節）と呼ぶ。Ａ，Ｂ_１，...，Ｂ_ｎがそれぞれａｔｏｍであるとき、

はｄｅｆｉｎｉｔｅ ｃｌｕａｓｅである。以下ではｄｅｆｉｎｉｔｅ ｃｌｕａｓｅをＡ←Ｂ１∧・・・Ｂ_ｎと書く。ｄｅｆｉｎｉｔｅ ｃｌｕａｓｅのａｔｏｍ Ａをｈｅａｄ、Ｂ_１，...，Ｂ_ｎをｂｏｄｙと呼ぶ。

上記のＡ←Ｂ１∧・・・Ｂ_ｎは、もしも右側の全てのａｔｏｍがｔｒｕｅであれば、左側のａｔｏｍもｔｒｕｅであることを示す規則（ルール）である。

論理プログラムはｄｅｆｉｎｉｔｅ ｃｌｕａｓｅの集合として表現される。例えば、下記のｄｅｆｉｎｉｔｅ ｃｌｕａｓｅの集合（２つのｄｅｆｉｎｉｔｅ ｃｌｕａｓｅ）は論理プログラムである。

ｃｏｎｎｅｃｔｅｄ（Ｘ，Ｙ）←ｅｄｇｅ（Ｘ，Ｙ）
ｃｏｎｎｅｃｔｅｄ（Ｘ，Ｙ）←ｅｄｇｅ（Ｘ，Ｚ），ｃｏｎｎｅｃｔｅｄ（Ｚ，Ｙ）
上記の論理プログラムにおいて、Ｘ、Ｙ、Ｚは変数であり、ｅｄｇｅ、ｃｏｎｎｅｃｔｅｄは述語記号であり、ｃｏｎｎｅｃｔｅｄ（Ｘ，Ｙ）、ｅｄｇｅ（Ｘ，Ｙ）、ｃｏｎｎｅｃｔｅｄ（Ｚ，Ｙ）はａｔｏｍである。上記の論理プログラムは、「ｃｏｎｎｅｃｔｅｄ」という述語（概念）が、２つのｄｅｆｉｎｉｔｅ ｃｌｕａｓｅで定義されることを示している。

真を表す記号としてＴ（明細書のテキストでは、記載の便宜上、アルファベットの"Ｔ"を、真を表す記号として使用している）を用い、偽を表す記号として⊥を用いる。ｃｌｕａｓｅ Ｃに含まれる変数の集合をＶ（Ｃ）とし、Ｃに含まれる異なる変数のｎ個の組み合わせの集合をＤＶ_ｎ（Ｃ）とする。述語記号の集合をＰ、関数記号の集合をＦ、定数の集合をＡ、変数の集合をＶとしたときに、Ｌ＝（Ｐ，Ｆ，Ａ，Ｖ）を言語と呼ぶ。

θ＝｛ｘ_１＝ｔ_１，ｘ_２＝ｔ_２，・・・，ｘ_ｎ＝ｔ_ｎ｝は、変数ｘ_ｉをｔｅｒｍ ｔ_ｉに置き換える代入と呼ぶ。代入θをａｔｏｍ Ａに適用することをＡθと書く。ａｔｏｍ，ｌｉｔｅｒａｌ，ｔｅｒｍの集合Ａ_１，...，Ａ_ｎと代入θに対して、Ａ_１θ＝Ａ_２θ＝・・・Ａ_ｎθであるときに、代入θのことをＡ_１，...，Ａ_ｎのｕｎｉｆｉｅｒと呼ぶ。また、Ａ_１，...，Ａ_ｎを引数として受け取り、それらに対するｕｎｉｆｉｅｒが存在するときにｕｎｉｆｉｅｒ θを出力する関数θ＝σ（Ａ_１，...，Ａ_ｎ）をｕｎｉｆｉｃａｔｉｏｎ ｆｕｎｃｔｉｏｎと呼ぶ。^―σ（Ａ_１，...，Ａ_ｎ）は、Ａ_１，...，Ａ_ｎにｕｎｉｆｉｅｒが存在するときに真、そうでないときに偽を返す関数である。なお、文字の上（頭部）に置かれる"^―"を明細書のテキストでは当該文字の前に記載している。"^―σ"はその例である。

帰納論理プログラミングの問題Ｑは、集合Ｑ＝（ε^＋，ε^-，Ｂ，Ｌ）として表現される。ε^＋は正例の集合、ε^-は負例の集合、Ｂは背景知識、Ｌは言語である。ここで、ε^＋，ε^-に使用しているεに関して、本明細書における挿入画像による数式では、"Ｅ"の別書体を使用しているが、明細書のテキストでは、記載の便宜上、"ε"を使用している。

以下では正例、負例、背景知識はそれぞれｇｒｏｕｎｄ ａｔｏｍの集合として表現されるものと仮定する。帰納論理プログラムの問題Ｑの解は、言語Ｌに含まれる述語記号、定数、変数、関数記号からなるｄｅｆｉｎｉｔｅ ｃｌｕａｓｅの集合Ｈであり、

を満たすものとする。式（１）及び式（２）は、与えられた背景知識Ｂにおいて、ｄｅｆｉｎｉｔｅ ｃｌｕａｓｅの集合Ｈにより、各正例を導出できて、いずれの負例も導出できないことを意味する。

帰納論理プログラムの問題を解く際には精密化演算子が用いられる。精密化演算子ρ_Ｌ（Ｃ）は、ｃｌａｕｓｅを引数にとり、それに対して精密化演算を実行して得られるｃｌａｕｓｅの集合を出力する。なお、一般には精密化演算によって得られるｃｌａｕｓｅはもとのｃｌａｕｓｅの特殊系である。すなわち、あるｃｌａｕｓｅ Ｃに対して精密化演算子を適用することで得られるｃｌａｕｓｅをＣ´とすると、あるｆａｃｔ Ａが

であるならば、

である。

例えばＣ＝ｐ（ｘ，ｙ）（ｐは述語記号，ｘ，ｙは変数）とすると、ρ_Ｌ（ｐ（ｘ，ｙ））＝｛ｐ（０，ｙ），ｐ（ｘ，０），ｐ（ｘ，ｘ），ｐ（ｆ（ｚ），ｙ），ｐ（ｘ，ｆ（ｚ））｝は精密化演算子の例である。

なお、本明細書における挿入画像及び図面の数式においては、大文字のＣはｃｌａｕｓｅを示し、書体の異なるＣはｃｌａｕｓｅの集合を示しているが、本明細書のテキストにおいては、記載の便宜上、大文字のＣはｃｌａｕｓｅを示し、小文字のｃはｃｌａｕｓｅの集合を示すものとする。

同様に、挿入画像及び図面の数式においては、大文字のＧはｇｒｏｕｎｄ ａｔｏｍを示し、書体の異なるＧはｇｒｏｕｎｄ ａｔｏｍの集合を示しているが、本明細書のテキストにおいては、記載の便宜上、大文字のＧはｇｒｏｕｎｄ ａｔｏｍを示し、小文字のｇがｇｒｏｕｎｄ ａｔｏｍの集合を示すものとする。

（装置構成例）
図１は、本実施の形態における論理プログラム推定装置１００の構成図である。図１に示すように、本実施の形態における論理プログラム推定装置１００は、入力部１１０、計算グラフ生成処理部１２０、学習処理部１３０、学習結果出力部１４０、及び記憶部１５０を有する。なお、計算グラフ生成処理部１２０を生成部と呼び、学習結果出力部１４０を出力部と呼んでもよい。各機能部の概要は下記のとおりである。

入力部１１０は、外部から訓練例の集合ε^－，ε^＋、背景知識Ｂ、言語Ｌ、及び精密化演算子を受け取る。また、入力部１１０は、計算グラフ生成処理部１２０、学習処理部１３０、及び学習結果出力部１４０の計算処理において必要な情報（パラメータ、初期データ集合等）も外部から受け取る。計算グラフ生成処理部１２０は、入力部１１０から入力された入力情報をもとに、機械学習モデルの計算グラフを生成する処理を実行する。

学習処理部１３０は、計算グラフ生成処理部１２０によって生成された計算グラフ（具体的には、後述するｖ_Ｔ＝ｆ_{ｉｎｆｅｒ}（Ｘ，ｖ_０，Ｗ，Ｔ））を用いて、訓練例から機械学習モデルのパラメータを推定する処理を実行する。学習結果出力部１４０は、学習処理部１３０における計算の結果をもとにして、入力された訓練例と背景知識に対して、帰納論理プログラムの問題の解となるｄｅｆｉｎｉｔｅ ｃｌａｕｓｅの集合Ｈを出力する。記憶部１５０は、入力情報、各機能部の計算結果等を格納する。各機能部は、記憶部１５０に格納されている情報を読み出して、当該情報に対して処理を実行する。

（ハードウェア構成例）
本実施の形態における論理プログラム推定装置１００は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。

上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図２は、上記コンピュータのハードウェア構成例を示す図である。図２のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、論理プログラム推定装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

（論理プログラム推定装置１００の全体動作）
論理プログラム推定装置１００の全体動作に係る処理の流れについて図３のフローチャートを参照して説明する。

Ｓ１００において、入力部１１０は、外部から訓練例、背景知識、精密化演算子等の以降の計算に必要な情報を入力し、入力された情報を記憶部１５０に格納する。

次に、Ｓ２００において、計算グラフ生成処理部１２０は、記憶部１５０から入力情報を読み出し、入力情報に基づいて計算グラフの生成処理を行う。生成された計算グラフは記憶部１５０に格納される。計算グラフの生成のための処理の詳細については後述する。

Ｓ３００において、学習処理部１３０は、記憶部１５０から計算グラフを読み出し、当該計算グラフを用いてパラメータ推定処理を行う。処理の詳細については後述する。

Ｓ４００において、学習結果結果出力部１４０は、学習処理部１３０による計算結果をもとにして、ｄｅｆｉｎｉｔｅ ｃｌｕａｓｅの集合Ｈを外部に出力する。

（Ｓ２００：計算グラフ生成処理の詳細）
Ｓ２００で実行される計算グラフ生成処理部１２０による計算グラフ生成処理について、図４のフローチャートを参照して説明する。

＜Ｓ２０１＞
Ｓ２０１において、計算グラフ生成処理部１２０は、解の候補となるｄｅｆｉｎｉｔｅ ｃｌａｕｓｅの集合ｃを構築する。帰納論理プログラムの問題の解はＨ⊆ｃを満たすとする。

Ｓ２０１で実行する処理に対応するアルゴリズム１を図５に示す。なお、本実施の形態における「アルゴリズム」は、コンピュータにより実現される論理プログラム推定装置１００が実行するプログラムに相当する。

図５においてＲｅｑｕｉｒｅとして示されているアルゴリズム１への入力のうち、ｃ_０は初期状態のｃｌａｕｓｅの集合であり、Ｎ_ｂｅａｍはビームサーチにおけるビームのサイズを表す非負整数であり、Ｔ_ｂｅａｍはビームサーチのステップ数を表す非負整数である。それぞれの値は予め設定しておく。例えば、実験を行って、適切な値を決定し、それを用いてもよい。

計算グラフ生成処理部１２０は、アルゴリズム１により、ビームサーチによって、初期のＣｌａｕｓｅの集合ｃ_０に精密化演算子を適用することによって得られるｃｌａｕｓｅのうち、ε^＋に含まれるｆａｃｔを論理的帰結として導出可能なものを求める。

以下の説明では、図５に示すアルゴリズム１における行番号を「ステップ」として説明する。まず、図６を参照してアルゴリズム１による処理の流れを説明する。アルゴリズム１において、ステップ５、６、８、１２は、繰り返しに関する処理であり、図６では、これらのステップに関わる処理を、演算処理を示すブロックの外部に「繰り返し」として示している。

ステップ１～４において変数の初期化を行う。ステップ９（ｓｃｏｒｅ＝ｅｖａｌ（Ｒ，Ｑ）とステップ１０（ｃ_ｂｅａｍ＝ｉｎｓｅｒｔ（Ｒ，ｓｃｏｒｅ））は、ρ_Ｌ｛Ｃ_ｉ｝の各要素Ｒに対して繰り返し実行される。

ステップ９～１０の繰り返しを含むステップ７～１０は、ｃ_{ｔｏ＿ｏｐｅｎ}の各要素Ｃ_ｉに対して繰り返し実行される。ステップ７～１０の繰り返しを含むステップ７～１１は、ｔ＜Ｔ_ｂｅａｍの間、ｔをインクリメントしながら繰り返し実行される。ステップ１３において、ｃを返す。

図５を参照して、アルゴリズム１をより詳細に説明する。ステップ１において、計算グラフ生成処理部１２０は、ｃ_{ｔｏ＿ｏｐｅｎ}をｃ_０で初期化する。ｃ_{ｔｏ＿ｏｐｅｎ}はｃｌａｕｓｅの集合であり、この集合に含まれるｃｌａｕｓｅに対して選択的に精密化演算子を適用することで新しいｃｌａｕｓｅを得る。ステップ２において、計算グラフ生成処理部１２０は、ｃ_ｂｅａｍを空集合で初期化する。ｃ_ｂｅａｍはビームサーチの各ステップで新たに生成されたｃｌａｕｓｅとそのｃｌａｕｓｅの評点（ｓｃｏｒｅ）の集合を表す。ステップ３において、計算グラフ生成処理部１２０は、ｃを空集合で初期化するｃはアルゴリズム１で最終的に出力するｃｌａｕｓｅの集合を表す。

ステップ４において、計算グラフ生成処理部１２０は、ステップ数を表すパラメータｔを０で初期化する。ステップ５において、ｔがＴ_ｂｅａｍ未満かどうかをチェックし、条件を満たすならばステップ６に移行する。ステップ６では、計算グラフ生成処理部１２０は、ｃ_{ｔｏ＿ｏｐｅｎ}に含まれるｃｌａｕｓｅを一つ取り出す。取り出したｃｌａｕｓｅをＣ_ｉとする。

ステップ７において、計算グラフ生成処理部１２０は、Ｃ_ｉをｃに追加する。ステップ８において、計算グラフ生成処理部１２０は、Ｃ_ｉに精密化演算子を適用して得られるｃｌａｕｓｅの集合ρ_Ｌ（Ｃ_ｉ）から、ｃｌａｕｓｅを一つ取り出しＲとする。

ステップ９において、計算グラフ生成処理部１２０は、ｅｖａｌ（Ｒ，Ｑ）を実行することで、ｃｌａｕｓｅ Ｒのスコアｓｃｏｒｅを計算する。ｅｖａｌ（Ｒ，Ｑ）は以下のように定義される。

すなわち、ｅｖａｌ（Ｒ，Ｑ）は、｛Ｒ｝∪Ｂ｜＝Ｅとなるような訓練例Ｅ∈ε^＋の総数を計算することを意味する。つまり、ｅｖａｌ（Ｒ，Ｑ）はＲにより導出できる正例の総数を計算することを意味する。あるＥについてＢ∪｛Ｒ｝｜＝Ｅかどうかの判定は、一階述語論理における推定規則を用いることで実行可能である。

ステップ１０において、計算グラフ生成処理部１２０は、Ｒとｓｃｏｒｅの組をｃ_ｂｅａｍに挿入する。計算グラフ生成処理部１２０は、全てのＲ∈ρ_Ｌ（Ｃ_ｉ）についてステップ９～１０の処理を実行した後、Ｃ_ｉを更新してステップ７～１０の処理を繰り返す。

計算グラフ生成処理部１２０は、全てのＣ_ｉ∈ｃ_{ｔｏ＿ｏｐｅｎ}について処理を終了したならば、ステップ１１でｃ_ｂｅａｍに含まれるｃｌａｕｓｅのうち、ｓｃｏｒｅの値が大きな順にＮ_ｂｅａｍ個取り出したものをｃ_{ｔｏ＿ｏｐｅｎ}とする。つまり、ｓｃｏｒｅを用いて候補の絞り込みを行う。

計算グラフ生成処理部１２０は、ステップ１２でｔをｔ＋１に更新してステップ５に戻り、すべてのｔ＜Ｔ_ｂｅａｍについて計算したら、ｃを出力して処理を終了する。

このｃｌａｕｓｅ集合生成手順は、既存の∂ＩＬＰで用いられているｃｌａｕｓｅの集合を生成する手法と比較すると、正例の集合ε^＋をｅｖａｌ関数において用いることによって、帰納論理プログラムの解に含まれる可能性が高いｄｅｆｉｎｉｔｅ ｃｌａｕｓｅ（確定節）を優先的に選択している点が既存の∂ＩＬＰで用いられている手法と異なる。

＜Ｓ２０２＞
図４のＳ２０２において、計算グラフ生成処理部１２０は、ｇｒｏｕｎｄ ａｔｏｍの集合を作成する。Ｓ２０２で作成されたｇｒｏｕｎｄ ａｔｏｍの集合は、次のＳ２０３で計算グラフ生成処理の際に用いられる。Ｓ２０２で実行する処理に対応するアルゴリズム２を図７に示す。

計算グラフ生成処理部１２０は、アルゴリズム２により、問題Ｑ、Ｓ２０１で作成したｃｌａｕｓｅの集合ｃ、及び非負整数値のパラメータＴを入力として受け取り、ｇｒｏｕｎｄ ａｔｏｍの集合ｇを出力する。

以下の説明では、図７に示すアルゴリズム２における行番号を「ステップ」として説明する。まず、図８を参照してアルゴリズム２による処理の流れを説明する。アルゴリズム２において、ステップ２、４、５は、繰り返しに関する処理であり、図８では、これらのステップに関わる処理を、演算処理を示すブロックの外部に「繰り返し」として示している。

ステップ１において変数の初期化を行う。ステップ６～７は、ｇの各要素Ｇに対して繰り返し実行される。ｇの各要素Ｇに対するステップ６～７の繰り返し処理は、ｃの各要素のｄｅｆｉｎｉｔｅ ｃｌａｕｓｅに対して繰り返し実行される。この繰り返しを含むステップ３～８は、Ｔ回繰り返される。ステップ９でｇを出力する。

図７を参照して、アルゴリズム２をより詳細に説明する。計算グラフ生成処理部１２０は、ステップ１でｇを初期化する。ステップ１では、訓練例ε^＋、ε^－を参照している。次に、計算グラフ生成処理部１２０は、ステップ２でｉ＝０に設定し、ステップ３でＳを空集合に初期化する。Ｓは新たに追加されたｇｒｏｕｎｄ ａｔｏｍの集合を表す。

計算グラフ生成処理部１２０は、ステップ４でｃに含まれるｄｅｆｉｎｉｔｅ ｃｌａｕｓｅを一つ選択し、ステップ５でｇに含まれるｇｒｏｕｎｄ ａｔｏｍ Ｇを一つ取り出す。

ステップ６において、計算グラフ生成処理部１２０は、ステップ４で取り出したｄｅｆｉｎｉｔｅ ｃｌｕａｓｅのｈｅａｄ ＡとＧとのｕｎｉｆｉｅｒが存在するかを判定し、存在するならば、ステップ７において、θ＝σ（Ａ，Ｇ）をＢ_１，...，Ｂ_ｎに適用して得られるＢ_１θ，...，Ｂ_ｎθを全てＳに追加する。

計算グラフ生成処理部１２０は、ステップ４～７を繰り返し、ｃに含まれる全てのｄｅｆｉｎｉｔｅ ｃｌａｕｓｅと、Ｇ∈ｇとの値のｕｎｉｆｉｅｒを求め、ステップ８においてｇｒｏｕｎｄ ａｔｏｍの集合ｇを更新する。計算グラフ生成処理部１２０は、ステップ３～８の処理をＴ回行って、ステップ９においてｇを出力する。

既存の∂ＩＬＰと比較すると、Ｓ２０２の処理は、訓練例を参照することで、Ｔ回以内での訓練例の導出に必要となるｇｒｏｕｎｄ ａｔｏｍのみを列挙するために、ｇの要素数を少なく保つことができ、結果として次段の計算グラフ生成処理のメモリ使用量及び計算コストを低減することができる。

＜Ｓ２０３＞
計算グラフ生成処理部１２０は、Ｓ２０３において計算グラフを作成する。計算グラフは、Ｑ、ｃｌａｕｓｅの集合ｃ、及びｇｒｏｕｎｄ ａｔｏｍの集合ｇをもとに作成されたベクトルｖ_０、及びテンソルＸを用いて論理推定の過程を表現する、微分可能な数理モデルである。具体的には、計算グラフとして、ｖ_Ｔ＝ｆ_{ｉｎｆｅｒ}（Ｘ，ｖ_０，Ｗ，Ｔ）を求める。

後述するように、学習処理部１３０が、このモデルで使用しているパラメータＷを、訓練例に対する損失関数の値が最小となるように、勾配法を用いて最適化することによって論理プログラムＨを推定する。

より具体的には、計算グラフ生成処理部１２０は、後述する式（６）のｆ_{ｉｎｆｅｒ}（Ｘ，ｖ_０，Ｗ，Ｔ）により、Ｔステップの前向き推論を実行した後のｖａｌｕａｔｉｏｎベクトルｖ_Ｔを求める。

ｖａｌｕａｔｉｏｎベクトルｖ_ｔ（ｔ＝０，１，...，Ｔ）は、｜ｇ｜次元の実数ベクトルである。各次元はあるｇｒｏｕｎｄ ａｔｏｍ Ｇ∈ｇに対応し、ｖａｌｕａｔｉｏｎベクトルｖ_ｔのｉ番目の成分の値がゼロであれば、ｇに含まれるｉ番目のｇｒｏｕｎｄ ａｔｏｍがｔステップの推定で論理的帰結として導出されないことを表す。ｉ番目の成分の値が１に近いほど導出される確度が増すことを表す。

ｔ＝０のときのｖ_０は背景知識によって定まり、

となる。

ｆ_{ｉｎｆｅｒ}（Ｘ，ｖ_０，Ｗ，Ｔ）におけるＸは、符号化テンソルと呼ばれ、大きさが｜ｃ｜×｜ｇ｜×ｂのテンソルであり、各要素は自然数である。ｂはｃに含まれるｄｅｆｉｎｉｔｅ ｃｌａｕｓｅのｂｏｄｙに含まれるｌｉｔｅｒａｌの個数の最大値である。Ｘ［ｉ，ｊ］は大きさｂのベクトルであり、その要素はｉ番目のｃｌａｕｓｅ Ｃ_ｉ＝Ａ←Ｂ_１，...，Ｂ_ｎのｈｅａｄとｊ番目のｇｒｏｕｏｎｄ ａｔｏｍＧ_ｊ∈ｇとの間にｕｎｉｆｉｅｒθが存在するときに、ｇｒｏｎｄ ａｔｏｍ Ｂ_１θ，...，Ｂ_ｎθのインデックスを表す。すなわち、

としてＸの要素が決められる。ここで１≦ｊ≦｜ｇ｜，θ＝σ（Ａ，Ｇ_ｊ）であり、Ｉ_ｇ（ｘ）はｇｒｏｕｎｄ ａｔｏｍ ｘを引数にとり、ｘのｇの中での順序（インデックス）を出力する関数である。

パラメータＷはｍ個の実数値の｜ｃ｜次元ベクトルの集合としてＷ＝｛ｗ_１，...，ｗ_ｍ｝として表現される。ここでｍは帰納論理プログラミングにおいて求めたい論理プログラムに含まれるｄｅｆｉｎｉｔｅ ｃｌａｕｓｅの数であり、ベクトルｗ_ｉは、ｃに含まれる各ｃｌａｕｓｅが、求める論理プログラムにおけるｉ番目のｃｌａｕｓｅとして選択され得る度合いを表現している。この度合いを「重み」と呼んでもよい。

以上を用いて、背景知識Ｂとｃｌａｕｓｅの集合ｃ，ｇｒｏｕｎｄ ａｔｏｍの集合ｃをもとにして、Ｔステップの前向き推論を実行したあとのｖａｌｕａｔｉｏｎベクトルｖ_Ｔを求める関数は、前述したように、

として表現される。この式（６）のｆ_{ｉｎｆｅｒ}は以下に示す関数の組合せによって表現される。

まず、各ｃｌａｕｓｅである要素Ｃ_ｉ∈ｃは以下の関数に変換される。

上記の式（７）で使用する関数ｇａｔｈｅｒ：Ｒ^｜ｇ｜×Ｎ^{｜ｇ｜×ｂ}→Ｒ^{｜ｇ｜×ｂ}は、

として定義される関数である。ｇａｔｈｅｒはｇｒｏｕｎｄ ａｔｏｍのインデックスを、ｖ_ｔにおけるそのインデックスに対応する要素の値に置き換える関数である。

次に、下記の式（９）により、重みベクトルｗ_ｉで重み付けしてｃｌａｕｓｅ関数ｃ_ｊ（ｖ_ｔ）の重み付き和を計算する。

ここで

である。ｓｏｆｔｍａｘ（ｗ_ｉ）［ｊ］は、要素Ｃ_ｊ∈ｃが求めたい論理プログラムのｉ個目のｄｅｆｉｎｉｔｅ ｃｌａｕｓｅである確率を表現しているとみなすことができる。

計算グラフ生成処理部１２０は、以上の結果を用いて、ｖ_ｔからｖ_ｔ＋１を計算する。その手順は以下のとおりである。計算グラフ生成処理部１２０は、まず、

を計算する。ここでｓｏｆｔｏｒ^γは、論理和関数を微分可能に拡張した関数であり、下記の式（１１）に示すとおりである。

上記の式（１１）において、γ＞０はスムージングパラメータである。

最後に以下の式（１２）の演算を実行することでｖ_ｔ＋１を計算する。

このようにして、計算グラフ生成処理部１２０は、ｆ_{ｉｎｆｅｒ}（Ｘ，ｖ_０，Ｗ，Ｔ）によりｖ_Ｔを算出し、ｖ_Ｔを出力して処理を終了する。

ｖ_ｏから開始してＴステップでｖ_Ｔを算出する処理を図９のフローチャートを参照して説明する。Ｓ２１１において、計算グラフ生成処理部１２０は、ｔを０で初期化する。Ｓ２１２において、式（４）によりｖ_ｏを求める。Ｓ２１３において、計算グラフ生成処理部１２０は、式（１２）（ｖ_ｔ＋１＝ｓｏｆｔｏｒ^γ（ｖ_ｔ，ｒ（ｖ_ｔ）））により、ｖ_ｔからｖ_ｔ＋１を算出する。Ｓ２１４においてｔ＋１がＴであればｖ_Ｔを出力して処理を終了する。ｔ＋１がＴでなければ、Ｓ２１５においてｔ＝ｔ＋１として、Ｓ２１３からの処理を繰り返す。

ｆ_{ｉｎｆｅｒ}の計算に関して、上述した本実施の形態に係る計算方法とδＩＬＰとを比べたときの最大の違いは、本実施の形態に係る計算方法では推測する論理プログラムに含まれるｃｌａｕｓｅの数をｍに固定した上で、ｓｏｆｔｏｒを計算グラフに組み込むことで、それらのｃｌａｕｓｅの組合せを求められるようにしたことである。δＩＬＰではｍ個のｃｌａｕｓｅの組合せを探すために、｜ｃ｜^ｍ個のパラメータを用意する必要があったが、本実施の形態に係る計算方法ではｍ｜ｃ｜個のパラメータしか必要としないため、パラメータの数を大幅に減らすことに成功している。結果として、計算の効率化も達成できる。

（Ｓ３００：パラメータ推定処理）
計算グラフ生成処理部１２０が計算グラフを構築した後（具体的には、ｖ_Ｔ＝ｆ_{ｉｎｆｅｒ}（Ｘ，ｖ_０，Ｗ，Ｔ）を算出した後）、学習処理部１３０が、Ｓ３００のパラメータ推定処理を行う。帰納論理プログラミングの問題をＱ＝（ε^＋，ε^-，Ｂ，Ｌ）としたときに、学習処理部１３０は、ａｔｏｍとそのラベルｙの対を

として生成する。各ペア（Ｅ，ｙ）はａｔｏｍ Ｅが正例（ｙ＝１のとき）であるか負例（ｙ＝０のとき）であるかを表している。本実施の形態では、学習処理部１３０は、計算グラフ（ｆ_{ｉｎｆｅｒ}（Ｘ，ｖ_０，Ｗ，Ｔ））を用いることにより、ａｔｏｍ Ｅにラベルｙを付与する確率を以下のように計算することができる。

学習処理部１３０は、クロスエントロピーロス

を最小化するＷを、関数の勾配（つまり、微分）を用いた既存の連続最適化法を用いて求めることで解く。これは、訓練例におけるｇｒｏｕｎｄ ａｔｏｍのラベルｙ（ｙは、ｙが正例に属する場合は１、ｙが負例に属する場合は０）と、式（１４）で推定されたラベルｙとの間の誤差を示す損失関数（クロスエントロピーロス）が最小になるように、Ｗを調整することを意味している。

（Ｓ４００：学習結果出力）
最後のＳ４００において、学習結果出力部１４０は、Ｓ３００において算出されたＷをもとにしてｃｌａｕｓｅの集合を求めて出力する。具体的には、各ｗ_１，...，ｗ_ｍについて、値が最大となる要素のインデックスを選択し、そのインデックスを、そのインデックスに対応するｄｅｆｉｎｉｔｅ ｃｌａｕｓｅの要素Ｃ∈ｃに置き換えたものの集合を出力する。この集合（ｍ個のｄｅｆｉｎｉｔｅ ｃｌａｕｓｅ）が、推定結果となる論理プログラムである。

（実施の形態の効果）
本実施の形態に係る技術により、既存の手法である∂ＩＬＰでは扱えなかった、関数記号を含む論理プログラムの勾配法による学習を実現することができるため、より複雑な問題に対して論理プログラムを求めることが可能となる。

（付記）

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
ある概念についての訓練例に基づいて、当該概念を表す論理プログラムを推定する論理プログラム推定装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
前記論理プログラムを構成する確定節の候補となる候補確定節集合をビーム探索により生成し、前記候補確定節集合に基づいてグラウンドアトム集合を生成し、前記候補確定節集合における各候補確定節の重みからなるパラメータ集合を用いて、前記グラウンドアトム集合における各グラウンドアトムの導出確度を表す評価ベクトルを生成し、
前記訓練例におけるグラウンドアトムのラベルと、前記評価ベクトルに基づいて推定されたラベルとの間の誤差を示す損失関数が最小になるように、前記パラメータ集合を算出する、
論理プログラム推定装置。
（付記項２）
前記プロセッサは、前記訓練例の中の正例のうち、候補確定節により導出できる正例の総数に基づくスコアを用いて候補確定節の絞り込みを行って、前記候補確定節集合を生成する
付記項１に記載の論理プログラム推定装置。
（付記項３）
前記プロセッサは、前記訓練例を参照して、前記訓練例の導出に必要なグラウンドアトムのみを列挙することにより、前記グラウンドアトム集合を生成する
付記項１又は２に記載の論理プログラム推定装置。
（付記項４）
前記プロセッサは、指数関数の和の演算を実行することにより、ｔステップの前向き推論で得られた評価ベクトルから、ｔ＋１ステップ目の評価ベクトルを算出する
付記項１ないし３のうちいずれか１項に記載の論理プログラム推定装置。
（付記項５）
前記パラメータ集合において、前記候補確定節集合の要素数次元のベクトルが、求める対象の前記論理プログラムに含まれる確定節の数だけ存在する
付記項１ないし４のうちいずれか１項に記載の論理プログラム推定装置。
（付記項６）
前記プロセッサは、前記パラメータ集合に基づいて、推定結果となる論理プログラムを出力する、
付記項１ないし５のうちいずれか１項に記載の論理プログラム推定装置。
（付記項７）
ある概念についての訓練例に基づいて、当該概念を表す論理プログラムを推定する、メモリと、前記メモリに接続された少なくとも１つのプロセッサと、を含む論理プログラム推定装置が実行する論理プログラム推定方法であって、
前記プロセッサが、
前記論理プログラムを構成する確定節の候補となる候補確定節集合をビーム探索により生成し、前記候補確定節集合に基づいてグラウンドアトム集合を生成し、前記候補確定節集合における各候補確定節の重みからなるパラメータ集合を用いて、前記グラウンドアトム集合における各グラウンドアトムの導出確度を表す評価ベクトルを生成し、
前記訓練例におけるグラウンドアトムのラベルと、前記評価ベクトルに基づいて推定されたラベルとの間の誤差を示す損失関数が最小になるように、前記パラメータ集合を算出する、
論理プログラム推定方法。
（付記項８）
ある概念についての訓練例に基づいて、当該概念を表す論理プログラムを推定するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記論理プログラムを推定する処理は、
前記論理プログラムを構成する確定節の候補となる候補確定節集合をビーム探索により生成し、前記候補確定節集合に基づいてグラウンドアトム集合を生成し、前記候補確定節集合における各候補確定節の重みからなるパラメータ集合を用いて、前記グラウンドアトム集合における各グラウンドアトムの導出確度を表す評価ベクトルを生成し、
前記訓練例におけるグラウンドアトムのラベルと、前記評価ベクトルに基づいて推定されたラベルとの間の誤差を示す損失関数が最小になるように、前記パラメータ集合を算出する、
非一時的記憶媒体。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 論理プログラム推定装置
１１０ 入力部
１２０ 計算グラフ生成処理部
１３０ 学習処理部
１４０ 学習結果出力部
１５０ 記憶部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

Claims (8)

1. ある概念についての訓練例に基づいて、当該概念を表す論理プログラムを推定する論理プログラム推定装置であって、
   前記論理プログラムを構成する確定節の候補となる候補確定節集合をビーム探索により生成し、前記候補確定節集合に基づいてグラウンドアトム集合を生成し、前記候補確定節集合における各候補確定節の重みからなるパラメータ集合を用いて、前記グラウンドアトム集合における各グラウンドアトムの導出確度を表す評価ベクトルを生成する生成部と、
   前記訓練例におけるグラウンドアトムのラベルと、前記評価ベクトルに基づいて推定されたラベルとの間の誤差を示す損失関数が最小になるように、前記パラメータ集合を算出する学習処理部と、
   を備える論理プログラム推定装置。
2. 前記生成部は、前記訓練例の中の正例のうち、候補確定節により導出できる正例の総数に基づくスコアを用いて候補確定節の絞り込みを行って、前記候補確定節集合を生成する
   請求項１に記載の論理プログラム推定装置。
3. 前記生成部は、前記訓練例を参照して、前記訓練例の導出に必要なグラウンドアトムのみを列挙することにより、前記グラウンドアトム集合を生成する
   請求項１又は２に記載の論理プログラム推定装置。
4. 前記生成部は、指数関数の和の演算を実行することにより、ｔステップの前向き推論で得られた評価ベクトルから、ｔ＋１ステップ目の評価ベクトルを算出する
   請求項１ないし３のうちいずれか１項に記載の論理プログラム推定装置。
5. 前記パラメータ集合において、前記候補確定節集合の要素数次元のベクトルが、求める対象の前記論理プログラムに含まれる確定節の数だけ存在する
   請求項１ないし４のうちいずれか１項に記載の論理プログラム推定装置。
6. 前記パラメータ集合に基づいて、推定結果となる論理プログラムを出力する出力部、
   を更に備える請求項１ないし５のうちいずれか１項に記載の論理プログラム推定装置。
7. ある概念についての訓練例に基づいて、当該概念を表す論理プログラムを推定する論理プログラム推定装置が実行する論理プログラム推定方法であって、
   前記論理プログラムを構成する確定節の候補となる候補確定節集合をビーム探索により生成し、前記候補確定節集合に基づいてグラウンドアトム集合を生成し、前記候補確定節集合における各候補確定節の重みからなるパラメータ集合を用いて、前記グラウンドアトム集合における各グラウンドアトムの導出確度を表す評価ベクトルを生成する生成ステップと、
   前記訓練例におけるグラウンドアトムのラベルと、前記評価ベクトルに基づいて推定されたラベルとの間の誤差を示す損失関数が最小になるように、前記パラメータ集合を算出する学習処理ステップと、
   を備える論理プログラム推定方法。
8. コンピュータを、請求項１ないし６のうちいずれか１項に記載の論理プログラム推定装置における各部として機能させるためのプログラム。

Images