JP4645288B2 - 能動学習方法および能動学習システム - Google Patents

Description

本発明は機械学習に関し、特に能動学習方法および能動学習システムに関する。

能動学習とは、学習者（コンピュータ）が学習データを能動的に選択できる、機械学習手法の一形態である。能動学習では、データ数や計算量の意味で学習の効率を向上させることができるため、例えば、膨大な種類の化合物の中から特定のタンパク質に対し活性のある化合物を発見する創薬スクリーニングなどに適した技術として注目されている（例えば非特許文献１参照）。

能動学習システムで扱われるデータは、複数の記述子（属性）と１以上のラベルとで表現される。記述子はそのデータの構造などを特徴付けるものであり、ラベルはそのデータの或る事象に関する状態を示す。例えば、能動学習による創薬スクリーニングの場合、個々の化合物データは、分子量などの各種物理化学定数などを記述した複数の記述子によって構造が特定される。また、ラベルは、例えば特定のタンパク質に対する活性の有無を示すために使用される。ラベルのとり得る値が、活性あり、活性なしのように離散値の場合、クラスと呼ぶ。他方、ラベルがとり得る値が連続値の場合、関数値と呼ぶ。つまり、ラベルはクラスまたは関数値を含む。

ラベルの値が既知であるデータを既知データ、ラベルの値が未知であるデータを未知データと呼ぶ。能動学習では、最初の学習は、既知データを使って行う。既知データのうち、利用者にとって価値のあるデータを正例、そうでないものを負例として区別し、既知データの集合から選択した正例および負例の双方を使って学習する。正例、負例は、注目するラベルの値で決まる。注目するラベルの値が２値をとる場合、利用者の注目する値が正例、そうでない値が負例になる。例えば、或るラベルが或るタンパク質に対する活性の有無を示すものとし、そのタンパク質に対して活性のある化合物に注目する場合、活性ありの値のラベルが正例、活性なしの値のラベルが負例になる。なお、ラベルが多値の場合、注目している１つの値を正例、それ以外の全ての値を負例とする。またラベルのとり得る値が連続値の場合、注目する値付近にラベル値が存在するものを正例、それ以外のところにあるものを負例とする。

正例と負例を使って能動学習システムが学習するのは、任意のデータの記述子の入力に対して、そのデータのラベルの値が注目している値かどうか、換言すればそのデータが正例か、負例かを選別するためのルール（仮説、規則）である。このとき能動学習では、アンサンブル学習を適用して、学習データから複数のルールを生成（学習）する。代表的なアンサンブル学習手法として、バギング（Ｂａｇｇｉｎｇ）とブースティング（Ｂｏｏｓｔｉｎｇ）がある。

既知データで学習し複数のルールを生成すると、その学習した複数のルールをラベル値が未知の多数のデータに適用し、未知データのラベル値の予測を行う。複数のルールによる予測結果は統合され、スコアと呼ばれる数値で定量的に示される。スコアは、個々の未知データの正例らしさの数値であり、例えば値が大きいほど、正例である可能性が高いことを示す。能動学習システムは、各未知データの予測結果に基づいて、未知データの中から効率的に学習が行えるようなデータを選択し、出力する。この選択方法に関しては、予測が割れたデータを選択する方法や、スコアの高い順に選択する方法、或る関数を用いて選択する方法等、幾つかの方法がある（例えば特許文献１、２参照）。

上記出力されたラベルの値が未知のデータについて、実験や調査などによってラベルの実際の値が調べられ、その結果が学習システムにフィードバックされる。学習システムは、ラベルの実際の値が求まった未知データを未知データの集合から取り除いて既知データの集合に混ぜ、上述と同様の動作を再度繰り返す。つまり、既知データの集合から再度選択した正例と負例を使って複数のルールの学習を進め、そのルールを未知データに対して適用して予測を行い、予測結果に基づいてデータの選択と出力を行う。このような処理の繰り返しは、予め定められた終了条件が満たされるまで続けられる。
特開平１１−３１６７５４号公報 特開２００５−１０７７４３号公報 Manfred K. Warmuth著「Active Learning with Support Vector Machines in the Drug Discovery Process」 Journal of Chemical Information and Computer Sciences、Volume 43, Number 1, January 2003

従来の能動学習システムは、学習開始時点の初期の状態において、既知データの集合中に負例と共に正例が存在していることが前提であり、正例が全く存在しないか、ごく僅かしか存在しない場合、システムを起動させることは全く考えられなかった。何故なら、そのような状態でシステムを起動してもルールの学習が全く意味をなさず、無意味なルールで未知データのラベルを予測することになり、その予測結果に基づいて学習に使うデータを選択しても、そのような未知データはランダムに選択したデータと実質的に何ら変わりがないからである。選択されたデータが正例である確率が、ランダム選択の場合と同様に極めて低いものであれば、学習コストが増大する。特に創薬スクリーニングのように未知ラベルの値を実験によって求める際のコストが大きい分野では、学習コストが著しく増大する。

本発明はこのような従来の問題点を改善したものであり、その目的は、学習開始時点の初期の状態において既知データの集合中に正例が全く存在しないか、ごく僅かしか存在しない場合でも、意味のある学習が行える能動学習システムを提供することにある。

本発明の第１の能動学習システムは、複数の記述子と複数のラベルとで構成されるデータの所望ラベルの値を該所望ラベルが示す事象と類似する事象の状態を示す他のラベルの値で書き換えたデータを学習データとして前記学習データの集合を学習データ記憶部上に生成する制御部と、前記所望ラベルが未知のデータを候補データとして前記候補データの集合を記憶する候補データ記憶部と、前記所望ラベルが所望値のデータを正例、それ以外のデータを負例とするとき、前記学習データ記憶部に記憶された正例と負例のデータを使って、任意のデータの記述子の入力に対してそのデータの正例らしさを計算するルールを学習する学習部、学習したルールを前記候補データ記憶部に記憶された候補データの集合に適用して各候補データの正例らしさを予測する予測部、予測結果に基づいて次に学習すべきデータを選択する候補データ選択部、および、選択したデータを出力装置から出力し、前記所望ラベルの実際の値が入力装置から入力されたデータについては候補データの集合から取り除いて学習データの集合に追加するデータ更新部を含み、前記制御部により能動学習サイクルの繰り返しが制御される能動学習部とを備えることを特徴とする。

本発明の第２の能動学習システムは、第１の能動学習システムにおいて、前記制御部は、前記入力装置から入力された前記所望ラベルの情報に基づいて前記学習データ記憶部に予め記憶された学習データの集合に含まれる正例の数を調べる学習設定取得部と、調べられた正例の数が閾値より少ない場合に前記所望ラベルと類似する他のラベルに関する類似情報を前記入力装置から入力する類似情報取得部と、前記学習データ記憶部に記憶された学習データの前記所望ラベルの値を前記類似情報が示す他のラベルの値で書き換えるデータラベル変換部とを含むことを特徴とする。

本発明の第３の能動学習システムは、第１の能動学習システムにおいて、前記制御部は、前記所望ラベルの値が他のラベルの値で書き換え済みの学習データを外部装置から受信して前記学習データ記憶部に保存するものであることを特徴とする。

本発明の第４の能動学習システムは、第１、第２または第３の能動学習システムにおいて、前記制御部は、他のラベルの値で書き換えられた結果前記所望ラベルが所望値になっている仮の正例よりも、前記所望ラベルが実際に所望値である真の正例を重要視した学習が前記能動学習部で行われるための重みを前記学習データに設定するデータ重み付け部を有することを特徴とする。

本発明の第５の能動学習システムは、第１、第２または第３の能動学習システムにおいて、前記制御部は、前記能動学習部による能動学習中に、予め定められた仮設定一括解除条件が成立したかどうかを判定し、前記仮設定一括解除条件が成立した場合、前記学習データ記憶部に記憶されている学習データのうち、前記所望ラベルの値が他のラベルの値で書き換えられている学習データの全てについて正例としての学習への影響をなくす処理を行う仮設定一括解除部を有することを特徴とする。

本発明の第６の能動学習システムは、第５の能動学習システムにおいて、前記仮設定一括解除部は、前記所望ラベルの値が他のラベルの値で書き換えられている学習データの全てを書き換え前の状態に戻すものであることを特徴とする。

本発明の第７の能動学習システムは、第５の能動学習システムにおいて、前記仮設定一括解除部は、書き換え前の状態に戻した学習データの前記所望ラベルが未知の場合、該学習データを前記学習データ記憶部から前記候補データ記憶部へ移動させるものであることを特徴とする。

本発明の第８の能動学習システムは、第１、第２または第３の能動学習システムにおいて、前記制御部は、前記能動学習部による能動学習の１サイクル終了毎に、予め定められた仮設定漸次解除条件が成立したかどうかを判定し、前記仮設定漸次解除条件が成立した場合、前記学習データ記憶部に記憶されている学習データのうち、前記所望ラベルの値が他のラベルの値で書き換えられている学習データについて正例としての学習への影響を徐々に弱める処理を行う仮設定漸次解除部を有することを特徴とする。

本発明の第９の能動学習システムは、第８の能動学習システムにおいて、前記仮設定漸次解除部は、前記所望ラベルの値が他のラベルの値で書き換えられている学習データの一部を書き換え前の状態に戻すものであることを特徴とする。

本発明の第１０の能動学習システムは、第８の能動学習システムにおいて、前記仮設定漸次解除部は、書き換え前の状態に戻した学習データの前記所望ラベルが未知の場合、該学習データを前記学習データ記憶部から前記候補データ記憶部へ移動させるものであることを特徴とする。

本発明の第１１の能動学習システムは、第８の能動学習システムにおいて、前記仮設定漸次解除部は、前記所望ラベルの値が他のラベルの値で書き換えられている学習データの学習の重みを調整するものであることを特徴とする。

本発明の第１の能動学習方法は、ａ）制御部が、複数の記述子と複数のラベルとで構成されるデータの所望ラベルの値を該所望ラベルが示す事象と類似する事象の状態を示す他のラベルの値で書き換えたデータを学習データとして前記学習データの集合を学習データ記憶部上に生成するステップ、ｂ）能動学習部が、前記所望ラベルが所望値のデータを正例、それ以外のデータを負例とするとき、前記学習データ記憶部に記憶された正例と負例のデータを使って、任意のデータの記述子の入力に対してそのデータの正例らしさを計算するルールを学習するステップ、ｃ）前記能動学習部が、前記所望ラベルが未知のデータを候補データとして前記候補データの集合を記憶する候補データ記憶部に記憶された前記候補データの集合に対して、前記学習したルールを適用して各候補データの正例らしさを予測するステップ、ｄ）前記能動学習部が、予測結果に基づいて次に学習すべきデータを選択するステップ、ｅ）前記能動学習部が、選択したデータを出力装置から出力し、前記所望ラベルの実際の値が入力装置から入力されたデータについては候補データの集合から取り除いて学習データの集合に追加するステップ、ｆ）前記制御部が終了条件の成否に基づき前記能動学習部による能動学習サイクルの繰り返しを制御するステップ、を含むことを特徴とする。

本発明の第２の能動学習方法は、第１の能動学習方法において、前記ステップａにおいて、前記制御部は、前記入力装置から入力された前記所望ラベルの情報に基づいて前記学習データ記憶部に予め記憶された学習データの集合に含まれる正例の数を調べ、調べた正例の数が閾値より少ない場合に前記所望ラベルと類似する他のラベルに関する類似情報を前記入力装置から入力し、前記学習データ記憶部に記憶された学習データの前記所望ラベルの値を前記類似情報が示す他のラベルの値で書き換えることを特徴とする。

本発明の第３の能動学習方法は、第１の能動学習方法において、前記ステップａにおいて、前記制御部は、前記所望ラベルの値が他のラベルの値で書き換え済みの学習データを外部装置から受信して前記学習データ記憶部に保存することを特徴とする。

『作用』
学習データを構成する複数の記述子は、そのデータの構造などを特定するものであり、個々のラベルは、そのデータのそれぞれ異なる事象に関する状態を示す。ここで、異なる事象であっても、類似している事象であれば、それらのラベルの値は或る程度同じ値をとる傾向があると考えられる。本発明はこの点に着目し、学習開始時点の初期の状態において既知データの集合中に正例（所望ラベルの値が所望値のデータ）が全く存在しないか、ごく僅かしか存在しない場合、学習データの所望ラベルの値を類似する別のラベルの値で置換する。こうすると、類似する他のラベルの値が所望ラベルの所望値と同じであれば、置換後の学習データは正例と同じになり、正例の数を見かけ上増やすことができる。この正例は、所望ラベルがもともと所望値であった真の正例ではなく、いわば仮の正例であるが、所望ラベルと置換に使用したラベルとの間には類似関係があるため、仮の正例を用いて学習するルールは、或る程度意味のあるルールとなる。このため、そのルールを適用して候補データから選択した次に学習すべきデータは、ランダム選択したデータに比べて、より正例である確率が高くなり、ランダム選択に比べて学習効率が向上することになる。

本発明によれば、学習開始時点の初期の状態において学習データの集合中に正例が全く存在しないか、ごく僅かしか存在しない場合でも意味のある学習が行えるため、能動学習の効率を向上させることが可能である。

次に本発明の実施の形態について図面を参照して詳細に説明する。

「第１の実施の形態」
図１を参照すると、本発明の第１の実施の形態にかかる能動学習システムは、キーボードやマウス等の入力装置とＬＣＤやプリンタ等の出力装置とで構成される入出力装置１１０と、プログラム制御により動作する処理装置１２０と、半導体メモリや磁気ディスク等で構成される記憶装置１３０とから構成されている。

記憶装置１３０は、学習データ記憶部１３１、ルール記憶部１３２、候補データ記憶部１３３および選択データ記憶部１３４を有する。

学習データ記憶部１３１には、学習データの集合が記憶される。個々の学習データは、例えば図２に示されるように、当該学習データを一意に識別するための識別子２０１、複数の記述子２０２、複数のラベル２０３および復元情報２０４で構成される。記述子２０２は当該データの構造などを特徴付けるものである。ラベル２０３は当該データの或る事象に関する状態を示し、クラスまたは関数値を含む。復元情報２０４は、或るラベルの値が他のラベルの値で置換された状態を置換前の状態に戻すための情報であり、ラベル変換された場合には例えば置換対象となったラベルの番号と元の値が記録され、ラベル変換されていない場合は例えばＮＵＬＬになっている。なお、復元情報２０４は各データ毎に持たせるのではなく、データとは別に記憶しても良い。

ルール記憶部１３２は、学習データ記憶部１３１に記憶された学習データを使って例えばバギング法によって学習した複数のルールを記憶する。図３（ａ）に示されるように、個々のルール３０１はルール識別子３０２によって他のルールと区別される。各ルール３０１は、任意のデータの複数の記述子２０２の入力に対して、そのデータが正例であるかどうか、つまり所望ラベルの値が所望値であるかどうかを予測するためのものである。個々のルール３０１の一例を図３（ｂ）に示す。この例では、個々のルール３０１は、”ＩＦ 条件文 ＴＨＥＮ スコア”の形式を有するルールの集合である。条件文では、データの記述子を変数とした論理条件が設定される。スコアは、当該データの正例らしさの数値であり、例えば０〜１の値をとり、大きいほど、より正例らしいことを示す。

候補データ記憶部１３３には、候補データの集合が記憶される。個々の候補データは、学習データと同様に図２に示したような構造を有する。但し、複数のラベル２０３のうちの学習を行うラベル（所望ラベル）は、学習データにあっては既知、すなわち有意な値が設定されているのに対し、候補データにあっては未知、すなわち未設定になっている点が相違する。

選択データ記憶部１３４は、候補データ記憶部１３３に記憶された候補データのうち、次に学習すべきデータとしてシステムが選択したデータを記憶する部分である。

処理装置１２０は、能動学習部１４０および制御部１５０で構成される。

能動学習部１４０は、学習データの集合を使って複数のルールを学習し、学習したルールを候補データの集合に適用して各候補データの正例らしさを予測し、予測結果に基づいて次に学習すべきデータを選択して出力し、所望ラベルの実際の値が入力されたデータについては候補データの集合から取り除いて学習データの集合に追加する処理を、１能動学習サイクルとして実行する。能動学習部１４０は、学習部１４１、予測部１４２、候補データ選択部１４３およびデータ更新部１４４で構成される。

学習部１４１は、学習データ記憶部１３１から学習データを読み出し、正例と負例の学習データを使用して、任意のデータの記述子の入力に対してそのデータが正例かどうかを予測する複数のルール３０１を学習し、ルール記憶部１３２に保存する。能動学習サイクルが繰り返される場合、ルール記憶部１３２に保存されたルールをベースに学習が続けられる。

予測部１４２は、ルール記憶部１３２から複数のルールを読み出すと共に候補データ記憶部１３３から候補データの集合を読み出し、各候補データ毎に、その記述子を各ルールに入力して正例らしさのスコアを各ルール毎に算出し、算出結果を候補データ選択部１４３に出力する。

候補データ選択部１４３は、予測部１４２で求められた各候補データ毎の正例らしさのスコアに基づいて、次に学習すべきデータを所定個数のＭ個だけ選択し、選択した候補データを選択データ記憶部１３４に保存する。Ｍ個選択する方法としては、各候補データ毎に複数ルールのスコアの合計あるいは平均を求め、スコアの合計あるいは平均の高い順にＭ個選択する方法や、特許文献２に記載されるように所定の関数を用いて選択する方法などが利用できる。また、複数ルールのスコアの分散を求め、予測が割れたデータを選択する方法など、他の方法も適用可能である。

データ更新部１４４は、選択データ記憶部１３４から次に学習すべきデータを読み出して入出力装置１１０に出力し、所望ラベルの値が入出力装置１１０から入力されたデータは候補データ記憶部１３３から削除して学習データ記憶部１３１に追加する。次に学習すべきデータの入出力装置１１０からの出力は、図２に示したデータ構造全体であっても良いし、識別子２０１だけであっても良い。また、入出力装置１１０からのラベル値の入力は、ラベル値が入力されたデータ全体であっても良いし、識別子２０１とラベル番号とラベル値の組であっても良い。ラベル番号は複数のラベルの中から１つのラベルを特定する番号である。この場合、データ更新部１４４は、入力された識別子２０１を持つデータを選択データ記憶部１３４から検索し、指定されたラベル番号のラベルに入力値を設定して学習データ記憶部１３１に登録する一方、入力された識別子２０１を持つ候補データを候補データ記憶部１３３から検索して削除する。

制御部１５０は、能動学習部１４０における能動学習サイクルの繰り返し制御や、学習データのラベル変換処理などを実行する。制御部１５０は、学習設定取得部１５１、類似情報取得部１５２およびデータラベル変換部１５３を有する。

学習設定取得部１５１は、利用者等から入出力装置１１０を通じて少なくとも所望ラベル情報（学習するラベルとその正例のときの値）を含む学習条件を取得し、学習データ記憶部１３１に記憶されている学習データの所望ラベルの値を調査し、正例の数が所定値（０あるいは予め定められた正の整数）未満であれば、類似情報取得部１５２に処理を移し、正例の数が所定値以上であれば、能動学習部１４０の学習部１４１に処理を移す。

類似情報取得部１５２は、必要に応じて学習設定取得部１５１の判定結果を入出力装置１１０に出力し、利用者等から入出力装置１１０を通じて、学習データの所望ラベルと類似関係にある他のラベルの情報を類似情報として取得し、データラベル変換部１５３に出力する。学習データの各ラベルは、そのデータの或る事象に関する状態を示す。従って、所望ラベルが示す事象と類似する事象の状態を示す他のラベルは、所望ラベルと類似関係にある。例えば、ラベル番号１のラベルが或るタンパク質Ａとの活性の有無を示し、ラベル番号２のラベルがタンパク質Ａと類縁関係にある別のタンパク質Ｂとの活性の有無を示す場合、ラベル番号１とラベル番号２のラベル同士は類似関係にあると言える。また一般に、類似するラベルどうしは、一方がクラスであれば他方もクラス、一方が関数値であれば他方も関数値で、かつ、数値の意味も同じになっている。

データラベル変換部１５３は、学習データ記憶部１３１から学習データを読み出し、各学習データにおける所望ラベルの値を、所望ラベルと類似関係にある別のラベルの値で書き換える。例えば、図２において、ラベル番号１のラベルが所望ラベル（学習ラベル）であり、「ラベル番号１とラベル番号２は類似関係にある」との類似情報が入力された場合、ラベル番号２のラベルの値でラベル番号１のラベルを書き換え、復元情報２０４に、ラベル番号１とラベル１の元の値を記録しておく。なお、真の正例はラベル変換の対象から除外しても良い。例えば、前記の例において、ラベル１が所望値の１であるデータは真の正例であるため、ラベル変換の対象としない。データラベル変換部１５３は、ラベル書き換え処理を終えると、能動学習部１４０の学習部１４１に処理を進める。

次に本実施の形態の動作を説明する。

能動学習を開始するに際しては、記憶装置１３０の学習データ記憶部１３１に複数の学習データが記憶され、候補データ記憶部１３３には複数の候補データが記憶されている。またルール記憶部１３２には有意なルールが存在せず、選択データ記憶部１３４には１つも選択データは保存されていない。この状態で処理装置１２０が起動されると、図４に示す処理が開始される。

まず、入出力装置１１０から与えられた学習条件が制御部１５０の学習設定取得部１５１へ供給される（図４のステップＳ４０１）。学習設定取得部１５１は、学習条件に含まれる所望ラベルの情報（例えば所望ラベルのラベル番号と所望値）をキーに学習データ記憶部１３１を検索し、所望ラベルの値が所望値になっている学習データの数、つまり正例の数を計数し、予め定められた閾値と比較する（ステップＳ４０２）。正例の数が閾値以上であれば、処理が学習部１４１に移行する。他方、正例の数が閾値より少ない場合、類似情報取得部１５２は、所望ラベルの類似情報を入出力装置１１０から取得してデータラベル変換部１５３に伝達する（ステップＳ４０３）。データラベル変換部１５３は、所望ラベルの類似情報に基づいて、学習データ記憶部１３１に記憶されている全ての学習データの所望ラベルの値を、類似ラベルの値に置き換え、復元情報２０４に復元のための情報を記録する（ステップＳ４０４）。そして、処理を学習部１４１に移行する。

本実施の形態の場合、学習部１４１以降の処理は従来の能動学習システムと同様に行われる。具体的には、まず学習部１４１は、学習データ記憶部１３１に記憶された学習データの集合を使って例えばバギング法によって複数のルール３０１を学習して図３に示したようにルール記憶部１３２に保存する（ステップＳ４０５）。バギングとは、アンサンブル学習法（複数の学習機械を統合して予測を行う手法）の１つであり、各学習機械は、同一の既知事例のデータベースからデータのリサンプリングを行って生成された、異なったデータ群を用いて学習を行い、これらの予測値の多数決によって、未知事例のクラスを予測する手法である。次に予測部１４２は、その学習したルールを候補データ記憶部１３３中の各候補データに適用して正例らしさのスコアを算出する（ステップＳ４０６）。次に候補データ選択部１４３は、この算出された各候補データのスコアに基づいて、次に学習すべきデータをＭ個選択する（ステップＳ４０７）。次に、データ更新部１４４は、この選択されたＭ個のデータを例えば表形式で入出力装置１１０から出力し、その後に所望ラベルの実際の値が入出力装置１１０から入力されたデータについては、候補データ記憶部１３３中の候補データの集合から取り除いて学習データ記憶部１３１中の学習データの集合に追加する（ステップＳ４０８）。これで、能動学習の１サイクルが終了し、処理が制御部１５０に戻される。

制御部１５０は、終了条件が成立したかどうかを判定し（ステップＳ４０９）、終了条件が成立していなければ、再び学習部１４１に処理を進める。以降、前述と同様の処理が繰り返される。この場合、学習データ記憶部１３１には、学習開始時点に存在した学習データとデータ更新部１４４によって追加された学習データとが混在している。後者の学習データの所望ラベルの値は実験なり調査なりで調べられた実際の値である。これに対して前者の学習データの所望ラベルの値は、若しデータラベル変換部１５３が動作していれば、他のラベルの値で置換されたままである。本実施の形態の場合、これらの学習データは特に区別されることなく使用される。他方、終了条件が成立していれば、制御部１５０は能動学習サイクルの繰り返しを停止させる。この時点でルール記憶部１３２に保存されている複数のルールが最終結果のルールになる。終了条件は、入出力装置１１０から与えられ、その条件は、能動学習サイクルの最大繰り返し回数等、任意の条件で良い。

次に、具体的な例を用いて本実施の形態の動作を説明する。

創薬スクリーニングの場面において活性化合物を探索する例として、創薬の多くのターゲットとなっているＧタンパク質共役型受容体（ＧＰＣＲ）のうち生体アミン受容体に作用するリガンド化合物、特に生体アミン受容体ファミリーの１つであるアドレナリンに作用するリガンド化合物を探索する場合を例に挙げる。

図５を参照すると、学習データ記憶部１３１にはｘ個の学習データ（化合物データ）が記憶されている。各化合物データは、識別子によって一意に識別され、また記述子１〜ｎによって構造が特定される。ラベル１〜ｍは当該化合物の活性を示し、ここでは、ラベル１がアドレナリンに対する活性の有無を示し、ラベル２がヒスタミンに対する活性の有無を示すものとする。何れの場合も、活性有りの場合は数値１、活性無しの場合は数値０に設定される。ここで、学習データ記憶部１３１には、生体アミン受容体のファミリーの１つであるヒスタミンに対して活性を持つ化合物は登録されているが、同じファミリーに属するアドレナリンに対して活性を持つ化合物は１つも登録されていないものとする。また、候補データ記憶部１３３には、アドレナリンに対する活性の有無が不明な多数の化合物データが候補データとして記憶されているものとする。

この状態で処理装置１２０の制御部１５０が動作を開始し、入出力装置１１０から所望ラベルとしてラベル１、つまりアドレナリンに活性があるデータを正例とする学習条件が入力されると、学習設定取得部１５１は、学習データ記憶部１３１を検索してラベル１の値が１になっている正例の数を計数し、閾値未満であることを判定する。このため、次に類似情報取得部１５２による類似情報の入力処理が行われる。

今の場合、利用者は、ラベル１とラベル２は類似している旨の類似情報を入出力装置１１０から入力したとする。これは、ヒスタミンはアドレナリンと同じＧＰＣＲの生体アミン受容体のファミリーに属していること、タンパク質同士が類縁関係にあるとき、リガンド化合物もしばしば似ていることがあることを利用者が考慮したことによる。

データラベル変換部１５３は、類似情報取得部１５２で取得された類似情報に従って、ラベル２の値が１であるデータ、つまりヒスタミンに作用する化合物データを、学習データ記憶部１３１から検索し、検索したデータのラベル１の値を図６に示すようにラベル２の値で置換する。そして、ラベル１の値が１であるデータを正例、ラベル１の値が０であるデータを負例として、能動学習部１４０による学習が以下のように実行される。

まず学習部１４１は、学習データ記憶部１３１の化合物データを用いて正負分類の学習を行い、生成されたルールをルール記憶部１３２に保存する。次に予測部１４２は、候補データ記憶部１３３に格納されているラベル１が未知の化合物データに関して前記ルールを適用して正例らしさのスコアを算出する。次に、候補データ選択部１４３は、予測部１４２で算出されたスコアに基づいて候補データの集合の中から次に実験候補となる化合物データを選択して選択データ記憶部１３４に保存し、データ更新部１４４は、選択データ記憶部１３４に保存されている化合物データを入出力装置１１０に出力する。

利用者は、入出力装置１１０から出力された化合物データに関し、実際にアッセイ実験を行い、アドレナリンに対する活性の有無を調べる。その結果は、アドレナリンに対して活性があったり、なかったりするが、その結果に基づいて前記出力された各化合物データのラベル１の値を入出力装置１１０から入力する。データ更新部１４４は、入力されたラベル値を各化合物データのラベル１に設定したデータを学習データ記憶部１３１に追加し、候補データ記憶部１３３から削除する。

２回目以降の能動学習サイクルにおいては、学習データ記憶部１３１に記憶される化合物データのうち、上記のアッセイ実験でアドレナリンに対して活性があることが判明した化合物データとヒスタミンに活性があるためにデータラベル変換部１５３によりラベル変換された化合物データとが正例として、その他の化合物データが負例として用いられ、上述と同様の学習が繰り返される。

このように標的タンパク質のリガンド情報がない、あるいは少ない場合に、類縁タンパク質の情報を活用して所望のリガンド化合物を効率良く見つけることが可能となり、かつ、見つけたリガンド化合物を正例として学習を続けることができる。

次に本実施の形態の効果を説明する。

本実施の形態によれば、学習開始時点の初期の状態において学習データの集合中に正例が全く存在しないか、ごく僅かしか存在しない場合でも、意味のある学習が行える。その理由は次の通りである。本実施の形態では、所望ラベルに類似する他のラベルの情報を類似情報として入力すると、学習データの所望ラベルの値が類似する別のラベルの値で置換される。この結果、類似する他のラベルの値が所望ラベルの所望値と同じであれば、置換後の学習データは正例と同じになる。これによって、正例の数が見かけ上増大する。また、置換後の正例は、所望ラベルがもともと所望値であった真の正例ではなく、いわば仮の正例であるが、類似関係があるため、仮の正例を用いて学習するルールは、或る程度意味のあるルールとなる。このため、そのルールを適用して候補データから選択した次に学習すべきデータは、ランダム選択したデータに比べて、より正例である確率が高くなり、ランダム選択に比べて学習効率が向上する。

また本実施の形態によれば、学習設定取得部１５１は、正例数が閾値以上あれば、類似情報取得部１５２およびデータラベル変換部１５３による処理を省いて、従来と同様に真の正例のみで学習を開始させることができる。このため、真の正例の数が十分にあるのに仮の正例で学習が開始されることを防止できる。

また本実施の形態によれば、データラベル変換部１５３による学習データのラベル変換時、ラベル変換対象となったラベル番号と元の値をそのデータの復元情報２０４に記録してあるので、必要に応じてラベル変換された学習データを元の状態に復元することができる。

次に第１の実施の形態の変形例について説明する。

前述した例では、類似情報取得部１５２は、所望ラベルに類似する他のラベルを１つだけ受け付けたが、この変形例では、類似する２以上の他のラベルを含む類似情報を入力装置１１０にて受け取り、データラベル変換部１５３は、個々の学習データにおいて、類似する２以上の他のラベルの値のうち所望値をとる値を所望ラベルの値に設定する。例えば、図２において、ラベル１を所望ラベル、ラベル２とラベルｍをラベル１に類似するラベル、ラベル１の所望値を１とする場合、或る学習データのラベル１が０、ラベル２が１、ラベルｍが０のとき、ラベル２の値をラベル１に設定する。また、ラベル２が０、ラベルｍが１であれば、ラベルｍの値をラベル１に設定する。こうすることで、１つの類似ラベルだけでは仮の正例の数が足りない場合でも、十分な数の仮の正例を確保することが可能となる。

また、複数の類似するラベルを指定する場合、所望ラベルとの類似度の程度に応じた使用順を類似情報で指定し、データラベル変換部１５３は、使用順の早い（類似度の高い）ものを１つ選択してラベル変換する毎に所望ラベルが所望値となっている正例の数を計数し、所定個数に達していなければ次の順番の類似ラベルを選択してラベル変換を行うようにしてもよい。

「第２の実施の形態」
図７を参照すると、本発明の第２の実施の形態にかかる能動学習システムは、制御部１５０がデータ重み付け部７０１を備えている点で、図１に示した第１の実施の形態と相違する。

データ重み付け部７０１は、データラベル変換部１５３によって学習データ記憶部１３１の学習データに対するラベル変換が実施された場合、および能動学習部１４０のデータ更新部１４４によって学習データ記憶部１３１へ新たな学習データが追加された場合、学習データ記憶部１３１の各学習データに対し、真の正例を仮の正例より重要視した学習を行うための重み付けを設定する。

図８を参照すると、学習データ記憶部１３１に記憶される各学習データは、識別子２０１、複数の記述子２０２、複数のラベル２０３および復元情報２０４に加えて、学習の重み８０１を有する。重み８０１は、例えば０から１までの値をとり、１に近いほど（値が大きいほど）重要度が高いことを示す。

図９を参照すると、本実施の形態にかかる能動学習システムの動作フローは、図４に示した第１の実施の形態と比較して、学習データの重みを設定するステップＳ９０１が設けられている点が相違する。

以下、本実施の形態の動作を説明する。

スタートからステップＳ４０４までの動作は第１の実施の形態と同じである。データラベル変換部１５３によるラベル変換が行われると、データ重み付け部７０１に処理が移る。データ重み付け部７０１は、学習データ記憶部１３１から各学習データの復元情報２０４を調べてラベル変換の有無を判定し、ラベル変換ありの学習データの正例については重み値に小さな値を設定し、ラベル変換なしの学習データについては重み値に大きな値を設定する（ステップＳ９０１）。その後、能動学習部１４０に処理が移る。

学習部１４１以降の処理においては、学習の重み８０１の値により重要度に差を付けて学習を進める。つまり、重み８０１の大きな学習データは、それより重みの小さな学習データより重要視して学習を進める。具体例には、バギング法では、学習データの集合からサンプリングしたデータを複数の学習アルゴリズム（学習機械）に与えることで複数のルールを生成するため、学習データに付加された重み８０１に従って重み付けを行いながら、学習データの集合内のデータをサンプリングする。なお、学習データに付加された重みに応じて学習の重要度を変える方法は上述した例に限定されず、その他各種の方法を採用することが可能である。

能動学習部１４０で能動学習の１サイクルが終了すると、データ重み付け部７０１に再び処理が移る。データ重み付け部７０１は、学習データ記憶部１３１に新たに追加された学習データについては、真の正例あるいは負例に応じた学習の重み８０１を設定する。

その他の動作は第１の実施の形態と同じである。

本実施の形態によれば、学習の当初から最後まで、真の正例を仮の正例より重要視した学習が可能である。従って、学習の当初に僅かではあるが真の正例が存在するような場合、ラベル変換によって生成された仮の正例よりも真の正例を重要視した学習が初回から実施されることになる。

次に第２の実施の形態の変形例について説明する。

前述した例では、第１の実施の形態と同様に、類似情報取得部１５２は、所望ラベルに類似する他のラベルを１つだけ受け付けたが、第１の実施の形態の変形例と同様に、類似する２以上の他のラベルを含む類似情報を受け付け、データラベル変換部１５３は、個々の学習データにおいて、類似する２以上の他のラベルの値のうち所望値をとる値を所望ラベルの値に設定するようにしても良い。また、複数の類似するラベルを指定する場合、所望ラベルとの類似度の程度に応じた使用順を類似情報で指定し、データラベル変換部１５３は、使用順の早い（類似度の高い）ものを１つ選択してラベル変換する毎に所望ラベルが所望値となっている正例の数を計数し、所定個数に達していなければ次の順番の類似ラベルを選択してラベル変換を行うようにしてもよい。

さらに、データ重み付け部７０１は、類似度に応じて仮の正例間に学習の重み８０１の差を付けるようにしても良い。例えば、図８において、ラベル１を所望ラベル、ラベル２とラベルｍをラベル１に類似するラベル、ラベル１とラベル２の類似度を０．８、ラベル１とラベルｍの類似度を０．４とする場合、ラベル１をラベルｍの値で置き換えた場合の重み８０１を、ラベル１をラベル２の値で置き換えた場合の重み８０１の例えば半分にする。こうすれば、学習の当初から最後まで、真の正例を仮の正例より重要視し、かつ仮の正例間ではより類似度の高いものを重要視した学習が可能である。

「第３の実施の形態」
図１０を参照すると、本発明の第３の実施の形態にかかる能動学習システムは、制御部１５０が仮設定一括解除部１００１を有する点で、図１に示した第１の実施の形態と相違する。

仮設定一括解除部１００１は、能動学習部１４０による能動学習の１サイクル終了毎に、予め定められた仮設定一括解除条件が成立しているかどうかを判定し、仮設定一括解除条件が成立していた場合、学習データ記憶部１３１に記憶されている全ての仮の正例をデータラベル変換部１５３によるラベル変換前の状態に戻す処理を行う。

図１１を参照すると、本実施の形態にかかる能動学習システムの動作フローは、図４に示した第１の実施の形態と比較して、ステップＳ１１０１〜Ｓ１１０３が追加されている点が相違する。

以下、本実施の形態の動作を説明する。

能動学習部１４０で最初の１サイクルの能動学習が終了するまでの動作（ステップＳ４０１〜Ｓ４０８）は、第１の実施の形態と同じである。データ更新部１４４による学習データ記憶部１３１への新たな学習データの追加が行われ、処理が制御部１５０に戻されると、第１の実施の形態と同様に終了条件が成立したかどうか判定され（ステップＳ４０９）、成立していなければ仮設定一括解除部１００１に処理が移る。

仮設定一括解除部１００１は、仮設定一括解除済みでなければ（ステップＳ１１０１でＮＯ）、仮設定一括解除条件が成立しているかどうかを判定する（ステップＳ１１０２）。仮設定一括解除条件は予めシステムに設定されている。例えば、学習データ記憶部１３１に存在する真の正例の数が予め設定された閾値以上になったことを、仮設定一括解除条件として設定しておくことができる。この場合、仮設定一括解除部１００１は、学習データ記憶部１３１に記憶されたデータのうち、所望ラベルが所望値であり且つ復元情報がＮＵＬＬであるデータの数を計数し、閾値と比較する。なお、データ更新部１４４によって学習データ記憶部１３１に追加された全データに占める正例の割合が所定値以上になったこと等、他の条件を仮設定一括解除条件とすることもできる。

仮設定一括解除部１００１は、仮設定一括解除条件が成立している場合（ステップＳ１１０２でＹＥＳ）、学習データ記憶部１３１に記憶されている各データの復元情報２０４を調べ、ラベル変換対象のラベル番号と元の値が記録されていれば、そのデータの当該ラベル番号のラベルの値を元の値で書き換えることで、データラベル変換前の状態に戻す（ステップＳ１１０３）。その後、能動学習部１４０の学習部１４１に処理が移り、次の能動学習サイクルが開始される。これにより、以降の能動学習サイクルにおいては、学習データ記憶部１３１に記憶された真の正例と負例を用いて学習が行われる。

その他の動作は第１の実施の形態と同じである。

次に、第１の実施の形態で用いたものと同様な具体例、つまり、創薬スクリーニングの場面において活性化合物を探索する例として、創薬の多くのターゲットとなっているＧタンパク質共役型受容体（ＧＰＣＲ）のうち生体アミン受容体に作用するリガンド化合物、特に生体アミン受容体ファミリーの１つであるアドレナリンに作用するリガンド化合物を探索する場合を例に挙げて、本実施の形態の動作を説明する。能動学習部１４０で最初の１サイクルの能動学習が終了するまでの動作（ステップＳ４０１〜Ｓ４０８）は、第１の実施の形態の具体例と同じである。

データ更新部１４４による学習データ記憶部１３１への新たな学習データの追加が行われ、処理が制御部１５０に戻されると、第１の実施の形態と同様に終了条件が成立したかどうか判定され、成立していなければ仮設定一括解除部１００１に処理が移る。この時点で学習データ記憶部１３１には、図１２に示されるように識別子ｘ＋１からｘ＋ａまでのａ個の真の正例および負例が追加されているものとする。

仮設定一括解除部１００１は、学習データ記憶部１３１に存在する真の正例の数を調べて閾値と比較し、仮設定一括解除条件の成立性を判定する。そして、仮設定一括解除条件が成立している場合、学習データ記憶部１３１に記憶されている仮の正例をラベル変換前の状態に戻す。図１２中、識別子１と識別子３のデータは仮の正例であり、それらはラベル１の値が元の値に戻される。この結果、学習データ記憶部１３１の内容は図１３に示すようになり、仮の正例は全て負例になり、学習データは真の正例と負例だけになる。このため以降の能動学習サイクルにおいては、学習データ記憶部１３１に記憶される化合物データのうち、上記のアッセイ実験でアドレナリンに対して活性があることが判明した化合物データのみが正例として、その他の化合物データは全て負例として用いられ、上述と同様の学習が繰り返される。

このように標的タンパク質のリガンド情報がない、あるいは少ない場合に、類縁タンパク質の情報を活用して所望のリガンド化合物を効率良く見つけることが可能となり、かつ、仮設定一括解除条件が成立した後は、見つけたリガンド化合物のみを正例として学習を続けることができる。

次に本実施の形態の効果を説明する。

本実施の形態によれば、学習開始時点の初期の状態において学習データの集合中に正例が全く存在しないか、ごく僅かしか存在しない場合でも、意味のある学習が行えるという第１の実施の形態と同様の効果が得られると共に、能動学習サイクルが繰り返されて真の正例が獲得され、仮設定一括解除条件が成立すると、正例に関し、データラベルの一括逆変換処理によって仮の正例を使用した学習から真の正例のみを使用した学習に移行することができる。このため、仮の正例を使用し続ける場合に比べて、精度の良い学習が可能となる。

次に第３の実施の形態の変形例について説明する。

前述した例では、仮設定一括解除部１００１は、学習データ記憶部１３１に記憶されている仮の正例のラベルを元のラベルに変換することによって、仮の正例による学習への影響をなくしたが、第２の実施の形態で説明した学習の重みを利用して、仮の正例による学習への影響をなくすこともできる。すなわち、仮の正例の学習の重みを０に設定する。但し、この変形例によれば、仮の正例を真の負例にすることはできない。つまり、データの重みが０（ゼロ）であることは、データが存在しないことを意味し、真の負例を意味しない。

「第４の実施の形態」
図１４を参照すると、本発明の第４の実施の形態にかかる能動学習システムは、制御部１５０が仮設定一括解除部１００１の代わりに仮設定漸次解除部１４０１を有する点で、図１０に示した第３の実施の形態と相違する。

仮設定漸次解除部１４０１は、能動学習部１４０による能動学習の１サイクル終了毎に、予め定められた仮設定漸次解除条件が成立しているかどうかを判定し、仮設定漸次解除条件が成立していた場合、学習データ記憶部１３１に記憶されている一部の仮の正例をデータラベル変換部１５３によるラベル変換前の状態に戻す処理を行う。

図１５を参照すると、本実施の形態にかかる能動学習システムの動作フローは、図１１に示した第３の実施の形態と比較して、ステップＳ１５０１〜Ｓ１５０３の処理が相違する。

以下、本実施の形態の動作を説明する。

能動学習部１４０で最初の１サイクルの能動学習が終了するまでの動作（ステップＳ４０１〜Ｓ４０８）は、第３の実施の形態と同じである。データ更新部１４４による学習データ記憶部１３１への新たな学習データの追加が行われ、処理が制御部１５０に戻されると、第３の実施の形態と同様に終了条件が成立したかどうか判定され（ステップＳ４０９）、成立していなければ仮設定漸次解除部１４０１に処理が移る。

仮設定漸次解除部１４０１は、学習データ記憶部１３１の仮の正例の全てをラベル変換前の状態に戻していなければ（ステップＳ１５０１でＮＯ）、仮設定漸次解除条件が成立しているかどうかを判定する（ステップＳ１５０２）。仮設定漸次解除条件は予めシステムに設定されている。例えば、学習データ記憶部１３１に存在する真の正例の数が、下記の式（１）で与えられる閾値以上になったことを、仮設定漸次解除条件として設定しておくことができる。ただし、αは予め定められた正の正数である。
閾値＝α×現在まで実行された能動学習サイクル数 …（１）

この例の仮設定漸次解除条件の場合、仮設定漸次解除部１４０１は、学習データ記憶部１３１に記憶されたデータのうち、所望ラベルが所望値であり且つ復元情報がＮＵＬＬであるデータの数を計数し、前記式（１）で計算した閾値と比較する。なお、仮設定漸次解除条件は上記の例に限定されるものではない。

仮設定漸次解除部１４０１は、仮設定漸次解除条件が成立している場合（ステップＳ１５０２でＹＥＳ）、学習データ記憶部１３１に記憶されている各データの復元情報２０４を調べ、復元情報２０４がＮＵＬＬでないデータのうち、予め定められた数のデータについて、そのデータの所望ラベルの値を元の値で書き換えることで、データラベル変換前の状態に戻す（ステップＳ１５０３）。その後、能動学習部１４０の学習部１４１に処理が移り、次の能動学習サイクルが開始される。そして、能動学習サイクルが終了すると、再び上述した仮設定漸次解除部１４０１による判定と処理が実施される。これにより、能動学習サイクルが進んで真の正例の数が次第に増えるに従って、学習データ記憶部１３１に記憶された仮の正例の数が次第に減少し、最後には真の正例と負例を用いて学習が行われる。

その他の動作は第３の実施の形態と同じである。

次に本実施の形態の効果を説明する。

本実施の形態によれば、学習開始時点の初期の状態において学習データの集合中に正例が全く存在しないか、ごく僅かしか存在しない場合でも、意味のある学習が行えるという第１の実施の形態と同様の効果が得られると共に、能動学習サイクルが繰り返されて真の正例が次第に獲得されるに従って、仮の正例の数が次第に減らされるため、正例に関し、仮の正例を使用した学習から真の正例のみを使用した学習に徐々に移行することができる。

次に第４の実施の形態の変形例について説明する。

前述した例では、仮設定漸次解除部１４０１は、学習データ記憶部１３１に記憶されている一部の仮の正例のラベルを元のラベルに変換することによって、仮の正例による学習への影響を徐々になくしたが、第２の実施の形態で説明した学習の重みを利用して、仮の正例による学習への影響を徐々になくすこともできる。すなわち、仮設定漸次解除条件が成立する毎に、一部の仮の正例の学習の重みを０に設定するか、全ての仮の正例の学習の重みを所定値だけ小さくする。但し、この変形例によれば、仮の正例を真の負例にすることはできないので、全ての仮の正例の学習の重みが０になった時点で、全ての仮の正例のラベルをラベル変換前の状態に戻すのが望ましい。また、この変形例と第４の実施の形態とを組み合わせ、仮設定漸次解除条件が成立する毎に、一部の仮の正例のラベルをラベル変換前の状態に戻すと同時に、残りの仮の正例の学習の重みを所定値だけ下げるような変形例も考えられる。

「第５の実施の形態」
図１６を参照すると、本発明の第５の実施の形態にかかる能動学習システムは、仮の正例の所望ラベルの値が未知である点と、制御部１５０が仮設定一括解除部１００１の代わりに仮設定一括解除部１６０１を有する点で、図１０に示した第３の実施の形態と相違する。

図１７を参照すると、学習データ記憶部１３１には図５と同様な化合物データがｙ個記憶されている。各学習データは、識別子によって一意に識別され、また記述子１〜ｎによって構造が特定される。ラベル１〜ｍは当該化合物の活性を示し、ここでは、ラベル１がアドレナリンに対する活性の有無を示し、ラベル２がヒスタミンに対する活性の有無を示す。何れの場合も、活性有りの場合は数値１、活性無しの場合は数値０に設定され、未知の場合はＮＵＬＬに設定される（図１７では「？」で表示）。本例の場合、学習データ記憶部１３１には、生体アミン受容体のファミリーの１つであるヒスタミンに対して活性を持つ或いは持たない化合物が登録されているが、それらの化合物が、同じファミリーに属するアドレナリンに対して活性を持つか、持たないかは未知である場合を想定している。また、候補データ記憶部１３３には、アドレナリンに対する活性の有無が不明な多数の化合物データが候補データとして記憶されている。

仮設定一括解除部１６０１は、能動学習部１４０による能動学習の１サイクル終了毎に、予め定められた仮設定一括解除条件が成立しているかどうかを判定し、仮設定一括解除条件が成立していた場合、学習データ記憶部１３１に記憶されている全ての仮の正例をデータラベル変換部１５３によるラベル変換前の状態に戻す処理を行う。この処理は第３の実施の形態における仮設定一括解除部１００１の処理と同じであるが、さらに仮設定一括解除部１６０１は、ラベル変換前の状態に戻した学習データの所望ラベルの値を調べ、ＮＵＬＬであれば、その学習データを候補データ記憶部１３３に追加し、学習データ記憶部１３１から削除する。ＮＵＬＬでなければ、そのまま学習データ記憶部１３１に残し、正例または負例として学習に使用する。

図１８を参照すると、本実施の形態にかかる能動学習システムの動作フローは、図１１に示した第３の実施の形態と比較して、ステップＳ１８０１が追加されている点が相違する。

以下、本実施の形態の動作を説明する。

能動学習部１４０で最初の１サイクルの能動学習が終了するまでの動作（ステップＳ４０１〜Ｓ４０８）は、第３の実施の形態と同じである。ただし、本実施の形態の場合、学習データの所望ラベルの値は未知であるため、データラベル変換部１５３は、類似ラベルの値が所望値であるか否かにかかわらず、所望ラベルの値に設定することで、仮の正例だけでなく、仮の負例も生成する。例えば、図１７において、所望ラベルであるラベル１に類似するラベルをラベル２とすると、識別子１の学習データのラベル１には１が設定されて仮の正例となり、識別子２の学習データのラベル１には０が設定されて仮の負例となる。その後、データ更新部１４４による学習データ記憶部１３１への新たな学習データの追加が行われ、処理が制御部１５０に戻されると、第３の実施の形態と同様に終了条件が成立したかどうか判定され、成立していなければ仮設定一括解除部１６０１に処理が移る。この時点の学習データ記憶部１３１の内容例を図１９に示す。図１２と同様にａ個の新たな学習データが追加されている。

仮設定一括解除部１６０１は、仮設定一括解除済みでなければ（ステップＳ１１０１でＮＯ）、仮設定一括解除条件が成立しているかどうかを判定し（ステップＳ１１０２）、仮設定一括解除条件が成立している場合（ステップＳ１１０２でＹＥＳ）、学習データ記憶部１３１に記憶されている各データの復元情報２０４を調べ、ラベル変換対象のラベル番号と元の値が記録されていれば、そのデータの当該ラベル番号のラベルの値を記録されている元の値で書き換えることで、データラベル変換前の状態に戻す（ステップＳ１１０３）。そして、データラベル変換前の状態に戻したデータの所望ラベルが未知であれば、そのデータを学習データ記憶部１３１から候補データ記憶部１３３へ移動させる（ステップＳ１８０１）。従って、図１９の場合、識別子１、２、３、ｘのデータが候補データ記憶部１３３に移される。その後、能動学習部１４０の学習部１４１に処理が移り、次の能動学習サイクルが開始される。これにより、以降の能動学習サイクルにおいては、学習データ記憶部１３１に記憶された真の正例と負例を用いて学習が行われる。また、学習データ記憶部１３１から候補データ記憶部１３３に移されたデータが、次に学習すべきデータの候補データとして扱われる。

その他の動作は第３の実施の形態と同じである。

本実施の形態によれば、学習開始時点の初期の状態において学習データの集合中に正例が全く存在しないか、ごく僅かしか存在しない場合でも、意味のある学習が行え、また、能動学習サイクルが繰り返されて真の正例が獲得され、仮設定一括解除条件が成立すると、正例に関し、データラベルの一括逆変換処理によって仮の正例を使用した学習から真の正例のみを使用した学習に移行することができるという第３の実施の形態と同様の効果が得られると共に、所望ラベルの値が未知であった仮の正例を候補データとして扱うことが可能となり、候補データ数を増やすことができる。

「第６の実施の形態」
図２０を参照すると、本発明の第６の実施の形態にかかる能動学習システムは、仮の正例の所望ラベルの値が未知である点と、制御部１５０が仮設定漸次解除部１４０１の代わりに仮設定漸次解除部２００１を有する点で、図１４に示した第４の実施の形態と相違する。

仮設定漸次解除部２００１は、能動学習部１４０による能動学習の１サイクル終了毎に、予め定められた仮設定漸次解除条件が成立しているかどうかを判定し、仮設定漸次解除条件が成立していた場合、学習データ記憶部１３１に記憶されている一部の仮の正例をデータラベル変換部１５３によるラベル変換前の状態に戻す処理を行う。この処理は第４の実施の形態における仮設定漸次解除部１４０１の処理と同じであるが、さらに仮設定漸次解除部２００１は、ラベル変換前の状態に戻した学習データの所望ラベルの値を調べ、未知（ＮＵＬＬ）であれば、その学習データを候補データ記憶部１３３に追加し、学習データ記憶部１３１から削除する。ＮＵＬＬでなければ、そのまま学習データ記憶部１３１に残し、正例または負例として学習に使用する。本実施の形態の動作は、この仮設定漸次解除部２００１の動作を除き、第４の実施の形態と同じである。

本実施の形態によれば、学習開始時点の初期の状態において学習データの集合中に正例が全く存在しないか、ごく僅かしか存在しない場合でも、意味のある学習が行え、また能動学習サイクルが繰り返されて真の正例が次第に獲得されるに従って、仮の正例の数が次第に減らされるため、正例に関し、仮の正例を使用した学習から真の正例のみを使用した学習に徐々に移行することができるという第４の実施の形態と同様の効果が得られると共に、所望ラベルの値が未知であった仮の正例を候補データとして扱うことが可能となり、候補データ数を増やすことができる。

「第７の実施の形態」
図２１を参照すると、本発明の第７の実施の形態は、処理装置１２０とは独立した別の処理装置２１０１とそれに接続された入出力装置２１０２とを備えている点で、第１ないし第６の実施の形態と相違する。

処理装置２１０１は、図１の学習設定取得部１５１、類似情報取得部１５２およびデータラベル変換部１５３の機能を備えており、キーボードやＬＣＤ等で構成された入出力装置２１０２からの指示に従って、ラベル変換処理済みの学習データ、すなわち、複数の記述子と複数のラベルとで構成されるデータの所望ラベルの値を該所望ラベルが示す事象と類似する事象の状態を示す他のラベルの値で書き換えたデータを学習データとして生成し、処理装置間の通信路を通じて処理装置１２０に送信する。処理装置１２０は、第１ないし第６の実施の形態と同様の構成を有するが、処理装置２１０１から前記学習データを受信すると、それを記憶装置１３０の学習データ記憶部１３１に記憶し、学習設定取得部１５１、類似情報取得部１５２およびデータラベル変換部１５３による処理は省略する。

本実施の形態によれば、複数の記述子と複数のラベルとで構成されるデータの所望ラベルの値を該所望ラベルが示す事象と類似する事象の状態を示す他のラベルの値で書き換えたデータを学習データとして生成する処理が外部の処理装置で行われるため、能動学習部１４０を有する処理装置１２０の負荷を軽減することができる。

なお、上記の動作説明では、処理装置２１０１で生成した学習データを通信路を通じて処理装置へ伝達したが、処理装置２１０１から可搬型の記憶装置に学習データを書き込み、この記憶装置を処理装置１２０の設置場所まで運搬し、処理装置１２０にセットして記憶装置１３０に読み込ませるか、この記憶装置そのものを学習データ記憶部１３１として使用するようにしてもよい。

「本発明のその他の実施の形態」
以上本発明の実施の形態について説明したが、本発明は以上の例に限定されずその他各種の付加変更が可能である。また、本発明の能動学習システムは、その有する機能をハードウェア的に実現することは勿論、コンピュータと能動学習プログラムとで実現することができる。能動学習プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における制御部および能動学習部内の各機能手段として機能させる。

本発明の能動学習システムおよび方法は、例えば、創薬スクリーニングの場面において活性化合物を探索するなどのように、多数の候補データからユーザが所望するデータを選択するようなデータマイニングの用途に適用できる。

本発明の第１の実施の形態にかかる能動学習システムのブロック図である。 本発明で扱う学習データのフォーマット例を示す図である。 ルール記憶部の内容例を示す図である。 本発明の第１の実施の形態にかかる能動学習システムの処理例を示すフローチャートである。 学習データ記憶部の内容例を示す図である。 ラベル変換処理後の学習データ記憶部の内容例を示す図である。 本発明の第２の実施の形態にかかる能動学習システムのブロック図である。 本発明で扱う学習データの別のフォーマット例を示す図である。 本発明の第２の実施の形態にかかる能動学習システムの処理例を示すフローチャートである。 本発明の第３の実施の形態にかかる能動学習システムのブロック図である。 本発明の第３の実施の形態にかかる能動学習システムの処理例を示すフローチャートである。 学習がある程度進んだ時点の学習データ記憶部の内容例を示す図である。 仮設定一括解除処理後の学習データ記憶部の内容例を示す図である。 本発明の第４の実施の形態にかかる能動学習システムのブロック図である。 本発明の第４の実施の形態にかかる能動学習システムの処理例を示すフローチャートである。 本発明の第５の実施の形態にかかる能動学習システムのブロック図である。 学習データ記憶部の別の内容例を示す図である。 本発明の第５の実施の形態にかかる能動学習システムの処理例を示すフローチャートである。 仮設定一括解除処理後の学習データ記憶部の別の内容例を示す図である。 本発明の第６の実施の形態にかかる能動学習システムのブロック図である。 本発明の第７の実施の形態にかかる能動学習システムのブロック図である。

符号の説明

１１０…入出力装置
１２０…処理装置
１３０…記憶装置
１３１…学習データ記憶部
１３２…ルール記憶部
１３３…候補データ記憶部
１３４…選択データ記憶部
１４０…能動学習部
１４１…学習部
１４２…予測部
１４３…候補データ選択部
１４４…データ更新部
１５０…制御部
１５１…学習設定取得部
１５２…類似情報取得部
１５３…データラベル変換部

Claims (15)

1. 所望ラベルと類似関係にある他のラベルの情報を示す類似情報に従って、複数の記述子と複数のラベルとで構成されるデータの所望ラベルの値を該所望ラベルが示す事象と類似する事象の状態を示す他のラベルの値で書き換えたデータを学習データとして前記学習データの集合を学習データ記憶部上に生成する制御部と、
   前記所望ラベルが未知のデータを候補データとして前記候補データの集合を記憶する候補データ記憶部と、
   前記所望ラベルが所望値のデータを正例、それ以外のデータを負例とするとき、前記学習データ記憶部に記憶された正例と負例のデータを使って、任意のデータの記述子の入力に対してそのデータの正例らしさを計算するルールを学習する学習部、学習したルールを前記候補データ記憶部に記憶された候補データの集合に適用して各候補データの正例らしさを予測する予測部、予測結果に基づいて次に学習すべきデータを選択する候補データ選択部、および、選択したデータを出力装置から出力し、該出力したデータのうち前記所望ラベルの実際の値が入力装置から入力されたデータについては候補データの集合から取り除いて学習データの集合に追加するデータ更新部を含み、前記制御部により能動学習サイクルの繰り返しが制御される能動学習部とを備えることを特徴とする能動学習システム。
2. 前記制御部は、前記入力装置から入力された前記所望ラベルの情報に基づいて前記学習データ記憶部に予め記憶された学習データの集合に含まれる正例の数を調べる学習設定取得部と、調べられた正例の数が閾値より少ない場合に前記所望ラベルと類似する他のラベルに関する類似情報を前記入力装置から入力する類似情報取得部と、前記学習データ記憶部に記憶された学習データの前記所望ラベルの値を前記類似情報が示す他のラベルの値で書き換えるデータラベル変換部とを含むことを特徴とする請求項１記載の能動学習システム。
3. 前記制御部は、前記所望ラベルの値が他のラベルの値で書き換え済みの学習データを外部装置から受信して前記学習データ記憶部に保存するものであることを特徴とする請求項１記載の能動学習システム。
4. 前記制御部は、他のラベルの値で書き換えられた結果前記所望ラベルが所望値になっている仮の正例よりも、前記所望ラベルが実際に所望値である真の正例を重要視した学習が前記能動学習部で行われるための重みを前記学習データに設定するデータ重み付け部を有することを特徴とする請求項１、２または３記載の能動学習システム。
5. 前記制御部は、前記能動学習部による能動学習中に、予め定められた仮設定一括解除条件が成立したかどうかを判定し、前記仮設定一括解除条件が成立した場合、前記学習データ記憶部に記憶されている学習データのうち、前記所望ラベルの値が他のラベルの値で書き換えられている全ての学習データを書き換え前の状態に戻す仮設定一括解除部を有することを特徴とする請求項１、２または３記載の能動学習システム。
6. 前記仮設定一括解除部は、書き換え前の状態に戻した学習データの前記所望ラベルが未知の場合、該学習データを前記学習データ記憶部から前記候補データ記憶部へ移動させるものであることを特徴とする請求項５記載の能動学習システム。
7. 前記制御部は、前記能動学習部による能動学習の１サイクル終了毎に、予め定められた仮設定漸次解除条件が成立したかどうかを判定し、前記仮設定漸次解除条件が成立した場合、前記学習データ記憶部に記憶されている学習データのうち、前記所望ラベルの値が他のラベルの値で書き換えられている一部の学習データを書き換え前の状態に戻す仮設定漸次解除部を有することを特徴とする請求項１、２または３記載の能動学習システム。
8. 前記仮設定漸次解除部は、書き換え前の状態に戻した学習データの前記所望ラベルが未知の場合、該学習データを前記学習データ記憶部から前記候補データ記憶部へ移動させるものであることを特徴とする請求項７記載の能動学習システム。
9. 前記制御部は、前記能動学習部による能動学習の１サイクル終了毎に、予め定められた仮設定漸次解除条件が成立したかどうかを判定し、前記仮設定漸次解除条件が成立した場合、前記学習データ記憶部に記憶されている学習データのうち、前記所望ラベルの値が他のラベルの値で書き換えられている一部の学習データの学習の重みを０に設定するか、または前記所望ラベルの値が他のラベルの値で書き換えられている全ての学習データの学習の重みを所定値だけ小さくする仮設定漸次解除部を有することを特徴とする請求項１、２または３記載の能動学習システム。
10. ａ）制御部が、所望ラベルと類似関係にある他のラベルの情報を示す類似情報に従って、複数の記述子と複数のラベルとで構成されるデータの所望ラベルの値を該所望ラベルが示す事象と類似する事象の状態を示す他のラベルの値で書き換えたデータを学習データとして前記学習データの集合を学習データ記憶部上に生成するステップ、
    ｂ）能動学習部が、前記所望ラベルが所望値のデータを正例、それ以外のデータを負例とするとき、前記学習データ記憶部に記憶された正例と負例のデータを使って、任意のデータの記述子の入力に対してそのデータの正例らしさを計算するルールを学習するステップ、
    ｃ）前記能動学習部が、前記所望ラベルが未知のデータを候補データとして前記候補データの集合を記憶する候補データ記憶部に記憶された前記候補データの集合に対して、前記学習したルールを適用して各候補データの正例らしさを予測するステップ、
    ｄ）前記能動学習部が、予測結果に基づいて次に学習すべきデータを選択するステップ、
    ｅ）前記能動学習部が、選択したデータを出力装置から出力し、該出力したデータのうち前記所望ラベルの実際の値が入力装置から入力されたデータについては候補データの集合から取り除いて学習データの集合に追加するステップ、
    ｆ）前記制御部が終了条件の成否に基づき前記能動学習部による能動学習サイクルの繰り返しを制御するステップ、
    を含むことを特徴とする能動学習方法。
11. 前記ステップａにおいて、前記制御部は、前記入力装置から入力された前記所望ラベルの情報に基づいて前記学習データ記憶部に予め記憶された学習データの集合に含まれる正例の数を調べ、調べられた正例の数が閾値より少ない場合に前記所望ラベルと類似する他のラベルに関する類似情報を前記入力装置から入力し、前記学習データ記憶部に記憶された学習データの前記所望ラベルの値を前記類似情報が示す他のラベルの値で書き換えることを特徴とする請求項１０記載の能動学習方法。
12. 前記ステップａにおいて、前記制御部は、前記所望ラベルの値が他のラベルの値で書き換え済みの学習データを外部装置から受信して前記学習データ記憶部に保存することを特徴とする請求項１０記載の能動学習方法。
13. 記憶装置と入力装置と出力装置とを備えたコンピュータを、所望ラベルと類似関係にある他のラベルの情報を示す類似情報に従って、複数の記述子と複数のラベルとで構成されるデータの所望ラベルの値を該所望ラベルが示す事象と類似する事象の状態を示す他のラベルの値で書き換えたデータを学習データとして前記学習データの集合を前記記憶装置上に生成する制御手段、前記所望ラベルが所望値のデータを正例、それ以外のデータを負例とするとき、前記記憶装置に記憶された学習データの正例と負例のデータを使って、任意のデータの記述子の入力に対してそのデータの正例らしさを計算するルールを学習し、学習したルールを前記記憶装置に予め記憶された前記所望ラベルが未知の候補データの集合に適用して各候補データの正例らしさを予測し、予測結果に基づいて次に学習すべきデータを選択し、選択したデータを前記出力装置から出力し、該出力したデータのうち前記所望ラベルの実際の値が前記入力装置から入力されたデータについては候補データの集合から取り除いて学習データの集合に追加する、能動学習サイクルを終了条件が成立するまで繰り返す能動学習手段、として機能させるためのプログラム。
14. 前記制御手段は、前記入力装置から入力された前記所望ラベルの情報に基づいて前記学習データ記憶部に予め記憶された学習データの集合に含まれる正例の数を調べる学習設定取得手段と、調べられた正例の数が閾値より少ない場合に前記所望ラベルと類似する他のラベルに関する類似情報を前記入力装置から入力する類似情報取得手段と、前記学習データ記憶部に記憶された学習データの前記所望ラベルの値を前記類似情報が示す他のラベルの値で書き換えるデータラベル変換手段とを含むことを特徴とする請求項１３記載のプログラム。
15. 前記制御手段は、前記所望ラベルの値が他のラベルの値で書き換え済みの学習データを外部装置から受信して前記学習データ記憶部に保存するものであることを特徴とする請求項１３記載のプログラム。

Images