JP4985653B2 - ２クラス分類予測モデルの作成方法、分類予測モデル作成のためのプログラムおよび２クラス分類予測モデルの作成装置 - Google Patents

Description

本発明は、クラス未知のサンプルに対する分類予測モデルを作成するための方法、作成プログラムおよび作成装置に関する。

クラス分類問題とは、複数のクラスのうちどのクラスに属するかが既知であるサンプルの集団から、そのクラスを分類するための規則を学習し、学習した規則を予測モデルとして使用し、どのクラスに属するかが未知のサンプルについてそれが属するクラスを予測する問題である。特に、サンプルセットを２つのクラスに分類する２クラス分類は、長年にわたって構造活性相関研究に活用され、最近では、化合物の毒性等の有無を判別する有用な手法として注目されている。規則を学習するための手法、即ち分類手法には、線形学習機械法、判別分析、Ｂａｙｅｓ線形判別分析、ＳＶＭ（サポートベクターマシン）、ＡｄａＢｏｏｓｔ等の線形判別分析法、および、Ｂａｙｅｓ非線形判別分析、ニューラルネットワーク、ＫＮＮ法（最近接法）等の非線形判別分析法がある。

一般的にクラス分類問題では、必ず誤分類が発生し、分類率を１００％にすることが大変難しい。ここで「分類率」とは、帰属クラスが既知のサンプルをどの程度正しくクラス分けを行ったのかを示す指標であり、「予測率」とは、帰属クラスが不明のサンプルをどの程度正しくクラス予測を行ったかを示す指標である。基本的に「分類率」は「予測率」を下回ることはない。従って、「分類率」を上げれば、「予測率」の上限も自動的に上がってくる。この事実から、分類率を高い値にすることが出来れば、予測率も高くなる。また、データ解析の一般的な特徴として、サンプル数が増えるに従って、分類率が低下することも知られている。ここで、誤分類とは、本来はクラス１に属するサンプルを誤ってクラス２に属するサンプルとして分類することである。例えば、複数の化合物をサンプルセットとし、これらのサンプルを、毒性を有する化合物セット（クラス１）と毒性を持たない化合物セット（クラス２）にクラス分類する場合、毒性発現の要因が複雑で多岐にわたることから、誤分類が発生しやすく、現状では、分類率を上げることが非常に困難である。

また、分類率の値が高くとも使用するサンプル数が多い場合は誤分類サンプルの絶対数が大きくなるので、この点で注意が必要である。例えば、毒性化合物と非毒性化合物を分類する場合、学習に使用するサンプル数が多い場合、例えば１万個の化合物セットを用いて分類を行う時は、たとえ９０％の分類率が得られていても、１千個の化合物について誤分類されており、この数は無視できない。更に、毒性分類の場合の特徴として、毒性を持たない化合物を毒性を持つと誤分類しても大きな影響はないが、毒性化合物を非毒性化合物と誤分類することは非常に危険であり、絶対に避けなければならない問題である。この点でも、分類率は１００％であることが望まれる。

従って、現在、クラス分類問題において分類率を上げることが重要な問題であると認識され、そのために種々の努力がなされている。一つのサンプルセットに対して、通常は１本の判別関数を用いて分類を行うが、分類率を上げる手法として、異なる複数の分類手法によって作成された複数の判別関数を用いて分類することで、見かけ上の分類率を向上させる手法がある。以下に、１本の判別関数を用いて分類を行う場合と、複数の判別関数を用いて分類を行う場合について、図を参照して説明する。なお、以下の図において、同一の符号は同じか類似の構成要素を示すので、重複した説明は省略する。

図１は、１本の判別関数を用いてサンプルセットを理想的に２クラス分類した結果を、イメージで示す図である。分類にＮ個のパラメータ（説明変数）を用いたので、Ｎ次元空間上でサンプルがポジティブ（Ｐｏｓｉｔｉｖｅ）クラス（クラス１、例えば毒性を有するクラス）とネガティブ（Ｎｅｇａｔｉｖｅ）クラス（クラス２、例えば毒性を持たないクラス）の２クラスに分類されている様子を示している。図１において、○は本来ポジティブクラスに分類されるサンプルを示し、×は本来ネガティブクラスに分類されるサンプルを示している。理想的な分類、即ち、分類率が１００％の場合、判別関数（予測モデル）１は、本来ポジティブであるサンプル２と本来ネガティブであるサンプル３とを完全に分離する。ところが、このような理想的な分類は、毒性化合物と非毒性化合物を分類するような２クラス分類問題ではほとんど実現不可能である。

図２は、１本の判別関数を用いた通常の２クラス分類の結果を示す。この場合、判別関数１の左側であって、本来ポジティブサンプルのみが分類される領域に、本来ネガティブサンプルとして判別関数１の右側に分類されねばならないサンプル３’が複数存在する。更に、判別関数１の右側であって、本来ネガティブサンプルのみが分類される領域に、本来ポジティブサンプルとして判別関数１の左側に分類されねばならないサンプル２’が複数存在する。これらのサンプル２’、３’は誤分類されたサンプルであり、分類率を低下させる原因となっている。現在の判別分析では、このような誤分類されたサンプル２’、３’を０とする（即ち、１００％分類）ことは困難である。特に、化合物の毒性判別のように、毒性の要因が複雑でかつサンプル数が多いものに関しては、ほとんど不可能である。

図３は、複数の分類手法によって導出した複数の異なる判別関数１ａ、１ｂ、１ｃを用いる場合を示す。図示の例は、３本の判別関数を用いる場合であるが、判別関数１ａと判別関数１ｂあるいは１ｃの２本を用いてもよい。複数の判別関数を用いる場合、クラス決定のためのルールが必要となる。２本の判別関数で分類する場合は、サンプルは、２本の判別関数の分類結果が一致した場合、その分類されたクラスに帰属される。これらが、当初の分類目的である２つのクラスとなる。一方、2本の判別関数による分類結果が異なる場合はサンプルを分類することが出来ない。このような場合は、当初の分類目的としたクラスのいずれにも属さないクラス（ここでは、便宜上、グレークラスと呼ぶ）に割り当てられる。一方、判別関数が３本以上で、かつ、その本数が奇数である場合には、多数決を適用できるため、より細かなクラス決定ルールを設定することで、クラス決定を行うことが可能となる。

複数の判別関数を用いた分類では、判別関数の違いによりクラス帰属が変わらないサンプルセット（Ａ）と、クラス帰属が変わるサンプルセット（Ｂ）とに分類される。分類率は全サンプルセットからサンプル（Ｂ）セットを除いた残りのサンプルセット（Ａ）のみについての分類結果が示されるので、見かけ上の分類率は向上する。しかし、サンプルセット（Ｂ）の分類は実施されないので、全体（Ａ＋Ｂ）から見れば、完全分類からは程遠く、単に見かけ上の「分類率」向上を実現しているだけである。一般的に、複数の判別関数を用いた分類では、分類が困難なサンプルセットを用いる程、クラス決定できない（即ちグレークラス）サンプルの割合が増えてくる。場合によってはグレークラスの割合が９０％を越す場合も出てくる。このような場合は、分類率が高くとも、クラス決定率が極めて低いので、実用上使い物にならない手法となる。

しかしながら、複数の異なる解析手法により得られた判別関数を用いても、サンプルセットを完全に正しく分類することは困難である。これは、図３において、３本の判別関数１ａ、１ｂ、１ｃをどのように組み合わせたとしても、判別関数１ａ、１ｂ及び１ｃの左側に存在するネガティブ（Ｘ）なサンプルや、判別関数１ａ，１ｂ及び１ｃの右側に存在するポジティブ(○)なサンプルが存在するためである。即ち、複数の異なる判別関数を用いたとしても、極めて高い分類率を達成することは困難である。

上述したように、化合物の毒性予測では、実際には毒性の無い化合物を毒性があると誤分類してもその影響は小さいが、毒性のある化合物を毒性がないとして分類すること（フォールスネガティブ（偽のネガティブ）と言われる）は許されない。本発明者は、この点に着目して、毒性（発ガン性）のある化合物を意識的に高くする判別関数を作成した（非特許文献１参照）。この判別関数では、全体の分類率はあまり高くないが、フォールスネガティブ（偽のネガティブ）の発生確率を低下させることができた。しかしながら、この方法であっても、フォールスネガティブの発生確率を０とすることはできなかった。
北島正人、Ｃｉｌｏｙ Ｍａｒｔｉｎ Ｊｏｓｅ、湯田浩太郎 「薬理活性 およびＡＤＭＥＴを同時評価するインテグレーテッド高速／仮想インシリコンスクリーニング（ＩＩ）：ＮＴＰ発癌性データ」 第３０回構造活性相関シンポジウム講演要旨集、Ｐ３７、豊橋、２００２年

本発明は、従来の２クラス分類問題における、上記のような問題点を解決する目的でなされたものであって、分類手法の違いに関わらず、限りなく１００％に近い分類率を達成することが可能な判別関数、即ち分類予測モデルの作成方法、作成のためのプログラム、および作成装置を提供することをその課題とする。また、高い信頼性を有する化合物の毒性予測モデルを作成する方法を提供することをその課題とする。

第１の発明では、上記課題を解決するために、第１のクラスに属する複数のサンプルと第２のクラスに属する複数のサンプルとを含むサンプルセットを学習データとして準備する第１のステップと、前記サンプルセットに判別分析を行って、前記第１のクラスに対する高い分類特性を持つ第１の判別関数と、前記第２のクラスに対する高い分類特性を持つ第２の判別関数を作成する第２のステップと、前記第１および第２の判別関数を用いて前記サンプルセットの分類を実行し、両者の分類結果が一致しないサンプルを特定する第３のステップと、前記第３のステップで特定されたサンプルを新たなサンプルセットとして用いて、前記第２のステップおよび前記第３のステップを繰り返す第４のステップと、前記第３のステップで前記一致しないサンプルの個数が一定値以下となった場合、繰り返し回数が一定値以上となった場合、繰り返しの処理時間が一定値以上となった場合のいずれかにおいて、前記第４のステップを停止させる第５のステップと、を備え、前記第２のステップで特定された前記第１および第２の判別関数を、クラス未知サンプルの分類予測モデルとして設定する、２クラス分類予測モデルの作成方法を提供する。

上記第１の発明では、まず、第１のクラスに属することが既知であるサンプルと第２のクラスに属することが既知であるサンプルとによって学習データが構成される。この学習データに対して判別分析を行って、第１のクラスに対して高い分類率、例えば実質的に１００％の分類率を有する第１の判別関数と、第２のクラスに対して高い分類率、例えば実質的に１００％の分類率を有する第２の判別関数を形成する。次に、これら２本の判別関数を用いて各サンプルの目的変数を計算し、両判別関数間で目的変数の値、即ち分類結果が一致したサンプルと一致しないサンプルを特定する。

２本の判別関数は、第１のクラスあるいは第２のクラスに対してほぼ１００％の分類率を有するため、２本の判別関数間で分類結果が一致したサンプルについては、そのクラス分類は正しいと判断される。したがって、結果が一致したサンプルについては、分類されたクラス１又はクラス２にアサインする。一方、２本の判別関数間で結果が一致しないサンプルはグレークラスにアサインする。

本発明では、このようにして第１段階のグレークラスが形成されると、次に、このグレークラスにアサインされたサンプルを取り出し、新たなサンプルセットを構成する。このサンプルセットに対して、上述した２本の判別関数を形成し、各サンプルのクラス分けを行う。この結果、第２段階のグレークラスが形成される。以下、同様にして、第３段階のグレークラスの形成、第４段階のグレークラスの形成を実行する。このグレークラスの形成は、最終的にグレークラスにアサインされるサンプル数が０となるまで続けられる。

グレークラスにアサインされるサンプル数が０となった時点で、全てのサンプルが正しく本来のクラスに分類される。即ち、分類率１００％が達成される。本発明では、グレークラスを形成する各段階で形成した複数の判別関数セットを、２クラス分類予測モデルとして設定する。

第２の発明では、上記課題を解決するために、第１のクラスに属する複数のサンプルと第２のクラスに属する複数のサンプルとを含むサンプルセットを学習データとして準備する第１のステップと、前記サンプルセットに判別分析を行って、前記第１のクラスに対する高い分類特性を持つ第１の判別関数と、前記第２のクラスに対する高い分類特性を持つ第２の判別関数を作成する第２のステップと、前記第１および第２の判別関数を用いて前記サンプルセットの分類を実行し、両者の分類結果が一致しないサンプルを特定する第３のステップと、前記第３のステップで特定されたサンプルを新たなサンプルセットとして用いて、前記第２のステップおよび前記第３のステップを繰り返す第４のステップと、前記第３のステップで前記一致しないサンプルの個数が一定値以下となった場合、繰り返し回数が一定値以上となった場合、繰り返しの処理時間が一定値以上となった場合のいずれかにおいて、前記第４のステップを停止させる第５のステップと、から構成される処理をコンピュータに実行させる、２クラス分類予測モデルの作成プログラムを提供する。

第３の発明では、上記課題を解決するために、特定の毒性を有する場合を第１のクラス、前記毒性を有しない場合を第２のクラスとするとき、前記第１のクラスに属する複数の化合物と前記第２のクラスに属する複数の化合物とを含むサンプルセットを学習データとして準備する第１のステップと、前記サンプルセットに判別分析を行って、前記第１のクラスに対する高い分類特性を持つ第１の判別関数と、前記第２のクラスに対する高い分類特性を持つ第２の判別関数を作成する第２のステップと、前記第１および第２の判別関数を用いて前記サンプルセットの分類を実行し、両者の分類結果が一致しない化合物を特定する第３のステップと、前記第３のステップで特定された化合物を新たなサンプルセットとして用いて、前記第２のステップおよび前記第３のステップを繰り返す第４のステップと、前記第３のステップにおける前記一致しない化合物の個数が一定値以下となった場合、繰り返し回数が一定値以上となった場合、繰り返しの処理時間が一定値以上となった場合のいずれかにおいて、前記第４のステップを停止させる第５のステップと、を備え、前記第５のステップ終了後の前記第２のステップで特定された複数の前記第１および第２の判別関数を、クラス未知の化合物の分類予測モデルとして設定する、化合物の毒性予測モデルの作成方法を提供する。

上記第１、第２および第３の発明において、前記第１の判別関数を、前記サンプルセットに対して判別分析を行って初期判別関数を形成する第６のステップと、前記初期判別関数による分類結果において、前記第２のクラスのサンプルであるにも関わらず前記第１のクラスのサンプルであると誤分類されたサンプルを前記サンプルセットから除去して新たなサンプルセットを形成し、当該サンプルセットに対して判別分析を行って新たな判別関数を得る第７のステップと、前記第７のステップで得られた新たな判別関数を前記初期判別関数として、前記第７のステップを、前記初期判別関数による前記第１のクラスの誤分類サンプルが実質的に０となるまで繰り返す、第８のステップと、を実行することによって形成し、前記第２の判別関数は、前記サンプルセットに対して判別分析を行って初期判別関数を形成する第９のステップと、前記初期判別関数による分類結果において、前記第１のクラスのサンプルであるにも関わらず前記第２のクラスのサンプルであると誤分類されたサンプルを前記サンプルセットから除去して新たなサンプルセットを形成し、当該サンプルセットに対して判別分析を行って新たな判別関数を得る第１０のステップと、前記第１０のステップで得られた新たな判別関数を前記初期判別関数として、前記第１０のステップを、前記初期判別関数による前記第２のクラスの誤分類サンプルが実質的に０となるまで繰り返す、第１１のステップと、を実行することによって形成してもよい。

更に、前記初期判別関数および前記新たな判別関数を、前記学習データとして準備されたサンプルセットに対して用意された初期パラメータセットに特徴抽出を行って最終パラメータセットを形成し、当該最終パラメータセットを用いて判別分析を行うことにより形成するようにしてもよい。

なお、第１の判別関数、第２の判別関数を得るための判別分析手法は必ずしも同じ手法を使用する必要は無く、またグレークラスを決定する各段階の判別手法も、各段階で異なっていてもよい。

第４の発明では、上記課題を解決するために、第１のクラスに属する複数のサンプルと第２のクラスに属する複数のサンプルとを含むサンプルセットを学習データとして入力する入力装置と、前記サンプルセットに判別分析を行って、前記第１のクラスに対する高い分類特性を持つ第１の判別関数と、前記第２のクラスに対する高い分類特性を持つ第２の判別関数を作成する判別関数の作成装置と、前記第１および第２の判別関数を用いて前記サンプルセットの分類を実行し、両者の分類結果が一致しないサンプルを特定する分類結果比較装置と、前記分類結果比較装置において特定されたサンプルを新たなサンプルセットとして用いて、前記判別関数の作成装置および前記分類結果比較装置を繰り返し作動させる制御装置と、を備え、前記制御装置は、前記分類結果比較装置における前記分類結果が一致しないサンプルの個数が一定値以下となった場合、繰り返し回数が一定値以上となった場合、繰り返しの処理時間が一定値以上となった場合のいずれかにおいて、前記繰り返し作動を停止させる、２クラス分類予測モデルの作成装置を提供する。

本発明では、上述したように、２クラス分類において、分類手法に関わらず実質的に１００％の分類結果を得ることができる。この場合、サンプル数が増加し、初期の判別分析によってグレークラスにアサインされるサンプル数が多い場合であっても、グレークラスを形成する段階を増やすことによって、結果的に全てのサンプルを本来のクラスにアサインすることができる。そのため、この分類手法は、サンプル数の増大により分類率が低下するようなことは無い。実質的に膨大な数のサンプルを用いた場合でも完全分類が可能となる。この「分類率」が上限の１００％を達成できることで、「予測率」の上限も向上する。

また、本発明の化合物の毒性予測方法では、毒性予測の学習に用いるサンプル数が例えば数千から数万以上に達した場合であっても、それらのサンプルについて実質的に１００％の分類率を達成することができるので、サンプル母集団の増大効果により、毒性未知の化合物に対する毒性有無の判定を高い信頼性で判定する、極めて信頼性の高い化合物の毒性予測モデルを提供することができる。

段落番号（００１１）で述べたように、毒性予測においては毒性のある化合物を毒性がないと評価することは大変危険である。本発明の手法は、このような可能性を限りなく小さくすることができる。このため、ヨーロッパ議会で施行が予定されているＲＥＡＣＨ規則に対応可能な分類／予測率の高いツールを提供することが可能となる。ＲＥＡＣＨ規則では、ＩＴによる化合物の毒性評価を使用者に義務付けるべく検討されており、高い分類率と予測率を達成する手法の開発が、緊急、かつ極めて大きな問題となっている。これらの問題に関しても、本手法を用いることによって、ＲＥＡＣＨ規則が求めている、非常に信頼性の高い化合物の毒性予測モデルを提供することができる。

理想的な２クラス分類の結果を示すイメージ図である。 一般的な２クラス分類の結果を示すイメージ図である。 ３本の異なる種類の判別関数を用いた、従来の２クラス分類結果を示すイメージ図である。 本発明の基本原理の説明に供するイメージ図である。 本発明に係るＡＰ判別関数とＡＮ判別関数を説明するイメージ図である。 本発明の一実施形態に係る分類予測モデル作成方法の手順を示すフローチャートである。 サンプルデータを保存するデータテーブルの一例を示す図である。 最終パラメータセットのデータを保存するテーブルの一例を示す図である。 初期判別関数と誤分類サンプルの関係を示すイメージ図である。 グレーサンプルを新たなサンプルセットとして分類を行う手順を示すイメージ図である。 各サンプルの最終帰属クラスを決定する経過を保存するデータテーブルである。 分類予測モデルを記憶するテーブルを示す図である。 ＡＰ判別関数を作成する手順を示すフローチャートである。 ＡＰ判別関数の作成方法の説明に供するイメージ図である。 ＡＰ判別関数の作成方法の説明に供するイメージ図である。 ＡＰ判別関数の作成方法の説明に供するイメージ図である。 ＡＰ判別関数の作成方法の説明に供するイメージ図である。 ＡＮ判別関数の作成手順を示すフローチャートである。 本発明の一実施形態に係る分類予測モデル作成装置のシステム構成を示す図である。 本発明の一実施形態に係る方法によって作成された分類予測モデルを使用してクラス未知サンプルの分類予測を行う手順を示すフローチャートである。

符号の説明

１０ ＡＰ判別関数
２０ ＡＮ判別関数
９０ 初期判別関数
９２ ネガティブの誤分類サンプル
９４ ポジティブの誤分類サンプル
１００、１０２ グレークラス
２００ ２クラス分類予測モデルの作成装置
２１０ 入力装置
２２０ 出力装置
３１０ 入力データテーブル
３２０ 初期パラメータセットテーブル
３３０ 最終パラメータセットテーブル
３４０ ＳＴＡＧＥごとのＡＰ／ＡＮ判別関数保存テーブル
４００ 解析部
４１０ 初期パラメータ発生エンジン
４２０ 制御部
４３０ 特徴抽出エンジン
４４０ 判別関数作成エンジン
４５０ 分類結果比較部
４６０ 新たなサンプルセット設定部
４７０ 解析終了条件検出部

［本発明の分類原理］
本発明の実施形態を説明する前に、まず、本発明の分類原理について説明する。

図４は、通常の２クラス分類の結果を示す図であって、図２に示す図と同じものである。なお、以下の説明では、説明の簡略化のために、クラス１をポジティブクラス、クラス２をネガティブクラスとするが、本発明が全ての２クラス分類に適用可能であることは勿論である。２クラス分類の結果得られた判別関数１では、ポジティブサンプルについてもネガティブサンプルについても、誤分類されたサンプル２’、３’が存在する。今、図示のＮ次元サンプル空間において、点線で囲む領域４および領域５に注目すると、領域４内では誤分類されたポジティブサンプルが存在せず、正しく分類されたネガティブサンプル３のみが存在する。領域５では、誤分類されたネガティブサンプルが存在せず、正しく分類されたポジティブサンプル２のみが存在する。領域４と領域５の中間領域６は、正しく分類されたサンプルと誤分類されたサンプルが混在する領域である。

このような複数の領域の存在に対して、発明者は以下のように考えた。即ち、これらの領域４、５、６を正確に分離することができれば、正しくクラス分類されたサンプル、即ち、領域４、５に属するサンプルをサンプル母集団から除外し、領域６に属するサンプルセットについて新たなＮ次元パラメータを設定して第２回目のクラス分類を行うことができる。この再度のクラス分類の結果において、第１回目の２クラス分類の場合と同様に、正しく分類されたネガティブサンプルのみを含む領域、正しく分類されたポジティブサンプルのみを含む領域、および誤分類されたサンプルを含む領域が存在する。従って、再度の２クラス分類の結果における、誤分類されたサンプルを含む領域内のサンプルセットを特定し、新たなＮ次元パラメータを設定して第３回目の２クラス分類を行うことができる。

このようにして、誤分類されたサンプルが０となるまで上記のような２クラス分類を繰り返すことにより、最終的に初期の全サンプルが正確に分類されることとなる。従って、問題は、どのようにして図４に示す領域４、５及び６を特定することができるかである。本発明者は、この点に関して、２本の判別関数を利用することを考えた。これらの判別関数は、何れも２クラス分類のための判別関数であるが、その特性が両者で全く異なっている。

図５は、本発明において用いる２本の判別関数の特性を説明するための図である。図において、１０は全てのポジティブサンプルが判別関数の片側のみに偏って局在するので、これらのポジティブサンプルセットを総て正しく分類することができる特性を持つ判別関数である。一方、２０は全てのネガティブサンプルが判別関数の片側に局在するので、これらのサンプルセットを総てネガティブであると正しく分類することができる。判別関数１０をオールポジティブ（以下、ＡＰ）判別関数と呼び、判別関数２０をオールネガティブ（以下、ＡＮ）判別関数と呼ぶ。ＡＰ判別関数１０は、全てのポジティブサンプルを正しく分類しているが、ネガティブサンプルについては判別関数の両側に存在するために誤分類サンプルを含む。しかしながら、全てのポジティブサンプルを正しく分類しているが故に、ＡＰ判別関数１０においてネガティブであると分類されたサンプル中に、誤分類されたポジティブサンプルを含まない。即ち、図５のＡＰ判別関数１０の右側の領域には正しく分類されたネガティブサンプルのみが存在する。したがって、ＡＰ判別関数１０でネガティブと分類されたサンプルついては、ネガティブクラス、即ちクラス２に帰属させても誤分類の発生は０である。

同様に、ＡＮ判別関数２０は、全てのネガティブサンプルをネガティブであると正しく分類しているが、ポジティブサンプルについては誤分類されたサンプルを含む。しかしながら、全てのネガティブサンプルを正しく分類しているが故に、ＡＮ判別関数２０においてポジティブであると分類されたサンプル中に、誤分類されたネガティブサンプルを含まない。即ち、図５のＡＮ判別関数２０の左側の領域には正分類されたポジティブサンプルのみが存在する。したがって、ＡＮ判別関数２０でポジティブとされたサンプルについてはポジティブクラス、即ちクラス１に帰属させても誤分類の発生は０となる。

一方、図５において、ＡＰ判別関数１０とＡＮ判別関数２０の中間の領域にはポジティブサンプルとネガティブサンプルが混在し、この領域のサンプルをどちらのクラスに帰属させるかを決定することはできない。したがって、このクラスをグレークラス、即ちクラス３に分類する。上述した２回目、３回目の２クラス分類は、このグレークラス、即ちクラス３に帰属するサンプルについて行われる。したがって、このような２クラス分類を、クラス３に帰属するサンプル数が０となるまで行えば、理論上、初期のサンプル母集団に含まれる全てのサンプルについて、分類率１００％の２クラス分類を行うことが可能となる。

なお、図５では、ＡＰ判別関数１０およびＡＮ判別関数２０でサンプル空間を３つのクラスに分離したイメージを示しているが、３クラス分類の実際の作業は、ＡＰ判別関数およびＡＮ判別関数を用いて２回の２クラス分類を行い、分類結果が同じサンプルについては、その分類結果にしたがったクラスに帰属させ、分類結果が異なるサンプルについては、クラス３に帰属させることによって行われる。このクラス３は、分類結果に応じて新たに設定されたクラスで、分類に用いた２本の判別関数では当初の目的としたクラス１、クラス２のいずれにも帰属できないサンプルが帰属するクラス（グレークラス）である。したがって、本発明は基本的には２クラス分類であり、元々、サンプルを３種類のクラスに分類する３クラス分類とは異なる。

［本発明の一実施形態に係る分類予測モデルの作成方法］
以下に、ＡＰ判別関数およびＡＮ判別関数を得るための手順を含めて、本発明に係る一実施形態について説明する。なお、本発明は、クラス分類手法の種類に関わらず適用可能である。したがって、線形判別分析及び非線形判別分析等の手法の差異に関わらず、同じ原理で適用可能である。例えば、線形判別分析としては、線形学習機械法、判別分析、Ｂａｙｅｓ線形判別分析、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ＡｄａＢｏｏｓｔ等の手法が適用可能であり、非線形判別分析としては、Ｂａｙｅｓ非線形判別分析、ニューラルネットワーク等の手法が適用可能である。

図６は、本発明の一実施形態にかかる分類予測モデルの作成方法の全体手順を示すフローチャートである。まず、グレークラスを特定する第１の段階、即ちＳＴＡＧＥ１を開始する。ステップＰ１で、目的特性に対する値が既知の複数のサンプルを用意する。例えば、ある毒性を有することが既知であるサンプル、即ちポジティブサンプルを例えば５００個、その毒性を持たないことが既知であるサンプル、即ちネガティブサンプルを例えば５００個用意する。用意されたサンプルは分類予測モデルの作成装置に入力され、図７に示すようなサンプルデータを保存するためのテーブルを構成する。

図７において、コラム７０はサンプルである化合物の２次元あるいは３次元の構造式を示す。コラム７１はその化合物のＣＡＳ番号を示し、コラム７２は、Ａｍｅｓテストの結果を示している。コラム７２において、ｍｕｔａｇｅｎはＡｍｅｓテストの結果、変異原性有り（＋）を示し、ｎｏｎｍｕｔａｇｅｎは変異原性を持たない（−）ことを示している。図示の例では、ｍｕｔａｇｅｎであるサンプルをクラス１（ポジティブクラス）にｎｏｎｍｕｔａｇｅｎであるサンプルをクラス２（ネガティブクラス）に２クラス分類するためのデータテーブルを示している。なお、コラム７３は、サンプル番号を示す。

次に、ステップＰ２において、目的変数を算出するための初期パラメータ、即ち説明変数（ｘ１、ｘ２・・・ｘｘ）を発生させる。初期パラメータは、化合物の構造から自動的に発生させる。例えば、富士通株式会社で販売するＡＤＭＥＷＯＲＫＳ−ＭｏｄｅｌＢｕｉｌｄｅｒ（登録商標）では、化合物の２次元あるいは３次元構造、各種の物性に基づいて８００個以上のパラメータを発生させることができる。ステップＰ３では、発生させた初期パラメータに対して特徴抽出を行い、分類に不必要なノイズパラメータを除去する。これによって、最終パラメータセット（ｘ１、ｘ２・・・ｘｎ）が決定される（ステップＰ４）。特徴抽出としては、単相関係数、重相関係数、出現頻度、Ｆｉｓｃｈｅｒ比、Ｖａｒｉａｎｃｅ法などの種々の既知手法を用いて実施することができる。特徴抽出のための各種のエンジンも一般に提供されている。

図８は、特徴抽出の結果、Ａｍｅｓテスト結果に影響あるとして選択された最終パラメータセットと、個々の化合物のこれらのパラメータに対する数値データを示すテーブルである。コラム８０は化合物を構造式で特定し、コラム８１以降は各種のパラメータを示している。例えば、コラム８１は化合物の分子量を、コラム８２は分子表面積を、コラム８３はｌｏｇＰの値をパラメータとしたことを示している。データテーブル中のセル８４内に記載された値は、サンプル１の分子の分子量を示すデータ、セル８５内の値は、サンプル１の分子表面積の値を示すデータ、セル８６内の値はサンプル１のｌｏｇＰ値を示すデータである。各セル内に示された値が、そのサンプルのパラメータデータとなる。なお、コラム８４は、各サンプルのサンプル番号を示している。

次に、ステップＰ３で発生させた最終パラメータセットを用いて判別分析を行い、初期判別関数を作成する（ステップＰ５）。判別分析では、判別関数は以下の式（１）として示される。

式（１）において、Ｙｋはｋ番目のサンプルの目的変数の値であり、ｘ１ｋ、ｘ２ｋ、ｘ３ｋ・・・ｘｎｋは、ｋ番目のサンプルにおけるパラメータ（説明変数）データ、ａ１、ａ２、ａ３・・・ａｎは各パラメータに対する係数である。Ｃｏｎｓｔは、定数を表す。パラメータデータｘ１１、ｘ２１、ｘ３１・・・は、図８の各セル内に記載されたデータにより、得られる。したがって、判別分析により、各パラメータに対する係数ａ１、ａ２・・・が求められると、図８のテーブルに示される各セル内のデータを式（１）に導入することによって、各サンプルの目的変数の値Ｙが計算される。この値Ｙを用いてサンプルのクラス分類が行われる。図７、８に示す例では、ｎｏｎｍｕｔａｇｅｎの場合、Ｙの値がマイナスとなり、ｍｕｔａｇｅｎの場合Ｙの値が＋となるように、判別関数を生成する。なお、判別分析を行う各種のエンジンも一般に提供されている。

次に、ステップＰ６において、作成された初期判別関数を用いて全サンプルのクラス分類を行い、分類結果の正誤チェックを行う（ステップＰ７）。このチェックはまず、初期判別関数を用いて全サンプルの目的変数Ｙの値を計算し、各サンプルについて何れのクラスに属するかをアサインした後、アサインされたクラスとそのサンプルについての実測値とを比較することによって行われる。例えば、図７の入力データテーブルでは、サンプル１はＡｍｅｓテストについてネガティブであるが、これが実測値である。作成した初期判別関数を用いて目的変数Ｙを計算した結果がネガティブとなれば、サンプル１は正しく分類されたサンプルとしてチェックされる。一方、サンプル４は実測値がポジティブであるが、目的変数Ｙがネガティブとなれば、サンプル４は誤分類されたサンプルとしてチェックされる。

図９に、ステップＰ５で作成された初期判別関数による分類結果をイメージとして示す。図において、○は本来ポジティブであるサンプル、×は本来ネガティブであるサンプルを示す。初期判別関数９０はもっとも高い分類率を得るように最適化されているが、誤分類サンプルも多く含んでいる。初期判別関数９０の左側のサンプルは、ステップＰ５までの判別分析によってポジティブであるとされたサンプル、初期判別関数９０の右側のサンプルは判別分析によってネガティブとされたサンプルを示す。したがって、ポジティブクラスに分類された本来ネガティブであるサンプル９２、ネガティブクラスに分類された本来ポジティブであるサンプル９４が誤分類サンプルである。サンプル９２をネガティブの誤分類サンプル、サンプル９４をポジティブの誤分類サンプルと呼ぶ。

図６のステップＰ７では、誤分類サンプル９２、９４が存在するか否かを判定する。もしこの段階で誤分類サンプル９２、９４が存在しなければ（ステップＰ７のＹＥＳ）、１００％の分類率で２クラス分類が実行されているため、この時点で処理を終了する（ステップＰ１１）。

ステップＰ７で誤分類サンプル９２、９４のいずれかが存在すれば（ステップＰ７のＮＯ）、ステップＰ８のＡＰ判別関数、ＡＮ判別関数の作成・記憶ステップを実行する。ＡＰ判別関数、ＡＮ判別関数の作成方法については、後述する。

次に、ステップＰ９において、サンプルのクラス分類を実行する。ステップＰ９では、ステップＰ８で得られたＡＰおよびＡＮの２本の判別関数を用いて、各サンプルのＹの値を計算し、２本の判別関数で結果が一致したものを正しく分類されたサンプルとして本来のクラス１（ポジティブクラス）あるいはクラス２（ネガティブクラス）に分類する。２本の判別関数で結果が一致しなかったものを、グレークラスに分類する。このクラス分類は、図５を用いて既に説明されている。

即ち、ＡＰ判別関数１０とＡＮ判別関数２０でともにポジティブとされたサンプル、即ちＡＮ判別関数２０の左側の領域に存在するポジティブサンプルを正しく分類されたポジティブサンプルとしてクラス１に分類し、ＡＰ判別関数１０の右側に存在するネガティブサンプルを正しく分類されたネガティブサンプルとしてクラス２に分類する。２本の判別関数１０、２０の中間にあるネガティブサンプル、ポジティブサンプルをグレークラスに分類する。

ステップＰ１０で、グレークラスのサンプル数が０であるか否かを判定する。もし、グレークラスのサンプル数が０であれば（ステップＰ１０のＹＥＳ）、既に全てのサンプルがクラス１、クラス２に正確に分類されているので、この段階で処理を終了し（ステップＰ１１）、ステップＰ８で得られたＡＰ判別関数、ＡＮ判別関数を分類予測モデルとして決定する。

ステップＰ１０でＮＯの場合、グレークラスに分類されたサンプルを抽出し（ステップＰ１２）、抽出したサンプルで新たなサンプルセットを形成する。次に、ステップＰ１３でＳＴＡＧＥを１だけ進め、ステップＰ３以下を再度実行する。ステップＰ３からステップＰ１３のループは、ステップＰ７において誤分類サンプルが０となる（ステップＰ７のＹＥＳ）か、ステップＰ１０において、グレークラスのサンプル数が０となる（ステップＰ１０のＹＥＳ）まで繰り返される。

図１０に、図６のステップＰ３からＰ１３に至るループでの処理をイメージとして示す。図１０で、ＡＰ１、ＡＰ２、ＡＰ３は、各ＳＴＡＧＥにおけるＡＰ判別関数を、ＡＮ１、ＡＮ２、ＡＮ３は各ＳＴＡＧＥにおけるＡＮ判別関数を示す。ＳＴＡＧＥ１では、サンプルの母集団からグレークラスに分類されるサンプルを特定し、ＳＴＡＧＥ２ではＳＴＡＧＥ１でグレークラスに分類されたサンプル（領域１００内のサンプル）を新たなサンプルセットに特定し、ステップＰ３からステップＰ１３までを行って、新たなグレークラスのサンプル（領域１０２内のサンプル）を特定する。ＳＴＡＧＥ３以下でも同じ処理を行う。この処理は、グレークラスに分類されるサンプルが０となるまで行われる。

なお、ステップＰ３からステップＰ１３までのループは、殆どの場合グレークラスのサンプルが０となるまで繰り返して行われる。しかし、まれなケースではあるが、何らかの理由により、グレークラスのサンプルが０に収束しない場合が起こりうる。そのような場合に対処するために、ＳＴＡＧＥの回数を予め設定しておくことや、処理時間を予め設定しておくことによって、不要な処理を強制的に終了させるようにしてもよい。

図１１は、各ＳＴＡＧＥにおけるサンプル分類結果、および各サンプルの最終帰属結果を格納するテーブルを示す。図のコラム１１０、１１１、１１２、１１３および１１４は、各サンプルの各ＳＴＡＧＥで決定されたクラス分類に関する情報を示している。コラム１１５は、各サンプルの最終帰属結果を示す。このテーブルでは、例えば、サンプル１に対してＳＴＡＧＥ１のＡＰ判別関数ＡＰ１を適用した結果、ネガティブ（−）と判定され、ＡＮ判別関数ＡＮ１を適用した結果、ポジティブ（＋）と判定されたことを示している。

両者の結果が一致しないので、サンプル１は、ＳＴＡＧＥ１ではグレークラスに分類される。サンプル１は、ＳＴＡＧＥ４のＡＰ判別関数ＡＰ４、ＡＮ判別関数ＡＮ４での分類結果がともにネガティブと判定されたので、ＳＴＡＧＥ４において、ネガティブクラス、即ちクラス２に分類される。したがって、以降の分類は行われず、最終帰属クラスはクラス２と決定される。

サンプル２は、ＳＴＡＧＥ１のＡＰ判別関数ＡＰ１、ＡＮ判別関数ＡＮ１の結果がともにネガティブであるので、ＳＴＡＧＥ１においてクラス２に分類され、以降の処理は行われない。サンプルｎは、ＳＴＡＧＥ５においてＡＰ、ＡＮ判別関数による分類結果が一致するため、ＳＴＡＧＥ５においてクラス１に分類される。図１１では、ＳＴＡＧＥ５で全てのサンプルの最終帰属クラスが決定された状態を示しているが、ＳＴＡＧＥ５でもサンプルの最終帰属クラスが決定されない場合は、ＳＴＡＧＥ６以降を実行する。

以上の操作を実行することによって、全てのサンプルに対して最終帰属クラスが決定される。この、決定までに要した各ＳＴＡＧＥでのＡＰ判別関数、ＡＮ判別関数を用いて、クラス未知のサンプルのクラス帰属を予測するためのモデルとする。即ち、ＡＰ１、ＡＮ１のセット、ＡＰ２、ＡＮ２のセット、ＡＰ３、ＡＮ３のセット・・・ＡＰｎ、ＡＮｎのセットが未知サンプルの分類予測モデルとして使用される。なお、予測の場合は予め用意された総てのＳＴＡＧＥでのＡＰおよびＡＮモデルを用いても、最後までクラス決定のされないサンプルが残る場合がある。この場合のサンプルの最終帰属クラスはグレークラスとなる。但し、ＳＴＡＧＥの最後がＡＰ及びＡＮ判別関数の２本による分類でなく、1本の判別関数による分類で終了している場合は、総てのサンプルは必ずどちらかのクラスに帰属されることになる。

図１２は、以上のようにして作成された分類予測モデルを保存するためのテーブルである。ＳＴＡＧＥごとに決定されたＡＰ判別関数、ＡＮ判別関数のセットが保存されている。なお、このような分類予測モデルを使用した未知サンプルの分類予測手順については、後述する。

［ＡＰ判別関数、ＡＮ判別関数の作成方法］
次に、図６のステップＰ６に示すＡＰ判別関数、ＡＮ判別関数の作成手順について説明する。

図１３はＡＰ判別関数の作成手順を示すフローチャートである。図６のステップＰ７において誤分類サンプルが存在すると判定されると（ステップＰ７のＮＯ）、ＡＰ判別関数関数の作成を開始する。まず、ステップＰ２０において、ポジティブの誤分類サンプル（図９の９４）が存在するか否かをチェックする。ポジティブの誤分類サンプルが存在しなければ（ステップＰ２０のＹＥＳ）、ステップＰ５で作成した初期判別関数をＳＴＡＧＥ１でのＡＰ判別関数として確定し（ステップＰ２１）、ステップＰ９へ戻ってＳＴＡＧＥ１のＡＮ判別関数関数の作成を行う。

ステップＰ２０でポジティブの誤分類サンプルが存在するとチェックされると、ステップＰ２２でネガティブの図９の誤分類サンプル９２をサンプルセットから取り除く作業を行い、これによって新たなサンプルセットＳ１を構築する。図１４は、このようにして形成された新たなサンプルセットと、初期判別関数９０の関係を示す。本来ポジティブであるサンプルは全て残っているが、初期判別関数９０によって誤分類されたネガティブサンプル（図９の９２）は除去されている。

次のステップＰ２３では、ステップＰ２２で形成された新たなサンプルセットＳ１に対して、図６のステップＰ２で発生させた初期パラメータに対して特徴抽出を行い、最終パラメータセットを決定し（ステップＰ２４）、判別分析を行って仮のＡＰ判別関数を作成する（ステップＰ２５）。

図１５に、ステップＰ２５で形成された仮のＡＰ判別関数９０（ＡＰ１）と初期判別関数９０との関係を示す。ステップＰ２２で、誤分類されたネガティブサンプル９２（図９参照）がサンプルセットＳ１より除去されているので、ステップＰ２５で新たな判別分析を行った場合、作成される判別関数９０（ＡＰ１）は元の判別関数９０よりもネガティブ側（右側）に移動する。ステップＰ２６では、この新たに作成された判別関数を用いて、サンプルセットＳ１内の全てのサンプルについてクラス分類を行い、分類の正誤チェックを実施する。図１５に示す例では、新たな判別関数、即ち仮のＡＰ判別関数９０（ＡＰ１）であっても、依然としてポジティブの誤分類サンプル９４が存在している。また、判別関数が移動することによって、最初の判別関数９０では正しく分類されていたネガティブサンプルが、誤分類されたネガティブサンプル９６となる場合もある。

したがって、ステップＰ２０においてポジティブの誤分類サンプルの存在を確認した後（ステップＰ２０のＮＯ）、新たに発生したネガティブの誤分類サンプル９６を除去して（ステップＰ２３）、新サンプルセットを形成する。以下、ステップＰ２３以降のループを実行することにより、最終的に、ポジティブの誤分類サンプルを含まないサンプルセットを得ることができる。

図１６は、このようにして形成された新たなサンプルセットと、そのときの判別分析に用いられた判別関数９０（ＡＰ）との関係を示す図である。判別関数９０（ＡＰ）は、全てのポジティブサンプルを正確に分類しているので、現在のＳＴＡＧＥにおけるＡＰ判別関数として確定される。

図１７は、以上のようにして求めたＡＰ判別関数によって、初期サンプルセットの分類を実行した結果を示す。図示するように、ＡＰ判別関数９０（ＡＰ）によってポジティブサンプルは１００％正確に分類されているが、ネガティブサンプルの分類率が悪いことが理解される。このＡＰ判別関数９０（ＡＰ）は、図５のＡＰ判別関数１０に相当する。

図１８に、ＡＮ判別関数生成のためのフローチャートを示す。ステップＰ３０では、初期判別関数を用いた分類の結果に対して、ネガティブの誤分類サンプルが存在するか否かをチェックする。具体的には、図９において、ポジティブの領域に分類された、本来ネガティブであるサンプル（ネガティブの誤分類サンプル）９２が存在するか否かをチェックする。ステップＰ３０で誤分類サンプルが存在しないと判定された場合（ステップＰ３０のＹＥＳ）は、初期判別関数９０を現ＳＴＡＧＥでのＡＮ判別関数として決定する（ステップＰ３１）。

ステップＰ３０でネガティブの誤分類有りと判定された場合（ステップＰ３０のＮＯ）は、図９のポジティブの誤分類サンプル９４を取り除く処理を行う（ステップＰ３２）。以下、ＡＰ判別関数を作成する手順と同様にして、ステップＰ３３以降の手順を実行することにより、ＡＮ判別関数を得ることができる。なお、図１８において、ステップＰ３３は図１３のステップＰ２３に対応し、ステップＰ３４はステップＰ２４に対応し、ステップＰ３５はステップＰ２５に対応し、更にステップＰ３６はステップＰ２６に対応しており、同様の処理を行うのでその説明は省略する。

図１３および図１８の処理を実行することによって、ＡＰ判別関数、ＡＮ判別関数が得られると、図６に示すステップＰ９以下を実行することによって、サンプルのクラス１（ポジティブ）、クラス２（ネガティブ）およびグレークラスへの分類が行われ、それに基づいて分類予測モデルが作成されることは、図６の説明の項で述べたとおりである。

以下に、上述した２クラス分類手法についてのその他の特徴点を記載する。

［判別関数（分類モデル）の組み合わせ］
それぞれのＳＴＡＧＥ間で、使用する２本の判別関数（ＡＰ判別関数とＡＮ判別関数）の作成手法は、必ずしも、同じである必要はない。また、１個のＳＴＡＧＥにおいて、ＡＰ判別関とＡＮ判別関数の作成手法も同一である必要はない、以下に、各ＳＴＡＧＥにおいて作成する判別関数の作成手法の組み合わせ例を示す。

１）１個のＳＴＡＧＥ内のＡＰ判別関数とＡＮ判別関数で、作成手法を変える。
例）ＳＴＡＧＥ２ ＡＮ判別関数：線形学習機械法
ＡＰ判別関数：ニューラルネットワーク
ＳＴＡＧＥ３ ＡＮ判別関数：Ｂａｙｅｓ判別分析法
ＡＰ判別関数：最小二乗アルゴリズムによる判別分析法

２）ＳＴＡＧＥ内は同一の分類モデルの作成手法で統一するが、ＳＴＡＧＥ単位では様々な作成手法を用いる。
例）ＳＴＡＧＥ２ ＡＮ判別関数：線形学習機械法
ＡＰ判別関数：線形学習機械法
ＳＴＡＧＥ３ ＡＮ判別関数：Ｂａｙｅｓ判別分析法
ＡＰ判別関数：Ｂａｙｅｓ判別分析法

［システム構成］
図１９は、本発明の一実施形態に係る２クラス分類予測モデルの作成装置のシステム構成を示すブロック図である。本実施形態の分類予測モデルの作成装置２００は、サンプルデータを入力する入力装置２１０、分類結果あるいは処理途中の必要なデータを出力する出力装置２２０を備えている。入力装置２１０から、分類の学習に必要なサンプル情報が入力データテーブル３１０に入力される。入力装置２１０は、同様に初期パラメータセットのデータを初期パラメータセットテーブル３２０に入力する。なお、解析部４００が入力されたサンプルについて初期パラメータを自動的に発生するためのエンジン４１０を有している場合は、初期パラメータセットデータを入力装置２１０から入力する必要はない。

図１９において、３３０は最終パラメータセットを保存するテーブルであり、初期パラメータセットに対して特徴抽出を行った結果としての最終パラメータセットを保存する。３４０は、ＳＴＡＧＥごとに決定されたＡＰ／ＡＮ判別関数を保存するためのテーブルである。

解析部４００は、制御部４２０と、初期パラメータ発生エンジン４１０、特徴抽出エンジン４３０、判別関数作成エンジン４４０、分類結果比較部４５０、新たなサンプルセット設定部４６０および解析終了条件検出部４７０を備えている。初期パラメータを本装置の外部で発生させる場合は、初期パラメータ発生エンジン４１０は必要とされない。また、初期パラメータ発生エンジン４１０、特徴抽出エンジン４３０は、既存のものを使用することができる。

特徴抽出エンジン４３０は、初期パラメータセットに対して特徴抽出を行って最終パラメータセットを決定し、これを最終パラメータセットテーブル３３０に保存する。判別関数作成エンジン４４０は、種々の既存の判別分析エンジンを備えており、ユーザによって指定された判別分析エンジンあるいはシステムが適宜選択した判別分析エンジンを用いて、最終パラメータセットテーブル３３０を参照しながら、入力サンプルの判別分析を行って初期判別関数を作成する。更に、この初期判別関数に基づいて、ＡＰ判別関数、ＡＮ判別関数を作成する。分類結果比較部４５０は初期判別関数、ＡＰ判別関数、ＡＮ判別関数による分類結果を適宜比較し、サンプルをクラス１、クラス２およびグレークラスに分類する。新たなサンプルセット設定部４６０は、分類結果比較部４５０の出力に基づいて、グレークラスのサンプルのみのサンプルセットを形成する。

特徴抽出エンジン４３０、判別関数作成エンジン４４０、分類結果比較部４５０、新たなサンプルセット設定部４６０は、制御部４２０の制御下で作動し、図６、１３、１８に示す処理を実行する。なお、解析終了条件検出部４７０は、グレークラスのサンプルが実質的に０となった時点を検出して、分類予測モデルの作成を終了させる働きをする。あるいは、何らかの原因でグレークラスのサンプルが０に収束しない場合、処理の繰り返し回数、即ちＳＴＡＧＥ数が予め決定した回数であることを検出した場合、あるいは、処理時間が予め決定した時間を越えた場合に、処理の終了を決定する。

解析部４００で得られた各ＳＴＡＧＥのＡＰ／ＡＮ判別関数は、判別関数保存テーブル３４０に保存され、あるいは出力装置２２０を介して外部に出力される。出力の形態は、ＵＳＢファイル、ディスプレイ、プリントアウト等を、適宜選択する。

［クラス未知サンプルの分類予測］
図２０に、本発明の方法、プログラム、装置によって形成された２クラス分類予測モデルを使用して、クラス未知サンプルの分類予測を行う場合の処理のフローチャートを示す。ステップＳ５０でクラス未知サンプルＸについて、パラメータを準備する。ステップＳ５１でＳＴＡＧＥを１に設定する。ステップＳ５２で、ＳＴＡＧＥ１のＡＰおよびＡＮ判別関数として記憶された判別関数を用いて、サンプルＸのクラス分類を実行する。クラス分類は、目的変数を計算することによって実行される。ステップＳ５３で、ＡＰおよびＡＮ判別関数による分類結果を比較し、結果が同じ（ステップＳ５３のＹＥＳ）であれば、一致したクラスをサンプルＸのクラスにアサインし（ステップＳ５４）、処理を終了する（ステップＳ５５）。

ステップＳ５３でＡＰ、ＡＮ判別関数による分類の結果が一致しない場合（ステップＳ５３のＮＯ）は、ステップＳ５６でＳＴＡＧＥを１だけ進め、ステップＳ５７で進めたＳＴＡＧＥが最終ＳＴＡＧＥでないことを確認した後（ステップＳ５７のＮＯ）、ステップＳ５２に戻って次のＳＴＡＧＥのＡＰ判別関数、ＡＮ判別関数を用いてサンプルＸのクラス分類を行う。

以上のステップを、ステップＳ５３で分類結果が一致するまで行うことによって、クラス未知サンプルＸの予測クラスが決定される。なお、ＳＴＡＧＥが最終ＳＴＡＧＥｎを超えてもサンプルＸの分類予測が決定されない場合は（ステップＳ５７のＹＥＳ）、処理を終了する（ステップＳ５５）。以上によって、クラス未知サンプルの分類予測が実施される。

本発明は、２クラス分類が適用可能な全ての産業分野に適用可能である。以下に、主な適用分野を列挙する。

１）化学データ解析
２）バイオ関連研究
３）蛋白質関連研究
４）医療関連研究
５）食品関連研究
６）経済関連研究
７）工学関連研究
８）生産歩留まり向上等を目的としたデータ解析
９）環境関連研究
１）の化学データ解析分野では、より詳細には、下記のような研究に適用できる。
（１）構造−活性／ＡＤＭＥ／毒性／物性相関の研究
（２）構造−スペクトル相関研究
（３）メタボノミクス関連研究
（４）ケモメトリクス研究

例えば、構造−毒性相関研究分野では、Ａｍｅｓテスト結果の予測を行うことが極めて重要である。何故ならば、Ａｍｅｓテストは、毒性化合物規制関連の化合物審査法や労働安全衛生法等の国レベルの化合物規制に、最重要項目の一つして組み込まれているからである。このＡｍｅｓテストの審査を通らなければ、日本国内での化合物生産はできなくなり、企業の生産活動自体がストップする。また、海外での生産や輸出等も対象国の安全性規制により活動できなくなる。例えば、ヨーロッパ議会におけるＲＥＡＣＨ規則では、化合物を使用する企業が、その化合物についてＡｍｅｓテストの結果を予測し、評価する義務を負っている。なお、Ａｍｅｓテストとは、米国のＡｍｅｓ博士が開発した変異原性試験の一つで、発がん性試験の簡易手法である。このために、多くの化学物質あるいはこれらを用いた製品の安全性の指針として採用されている試験である。

Claims (8)

1. 第１のクラスに属する複数のサンプルと第２のクラスに属する複数のサンプルとを含むサンプルセットを学習サンプルセットとして準備する第１のステップと、
   前記学習サンプルセットに第１の判別分析を行って、前記第１のクラスに対する高い分類特性を持つ第１の判別関数を得る第１のサブステップと、前記学習サンプルセットに前記第１の判別分析とは異なる第２の判別分析を行って、前記第２のクラスに対する高い分類特性を持つ第２の判別関数を得る第２のサブステップとを含む、第２のステップと、
   前記第１および第２の判別関数を用いて前記学習サンプルセットの分類を実行し、両者の分類結果が一致しないサンプルを特定する第３のステップと、
   前記第３のステップで特定されたサンプルを新たなサンプルセットとして用いて、前記第２のステップおよび前記第３のステップを繰り返す第４のステップと、
   前記第３のステップで前記一致しないサンプルの個数が一定値以下となった場合、繰り返し回数が一定値以上となった場合、繰り返しの処理時間が一定値以上となった場合のいずれかにおいて、前記第４のステップを停止させる第５のステップと、
   から構成される処理をコンピュータに実行させる、２クラス分類予測モデルの作成プログラム。
2. 請求項１に記載の２クラス分類予測モデルの作成プログラムにおいて、
   前記第１のサブステップは、前記第１の判別関数を得るために、
   前記学習サンプルセットに対して判別分析を行って初期判別関数を形成する第６のステップと、
   前記初期判別関数による分類結果において、前記第２のクラスのサンプルであるにも関わらず前記第１のクラスのサンプルであると誤分類されたサンプルを前記サンプルセットから除去して新たなサンプルセットを形成し、当該サンプルセットに対して判別分析を行って新たな判別関数を得る第７のステップと、
   前記第７のステップで得られた新たな判別関数を前記初期判別関数として、前記第７のステップを、前記初期判別関数による前記第１のクラスの誤分類サンプルが実質的に０となるまで繰り返す、第８のステップと、を備え、
   前記第２のサブステップは、前記第２の判別関数を得るために、
   前記学習サンプルセットに対して判別分析を行って初期判別関数を形成する第９のステップと、
   前記初期判別関数による分類結果において、前記第１のクラスのサンプルであるにも関わらず前記第２のクラスのサンプルであると誤分類されたサンプルを前記サンプルセットから除去して新たなサンプルセットを形成し、当該サンプルセットに対して判別分析を行って新たな判別関数を得る第１０のステップと、
   前記第１０のステップで得られた新たな判別関数を前記初期判別関数として、前記第１０のステップを、前記初期判別関数による前記第２のクラスの誤分類サンプルが実質的に０となるまで繰り返す、第１１のステップと、を備える、２クラス分類予測モデルの作成プログラム。
3. 第１のクラスに属する複数のサンプルと第２のクラスに属する複数のサンプルとを含むサンプルセットを学習サンプルセットとして準備する第１のステップと、
   前記学習サンプルセットに第１の判別分析を行って、前記第１のクラスに対する高い分類特性を持つ第１の判別関数を得る第１のサブステップと、前記学習サンプルセットに前記第１の判別分析とは異なる第２の判別分析を行って前記第２のクラスに対する高い分類特性を持つ第２の判別関数を得る第２のサブステップとを含む、第２のステップと、
   前記第１および第２の判別関数を用いて前記学習サンプルセットの分類を実行し、両者の分類結果が一致しないサンプルを特定する第３のステップと、
   前記第３のステップで特定されたサンプルを新たなサンプルセットとして用いて、前記第２のステップおよび前記第３のステップを繰り返す第４のステップと、
   前記第３のステップで前記一致しないサンプルの個数が一定値以下となった場合、繰り返し回数が一定値以上となった場合、繰り返しの処理時間が一定値以上となった場合のいずれかにおいて、前記第４のステップを停止させる第５のステップと、を備え、
   前記第２のステップで特定された前記第１および第２の判別関数を、クラス未知サンプルの分類予測モデルとして設定する、コンピュータが実行する２クラス分類予測モデルの作成方法。
4. 請求項３に記載の２クラス分類予測モデルの作成方法において、
   前記第１のサブステップは、前記第１の判別関数を得るために、
   前記学習サンプルセットに対して判別分析を行って初期判別関数を形成する第６のステップと、
   前記初期判別関数による分類結果において、前記第２のクラスのサンプルであるにも関わらず前記第１のクラスのサンプルであると誤分類されたサンプルを前記サンプルセットから除去して新たなサンプルセットを形成し、当該サンプルセットに対して判別分析を行って新たな判別関数を得る第７のステップと、
   前記第７のステップで得られた新たな判別関数を前記初期判別関数として、前記第７のステップを、前記初期判別関数による前記第１のクラスの誤分類サンプルが実質的に０となるまで繰り返す、第８のステップと、を備え、
   前記第２のサブステップは、前記第２の判別関数を得るために、
   前記学習サンプルセットに対して判別分析を行って初期判別関数を形成する第９のステップと、
   前記初期判別関数による分類結果において、前記第１のクラスのサンプルであるにも関わらず前記第２のクラスのサンプルであると誤分類されたサンプルを前記サンプルセットから除去して新たなサンプルセットを形成し、当該サンプルセットに対して判別分析を行って新たな判別関数を得る第１０のステップと、
   前記第１０のステップで得られた新たな判別関数を前記初期判別関数として、前記第１０のステップを、前記初期判別関数による前記第２のクラスの誤分類サンプルが実質的に０となるまで繰り返す、第１１のステップと、を備える、コンピュータが実行する２クラス分類予測モデルの作成方法。
5. 請求項４に記載の２クラス分類予測モデルの作成方法において、
   前記初期判別関数および前記新たな判別関数は、前記学習サンプルセットに対して用意された初期パラメータセットに特徴抽出を行って最終パラメータセットを形成し、当該最終パラメータセットを用いて判別分析を行うことにより形成されることを特徴とする、コンピュータが実行する２クラス分類予測モデルの作成方法。
6. 特定の毒性を有する場合を第１のクラス、前記毒性を有しない場合を第２のクラスとするとき、前記第１のクラスに属する複数の化合物と前記第２のクラスに属する複数の化合物とを含むサンプルセットを学習サンプルセットとして準備する第１のステップと、
   前記学習サンプルセットに第１の判別分析を行って、前記第１のクラスに対する高い分類特性を持つ第１の判別関数を得る第１のサブステップと、前記学習サンプルセットに前記第１の判別分析とは異なる第２の判別分析を行って前記第２のクラスに対する高い分類特性を持つ第２の判別関数を得る第２のサブステップとを含む、第２のステップと、
   前記第１および第２の判別関数を用いて前記学習サンプルセットの分類を実行し、両者の分類結果が一致しない化合物を特定する第３のステップと、
   前記第３のステップで特定された化合物を新たなサンプルセットとして用いて、前記第２のステップおよび前記第３のステップを繰り返す第４のステップと、
   前記第３のステップにおける前記一致しない化合物の個数が一定値以下となった場合、繰り返し回数が一定値以上となった場合、繰り返しの処理時間が一定値以上となった場合のいずれかにおいて、前記第４のステップを停止させる第５のステップと、を備え、
   前記第５のステップ終了後の前記第２のステップで特定された複数の前記第１および第２の判別関数を、クラス未知の化合物の分類予測モデルとして設定することを特徴とする、コンピュータが実行する化合物の毒性予測モデルの作成方法。
7. 第１のクラスに属する複数のサンプルと第２のクラスに属する複数のサンプルとを含むサンプルセットを学習サンプルセットのデータとして入力する入力装置と、
   前記学習サンプルセットに第１の判別分析を行って、前記第１のクラスに対する高い分類特性を持つ第１の判別関数を作成し、且つ、前記学習サンプルセットに前記第１の判別分析とは異なる第２の判別分析を行って前記第２のクラスに対する高い分類特性を持つ第２の判別関数を作成する判別関数の作成装置と、
   前記第１および第２の判別関数を用いて前記学習サンプルセットの分類を実行し、両者の分類結果が一致しないサンプルを特定する分類結果比較装置と、
   前記分類結果比較装置において特定されたサンプルを新たなサンプルセットとして用いて、前記判別関数の作成装置および前記分類結果比較装置を繰り返し作動させる制御装置と、を備え、
   前記制御装置は、前記分類結果比較装置における前記分類結果が一致しないサンプルの個数が一定値以下となった場合、繰り返し回数が一定値以上となった場合、繰り返しの処理時間が一定値以上となった場合のいずれかにおいて、前記繰り返し作動を停止させることを特徴とする、２クラス分類予測モデルの作成装置。
8. 請求項７に記載の２クラス分類予測モデルの作成装置において、
   前記判別関数の作成装置は、前記学習サンプルセットに対して用意された初期パラメータセットに特徴抽出を行って最終パラメータセットを形成し、当該最終パラメータセットを用いて判別分析を行うことにより形成されることを特徴とする、２クラス分類予測モデルの作成装置。

Images