JP5809663B2 - 分類精度推定装置、分類精度推定方法、およびプログラム - Google Patents

Description

本発明は、機械学習を行った結果を用いた分類の精度を推定する分類精度推定装置等に関するものである。

従来、正例のデータ、および負例のデータに基づいて、機械学習を行う装置が開発されている。（例えば、特許文献１参照）。そして、その機械学習を行った結果を用いた分類の精度を算出する装置も開発されている。

特開２０１３−０２５３９８号公報（第１頁、第１図等）

しかしながら、従来は、正例のデータと、正例か負例かが不明なデータとに基づいて行った機械学習の学習結果を用いてデータを分類したとしても、正例のデータと負例のデータとを分類する分類精度を正確に算出する方法がないという課題があった。

上記課題に対し、本発明の目的は、正例のデータと、正例か負例かが不明なデータとに基づいて行った機械学習の学習結果を用いて、正例のデータと負例のデータとを分類する分類精度を推定できるようにすることである。

本第一の発明の分類精度推定装置は、正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定装置であって、ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、分類の結果である分類結果情報を取得する分類結果情報取得手段と、分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定手段と、Ｕ集合に含まれる正解データｐ’とＵ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付手段と、割合情報と、Ｕ集合と、Ｐ集合とを用いて、Ｕ集合に含まれる正解データｐ’が、Ｕ集合に含まれる不正解データｎよりも少なく、かつ、Ｐ集合に含まれる正解データｐが、Ｕ集合に含まれる不正解データｎよりも少ないほど高い値であり、ＡＵＣ推定手段が推定した結果の確からしさを示す値である確度情報を算出する確度情報取得手段と、ＡＵＣ推定手段によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}と、確度情報とを出力する出力手段とを具備する分類精度推定装置である。

また、本第二の発明の分類精度推定装置は、正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定装置であって、ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、分類の結果である分類結果情報を取得する分類結果情報取得手段と、Ｕ集合に含まれる正解データｐ’とＵ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付手段と、割合情報とＰ集合とＵ集合とを用いて、Ｕ集合に含まれる正解データｐ’、および、Ｐ集合に含まれる正解データｐが、Ｕ集合に含まれる不正解データｎより所定の条件を満たすほど少ないと判断できる場合に、分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定手段と、ＡＵＣ推定手段によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}を出力する出力手段とを具備する分類精度推定装置である。

また、本第三の発明の分類精度推定装置は、第一または二の発明に対して、分類結果情報取得手段は、ＰＵ分類器が用いている学習結果を作成する際の学習に用いたデータの少なくとも一部が異なるデータを含むＰ集合とＵ集合とに含まれる各データを正例、または負例に分類した結果である分類結果情報を取得する、分類精度推定装置である。

また、本第四の発明の分類精度推定装置は、第一または二の発明に対して、分類結果情報取得手段は、ＰＵ分類器が用いている学習結果を作成する際の学習に用いた正解データの集合であるＰ集合と、学習に用いた不明データの集合であるＵ集合とに含まれる各データを正例、または負例に分類した結果である分類結果情報を取得する、分類精度推定装置である。

本発明による分類精度推定装置等によれば、正例のデータと、正例か負例かが不明なデータとに基づいて行った機械学習の学習結果を用いて、正例のデータと負例のデータとを分類する分類精度を推定できる。

実施の形態１における分類精度推定装置のブロック図 同実施の形態における分類精度推定装置の動作の一例を示すフローチャート 同実施の形態における分類精度推定装置の動作の一例を示すフローチャート 同実施の形態におけるコンピュータシステムの外観の一例を示す図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

以下、分類精度推定装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態において、正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器における、正解データと不正解データとを分類する分類精度を、ＡＵＣを用いて推定する分類精度推定装置１について説明する。

図１は、本実施の形態における分類精度推定装置１等のブロック図である。分類精度推定装置１は、ＰＵ分類器１０１が分類した分類結果を取得して、その分類精度の分類精度を推定する。その分類精度推定装置１は、テスト集合取得手段１０２、分類結果情報取得手段１０３、受付手段１０４、ＡＵＣ推定手段１０５、確度情報取得手段１０６、および出力手段１０７を備える。

ＰＵ分類器１０１は、正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いた分類器である。正例および負例は、二値分類を学習する機械学習において、二値の一方、および他方を示す概念である。正例および負例は、二値に分けるために便宜上用いられている名称であるため、学習されるデータの内容とは関係しても良く、しなくても良い。なお、正例は、正解、Ｐｏｓｉｔｉｖｅ、またはＴｒｕｅ等と記載される。負例は、不正解、Ｎｅｇａｔｉｖｅ、またはＦａｌｓｅ等と記載される。正解データ、および不正解データが示す内容は、学習の事例によって異なる。例えば、ユーザに対して有効な広告を学習する機械学習の場合は、ユーザにクリックされた広告を示す情報を正解データとし、クリックされなかった広告を示す情報を不明データとしても良い。なお、この場合の不明データは、正解データ、または不正解データのどちらのデータか分からないデータである。例えば、不明データの正解データは、ユーザにとって興味のある広告を示す情報であるのに、何かの事情でクリックされなかった広告を示す情報であっても良い。また、不明データの不正解データは、ユーザにとって興味の無い広告を示す情報であっても良い。

ＰＵ分類器１０１が用いる学習結果は、機械学習の結果、作成されたものである。その機械学習は、入力データが正例か負例かを学習できる機械学習であれば、どのような種類の機械学習であっても良い。例えば、機械学習の種類は、ランキング学習であっても良く、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた学習であっても良く、ニューラルネットワークを用いた学習であっても良く、ベイズ確率モデルを用いた学習等であっても良い。上述のランキング学習等は、公知技術であるため、詳細な説明を省略する。機械学習に用いるデータは、正例の正解データと負例の正解データとが、負例の不正解データに比べて非常に少ないデータであることが好適である。そのため、機械学習に用いるデータは、例えば、「正例のデータに含まれる正解データの数／負例のデータに含まれる不正解データの数」が閾値Ｒより小さく、かつ「負例のデータに含まれる正解データの数／負例のデータに含まれる不正解データの数」が閾値Ｒ’より小さいデータであっても良い。なお、ＲおよびＲ’は、例えば「０．０１」等の非常に値の小さい正の実数であるものとし、ＲおよびＲ’は同じ値であっても良い。「正例の正解データと負例の正解データとが、負例の不正解データに比べて非常に少ない」は、具体的には、後述する数式５の式において、「ｐ×ｐ’／（（ｐ＋ｐ’）×ｎ）」の値が、「ｐ／（ｐ＋ｐ’）」および「ｐ’／（ｐ＋ｐ’）」に比べて充分に小さく、数式５の計算上、「ｐ×ｐ’／（（ｐ＋ｐ’）×ｎ）」が係数となっている項が、無視できるほど、ｐとｐ’とに比べｎが大きいことである。なお、上記式のｐは正例の正解データの数を示し、ｐ’は負例の正解データの数を示し、ｎは不正解データの数を示している。ＰＵ分類器１０１は、テストに用いるデータが与えられた際に、機械学習の学習結果を用いて、そのデータが正例なのか、負例なのかを判断する。

テスト集合取得手段１０２は、ＰＵ分類器１０１で分類するＰ集合とＵ集合とを取得する。Ｐ集合は、正解データｐの集合である。また、Ｕ集合は、正解データｐ’および不正解データｎが混在した不明データｕの集合である。以下、Ｐ集合とＵ集合とを合わせた集合を、テスト集合とも記載する。また、テスト集合に含まれる正解データｐ、正解データｐ’、または不正解データｎのいずれかを示すデータをテストデータとも記載する。テスト集合取得手段１０２が取得するテスト集合は、Ｐ集合に含まれる正解データｐの数と、Ｕ集合に含まれる不明データｕの数とが分かるデータである。また、そのテスト集合は、Ｕ集合に含まれる正解データｐ’の数と、不正解データｎの数とが分かる集合であっても良いが、分からない集合であっても良い。なお、Ｐ集合には、不正解データは含まれていないものとする。

テスト集合取得手段１０２は、ＰＵ分類器１０１が用いている学習結果を作成する際の学習に用いたデータの少なくとも一部が異なるデータを取得しても良く、その学習に用いたデータとすべてが異なるデータであっても良く、その学習に用いた正解データの集合であるＰ集合と、その学習に用いた不明データの集合であるＵ集合とに含まれる各データを取得しても良い。この際の「その学習に用いた正解データ（不明データ）の集合」は、完全に一致する集合であっても良く、一部が一致する集合であっても良い。具体的には、テスト集合取得手段１０２が取得するテスト集合に含まれるテストデータは、機械学習の際に用いられたデータそのものであっても良く、機械学習の際に用いられたデータと異なるデータであっても良い。なお、機械学習の際に用いられたデータと異なるデータは、機械学習の際に用いられたデータと同じ手法、またはルール等を用いて作成されたデータでなければならない。つまり、機械学習の際に用いられたデータとテストデータの素性は、同じ方法で取得しなければならない。例えば、テスト集合取得手段１０２は、学習に用いることができるデータを分割して、一方を実際に学習に用いるデータの集合、他方をテストデータの集合であるテスト集合と扱っても良い。

テスト集合取得手段１０２は、図示しない格納手段や外部の格納装置からテスト集合を取得しても良い。なお、テスト集合取得手段１０２は、外部からテスト集合を受け付ける受付手段として機能しても良い。

分類結果情報取得手段１０３は、ＰＵ分類器１０１を用いて、分類の結果である分類結果情報を取得する。分類結果情報取得手段１０３が分類結果情報を取得することは、テストデータをＰＵ分類器１０１に入力し、ＰＵ分類器１０１が分類した結果を受け取ることである。分類結果情報は、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データをＰＵ分類器１０１が正例、または負例に分類した結果を示す情報である。また、分類結果情報は、Ｐ集合に含まれる正解データｐ、または、Ｕ集合に含まれる不明データｕが、ＰＵ分類器１０１によって、正例、または負例のどちらに分類されたかを示す情報を、そのデータに関する情報に対応付けた情報である。なお、分類結果情報が対応付けるデータに関する情報は、データそのものであっても良く、データを識別するＩＤ等の情報であっても良く、Ｐ集合、またはＵ集合のどちらに属するデータかを示す情報であっても良い。また、分類結果情報は、正例、または負例のどちらに分類されたかを示す情報に対して、さらにスコアを対応付けていても良い。スコアは、ＰＵ分類器１０１が算出する数値である。また、スコアは、例えば、正例である可能性が高いほど高い値が算出される数値であっても良く、そうでなくても良い。スコアは、例えば、実数であっても良く、正例、または負例を示す情報であっても良い。スコアが実数の場合は、例えば、ランキング学習を用いた分類を行ったときの、ランキングに用いる値であっても良く、ＳＶＭを用いた分類を行ったときの、分離境界からの距離を示す値等であっても良い。なお、ランキングに用いる値は、ＰＵ分類器１０１がテストデータをランキング（並び替え）する際に用いる数値である。分類結果情報取得手段１０３は、Ｐ集合とＵ集合とを、テスト集合取得手段１０２から取得しても良く、図示しない格納手段から取得しても良く、外部から受け付けて取得しても良い。分類結果情報取得手段１０３が、Ｐ集合とＵ集合とを外部から受け付けて取得する場合は、分類結果情報取得手段１０３は、受付手段として機能しても良い。

受付手段１０４は、Ｕ集合に含まれる正解データｐ’とＵ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける。割合情報は、割合の値の範囲を示す情報であっても良く、割合の値を示す情報であっても良い。割合情報は、正解データｐ’と不正解データｎとの割合を示す情報であれば良い。例えば、割合情報は、正解データｐ’と不正解データｎとの割合そのものを示す情報であっても良く、正解データｐ’の数と不正解データｎの数とを示す情報であっても良く、一方が他方よりも非常に多い、または非常に少ないことを示す情報であっても良く、正解データｐ’と、不正解データｎとを指定する情報であっても良い。なお、受付手段１０４は、人の手によって設定された割合情報を受け付けても良く、割合情報を算出できる情報から、割合情報を算出した結果を受け付けても良い。割合情報を算出できる情報は、例えば、Ｕ集合に含まれる正解データｐ’と不正解データｎとの数が分かっている場合のテスト集合等である。

ＡＵＣ推定手段１０５は、分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定する。ＡＵＣは、Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ（曲線下面積）の略であり、分類器が分類した際の精度を示す指標である。なお、ＡＵＣは、０．０から１．０の間の値をとり、１．０に近いほど分類精度が高いことを示す。なお、ＡＵＣの値は、テストデータをランダムに分類する分類器の場合は、０．５となる。ＡＵＣは公知であるため、その詳細な説明は省略する。ＡＵＣ推定手段１０５が推定するＡＵＣは、ＡＵＣ_{ｐ∪ｐ’，ｎ}である。ＡＵＣ_{ｐ∪ｐ’，ｎ}は、正解データが正例に、不正解データが負例に分類されたかどうかの精度を示す指標である。ＡＵＣ推定手段１０５が推定するＡＵＣ_{ｐ∪ｐ’，ｎ}は、機械学習の精度改善のために利用される情報である。例えば、ＡＵＣ_{ｐ∪ｐ’，ｎ}は、その値が最適化されるまで学習方法を試行しながら繰り返す場合等に用いられる。ＡＵＣ_{ｐ∪ｐ’，ｎ}は、例えば、数式１で算出できる。なお、数式では、ＡＵＣ_{ｐ∪ｐ’，ｎ}は、ＡＵＣ_Ｑ，Ｎと表記するものとする。

数式１において、ＱはＱ集合に含まれる正解データｐと正解データｐ’との集合を示し、ＮはＮ集合に含まれる不正解データｎの集合を示し、ｐはＰ集合に含まれる正解データｐの数を示し、ｐ’はＵ集合に含まれる正解データｐ’の数を示し、ｎはＮ集合に含まれる不正解データｎの数を示し、ｘはテストデータを示し、ｉは正解データｐの数と正解データｐ’の数との合計値の数だけ値が変化する変数を示し、ｊは不正解データｕの数だけ値が変化する変数を示し、ｘ_ｉは正解データｐおよび正解データｐ’の集合に含まれるｉ番目のテストデータを示し、ｘ_ｊ は不正解データｎのうちのｊ番目のテストデータを示し、ｆ（ｘ_ｉ）はテストデータｘ_ｉのスコアを示し、Ｉは引数の値が正しい場合は１を、間違っている場合は０を返すインジケータ変数を示している。なお、Ｑ集合は、Ｐ集合に含まれる正解データｐとＵ集合に含まれる正解データｐ’との集合であり、Ｎ集合は、Ｕ集合に含まれる不正解データｎの集合である。また、分類結果情報にスコアが含まれない場合は、数式１等の計算では、正例のスコアを１、負例のスコアを０または−１等のように、正例、または負例を示す情報をスコアに置き換えて用いても良い。

ＡＵＣ推定手段１０５は、受付手段１０４が受け付けた割合情報によって、Ｕ集合に含まれる正解データｐ’と、不正解データｎとが分かる場合は、数式１を用いてＡＵＣ_{ｐ∪ｐ’，ｎ}を算出しても良い。「Ｕ集合に含まれる正解データｐ’と、不正解データｎとが分かる場合」とは、例えば、割合情報が、正解データｐ’と、不正解データｎとを指定する情報であった場合である。また、テスト集合取得手段１０２が取得したテスト集合を取得する段階で、Ｕ集合に含まれる正解データｐ’と、不正解データｎとが分かる場合も、数式１を用いてＡＵＣ_{ｐ∪ｐ’，ｎ}を算出しても良い。なお、この場合は、受付手段１０４は、テスト集合に含まれる正解データｐ’と不正解データｎとを識別する情報を受け付けるようにしても良い。正解データｐ’の数と、不正解データｎの数とが分からない場合は、ＡＵＣ推定手段１０５は、ＡＵＣ_{ｐ∪ｐ’，ｎ}を展開することで得たＡＵＣ_Ｐ，Ｕを含む式からＡＵＣ_{ｐ∪ｐ’，ｎ}を推定する。ＡＵＣ_Ｐ，Ｕは、例えば、次の数式２で算出できる。なお、ＡＵＣ_Ｐ，Ｕは、ＡＵＣ_{ｐ，ｐ’∪ｎ}と同じものである。

数式２において、ＰはＰ集合に含まれる正解データｐの集合を示し、ＵはＵ集合に含まれる不明データｕの集合を示し、ｉは正解データｐの添え字を示し、ｊは不明データｕの添え字を示す。数式２における正解データｐ’と不正解データｎのそれぞれの数は不明だが、（ｐ’＋ｎ）の値は、不明データｕの数であるため、ＡＵＣ_Ｐ，Ｕは算出できる。そして、ＡＵＣ_{ｐ∪ｐ’，ｎ}の式は、ＡＵＣ_Ｐ，Ｕ を含む式に展開できる。例えば、ＡＵＣ_{ｐ∪ｐ’，ｎ}は、ＡＵＣ_Ｐ，Ｕ を数式３のように展開することで、数式４のようにＡＵＣ_Ｐ，Ｕ を含む式展開できる。

数式３および数式４において、ｘ（テストデータ）は、分類器が算出したスコアが低い順に並んでいるものとし、Ａは、二重総和に係る計算式を省略したものとした。なお、数式３において、ｉはＰ集合に含まれているデータの数だけ値が変化する変数を示し、ｊはＵ集合に含まれているデータの数だけ値が変化する変数を示し、ｘ_ｉはＰ集合に含まれるｉ番目のテストデータを示し、ｘ_ｊ はＵ集合に含まれるｊ番目のテストデータを示しているものとする。数式４の式をさらに展開し、ＡＵＣ_Ｐ’，ＮおよびＡＵＣ_Ｐ，Ｐ’を含むように展開すると、数式５のようになる。

数式５において、Ｐ’はＵ集合に含まれる正解データｐ’の集合を示し、Ｎは、Ｕ集合に含まれる不正解データｎの集合を示しているものとする。数式５について、ＡＵＣ推定手段１０５は、ＡＵＣ_Ｐ’，ＮおよびＡＵＣ_Ｐ，Ｐ’を算出できないが、例えば、「ｐ＜＜ｎ かつ ｐ’＜＜ｎ」の限定を加える場合では、ＡＵＣ_{ｐ∪ｐ’，ｎ}をある程度正確に推定できる。具体的には、正解データｐ、正解データｐ’、不正解データｎの数が「ｐ：ｐ’：ｎ＝１：１：１００」である場合、数式５は数式６のように、係数が小さいため、ＡＵＣ_{ｐ∪ｐ’，ｎ}の値にあまり影響しないと考え、省略できるものとした。

ＡＵＣ_Ｐ’，Ｎは、Ｕ集合に含まれる正解データｐ’を正例、およびＵ集合に含まれる不正解データｎを負例に判断できたかどうかを示す指標である。ＡＵＣ_Ｐ’，Ｎは、学習時に正解データｐ’と不正解データｎとが負例であると学習するため、ＡＵＣ_Ｐ，Ｕを改善したとしても、あまり変化がないと考えられるから、ＡＵＣ_Ｐ’，Ｎは、定数のように考えられる。よって、この場合、ＡＵＣ_Ｐ，Ｕ の値を最適化した場合、ＡＵＣ_{ｐ∪ｐ’，ｎ}をも最適化されると考えられる。これにより、ＡＵＣ_Ｐ，Ｕ は、ＰＵ分類器１０１の分類精度の傾向を見ることができると考えられる。なお、ＡＵＣ推定手段１０５は、ＡＵＣ_Ｐ’，Ｎが１．０までの値を示すことを用いて、数式６の式から、ＡＵＣ_{ｐ∪ｐ’，ｎ}の概数を推定しても良い。そのＡＵＣ_{ｐ∪ｐ’，ｎ}の概数を推定する場合は、ＡＵＣ推定手段１０５は、例えば、ＡＵＣ_Ｐ’，Ｎを、ランダム時の値である０．５と定義して計算しても良く、最大値である１．０と定義して計算しても良く、ランダム時の値と最大値の中間値である０．７５と定義して計算しても良く、ＡＵＣ_Ｐ，Ｕと同じ値等と定義して計算しても良い。

以上の方法の場合にＡＵＣ推定手段１０５が推定するＡＵＣ_{ｐ∪ｐ’，ｎ}は、「ｐ＜＜ｎ かつ ｐ’＜＜ｎ」であるほど正確な値であるといえる。そのため、ＡＵＣ推定手段１０５は、割合情報とＰ集合とＵ集合とを用いて、Ｕ集合に含まれる正解データｐ’、および、Ｐ集合に含まれる正解データｐが、Ｕ集合に含まれる不正解データｎより所定の条件を満たすほど少ないと判断できる場合にのみ、ＡＵＣ_{ｐ∪ｐ’，ｎ}を推定しても良い。所定の条件とは、Ｕ集合に含まれる正解データｐ’、および、Ｐ集合に含まれる正解データｐが、Ｕ集合に含まれる不正解データｎより非常に少ないことである。ここでの「非常に少ない」は、数式１の「ｐ×ｐ’／（（ｐ＋ｐ’）×ｎ）」の値が、「ｐ／（ｐ＋ｐ’）」および「ｐ’／（ｐ＋ｐ’）」に比べて充分に小さく、数式５の計算上、「ｐ×ｐ’／（（ｐ＋ｐ’）×ｎ）」が係数となっている項が、無視できるほど、ｐとｐ’とに比べｎが大きいことである。つまり、所定の条件は、「ｐ／ｎ」が閾値Ｒより小さく、かつ「ｐ’／ｎ」が閾値Ｒ’より小さいことであっても良い。なお、ＲおよびＲ’は、例えば「０．０１」等の非常に小さい正の実数であるものとし、ＲおよびＲ’は同じ値であっても良い。ＡＵＣ推定手段１０５は、割合情報とＰ集合とＵ集合とを用いて、Ｕ集合に含まれる正解データｐ’、Ｐ集合に含まれる正解データｐ、およびＵ集合に含まれる不正解データｎの数を取得、または算出し、所定の条件を満たすかどうか判断しても良い。例えば、ＡＵＣ推定手段１０５は、割合情報が、正解データｐ’の数と不正解データｎの数とを示す情報である場合に、上記それぞれのデータの数を取得しても良い。また、ＡＵＣ推定手段１０５は、割合情報が、正解データｐ’と不正解データｎとの割合そのものを示す情報、または正解データｐ’と、不正解データｎとを指定する情報である場合に、上記それぞれのデータの数を算出しても良い。なお、ＡＵＣ推定手段１０５は、「正解データｐの数／不明データｕ」の値が閾値Ｒ’’より小さい場合で、割合情報が、正解データｐ’の数が不正解データｎの数よりも非常に少ないことを示す情報であるときは、所定の条件を満たしていると判断しても良い。なお、Ｒ’’は、例えば「０．０１」等の非常に小さい正の実数であるものとする。

確度情報取得手段１０６は、ＡＵＣ推定手段１０５が推定した結果の確からしさを示す値である確度情報を算出する。確度情報取得手段１０６は、確度情報を算出する際に割合情報と、Ｕ集合と、Ｐ集合とを用いて、算出しても良い。確度情報は、Ｕ集合に含まれる正解データｐ’が、Ｕ集合に含まれる不正解データｎよりも少なく、かつ、Ｐ集合に含まれる正解データｐが、Ｕ集合に含まれる不正解データｎよりも少ないほど高い値になる。つまり、確度情報は、「正解データｐの数／不正解データｎの数」の値と、「正解データｐ’の数／不正解データｎの数」の値とが小さいほど高い値になる。なお、確度情報は、Ｕ集合に含まれる正解データｐ’が、Ｕ集合に含まれる不正解データｎよりも少なくなく、かつ、Ｐ集合に含まれる正解データｐが、Ｕ集合に含まれる不正解データｎよりも少ない場合に比べ、どちらか一方のみが少ない場合の方が高い値になっても良い。具体的には、割合情報によって正解データｐ’と不正解データｎとの数が分かる場合は、確度情報は、例えば、「１−ｐ×ｐ’／（（ｐ＋ｐ’）×ｎ）」で算出される値等であっても良い。また、割合情報によって、正解データｐ’、および、正解データｐが、不正解データｎより非常に少ないことが示されている場合は、確度情報は、「確からしい」ことを示す情報であっても良い。また、割合情報によって、正解データｐ’、および、正解データｐが、不正解データｎより非常に少ないことが示されていない場合は、「不確かである」ことを示す情報であっても良い。

出力手段１０７は、ＡＵＣ推定手段１０５によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}を出力する。また、出力手段１０７は、ＡＵＣ推定手段１０５によって確度情報が取得されている場合は、推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}と、確度情報とを出力しても良い出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。

ＰＵ分類器１０１、テスト集合取得手段１０２、分類結果情報取得手段１０３、受付手段１０４、ＡＵＣ推定手段１０５、および確度情報取得手段１０６は、通常、ＭＰＵやメモリ等から実現され得る。ＰＵ分類器１０１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、ＰＵ分類器１０１は、装置の中に含まれる一個の処理手段であっても良く、一個の装置であっても良い。また、テスト集合取得手段１０２、および受付手段１０４は、テンキーやキーボードやマウスや記録媒体等から情報を受け付けても良い。テスト集合取得手段１０２、および受付手段１０４は、テンキーやキーボード等の入力する手段のデバイスドライバ等で実現されていても良い。また、出力手段１０７は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力手段１０７は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、分類精度推定装置１の動作の一例を図２のフローチャートを用いて説明する。図２のフローチャートは、確度情報取得手段１０６が確度情報を取得する場合のフローチャートである。

（ステップＳ２０１）テスト集合取得手段１０２は、テスト集合を取得する。

（ステップＳ２０２）受付手段１０４は、割合情報を受け付けたかどうかを判断する。受け付けた場合は、ステップＳ２０３へ進み、受け付けなかった場合は、ステップＳ２０２を繰り返す。

（ステップＳ２０３）分類結果情報取得手段１０３は、ステップＳ２０１で取得したテスト集合をＰＵ分類器１０１で分類した分類結果情報を取得する。

（ステップＳ２０４）ＡＵＣ推定手段１０５は、ステップＳ２０３で取得した分類結果情報を用いてＡＵＣ_Ｐ，Ｕを算出し、ＡＵＣ_{ｐ∪ｐ’，ｎ}を推定する。

（ステップＳ２０５）確度情報取得手段１０６は、ステップＳ２０１で取得したテスト集合と、ステップＳ２０２で受け付けた割合情報を用いて、確度情報を取得する。

（ステップＳ２０６）出力部１０７は、ステップＳ２０４で推定したＡＵＣ_{ｐ∪ｐ’，ｎ}と、ステップＳ２０５で取得した確度情報とを出力する。そして、処理を終了する。

次に、分類精度推定装置１の動作の一例を図３のフローチャートを用いて説明する。図３のフローチャートは、ＡＵＣ推定手段１０５が所定の条件に合致する場合にのみＡＵＣを推定する場合のフローチャートである。なお、図３のフローチャートにおける図２のフローチャート同じステップ番号は、図２のフローチャートと同じ処理であるものとする。

（ステップＳ３０１）ＡＵＣ推定手段１０５は、ステップＳ２０１で取得したテスト集合と、ステップＳ２０２で受け付けた割合情報を用いて、「ｐ＜＜ｎ かつ ｐ’＜＜ｎ」が成り立つかどうかを判断する。成り立つ場合は、ステップＳ２０３へ進み、成り立たない場合は、処理を終了する。

（ステップＳ３０２）出力部１０７は、ステップＳ２０４で推定したＡＵＣ_{ｐ∪ｐ’，ｎ}を出力する。そして、処理を終了する。

以上、本実施の形態によれば、ＡＵＣ推定手段１０５が、正例のデータと、正例か負例かが不明なデータとに基づいて行った機械学習の学習結果を用いて、正例のデータと負例のデータとを分類する分類精度の傾向を推定できる。これにより、使用者は、推定した分類精度、またはその傾向を用いて、機械学習を用いた分類の分類精度を推定し、その分類精度を改善の際の指標に用いることができる。なお、ＡＵＣ推定手段１０５が、分類精度を推定することは、機械学習の学習結果の精度を推定することと考えることもできる。これにより、使用者は、機械学習の学習結果の精度を評価することができる。また、ＡＵＣ推定手段１０５がＡＵＣ_{ｐ∪ｐ’，ｎ} の傾向を推定することで、正例のデータと、正例か負例かが不明なデータとに基づいて行った機械学習における、正例のデータと負例のデータとを分類する分類精度を推定できる。また、ＡＵＣ推定手段１０５が、不明なデータに含まれない正例のデータ、および、不明なデータに含まれる正例のデータが、不明なデータに含まれる負例のデータに比べて非常に少ない場合にのみＡＵＣを推定することで、不確かなＡＵＣの値を推定しないようにできる。これにより、使用者は、確実性の高い分類精度、またはその傾向のみを用いて、機械学習を用いた分類の分類精度を推定し、その分類精度を改善の際の指標に用いることができる。また、分類結果情報取得手段１０３は、機械学習時に用いた正解データおよび不正解データを用いて、分類結果情報を取得できる。これにより、新たにテストデータを用意しなくても分類精度の傾向を推定できる。また、分類結果情報取得手段１０３は、機械学習時に用いた正解データおよび不正解データと異なるデータを用いて、分類結果情報を取得できる。これにより、学習データと異なるデータを用いて分類精度の傾向を推定できる。

本実施の形態では、ＰＵ分類器１０１は、分類精度推定装置１に含まれない処理手段として説明したが、分類精度推定装置１は、ＰＵ分類器１０１を含んでいても良い。その場合のＰＵ分類器１０１は、テスト集合取得手段１０２からテスト集合を取得し、そのテスト集合に含まれるテストデータを分類した結果を、分類結果情報取得手段１０３に渡すようにしても良く、分類結果情報取得手段１０３からテスト集合を取得し、そのテスト集合に含まれるテストデータを分類した結果を、分類結果情報取得手段１０３に返すようにしても良い。

本実施の形態では、テスト集合取得手段１０２を含む場合について説明したが、分類精度推定装置１は、テスト集合取得手段１０２を含んでいなくても良い。分類精度推定装置１が、テスト集合取得手段１０２を含んでいない場合は、分類結果情報取得手段１０３が、テスト集合を取得しても良く、ＰＵ分類器１０１がテスト集合を取得しても良い。その際、テスト集合は、図示しない格納手段に格納されているテスト集合であっても良く、図示しない受付手段が受け付けたテスト集合であっても良い。また、分類精度推定装置１が、テスト集合取得手段１０２を含んでいない場合で、ＰＵ分類器１０１が用いている学習結果に学習時に学習に用いたデータを分類した分類結果情報が格納されているときは、分類結果情報取得手段１０３は、テスト集合を用いずに、ＰＵ分類器１０１から、学習時に学習に用いたデータを分類した分類結果情報を取得しても良い。

本実施の形態では、ＰＵ分類器１０１は、分類結果情報取得手段１０３からテスト集合を取得する場合について説明したが、ＰＵ分類器１０１は、分類結果情報取得手段１０３からテスト集合を取得しなくても良い。ＰＵ分類器１０１は、分類結果情報取得手段１０３からテスト集合を取得しない場合は、ＰＵ分類器１０１は、テスト集合を取得しても良い。その際、テスト集合は、図示しない格納手段に格納されているテスト集合であっても良く、図示しない受付手段が受け付けたテスト集合であっても良い。

また、本実施の形態における分類精度推定装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、プログラムは、コンピュータを、正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定装置として機能させるためのプログラムであって、ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、分類の結果である分類結果情報を取得する分類結果情報取得手段、分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定手段と、Ｕ集合に含まれる正解データｐ’とＵ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付手段、割合情報と、Ｕ集合と、Ｐ集合とを用いて、Ｕ集合に含まれる正解データｐ’が、Ｕ集合に含まれる不正解データｎよりも少なく、かつ、Ｐ集合に含まれる正解データｐが、Ｕ集合に含まれる不正解データｎよりも少ないほど高い値であり、ＡＵＣ推定手段が推定した結果の確からしさを示す値である確度情報を算出する確度情報取得手段、ＡＵＣ推定手段によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}と、確度情報とを出力する出力手段として機能させるためのプログラムである。

また、本実施の形態における分類精度推定装置１を実現するソフトウェアは、以下のようなプログラムであっても良い。つまり、プログラムは、コンピュータを、正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定装置として機能させるためのプログラムであって、ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、分類の結果である分類結果情報を取得する分類結果情報取得手段、Ｕ集合に含まれる正解データｐ’とＵ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付手段、割合情報とＰ集合とＵ集合とを用いて、Ｕ集合に含まれる正解データｐ’、および、Ｐ集合に含まれる正解データｐが、Ｕ集合に含まれる不正解データｎより所定の条件を満たすほど少ないと判断できる場合に、分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定手段、ＡＵＣ推定手段によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}を出力する出力手段として機能させるためのプログラムである。

なお、本実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されても良く、または、複数の装置によって分散処理されることによって実現されても良い。また、本実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の手段で実現されても良いことは言うまでもない。

また、本実施の形態において、各構成要素は、専用のハードウェアにより構成されても良く、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されても良い。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行手段が読み出して実行することによって、各構成要素が実現され得る。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得手段や、情報を出力する出力手段等におけるモデムやインターフェースカード等のハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。

図４は、上記プログラムを実行して、上記実施の形態による本発明を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって実現され得る。

図４において、コンピュータシステム１１００は、ＣＤ−ＲＯＭドライブ１１０５、ＦＤドライブ１１０６を含むコンピュータ１１０１と、キーボード１１０２と、マウス１１０３と、モニタ１１０４とを備える。

図５は、コンピュータシステム１１００の内部構成を示す図である。図５において、コンピュータ１１０１は、ＣＤ−ＲＯＭドライブ１１０５、ＦＤドライブ１１０６に加えて、ＭＰＵ１１１１と、ブートアッププログラム等のプログラムを蓄積するためのＲＯＭ１１１２と、ＭＰＵ１１１１に接続され、アプリケーションプログラムの命令を一時的に蓄積すると共に、一時記憶空間を提供するＲＡＭ１１１３と、アプリケーションプログラム、システムプログラム、およびデータを蓄積するハードディスク１１１４と、ＭＰＵ１１１１と、ＲＯＭ１１１２等を相互に接続するバス１１１５とを備える。なお、コンピュータ１１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいても良い。

コンピュータシステム１１００に、上記実施の形態による本発明等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１１２１、またはＦＤ１１２２に蓄積されて、ＣＤ−ＲＯＭドライブ１１０５、またはＦＤドライブ１１０６に挿入され、ハードディスク１１１４に転送されても良い。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１１０１に送信され、ハードディスク１１１４に蓄積されても良い。プログラムは実行の際にＲＡＭ１１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１１２１やＦＤ１１２２、またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ１１０１に、上記実施の形態による本発明の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいても良い。コンピュータシステム１１００がどのように動作するのかについては周知であり、詳細な説明は省略する。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。また、本発明における各手段の「手段」は、「部」や「回路」等と読み替えても良い。

以上のように、本発明にかかる分類精度推定装置等は、正例のデータと、正例か負例かが不明なデータとに基づいて行った機械学習の学習結果を用いて、正例のデータと負例のデータとを分類する分類精度を推定できるという効果を有し、分類精度推定装置等として有用である。

１ 分類精度推定装置
１０１ ＰＵ分類器
１０２ テスト集合取得手段
１０３ 分類結果情報取得手段
１０４ 受付手段
１０５ ＡＵＣ推定手段
１０６ 確度情報取得手段
１０７ 出力手段

Claims (8)

1. 正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定装置であって、
   前記ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、当該分類の結果である分類結果情報を取得する分類結果情報取得手段と、
   分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、前記分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定手段と、
   前記Ｕ集合に含まれる正解データｐ’と当該Ｕ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付手段と、
   前記割合情報と、前記Ｕ集合と、前記Ｐ集合とを用いて、当該Ｕ集合に含まれる正解データｐ’が、当該Ｕ集合に含まれる不正解データｎよりも少なく、かつ、当該Ｐ集合に含まれる正解データｐが、当該Ｕ集合に含まれる不正解データｎよりも少ないほど高い値であり、前記ＡＵＣ推定手段が推定した結果の確からしさを示す値である確度情報を算出する確度情報取得手段と、
   前記ＡＵＣ推定手段によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}と、前記確度情報とを出力する出力手段とを具備する分類精度推定装置。
2. 正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定装置であって、
   前記ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、当該分類の結果である分類結果情報を取得する分類結果情報取得手段と、
   前記Ｕ集合に含まれる正解データｐ’と当該Ｕ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付手段と、
   前記割合情報と前記Ｐ集合と前記Ｕ集合とを用いて、当該Ｕ集合に含まれる正解データｐ’、および、当該Ｐ集合に含まれる正解データｐが、当該Ｕ集合に含まれる不正解データｎより所定の条件を満たすほど少ないと判断できる場合に、分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、前記分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定手段と、
   前記ＡＵＣ推定手段によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}を出力する出力手段とを具備する分類精度推定装置。
3. 前記分類結果情報取得手段は、
   前記ＰＵ分類器が用いている学習結果を作成する際の学習に用いたデータの少なくとも一部が異なるデータを含むＰ集合とＵ集合とに含まれる各データを正例、または負例に分類した結果である分類結果情報を取得する、請求項１または２記載の分類精度推定装置。
4. 前記分類結果情報取得手段は、
   前記ＰＵ分類器が用いている学習結果を作成する際の学習に用いた正解データの集合であるＰ集合と、当該学習に用いた不明データの集合であるＵ集合とに含まれる各データを正例、または負例に分類した結果である分類結果情報を取得する、請求項１または２記載の分類精度推定装置。
5. 分類結果情報取得手段と、ＡＵＣ推定手段と、受付手段と、確度情報取得手段と、出力手段とを用いて処理される、正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定方法であって、
   前記分類結果情報取得手段が、前記ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、当該分類の結果である分類結果情報を取得する分類結果情報取得ステップと、
   前記ＡＵＣ推定手段が、分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、前記分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定ステップと、
   前記受付手段が、前記Ｕ集合に含まれる正解データｐ’と当該Ｕ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付ステップと、
   前記確度情報取得手段が、前記割合情報と、前記Ｕ集合と、前記Ｐ集合とを用いて、当該Ｕ集合に含まれる正解データｐ’が、当該Ｕ集合に含まれる不正解データｎよりも少な_{ｐ∪ｐ’，ｎ}よりも少ないほど高い値であり、前記ＡＵＣ推定ステップで推定された結果の確からしさを示す値である確度情報を算出する確度情報取得ステップと、
   前記出力手段が、前記ＡＵＣ推定ステップによって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}と、前記確度情報とを出力する出力ステップとを具備する分類精度推定方法。
6. 分類結果情報取得手段と、受付手段と、ＡＵＣ推定手段と、出力手段とを用いて処理される、正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定方法であり、
   前記分類結果情報取得手段が、前記ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、当該分類の結果である分類結果情報を取得する分類結果情報取得ステップと、
   前記受付手段が、前記Ｕ集合に含まれる正解データｐ’と当該Ｕ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付ステップと、
   前記ＡＵＣ推定手段が、前記割合情報と前記Ｐ集合と前記Ｕ集合とを用いて、当該Ｕ集合に含まれる正解データｐ’、および、当該Ｐ集合に含まれる正解データｐが、当該Ｕ集合に含まれる不正解データｎより所定の条件を満たすほど少ないと判断できる場合に、分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、前記分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定ステップと、
   前記出力手段が、前記ＡＵＣ推定ステップによって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}を出力する出力ステップとを具備する分類精度推定方法。
7. コンピュータを、
   正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定装置として機能させるためのプログラムであって、
   前記ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、当該分類の結果である分類結果情報を取得する分類結果情報取得手段、
   分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、前記分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定手段、
   前記Ｕ集合に含まれる正解データｐ’と当該Ｕ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付手段、
   前記割合情報と、前記Ｕ集合と、前記Ｐ集合とを用いて、当該Ｕ集合に含まれる正解データｐ’が、当該Ｕ集合に含まれる不正解データｎよりも少なく、かつ、当該Ｐ集合に含まれる正解データｐが、当該Ｕ集合に含まれる不正解データｎよりも少ないほど高い値であり、前記ＡＵＣ推定手段が推定した結果の確からしさを示す値である確度情報を算出する確度情報取得手段、
   前記ＡＵＣ推定手段によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}と、前記確度情報とを出力する出力手段として機能させるためのプログラム。
8. コンピュータを、
   正解データを正例のデータとして扱い、正解データおよび不正解データが混在した不明データを負例のデータとして扱う機械学習を行った学習結果を用いたＰＵ分類器の分類精度を推定する分類精度推定装置として機能させるためのプログラムであって、
   前記ＰＵ分類器を用いて、正解データｐの集合であるＰ集合と、正解データｐ’および不正解データｎが混在した、不明データｕの集合であるＵ集合とに含まれている各データを正例、または負例に分類し、当該分類の結果である分類結果情報を取得する分類結果情報取得手段、
   前記Ｕ集合に含まれる正解データｐ’と当該Ｕ集合に含まれる不正解データｎとの割合に関する割合情報を受け付ける受付手段、
   前記割合情報と前記Ｐ集合と前記Ｕ集合とを用いて、当該Ｕ集合に含まれる正解データｐ’、および、当該Ｐ集合に含まれる正解データｐが、当該Ｕ集合に含まれる不正解データｎより所定の条件を満たすほど少ないと判断できる場合に、分類器の分類した際の精度を示す指標であるＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｔｈｅ ｃｕｒｖｅ：曲線下面積）を用いて、前記分類結果情報から正解データｐと、不明データｕとを分類した際の精度であるＡＵＣ_Ｐ，Ｕを算出することによって、正解データｐおよび正解データｐ’と、不正解データｎとを分類した際の精度であるＡＵＣ_{ｐ∪ｐ’，ｎ}を推定するＡＵＣ推定手段、
   前記ＡＵＣ推定手段によって推定されたＡＵＣ_{ｐ∪ｐ’，ｎ}を出力する出力手段として機能させるためのプログラム。

Images