JP7213138B2 - 学習データ作成支援システムおよび学習データ作成支援方法 - Google Patents

Description

本発明は、学習データ作成支援システムおよび学習データ作成支援方法に関するものであり、具体的には、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習を効率的なものとする技術に関する。

情報セキュリティの分野では、分析官がシステムログから取得した検体（ＵＲＬやファイル）について、情報セキュリティの観点から良性か悪性か、また、悪性であれば具体的な攻撃手法への分類を手作業で実施する。
こうした分類には高度な専門知識が必要とされ、かつ検体１つあたりの分類に長時間かかるため、機械学習による自動分類が有用である。

機械学習による分類では、分類器に分類対象の特徴量を入力して、出力として分類先のクラスごとに分類確率を得る。ここで、特徴量の形式は、例えばシステムログの文字列に含まれる単語のｏｎｅ－ｈｏｔ表現や、記録された文字列そのものなど、任意の形式を用いて良い。

このような分類器は、一般に教師あり学習で作成される。具体的には、分類対象のデータの特徴量と、当該特徴量に応じた分類結果（ラベル）からなる学習データとを学習させることで作成するものである。

なお、高精度な分類器を得るには、分類対象となり得る多様なデータを網羅した、十分な量の学習データが必要である。このような学習データを作成するには、アノテーションと呼ばれる作業を繰り返す必要がある。アノテーションは、特徴量のみからなるラベルなしデータにラベル付けする作業である。よって、アノテーションには、大量の人手と時間が必要となる課題がある。特に、情報セキュリティ分野では、アノテーションの実施に高度な知識と時間が必要とされるため、この課題は深刻なものとなる。

この課題を解決するために、分類器の高精度化に必要な最小数のアノテーションで、効率的に学習データを作成することを目指した能動学習と呼ばれる技術がある。

能動学習では、まず最初に利用可能な少数の学習データから分類器を作成する。次に、アノテーション候補のラベルなしデータを分類器で分類し、その結果から分類器が分類困難なラベルなしデータを評価し、これをアノテーションするべきラベルなしデータとして選択する。

そして、選択したラベルなしデータのアノテーションを、オラクルに依頼してアノテーション結果を学習データに追加する。一般にオラクルは、アノテーションの答えを知っている人間であるが、任意の機械やプログラムでも良い。

最後に、追加された学習データで分類器を再学習し、得た分類器の精度をテストデータで評価する。能動学習では分類器が所望の精度を上回るまで、このような学習データの追加と再学習を繰り返し行う。

能動学習において、ラベルなしデータの選択方法は複数提案されている。そうした従来技術としては、例えば、ラベルなしデータを追加した後に予想される情報エントロピーを最小にするようなラベルなしデータを選択する方法（非特許文献１参照）が開示されてい
る。

また他にも、分類器の分類境界に近傍のクラスタに属するラベルなしデータを選択することで、多様なラベルなしデータを網羅した学習データを効率よく作成する方法（特許文献１参照）が開示されている。

さらに、分類器による不確定性を定量化する指標として、情報エントロピーを用いて多クラス分類の能動学習を実現する方法（特許文献２参照）も開示されている。

特開２０１７－１６７８３４号公報 特開２０１０－２３１７６８号公報

Ａ．Ｈｏｌｕｂ、Ｐ．Ｐｅｒｏｎａ ａｎｄ Ｍ．Ｃ．Ｂｕｒｌ、"Ｅｎｔｒｏｐｙ－ｂａｓｅｄ ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ ｆｏｒ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ、"２００８ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ、Ａｎｃｈｏｒａｇｅ、ＡＫ、２００８、ｐｐ．１－８．

しかし従来技術においては、どのような種類のラベルなしデータでも正確かつ直ちに分類できるような、万能なオラクルの存在を仮定し、アノテーション回数を減らすことだけに注目していた。

ところが実際には、複数存在するオラクルのそれぞれに、得意あるいは不得意な種類のラベルなしデータがある。そのため、同じ１件のアノテーションでも、その正確さやアノテーション結果を返すまでの時間は、オラクルごとに異なる。ゆえに従来技術では、オラクルが不得意なラベルなしデータの分類が依頼され、能動学習が非効率なものとなる課題があった。

そこで本発明の目的は、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習を効率的なものとする技術を提供することにある。

上記課題を解決する本発明の学習データ作成支援システムは、所定分類器によるデータ分類に際し分類クラスを示すラベルが付与されていないラベルなしデータと、前記分類器の学習に必要な学習データであって、前記ラベルなしデータに関してオラクルが付与したラベルと当該オラクルの情報とを含む学習データと、を保持する記憶装置と、前記学習データおよび前記ラベルから学習した前記分類器による、前記ラベルなしデータの前記分類クラスへの分類確率および分類の不確定度を算定する処理、前記学習データおよび前記オラクルの情報から学習した所定のオラクル分類器による、前記ラベルなしデータの前記オラクルへの分類確率および分類の確信度を算定する処理、前記不確定度と前記確信度の和が大きい順に、所定数の前記ラベルなしデータを選択する処理、および、前記選択したラベルなしデータに関して、前記オラクルへの前記分類確率が高い順に、所定数の前記オラクルにラベル付与を依頼する処理、を実行する演算装置、を含むことを特徴とする。

また、本発明の学習データ作成支援方法は、所定分類器によるデータ分類に際し分類クラスを示すラベルが付与されていないラベルなしデータと、前記分類器の学習に必要な学習データであって、前記ラベルなしデータに関してオラクルが付与したラベルと当該オラクルの情報とを含む学習データと、を記憶装置で保持する情報処理装置が、前記学習データおよび前記ラベルから学習した前記分類器による、前記ラベルなしデータの前記分類クラスへの分類確率および分類の不確定度を算定する処理と、前記学習データおよび前記オラクルの情報から学習した所定のオラクル分類器による、前記ラベルなしデータの前記オラクルへの分類確率および分類の確信度を算定する処理と、前記不確定度と前記確信度の和が大きい順に、所定数の前記ラベルなしデータを選択する処理と、前記選択したラベルなしデータに関して、前記オラクルへの前記分類確率が高い順に、所定数の前記オラクルにラベル付与を依頼する処理と、を実行することを特徴とする。

本発明によれば、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習を効率的なものとできる。

本実施形態の学習データ作成支援システムを含むネットワーク構成例を示す図である。 本実施形態の学習データ選択サーバのワードウェア構成例を示す図である。 本実施形態の学習データの構成例を示す図である。 本実施形態のラベルなしデータの構成例を示す図である。 本実施形態の分類器情報の構成例を示す図である。 本実施形態の忘却係数情報の構成例を示す図である。 本実施形態の標的分類結果情報の構成例を示す図である。 本実施形態のオラクル分類結果情報の構成例を示す図である。 本実施形態のオラクル選択情報の構成例を示す図である。 本実施形態のデータ選択情報の構成例を示す図である。 本実施形態の係数情報の構成例を示す図である。 本実施形態のアノテーション依頼情報の構成例を示す図である。 本実施形態の学習データ選択サーバのフロー図を示す図である。 本実施形態の学習部のフロー図を示す図である。 本実施形態の選択部のフロー図を示す図である。

－－－システム構成－－－

以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の学習データ作成支援システム１００を含むネットワーク構成図である。図１に示す学習データ作成支援システム１００は、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習を効率的なものとするコンピュータシステムである。

こうした学習データ作成支援システム１００は、学習データ管理サーバ１０２と学習データ選択サーバ１０１から構成される。また、学習データ作成支援システム１００は、オラクルの端末すなわちオラクル端末１０３と適宜なネットワーク４０６を介して通信可能に接続される。

このうち学習データ選択サーバ１０１は、学習部３０１、分類部３０２、選択部３０３
、アノテーション依頼部３０４、およびデータセット更新部３０５から構成される。

学習データ選択サーバ１０１は、学習データ管理サーバ１０２から学習データ２０１およびラベルなしデータ２０２を読み出し、アノテーション対象のラベルなしデータとアノテーション依頼先のオラクルを選択し、オラクル端末１０３にその結果を出力する。
上述のラベルなしデータの選択は、標的分類器実行部３０２－１が実行する。また、オラクルの選択は、オラクル分類器実行部３０２が実行する。

一方、オラクル端末１０３は、ラベルなしデータに関するアノテーション結果（データ分類の結果）としてラベルの入力を、オラクルから受け付けた場合、学習データ選択サーバ１０１のデータセット更新部３０５を通じて、学習データ管理サーバ１０２の学習データ２０１を更新する。

学習データ作成支援システム１００においては、こうした一連の処理を、能動学習で目的とする標的分類器の精度が所定の値を上回るまで繰り返す。なお、本実施形態では、オラクルとして人間の分類者を想定しているため、オラクル端末１０３をインターフェイスに用いる形態を例示した。しかしながら、オラクルはプログラムとして実装された任意の分類器であっても良い。

以後、具体例とともに学習データ作成支援システム１００における各部の働きについて詳細を記す。ここで、本実施形態の学習データ作成支援システム１００を運用する組織としては、一例として、ＩＴシステムのログの内容を分析官が精査し、第三者により当該ＩＴシステムへ試みられたサイバー攻撃の手法を分類し、攻撃手法に合わせて適切な対策を実施する事業体、を想定できる。

上述の攻撃手法とは、例えばＤｏＳ（Ｄｅｎｉａｌ ｏｆ Ｓｅｒｖｉｃｅ）攻撃や、フィッシング詐欺、ＸＳＳ（Ｃｒｏｓｓ－ｓｉｔｅ ｓｃｒｉｐｔｉｎｇ）等を想定できる。

こうした事業体が管理するＩＴシステムでは、当該ＩＴシステムに配備したログ収集システムがＩＴシステムの動作ログを日々収集している。また、収集した動作ログは、適宜設計された特徴量の形式に変換した上で、上述のラベルなしデータ２０２として蓄積される。

ここで、特徴量とは、例えば動作ログの文字列に含まれる単語の分散表現やｏｎｅ－ｈｏｔ表現、或いは記録された文字列そのものなど、分類対象のデータに応じて適した形式が選択されるものとする。

また、上述のラベルなしデータ２０２を分析官が精査し、攻撃手法を表すクラス（分類クラス）へ分類した結果は、学習データ２０１として記録される。この学習データ２０１とラベルなしデータ２０２の具体的な構成例は図３と図４に後述する。

続いて、分類根拠と標的クラスラベルの正しさについて説明する。本実施形態における標的分類器は、学習データ２０１から学習する、特徴量を入力に攻撃手法を表すクラスへ分類する分類器である。

この標的分類器のアルゴリズムは、決定木やＲａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅなど、分類対象に応じて適した方式が選択されており、学習実行部３０１－１でその学習処理を実行できるように設定されている。
また、本実施形態におけるオラクル分類器は、学習データ２０１から学習する、特徴量
を入力にオラクル名を表すクラスへ分類する分類器である。

このオラクル分類器のアルゴリズムは、決定木やＲａｎｄｏｍ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅなど、分類対象に応じて適した方式が選択されており、学習実行部３０１－１でその学習処理を実行できるように設定されている。
一方、学習部３０１は、学習実行部３０１－１、分類器情報３０１－２、および忘却係数情報３０１－３から構成される。

このうち学習実行部３０１－１は、上述の標的分類器およびオラクル分類器を学習データ２０１から学習し、この標的分類器とオラクル分類器の実行方法を分類器情報３０１－２に記録する。

この時、学習実行部３０１－１は、学習実行時の時刻と、学習データ２０１に含まれるアノテーション時刻の差分を計算し、この差分に忘却係数情報３０１－３の値を乗算する形で学習データの重み係数を計算する。また、学習実行部３０１－１は、この重み係数にしたがって、アノテーション時刻が古い学習データに関する損失関数の値を小さくすることで、上述のオラクル分類器を学習するとしてもよい。
このように古い学習データを、いわば「忘却」することで、オラクルが最近経験したアノテーションを優先して、学習データの選択を行うことできる。
なお、分類器情報３０１－２と忘却係数情報３０１－３の具体的な構成例は図５に後述する。

また、分類部３０２は、標的分類器実行部３０２－１、標的分類結果情報３０２－２、オラクル分類器実行部３０２－３、およびオラクル分類結果情報３０２－４から構成される。

分類部３０２では、上述の分類器情報３０１－２から、オラクル分類器と標的分類器の実行方法を読み出し、ラベルなしデータ２０２について分類を実行し、その結果をオラクル分類結果情報３０２－４と標的分類結果情報３０２－２に保存する。オラクル分類結果情報３０２－４と標的分類結果情報３０２－２の各構成例は、図８と図７に後述する。

また、選択部３０３は、オラクル選択部３０３－１、オラクル選択情報３０３－２、データ選択部３０３－３、データ選択情報３０３－４、係数更新部３０３－５、および係数情報３０３－６から構成される。

このうちオラクル選択部３０３－１は、ラベルなしデータごとに、オラクル分類結果情報３０２－４に含まれる、分類確率が最大のオラクルを依頼先オラクルとして選択し、この選択結果をオラクル選択情報３０３－２に保存する。

また、データ選択部３０３－３は、標的分類分類結果情報３０２－２に含まれる不確定度と、オラクル分類結果情報３０２－４に含まれる確信度との和として優先度を計算し、この優先度が大きい順に所定数のラベルなしデータを選択してデータ選択情報３０３－４に保存する。オラクル選択情報３０３－２、データ選択情報３０３－４、および係数情報３０３－６の各構成例は、図９、図１０、図１１に後述する。

なお、上述の不確定度は、具体的には特許文献２に記載の方法で計算することができる。また確信度は、例えば上述の不確定度の値に－１を乗算することで計算できる。

この場合、データ選択部３０３－３は、係数情報３０３－６に記載の係数Ｃ１を不確定度に乗算し、また係数Ｃ２を確信度に乗算してから、それらの和をとって優先度を算定す
るとしてもよい。

こうした係数は、標的分類器における分類の不確定度を優先し、学習効率の高いラベルなしデータを選択するか、あるいはオラクル分類器における分類の確信度を優先し、オラクルにとってアノテーションしやすいラベルなしデータを優先して選択するか、を調整するパラメータとなる。

能動学習の効率の良さを鑑みると、能動学習の初期には、Ｃ２＞＝Ｃ１として設定し、アノテーションしやすいラベルなしデータを優先的に選択することが好ましい。この場合、アノテーションしやすいラベルなしデータだけでは十分に標的分類器の精度が向上しなかった状況に対処すべく、アノテーションしにくいラベルなしデータも選択されるようになるように、標的分類器の学習回数に応じて、段階的に、Ｃ２＜＝Ｃ１となるように係数更新部３０３－５が係数Ｃ１の値を大きくしていく。

また、アノテーション依頼部３０４は、アノテーション依頼部情報作成部３０４－１とアノテーション情報３０４－２から構成される。このうちアノテーション依頼情報作成部３０４－１は、オラクル選択情報３０３－２とデータ選択情報３０３－４とをラベルなしデータＩＤをキーに結合し、アノテーション依頼情報３０４－２を作成する。アノテーション依頼情報３０４－２の具体的な構成は図１２で後述する。

一方、オラクル端末１０３は、アノテーション依頼情報３０４－２が更新された場合に、アノテーション依頼情報３０４－２に記載の情報をディスプレイ等に表示し、オラクルである分類者からラベルなしデータに対応する標的クラスラベルの入力を受け付ける。

オラクル端末１０３は、上述のオラクルから標的クラスラベルの情報を受け取ったならば、学習データ選択サーバ１０１のデータセット更新部３０５に対し、ラベルなしデータＩＤと当該標的クラスラベルと、上述の入力を行ったオラクルの名称であるオラクル名を送付する。
この場合、オラクル端末１０３は、追加情報として上述の標的クラスラベルを付与した分類根拠となる特徴量のユーザ指定を受け付けるとすれば好適である。

また同じラベルなしデータＩＤについて複数のオラクルから標的クラスラベルの入力を受け付けた場合、オラクル端末１０３は、その多数決を取る形で入力された「標的クラスラベルの正しさ」を評価し、データセット更新部３０５へ送付してよい。なお、こうしたオラクル端末１０３での多数決の処理は、学習データ選択サーバ１０１で実行するとしてもよい。

また、学習データ選択サーバ１０１のデータセット更新部３０５は、オラクル端末１０３からラベルなしデータＩＤと標的クラスラベルを受け取り、当該ラベルなしデータＩＤを含む行をラベルなしデータ２０２から削除したうえで、学習データ２０１にオラクル端末１０３から受け取った情報を追加する。
－－－ハードウェア構成－－－

続いて、本実施形態の学習データ作成支援システム１００を主として構成する学習データ選択サーバ１０１のハードウェア構成例について、図２に基づき説明する。
本実施形態の学習データ選択サーバ１０１は、記憶装置４０１、メモリ４０４、演算装置４０３、および通信装置４０５、を備える。

このうち記憶装置４０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。また、メモリ４０４は、Ｒ
ＡＭなど揮発性記憶素子で構成される。

また、演算装置４０３は、記憶装置４０１に保持されるプログラム４０２をメモリ４０４に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。

また、通信装置４０５は、インターネットやＬＡＮなど適宜なネットワーク４０６と接続し、学習データ管理サーバ１０２やオラクル端末１０３といった他装置との通信処理を担う装置である。

なお、記憶装置４０１内には、本実施形態の学習データ作成支援システム１００を構成する学習データ選択サーバ１０１として必要な機能を実装する為のプログラム４０２に加えて、分類器情報３０１－２、忘却係数情報３０１－３、標的分類結果情報３０２－２、オラクル分類結果情報３０２－４、オラクル選択情報３０３－２、データ選択情報３０３－４、係数情報３０３－６、およびアノテーション依頼情報３０４－２、が記憶されている。これらの情報の詳細については後述する。

また、上述の演算装置４０３がプログラム４０２を実行することで、学習実行部３０１－１、標的分類器実行部３０２－１、オラクル分類器実行部３０２－２、オラクル選択部３０３－１、データ選択部３０３－３、係数更新部３０３－５、アノテーション依頼情報作成部３０４－１、およびデータセット更新部３０５が実装される。これら機能部の働きの詳細についても後述する。
－－－データ構造例－－－

続いて、本実施形態の学習データ作成支援システム１００を構成する、上述の学習データ選択サーバ１０１および学習データ管理サーバ１０２らが用いるデータ類について説明する。

図３は、本実施形態における学習データ２０１の構成例を示す図である。この学習データ２０１は、学習データを一意に識別するための数値、あるいは文字列である学習データＩＤ２０１ａをキーに、学習データの特徴量２０１ｂ、分類先のクラス（分類クラス）を示すラベルである標的クラスラベル２０１ｃ、標的クラスラベルを付与（アノテーション）したオラクル名２０１ｄ、当該オラクルがアノテーションを実施した事項２０１ｅ、そのアノテーションの根拠に当たる分類根拠２０１ｆ、および付与されたクラスラベルが正しいかを表す標的クラスラベルの正しさ２０１ｇの各値を対応付けたレコードの集合体となっている。

このうち特徴量２０１ｂは、分類対象となるデータ、あるいは分類対象となるデータから作成したデータの特徴を示す値であり、文字列、数値、ベクトルなど任意の形式を取る。

続いて図４は、本実施形態におけるラベルなしデータ２０２の構成例を示す図である。このラベルなしデータ２０２は、ラベルなしデータを一意に識別するための数値、あるいは文字列であるラベルなしデータＩＤ２０２ａをキーに、当該ラベルなしデータの特徴量２０２ｂを対応付けたレコードの集合体となっている。

上述の特徴量２０２ｂは、分類対象となるデータ、あるいは分類対象となるデータから作成したデータの特徴を示す値であり、文字列、数値、ベクトルなど任意の形式を取る。

続いて図５は、本実施形態における分類器情報３０１－２の構成例を示す図である。こ
の分類器情報３０１－２は、分類器の種別を表す分類器種別３０１－２ａをキーに、当該分類器のプログラム実行方法を表す分類実行方法３０１－３ｂ、および分類先となり得るクラスのリストである分類先クラス３０１－３ｃの各値を対応付けたレコードの集合体となっている。

続いて図６は、本実施形態における忘却係数情報３０１－３の構成例を示す図である。この訪客係数情報３０１－３は、学習データ選択サーバ１０１の起動時に指定される所定の数値を取る忘却係数３０１－３ａから構成される。

続いて図７は、本実施形態における標的分類結果情報３０２－２の構成例を示す図である。この標的分類結果情報３０２－２は、ラベルなしデータを一意に識別するための数値、あるいは文字列であるラベルなしデータＩＤ３０２－２ａをキーに、当該ラベルなしデータの特徴量３０２－２ｂ、標的分類器により計算された各クラスへの分類確率（３０２－２ｃ、３０２－２ｄ、３０２－２ｅ、３０２－２ｆ）、および不確定度３０２－２ｇの各値を対応付けたレコードの集合体となっている。

続いて図８は、本実施形態におけるオラクル分類結果情報３０２－４の構成例を示す図である。このオラクル分類結果情報３０２－４は、ラベルなしデータを一意に識別するための数値、あるいは文字列であるラベルなしデータＩＤ３０２－４ａをキーに、当該ラベルなしデータの特徴量３０２－４ｂ、オラクル分類器により計算された各クラスへの分類確率（３０２－４ｃ、３０２－４ｄ、３０２－４ｅ）、および確信度３０２－４ｆの各値を対応付けたレコードの集合体となっている。

続いて図９は、本実施形態におけるオラクル選択情報３０３－２の構成例を示す図である。このオラクル選択情報３０３－２は、ラベルなしデータを一意に識別するための数値、あるいは文字列であるラベルなしデータＩＤ３０３－２ａをキーに、アノテーションの依頼先と特定した依頼先オラクル３０３－４ｂの値を対応付けたレコードの集合体となっている。

続いて図１０は、本実施形態におけるデータ選択情報３０３－４の構成例を示す図である。このデータ選択情報３０３－４は、ラベルなしデータを一意に識別するための数値、あるいは文字列であるラベルなしデータＩＤ３０３－４ａをキーに、アノテーション実施の優先度３０３－４ｂの値を対応付けたレコードの集合体となっている。

続いて図１１は、本実施形態における係数情報３０３－６の構成例を示す図である。この係数情報３０３－６は、係数更新部３０３－５によって計算される数値である係数Ｃ１（３０３－６ａ）と、係数更新部３０３－５によって計算される数値である係数Ｃ２（３０３－６ｂ）とから構成される。

続いて図１２は、本実施形態におけるアノテーション依頼情報３０４－２の構成例を示す図である。このアノテーション依頼情報３０４－２は、ラベルなしデータを一意に識別するための数値、あるいは文字列であるラベルなしデータＩＤ３０４－２ａをキーに、標的分類器によって当該ラベルなしデータが分類された先のクラスである推定標的クラス３０４－２ｂ、当該ラベルなしデータの分類を担当する依頼先オラクル３０４－２ｃ、および当該ラベルなしデータの特徴量３０４－２ｄ、の各値を対応付けたレコードの集合体となっている。
－－－フロー例（メインフロー）－－－

以下、本実施形態における学習データ作成支援方法の実際手順について図に基づいて説明する。以下で説明する各種動作は、学習データ作成支援システム１００を構成する学習
データ選択サーバ１０１や学習データ管理サーバ１０２、オラクル端末１０３がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは以下に説明される各種の動作をおこなうためのコードから構成されている。

図１３は本実施形態における学習データ選択方法のフロー例を示す図であり、具体的には、学習データ選択サーバ１０１の動作を示すフローチャートである。なお、学習データ選択サーバ１０１は、標的分類器の能動学習の起動要求を、例えば、所定の管理者等の端末から受けて本フローにおける処理を開始する。

学習データ選択サーバ１０１は、学習部３０１において標的分類器とオラクル分類器の存在有無を判定する（Ｓ１０１）。すなわち、学習部３０１は、（生成すなわち学習済みであれば）標的分類器およびオラクル分類器を保持し、その情報を分類器情報３０１－２に格納しているものとする。

上述の判定の結果、標的分類器またはオラクル分類器のどちらかが存在しない場合（Ｓ１０１：Ｎｏ）、学習データ選択サーバ１０１の学習実行部３０１－１は、学習データ２０１を読み出して、標的分類器とオラクル分類器を学習する（Ｓ１０６）。このＳ１０６における学習に関する処理の詳細は、図１４に示すフロー例で後述する。

一方、上述の判定の結果、標的分類器とオラクル分類器が存在する場合（Ｓ１０１：Ｙｅｓ）、学習データ選択サーバ１０１は、分類器情報３０１－２の分類実行方法３０１－２ｂに記載の手法を用いて、標的分類器実行部３０２－１およびオラクル分類器実行部３０２－２による、ラベルなしデータ２０２の分類を実行する（Ｓ１０２）。

次に、学習データ選択サーバ１０１の選択部３０３は、上述のＳ１０２の分類の結果である、オラクル分類結果情報３０２－４と標的分類結果情報３０２－２を得て、ラベルなしデータとオラクルの選択を実施する（Ｓ１０３）。この場合、選択部３０３は、Ｓ１０３における選択の結果を、オラクル選択情報３０３－２とデータ選択情報３０３－４に保存するものとする。こうしたＳ１０３の具体的な処理は、図１５のフロー例で後述する。

続いて、学習データ選択サーバ１０１のアノテーション依頼部３０４は、Ｓ１０３で選択したオラクルのオラクル端末１０３に対し、Ｓ１０３で選択したラベルなしデータのアノテーションの依頼要求を通知する（Ｓ１０４）。

なお、上述のＳ１０４におけるアノテーション依頼部３０４は、オラクル端末１０３へのアノテーションの依頼に際し、学習データ２０１に含まれる標的クラスラベルごとのデータ数が等しくなるようアノテーション依頼を行うとすれば好適である。

例えば、アノテーション依頼部３０４は、上述のアノテーションの依頼要求をオラクル端末１０３に通知後、オラクル端末１０３からの応答であるアノテーション結果が示す標的クラスラベルを抽出し、標的クラスラベルごとにアノテーション結果の数をカウントしておく。そして、例えば、図３の学習データ２０１に示す、標的クラスラベル「Ｄｏｓ」、「フィッシング」、および「ＸＳＳ」に関してそれぞれ同数の学習データが揃うまで、アノテーションの依頼要求を行う。

この場合、アノテーション依頼部３０４は、Ｓ１０４でのアノテーションの依頼要求に応じて、上述のオラクル端末１０３からアノテーション結果を受信し、これをデータセット更新部３０５に渡す。データセット更新部３０５は、このアノテーション結果を学習データ２０１に追加し、同時にラベルなしデータ２０２からアノテーションされたラベルなしデータを削除する（Ｓ１０５）。

なお、一つのラベルなしデータに関して得た複数のアノテーション結果の間で標的クラスラベルが異なっていた場合、データセット更新部３０５は、当該異なる標的クラスラベルに関する多数決を取ることで正しいラベルを決定するとしてもよい。この場合、データセット更新部３０５は、学習データ２０１において、学習データ２０１に対するアノテーション結果の追加に際し、標的クラスラベルの正しさ２０１ｇに、多数決の結果を記録することとなる。

続いて、学習データ選択サーバ１０１は、Ｓ１０５にて追加された学習データ２０１に基づき、学習実行部部３０１－１により標的分類器とオラクル分類器を再学習する（Ｓ１０６）。このＳ１０６の詳細については図１４のフローに基づき後述する。

また、学習データ選択サーバ１０１は、Ｓ１０６の学習の結果が、所定の終了条件（標的分類器が所定の分類精度を上回るか）を満たすものである場合（Ｓ１０７：Ｙｅｓ）、処理を終了する。

一方、Ｓ１０６の学習の結果が、上述の終了条件を満たすものでない場合（Ｓ１０７：Ｎｏ）、学習データ選択サーバ１０１は、処理をＳ１０２に戻し、Ｓ１０２～Ｓ１０６までの処理を繰り返すこととなる。
－－－フロー例（学習部の詳細フロー）－－－

図１４は、本実施形態の学習部３０１における分類器の学習方法のフロー例を示す図である。この場合、学習部３０１の学習実行部３０１－１は、学習データ２０１を読み込み（Ｓ２０１）、学習データ２０１に含まれる「標的クラスラベルの正しさ」２０１ｇが「誤」となっているレコードを取り除く（Ｓ２０２）。
次に、学習実行部３０１－１は、Ｓ２０２の処理を経た学習データ２０１により、標的分類器とオラクル分類器の学習を並列に実行する。

このうち標的分類器の学習において、学習実行部３０１－１は、学習データ２０１に含まれる、特徴量２０１ｂと標的クラスラベル２０１ｃを使い学習を実行する（Ｓ２０３）。

一方、オラクル分類器の学習において、学習実行部３０１－１は、忘却係数情報３０１－３が利用可能な場合、学習実行時の時刻と、学習データ２０１に含まれるアノテーション時刻２０１ｅの差分を計算する。また、学習実行部３０１－１は、この差分に忘却係数情報３０１－３の値を乗算する形で学習データの重み係数を計算する。さらに学習実行部３０１－１は、計算した重み係数にしたがって、アノテーション時刻２０１ｅが古い学習データに関する損失関数の値を小さくするように重み付けする（Ｓ２０４）。

次に、学習実行部３０１－１は、学習データ２０１に、分類根拠２０１ｆの記載がある場合、この分類根拠２０１ｆに記載の特徴量から学習するように重み付けする（Ｓ２０５）。なお、上述の損失関数や重み付けの概念は、機械学習における一般的なものを想定する。
続いて学習実行部３０１－１は、学習データ２０１に含まれる特徴量とオラクル名から、オラクル分類器を学習する（Ｓ２０６）。

最後に、学習実行部３０１－１は、上述のＳ２０３、Ｓ２０６における標的分類器とオラクル分類器の学習結果を、分類器情報３０１－２に保存し（Ｓ２０７）、処理を終了する。
－－－フロー例（選択部の詳細フロー）－－－
図１５は、本実施形態における選択部３０３の動作を示すフロー図であり、具体的には、ラベルなしデータおよびオラクルの選択方法のフロー例を示す。
この場合、選択部３０３は、標的分類結果情報３０２－２とオラクル分類結果情報３０２－４を読み込む（Ｓ３０１）。

次に、選択部３０３は、ラベルなしデータを一つ選択する（Ｓ３０２）。選択部３０３は、ここで選択したラベルなしデータについて、オラクルの選択処理と優先度の計算処理を並列に実行する。

このうちオラクルの選択処理については、まず、オラクル選択部３０３は、オラクル分類結果情報３０２－４に含まれるオラクルのうち、Ｓ３０２で選択したラベルなしデータに関して、分類確率が最大となるオラクルを選択する（Ｓ３０３）。

また、オラクル選択部３０３は、Ｓ３０３で選択したオラクルの名と該当ラベルなしデータのＩＤ（ラベルなしデータＩＤ）を、オラクル選択情報３０３－２に追記する（Ｓ３０４）。

一方、優先度の計算処理については、まず、データ選択部３０３は、係数情報３０３－６を更新する（Ｓ３０５）。この係数情報３０３－６の更新は、本フローの実行ごとに、不確定度に関する係数Ｃ１を所定レベルだけ（例：１％）増大させるか、確信度に関する係数Ｃ２を所定レベルだけ（例：１％）減少させることで実行する。

次に、データ選択部３０３は、更新後の係数情報３０３－６に記載の係数Ｃ１を不確定度に乗算し、また係数Ｃ２を確信度に乗算して、それらの和をとって優先度を計算する（Ｓ３０６）。

続いて、データ選択部３０３は、Ｓ３０６で得た、ラベルなしデータの優先度の情報を、データ選択情報に追加する（Ｓ３０７）。データ選択部３０３は、Ｓ３０５～Ｓ３０７の各処理を、全てのラベルなしデータについて繰り返し、処理を終了する（Ｓ３０８）。

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

こうした本実施形態によれば、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習を効率的なものとできる。

本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の学習データ作成支援システムにおいて、前記記憶装置は、前記学習データに関し、前記オラクルがラベル付与時に分類根拠として用いた特徴量の情報を更に保持し、前記演算装置は、前記分類器による前記分類確率および分類の不確定度の算定に際し、前記分類根拠である特徴量について、前記ラベルなしデータの前記分類クラスへの前記分類確率および前記不確定度を算定し、前記オラクル分類器による前記分類確率および分類の確信度の算定に際し、前記分類根拠である特徴量について、前記ラベルなしデータの前記オラクルへの前記分類確率および前記確信度を算定するものである、としてもよい。

これによれば、分類根拠に絞り込んだ処理で分類確率、不確定度、および確信度を算定することが可能となり、ひいては、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習をより効率的なものとできる。

また、本実施形態の学習データ作成支援システムにおいて、前記演算装置は、前記不確定度と前記確信度の和に関して、前記ラベル付与の依頼回数が増えるに従い、前記不確定度と前記確信度の和に関して、前記不確定度の値が大きくなるように所定の係数を乗算してから前記和を算定するものである、としてもよい。

これによれば、当初は分類器の精度向上に役立つもので、かつ人間のオラクルにとって分類しやすいラベルなしデータを優先するものの、さらなる精度向上を目指す過程では、不確定度の高いものを採用することが重要である点を踏まえた処理が可能となる。ひいては、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習をより効率的なものとできる。

また、本実施形態の学習データ作成支援システムにおいて、前記演算装置は、前記ラベル付与の依頼に際し、前記学習データに含まれる前記分類クラスごとのデータ数が等しくなるようラベル付与を依頼するものである、としてもよい。

これによれば、クラス間で偏った能動学習を回避し、ひいては、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習をより効率的なものとできる。

また、本実施形態の学習データ作成支援システムにおいて、前記記憶装置は、前記学習データに関し、過去にオラクルがラベル付与を実施した分類時刻の情報を更に含み、前記演算装置は、前記分類時刻に基づき、前記学習データのうち古いものほど、所定の忘却係数に応じて重みを低くして学習したオラクル分類器を用いるものである、としてもよい。

これによれば、オラクルの知見やスキルが時間経過と共に劣化、低下しやすい傾向を踏まえ、オラクル分類器におけるオラクル分類の精度を良好に維持しやすくなる。ひいては、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習をより効率的なものとできる。

また、本実施形態の学習データ作成支援システムにおいて、前記演算装置は、一つのラベルなしデータに複数のオラクルによって異なるラベルが付与されていた場合、当該異なるラベルに関する多数決を取ることで正しいラベルを決定し、前記学習データにおいて前記オラクルの情報に加えて前記ラベルの正しさを記録し、前記ラベルが正しい学習データのみを用いてオラクル分類器を学習するものである、としてもよい。

これによれば、複数のオラクルによる分類結果を正しく集約し、これを踏まえた学習データによるオラクル分類器の学習が可能となる。ひいては、学習効率が高くかつ各オラクルが効率的にラベル付与できるラベルなしデータを特定し、分類器作成のための能動学習をより効率的なものとできる。

また、本実施形態の学習データ作成支援方法において、前記情報処理装置が、前記記憶装置において、前記学習データに関し、前記オラクルがラベル付与時に分類根拠として用いた特徴量の情報を更に保持し、前記分類器による前記分類確率および分類の不確定度の算定に際し、前記分類根拠である特徴量について、前記ラベルなしデータの前記分類クラスへの前記分類確率および前記不確定度を算定し、前記オラクル分類器による前記分類確率および分類の確信度の算定に際し、前記分類根拠である特徴量について、前記ラベルなしデータの前記オラクルへの前記分類確率および前記確信度を算定する、としてもよい。

また、本実施形態の学習データ作成支援方法において、前記情報処理装置が、前記不確定度と前記確信度の和に関して、前記ラベル付与の依頼回数が増えるに従い、前記不確定
度と前記確信度の和に関して、前記不確定度の値が大きくなるように所定の係数を乗算してから前記和を算定する、としてもよい。

また、本実施形態の学習データ作成支援方法において、前記情報処理装置が、前記ラベル付与の依頼に際し、前記学習データに含まれる前記分類クラスごとのデータ数が等しくなるようラベル付与を依頼する、としてもよい。

また、本実施形態の学習データ作成支援方法において、前記情報処理装置が、前記記憶装置において、前記学習データに関し、過去にオラクルがラベル付与を実施した分類時刻の情報を更に含み、前記分類時刻に基づき、前記学習データのうち古いものほど、所定の忘却係数に応じて重みを低くして学習したオラクル分類器を用いる、としてもよい。

また、本実施形態の学習データ作成支援方法において、前記情報処理装置が、一つのラベルなしデータに複数のオラクルによって異なるラベルが付与されていた場合、当該異なるラベルに関する多数決を取ることで正しいラベルを決定し、前記学習データにおいて前記オラクルの情報に加えて前記ラベルの正しさを記録し、前記ラベルが正しい学習データのみを用いてオラクル分類器を学習する、としてもよい。

１０１ 学習データ選択サーバ
１０２ 学習データ管理サーバ
１０３ オラクル端末
２０１ 学習データ
２０２ ラベルなしデータ
３０１ 学習部
３０１－１ 学習実行部
３０１－２ 分類器情報
３０１－３ 忘却係数情報
３０２ 分類部
３０２－１ 標的分類器実行部
３０２－２ 標的分類結果情報
３０２－３ オラクル分類器実行部
３０２－４ オラクル分類結果情報
３０３ 選択部
３０３－１ オラクル選択部
３０３－２ オラクル選択情報
３０３－３ データ選択部
３０３－４ データ選択情報
３０３－５ 係数更新部
３０３－６ 係数情報
３０４ アノテーション依頼部
３０４－１ アノテーション依頼情報作成部
３０４－２ アノテーション依頼情報
３０５ データセット更新部
４０１ 記憶装置
４０２ プログラム
４０３ 演算装置
４０４ メモリ
４０５ 通信装置
４０６ 通信ネットワーク

Claims (12)

1. 所定分類器によるデータ分類に際し分類クラスを示すラベルが付与されていないラベルなしデータと、前記分類器の学習に必要な学習データであって、前記ラベルなしデータに関してオラクルが付与したラベルと当該オラクルの情報とを含む学習データと、を保持する記憶装置と、
   前記学習データおよび前記ラベルから学習した前記分類器による、前記ラベルなしデータの前記分類クラスへの分類確率および分類の不確定度を算定する処理、前記学習データおよび前記オラクルの情報から学習した所定のオラクル分類器による、前記ラベルなしデータの前記オラクルへの分類確率および分類の確信度を算定する処理、前記不確定度と前記確信度の和が大きい順に、所定数の前記ラベルなしデータを選択する処理、および、前記選択したラベルなしデータに関して、前記オラクルへの前記分類確率が高い順に、所定数の前記オラクルにラベル付与を依頼する処理、を実行する演算装置、
   を含むことを特徴とする学習データ作成支援システム。
2. 前記記憶装置は、
   前記学習データに関し、前記オラクルがラベル付与時に分類根拠として用いた特徴量の情報を更に保持し、
   前記演算装置は、
   前記分類器による前記分類確率および分類の不確定度の算定に際し、前記分類根拠である特徴量について、前記ラベルなしデータの前記分類クラスへの前記分類確率および前記不確定度を算定し、前記オラクル分類器による前記分類確率および分類の確信度の算定に際し、前記分類根拠である特徴量について、前記ラベルなしデータの前記オラクルへの前記分類確率および前記確信度を算定するものである、
   ことを特徴とする請求項１に記載の学習データ作成支援システム。
3. 前記演算装置は、
   前記不確定度と前記確信度の和に関して、
   前記ラベル付与の依頼回数が増えるに従い、前記不確定度と前記確信度の和に関して、前記不確定度の値が大きくなるように所定の係数を乗算してから前記和を算定するものである、
   ことを特徴とする請求項１に記載の学習データ作成支援システム。
4. 前記演算装置は、
   前記ラベル付与の依頼に際し、前記学習データに含まれる前記分類クラスごとのデータ数が等しくなるようラベル付与を依頼するものである、
   ことを特徴とする請求項１に記載の学習データ作成支援システム。
5. 前記記憶装置は、
   前記学習データに関し、過去にオラクルがラベル付与を実施した分類時刻の情報を更に含み、
   前記演算装置は、
   前記分類時刻に基づき、前記学習データのうち古いものほど、所定の忘却係数に応じて重みを低くして学習したオラクル分類器を用いるものである、
   ことを特徴とする請求項１に記載の学習データ作成支援システム。
6. 前記演算装置は、
   一つのラベルなしデータに複数のオラクルによって異なるラベルが付与されていた場合、当該異なるラベルに関する多数決を取ることで正しいラベルを決定し、前記学習データにおいて前記オラクルの情報に加えて前記ラベルの正しさを記録し、
   前記ラベルが正しい学習データのみを用いてオラクル分類器を学習するものである、
   ことを特徴とする請求項１に記載の学習データ作成支援システム。
7. 所定分類器によるデータ分類に際し分類クラスを示すラベルが付与されていないラベルなしデータと、前記分類器の学習に必要な学習データであって、前記ラベルなしデータに関してオラクルが付与したラベルと当該オラクルの情報とを含む学習データと、を記憶装置で保持する情報処理装置が、
   前記学習データおよび前記ラベルから学習した前記分類器による、前記ラベルなしデータの前記分類クラスへの分類確率および分類の不確定度を算定する処理と、
   前記学習データおよび前記オラクルの情報から学習した所定のオラクル分類器による、前記ラベルなしデータの前記オラクルへの分類確率および分類の確信度を算定する処理と、
   前記不確定度と前記確信度の和が大きい順に、所定数の前記ラベルなしデータを選択する処理と、
   前記選択したラベルなしデータに関して、前記オラクルへの前記分類確率が高い順に、所定数の前記オラクルにラベル付与を依頼する処理と、
   を実行することを特徴とする学習データ作成支援方法。
8. 前記情報処理装置が、
   前記記憶装置において、前記学習データに関し、前記オラクルがラベル付与時に分類根拠として用いた特徴量の情報を更に保持し、
   前記分類器による前記分類確率および分類の不確定度の算定に際し、前記分類根拠である特徴量について、前記ラベルなしデータの前記分類クラスへの前記分類確率および前記不確定度を算定し、前記オラクル分類器による前記分類確率および分類の確信度の算定に際し、前記分類根拠である特徴量について、前記ラベルなしデータの前記オラクルへの前記分類確率および前記確信度を算定する、
   ことを特徴とする請求項７に記載の学習データ作成支援方法。
9. 前記情報処理装置が、
   前記不確定度と前記確信度の和に関して、
   前記ラベル付与の依頼回数が増えるに従い、前記不確定度と前記確信度の和に関して、前記不確定度の値が大きくなるように所定の係数を乗算してから前記和を算定する、
   ことを特徴とする請求項７に記載の学習データ作成支援方法。
10. 前記情報処理装置が、
    前記ラベル付与の依頼に際し、前記学習データに含まれる前記分類クラスごとのデータ数が等しくなるようラベル付与を依頼する、
    ことを特徴とする請求項７に記載の学習データ作成支援方法。
11. 前記情報処理装置が、
    前記記憶装置において、前記学習データに関し、過去にオラクルがラベル付与を実施した分類時刻の情報を更に含み、
    前記分類時刻に基づき、前記学習データのうち古いものほど、所定の忘却係数に応じて重みを低くして学習したオラクル分類器を用いる、
    ことを特徴とする請求項７に記載の学習データ作成支援方法。
12. 前記情報処理装置が、
    一つのラベルなしデータに複数のオラクルによって異なるラベルが付与されていた場合、当該異なるラベルに関する多数決を取ることで正しいラベルを決定し、前記学習データにおいて前記オラクルの情報に加えて前記ラベルの正しさを記録し、
    前記ラベルが正しい学習データのみを用いてオラクル分類器を学習する、
    ことを特徴とする請求項７に記載の学習データ作成支援方法。

Images