JP7222429B2

JP7222429B2 - データ選択方法、データ選択装置及びプログラム

Info

Publication number: JP7222429B2
Application number: JP2021536513A
Authority: JP
Inventors: 俊介塚谷; 和彦村崎; 慎吾安藤; 淳嵯峨田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2023-02-15
Anticipated expiration: 2039-07-30
Also published as: WO2021019681A1; US20220335085A1; JPWO2021019681A1

Description

本発明は、データ選択方法、データ選択装置及びプログラムに関する。

教師あり学習においては、目的とするタスクに応じたラベル付きデータが必要となるため、収集した大規模な画像データに対して、ラベル付与作業のコストを下げたいという要求がある。ラベル付与作業のコスト削減を目的とした技術の一つとして、全ての画像データにラベル付与を行うのではなく、データ全体の中から少数のデータ（サンプル）を選択してラベルを付与することで効率的に学習する能動学習がある。

能動学習では、少数のラベルありデータを用いてラベルなしデータの中から性能向上に対する寄与が高いサンプルがアルゴリズムによって選択（サンプリング）されて作業者に提示される。作業者が当該サンプルにラベルを付与して学習が行われることで、ランダムにサンプリングした場合よりも学習性能の向上が可能となる。

従来の能動学習では一度のサンプリングにつきサンプル数が一つであるため、畳み込みニューラルネットワーク（ＣＮＮ）のバッチ学習に適応した、一度のサンプリングで複数のサンプルを取得できる手法が提案されている（非特許文献１）。

非特許文献１では、データを特徴空間に写像し、ｋ－ｃｅｎｔｅｒ問題の近似解法アルゴリズムを用いてサンプリングが行われる。複数のサンプルは特徴空間における全データ構造の性質を引き継いだ部分集合となるため、少数のデータであっても全データを用いたときに近い学習が可能となる。

Active Learning for Convolutional Neural Networks: A Core-Set Approach. O. Sener, S. Savarese. International Conference on Learning Representations (ICLR), 2018. Mathilde Caron, Piotr Bojanowski, Armand Joulin, and Matthijs Douze. "Deep Clustering for Unsupervised Learning of Visual Features." Proc. ECCV (2018).

しかしながら、上記方法には次のような問題点がある。

データを特徴空間に写像する際には特徴抽出器を用意する必要があるところ、多くの場合、深層学習フレームワークで用意されている学習済みモデルを特徴抽出器として用いられる。用意された学習済みモデルで使われるデータセットには、ＩｍａｇｅＮｅｔデータセットの１０００クラス分類などが用いられている。

そのため、目的とするタスクのデータの分類が、用意された学習済みモデルに使われるデータセットの分類内容と異なる場合には、目的とするタスクにとって有効な特徴を抽出することができない。

非特許文献１の手法では、サンプリングの際に特徴空間上でデータを参照するため、目的のタスクにとって効果のある特徴空間に写像する特徴抽出器を選択することがサンプリングにとって重要であるが、能動学習が取り扱うラベルなしデータにとって効果のある特徴抽出器を事前に評価することは困難である。

本発明は、上記の点に鑑みてなされたものであって、ラベルが付与されていないデータ集合の中から選択されるラベルの付与対象であって、目的のタスクに有効なデータを選択可能とすることを目的とする。

そこで上記課題を解決するため、ラベルが付与された第１のデータの集合に属するデータと、ラベルが付与されていない第２のデータの集合に属するデータとを、前記ラベルの種類よりも少なくとも１つ多い数のクラスタに分類する分類手順と、前記クラスタのうち、前記第１のデータを含まないクラスタからラベルの付与対象とする前記第２のデータを選択する選択手順と、をコンピュータが実行する。

ラベルが付与されていないデータ集合の中から選択されるラベルの付与対象であって、目的のタスクに有効なデータを選択可能とすることができる。

第１の実施の形態におけるデータ選択装置１０のハードウェア構成例を示す図である。第１の実施の形態におけるデータ選択装置１０の機能構成例を示す図である。第１の実施の形態におけるデータ選択装置１０が実行する処理手順の一例を説明するためのフローチャートである。第２の実施の形態におけるデータ選択装置１０の機能構成例を示す図である。

以下、図面に基づいて本発明の実施の形態を説明する。

本実施の形態では、ラベルありデータ集合とラベル付与の候補となるラベルなしデータ集合の入力から、教師なし特徴表現学習の枠組みを用いて特徴抽出器が生成される。なお、ラベルありデータ集合のデータ数は、ラベルなしデータ集合のデータ数に比べて少ない。また、教師なし特徴表現学習とは、入力データに対して自動で生成できる教師信号を用いた自己教師あり学習によって、目的のタスクに有効な特徴抽出器を生成するものであり、Deep Clustering法などの手法がある（非特許文献２）。

教師なし特徴表現学習によって得られた特徴抽出器を用いて得られる、教師なし特徴表現学習において用いられた各ラベルありデータと各ラベルなしデータとのそれぞれの特徴に対して、クラスタリングが行われる。

クラスタリング結果として得られる各クラスタについて、所属するデータにラベルありデータが含まれるクラスタとラベルありデータが含まれないクラスタの２種類への分類が行われる。

上記の２種類の分類のうち、ラベルありデータが含まれない各クラスタから、それぞれサンプリングが行われ、ラベルを付与するデータが出力される。

目的とするタスクに対して有効な、ラベルをつけるべき、ラベルなしのデータについて考える。例えば、ラベルありのデータと同様の性質を有するラベルなしのデータにラベルを付与しても、目的とするタスクに有効とは言い難い。一方、ラベルありのデータと異なる性質を有している、ラベルなしのデータにラベルを付与することができれば、該データとラベルも用いて学習を行うことで、該性質を加味した識別を行うことができるよう学習できると想定される。

本実施の形態はそのようなラベルありのデータと異なる性質を有しているラベルなしのデータを選択することを目的としている。ラベルなしのデータの数はラベルありのデータの数よりも多いことを前述したが、実際に学習データとして用いるためのデータにラベルをつけるのは多量の稼働を要するため、ラベルなしのデータの数が大多数を占めると想定される。そのような大多数のデータから、ラベルを付与すべき、例えばラベルを付与することで推定の精度を上げることができるようなデータを抽出することを本実施の形態は目的とする。

上記方法によれば、任意の特徴表現学習手法を用いることが可能であり、学習済みモデルの用意を不要とすることができる。

図１は、第１の実施の形態におけるデータ選択装置１０のハードウェア構成例を示す図である。図１のデータ選択装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

データ選択装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従ってデータ選択装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
図２は、第１の実施の形態におけるデータ選択装置１０の機能構成例を示す図である。図２において、データ選択装置１０は、特徴抽出器生成部１１及びサンプリング処理部１２を有する。これら各部は、データ選択装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。

特徴抽出器生成部１１は、ラベルありデータ集合Ａ、ラベルなしデータ集合Ｂ、及び追加でラベルを与えるサンプル数Ｓを入力として、特徴抽出器を出力する。ラベルありデータ集合Ａとは、ラベルが付与された画像データの集合をいう。ラベルなしデータ集合Ｂとは、ラベルが付与されていない画像データの集合をいう。

サンプリング処理部１２は、ラベルありデータ集合Ａ、ラベルなしデータ集合Ｂ、追加でラベルを与えるサンプル数Ｓ、及び特徴抽出器を入力として、ラベル付与対象データを選択する。

以下、データ選択装置１０が実行する処理手順について説明する。図３は、第１の実施の形態におけるデータ選択装置１０が実行する処理手順の一例を説明するためのフローチャートである。

ステップＳ１０１において、特徴抽出器生成部１１は、ラベルありデータ集合Ａ、ラベルなしデータ集合Ｂ、及び追加でラベルを与えるサンプル数Ｓを入力として、擬似ラベル生成処理を実行する。擬似ラベル生成処理において、特徴抽出器生成部１１は、各データａ∈Ａ及び各データｂ∈Ｂに対して擬似ラベルを付与し、各データａに擬似ラベルが付与されたデータ集合Ａ及び各データｂに擬似ラベルが付与されたデータ集合Ｂを擬似データセットとして出力する。この際、特徴抽出器生成部１１は、特徴抽出器の元となるＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）に各データａ及び各データｂのそれぞれを入力したときのそれぞれの中間特徴に基づいて、データ集合Ａ及びデータ集合Ｂについてｋ－ｍｅａｎｓクラスタリングを行い、各データが所属するクラスタに対応する識別情報を、当該クラスタに属するデータに対して擬似ラベルとして付与する。なお、特徴抽出器生成部１１は、最初のＣＮＮのパラメータはランダムに初期化し、データ集合Ａのデータ数とＳとの和をｋ－ｍｅａｎｓクラスタリングにおけるクラスタ数として用いる。

続いて、特徴抽出器生成部１１は、ＣＮＮ学習処理を実行する（Ｓ１０２）。ＣＮＮ学習処理において、特徴抽出器生成部１１は、擬似データセットを入力としてＣＮＮの学習を行う。この際、ラベルが付与されているデータａについても、擬似ラベルが使用された学習が行われる。

ステップＳ１０１及びＳ１０２は、学習終了条件が満たされるまで繰り返される（Ｓ１０３）。学習終了条件が満たされたか否かは、例えば、ステップＳ１０１及びＳ１０２の繰り返し回数が予め定義した反復回数に達したか否かにより判定されてもよいし、誤差関数の推移により判定されてもよい。学習終了条件が満たされると、特徴抽出器生成部１１は、その時のＣＮＮを特徴抽出器とし出力する。

このように、ステップＳ１０１～Ｓ１０３では、教師なし特徴表現学習が用いられて特徴抽出器が生成（学習）される。但し、擬似ラベルの生成方法は、上記の方法に限られない。

続いて、サンプリング処理部１２は、特徴抽出処理を実行する（Ｓ１０４）。特徴抽出処理において、サンプリング処理部１２は、特徴抽出器を用いてデータ集合Ａの各データａ及びデータ集合Ｂの各データｂのそれぞれの特徴情報（画像特徴）を取得（抽出）する。すなわち、サンプリング処理部１２は、データ集合Ａの各データａ及びデータ集合Ｂの各データｂのそれぞれを順番に特徴抽出器に入力することで、特徴抽出器から出力される特徴情報をデータａごと及びデータｂごとに取得する。なお、当該特徴情報は、ベクトル形式で表現されるデータである。

続いて、サンプリング処理部１２は、クラスタリング処理を実行する（Ｓ１０５）。クラスタリング処理において、サンプリング処理部１２は、各データａの特徴情報、各データｂの特徴情報、及び追加でラベルを与えるサンプル数Ｓを入力として、特徴情報群についてｋ－ｍｅａｎｓクラスタリングを行い、クラスタ情報（各データの特徴情報及び各データのクラスタへの分類結果を含む情報）を出力する。この際、データ集合Ａのデータ数とサンプリング数Ｓとの和がｋ－ｍｅａｎｓのクラスタ数とされる。すなわち、データ集合Ａのデータ数よりも少なくとも１つ多い数のクラスタに各データａ及び各データｂが分類される。

続いて、サンプリング処理部１２は、クラスタ選択処理を実行する（Ｓ１０６）。クラスタ選択処理において、サンプリング処理部１２は、データ集合Ａ、データ集合Ｂ及びクラスタ情報を入力とし、Ｓ個のサンプル選択用クラスタを出力する。

ステップＳ１０５のクラスタリング処理におけるｋ－ｍｅａｎｓクラスタリングによって生成されたクラスタは、データａ∈Ａ及びデータｂ∈Ｂが含まれるクラスタと、データｂのみが含まれるクラスタとに分類される。

データａが含まれるクラスタは、データａを用いた学習によって識別が可能なデータの集合であると考えられるため、このクラスタに含まれるデータｂをサンプルとして選んでも学習効果が低いと考えられる。

一方、データａが含まれずデータｂのみが含まれるクラスタは、データａを用いた学習では識別が困難なデータが含まれると考えられるため、このクラスタに含まれるデータｂはサンプルとして学習効果が高いと考えられる。

そこで、データｂのみが含まれる各クラスタ（すなわち、データａが含まれない各クラスタ）から一つずつサンプルを選択することになるが、データｂのみが含まれるクラスタ数はＳ以上となるため、サンプリング処理部１２は、ステップＳ１０５において、サンプリング対象のクラスタの選択を行う。

具体的には、特徴情報｛ｘ_ｉ｝^ｎ _ｉ＝１とクラスタラベル｛ｙ_ｉ│ｙ_ｉ∈｛１，・・・，ｋ｝｝^ｎ _ｉ＝１とにおいて、クラスタｙの中心（クラスタｙに属する各データの特徴情報群の中心）をｕ_ｙ＝１／ｎ_ｙΣ_{ｉ：ｙｉ＝ｙ}ｘ_ｉとしたときに（但し、ｎ_ｙは、クラスタｙに属するデータ数）、サンプリング処理部１２は、下記式によってクラスタにおけるスコア値ｔを計算する。

サンプリング処理部１２は、スコア値ｔが相対的に小さいクラスタから順にＳ個のクラスタをサンプル選択用クラスタとして選択する。スコア値ｔは分散であるため、スコア値ｔが低いクラスタは、分散が小さいクラスタである。このような分散が小さいクラスタに属するデータｂ群は、前述したように、ラベルありのデータ群には存在していない若しくは小さくしか特徴を体現できていない特徴を有するデータの集合であると想定されるため、このようなクラスタから選択されるデータｂは、影響力が大きいと考えられるからである。

続いて、サンプリング処理部１２は、サンプル選択処理を実行する（Ｓ１０７）。サンプル選択処理において、サンプリング処理部１２は、Ｓ個のサンプル選択用クラスタのそれぞれに対してサンプリングを行う。例えば、サンプリング処理部１２は、サンプル選択用クラスタごとに、クラスタの中心ｕ_ｙからの距離（ベクトル間の距離）が最小である特徴情報に係るデータｂをサンプルとして選択する。クラスタの中心のデータは、該クラスタに共通する特徴が最も強く表れているデータと考えられる。また、該クラスタに属するデータの平均とも見ることができるため、ノイズリダクションも期待できる。サンプリング処理部１２は、Ｓ個のクラスタのそれぞれから選択された各サンプル（データｂ）をラベル付与対象データとして出力する。

上述したように、第１の実施の形態によれば、ラベルありデータ集合Ａ及びラベルなしデータ集合Ｂのみから自動生成可能な擬似ラベルを各データに付与して学習した特徴抽出器を用いて各データの特徴情報が取得（抽出）ため、目的のタスクに有効な特徴空間に基づいたサンプリングが行われ、その結果として、ラベルが付与されていないデータ集合の中から選択されるラベルの付与対象であって、目的のタスクに有効なデータを選択可能とすることができる。

また、事前に学習済みモデルを用意することなく特徴空間上でサンプリングすることが可能となるため、任意の画像データに対してその目的タスクに合わせた特徴抽出器の選択を省くことができ、また少数のサンプルへのラベル付けで高い学習性能を得られることからラベル付与のコストを下げることができる。

また、本実施の形態では、サンプリングにおいて、ラベルなしデータのみが含まれるクラスタが選択され、クラスタ中心に最も近いデータが選択する手法が適用されるため、特徴空間上においてラベルありデータではカバーできない範囲のデータを選択することが可能となり、効率的なラベル付与作業のコスト削減を可能とすることができる。

次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。

図４は、第２の実施の形態におけるデータ選択装置１０の機能構成例を示す図である。第２の実施の形態では、特徴抽出器生成部１１による擬似ラベルの生成方法が第１の実施の形態と異なる。当該生成方法の違いに起因して、第２の実施の形態では、特徴抽出器生成部１１に対して追加でラベルを与えるサンプル数Ｓが入力されなくてよい。

例えば、特徴抽出器生成部１１は、入力される各データ（各データａ及び各データｂ）の画像がランダムに回転されている場合には、各データの画像の回転方向を各データの擬似ラベルとして用いてもよい。又は、特徴抽出器生成部１１は、各データ（各データａ及び各データｂ）の画像がパッチに分割されてランダムに入力される場合には、各データのパッチの正しい順列を各データの擬似ラベルとして用いてもよい。又は、特徴抽出器生成部１１は、公知の他の方法によって、各データの擬似ラベルを生成してもよい。

なお、上記各実施の形態において、特徴抽出器生成部１１は、生成部の一例である。サンプリング処理部１２は、取得部、分類部及び選択部の一例である。データａは、第１のデータの一例である。データｂは、第２のデータの一例である。

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０データ選択装置
１１特徴抽出器生成部
１２サンプリング処理部
１００ドライブ装置
１０１記録媒体
１０２補助記憶装置
１０３メモリ装置
１０４ＣＰＵ
１０５インタフェース装置
Ｂバス

Claims

ラベルが付与された第１のデータの集合に属するデータと、ラベルが付与されていない第２のデータの集合に属するデータとを、前記ラベルの種類よりも少なくとも１つ多い数のクラスタに分類する分類手順と、
前記クラスタのうち、前記第１のデータを含まないクラスタからラベルの付与対象とする前記第２のデータを選択する選択手順と、
をコンピュータが実行するデータ選択方法。
前記第１のデータの集合と前記第２のデータの集合とに基づいて、教師なし特徴表現学習を用いて特徴抽出器を生成する生成手順と、
それぞれの前記第１のデータ及びそれぞれの前記第２のデータについて、前記特徴抽出器を用いて特徴情報を取得する取得手順と、
を前記コンピュータが実行し、
前記分類手順は、前記特徴情報に基づいて前記第１のデータの集合及び前記第２のデータの集合をクラスタに分類する、
ことを特徴とする請求項１記載のデータ選択方法。
前記選択手順は、前記特徴情報の分散が相対的に小さいクラスタからラベルの付与対象とする前記第２のデータを選択する、
ことを特徴とする請求項２載のデータ選択方法。
前記選択手順は、前記第１のデータを含まないクラスタにおいて、当該クラスタの中心からの距離が最小である前記特徴情報に係る前記第２のデータを選択する、
ことを特徴とする請求項２又は３記載のデータ選択方法。
ラベルが付与された第１のデータの集合とラベルが付与されていない第２のデータの集合とに基づいて、前記第２のデータの集合のなかからラベルを付与する対象を選択するデータ選択装置であって、
前記第１のデータの集合に属するデータと、前記第２のデータの集合に属するデータとを、前記ラベルの種類よりも少なくとも１つ多い数のクラスタに分類する分類部と、
前記クラスタのうち、前記第１のデータを含まないクラスタからラベルの付与対象とする前記第２のデータを選択する選択部と、
をコンピュータが実行するデータ選択装置。
前記データ選択装置は、
前記第１のデータの集合と前記第２のデータの集合とに基づいて、教師なし特徴表現学習を用いて特徴抽出器を生成する生成部と、
それぞれの前記第１のデータ及びそれぞれの前記第２のデータについて、前記特徴抽出器を用いて特徴情報を取得する取得部と、
を有し、
前記分類部は、前記特徴情報に基づいて前記第１のデータの集合及び前記第２のデータの集合をクラスタに分類する、
ことを特徴とする請求項５記載のデータ選択装置。
前記選択部は、前記特徴情報の分散が相対的に小さいクラスタからラベルの付与対象とする前記第２のデータを選択する、
ことを特徴とする請求項６記載のデータ選択装置。
請求項１乃至４いずれか一項記載のデータ選択方法をコンピュータに実行させることを特徴とするプログラム。