JP7063393B2 - 教師データ拡張装置、教師データ拡張方法およびプログラム - Google Patents

Description

本発明は、教師データ拡張装置、教師データ拡張方法およびプログラムに関する。

教師あり機械学習では、学習対象を撮影した画像または学習対象に関するセンサデータなど学習対象の特徴を示すデータと、正解（正しい学習結果）を示すラベルとが組み合わせられた教師データを用いて機械学習を行う。
例えば、特許文献１には、部品が使用開始されてから故障するまでの長さを予測するために、部品に対して与えられる振動の特徴を表す特徴量と、部品が使用開始されてから故障するまでの時間の長さを示すラベルとの組を教師データとして用いて機械学習を行うことが記載されている。

また、学習対象に関する撮影データまたはセンサデータをそのまま用いるだけでなく、加工したデータを機械学習に用いる場合がある。
例えば、特許文献２には、画像のクラス分けを行うために、画像情報から特徴量を抽出し、抽出された特徴量の組み合わせ（例えば、重み付け合計）による特徴を算出して機械学習を行うことが記載されている。

特開２０１８－７２０２９号公報 特開２００６－１２７４４６号公報

深層学習等の機械学習手法を用いて解析精度の良いモデル（例えば、識別器）を学習するためには、大量のデータが必要である。しかし、実環境で大量のデータを収集するために、一般的に時間を要し、また、長時間データを収集し続ける際の設備の管理等が、データ収集およびデータ処理を管理する担当者にとって負担となる。
機械学習のために実環境で収集する必要のあるデータ量を低減させることができれば、データ収集に要する時間を低減させることができ、その点で、データ収集およびデータ処理を管理する担当者の負担を低減させることができる。

本発明の目的の一例は、上述の課題を解決することのできる、教師データ拡張装置、教師データ拡張方法およびプログラムを提供することである。

本発明の第１の態様によれば、教師データ拡張装置は、複数の教師データの各々に含まれる複数の特徴の関係を求める関係取得部と、前記関係に基づいて前記複数の特徴のうち何れか１つ以上を選択する特徴選択部と、１つ以上の教師データについて、前記特徴選択部が選択した特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する教師データ拡張部と、を備える。

本発明の第２の態様によれば、教師データ拡張方法は、複数の教師データの各々に含まれる複数の特徴の関係を求める工程と、前記関係に基づいて前記複数の特徴のうち何れか１つ以上を選択する工程と、１つ以上の教師データについて、選択された前記特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する工程と、を含む。

本発明の第３の態様によれば、プログラムは、コンピュータに、複数の教師データの各々に含まれる複数の特徴の関係を求める工程と、前記関係に基づいて前記複数の特徴のうち何れか１つ以上を選択する工程と、１つ以上の教師データについて、選択された前記特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する工程と、を実行させるためのプログラムである。

上記した教師データ拡張装置、教師データ拡張方法およびプログラムによれば、機械学習のために実環境で収集する必要のあるデータ量を低減させることができる。

第１実施形態に係る教師データ拡張装置の機能構成の例を示す概略ブロック図である。 第１実施形態に係る実教師データの例を示す図である。 第１実施形態に係る教師データ拡張部が生成する人工教師データの例を示す図である。 第１実施形態に係る教師データ拡張装置が行う処理の例を示すフローチャートである。 第２実施形態に係る教師データ拡張装置の機能構成の例を示す概略ブロック図である。 第２実施形態に係る表示部による人工教師データの表示画面の例を示す図である。 第２実施形態に係る教師データ拡張装置が行う処理の例を示すフローチャートである。 第３実施形態に係る教師データ拡張装置の機能構成の例を示す概略ブロック図である。 第３実施形態に係る機械学習部による学習結果の表示例を示す図である。 第３実施形態に係る教師データ拡張装置が行う処理の例を示すフローチャートである。 第４実施形態に係る教師データ拡張装置の構成の例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成例を示す概略ブロック図である。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

＜第１実施形態＞
図１は、第１実施形態に係る教師データ拡張装置の機能構成の例を示す概略ブロック図である。図１に示す構成で、教師データ拡張装置１００は、記憶部１７０と、処理部１８０とを備える。記憶部１７０は、ラベル情報記憶部１７１と、教師データ記憶部１７２とを備える。処理部１８０は、特徴抽出部１８１と、実教師データ生成部１８２と、関係取得部１８３と、特徴選択部１８４と、教師データ拡張部１８５とを備える。

教師データ拡張装置１００は、教師データを取得し、取得した教師データにおける特徴の値を入れ替えることで新たな教師データを生成する。教師データ拡張装置１００が、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）等のコンピュータを用いて構成されていてもよい。あるいは、教師データ拡張装置１００が、専用のハードウェアを用いて構成されていてもよい。

記憶部１７０は、各種データを記憶する。記憶部１７０は、教師データ拡張装置１００が備える記憶デバイスを用いて構成される。
ラベル情報記憶部１７１は、ラベル情報を記憶する。ラベル情報は、入力データに示される分類対象が分類されるクラスを示す情報である。ラベル情報は、教師有り学習におけるラベル（正解）として用いられる。入力データが時系列画像のデータである場合、ラベル情報が入力データに対して時系列画像単位で付与されていてもよいし、画像単位で付与されていてもよい。

教師データ記憶部１７２は、実教師データ生成部１８２が生成する実教師データ、及び、教師データ拡張部１８５が生成する人工教師データを記憶する。
ここでいう実教師データは、１つの分類対象を撮影した画像、または、その分類対象をセンシングしたセンサデータ、あるいはこれらの組み合わせを用いて生成されるなど、実際の分類対象の特徴を示す教師データである。
ここでいう人工教師データは、実教師データを加工して得られた教師データ、あるいは、計算によって得られた教師データなど、実際の分類対象の特徴とは異なる特徴を示す教師データである。

処理部１８０は、教師データ拡張装置１００の各部を制御して各種処理を実行する。処理部１８０が、教師データ拡張装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が記憶部１７０からプログラムを読み出して実行することで構成されていてもよい。あるいは、教師データ拡張装置１００が、専用のハードウェアを用いて構成されていてもよい。

特徴抽出部１８１は、入力データを取得し、取得した入力データから分類対象を分類するための複数の特徴を抽出する。特徴抽出部１８１は、抽出した特徴を教師データ拡張部１８５に出力する。
以下では、入力データが画像データである場合を例に説明する。特徴抽出部１８１が、例えば、ビデオカメラやアナログカメラ等を用いて撮像された画像のデータを入力データとして取得するにしてもよい。あるいは、特徴抽出部１８１が、別の記憶媒体等に保存された画像データを入力データとして取得するようにしてもよい。

また、特徴抽出部１８１が、例えば、時間的に連続した複数枚の画像のデータを入力データとして取得するようにしてもよい。従って、特徴抽出部１８１が、画像データ、および、時間的に連続する複数枚の画像のデータのうち少なくとも何れか一方を入力データとして取得するようにしてもよい。時間的に連続した複数枚の画像を時系列画像と称する。

また、特徴抽出部１８１が、例えば、画像から、ＨＯＧ（Histograms of Oriented Gradients）特徴、ＳＵＲＦ（Speeded-Up Robust Features）特徴、色のヒストグラム等の人が設計した特徴、及び、オートエンコーダ等のニューラルネットワークが生成する特徴のうち何れか１つ、あるいはこれらの組み合わせを機械学習のための特徴として用いるようにしてもよい。

また、特徴抽出部１８１が、例えば、時間的に連続した複数枚の画像を束ねた時系列画像から、ＤＴ（Dense Trajectories）特徴、ＳＴＩＰ（Space Time Interest Points）特徴、識別対象物体の時間的な見かけの変化、物体の周期的な運動パターン、物体の移動軌跡等の人が設計した特徴、および、オートエンコーダ等のニューラルネットワークが生成する特徴のうち何れか１つ、あるいはこれらの組み合わせを機械学習のための特徴として抽出するようにしてもよい。

特徴抽出部１８１が、分類対象を識別するために設計された特徴を入力データから抽出するようにしてもよい。あるいは、特徴抽出部１８１が、ニューラルネットワークを用いて特徴を設計し入力データから抽出するようにしてもよい。
実教師データ生成部１８２は、特徴抽出部１８１が抽出した複数の特徴と、ラベル情報記憶部１７１が記憶するラベル情報とを紐づけることにより実教師データを生成する。

関係取得部１８３は、複数の教師データの各々に含まれる複数の特徴の関係を求める。例えば、関係取得部１８３は、複数の実教師データの各々に含まれる複数の特徴の関係を求める。関係取得部１８３が求める関係は、無相関性あるいは独立性といった関係であってもよい。
特徴選択部１８４は、関係取得部１８３が求めた関係に基づいて、複数の特徴のうち何れか１つ以上を選択する。例えば、特徴選択部１８４は、特徴同士の無相関性および独立性のうち少なくとも何れか一方に基づいて、特徴の選択を行う。教師データに含まれる特徴同士が無相関性を有する場合、一方の特徴の値を加工しても、あるいは、他の値に置き換えても、他の特徴に影響を及ぼさないと考えられる。この点で、教師データに含まれる特徴のうち他の特徴と無相関性を有する特徴の値を加工するか、あるいは別の教師データにおけるその特徴の値と入れ替えて、新たな特徴を生成可能である。

教師データ拡張部１８５は、１つ以上の教師データについて、特徴選択部１８４が選択した特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する。教師データ拡張部１８５が、実教師データに含まれる特徴の値を上記のように入れ替えて、新たな教師データを生成するようにしてもよい。
教師データ拡張部１８５は、生成した人工教師データを教師データ記憶部１７２に記憶させる。

教師データ拡張部１８５が行う処理の具体例として、色味と輝度を特徴とし、様々な店舗のナシとリンゴとを区別する識別器を生成することを考える。
図２は、実教師データの例を示す図である。図２のグラフの横軸は輝度を示し、縦軸は色味を示す。縦軸の色味は、原点に近いほど赤色成分が小さく、原点から遠いほど赤色成分が大きい。横軸の輝度は、原点に近いほど輝度が小さく、原点から遠いほど、輝度が大きい。
丸（○）で示される教師データＤ１１は、リンゴの実教師データを示す。三角（△）で示される教師データＤ１２は、ナシの実教師データを示す。
領域Ｒ１１、Ｒ１２、Ｒ１３は、それぞれ店舗Ａ、Ｂ、Ｃで撮影した画像から得られた輝度の範囲を示している。

図３は、教師データ拡張部１８５が生成する人工教師データの例を示す図である。図３のグラフの横軸は輝度を示し、縦軸は色味を示す。
丸（○）で示される教師データＤ１１は、図２の場合と同じくリンゴの実教師データを示す。三角（△）で示される教師データＤ２１は、図２の場合と同じくナシの実教師データを示す。
一方、破線の丸で示される教師データＤ１２は、リンゴの人工教師データを示す。破線の三角で示される教師データＤ２２は、ナシの人工教師データを示す。

教師データ拡張部１８５は、領域Ｒ１１、Ｒ１２、Ｒ１３の少なくともいずれかに含まれる輝度の範囲内すなわち、店舗での撮影時の輝度の範囲内で色味の特徴量と組み合わせて新たな教師データを生成している。
組み合わせる特徴の選択を、人（例えばユーザ）が行うようにしてもよい。

特徴選択部１８４は、ラベル情報が同じ実教師データの中で組み合わせ可能な特徴として、無相関または、独立であるものを二つ以上選択し、選択した特徴を教師データ拡張部１８５に出力する。特徴選択部１８４が特徴を選択する方法について、リンゴとナシの識別を例にして説明するが、以下に説明する内容に限定されない。
リンゴとナシを識別するための特徴として、例えば、Ｒ成分が１２５以上であること（Ｘ１）、および、円形度が０．８以上であること（Ｘ２）があるとする。この場合の識別器の学習に必要な実教師データをＸｃｎ=（ｘ１、ｘ２）と示す。ＸｃｎがＸ１の特徴に該当すれば、Ｘｃｎのｘ１は“１”の値を有し、該当しなければ“０”の値を有する。同様に、ＸｃｎがＸ２の特徴に該当すれば、Ｘｃｎのｘ２は“１”の値を有し、該当しなければ“０”の値を有する。ｃは実教師データが該当するクラスを示す。ｎはｎ番目の実教師データであることを示す。

特徴選択部１８４は、実教師データを元にｘ１とｘ２に関して、例えば、各クラスのクロス集計表を作成し、カイ二乗検定を用いて特徴の独立性を判断し、組み合わせ可能な特徴を選択する。但し、特徴の独立性と無相関性を判断する方法は、この方法に限定されない。例えば、特徴選択部１８４が、その他の独立成分分析等の統計的な手法、または、情報量基準などを用いた手法等を用いるようにしてもよい。

上記のように、記憶部１７０は、教師データ拡張装置１００が備える記憶デバイスを用いて構成される。記憶部１７０が、磁気記憶ディスク装置を用いて構成されていてもよいし、電子ディスク装置を用いて構成されていてもよい。
記憶部１７０の一部であるラベル情報記憶部１７１および教師データ記憶部１７２についても同様である。
上記のように、処理部１８０が、コンピュータを用いて構成されていてもよいし、専用のハードウェアを用いて構成されていてもよい。処理部１８０の各部についても同様である。

次に、教師データ拡張装置１００の動作について説明する。
図４は、教師データ拡張装置１００が行う処理の例を示すフローチャートである。教師データ拡張装置１００は、例えば、人工教師データの生成を指示するユーザ操作を受けると、図４の処理を開始する。
図４の処理で、特徴抽出部１８１は、カメラ等の装置や外部記憶媒体等から得た画像から分類対対象を分類するための複数の特徴を抽出する（ステップＳ１１１）。

実教師データ生成部１８２は、特徴抽出部１８１から得られた複数の特徴と、ラベル情報記憶部１７１から得られたラベル情報とを紐づけることにより実教師データを生成する（ステップＳ１１２）。
関係取得部１８３は、実教師データに含まれる複数の特徴の関係を取得する（ステップＳ１１３）。

また、特徴選択部１８４は、実教師データ生成部１８２が生成した実教師データに含まれる複数の特徴のうちの何れか１つ以上を、関係取得部１８３が取得した関係に基づいて選択する（ステップＳ１１４）。例えば、特徴選択部１８４は、他の特徴との関係が無相関性または独立性である特徴を選択する。
教師データ拡張部１８５は、特徴選択部１８４が選択した特徴の値を、ラベル情報が同じ他の実教師データにおける同じ特徴の値と置き換えることで、人工教師データを生成する（ステップＳ１１５）。すなわち、教師データ拡張部１８５は、特徴選択部１８４が選択した特徴の値を、同じクラスに分類される他の実教師データにおける同じ特徴の値と置き換える。上記のように、教師データ拡張部１８５は、生成した人工教師データを教師データ記憶部１７２に記憶させる。
ステップＳ１１５の後、教師データ拡張装置１００は、図４の処理を終了する。

以上のように、関係取得部１８３は、複数の教師データの各々に含まれる複数の特徴の関係を求める。特徴選択部１８４は、関係取得部１８３が求めた関係に基づいて複数の特徴のうち何れか１つ以上を選択する。教師データ拡張部１８５は、１つ以上の教師データについて、特徴選択部１８４が選択した特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する。
教師データ拡張装置１００によれば、実教師データに基づいて人工教師データを生成することで、機械学習のために実環境で収集する必要のあるデータ量を低減させることができる。
また、教師データ拡張装置１００では、人工教師データを生成する際に、特徴の変更範囲を人手で定める必要がない。教師データ拡張装置１００ではこの点で、１つ以上の特徴の変更範囲を決定する試行コストを低減させることができる。

また、特徴抽出部１８１は、入力データから複数の特徴を抽出する。ラベル情報記憶部１７１は、入力データに示される分類対象が分類されるクラスを示すラベル情報を記憶する。実教師データ生成部１８２は、特徴抽出部１８１が抽出した複数の特徴とラベル情報記憶部１７１が記憶するラベル情報とを紐づけることにより実教師データを生成する。関係取得部１８３は、複数の実教師データの各々に含まれる複数の特徴の関係を求める。
これにより、教師データ拡張装置１００では、自らが生成した実教師データを用いて人工教師データを生成する。従って、教師データ拡張装置１００は、他の装置から実教師データを取得する必要がない。

また、入力データは、画像、および、時間的に連続する複数枚の画像のうち少なくとも何れか一方である。
教師データ拡張装置１００は、画像を用いた機械学習により、分類対象を分類することができる。

また、特徴抽出部１８１は、入力データから分類対象を識別するために設計された特徴を抽出する。
教師データ拡張装置１００は、この特徴を含む教師データを用いて機械学習を行って、分類対象の分類を行うことができる。

特徴抽出部１８１が、ニューラルネットワークを用いて特徴を設計し抽出するようにしてもよい。
これにより、特徴抽出部１８１が、ニューラルネットワークを用いた機械学習にていろいろな特徴に対応できることが期待される。

特徴選択部１８４は、特徴同士の無相関性および独立性のうち少なくとも何れか一方に基づいて、特徴の選択を行う。
特徴同士に無相関性または独立性があることで、何れかの特徴の値を変更しても、他の特徴に影響を及ぼさないと考えられる。この点で、教師データ拡張装置１００が生成する人工教師データを用いて高精度に機械学習を行えることが期待される。
また、教師データ拡張装置１００によれば、人工教師データを生成する際に、変更させる特徴をユーザが判断して選択する必要、および、ユーザが特徴の変更範囲を定める必要がない。教師データ拡張装置１００によれば、この点で、変更させる特徴の選定と一つ以上の特徴の変更範囲を決定するユーザ負荷を低減させることができる。

＜第２実施形態＞
図５は、第２実施形態に係る教師データ拡張装置の機能構成の例を示す概略ブロック図である。図２に示す構成で、教師データ拡張装置２００は、表示部１１０と、操作入力部１２０と、記憶部１７０と、処理部１８０とを備える。記憶部１７０は、ラベル情報記憶部１７１と、教師データ記憶部１７２とを備える。処理部１８０は、特徴抽出部１８１と、実教師データ生成部１８２と、関係取得部１８３と、特徴選択部１８４と、教師データ拡張部１８５と、拡張結果表示処理部２８６とを備える。

図５の各部のうち、図１の各部に対応して同様の機能を有する部分には同一の符号（１７０、１７１、１７２、１８０、１８１、１８２、１８３、１８４、１８５）を付して説明を省略する。
教師データ拡張装置２００は、表示部１１０および操作入力部１２０を備える点、および、処理部１８０が拡張結果表示処理部２８６を備える点で、教師データ拡張装置１００（図１）と異なる。それ以外の点では、教師データ拡張装置２００は、教師データ拡張装置１００と同様である。

表示部１１０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）等の表示画面を備え、各種画像を表示する。特に、表示部１１０は、教師データ拡張部１８５が生成する人工教師データを表示する。
操作入力部１２０は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。特に、操作入力部１２０は、人工教師データの生成の際に他の特徴に置き換える特徴を指示するユーザ操作を受け付ける。
拡張結果表示処理部２８６は、表示部１１０を制御して人工教師データを表示させる。

図６は、表示部１１０による人工教師データの表示画面の例を示す図である。
図６の例で、表示部１１０は、グラフに表示する特徴の選択欄と、選択された特徴に基づくグラフと、選択を確定させるための選択ボタンとを表示している。
操作入力部１２０が、グラフの縦軸、横軸それぞれに表示する特徴を指示するユーザ操作を受けると、表示部１１０は、特徴の選択欄の表示にユーザ操作を反映させる。また、特徴選択部１８４は、ユーザが指示する特徴を選択する。教師データ拡張部１８５は、特徴選択部１８４が選択した特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた人工教師データを生成する。図６の例では、ユーザが特徴の選択を確定させる操作（選択ボタンの押下操作）を行うまでは、教師データ拡張部１８５は、人工教師データを仮生成する。

図６の例では、教師データ拡張部１８５が特徴１と特徴３との組み合わせで特徴を入れ替えで人工教師データを仮に生成し、表示部１１０が拡張結果表示処理部２８６の制御に従って、この人工教師データをグラフに表示している。
ユーザは、画面に表示されている特徴がクラスを分類する特徴として不適であると判断した場合、または組み合わせる特徴を変更したい場合は、特徴の選択欄に対する操作を行う。ユーザは、特徴の選択欄へのユーザ操作にてプルダウンメニューを表示部１１０に表示させ、表示されたプルダウンメニューから任意の特徴の選択を指示する。

特徴選択部１８４は、ユーザの指示に従って特徴の選択を更新する。教師データ拡張部１８５は、特徴選択部１８４が選択した特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた人工教師データを生成する。このように、教師データ拡張部１８５が人工教師データを生成し直すと、表示部１１０は、拡張結果表示処理部２８６の制御に従って、人工教師データのグラフ表示を更新する。

なお、特徴選択部１８４が組み合わせ可能と判定した特徴のみが、プルダウンメニューに表示される。これにより、ユーザは、例えば、二つ以上のクラスのうち、特定のクラスだけを区別することに適した特徴を選ぶことができる。また、教師データ拡張装置２００は、生成された実教師データ及び人工教師データの分布が、識別対象の分類に適しているかについて、ユーザにわかりやすく提示できる。

図６の例では、操作入力部１２０は、特徴３から特徴２に変更するよう指示するユーザ操作を受けている。特徴選択部１８４は、この指示を受けて特徴１および特徴２を選択し直す。教師データ拡張部１８５は、特徴選択部１８４が選択した特徴１および特徴３の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた人工教師データを仮に生成する。表示部１１０が拡張結果表示処理部２８６の制御に従って、グラフの表示を教師データ拡張部１８５が生成した人工教師データの表示に更新する。

ユーザは、提示された結果に対して、画像に含まれる物体のクラスの分類に適している特徴だと判断した場合は、選択ボタンの押下操作を行う。ユーザが選択ボタンに対するユーザ操作にて特徴の選択を確定させるよう指示すると、特徴選択部１８４は、生成している人工教師データを教師データ記憶部１７２に記憶させる。

第１実施形態で説明したのと同様、第２実施形態でも、記憶部１７０は、教師データ拡張装置２００が備える記憶デバイスを用いて構成される。記憶部１７０が、磁気記憶ディスク装置を用いて構成されていてもよいし、電子ディスク装置を用いて構成されていてもよい。
記憶部１７０の一部であるラベル情報記憶部１７１および教師データ記憶部１７２についても同様である。

第１実施形態で説明したのと同様、第２実施形態でも、処理部１８０が、コンピュータを用いて構成されていてもよいし、専用のハードウェアを用いて構成されていてもよい。処理部１８０の各部についても同様である。
特徴の選択をユーザに提示する方法は、上述した画面表示による方法に限定されない。例えば、教師データ拡張装置３００が、画面表示に加えて、あるいは代えて、音声出力にて特徴の選択をユーザに提示するようにしてもよい。

次に、教師データ拡張装置２００の動作について説明する。
図７は、教師データ拡張装置２００が行う処理の例を示すフローチャートである。図７のステップＳ２１１からＳ２１４は、図４のステップＳ１１１からＳ１１４と同様である。

ステップＳ２１５では、図４のステップＳ１１５の場合と同様、教師データ拡張部１８５が人工教師データを生成する。但し、ここでの人工教師データの生成は、仮の生成である。従って、この段階では教師データ拡張部１８５は、人工教師データを教師データ記憶部１７２に記憶させない。
ステップＳ２１５の後、表示部１１０は、教師データ拡張部１８５が仮に生成した人工教師データを、拡張結果表示処理部２８６の制御に従って表示する（ステップＳ２１６）。例えば、表示部１１０は、図６の例のように人工教師データをグラフに表示する。

次に、操作入力部１２０がユーザ操作を受け付ける（ステップＳ２１７）。処理部１８０は、特徴の選択を確定させるユーザ操作が行われたか否かを判定する（ステップＳ２１８）。図６の例では、特徴の選択を確定させるユーザ操作は、選択ボタンの押下操作によって行われる。特徴の選択を確定させない場合、ユーザは、特徴の選択を変更する操作を行う。図６の例の場合、ユーザは、表示部１１０にプルダウンメニューを表示させ、表示されたプルダウンメニューに示される特徴の何れかを選択する。

特徴の選択を確定させるユーザ操作が行われていないと処理部１８０が判定した場合（ステップＳ２１８：ＮＯ）、特徴選択部１８４は、ユーザの指示に従って特徴を選択し直す（ステップＳ２２１）。具体的には、特徴選択部１８４は、特徴の選択を変更するユーザ操作にて指定された特徴を選択する。
ステップＳ２２１の後、処理がステップＳ２１５へ戻る。

一方、特徴の選択を確定させるユーザ操作が行われたと処理部１８０が判定した場合（ステップＳ２１８：ＮＯ）、教師データ拡張部１８５は、生成している人工教師データを教師データ記憶部１７２に記憶させる（ステップＳ２３１）。
ステップＳ２３１の後、教師データ拡張装置２００は、図７の処理を終了する。

以上のように、表示部１１０は、教師データ拡張部１８５が生成する教師データを表示する。操作入力部１２０は、他の特徴に置き換える特徴を指示するユーザ操作を受け付ける。特徴選択部１８４は、ユーザ操作に従って複数の特徴のうち何れか１つ以上を選択する。
教師データ拡張装置２００によれば、人工教師データの生成にユーザの判断を反映させることができる。
例えば、教師データ拡張装置２００が、生成した人工教師データの分布をグラフ表示にてユーザに提示することで、入力データに含まれる物体のクラスの分類に適しているかについてユーザが直観的に判断できる。特徴選択部１８４は、ユーザ操作を受けて、分類精度が最も高くなるような特徴を選択することができる。

＜第３実施形態＞
図８は、第３実施形態に係る教師データ拡張装置の機能構成の例を示す概略ブロック図である。図８に示す構成で、教師データ拡張装置３００は、表示部１１０と、操作入力部１２０と、記憶部１７０と、処理部１８０とを備える。記憶部１７０は、ラベル情報記憶部１７１と、教師データ記憶部１７２と、辞書記憶部３７３とを備える。処理部１８０は、特徴抽出部１８１と、実教師データ生成部１８２と、関係取得部１８３と、特徴選択部１８４と、教師データ拡張部１８５と、拡張結果表示処理部２８６と、機械学習部３８７と、識別結果表示処理部３８８とを備える。

図８の各部のうち、図１または４の各部に対応して同様の機能を有する部分には同一の符号（１１０、１２０、１７０、１７１、１７２、１８０、１８１、１８２、１８３、１８４、１８５、２８６）を付して説明を省略する。
教師データ拡張装置３００は、記憶部１７０が辞書記憶部３７３を備える点、および、処理部１８０が機械学習部３８７および識別結果表示処理部３８８を備える点で、教師データ拡張装置２００（図４）と異なる。それ以外の点では、教師データ拡張装置３００は、教師データ拡張装置２００と同様である。

機械学習部３８７は、少なくとも教師データ拡張部１８５が生成した人工教師データを用いて識別機の機械学習を行う。例えば、機械学習部３８７は、実教師データおよび人工教師データの両方を用いて識別器の機械学習を行う。
機械学習部３８７が、例えば、ＳＶＭ(Support Vector Machine)または深層学習などの機械学習の手法を用いて識別器を学習するようにしてもよい。また、学習部７０が、例えばＬＳＴＭ(Long Short Term Memory)等のネットワークを用いるようにしてもよい。そのために、記憶部１７０が、画像や時系列画像から抽出された特徴、および、時系列の識別結果を記憶するようにしてもよい。
辞書記憶部３７３は、機械学習部３８７による機械学習で得られた識別器を記憶する。
識別結果表示処理部３８８は、機械学習部３８７による学習結果を表示部１１０に表示させる。具体的には、識別結果表示処理部３８８は、機械学習部３８７による機械学習で得られた識別器に識別対象である画像を入力した場合の識別結果を表示部１１０に表示させる。

図９は、機械学習部３８７による学習結果の表示例を示す図である。図９に示すグラフの横軸と縦軸は、学習結果の識別器が識別に使用した特徴を示している。また、丸（○）および三角（△）の記号は、それぞれ、識別器に入力された画像の識別結果であるクラスを示している。

表示部１１０が、図６の場合と同様に特徴選択用のプルダウンメニューを表示し、処理部１８０が、ユーザ操作で指定された特徴をグラフの軸に設定して、学習結果の識別器に識別を行わせるようにしてもよい。
また、図９では、表示部１１０が２次元のグラフを用いて識別結果を表示する場合の例を示しているが、これに限定されない。組み合わせる特徴が３つ以上である場合、表示部１１０が、組み合わせる特徴の個数に応じた表示形態で識別結果を表示するようにしてもよい。

第１実施形態および第２実施形態で説明したのと同様、第３実施形態でも、記憶部１７０は、教師データ拡張装置３００が備える記憶デバイスを用いて構成される。記憶部１７０が、磁気記憶ディスク装置を用いて構成されていてもよいし、電子ディスク装置を用いて構成されていてもよい。
記憶部１７０の一部であるラベル情報記憶部１７１、教師データ記憶部１７２および辞書記憶部３７３についても同様である。

第１実施形態および第２実施形態で説明したのと同様、第３実施形態でも、処理部１８０が、コンピュータを用いて構成されていてもよいし、専用のハードウェアを用いて構成されていてもよい。処理部１８０の各部についても同様である。
学習結果をユーザに提示する方法は、上述した画面表示による方法に限定されない。例えば、教師データ拡張装置３００が、画面表示に加えて、あるいは代えて、音声出力にて学習結果をユーザに提示するようにしてもよい。

次に、教師データ拡張装置３００の動作について説明する。
図１０は、教師データ拡張装置３００が行う処理の例を示すフローチャートである。図１０のステップＳ３１１からＳ３３１は、図７のステップＳ２１１からＳ２３１と同様である。

ステップＳ３３１の後、機械学習部３８７は、教師データ記憶部１７２から実教師データおよび人工教師データを読み出し、得られた実教師データおよび人工教師データを用いて識別器を機械学習する（ステップＳ３３２）。機械学習部３８７は、機械学習の結果得らえた識別器を辞書記憶部３７３に記憶させる。
また、処理部１８０は、得らえた識別器を用いて画像の識別を行い、表示部１１０は、識別結果表示処理部３８８の制御に従って、識別器による識別結果を機械学習の結果として表示する（ステップＳ３３３）。
ステップＳ３３３の後、教師データ拡張装置３００は図１０の処理を終了する。

以上のように、機械学習部３８７は、少なくとも教師データ拡張部１８５が生成した人工教師データを用いて識別機の機械学習を行う。
教師データ拡張装置３００によれば、得られる実教師データの数が比較的少なくても、人工教師データを用いることで、より多くの教師データを用いて機械学習を行うことができる。教師データ拡張装置３００によれば、この点で、実教師データを取得するための負荷が軽くて済み、かつ、より多くの教師データを用いて高精度に機械学習を行うことができる。

＜第４実施形態＞
第４実施形態では、教師データ拡張装置の構成の例について説明する。
図１１は、第４実施形態に係る教師データ拡張装置の構成の例を示す図である。図１１に示す構成で、教師データ拡張装置１０は、関係取得部１１と、特徴選択部１２と、教師データ拡張部１３とを備える。
かかる構成にて、関係取得部１１は、複数の教師データの各々に含まれる複数の特徴の関係を求める。特徴選択部１２は、関係取得部１１が求めた関係に基づいて複数の特徴のうち何れか１つ以上を選択する。教師データ拡張部１３は、１つ以上の教師データについて、特徴選択部１２が選択した特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する。
教師データ拡張装置１０によれば、実教師データに基づいて人工教師データを生成することで、機械学習のために実環境で収集する必要のあるデータ量を低減させることができる。
また、教師データ拡張装置１０では、人工教師データを生成する際に、特徴の変更範囲を人手で定める必要がない。教師データ拡張装置１０ではこの点で、１つ以上の特徴の変更範囲を決定する試行コストを低減させることができる。

図１２は、少なくとも１つの実施形態に係るコンピュータの構成例を示す概略ブロック図である。図１２に示す構成で、コンピュータ５００は、ＣＰＵ５１０と、主記憶装置５２０と、補助記憶装置５３０と、インタフェース５４０とを備える。
上述の教師データ拡張装置１０、１００、２００および３００の何れか１つ以上がコンピュータに実装される場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置５３０に記憶されている。ＣＰＵ５１０は、プログラムを補助記憶装置５３０から読み出し、主記憶装置５２０に展開して実行することで、各処理部の処理を実行する。また、ＣＰＵ５１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を補助記憶装置５３０に確保する。表示部１１０および操作入力部１２０の機能は、ＣＰＵ５００がプログラムに従ってインタフェース５４０としての表示デバイスおよび入力デバイスを制御することで実行される。

なお、制御部１８０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳ（オペレーティングシステム）や周辺機器等のハードウェアを含む。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の実施形態は、教師データ拡張装置、教師データ拡張方法およびプログラムに適用してもよい。

１０、１００、２００、３００、 教師データ拡張装置
１１、１８３ 関係取得部
１２、１８４ 特徴選択部
１３、１８５ 教師データ拡張部
１１０ 表示部
１２０ 操作入力部
１７０ 記憶部
１７１ ラベル情報記憶部
１７２ 教師データ記憶部
１８０ 処理部
１８１ 特徴抽出部
１８２ 実教師データ生成部
２８６ 拡張結果表示処理部
３７３ 辞書記憶部
３８７ 機械学習部
３８８ 識別結果表示処理部

Claims (10)

1. 複数の教師データの各々に含まれる複数の特徴の関係を求める関係取得部と、
   前記関係に基づいて前記複数の特徴のうち何れか１つ以上を選択する特徴選択部と、
   １つ以上の教師データについて、前記特徴選択部が選択した特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する教師データ拡張部と、
   を備える教師データ拡張装置。
2. 入力データから複数の特徴を抽出する特徴抽出部と、
   前記入力データに示される分類対象が分類されるクラスを示すラベル情報を記憶するラベル情報記憶部と、
   前記特徴抽出部が抽出した前記複数の特徴と前記ラベル情報記憶部が記憶する前記ラベル情報とを紐づけることにより実教師データを生成する実教師データ生成部と、
   をさらに備え、
   前記関係取得部は、複数の前記実教師データの各々に含まれる複数の特徴の関係を求める、
   請求項１に記載の教師データ拡張装置。
3. 前記入力データは、画像、および、時間的に連続する複数枚の画像のうち少なくとも何れか一方である、
   請求項２に記載の教師データ拡張装置。
4. 前記特徴抽出部は、前記入力データから前記分類対象を識別するために設計された前記特徴を抽出する、
   請求項２または請求項３に記載の教師データ拡張装置。
5. 前記特徴抽出部は、ニューラルネットワークを用いて特徴を設計し抽出する、
   請求項２または請求項３に記載の教師データ拡張装置。
6. 前記特徴選択部は、前記特徴同士の無相関性および独立性のうち少なくとも何れか一方に基づいて、前記特徴の選択を行う、
   請求項１から５の何れか一項に記載の教師データ拡張装置。
7. 前記教師データ拡張部が生成する教師データを表示する表示部と、
   他の特徴に置き換える特徴を指示するユーザ操作を受け付ける操作入力部と、
   をさらに備え、
   前記特徴選択部は、前記ユーザ操作に従って前記複数の特徴のうち何れか１つ以上を選択する、
   請求項１から６の何れか一項に記載の教師データ拡張装置。
8. 少なくとも前記教師データ拡張部が生成した教師データを用いて識別機の機械学習を行う学習部をさらに備える、
   請求項１から７の何れか一項に記載の教師データ拡張装置。
9. 複数の教師データの各々に含まれる複数の特徴の関係を求める工程と、
   前記関係に基づいて前記複数の特徴のうち何れか１つ以上を選択する工程と、
   １つ以上の教師データについて、選択された前記特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する工程と、
   を含む教師データ拡張方法。
10. コンピュータに、
    複数の教師データの各々に含まれる複数の特徴の関係を求める工程と、
    前記関係に基づいて前記複数の特徴のうち何れか１つ以上を選択する工程と、
    １つ以上の教師データについて、選択された前記特徴の値を、同じクラスに分類される他の教師データにおけるその特徴の値に入れ替えた新たな教師データを生成する工程と、
    を実行させるためのプログラム。

Images