JP6118752B2

JP6118752B2 - 学習データ生成装置

Info

Publication number: JP6118752B2
Application number: JP2014067827A
Authority: JP
Inventors: 徳見　修; 修徳見; 黒川　高晴; 高晴黒川
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2014-03-28
Filing date: 2014-03-28
Publication date: 2017-04-19
Anticipated expiration: 2034-03-28
Also published as: JP2015191426A

Description

本発明は、画像が属するクラスを識別するために用いる学習データを生成する学習データ生成装置に関する。

監視カメラやデジタルスチルカメラで撮影された画像から人などの対象物を検知する技術として識別器を用いたものが知られている。識別器は、対象物が撮された対象物画像、及び対象物が撮されていない非対象物画像からなる多数の学習用画像を用いた学習により生成される。

識別器の性能を向上させるには、学習データのバリエーションを増やす必要がある。例えば、入力画像が人の写った画像であるか否かを識別するための識別器を学習する場合、姿勢、体格、服装や撮影角度が異なる人の画像を多数撮影するなどして収集し、さらに被写体や場所が異なった人以外の画像を多数撮影するなどして収集する必要があり、多大な労力を要する。

このような収集作業を軽減するために、特許文献１に記載の画像学習装置は、登録されている画像の特徴ベクトルと撮影時刻、天候、撮影角度、撮影位置を表す撮影プロファイルのベクトルが属するクラス毎の分散を求め、分散の小さいクラスと分散の小さいクラス内に含まれる撮影プロファイルを通知する。

これにより、ユーザーは学習データとして不足している撮影条件を知ることができ、どのような撮影条件で撮影を行えばよいかが分かる。

特開２００４−２１３５６７号公報

しかしながら、従来技術によってもデータ収集作業は十分に効率化することは困難であり、特に入力画像が人の写った画像であるか否かを識別するための学習データを収集する作業を効率化することは困難であった。すなわち、従来技術では撮影作業自体は無くならない。

また、従来技術では撮影プロファイルを作成すること自体が困難である。すなわち、人の姿勢、人の体格、人の服装、人以外の被写体の識別番号など多岐に亘るバリエーションを撮影プロファイルとしてデータ入力すること自体が困難である。

また、画像同士の見た目の近さとその特徴量同士の近さ（特徴空間における距離）とは異なるため、実際に被写体や撮影条件を変更して撮影したとしても特徴空間において現に不足している学習データを効率的に収集するのは困難であった。例えば、特徴空間において学習データが無い、或いは少ない領域の画像を追加しようとしても、当該領域に当てはまる画像としてどのような画像を撮影すべきかは一般に分からないのである。

本発明は、上記問題を鑑みてなされたものであり、新たな画像の撮影を行うことなく学習データのバリエーションや数を効率良く増加させることが可能な学習データ生成装置を提供することを目的とする。

本発明に係る学習データ生成装置は、入力画像が属するクラスの識別に用いる学習データを生成する学習データ生成装置であって、予め前記クラスのそれぞれに属する画像から得た特徴量を前記クラスと対応付けて記憶している学習データ記憶手段と、前記特徴量が分布する特徴空間の軸を表す複数の基底ベクトルそれぞれと対応する基底画像を予め記憶している基底画像記憶手段と、前記特徴空間内に少なくとも１つのサンプル点を生成するサンプル点生成手段と、前記サンプル点に対応する視認可能な再構成画像を前記基底画像を用いて生成する画像再構成手段と、前記再構成画像を表示して、前記再構成画像を視認したユーザーによる前記再構成画像が属するクラスの判断結果の入力を受け付けるユーザーインターフェースと、前記ユーザーインターフェースから入力されたクラスと対応付けて前記サンプル点を前記学習データ記憶手段に追記する学習データ更新手段と、を備える。

また、本発明に係る学習データ生成装置において、前記サンプル点生成手段は、前記学習データ記憶手段が記憶している前記特徴量の前記特徴空間における密度が予め定められた密度基準値未満である低密度領域を検出し、当該低密度領域内に前記サンプル点を生成する構成とすることができる。

さらに本発明に係る学習データ生成装置において、前記サンプル点生成手段は、前記低密度領域に、前記クラスの境界に交差する方向に並ぶ複数の前記サンプル点を生成し、前記ユーザーインターフェースは、前記複数のサンプル点に対応する複数の前記再構成画像を当該サンプル点の並び順に従って並べて表示する構成とすることができる。

上記本発明に係る学習データ生成装置において、前記ユーザーインターフェースは、前記複数の再構成画像の並びにおける前記クラスの境界を入力され、当該境界にて分けられたクラスを各サンプル点の判断結果として受け付ける構成とすることができる。

また、本発明に係る学習データ生成装置において、さらに、前記特徴空間において前記クラスを分ける識別境界を記憶した識別境界記憶手段を有し、前記サンプル点生成手段は、前記識別境界から近いほど高い密度基準値を設定して、前記学習データ記憶手段が記憶している前記特徴量の前記特徴空間における密度が前記密度基準値未満である低密度領域を検出し、当該低密度領域内に前記サンプル点を生成する構成とすることができる。

また、本発明に係る学習データ生成装置において、前記画像再構成手段は、前記再構成画像について自然画らしさの所定の指標を算出し、当該指標の値が予め定められた評価基準を満たさない前記再構成画像を破棄する構成とすることができる。

本発明によれば、新たな画像の撮影を行うことなく学習データを追加できるため、学習データのバリエーションや数を効率良く増加させることが可能となる。

本発明の実施形態に係る学習データ生成装置の概略の構成を示すブロック図である。本発明の実施形態である学習データ生成装置の概略の機能ブロック図である。識別境界に近いほど密度基準値を高く設定する処理の例を示す模式図である。基底画像を用いてサンプル点に対応する再構成画像を生成する例を示す模式図である。ユーザーインターフェースの表示画像の一例の模式図である。本発明の実施形態に係る学習データ生成装置の概略の動作を示すフロー図である。学習データ追加処理の概略のフロー図である。低密度領域検出の変形例を説明する模式図である。サンプル点の生成の仕方の変形例を示す模式図である。サンプル点の生成の仕方の他の変形例を示す模式図である。一方向に並んでサンプル点を複数生成する構成におけるユーザーインターフェースの表示画像の一例の模式図である。

以下、本発明の実施の形態（以下実施形態という）である学習データ生成装置１について、図面に基づいて説明する。学習データ生成装置１は入力画像が属するクラスを識別する識別器の機械学習に用いる学習データを生成する。本実施形態ではクラスは人の像と人以外の像とする。また、学習データは画像から抽出した特徴量とし、特徴ベクトルとして表現される。

［学習データ生成装置１の構成］
図１は学習データ生成装置１の概略の構成を示すブロック図である。学習データ生成装置１は記憶部２、表示部３、入力部４及び制御部５を含んで構成される。制御部５は記憶部２、表示部３及び入力部４と接続される。

記憶部２は制御部５を後述する各手段として動作させるためのプログラム、学習データや各手段が生成したデータなどの各種データを記憶し、制御部５との間でこれらのプログラムやデータを入出力する。記憶部２は、ＨＤＤ（Hard Disk Drive）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。

表示部３は制御部５から入力された画像を表示する液晶ディスプレイ、ＣＲＴ（Cathode Ray Tube）などのディスプレイ装置である。学習データ生成装置１は表示部３により、新規に追加する学習データに対応する画像をユーザーに視認させる。

入力部４はユーザーが制御部５に対する入力を行うためのインターフェース機器であり、ユーザーは入力部４により、新規に追加する学習データの帰属クラスを制御部５に入力することができる。例えば、入力部４はキーボード、マウス、視線入力装置、音声認識機能付きマイクロフォンなどである。また表示部３と入力部４を一体化した液晶タッチパネルディスプレイを用いることもできる。

制御部５はＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の少なくとも１つのプロセッサ、及びその周辺回路を用いて構成される。制御部５は記憶部２からプログラムを読み出して実行することで、後述する各手段として動作し、新規の学習データを生成して記憶部２に追記する。また、そのために表示部３と入力部４を制御する。

図２は学習データ生成装置１の概略の機能ブロック図である。記憶部２は、学習データ記憶手段１０及び基底画像記憶手段１２として機能する。制御部５は、サンプル点生成手段１１、画像再構成手段１３及び学習データ更新手段１５として適宜動作する。表示部３及び入力部４はユーザーインターフェース１４として機能する。

学習データ記憶手段１０は入力画像が属するクラスを識別する識別器を生成するために用いる学習データを予め記憶している。すなわち、予め、クラスのそれぞれに属する画像から得た特徴量を、当該クラスを一意に識別する識別子と対応付けて記憶している。学習データ記憶手段１０に記憶された学習データは新たな学習データの生成のためにサンプル点生成手段１１により読み出され、学習データ更新手段１５から新たな学習データが学習データ記憶手段１０に追記される。

既に述べたように本実施形態ではクラスは例えば「人」と「人以外」としている。これに対応して、学習データ記憶手段１０は、人が写っている多数の画像それぞれから得た特徴量と人のクラスであることを表す識別子とを対応付けて記憶すると共に、人が写っていない多数の画像それぞれから得た特徴量と人以外のクラスであることを表す識別子とを対応付けて記憶している。例えば、人のクラスを表す識別子は値“１”、人以外のクラスを表す識別子は値“０”とする。

特徴量は例えば２５００次元のスパースコーディング（Sparse Coding）係数とし、当該係数を要素とするベクトル形式で表現することができる。この特徴量を表すベクトルは特徴ベクトルと称される。ちなみに、スパースコーディング係数が表す特徴空間は画像空間と１対１対応する。なお、特徴量としてスパースコーディング係数を用いた場合、各学習データについて特徴ベクトルの全次元を用いずとも画像空間との良好な対応関係を形成できる。例えば、各学習データを、学習データごとに有効な５００次元の成分とそれ以外の２０００次元の成分とを有した特徴ベクトルとすることができる。

また、学習データ記憶手段１０は予め記憶している学習データを用いて学習した識別器を識別境界の情報として記憶している（識別境界記憶手段）。ちなみに識別境界は特徴空間においてクラスを分ける超平面である。

サンプル点生成手段１１は、学習データ記憶手段１０が記憶している学習データの特徴量が分布する特徴空間内に少なくとも１つのサンプル点（新規の学習データ）を生成し、画像再構成手段１３及び学習データ更新手段１５に出力する。

例えば、サンプル点生成手段１１は学習データ記憶手段１０が記憶している学習データの特徴量の特徴空間における密度が密度基準値未満である低密度領域を検出し、低密度領域内にサンプル点を生成する。具体的には、サンプル点生成手段１１は現に学習データが分布している範囲、或いは当該範囲の周囲を含めた範囲をそれぞれが同サイズの評価領域に区分して各評価領域内における学習データ数を計数し、学習データ数が予め定めた個数閾値未満の評価領域を低密度領域として検出する。そして、低密度領域を検出すると当該領域の重心座標をサンプル点として生成する。これにより、現に特徴空間において学習データが不足している領域にサンプル点を生成できる。

このとき、識別境界近傍に対して重点的に学習データを追加するために、識別境界から評価領域までの距離が近いほど高く当該距離が遠いほど低い密度基準値を用いて低密度領域を検出することが好適である。識別境界からの距離値は、学習データ記憶手段１０が記憶している識別器に評価領域の重心ベクトルを入力することで当該識別器の出力値として得られる。

図３は識別境界に近いほど密度基準値を高く設定する処理の例を示す模式図であり、特徴空間を２次元とした場合を示している。図３では特徴空間はその各軸Ｆ_１，Ｆ_２について量子化され、矩形の評価領域に区分されている。例えば、学習データの個数に適用する個数閾値を１個及び２個の２段階とし、識別境界から距離閾値Ｔ_Ｌ未満の領域について個数閾値は２個に設定され、距離閾値Ｔ_Ｌ以上の領域について個数閾値は１個に設定されている。図３の上側の特徴空間における評価領域を示す各矩形内の数値は当該評価領域に存在する学習データの数を表しており、斜線を付した評価領域が低密度領域として検知される。図３の下側の特徴空間では、低密度領域に追加された新たなサンプル点を黒丸で示している。この方法では、新たなサンプル点の追加により、学習データ密度の最低値は識別境界近傍以外では１個に引き上げられると共に、識別境界近傍では２個に引き上げられ、識別境界近傍以外に比べて２倍の学習データ密度とすることができる。

基底画像記憶手段１２は予め特徴空間における各軸方向の単位ベクトル（基底ベクトル）それぞれに対応した基底画像を記憶している。この基底画像は画像再構成手段１３により読み出され利用される。特徴量として２５００次元のスパースコーディング係数を用いる本例では、２５００個の単位ベクトルそれぞれが特徴空間の各軸を表す基底ベクトルであり、基底画像記憶手段１２は各軸と対応づけて２５００枚の基底画像を記憶している。

画像再構成手段１３はサンプル点生成手段１１が生成したサンプル点に対応する視認可能な再構成画像を生成し、ユーザーインターフェース１４に出力する。具体的には、画像再構成手段１３は特徴空間の軸のそれぞれと対応する基底画像を、サンプル点の当該軸と対応する座標値にて重み付け合成することにより再構成画像を生成する。例えば、（ｘ，ｙ）を画像平面のＸＹ座標、軸ｉと対応する基底画像をＢ_ｉ（ｘ，ｙ）、サンプル点の座標値を［ｆ_１，ｆ_２，…，ｆ_ｉ，…，ｆ_２５００］と表すと、再構成画像Ｒ（ｘ，ｙ）はｉについての総和Σを用いた次式で与えられる。
Ｒ（ｘ，ｙ）＝ΣＢ_ｉ（ｘ，ｙ）・ｆ_ｉ ………（１）

図４は基底画像を用いてサンプル点に対応する再構成画像を生成する上記（１）式の例を示す模式図である。図４ではその左側に示すように特徴空間は３次元とする。当該特徴空間内に生成されたサンプル点の座標を［０．９，０．６，０．４］とすると、再構成画像Ｒは図４の右側に示すように基底画像Ｂ_１〜Ｂ_３にサンプル点の座標値を乗じて加算する重み付け加算で得られる。

なお、スパースコーディング係数を特徴量として用いた場合、特徴量の有効な成分のみ（例えば絶対値が大きな順に５００次元の成分）を用いて（１）式による良好な再構成を行うことができ、再構成のための計算量を削減できる。

また、画像再構成手段１３は再構成画像について自然画像らしさの評価を行う。以下これについて説明する。自動生成するサンプル点の中には、自然画像らしさが低く、実際に識別対象として入力されることが無いものも含まれ得る。そのため、再構成画像に対して自然画像らしさの指標を算出して予め定めた画像評価閾値と比較し、自然画像らしさが画像評価閾値未満の場合は、再構成画像を破棄して出力せず、代わりに学習データ更新手段１５に追記不要を表す値“−２”を通知する。

自然画像らしさの指標は、例えば、フィールズ・オブ・エキスパーツ（Fields of Experts：ＦｏＥ）と呼ばれる統計モデルに再構成画像を入力して得られる尤度とすることができる（S. Roth and M. J. Black. “Fields of Experts: A Framework for Learning Image Priors.” CVPR2005, II:860–867）。具体的には、自然画像らしさの指標は次式で計算するｐ（Ｒ）とすることができる。

ここで、Ｒは再構成画像、Ｊ_ｉはサイズｉ×ｉの所定の画像フィルタ（１≦ｉ≦Ｋ）である。Ｒ_Ｃは再構成画像Ｒの各所に設定される画像フィルタと同サイズの局所領域であり、Ｃは再構成画像Ｒ内における局所領域Ｒ_Ｃの位置のインデックスである。また、α_ｉはフィルタ毎に決まる定数であり、Ｋは例えば５である。

予め多数の自然画像に対してｐ（Ｒ）を最大化するＪ_ｉ及びα_ｉを学習しておき、計算式ｐ（Ｒ）を記憶部２に記憶させておく。具体的には、Ｊ_ｉ及びα_ｉを変動させながら各Ｊ_ｉ及びα_ｉについて学習用の自然画像すべての局所領域Ｒ_Ｃを用いて統計的にｐ（Ｒ）を求め、その中でｐ（Ｒ）を最大化するＪ_ｉ及びα_ｉが決定される。

画像評価閾値は、学習したｐ（Ｒ）の計算式にテスト用の多数の自然画像を入力して得た出力の最小値としたり、当該最小値より一定値だけ小さく設定した値、或いは当該最小値より一定値だけ大きく設定した値としたりすることができる。

当該学習及びテストに用いる多数の自然画像は、学習データ記憶手段１０に記憶している学習データの基となった、人が写っている多数の画像及び人が写っていない多数の画像の一部（例えば半分ずつ）とすることができる。或いは、別の自然画像群としてもよい。

ちなみに、この自然画像らしさの指標は、再構成画像における近傍画素間の依存関係が多数の自然画像における近傍画素間の依存関係と統計的に類似する度合いである。

自然画像らしさの指標として、ＦｏＥの他にも、スケーリング・ロウズ（Scaling laws）、ガボール・ウェーブレット（gabol-wavelet）などの周波数特徴、ガウシアンＦｏＥ（Gaussian FOE）またはフィジカリー・インスパイアード・モデル（Physically Inspired Models）など、近傍画素間の依存関係に基づく公知の各種指標を用いることができる。

上述した手法により、自然画像らしさの低い再構成画像を自動的に除くことにより不要な学習データの追加による記憶部２の資源の無駄遣いを抑制でき、また不要なサンプル点を視認するユーザーの手間を省ける。

表示部３はユーザーインターフェース１４として、画像再構成手段１３から入力された再構成画像を表示してユーザーに視認させる。また、入力部４はユーザーインターフェース１４として、再構成画像を視認したユーザーにより入力された再構成画像の帰属クラス（すなわちサンプル点の帰属クラス）を学習データ更新手段１５へ出力する。なお、上述したように人のクラス、人以外のクラスはそれぞれ識別子“１”、“０”で表され、また、自然画像らしさに欠ける場合には識別子“−２”が割り当てられている。ここで、さらに帰属クラスが判断不能であることを表す識別子“−１”を設けても良い。

図５はユーザーインターフェース１４の一例の模式図であり、表示部３の表示画像を示している。表示画像２０には再構成画像２１が表示され、例えば、その横にユーザーによる判断結果を入力させるＧＵＩ（graphical user interface）が表示される。例えば、ユーザーインターフェース１４は表示画像２０に「人のクラス」、「人以外のクラス」及び「判断不能」を選択肢として表示し、それらに対応付けてラジオボタンを表示する。図５に示す例ではユーザーがカーソル２２を移動させて「人のクラス」のボタンをオンにした状態を示している。ユーザーがこのようにいずれかを選択した後、登録ボタン２３をクリックすると、選択結果が受け付けられ、対応した識別子が学習データ更新手段１５に入力される。

学習データ更新手段１５はサンプル点生成手段１１から入力されたサンプル点を、ユーザーインターフェース１４から入力された帰属クラスと対応付けて学習データ記憶手段１０に追記する。なお、帰属クラスが判断不能を表す値“−１”及び再構成画像が自然画像らしさに欠けることを表す値“−２”のときは追記を省略する。

［学習データ生成装置１の動作］
図６は学習データ生成装置１の概略の動作を示すフロー図である。

学習データ生成装置１は起動されると制御部５がまずサンプル点生成手段１１として動作する。サンプル点生成手段１１は、記憶部３の学習データ記憶手段１０に記憶されている学習データが分布している範囲をその周囲に一定量だけ広げた学習データ追加範囲を算出して、学習データ追加範囲をそれぞれが同サイズの評価領域に分割し、評価領域内における学習データの数が予め定めた個数閾値未満である評価領域を低密度領域として検出する（ステップＳ１）。そのためにサンプル点生成手段１１は、特徴空間の各軸ｉについて、学習データの最大値ＭＡＸ（ｆ_ｉ）及び最小値ＭＩＮ（ｆ_ｉ）を求め、［ＭＡＸ（ｆ_ｉ）＋Δ／２，ＭＩＮ（ｆ_ｉ）−Δ／２］を学習データ追加範囲として算出する。但し、Δは予め定めた正の定数である。なお、学習データ追加範囲を周囲に広げたくない場合はΔ＝０とすればよい。サンプル点生成手段１１が低密度領域を検出した場合には（ステップＳ２にて「Ｙｅｓ」の場合）、検出した低密度領域を順次、処理領域に設定する（ステップＳ３）。そして、設定された低密度領域への学習データ追加処理が実行される（ステップＳ４）。学習データ追加処理Ｓ４では低密度領域の画像が再構成され、それに対してユーザーが帰属クラスを付与し、付与された帰属クラスとサンプル点が追加される。学習データ追加処理Ｓ４については後述する。

ステップＳ３，Ｓ４の処理は、ステップＳ１にて検出された各低密度領域について行われる（ステップＳ５にて「Ｎｏ」の場合）。そしてサンプル点生成手段１１がステップＳ１にて検出された全ての低密度領域における学習データの数が個数閾値にまで増えたことを確認すると学習データ生成装置１は処理を終了する（ステップＳ５にて「Ｙｅｓ」の場合）。また、ステップＳ１で低密度領域が検出されなかった場合も（ステップＳ２にて「Ｎｏ」の場合）学習データ生成装置１は処理を終了する。

図７は学習データ追加処理Ｓ４の概略のフロー図である。

制御部５はサンプル点生成手段１１として動作し、ステップＳ１にて検出した低密度領域の重心位置をサンプル点として生成する（ステップＳ１０）。

次に制御部５は画像再構成手段１３として動作し、サンプル点生成手段１１にて生成されたサンプル点の座標値［ｆ_１，ｆ_２，…，ｆ_ｉ，…，ｆ_２５００］と、基底画像記憶手段１２から読込んだ基底画像Ｂ_ｉ（ｘ，ｙ）から、（１）式に基づいて再構成画像Ｒ（ｘ，ｙ）を生成する（ステップＳ１１）。

画像再構成手段１３は、ステップＳ１１にて生成された再構成画像について自然画像らしさの指標ｐ（Ｒ）を（２）式により算出し（ステップＳ１２）、指標ｐ（Ｒ）が画像評価閾値Ｔ_Ｐ未満か否かを判断する（ステップＳ１３）。その結果、閾値未満の場合、画像再構成手段１３は再構成画像が自然らしさに欠けるとして識別子“−２”を出力する（ステップＳ１３にて「Ｎｏ」の場合）。この出力が行われると、制御部５は学習データ更新手段１５として動作し、サンプル点の追記は不要であるとしてステップＳ１４〜Ｓ１７を省略し、処理を図６のステップＳ５の処理に進める。

一方、指標ｐ（Ｒ）が画像評価閾値Ｔ_Ｐ以上である場合は（ステップＳ１３にて「Ｙｅｓ」の場合）、表示部３がユーザーインターフェース１４として機能し、再構成画像を表示しユーザーに提示する（ステップＳ１４）。

入力部４はユーザーインターフェース１４として機能し、ユーザーによる帰属クラスの入力を待つ（ステップＳ１５にて「Ｎｏ」の場合）。ユーザーは再構成画像について視認して判断した帰属クラスをキーボードやマウス等の入力部４により学習データ生成装置１に入力することができる。

ユーザーインターフェース１４はユーザーが入力した帰属クラスに応じた識別子を制御部５へ出力する（ステップＳ１５にて「Ｙｅｓ」の場合）。

制御部５は学習データ更新手段１５として動作し、入力された帰属クラスがクラスを判断できたことを示すもの、つまり識別子の値が“１”又は“０”であれば（ステップＳ１６にて「Ｙｅｓ」の場合）、識別子の値と対応付けて、サンプル点生成手段１１にて生成されたサンプル点を記憶部３の学習データ記憶手段１０に追記し（ステップＳ１７）、その後、図６のステップＳ５の処理に進む。

一方、入力された帰属クラスがクラスを判断できないことを示すもの、つまり識別子の値が“−１”であれば（ステップＳ１６にて「Ｎｏ」の場合）、学習データ記憶手段１０への追記は行わずに図６のステップＳ５に処理を進める。

［画像再構成の変形例］
上述した実施形態では、特徴空間をスパースコーディング法による基底系で表す例を説明したが、基底系は任意のものを用いることができる。すなわち、いずれの基底系を採用しても、基底ベクトルに対応する基底画像を用い、その線形結合によりサンプル点に対応する再構成画像を生成することができる。

ここで、スパースコーディング法では画像再構成に必要とされる実質的な基底の数を実画像の次元数（画素数等）よりも各段に減らすことができ、再構成のために要する基底画像記憶手段１２の容量削減、及び再構成に要する画像再構成手段１３の計算量削減が可能となる利点がある。この特徴はスパースコーディング法に代えて、主成分分析、独立成分分析などの手法を採用しても得られる。主成分分析法を用いる場合、学習データの分析により導出された主成分を基底ベクトルとし、主成分に対応する画像を基底画像とすることができる。同様に、独立成分分析法を用いる場合、学習データの分析により導出された独立成分を基底ベクトルとし、独立成分に対応する画像を基底画像とすることができる。すなわち、スパースコーディング法に代えて主成分分析法などで学習データから生成した基底画像を基底画像記憶手段１２に記憶させておき、画像再構成手段１３はサンプル点の座標に対応する基底画像の重みづけ和をサンプル点の再構成画像として生成することができる。その際、主成分分析等と異なりスパースコーディング法では、特徴空間の次元数より少ない数の基底画像でサンプル点に対応する画像を良好な近似で再構成でき、画像再構成手段１３の計算量削減効果が特に高い。

［低密度領域検出の変形例］
上述した実施形態では、特徴空間を区分した各評価領域を同じ大きさとし、学習データの個数で低密度領域を規定したが、各評価領域の大きさを可変とし、評価領域の大きさで低密度領域を規定してもよい。例えば、特徴空間において学習データが存在しない閉領域を検出し、その閉領域の大きさが予め定めた大きさ閾値以上であるときに、当該閉領域を低密度領域として検出することができる。

図８はその具体例を説明する模式図であり、２次元に簡略化した特徴空間における人のクラスの学習データ（○印）、人以外のクラスの学習データ（□印）が示されている。人のクラスに属する任意の学習データ３０から人以外のクラスに属する学習データの中で最も近い学習データ３１を探索して、当該２つの学習データ３０，３１を結ぶ線分を直径とする超球３２を求める。そして、当該超球３２内に人のクラスの学習データが他に存在せず、且つその大きさが予め定めた大きさ閾値以上であるときに（直径又は半径について閾値を設定し比較を行えばよい）、当該超球３２を低密度領域として検出する。なお、低密度領域とされた超球３２の中には、例えば、超球３２の中心などに新規学習データであるサンプル点３３（●印）が設定される。

この変形例において、評価領域が識別境界に近いほど高く遠いほど低い密度基準値を設定するには、識別境界から中心までの距離が距離閾値Ｔ_Ｌ以上の超球に対して大きさ閾値Ｔ_Ｓ１を設定し、識別境界から中心までの距離が距離閾値Ｔ_Ｌ未満の超球に対してＴ_Ｓ１よりも小さな大きさ閾値Ｔ_Ｓ２を設定すればよい。

［サンプル点生成の変形例］
（１）各低密度領域に複数のサンプル点を生成
ここで述べる変形例ではサンプル点生成手段１１は低密度領域内にクラスの境界に交差する方向に並ぶ複数の前記サンプル点を生成する。図９、図１０はそのサンプル点の生成の仕方の例を示す模式図である。

図９の上側には２次元に簡略化した特徴空間を示し、下側には上側に示した特徴空間における低密度領域を拡大して示している。図９に示す例では、学習データ記憶手段１０が記憶している対象データ群４０の重心４１と、サンプル点生成手段１１により対象データ群４０の外に検出された低密度領域４２の重心４３とを結ぶ直線４４上に、当該低密度領域４２に対する５個のサンプル点４５（●印）を生成する。

図１０は図８で説明した低密度領域でのサンプル点の生成例である。低密度領域として検出された超球３２の直径の両端に位置する対象データ３０と非対象データ３１とを結ぶ直線６０上に当該低密度領域（超球３２）に対する５個のサンプル点６１（●印）を生成する。

図１１は上述のように一方向に並んでサンプル点を複数生成する構成におけるユーザーインターフェース１４の一例の模式図であり、表示部３の表示画像を示している。画像再構成手段１３は、複数のサンプル点それぞれに対応する画像を再構成し、ユーザーインターフェース１４は複数のサンプル点に対応する複数の再構成画像７０を特徴空間における当該サンプル点の並び順に従って並べて表示する。また、ユーザーインターフェース１４は、複数の再構成画像７０の並びにおけるクラスの境界の入力を受け付ける。

例えば、ユーザーインターフェース１４は再構成画像７０を表示画像の上側に水平方向に並べて表示し、その下に、複数の再構成画像７０の並びのどの位置に「人」のクラスと「人以外」のクラスとの境界があるかを示す表示７１とそれらに対応付けられたラジオボタン７２とを表示する。またラジオボタン７２の選択肢として「判断不能」を含めることができる。

図１１に示す例ではユーザーがカーソル７３を移動させてラジオボタンの１つをオンにしている。例えば、このオンされたボタンに対応する表示７１は、再構成画像７０の並びにて左から３番目までが人のクラスであり、それより右側が人以外のクラスであることを示している。ユーザーがこのようにいずれかを選択した後、登録ボタン７４をクリックすると、選択結果が受け付けられ、ユーザーインターフェース１４から学習データ更新手段１５に入力される。学習データ更新手段１５は入力された境界に応じて複数のサンプル点それぞれに対する帰属クラスを判定し、学習データ記憶手段１０に追記する。

（２）サンプル点のマニュアル生成／半自動生成
上述の実施形態及び変形例では、サンプル点生成手段１１が低密度領域を検出してサンプル点を生成したが、ユーザーがユーザーインターフェース１４を介して入力した座標を用いてサンプル点生成手段１１がサンプル点を生成してもよい。

或いは、ユーザーがユーザーインターフェース１４を介して既存の複数の学習データを指定し、サンプル点生成手段１１が当該複数の学習データの平均座標を有するサンプル点を生成してもよい。

［その他の変形例］
上記実施形態では人の像と人以外の像を識別する例を示したが、対象はこれに限らない。例えば、入力データが画像の場合は対象を人の顔、性別または車両などとすることができる。

また上記実施形態では対象と非対象を識別する２クラス問題を例示したが、車種判定、文字認識、顔による個人識別などの多クラス問題にも適用できる。この場合、クラスのペアごとに学習データを選出して該ペア間のローカル識別境界を学習すればよい。

さて、以上、実施形態により本発明を説明した。識別器の性能向上を妨げる要因の１つに学習データの偏りがある。偏りのある学習データは、特徴空間において学習データが不足している低密度領域を有し、低密度領域の特徴量を有する入力画像に対して識別精度が低下する。また、画像の見た目の類似性或いは相違性と、特徴量の類似性或いは相違性にはずれがあるため、低密度領域に該当する画像を意図的に撮影するのは困難である。

本発明によれば、特徴空間においてサンプル点を生成するので意図した学習データを容易に追加することができる。

また、生成したサンプル点と対応する画像を再構成して表示することで、ユーザーが視認してサンプル点の帰属クラスを判断でき、判断結果である帰属クラスと対応付けてサンプル点を学習データに加えるので、画像を撮影することなく意図した学習データを追加できる。

さらに、学習データを分析して低密度領域を検出し、低密度領域内にサンプル点を生成するので、不足している学習データを効率良く追加できる。

１学習データ生成装置、２記憶部、３表示部、４入力部、５制御部、１０学習データ記憶手段、１１サンプル点生成手段、１２基底画像記憶手段、１３画像再構成手段、１４ユーザーインターフェース、１５学習データ更新手段。

Claims

入力画像が属するクラスの識別に用いる学習データを生成する学習データ生成装置であって、
予め前記クラスのそれぞれに属する画像から得た特徴量を前記クラスと対応付けて記憶している学習データ記憶手段と、
前記特徴量が分布する特徴空間の軸を表す複数の基底ベクトルそれぞれと対応する基底画像を予め記憶している基底画像記憶手段と、
前記特徴空間内に少なくとも１つのサンプル点を生成するサンプル点生成手段と、
前記サンプル点に対応する視認可能な再構成画像を前記基底画像を用いて生成する画像再構成手段と、
前記再構成画像を表示して、前記再構成画像を視認したユーザーによる前記再構成画像が属するクラスの判断結果の入力を受け付けるユーザーインターフェースと、
前記ユーザーインターフェースから入力されたクラスと対応付けて前記サンプル点を前記学習データ記憶手段に追記する学習データ更新手段と、
を備え、
前記サンプル点生成手段は、前記特徴空間内に評価領域を設定し、前記学習データ記憶手段が記憶している前記特徴量の前記評価領域内における個数が予め定められた基準を下回る場合に当該評価領域を低密度領域として検出し、当該低密度領域内に前記サンプル点を生成すること、を特徴とする学習データ生成装置。
前記サンプル点生成手段は、前記低密度領域に、前記クラスの境界に交差する方向に並ぶ複数の前記サンプル点を生成し、
前記ユーザーインターフェースは、前記複数のサンプル点に対応する複数の前記再構成画像を当該サンプル点の並び順に従って並べて表示すること、
を特徴とする請求項１に記載の学習データ生成装置。
前記ユーザーインターフェースは、前記複数の再構成画像の並びにおける前記クラスの境界を入力され、当該境界にて分けられたクラスを各サンプル点の判断結果として受け付けること、を特徴とする請求項２に記載の学習データ生成装置。
さらに、前記特徴空間において前記クラスを分ける識別境界を記憶した識別境界記憶手段を有し、
前記サンプル点生成手段は、前記識別境界から近いほど高い密度基準値を設定して、前記学習データ記憶手段が記憶している前記特徴量の前記特徴空間における密度が前記密度基準値未満である低密度領域を検出し、当該低密度領域内に前記サンプル点を生成すること、
を特徴とする請求項１から請求項３のいずれか１つに記載の学習データ生成装置。
前記画像再構成手段は、前記再構成画像について自然画らしさの所定の指標を算出し、当該指標の値が予め定められた評価基準を満たさない前記再構成画像を破棄すること、を特徴とする請求項１から請求項４のいずれか１つに記載の学習データ生成装置。
入力画像が属するクラスの識別に用いる学習データを生成する学習データ生成装置であって、
予め前記クラスのそれぞれに属する画像から得た特徴量を前記クラスと対応付けて記憶している学習データ記憶手段と、
前記特徴量が分布する特徴空間の軸を表す複数の基底ベクトルそれぞれと対応する基底画像を予め記憶している基底画像記憶手段と、
前記特徴空間内に少なくとも１つのサンプル点を生成するサンプル点生成手段と、
前記サンプル点に対応する視認可能な再構成画像を前記基底画像を用いて生成する画像再構成手段と、
前記再構成画像を表示して、前記再構成画像を視認したユーザーによる前記再構成画像が属するクラスの判断結果の入力を受け付けるユーザーインターフェースと、
前記ユーザーインターフェースから入力されたクラスと対応付けて前記サンプル点を前記学習データ記憶手段に追記する学習データ更新手段と、
を備え、
前記画像再構成手段は、前記再構成画像について自然画らしさの所定の指標を算出し、当該指標の値が予め定められた評価基準を満たさない前記再構成画像を破棄すること、を特徴とする学習データ生成装置。