JP5889019B2 - ラベル付加装置、ラベル付加方法及びプログラム - Google Patents

Description

本発明は、画像データに対してラベリングを行う技術に関するものである。

認識技術において、学習データのラベルが予め教示されている教師付き学習では、教師なし学習と比べて、一般的に高い精度が見込まれている。但し、この教師付き学習の精度を高めるために、予め教示されるべきラベルの正確性は重要である。ラベルの付加を誤って行えば、評価時に正確な認識率を算出することができなくなり、結果として誤った評価をしてしまう。また、学習時では学習データに誤ったラベルが含まれることにより、適切なモデルを生成することができず、認識性能を落としてしまうことがある。よって、正確にラベルを付加することは重要である。

ラベルを付加する際の主な手法として、手動でラベルを付加する手法と自動でラベルを付加する手法との２種類がある。非特許文献１には、手動でラベルを付加する手法が開示されている。非特許文献１に開示される手法においては、手動でラベルを付加することでラベルの信頼度は増すが、非常に手間がかかり、コストがかかる。

非特許文献２には、自動でデータセットを作成する手法が開示されている。即ち、非特許文献２に開示される手法では、予めラベルが付加されたデータを学習データとして利用し、Nearest Neighborを用いてデータを分類し、分類したデータにラベルを付加してデータセットを作成する。ここでNearest Neighborとは、特徴空間上で距離の近いデータに、学習データの代表点に近いデータのラベルを自動で付加する手法である。

Caltech-101/256、インターネット＜URL：http://www.vision.caltech.edu/Image_Datasets/Caltech101/＞ Yanai K. :Generic Image Classification Using Visual Knowledge on the Web, Proc. ACM International Conference Multimedia, pp.67-76 (2003).

しかしながら、非特許文献２に開示される手法では、手動でラベルを付加する手間を省くことができるが、ラベルの付加の際に使用される識別装置次第で性能が劣化し、手動でラベルを付加する手法と比べると、付加されるラベルの精度が落ちる。

ここで、ラベルを付加する際の評価基準について説明する。一般的な物体認識のように対象となる物体をカテゴリで認識する場合、当該物体に合わせて適切な名前を決定することは容易である。例えば、トラの画像に対してはトラのラベルが付加され、サルの画像に対してはサルのラベルが付加されるが、サルかトラかの微妙な判定に迷うことはない。ところが、外観検査における部品の画像を対象とした良否判定や身体の画像を対象とした病変有無の判定では、ラベルを付加すべき各状態に対してラベルに対応する値が連続で変化することから、ラベルを決定するのは容易ではない。また、手動でラベルを付加する手法を用いても、多数のデータに対してラベルを順次付加していくにつれて判定基準が変わり、誤ったラベルを判定してしまうこともある。

そこで、本発明の目的は、精度の高い効率的なラベリングを行うことにある。

本発明のラベル付加装置は、複数の画像から取得された特徴量に基づいて、複数の画像を複数のクラスタに分類する分類手段と、前記クラスタ毎に、前記クラスタに分類された画像のうちの少なくとも一つの画像を表示装置に表示させる表示制御手段と、前記表示装置に表示された画像に対するラベルの指定を受け付ける受付手段と、前記受付手段により指定を受け付けたラベルを、前記表示装置に表示された画像と同一クラスタ内に分類された画像に対して付加する付加手段と、前記付加手段により第１のラベルが付加された画像に基づいて、前記第１のラベルと異なる第２のラベルが付加された画像へのラベルの付加が妥当でない可能性があるかを判断する判断手段と、前記判断手段の結果を出力する出力手段と、を有することを特徴とする。

本発明によれば、精度の高い効率的なラベリングが可能となる。

本発明の実施形態に係るラベル付加システムの構成を示す図である。 表示装置における画面の表示例に示す図である。 本発明の第１の実施形態に係るラベル付加装置の処理を示すフローチャートである。 Haar Wavelet変換を概略的に示す図である。 本発明の第２の実施形態に係るラベル付加装置の処理を示すフローチャートである。 本発明の第３の実施形態に係るラベル付加装置の処理を示すフローチャートである。 図６のステップＳ６０６における再クラスタリング処理の詳細を示すフローチャートである。 本発明の第４の実施形態に係るラベル付加装置の処理を示すフローチャートである。 同じラベルが付加されたクラスタとの距離と異なるラベルが付加されたクラスタとの距離とを説明するための図である。 同じラベルが付加されたクラスタとの距離より小さい値の、異なるラベルが付加されたクラスタの代表画像データの表示例を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係るラベル付加システムの構成を示す図である。図１において、１０１は、ラベル付加装置である。ラベル付加装置１０１は、ＣＰＵ（セントラルプロセッシングユニット）１０１１、ＲＡＭ（ランダムアクセスメモリ）１０１２及びＨＤＤ（ハードディスクドライブ）１０１３を備える。なお、ＨＤＤ１０１３には、ＣＰＵ１０１１によって実行されるコンピュータプログラムが格納されており、ＣＰＵ１０１１は、必要に応じてＨＤＤ１０１３からＲＡＭ１０１２にコンピュータプログラムを読み込んで実行する。

１０２は、画像データ入力装置である。画像データ入力装置１０２は、画像データを入力し、ラベル付加装置１０１に対して出力する。ラベル付加装置１０１は、画像データ入力装置１０２から入力した画像データに対してラベルを付加する。１０３は、モニタ等から構成され、ラベルが付加される前の画像データやラベルが付加された後の画像データを表示する表示装置１０３である。

図２は、表示装置１０３における画面の表示例に示す図である。図２において、２０１は、ラベルが付加された画像データを表示する代表画像データ表示領域である。オペレータは、ラベルが付加された画像データを代表画像データ表示領域２０１上で確認することができる。オペレータは、画像データに対してラベルを付加する際に、新たなラベルを今回付加すべきか、今まで付加されたラベルから今回付加すべきラベルを選択するかを判断する。２０３は、今まで付加された各ラベルに対応する画像データを表示する対応代表画像データ表示領域である。オペレータは、今までどのようなラベルが付加されてきたのかを対応代表画像データ表示領域２０３上で確認することができる。２０２は、対応代表画像データ表示領域２０３に対応して設けられたラベル選択ボタンである。オペレータは、対応代表画像データ表示領域２０３から所望のラベルを選択する際、該当するラベル候補ボタンを操作する。

図３は、第１の実施形態に係るラベル付加装置１０１の処理を示すフローチャートである。図３に示す処理は、ＣＰＵ１０１１がＨＤＤ１０１３から必要なプログラム及びデータをＲＡＭ１０１２に読み込んで実行することにより実現する処理である。以下、図３を参照しながら、ラベル付加装置１０１の処理について説明する。

ステップＳ３０１において、ラベル付加装置１０１は、画像データ入力装置１０２から入力された各画像データについて特徴量を算出する。ここで算出される特徴量としては、複数の統計的特徴量やＨＯＧといった高次元の特徴量等が挙げられる。なお、ＨＯＧは、輝度の勾配をヒストグラムで表した特徴量である。ＨＯＧの詳細については下記の文献を参照されたい。
（文献）Navneet D.: Histograms of Oriented Gradients for Human Detection, Proc. CVPR 2005.

複数の統計的特徴量を算出する際には、画像データに対してHaar Wavelet変換が施されることにより、階層的に画像データが生成される。なお、Haar Wavelet変換は、位置情報を保持したまま周波数変換を行うことが可能な処理である。図４は、Haar Wavelet変換を概略的に示す図である。

Haar Wavelet変換においては、先ず画像データに対して４種類のフィルタ４０１〜４０４が用意される。一つ目のフィルタは縦方向高周波成分フィルタ４０１である。二つ目のフィルタは対角方向高周波成分フィルタ４０２である。三つ目のフィルタは低周波成分フィルタ４０３である。四つ目のフィルタは横方向高周波成分フィルタ４０４である。

そして、画像データの２×２の領域に対して上記フィルタで内積がとられる。２×２の領域を重ね合わせることなく移動させて、解像度が２分の１になるように、縦方向高周波成分画像データ４０５、対角方向高周波成分画像データ４０６、低周波成分画像データ４０７、及び、横方向高周波成分画像データ４０８の４種類の画像データが生成される。この際、解像度は２分の１となるため、画像データのサイズは２のｎ乗に設定しておくのが好ましい。算出された低周波成分画像データ４０７に対して上記４種類のフィルタ４０１〜４０４を用いてフィルタリングが施され、さらに解像度が２分の１となるような、次の階層に当たる縦方向高周波成分画像データ４０５、対角方向高周波成分画像データ４０６、低周波成分画像データ４０７、及び、横方向高周波成分画像データ４０８の４種類の画像データが生成される。さらに低周波成分画像データ４０７に対してフィルタリングが施され続けることにより、階層的に画像データが生成される。ここでは、１階層から７階層までの２８種類の画像データに原画像データを加えた２９種類の画像データが生成される。

次に、生成された２９種類の画像データそれぞれから、全画素値の最大値、平均、分散、尖度、歪度及び相乗平均といった６種類のマクロな特徴量が算出される。次の式１は、画素値の最大値をマクロな特徴量として算出する方法を示している。式２は、画素値の平均をマクロな特徴量として算出する方法を示している。式３は、画素値の分散をマクロな特徴量として算出する方法を示している。式４は、画素値の尖度をマクロな特徴量として算出する方法を示している。式５は、画素値の歪度をマクロな特徴量として算出する方法を示している。式６は、画素値の相乗平均をマクロな特徴量として算出する方法を示している。但し、画像データのサイズは縦ａ画素、横ｂ画素であり、画像データの縦ｉ番目、横ｊ番目の画素値をｐ（ｉ，ｊ）と表記している。

以上のように、Haar Wavelet変換が行われていない原画像データと、Haar Wavelet変換によって生成された各階層の画像データとの２９種類の画像データから、式１〜式６によって特徴量が算出される。このように２９種類の画像データからマクロな特徴量が６種類ずつ算出されるため、画像データ入力装置１０２から入力された各画像データについて、２９×６＝１７４種類（以下、Ｎ種類とする）の特徴量が算出されることになる。

但し、次元数が多くなることにより、認識精度が落ちる次元の呪いと呼ばれる現象が生じることがあるため、Ｎ種類の特徴量が適当であるか否かは特徴選択を用いて評価してもよい。特徴選択には、大きく分けてラッパー法とフィルタ法との２種類が存在する。ラッパー法とは、訓練データを訓練用と評価用とに分け、認識結果が最もよくなるような特徴量が決定される。一般的に、ラッパー法では、最適な特徴量を求めることができるが、画像識別処理が行われるため、特徴量を選択するのに膨大な計算時間がかかる。一方、フィルタ法とは、特徴量一つ一つに対し、どれだけデータを分類することができるかを定量的に評価し、評価が高い特徴量から順に選択する方法である。例えば２クラス問題の場合、ベイズ誤り確率推定値が求められる。ここで２つのクラスをｗ₁、ｗ₂とし、特徴の値をｘとするとき、ｘがｗ₁、ｗ₂に属する確率をそれぞれＰ（ｗ₁｜ｘ）、Ｐ（ｗ₂｜ｘ）と表す。ここで、ベイズ誤り確率推定値は次の式７で表され、ベイズ誤り確率推定値が低いほどよい。

なお、ここでは２クラス問題の場合について説明したが、ベイズ誤り確率推定値は多クラスについても適用可能である。ラッパー法に比べて計算時間はかからないが、最適な特徴量が算出されにくい。本実施形態においては、特徴選択を用いず、Ｎ種類の特徴量を全て用いるものとする。

ステップＳ３０２において、ラベル付加装置１０１は、ステップＳ３０１にて算出した特徴量に基づいて各画像データをクラスタリングし、クラスタ毎に代表画像データを決定する。ここで、画像データのクラスタリング処理の前段において、Ｎ種類の特徴量の分布に偏りが生じないように、それぞれの特徴量の標準偏差で正規化され、Ｎ次元の特徴空間上に画像データが分類される。そして、画像データのクラスタリング処理が実行されるが、クラスタリング処理の手法としてはどの手法を用いてもよい。以下では、k-means法を用いた場合について説明する。k-means法とは、特徴量のユークリッド距離が最も近いクラスタに画像データを分類する手法である。具体的には、先ずｋ個のクラスタに画像データがランダムに分類される。そして、各クラスタ内の画像データの特徴量の平均値が求められ、各画像データについて、当該画像データの特徴量からユークリッド距離が最も近い特徴量の平均値を持つクラスタに対して当該画像データが再分類される。この再分類がなされなくなったときに、クラスタリング処理が完了する。また、クラスタ毎の代表画像データを決定する際には、ラベル付加装置１０１は、画像データをクラスタリングした結果、各クラスタ内における画像データの特徴量の平均値に最も近い特徴量の画像データを代表画像データとして決定する。

ステップＳ３０３において、ラベル付加装置１０１は、ステップＳ３０２にて決定した代表画像データを表示装置１０３に表示させる。ステップＳ３０４において、ラベル付加装置１０１は、ステップＳ３０３にて表示装置１０３で表示された代表画像データに付加されるラベルの指定をオペレータから受け付け、当該ラベルを代表画像データに付加する。なお、オペレータからの指定に応じてラベルを付加する他、遠隔監視システム又はコンピュータプログラムによって自動的にラベルを付加するようにしてもよい。これにより、図２の代表画像データ表示領域２０１においてラベルが付加された代表画像データが表示される。なお、ステップＳ３０３は、表示制御手段の処理例であり、ステップＳ３０４は、受付手段の処理例である。

ステップＳ３０５において、ラベル付加装置１０１は、ステップＳ３０４においてラベルが付加された代表画像データと同一クラスタ内の全ての画像データに対して、代表画像データと同じラベルを付加する。

第１の実施形態においては、代表画像データに対してラベルを付加することにより、代表画像データと同一クラスタ内の全ての画像データに同じラベルが自動的に付加される。ところで、クラスタ数ｋが減少するにつれて、画像データに対して誤ったラベルが付加される可能性が高くなる。従って、クラスタ数ｋは、各クラスタに分類される画像データをオペレータが容易に確認することができる程度の値に設定することが好ましい。

第１の実施形態によれば、画像データに対して自動でラベリングを行うことにより、手動でラベリングするに比べて手間が省け、精度の高い効率的なラベリングが可能となる。

次に、第２の実施形態について説明する。第２の実施形態では、同一のクラスタに分類された画像データであるが、代表画像データの特徴量からユークリッド距離から離れている特徴量の画像データであるため、当該画像データに誤ったラベルが付加されてしまうことを防止する方法について説明する。

図５は、第２の実施形態に係るラベル付加装置の処理を示すフローチャートである。以下、図５を参照しながら、第２の実施形態に係るラベル付加装置の処理について説明する。なお、図５におけるステップＳ３０１〜Ｓ３０４は、図３におけるステップＳ３０１〜Ｓ３０４と同じ処理である。即ち、ステップＳ３０４の処理を終えた時点で、クラスタ毎に画像データが分類され、各クラスタの代表画像データに対してラベルが付加されている。また、第２の実施形態に係るラベル付加装置は、図１に示した第１の実施形態に係るラベル付加装置の構成と同様であるため、図１の符号を用いて第２の実施形態を説明するものとする。図５に示す処理は、ＣＰＵ１０１１がＨＤＤ１０１３から必要なプログラム及びデータをＲＡＭ１０１２に読み込んで実行することにより実現する処理である。

ステップＳ５０５において、ラベル付加装置１０１は、或るクラスタ内の画像データの平均ベクトルｍと標準偏差σとを算出する。ステップＳ５０６において、ラベル付加装置１０１は、クラスタ内の或る画像データについて、平均ベクトルｍからの距離が所定の閾値（ここでは、３σ）未満であるか否かを判定する。平均ベクトルｍからの距離が所定の閾値未満である場合、処理はステップＳ５０７に移行する。一方、平均ベクトルｍからの距離が所定の閾値以上である場合、処理はステップＳ５０８に移行する。

ステップＳ５０７において、ラベル付加装置１０１は、画像データに対して代表画像データと同じラベルを付加する。そして、処理はステップＳ５１１に移行する。ステップＳ５０８において、ラベル付加装置１０１は、画像データを表示装置１０３に表示させる。オペレータは、画像データを表示装置１０３で確認した上で、その画像データに対して代表画像データと同じラベルを付加すると判断した場合、ラベル付加装置１０１に対してその旨を指示する。

ステップＳ５０９において、ラベル付加装置１０１は、代表画像データと同じラベルを付加する指示があったか否かを判定する。代表画像データと同じラベルを付加する指示があった場合、処理はステップＳ５１０に移行する。一方、代表画像データとは異なるラベルを付加する指示があった場合、処理はステップＳ５１３に移行する。ステップＳ５１０において、ラベル付加装置１０１は、代表画像データと同じラベルを画像データに対して付加する。そして、処理はステップＳ５１１に移行する。ステップＳ５１３において、ラベル付加装置１０１は、オペレータの指示に応じたラベルを画像データに対して付加する。そして、処理はステップＳ５１１に移行する。

ステップＳ５１１において、ラベル付加装置１０１は、クラスタ内の全ての画像データについてステップＳ５０６以降の処理を実行したか否かを判定する。全ての画像データについてステップＳ５０６以降の処理を実行した場合、処理はステップＳ５１２に移行する。一方、ステップＳ５０６以降の処理を実行していない画像データが存在する場合、処理はステップＳ５０６に戻り、残りの画像データについて処理が実行される。ステップＳ５１２において、ラベル付加装置１０１は、全てのクラスタについてステップＳ５０５以降の処理を実行したか否かを判定する。全てのクラスタについてステップＳ５０５以降の処理を実行した場合、処理は終了する。一方、ステップＳ５０５以降の処理を実行していないクラスタが存在する場合、処理はステップＳ５０５に戻る。ここでは、ステップＳ５０６の判定処理に用いられる閾値を３σとしたが、この閾値はオペレータの指示に応じて任意の値に変更することが可能な値である。

以上により、第２の実施形態においては、同一のクラスタに分類された画像データであるが、代表画像データの特徴量からユークリッド距離から離れている特徴量の画像データであるため、当該画像データに誤ったラベルが付加されてしまうことを防止することができる。

次に、本発明の第３の実施形態について説明する。第３の実施形態は、画像データが分類されたクラスタ数が比較的少なく、同一クラスタ内に様々なラベルが付加された画像データが存在する場合、再クラスタリング処理を実行することにより、画像データを適切に分類する方法について説明する。

図６は、本発明の第３の実施形態に係るラベル付加装置の処理を示すフローチャートである。以下、図６を参照しながら、第３の実施形態に係るラベル付加装置の処理について説明する。なお、図６におけるステップＳ３０１及びＳ３０２は、図３のステップＳ３０１及びＳ３０２と同様の処理である。即ち、ステップＳ３０２の処理を終えた時点で、クラスタ毎に画像データが分類されている。但し、本実施形態においては、画像データ入力装置１０２からラベル付加装置１０１に入力される各画像データにはラベルが付加されているものとする。従って、ステップＳ３０２においてクラスタ毎に分類された画像データにもラベルが付加されている。なお、第３の実施形態に係るラベル付加装置は、図１に示した第１の実施形態に係るラベル付加装置の構成と同様であるため、図１の符号を用いて第３の実施形態を説明するものとする。図６に示す処理は、ＣＰＵ１０１１がＨＤＤ１０１３から必要なプログラム及びデータをＲＡＭ１０１２に読み込んで実行することにより実現する処理である。

ステップＳ６０３において、ラベル付加装置１０１は、或るクラスタから画像データをランダムにＭ個抽出する。ステップＳ６０４において、ラベル付加装置１０１は、抽出したＭ個の画像データを表示装置１０３に表示させる。オペレータは、表示装置１０３に表示された画像データを確認することにより、Ｍ個の画像データに対して同一のラベルが付加されているか否かを判断し、その判断結果をラベル付加装置１０１に対して入力する。このとき、オペレータが確認する画像データの個数であるＭ個の値が大きい場合、オペレータの判断基準がゆらぐ虞があるため、Ｍ＝設定すべきラベルの数＋５程度に設定されることが好ましい。

ステップＳ６０５において、ラベル付加装置１０１は、表示された全て（Ｍ個）の画像データには同一のラベルが付加されていることが入力されたか否かを判定する。同一のラベルがＭ個の付加されていることが入力された場合、処理はステップＳ６０８に移行する。一方、表示された画像データのうちの一部の画像データに異なるラベルが付加されていることが入力された場合、処理はステップＳ６０６に移行する。なお、一部の画像データに異なるラベルが付加されていることが入力される際には、どの画像データに対して異なるラベルが付加されているのかもオペレータによって入力される。

ステップＳ６０６において、ラベル付加装置１０１は、異なるラベルが付加された画像データが他のクラスタに分類されるように、再クラスタリング処理を行う。なお、再クラスタリング処理の詳細については後述する。ステップＳ６０７において、ラベル付加装置１０１は、再クラスタリング処理によって生成された或るクラスタからＭ個の画像データをランダムに抽出する。このとき、既に抽出された画像データが再び抽出されてもよい。そして、処理はステップＳ６０４に戻る。即ち、本実施形態においては、同一クラスタ内に異なるラベルが付加された画像データが存在しなくなるまで、ステップＳ６０６の再クラスタリング処理が繰り返し実行される。

ステップＳ６０８において、ラベル付加装置１０１は、画像データに付加されているラベルが確認されていないクラスタが存在するか否かを判定する。ラベルが確認されていないクラスタが存在する場合、処理はステップＳ６０９に移行する。一方、全てのクラスタについてラベルが確認された場合、処理は終了する。

ステップＳ６０９において、ラベル付加装置１０１は、ラベルが確認されていないクラスタのうちの或るクラスタからＭ個の画像データをランダムに抽出する。このとき、既に抽出された画像データが再び抽出されてもよい。そして、処理はステップＳ６０４に戻る。

図７は、図６のステップＳ６０６における再クラスタリング処理の詳細を示すフローチャートである。以下、図７を参照しながら、図６のステップＳ６０６における再クラスタリング処理について詳細に説明する。

ここでは、対象のクラスタ内にＬ（Ｌ＞Ｍ）個の画像データが存在しているものとする。ステップＳ７０１において、ラベル付加装置１０１は、クラスタ一つあたりに画像データが一つ分類される状態に設定する。ここではＬ個の画像データが存在するため、Ｌ個のクラスタを持つ状態に設定される。

ステップＳ７０２において、ラベル付加装置１０１は、異なるクラスタに存在する画像データ１（ｘ１）と画像データ２（ｘ２）との間のユークリッド距離ｄ（ｘ１，ｘ２）が最も近いクラスタ同士を逐次併合する。

ステップＳ７０３において、ラベル付加装置１０１は、ステップＳ６０５において指定された異なるラベルが付加された画像データを含むクラスタが併合される前に、クラスタの併合処理を中断する。その後、再クラスタリング処理の結果をオペレータに確認させるために、処理はステップＳ６０７に移行する。

以上により、第３の実施形態においては、同一クラスタ内に様々なラベルが付加された画像データが存在する場合、再クラスタリング処理を実行することにより、画像データを適切に分類することができる。

次に、本発明の第４の実施形態について説明する。第４の実施形態では、例えばクラスタ数が多めに設定される等の理由により、オペレータの評価基準にゆらぎが生じ、付加されているラベルに誤りが生じている可能性のある画像データを再表示し、オペレータに確認させる方法について説明する。

図８は、本発明の第４の実施形態に係るラベル付加装置の処理を示すフローチャートである。以下、図８を参照しながら、第４の実施形態に係るラベル付加装置の処理について説明する。なお、図８におけるステップＳ３０１〜Ｓ３０５は、図３のステップＳ３０１〜Ｓ３０５と同様の処理である。即ち、ステップＳ３０５の処理を終えた時点で、クラスタ毎に画像データが分類され、各クラスタ内の画像データには代表画像データと同一のラベルが付加されている。なお、第４の実施形態に係るラベル付加装置は、図１に示した第１の実施形態に係るラベル付加装置の構成と同様であるため、図１の符号を用いて第４の実施形態を説明するものとする。図８に示す処理は、ＣＰＵ１０１１がＨＤＤ１０１３から必要なプログラム及びデータをＲＡＭ１０１２に読み込んで実行することにより実現する処理である。

ステップＳ８０３において、ラベル付加装置１０１は、各クラスタの代表画像データに対応する特徴空間上の点を代表点として決定する。ステップＳ８０４において、ラベル付加装置１０１は或るクラスタを設定する。ステップＳ８０５において、ラベル付加装置１０１は、ステップＳ８０４で設定したクラスタの代表点と、クラスタと同じラベルが付加された他のクラスタの代表点とのユークリッド距離を全て算出する。そして、図９に示すように、ラベル付加装置１０１は、算出したユークリッド距離のうち、最も値が大きい（最も離れている）ユークリッド距離を第１の距離ｄ１として設定する。

ステップＳ８０６において、ラベル付加装置１０１は、ステップＳ８０３で設定したクラスタの代表点と、当該クラスタと異なるラベルが付加された他のクラスタの代表点とのユークリッド距離を全て算出する。そして、図９に示すように、ラベル付加装置は、ここで算出された各ユークリッド距離を第２の距離ｄ２（１）、ｄ２（２）、・・・として設定する。

ステップＳ８０７において、ラベル付加装置１０１はｄ１とｄ２（ｄ２（１）、ｄ２（２）、・・・）とを比較する。そして、ラベル付加装置１０１は、ｄ１より小さい値のｄ２に該当するクラスタの代表画像データを表示装置１０３に表示させる。このように、ラベル付加装置１０１は、ｄ１より小さい値のｄ２に該当するクラスタの代表画像データを表示させ、オペレータに確認させることにより、当該代表画像データに対して付加されているラベルの妥当性を判断させる。

ステップＳ８０８において、ラベル付加装置１０１は、全てのクラスタについてステップＳ８０４以降の処理を実行したか否かを判定する。全てのクラスタについてステップＳ８０４以降の処理を実行した場合、処理は終了する。一方、全てのクラスタについてステップＳ８０４以降の処理を実行していない場合、処理はステップＳ８０４に戻り、残りのクラスタについてステップＳ８０４以降の処理が実行される。

図１０は、ｄ１より小さい値のｄ２に該当するクラスタの代表画像データの表示例を示す図である。図１０に示すように、オペレータによって当該代表画像データにはラベル４が付加されているが、ステップＳ８０４において設定されたクラスタと同じラベル（ラベル１）の方が適切である可能性があることが通知される。

第４の実施形態においては、例えばクラスタ数が多めに設定される等の理由により、オペレータの評価基準にゆらぎが生じ、付加されているラベルに誤りが生じた場合でも、その可能性がある代表画像データを再表示させ、オペレータに確認させることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：ラベル付加装置、１０２：画像データ入力装置、１０３：表示装置、１０１１：ＣＰＵ、１０１２：ＲＡＭ、１０１３：ＨＤＤ

Claims (12)

1. 複数の画像から取得された特徴量に基づいて、複数の画像を複数のクラスタに分類する分類手段と、
   前記クラスタ毎に、前記クラスタに分類された画像のうちの少なくとも一つの画像を表示装置に表示させる表示制御手段と、
   前記表示装置に表示された画像に対するラベルの指定を受け付ける受付手段と、
   前記受付手段により指定を受け付けたラベルを、前記表示装置に表示された画像と同一クラスタ内に分類された画像に対して付加する付加手段と、
   前記付加手段により第１のラベルが付加された画像に基づいて、前記第１のラベルと異なる第２のラベルが付加された画像へのラベルの付加が妥当でない可能性があるかを判断する判断手段と、
   前記判断手段の結果を出力する出力手段と、
   を有することを特徴とするラベル付加装置。
2. 前記出力手段は、前記判断手段により前記第２のラベルが付加された画像へのラベルの付加が妥当でない可能性があると判断された画像と、ユーザに前記第２のラベルを確認させるための報知情報とを出力することを特徴とする請求項１に記載のラベル付加装置。
3. 前記判断手段は、更に、前記第１のラベルが付加された画像が分類された第１のクラスタと、前記第２のラベルが付加された画像が分類された第２のクラスタとの間の距離が、前記第１のクラスタと、前記第１のクラスタ以外のクラスタであって、前記第１のラベルが付加された画像が分類された第３のクラスタとの間の距離よりも小さい場合に、前記第２のラベルが付加された画像へのラベルの付加が妥当でない可能性があると判断することを特徴とする請求項１又は２に記載のラベル付加装置。
4. 複数の画像から取得された特徴量に基づいて、前記複数の画像を複数のクラスタに分類する分類手段と、
   前記複数のクラスタの一つに分類された画像のうちの少なくとも一つの画像を表示装置に表示させる表示制御手段と、
   前記表示装置に表示された画像に対するラベルの指定を受け付ける受付手段と、
   前記表示装置に表示された画像の特徴量と、前記表示された画像と同一クラスタに分類された他の画像の特徴量とに基づき決定される距離に基づいて、前記他の画像に対するラベルを付加する付加手段と、
   を有することを特徴とするラベル付加装置。
5. 前記付加手段は、前記距離が所定の値よりも小さい場合には、前記指定を受け付けたラベルを前記他の画像に付加することを特徴とする請求項４に記載のラベル付加装置。
6. 前記付加手段は、
   前記距離が所定の値よりも大きい場合には、前記他の画像を前記表示装置に表示させるように前記表示制御手段を制御し、
   前記他の画像に対するラベルの指定を受け付けるように前記受付手段を制御し、
   前記他の画像に対して受け付けたラベルを、前記他の画像に付加することを特徴とする請求項４又は５に記載のラベル付加装置。
7. ラベルが付加された複数の画像から取得された特徴量に基づいて、前記複数の画像を複数のクラスタに分類する分類手段と、
   前記複数のクラスタの一つに分類された画像のうちの少なくとも一つの画像を表示装置に表示させる表示制御手段と、
   前記表示装置に表示された画像のうち、前記クラスタ内の他の画像とは異なるラベルが付加されている画像の指定を受け付ける受付手段と、
   前記受付手段により指定を受け付けた画像を、前記他の画像とは異なるクラスタに再分類する再分類手段と、
   を有することを特徴とするラベル付加装置。
8. 前記再分類手段は、クラスタ一つあたりに所定の数の画像データを分類し、最も距離が近いクラスタ同士を併合していく併合処理を実行し、前記異なるラベルが付加されている画像が分類されたクラスタを併合する前に、前記併合処理を中断することを特徴とする請求項７に記載のラベル付加装置。
9. ラベル付加装置によって実行されるラベル付加方法であって、
   複数の画像から取得された特徴量に基づいて、複数の画像を複数のクラスタに分類する分類ステップと、
   前記クラスタ毎に、前記クラスタに分類された画像のうちの少なくとも一つの画像を表示装置に表示させる表示制御ステップと、
   前記表示装置に表示された画像に対するラベルの指定を受け付ける受付ステップと、
   前記受付ステップにより指定を受け付けたラベルを、前記表示装置に表示された画像と同一クラスタ内に分類された画像に対して付加する付加ステップと、
   前記付加ステップにより第１のラベルが付加された画像に基づいて、前記第１のラベルと異なる第２のラベルが付加された画像へのラベルの付加が妥当でない可能性があるかを判断する判断ステップと、
   前記判断ステップの結果を出力する出力ステップと、
   を含むことを特徴とするラベル付加方法。
10. ラベル付加装置によって実行されるラベル付加方法であって、
    複数の画像から取得された特徴量に基づいて、前記複数の画像を複数のクラスタに分類する分類ステップと、
    前記複数のクラスタの一つに分類された画像のうちの少なくとも一つの画像を表示装置に表示させる表示制御ステップと、
    前記表示装置に表示された画像に対するラベルの指定を受け付ける受付ステップと、
    前記表示装置に表示された画像の特徴量と、前記表示された画像と同一クラスタに分類された他の画像の特徴量とに基づき決定される距離に基づいて、前記他の画像に対するラベルを付加する付加ステップと、
    を含むことを特徴とするラベル付加方法。
11. ラベル付加装置によって実行されるラベル付加方法であって、
    ラベルが付加された複数の画像から取得された特徴量に基づいて、前記複数の画像を複数のクラスタに分類する分類ステップと、
    前記複数のクラスタの一つに分類された画像のうちの少なくとも一つの画像を表示装置に表示させる表示制御ステップと、
    前記表示装置に表示された画像のうち、前記クラスタ内の他の画像とは異なるラベルが付加されている画像の指定を受け付ける受付ステップと、
    前記受付ステップにより指定を受け付けた画像を、前記他の画像とは異なるクラスタに再分類する再分類ステップと、
    を含むことを特徴とするラベル付加方法。
12. コンピュータを、請求項１乃至８の何れか１項に記載のラベル付加装置の各手段として機能させるためのプログラム。

Images