以下、実施形態について、図面を用いて説明する。以下では、画像そのもの、および画像を表示するための画像データは、特に区別せずに、画像と称される。
図1は、閾値設定支援装置、閾値設定支援方法および閾値設定支援プログラムの一実施形態を示す。図1に示す閾値設定支援装置10は、例えば、検査の対象物を撮像装置80で撮像することにより得られる画像IMGを解析して対象物を分別する選別システム1に含まれる。選別システム1は、閾値設定支援装置10に通信可能に接続される撮像装置80および表示装置90を有する。例えば、食品等の対象物を良品と不良品とに分別する選別システム1には、画像IMGから抽出される対象物の特徴を表す特徴量が示す値が良品を示すか不良品を示すかを分別するための閾値が予め設定される。撮像装置80は、例えば、デジタルカメラ等であり、表示装置90は、閾値を選別システム1に設定する際に参照される画像IMGを表示するディスプレイ等である。
閾値設定支援装置10は、例えば、検査員等のオペレータが閾値を選別システム1に設定する際に、閾値の設定を容易にするための閾値設定支援処理を実行する。例えば、閾値設定支援装置10は、CPU(Central Processing Unit)等のプロセッサを含み、抽出部20、分類部30、選択部40および表示部50の機能を実現するための閾値設定支援プログラムをプロセッサが実行することで、閾値設定支援処理を実行する。なお、閾値設定支援装置10は、ハードウェアのみで実現されてもよい。例えば、抽出部20、分類部30、選択部40および表示部50は、ハードウェアのみで実現されてもよい。図1の括弧内に、閾値設定支援方法の概要の一例を示す。
閾値設定支援装置10は、抽出部20、分類部30、選択部40および表示部50を有する。抽出部20は、例えば、対象物が撮像された複数の画像IMG(IMG1−IMG12)を撮像装置80から受け、対象物を含む複数の画像IMGから、対象物の特徴を表す複数種の特徴量を抽出する。図1に示す例では、抽出部20は、対象物の特徴を表す複数種の特徴量として、対象物の円形度、面積等の形状特徴、輝度等を複数の画像IMG毎に抽出する。そして、抽出部20は、画像IMGから抽出した複数種の特徴量を示す情報および画像IMG等を図示しないメモリ等の記憶装置に格納する。
分類部30は、抽出部20で抽出された複数種の特徴量のうち、対象物を分別するための閾値が設定される第1の特徴量に基づいて、複数の画像IMGを複数のクラスタに分類する。例えば、第1の特徴量が円形度の場合、分類部30は、対象物の円形度、面積、輝度のうち、円形度に基づいて、複数の画像IMGを複数のクラスタに分類する。図1に示す例では、分類部30は、画像IMG1−IMG12を、円形度が“0.85”のクラスタと、円形度が“0.90”のクラスタと、円形度が“0.95”のクラスタと、円形度が“1”のクラスタとの4つのクラスタに分類する。
例えば、分類部30は、画像IMG1、IMG2、IMG3を円形度“0.85”のクラスタに分類し、画像IMG4、IMG5を円形度“0.90”のクラスタに分類する。また、分類部30は、画像IMG6、IMG7、IMG8を円形度“0.95”のクラスタに分類し、画像IMG9、IMG10、IMG11、IMG12を円形度“1”のクラスタに分類する。
選択部40は、例えば、対象物の円形度、面積、輝度のうちの円形度以外の面積および輝度に基づいて、画像IMGを6つのグループG(G1−G6)に分ける。この場合、面積および輝度は、複数種の特徴量のうちの第2の特徴量の一例である。図1に示す例では、画像IMGから抽出された対象物の面積は、予め決められた第1の面積未満の場合、小面積に区分され、第1の面積以上で予め決められた第2の面積未満の場合、中面積に区分され、第2の面積以上の場合、大面積に区分される。また、画像IMGから抽出された対象物の輝度は、所定の輝度値以上の場合、高輝度に区分され、所定の輝度値未満の場合、低輝度に区分される。グループG1−G6は、面積の3つの区分と輝度の2つの区分との組み合わせのいずれかに対応する。なお、面積の区分数および輝度の区分数は、図1に示す例に限定されない。
画像IMGは、面積と輝度とに応じて分類された6つのグループG1−G6のいずれかに属する。グループG1、G3は、画像IMGを含むクラスタを1つ含み、グループG2、G4、G6は、画像IMGを含むクラスタを2つ含み、グループG5は、画像IMGを含むクラスタを4つ含む。
例えば、グループG2は、画像IMGから抽出された対象物の面積および輝度がそれぞれ小面積および低輝度である特徴を有する画像IMGのグループGであり、画像IMG3、IMG11を含む。すなわち、画像IMG3、IMG11は、複数のクラスタ間で共通の特徴(小面積で低輝度)を有する画像IMGである。換言すれば、小面積で低輝度を示す特徴は、互いに異なるクラスタに分類された画像IMG3、IMG11で共通する特徴である。
また、例えば、グループG5は、画像IMGから抽出された対象物の面積および輝度がそれぞれ大面積および高輝度である特徴を有する画像IMGのグループGであり、画像IMG1、IMG4、IMG8、IMG9を含む。すなわち、互いに異なるクラスタに属する画像IMG1、IMG4、IMG8、IMG9は、複数のクラスタ間で共通の特徴(大面積で高輝度)を有する画像IMGである。換言すれば、大面積で高輝度を示す特徴は、互いに異なるクラスタに分類された画像IMG1、IMG4、IMG8、IMG9で共通する特徴である。
選択部40は、複数のクラスタ間で共通の特徴を有する画像IMGのグループGとして、グループG2、G4、G5、G6を抽出する。そして、選択部40は、グループG2、G4、G5、G6のうち、画像IMGを含むクラスタの数が最も多いグループG5を、表示グループG5として選択する。
このように、選択部40は、複数のクラスタに分類した画像IMGのうち、複数のクラスタ間で共通の特徴を有する画像IMGを、複数種の特徴量のうちの第2の特徴量に基づいて抽出する。そして、選択部40は、複数のクラスタ間で共通の特徴を有する画像IMGのグループGの少なくとも1つを、表示グループGとして選択する。
表示部50は、例えば、選択部40により選択された表示グループG5に属する画像IMG1、IMG4、IMG8、IMG9を、円形度の値順に並べて表示装置90に表示する。このように、表示部50は、表示グループGに属する画像IMGを、第1の特徴量を示す値に基づいて並べて表示する。
表示装置90に表示された画像IMG1、IMG4、IMG8、IMG9は、例えば、オペレータの指示により、良品が撮像された良品画像と不良品が撮像された不良品画像とに分けられる。以下、良品画像および不良品画像には、画像と同じ符号を使用する。
例えば、オペレータは、画像IMG1−IMG12のうち、表示装置90に表示された画像IMG1、IMG4、IMG8、IMG9を目視で確認し、表示装置90に表示された画像IMG1、IMG4、IMG8、IMG9から良品画像IMGを選択する。そして、閾値設定支援装置10等は、画像IMG1、IMG4、IMG8、IMG9のうちの良品画像IMGの円形度の範囲に基づいて、円形度の閾値を設定する。例えば、円形度“0.90”のクラスタに含まれる画像IMG4と円形度“0.95”のクラスタに含まれる画像IMG8と円形度“1”のクラスタに含まれる画像IMG9とが良品画像IMGとして選択された場合、円形度の閾値は、“0.90”に設定される。この場合、円形度が“0.90”未満の対象物は不良品に分別され、円形度が“0.90”以上で“1”以下の対象物は良品に分別される。
このように、閾値設定支援装置10は、画像IMG1−IMG12の全ての画像IMGを目視で確認する場合に比べて、オペレータが目視で確認する画像IMGの数を低減でき、対象物を分別するための閾値の設定を容易にすることができる。また、複数の画像IMGは、閾値が設定される第1の特徴量(例えば、円形度)の値順に並べて表示される。このため、複数の画像IMGがランダムな順に並べて表示される場合に比べて、第1の特徴量の比較を容易にすることができる。
なお、複数種の特徴量のそれぞれに対して閾値が設定される場合、閾値設定支援装置10は、第1の特徴量を変更して、画像IMGの分類、表示グループGの選択等を繰り返す。この場合、閾値設定支援装置10は、各表示グループGに属する画像IMGのうち、他の種類の特徴量に対する閾値設定支援処理で既に良品か不良品かが判定された画像IMGに関しては、良品か不良品かを示す情報を画像IMGと一緒に表示してもよい。
閾値設定支援装置10の構成および動作は、図1に示す例に限定されない。例えば、対象物の特徴を表す特徴量の種類は、2つでもよいし、4つ以上でもよい。また、特徴量の種類は、円形度、面積、輝度以外でもよい。あるいは、選択部40は、複数種の特徴量のうちの第1の特徴量以外の1種類を第2の特徴量とし、第1の特徴量に基づいて分類した画像IMGを、第2の特徴量に基づいてグループ分けしてもよい。例えば、選択部40は、複数のクラスタに分類した画像IMGを、対象物の輝度に拘わらず、面積のみに応じて3つのグループGに分けてもよい。この場合、画像IMG1、IMG4、IMG5、IMG8、IMG9、IMG12が大面積のグループGに属し、大面積のグループGが表示グループGとして選択される。また、閾値設定支援装置10は、撮像装置80と通信可能に接続される代わりに、撮像装置80で撮像された画像IMGを記憶する記憶装置と通信可能に接続されてもよい。
以上、図1に示す実施形態では、閾値設定支援装置10は、対象物を含む複数の画像IMGから、対象物の特徴を表す複数種の特徴量を抽出する。そして、閾値設定支援装置10は、複数種の特徴量のうち、対象物を分別するための閾値が設定される第1の特徴量に基づいて、複数の画像IMGを複数のクラスタに分類する。さらに、閾値設定支援装置10は、複数のクラスタに分類した画像IMGのうち、複数のクラスタ間で共通の特徴を有する画像IMGを、複数種の特徴量のうちの第2の特徴量に基づいて抽出する。そして、閾値設定支援装置10は、複数のクラスタ間で共通の特徴を有する画像IMGのグループGの少なくとも1つを、表示グループGとして選択する。また、閾値設定支援装置10は、表示グループGに属する画像IMGを、第1の特徴量が示す値に基づいて並べて表示する。これにより、対象物を分別するための閾値の設定を容易にすることができる。
図2は、閾値設定支援装置の別の実施形態を示す。図1で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図2に示す閾値設定支援装置100は、例えば、対象物を撮像装置80で撮像することにより得られる画像IMGを解析して対象物を分別する選別システム1に含まれる。図2に示す選別システム1は、閾値設定支援装置100に通信可能に接続される撮像装置80、表示装置90および入力装置92を有する。入力装置92は、例えば、マウスやキーボード等である。
例えば、閾値設定支援装置100は、オペレータが閾値を選別システム1に設定する際に、閾値の設定を容易にするための閾値設定支援処理を実行する。なお、閾値設定支援装置100は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、閾値設定支援プログラム等のソフトウェアで制御されるコンピュータが閾値設定支援装置100の閾値設定支援処理を実行してもよい。
閾値設定支援装置100は、抽出部200、記憶部210、分類部300、選択部400、表示部500および閾値設定部600を有する。記憶部210は、メモリ等の記憶装置である。例えば、記憶部210は、対象物の特徴を表す特徴量が登録される特徴量データベース212、画像IMGが登録される画像データベース214等を記憶する。
抽出部200は、図1に示した抽出部20と同一または同様である。例えば、抽出部200は、対象物が撮像された複数の画像IMGを撮像装置80から受け、対象物を含む複数の画像IMGから、対象物の特徴を表す複数種の特徴量を抽出する。そして、抽出部200は、画像IMGから抽出した複数種の特徴量を、画像IMGに対応付けて特徴量データベース212に登録する。また、抽出部200は、撮像装置80から受けた画像IMGを画像データベース214に登録する。
抽出部200が対象物から抽出する複数種の特徴量は、例えば、「高木幹雄、下田陽久:新編 画像解析ハンドブック、東京大学出版会、2004.」などに記載されている形状特徴、テクスチャ特徴、色特徴等であり、予め決められている。形状特徴は、面積、周囲長、円形度等であり、テクスチャ特徴は、輝度ヒストグラムの平均および分散、エッジ密度等であり、色特徴は、色ヒストグラムの平均および分散等である。なお、対象物から抽出する特徴量の種類は、上述の例に限定されない。
分類部300は、図1に示した分類部30と同一または同様である。例えば、分類部300は、特徴量データベース212に登録された複数種の特徴量のうち、対象物を分別するための閾値が設定される第1の特徴量に基づいて、複数の画像IMGを複数のクラスタに分類する。なお、分類部300の動作の詳細は、図4で説明する。
選択部400は、図1に示した選択部40と同一または同様である。例えば、選択部400は、複数のクラスタに分類した画像IMGのうち、複数のクラスタ間で共通の特徴を有する画像IMGを、複数種の特徴量のうちの第2の特徴量に基づいて抽出する。そして、選択部400は、複数のクラスタ間で共通の特徴を有する画像IMGのグループGの少なくとも1つを、表示グループGとして選択する。なお、選択部400の動作の詳細は、図5で説明する。
表示部500は、図1に示した表示部50と同一または同様である。例えば、表示部500は、選択部400により選択された表示グループGに属する画像IMGを画像データベース214から取得する。そして、表示部500は、画像データベース214から取得した画像IMG、第1の特徴量を示す値に基づいて並べて表示装置90に表示する。なお、表示部500の動作の詳細は、図6および図7で説明する。
閾値設定部600は、例えば、表示装置90に表示された複数の画像IMGのうちの良品画像IMGを示す情報SINFを入力装置92から受ける。そして、閾値設定部600は、例えば、表示装置90に表示された複数の画像IMGのうちの良品画像IMGから抽出された第1の特徴量を示す値等に基づいて、第1の特徴量の閾値を設定する。例えば、オペレータは、表示装置90に表示された複数の画像IMGを目視で確認して、表示装置90に表示された複数の画像IMGのうち、良品画像IMGをマウス等の入力装置92を用いて選択する。そして、入力装置92は、オペレータにより選択された良品画像IMGを示す情報SINFを閾値設定部600等に出力する。閾値設定部600は、入力装置92から受ける情報SINFに基づいて、第1の特徴量の閾値を設定する。例えば、閾値設定部600は、第1の特徴量の閾値を記憶部210等に記憶する。
なお、閾値設定支援装置100の構成は、図2に示す例に限定されない。例えば、撮像装置80で撮像された画像IMGは、対象物の特徴を表す複数種の特徴量が抽出される前に、画像データベース214に登録されてもよい。この場合、抽出部200は、対象物が撮像された複数の画像IMGを画像データベース214から取得し、画像データベース214から取得した複数の画像IMGから、対象物の特徴を表す複数種の特徴量を抽出してもよい。また、特徴量データベース212は、画像データベース214に含まれてもよい。すなわち、画像データベース214は、画像IMGの他に、特徴量データベース212に登録される項目を有してもよい。また、閾値設定支援装置100は、撮像装置80と通信可能に接続される代わりに、撮像装置80で撮像された画像IMGを記憶する外部の記憶装置と通信可能に接続されてもよい。
図3は、図2に示した特徴量データベース212の一例を示す。特徴量データベース212には、対象物の特徴を表す特徴量が抽出された画像IMG毎に、対象物識別番号、画像ファイル名および特徴量をそれぞれ示すデータを含むデータ群DGが登録される。
対象物識別番号は、対象物を識別するための識別番号である。例えば、同一の閾値が設定される対象物等の同一の品種の対象物には、同一の識別番号が付与される。画像ファイル名は、特徴量の抽出に使用した画像IMGのファイル名である。特徴量は、画像ファイル名が示す画像IMGから抽出した対象物の特徴を表す特徴量である。図3に示す例では、対象物の面積、周囲長、円形度、エッジ密度等が特徴量として特徴量データベース212に登録される。
なお、特徴量データベース212に登録される項目は、図3に示す例に限定されない。例えば、閾値設定支援装置100が特徴量データベース212を同一の品種の対象物毎に有する場合、対象物識別番号は、特徴量データベース212に登録する項目から省かれてもよい。
図4は、図2に示した分類部300の動作の一例を示す。なお、図4では、対象物の特徴を分かり易くするために、データ群DGの上側に示す括弧内に、データ群DGに対応する画像IMGを図示している。データ群DGは、図3で説明したように、画像ファイル名、特徴量等を示すデータを有する。また、データ群DGに対応する画像IMGは、データ群DGに含まれる画像ファイル名で指定される画像IMGである。
分類部300は、特徴量データベース212から所定のデータ群DG(DG20−DG34)を取得する。例えば、分類部300は、特徴量データベース212に登録されたデータ群DGのうち、閾値の設定対象の対象物に対応するデータ群DGを特徴量データベース212から取得する。なお、特徴量データベース212が同一の品種の対象物毎に設けられる場合、分類部300は、閾値の設定対象の対象物に対応する特徴量データベース212から全てのデータ群DGを取得してもよい。
また、分類部300は、対象物の特徴を表す複数種の特徴量から、閾値を設定する第1の特徴量を選択する。なお、分類部300は、複数種の特徴量から第1の特徴量を、オペレータからの指示に基づいて選択してもよいし、予め決められた順番に基づいて選択してもよい。そして、分類部300は、特徴量データベース212から取得したデータ群DG20−DG34を第1の特徴量を示す値でクラスタリングする。
例えば、分類部300は、閾値を設定する第1の特徴量として円形度を選択する。そして、分類部300は、特徴量データベース212から取得したデータ群DG20−DG34を円形度の値でクラスタリングする。これにより、データ群DG21、DG22、DG23は、円形度“0.85”のクラスタに分類され、データ群DG27、DG29、DG33は、円形度“0.90”のクラスタに分類される。また、データ群DG24、DG26、DG31、DG34は、円形度“0.95”のクラスタに分類され、データ群DG20、DG25、DG28、DG30、DG32は、円形度“1”のクラスタに分類される。
このように、分類部300は、対象物の特徴を表す複数種の特徴量のうち、対象物を分別するための閾値が設定される第1の特徴量に基づいて、複数のデータ群DGを複数のクラスタに分類する。これにより、複数のデータ群DGにそれぞれ対応する複数の画像IMGも第1の特徴量に基づいて複数のクラスタに分類される。すなわち、分類部300は、抽出部200で抽出された複数種の特徴量のうち、対象物を分別するための閾値が設定される第1の特徴量に基づいて、複数の画像IMGを複数のクラスタに分類する。なお、分類部300の動作は、図4に示す例に限定されない。
図5は、図2に示した選択部400の動作の一例を示す。なお、図5では、図4と同様に、対象物の特徴を分かり易くするために、データ群DGの上側に示す括弧内に、データ群DGに対応する画像IMGを図示している。また、図5では、図を見やすくするために、画像IMG20以外の画像IMGの符号の記載を省略している。図5では、円形度、面積、輝度、エッジ密度の4種類を抽出部200で抽出された複数種の特徴量とし、第1の特徴量を円形度とし、第2の特徴量を面積、輝度およびエッジ密度の3種類の特徴量として説明する。
先ず、選択部400は、分類部300により複数のクラスタに分類されたデータ群DG(DG20−DG34)を、共通の特徴でグループ化する。例えば、選択部400は、第2の特徴量である面積、輝度およびエッジ密度を示すそれぞれのデータをクラスタ間で比較し、同一の特徴を有するデータ群DGをグループ化する。なお、複数のクラスタに分類されたデータ群DGをグループ化することにより、複数のクラスタに分類されたデータ群DGにそれぞれ対応する複数の画像IMGもグループ化される。
図5に示す例では、画像IMGから抽出された対象物の面積は、図1と同様に、小面積、中面積および大面積のいずれかに区分される。また、画像IMGから抽出された対象物の輝度は、予め決められた第1の輝度値以上の場合、高輝度に区分され、第1の輝度値未満で予め決められた第2の輝度値以上の場合、中輝度に区分され、第2の輝度値未満の場合、低輝度に区分される。そして、画像IMGから抽出された対象物のエッジ密度は、所定のエッジ密度以上の場合、高エッジ密度に区分され、所定のエッジ密度未満の場合、低エッジ密度に区分される。例えば、第2の特徴量が示す特徴は、面積の3つの区分と輝度の3つの区分とエッジ密度の2つの区分との組み合わせで表される。
グループG10−G15は、面積の3つの区分と輝度の3つの区分とエッジ密度の2つの区分との組み合わせのいずれかに対応する。データ群DG20−DG34は、面積、輝度およびエッジ密度に応じて分類された6つのグループG10−G15のいずれかに属する。なお、図5では、データ群DG20−DG34のいずれも含まないグループG(例えば、小面積、高輝度かつ高エッジ密度を示す特徴を有するデータ群DGのグループG等)の記載を省略している。また、面積の区分数、輝度の区分数およびエッジ密度の区分数は、図5に示す例に限定されない。
グループG10、G11は、データ群DGを含むクラスタを3つ含み、グループG12は、データ群DGを含むクラスタを1つ含み、グループG13は、データ群DGを含むクラスタを4つ含み、グループG14、G15は、データ群DGを含むクラスタを2つ含む。
例えば、グループG10は、画像IMGから抽出された対象物の面積、輝度およびエッジ密度がそれぞれ小面積、高輝度および低エッジ密度である特徴量を有するデータ群DGのグループGであり、データ群DG23、DG24、DG28を含む。すなわち、データ群DG23、DG24、DG28は、同一の特徴(小面積、高輝度かつ低エッジ密度を示す特徴)を有するデータ群DGである。換言すれば、小面積、高輝度かつ低エッジ密度を示す特徴は、互いに異なるクラスタに分類されたデータ群DG23、DG24、DG28で共通する特徴である。
また、例えば、グループG13は、画像IMGから抽出された対象物の面積、輝度およびエッジ密度がそれぞれ大面積、中輝度および低エッジ密度である特徴量を有するデータ群DGのグループGであり、データ群DG22、DG27、DG26、DG30を含む。すなわち、データ群DG22、DG27、DG26、DG30は、同一の特徴(大面積、中輝度かつ低エッジ密度を示す特徴)を有するデータ群DGである。換言すれば、大面積、中輝度かつ低エッジ密度を示す特徴は、互いに異なるクラスタに分類されたデータ群DG22、DG27、DG26、DG30で共通する特徴である。
また、例えば、グループG15は、画像IMGから抽出された対象物の面積、輝度およびエッジ密度がそれぞれ中面積、高輝度および高エッジ密度である特徴量を有するデータ群DGのグループGであり、データ群DG34、DG32を含む。すなわち、データ群DG34、DG32は、同一の特徴(中面積、高輝度かつ高エッジ密度を示す特徴)を有するデータ群DGである。換言すれば、中面積、高輝度かつ高エッジ密度を示す特徴は、互いに異なるクラスタに分類されたデータ群DG34、DG32で共通する特徴である。
このように、選択部400は、第2の特徴量が示す特徴(面積の3つの区分と輝度の3つの区分とエッジ密度の2つの区分との組み合わせ)毎にデータ群DGをグループ化する。そして、選択部400は、複数のクラスタ間で共通の特徴を有するデータ群DGのグループGとして、グループG10、G11、G13、G14、G15を抽出する。
次に、選択部400は、表示画像特徴量を選択する。表示画像特徴量は、表示する画像IMGの特徴量である。すなわち、表示画像特徴量は、表示グループGに属するデータ群DGに共通する特徴を表す特徴量である。例えば、選択部400は、表示装置90に表示する画像IMGを含む表示グループGを選択する。これにより、表示画像特徴量が選択される。
例えば、選択部400は、グループG10、G11、G13、G14、G15のうち、共通の特徴を有するデータ群DGを含むクラスタの数が最も多いグループG13を、表示グループG13として選択する。そして、選択部400は、表示グループG13に属するデータ群DGに共通する特徴(大面積、中輝度かつ低エッジ密度を示す特徴)を、表示画像特徴量として記憶部210等に記憶する。すなわち、選択部400は、大面積に区分される面積、中輝度に区分される輝度値、高エッジ密度に区分されるエッジ密度を有する組み合わせの特徴量を、表示画像特徴量として記憶部210等に記憶する。
このように、選択部400は、複数のクラスタに分類したデータ群DGのうち、複数のクラスタ間で共通の特徴を有するデータ群DGを、複数種の特徴量のうちの第2の特徴量(例えば、面積、輝度およびエッジ密度)に基づいて抽出する。そして、選択部400は、複数のクラスタ間で共通の特徴を有するデータ群DGのグループGの少なくとも1つを、表示グループGとして選択する。すなわち、選択部400は、複数のクラスタに分類した画像IMGのうち、複数のクラスタ間で共通の特徴を有する画像IMGを、複数種のうちの第2の特徴量に基づいて抽出する。そして、選択部400は、複数のクラスタ間で共通の特徴を有する画像IMGのグループGの少なくとも1つを、表示グループGとして選択する。なお、選択部400の動作は、図5に示す例に限定されない。
図6は、図2に示した表示部500および閾値設定部600の動作の一例を示す。なお、図6に示す表示部500の動作は、表示グループGに属する画像IMGの数が所定の数以下の場合の表示部500の動作である。図6に示す例では、所定の数として、“5”が予め設定されている。なお、所定の数は、“5”に限定されない。また、図6では、図5に示したグループG13が表示グループGとして選択された場合を例にして、表示部500および閾値設定部600の動作を説明する。
先ず、表示部500は、選択部400により選択された表示画像特徴量(図5に示した表示グループG13では、大面積、中輝度かつ低エッジ密度を示す特徴)を有するデータ群DGに対応する画像IMGを、画像データベース214から取得する。すなわち、表示部500は、選択部400により選択された表示グループG13に属する画像IMG22、IMG27、IMG26、IMG30を、画像データベース214から取得する。これにより、選択部400により選択された表示画像特徴量を有する画像IMGが表示候補の画像IMGとして抽出される。同一のクラスタ内で同一の表示画像特徴量を有するデータが複数存在する場合は、その中から1つのデータを抽出してもよい。
次に、表示部500は、表示候補の画像IMGの数が“5”以下であるため、画像データベース214から取得した表示候補の全ての画像IMG22、IMG27、IMG26、IMG30を、円形度の値順に並べて表示装置90に表示する。すなわち、表示部500は、選択部400により選択された表示グループGに属する画像IMGを、第1の特徴量が示す値順に並べて表示装置90に表示する。このように、複数の画像IMGが第1の特徴量が示す値(例えば、円形度の値)に基づいて並べて表示されるため、複数の画像IMGがランダムな順に並べて表示される場合に比べて、第1の特徴量の比較を容易にすることができる。
次に、閾値設定部600は、良品の範囲を示す情報を取得する。例えば、オペレータは、表示装置90に表示された画像IMG22、IMG27、IMG26、IMG30を目視で確認する。そして、オペレータは、表示装置90に表示された画像IMG22、IMG27、IMG26、IMG30のうち、良品画像IMG26、IMG30をマウス等の入力装置92を用いて選択する。これにより、入力装置92は、オペレータにより選択された良品画像IMG26、IMG30を示す情報SINFを閾値設定部600等に出力する。そして、閾値設定部600は、表示装置90に表示された複数の画像IMGのうちの良品のIMG26、IMG30を示す情報SINFを入力装置92から受ける。良品画像IMG26、IMG30を示す情報SINFは、良品の範囲を示す情報である。なお、良品画像IMGを示す情報SINFは、複数の画像IMGを分別した結果を示す情報の一例である。
次に、閾値設定部600は、第1の特徴量の閾値を、入力装置92から受ける情報SINF(良品の範囲)に基づいて設定する。例えば、閾値設定部600は、入力装置92から受けた情報SINFが示す良品の範囲が円形度“0.95”のクラスタに含まれる画像IMG26と円形度“1”のクラスタに含まれる画像IMG30であるため、円形度の閾値を“0.95”に設定する。この場合、円形度が“0.95”未満の対象物は不良品に分別され、円形度が“0.95”以上で“1”以下の対象物は良品に分別される。
なお、例えば、良品の範囲が円形度“0.90”のクラスタに含まれる画像IMG27と円形度“0.95”のクラスタに含まれる画像IMG26の場合、閾値設定部600は、円形度の下限および上限の閾値をそれぞれ“0.90”および“0.95”に設定する。この場合、円形度が“0.90”未満の対象物および円形度が“0.95”より大きい対象物は不良品に分別され、円形度が“0.90”以上で“0.95”以下の対象物は良品に分別される。
このように、閾値設定部600は、入力装置92から受ける情報SINFに基づいて、第1の特徴量の閾値を設定する。閾値設定支援装置100では、オペレータが目視で確認する画像IMGの数を、画像IMG20−IMG34の全ての画像IMGを目視で確認する場合に比べて低減できるため、対象物を分別するための閾値の設定を容易にすることができる。なお、表示部500および閾値設定部600の動作は、図6に示す例に限定されない。
図7は、図2に示した表示部500の動作の別の例を示す。なお、図7に示す表示部500の動作は、表示グループGに属する画像IMGの数が所定の数より多い場合の表示部500の動作である。図7に示す例では、所定の数として、“5”が予め設定されている。なお、所定の数は、“5”に限定されない。図7では、9つの画像IMG40、IMG41、IMG42、IMG43、IMG44、IMG45、IMG46、IMG47、IMG48が表示グループGに属する場合を例にして、表示部500の動作を説明する。
画像IMG40、IMG41、IMG42、IMG43からそれぞれ抽出される対象物の円形度は、それぞれ、“0.85”、“0.90”、“0.93”および“0.95”である。また、画像IMG44、IMG45、IMG46、IMG47、IMG48からそれぞれ抽出される対象物の円形度は、それぞれ、“0.96”、“0.97”、“0.98”、“0.99”および“1”である。画像IMG40−IMG48は、それぞれの円形度に応じたクラスタに分類される。
先ず、表示部500は、選択部400により選択された表示画像特徴量を有するデータ群DGに対応する画像IMG、すなわち、表示グループGに属する画像IMG40−IMG48を、画像データベース214から取得する。これにより、選択部400により選択された表示画像特徴量を有する9つの画像IMG40−IMG48が表示候補の画像IMGとして抽出される。
次に、表示部500は、表示候補の画像IMGの数が“5”より多いため、画像データベース214から取得した表示候補の画像IMG40−IMG48から、5つ(所定の数)の画像IMG40、IMG41、IMG43、IMG45、IMG48を選択する。そして、表示部500は、5つの画像IMG40、IMG41、IMG43、IMG45、IMG48を円形度の値順に並べて表示装置90に表示する。
例えば、表示部500は、画像IMGを最初に表示する場合、良品の範囲が不明であるため、円形度が最小な画像IMG40と円形度が最大な画像IMG48とを、5つの画像IMGのうちの2つの画像IMGとして選択する。そして、表示部500は、表示候補の画像IMGの範囲に対応する円形度の範囲(“0.85”から“1”の範囲)を4つに分割した場合の円形度の刻みができるだけ均等になるように、5つの画像IMGのうちの残りの3つの画像IMGを選択する。これにより、表示候補の画像IMG40−IMG48のうちの5つの画像IMG40、IMG41、IMG43、IMG45、IMG48が円形度の値順に並べて表示装置90に表示される。
例えば、オペレータは、表示装置90に表示された画像IMG40、IMG41、IMG43、IMG45、IMG48を目視で確認する。そして、オペレータは、表示装置90に表示された画像IMG40、IMG41、IMG43、IMG45、IMG48のうち、良品画像IMG48を、入力装置92を用いて選択する。これにより、入力装置92は、オペレータにより選択された良品画像IMG48を示す情報SINFを表示部500等に出力する。そして、表示部500は、表示装置90に表示された複数の画像IMGのうちの良品画像IMG48を示す情報SINF(良品の範囲を示す情報SINF)を入力装置92から受ける。
良品画像IMG48を示す情報SINFを受けた表示部500は、表示装置90に並べて表示した画像IMG40、IMG41、IMG43、IMG45、IMG48のうち、良品と不良品の境界の両側に位置する画像IMG45、IMG48を特定する。すなわち、画像IMG45、IMG48は、分別の境界の両側に位置する第1の画像IMGおよび第2の画像IMGの一例である。
境界の両側に位置する画像IMGとして特定された画像IMG45、IMG48のそれぞれの円形度は、再抽出する表示候補の画像IMGの範囲に対応する円形度の範囲の始点および終点に対応する。例えば、表示部500は、円形度の値順に画像IMGを並べた場合に画像IMG45、IMG48の一方から他方までの間に位置する4つの画像IMG45、IMG46、IMG47、IMG48を、表示候補の画像IMGとして再抽出する。そして、表示部500は、表示候補の画像IMGの数が“5”以下であるため、再抽出した表示候補の全ての画像IMG45、IMG46、IMG47、IMG48を、円形度の値順に並べて表示装置90に表示する。
例えば、オペレータは、表示装置90に表示された画像IMG45、IMG46、IMG47、IMG48を目視で確認して、良品画像IMG47、IMG48を、入力装置92を用いて選択する。これにより、表示部500は、表示装置90に表示された複数の画像IMGのうちの良品画像IMG47、IMG48を示す情報SINFを入力装置92から受ける。この場合、表示装置90に並べて表示した画像IMG45、IMG46、IMG47、IMG48のうち、良品と不良品の境界の両側に位置する画像IMGは、画像IMG46、IMG47である。円形度の値順に画像IMGを並べた場合に画像IMG46、IMG47の一方から他方までの間に、画像IMG46、IMG47以外の画像IMGが存在しないため、表示部500による画像IMGの表示処理は、終了する。この場合、例えば、閾値設定部600は、良品画像IMG47、IMG48を示す情報SINFに基づいて、円形度の閾値を“0.99”に設定する。
なお、円形度の値順に画像IMGを並べた場合に画像IMG46、IMG47の一方から他方までの間に、画像IMG46、IMG47以外の画像IMGが存在する場合、表示部500は、所定の数以下の画像IMGを選択して表示する処理を再度実行する。例えば、表示部500は、画像IMG46から画像IMG47までの間に存在する画像IMGを表示候補の画像IMGとして再抽出し、表示候補の画像IMGから画像IMG46、IMG47を含む所定の数以下の画像IMGを選択して円形度の値順に並べて表示する。
すなわち、表示部500は、表示グループGに属する画像における分別の境界を特定するまで、情報SINFを受ける度に、表示グループGに属する画像IMGから所定の数以下の画像IMGを選択して表示する。これにより、表示部500は、表示する所定の数以下の画像IMGの範囲に対応する第1の特徴量の範囲を段階的に絞る。
ここで、例えば、表示候補の全ての画像IMG40−IMG48が表示装置90に一度に表示される場合、所定の数の画像IMGが表示装置90に表示される場合に比べて、各画像IMGの表示面積が小さくなる。この場合、オペレータが画像IMGを目視で確認して対象物の良否を判定することが困難になるおそれがある。これに対し、表示部500は、表示装置90に表示する画像IMGの数を予め設定された所定の数以下にすることにより、各画像IMGの表示面積が小さくなることを抑制でき、画像を目視して確認することが困難になることを抑制できる。なお、表示部500の動作は、図7に示す例に限定されない。
図8は、図2に示した閾値設定支援装置100の動作の一例を示す。なお、図8に示す動作は、コンピュータにより実行される閾値設定支援方法の一態様である。例えば、図8に示す動作は、ハードウェアのみで実現されてもよく、ハードウェアを閾値設定支援プログラム等のソフトウェアで制御することにより実現されてもよい。すなわち、閾値設定支援プログラムで制御されるコンピュータが図8に示す動作を実行してもよい。図8の動作をコンピュータに実行させるプログラムは、閾値設定支援プログラムの一態様である。
図8に示す動作では、画像IMGから対象物の特徴を表す特徴量を抽出する特徴量抽出処理として、ステップS100からステップS130までの一連の処理が実行される。また、図8に示す動作では、特徴量の閾値を設定する閾値設定処理として、ステップS200からステップS700までの一連の処理が実行される。すなわち、図8に示す動作では、特徴量抽出処理(ステップS100−S130)と閾値設定処理(ステップS200−S700)とは、並列に実行される。先ず、特徴量抽出処理(ステップS100−S130)について説明する。
ステップS100では、抽出部200は、撮像装置80から画像IMGを取得して、画像IMGから対象物を検出する。例えば、撮像装置80が同一の対象物を所定のフレームレートで撮像した場合、抽出部200は、同一の対象物が撮像された複数のフレームの画像IMGを撮像装置80から取得してもよい。この場合、抽出部200は、対象物を複数のフレームに渡って追跡し、対象物が最も画像IMGの中心で撮像されているフレームの画像IMGから対象物を抽出する。すなわち、抽出部200は、同一の対象物が撮像された複数の画像IMGを取得した場合でも、複数の画像IMGのうちのいずれかから対象物を抽出すればよい。
次に、ステップS110では、抽出部200は、ステップS100で抽出した対象物の特徴を表す複数種の特徴量を抽出する。複数種の特徴量は、例えば、図2で説明したように、形状特徴、テクスチャ特徴、色特徴等であり、予め決められている。
次に、ステップS120では、抽出部200は、ステップS110で抽出した特徴量(対象物の特徴を表す複数種の特徴量)を、特徴量データベース212に登録する。例えば、抽出部200は、図3で説明したように、特徴量を抽出した画像IMGに対応付けて、特徴量等を示すデータを含むデータ群DGを特徴量データベース212に登録する。
次に、ステップS130では、抽出部200は、ステップS100で対象物を抽出した画像IMGを、画像データベース214に登録する。例えば、抽出部200は、特徴量を抽出した画像IMGを、特徴量データベース212に登録した特徴量と対応がとれるように、画像データベース214に登録する。なお、画像データベース214に登録する画像IMGは、特徴量を抽出した対象物の領域のみを切り出した画像IMGでもよい。
ステップS130の処理の終了により、ステップS100で抽出した対象物に対する特徴量抽出処理は終了する。このため、抽出部200は、別の対象物に対する特徴量抽出処理をステップS100から開始する。次に、閾値設定処理(ステップS200−S700)について説明する。
ステップS200では、分類部300は、図4で説明したように、特徴量データベース212から所定のデータ群DGを取得する。
次に、ステップS300では、分類部300は、図4で説明したように、閾値が設定される第1の特徴量を選択する。例えば、分類部300は、閾値設定対象の複数種の特徴量から第1の特徴量を、オペレータからの指示に基づいて選択してもよいし、予め決められた順番に基づいて選択してもよい。閾値設定対象の複数種の特徴量は、例えば、ステップS110で抽出された複数種の特徴量でもよいし、複数種の特徴量のうちの予め決められた一部の種類の特徴量でもよい。あるいは、閾値設定対象の特徴量は、ステップS110で抽出された複数種の特徴量のうちの予め決められた1種類の特徴量でもよい。
次に、ステップS400では、閾値設定支援装置100は、閾値の設定を支援する閾値設定支援処理を実行する。これにより、ステップS300で選択した第1の特徴量の閾値を設定する際に目視される画像IMGが、図6等で説明したように、表示装置90に表示される。閾値設定支援処理の詳細は、図9で説明する。閾値設定支援処理が終了した後、閾値設定支援装置100の動作は、ステップS500に移る。
ステップS500では、閾値設定部600は、図6で説明したように、良品の範囲を示す情報SINFを、入力装置92から取得する。
次に、ステップS600では、閾値設定部600は、図6で説明したように、ステップS500で取得した良品の範囲を示す情報SINFに基づいて、第1の特徴量の閾値を設定する。例えば、閾値設定部600は、情報SINFに基づいて第1の特徴量の閾値を決定し、決定した第1の特徴量の閾値を記憶部210等に記憶する。
次に、ステップS700では、閾値設定支援装置100は、閾値設定対象の全ての特徴量の閾値を設定済みか否かを判定する。閾値設定対象の全ての特徴量の閾値を設定済みである場合、閾値設定支援装置100による閾値設定処理は、終了する。一方、閾値設定対象の特徴量で、閾値が設定されていない特徴量が存在する場合、閾値設定支援装置100の動作は、ステップS300に戻る。
なお、閾値設定支援装置100の動作は、図8に示す例に限定されない。例えば、ステップS130の処理は、ステップS120の処理より前に実行されてもよいし、ステップS120の処理と並列に実行されてもよい。
図9は、図8に示した閾値設定支援処理の一例を示す。すなわち、ステップS410−S490の一連の処理は、図8に示したステップS400の閾値設定支援処理の一例である。例えば、ステップS410の処理は、図8に示したステップS300の処理が実行された後、実行される。
ステップS410では、分類部300は、図4で説明したように、特徴量データベース212から取得した複数のデータ群DGを第1の特徴量で分類する。なお、複数のデータ群DGは、図8に示したステップS200で特徴量データベース212から取得したデータ群DGであり、第1の特徴量は、図8に示したステップS300で選択した第1の特徴量である。
次に、ステップS420では、選択部400は、図5で説明したように、第1の特徴量で分類したデータ群DGを、第2の特徴量でグループ化する。第2の特徴量は、例えば、図8に示したステップS110で画像IMGから抽出した対象物を表す複数種の特徴量のうちの第1の特徴量以外の特徴量である。第2の特徴量が1種類の特徴量の場合、選択部400は、第1の特徴量で分類したデータ群DGを、第2の特徴量が示す値(第2の特徴量が示す特徴)に応じてグループ化する。また、第2の特徴量が2種類以上の特徴量の場合、選択部400は、第1の特徴量で分類したデータ群DGを、第2の特徴量に含まれる2種類以上の特徴量がそれぞれ示す値の組み合わせ(第2の特徴量が示す特徴)に応じてグループ化する。
次に、ステップS430では、選択部400は、図5で説明したように、表示する画像IMGの特徴量である表示画像特徴量を選択する。表示画像特徴量は、ステップS420で複数のデータ群DGをグループ化する際に使用した第2の特徴量が示す特徴から選択される。例えば、選択部400は、第2の特徴量が示す特徴毎にグループ化したデータ群DGの複数のグループGから、表示グループGを選択する。これにより、表示画像特徴量が選択される。
次に、ステップS440では、表示部500は、図6および図7で説明したように、ステップS430で選択した表示画像特徴量を有する画像IMGを、表示候補の画像IMGとして抽出する。例えば、表示部500は、表示候補の画像IMGとして、表示グループGに属する画像IMGを画像データベース214から取得する。
次に、ステップS450では、表示部500は、表示候補の画像IMGの数が所定の数以下か否かを判定する。表示候補の画像IMGの数が所定の数以下の場合、表示部500の動作は、ステップS490に移る。一方、表示候補の画像IMGの数が所定の数より多い場合、表示部500の動作は、ステップS460に移る。
ステップS460では、表示部500は、図7で説明したように、表示候補の画像IMGから、所定の数以下の画像IMGを選択して表示装置90に表示する。
次に、ステップS470では、表示部500は、良品の範囲を示す情報SINF(良品画像IMGを示す情報SINF)を入力装置92から受信したか否かを判定する。良品の範囲を示す情報SINFは、例えば、ステップS460で表示装置90に表示した所定の数以下の画像IMGを分別した結果を示す情報である。良品の範囲を示す情報SINFを入力装置92から受信した場合、表示部500の動作は、ステップS480に移る。一方、良品の範囲を示す情報SINFを入力装置92から受信していない場合、表示部500の動作は、ステップS470に戻る。すなわち、表示部500は、オペレータにより選択される良品の範囲を示す情報SINFを入力装置92から受信するまでステップS480の処理の実行を待機する。
ステップS480では、表示部500は、図7で説明したように、良品と不良品の境界の両側の画像IMGの一方(第1の画像IMG)から他方(第2の画像IMG)までの画像IMGを表示候補の画像IMGとして抽出する。例えば、表示部500は、表示装置90に並べて表示した所定の数以下の画像IMGのうち、良品と不良品の境界の両側に位置する2つの画像IMGを特定する。そして、表示部500は、第1の特徴量の値順に画像IMGを並べた場合に2つの画像IMG(表示装置90に表示された画像IMGのうちの境界の両側の画像IMG)の一方から他方までの間に位置する画像IMGを、表示候補の画像IMGとして再抽出する。
ステップS480の処理が実行された後、表示部500の動作は、ステップS450に戻る。これにより、所定の数以下の画像IMGが再度選択されて表示されるため、表示する所定の数以下の画像IMGの範囲に対応する第1の特徴量の範囲が良品と不良品の境界付近に段階的に絞られる。
このように、表示部500は、良品の範囲を示す情報SINFを受けた場合、表示装置90に並べて表示した所定の数以下の画像IMGから、分別の境界の両側に位置する第1の画像IMGおよび第2の画像IMGを特定する。そして、表示部500は、表示グループGに属する画像IMGを第1の特徴量の値に基づいて並べた場合に第1の画像IMGと第2の画像IMGとの間に画像IMGが存在する場合、所定の数以下の画像IMGを再度選択して表示する。例えば、表示部500は、表示グループGに属する画像IMGを第1の特徴量の値に基づいて並べた場合に第1の画像IMGから第2の画像IMGまでの間に位置する画像IMGから所定の数以下の画像IMGを選択して表示する。このように、表示グループGに属する画像IMGの数が所定の数より多い場合、表示部500は、表示する所定の数以下の画像IMGの範囲に対応する第1の特徴量の範囲を段階的に絞る。なお、閾値設定支援処理は、図9に示す例に限定されない。
以上、図2から図9に示す実施形態においても、図1に示した実施形態と同様の効果を得ることができる。例えば、閾値設定支援装置100は、複数の画像IMGから抽出した対象物の特徴を表す複数種の特徴量のうち、閾値設定対象の第1の特徴量で画像IMGをクラスタリングする。そして、閾値設定支援装置100は、複数種の特徴量のうちの第2の特徴量に基づいて、複数のクラスタに渡って共通する共通の特徴を有する画像IMGをグループ化し、グループ化した画像IMGのグループの少なくとも1つを表示グループGとして選択する。例えば、閾値設定支援装置100は、複数のクラスタ間で共通の特徴を有する画像IMGを含むクラスタの数が最も多いグループGを表示グループGとして選択する。これにより、第1の特徴量の値順に並べる画像IMGの候補を多くすることができ、第1の特徴量の値順に並べる画像IMGの数が少ない場合に比べて、第1の特徴量の比較を容易にすることができる。なお、この場合でも、表示装置90に表示する画像IMGの数は、撮像装置80から取得した全ての画像IMGの数より少ない。
したがって、閾値設定支援装置100は、撮像装置80から取得した全ての画像IMGを目視で確認する場合に比べて、オペレータが目視で確認する画像IMGの数を低減でき、対象物を分別するための閾値の設定を容易にすることができる。さらに、複数の画像IMGが第1の特徴量が示す値に基づいて並べて表示されるため、複数の画像IMGがランダムな順に並べて表示される場合に比べて、第1の特徴量の比較を容易にすることができる。
図10は、閾値設定支援装置の別の実施形態を示す。図1から図9で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図10に示す閾値設定支援装置102は、例えば、対象物を撮像装置80で撮像することにより得られる画像IMGを解析して対象物を分別する選別システム1に含まれる。図10に示す選別システム1は、閾値設定支援装置102に通信可能に接続される撮像装置80、表示装置90および入力装置92を有する。
例えば、閾値設定支援装置102は、オペレータが閾値を選別システム1に設定する際に、閾値の設定を容易にするための閾値設定支援処理を実行する。なお、閾値設定支援装置102は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、閾値設定支援プログラム等のソフトウェアで制御されるコンピュータが閾値設定支援装置102の閾値設定支援処理を実行してもよい。
閾値設定支援装置102は、図2に示した選択部400の代わりに選択部402を有することを除いて、図2に示した閾値設定支援装置100と同一または同様である。例えば、閾値設定支援装置102は、抽出部200、記憶部210、分類部300、選択部402、表示部500および閾値設定部600を有する。抽出部200、記憶部210、分類部300、表示部500および閾値設定部600は、図2に示した抽出部200、記憶部210、分類部300、表示部500および閾値設定部600と同一または同様である。
選択部402は、図2に示した選択部400と同様に、複数のクラスタに分類した画像IMGのうち、複数のクラスタ間で共通の特徴を有する画像IMGを、複数種の特徴量のうちの第2の特徴量に基づいて抽出する。そして、選択部402は、複数のクラスタ間で共通の特徴を有する画像IMGのグループGの少なくとも1つを、表示グループGとして選択する。なお、選択部402は、複数のグループGのうち、第1の特徴量が示す値が隣接する複数のクラスタに画像IMGを含むグループGを、表示グループGとして優先して選択する。選択部402の動作の詳細は、図11で説明する。なお、閾値設定支援装置102の構成は、図10に示す例に限定されない。
また、閾値設定支援装置102の閾値設定支援処理をコンピュータに実行させるための閾値設定支援プログラムでは、第1の特徴量が示す値が隣接する複数のクラスタに画像IMGを含むグループGを表示グループGとして優先して選択する。閾値設定支援装置102の閾値設定支援処理をコンピュータに実行させるための閾値設定支援プログラムのその他の処理は、図2から図9に示した実施形態における閾値設定支援プログラムと同一または同様である。同様に、閾値設定支援方法は、第1の特徴量が示す値が隣接する複数のクラスタに画像IMGを含むグループGを表示グループGとして優先して選択することを除いて、図2から図9に示した実施形態における閾値設定支援方法と同一または同様である。
図11は、図10に示した選択部402の動作の一例を示す。なお、図10では、図5と同様に、対象物の特徴を分かり易くするために、データ群DGの上側に示す括弧内に、データ群DGに対応する画像IMGを図示している。図11では、図5と同様に、円形度、面積、輝度、エッジ密度の4種類を抽出部200で抽出された複数種の特徴量とし、第1の特徴量を円形度とし、第2の特徴量を面積、輝度およびエッジ密度の3種類の特徴量として説明する。図5で説明した動作と同様の動作については、詳細な説明を省略する。
先ず、選択部402は、分類部300により複数のクラスタに分類されたデータ群DG(DG50−DG60)を、共通の特徴でグループ化する。グループG10−G13は、各グループGに属するデータ群DGを除いて、図5で説明したグループG10−G13と同一または同様である。
グループG10、G12、G13は、データ群DGを含むクラスタを3つ含み、グループG11は、データ群DGを含むクラスタを2つ含む。
例えば、グループG10は、円形度の値が隣接する円形度“0.85”のクラスタおよび円形度“0.90”のクラスタにそれぞれ含まれるデータ群DG58、DG59と、円形度“1”のクラスタに含まれるデータ群DG60とを有する。なお、円形度“0.90”のクラスタと円形度“1”のクラスタは、円形度“0.90”のクラスタと円形度“1”のクラスタとの間に円形度“0.95”のクラスタが存在するため、円形度の値が隣接する複数のクラスタではない。
グループG11は、円形度“0.85”のクラスタに含まれるデータ群DG56と、円形度“1”のクラスタに含まれるデータ群DG57とを有する。グループG12は、円形度の値が隣接する円形度“0.85”のクラスタ、円形度“0.90”のクラスタおよび円形度“0.95”のクラスタにそれぞれ含まれるデータ群DG53、DG54、DG55を有する。グループG13は、円形度の値が隣接する円形度“0.90”のクラスタ、円形度“0.95”のクラスタおよび円形度“1”のクラスタにそれぞれ含まれるデータ群DG50、DG51、DG52を有する。したがって、選択部402は、円形度の値(第1の特徴量が示す値)が隣接する複数のクラスタにデータ群DGを含むグループGとして、グループG10、G12、G13を抽出する。
次に、選択部402は、表示画像特徴量を選択する。例えば、選択部402は、グループG10、G12、G13のうち、画像IMGを含み、かつ、円形度の値が示す値が隣接するクラスタの数が最も多い2つのグループG12、G13を、表示グループG(G12、G13)として選択する。これにより、表示グループG12に属するデータ群DGが有する大面積、高輝度かつ低エッジ密度を示す特徴と、表示グループG13に属するデータ群DGが有する大面積、中輝度かつ低エッジ密度を示す特徴とが、表示画像特徴量として選択される。そして、選択部402は、選択した表示画像特徴量を記憶部210等に記憶する。
この場合、表示部500は、表示グループG12に属する画像IMG53、IMG54、IMG55を並べた画像群と表示グループG13に属する画像IMG50、IMG51、IMG52を並べた画像群とを表示装置90の画面の上下にそれぞれ表示してもよい。あるいは、表示部500は、表示グループG12に属する画像IMG53、IMG54、IMG55を並べた画像群と表示グループG13に属する画像IMG50、IMG51、IMG52を並べた画像群とを1グループG毎に順番に表示装置90に表示してもよい。
ここで、グループG12に属する画像IMGを含むクラスタの範囲と、グループG13に属する画像IMGを含むクラスタの範囲とは、互いに異なる。このため、2つのグループG12、G13を表示グループGとして選択することにより、表示装置90に並べて表示する画像IMGの範囲に対応する円形度の範囲を、グループG12、G13の一方のみを表示グループGとして選択する場合に比べて、広くできる。すなわち、2つのグループG12、G13を表示グループGとして選択した場合、グループG12、G13の一方のみを表示グループGとして選択する場合に比べて、目視で確認可能な円形度の範囲を広くすることができ、閾値の設定を容易にすることができる。
なお、例えば、2つのグループG11、G12を表示グループGとして選択した場合も、第1の特徴量の値順に並べて表示する画像IMGの範囲に対応する円形度の範囲は、2つのグループG12、G13を表示グループGとして選択した場合とで同じである。しかしながら、円形度“0.95”のクラスタに含まれる画像IMG55と、円形度“1”のクラスタに含まれる画像IMG57とは、互いに異なるグループG12、G11に属し、互いに異なる表示画像特徴量を有する。このため、画像IMG55と画像IMG57との比較では、互いに同じ表示画像特徴量を有する画像IMG51と画像IMG52とを比較する場合に比べて、目視で確認することが困難になるおそれがある。換言すれば、互いに同じ表示画像特徴量を有する画像IMG51、IMG52を含むグループG13をグループG12と一緒に表示グループGとして選択することにより、グループG11を選択する場合に比べて、円形度の比較を容易にすることができる。
このように、選択部402は、複数のグループGのうち、第1の特徴量が示す値が隣接する複数のクラスタに画像IMGを含むグループGを、表示グループGとして優先して選択する。そして、選択部402は、第1の特徴量が示す値が隣接する複数のクラスタに画像IMGを含むグループGを複数抽出し、抽出した複数のグループGを、表示グループGとして選択する。
なお、選択部402の動作は、図11に示す例に限定されない。例えば、選択部402は、2つのグループG10、G13を表示グループGとして選択してもよい。2つのグループG10、G13を表示グループGとして選択した場合も、第1の特徴量の値順に並べて表示する画像IMGの範囲に対応する円形度の範囲は、2つのグループG12、G13を表示グループGとして選択した場合とで同じである。この場合、画像IMG58、IMG59が互いに同じ表示画像特徴量を有するため、目視で確認することが困難になることを抑制することができる。また、表示グループGとして選択されるグループGの数は、3つ以上でもよいし、1つでもよい。例えば、グループG12に属する画像IMGを含むクラスタの範囲と、グループG13に属する画像IMGを含むクラスタの範囲とが互いに同じ場合、選択部402は、グループG12、G13の一方のみを表示グループGとして選択してもよい。
以上、図10から図11に示す実施形態においても、図2から図9に示した実施形態と同様の効果を得ることができる。例えば、閾値設定支援装置102は、複数の画像IMGから抽出した対象物の特徴を表す複数種の特徴量のうち、閾値設定対象の第1の特徴量で画像IMGをクラスタリングする。そして、閾値設定支援装置102は、複数種の特徴量のうちの第2の特徴量に基づいて、複数のクラスタに渡って共通する共通の特徴を有する画像IMGをグループ化し、グループ化した画像IMGのグループの少なくとも1つを表示グループGとして選択する。これにより、閾値設定支援装置102は、撮像装置80から取得した全ての画像IMGを目視で確認する場合に比べて、オペレータが目視で確認する画像IMGの数を低減でき、対象物を分別するための閾値の設定を容易にすることができる。
さらに、閾値設定支援装置102は、複数のグループGのうち、第1の特徴量が示す値が隣接する複数のクラスタに画像IMGを含むグループGを、表示グループGとして優先して選択する。これにより、表示グループGに属する画像IMGを第1の特徴量が示す値順に並べて表示装置90に表示した場合に、表示装置90に並べて表示する複数の画像IMGの範囲に対応する第1の特徴量が示す値が連続する。この結果、表示装置90に並べて表示する複数の画像IMGの範囲に対応する第1の特徴量が示す値が不連続の場合に比べて、第1の特徴量の比較を容易にすることができる。
また、閾値設定支援装置102は、第1の特徴量が示す値が隣接する複数のクラスタに画像IMGを含む複数のグループGにそれぞれ対応する第1の特徴量の範囲が異なる場合、複数のグループGを表示グループGとして選択する。この場合、表示装置90に並べて表示する画像IMGの範囲に対応する第1の特徴量の範囲を、複数のグループGの1つのみを表示グループGとして選択する場合に比べて、広くできる。すなわち、複数のグループGを表示グループGとして選択した場合、複数のグループGの1つのみを表示グループGとして選択する場合に比べて、目視で確認可能な第1の特徴量の範囲を広くすることができ、閾値の設定を容易にすることができる。なお、この場合でも、表示装置90に表示する画像IMGの数は、撮像装置80から取得した全ての画像IMGの数より少ない。
図12は、閾値設定支援プログラムを実行するハードウェアの一例を示す。なお、図1から図11で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、閾値設定支援プログラムは、図1、図2および図10に示した閾値設定支援装置10、100、102等の閾値設定支援装置の機能をコンピュータ1000で実現する。
例えば、コンピュータ1000は、プロセッサ1100、メモリ1200、ハードディスク装置1300、入力インタフェース1400、出力インタフェース1500および光学ドライブ装置1600を有する。プロセッサ1100、メモリ1200、ハードディスク装置1300、入力インタフェース1400、出力インタフェース1500および光学ドライブ装置1600は、バス1700に接続される。閾値設定支援装置10、100、102等の閾値設定支援装置の機能は、例えば、プロセッサ1100と、メモリ1200と、ハードディスク装置1300と、入力インタフェース1400と、出力インタフェース1500とにより実現される。
光学ドライブ装置1600は、光ディスク等のリムーバブルディスク1620を装着可能であり、装着したリムーバブルディスク1620に記録された情報の読み出しおよび記録を実行する。また、コンピュータ1000は、入力インタフェース1400および出力インタフェース1500を介してコンピュータ1000の外部と通信する。例えば、入力インタフェース1400は、画像IMG等を撮像装置80から受け、プロセッサ1100等に転送する。また、入力インタフェース1400は、良品の範囲を示す情報SINF等を入力装置92から受け、プロセッサ1100等に転送する。出力インタフェース1500は、例えば、表示装置90に表示する画像IMG等を表示装置90に出力する。
メモリ1200は、例えば、コンピュータ1000のオペレーティングシステムを格納する。また、メモリ1200は、閾値設定支援装置10、100、102等の閾値設定支援装置の動作をプロセッサ1100が実行するための閾値設定支援プログラム等のアプリケーションプログラムを格納する。また、メモリ1200は、画像IMG、特徴量データベース212および画像データベース214等を記憶してもよい。なお、画像IMG、特徴量データベース212および画像データベース214等は、ハードディスク装置1300に保持されてもよい。
閾値設定支援プログラム等のアプリケーションプログラムは、光ディスク等のリムーバブルディスク1620に記録して頒布することができる。例えば、コンピュータ1000は、閾値設定支援プログラム等のアプリケーションプログラムを、リムーバブルディスク1620から光学ドライブ装置1600を介して読み出し、メモリ1200やハードディスク装置1300に格納してもよい。また、コンピュータ1000は、閾値設定支援プログラム等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信装置(図示せず)を介してダウンロードし、メモリ1200やハードディスク装置1300に格納してもよい。また、コンピュータ1000は、ネットワークに接続する通信装置を介して撮像装置80から画像IMGを取得してもよい。
なお、閾値設定支援プログラムを実行するハードウェアは、図12に示す例に限定されない。例えば、コンピュータ1000は、光学ドライブ装置1600が省かれてもよい。また、例えば、コンピュータ1000は、ハードディスク装置1300の代わりにSSD(Solid State Drive)等を有してもよい。
以上の実施形態において説明した発明を整理して、付記として以下の通り開示する。
(付記1)
対象物を含む複数の画像から、前記対象物の特徴を表す複数種の特徴量を抽出し、
前記複数種の特徴量のうち、前記対象物を分別するための閾値が設定される第1の特徴量に基づいて、前記複数の画像を複数のクラスタに分類し、
前記複数のクラスタに分類した画像のうち、複数のクラスタ間で共通の特徴を有する画像を、前記複数種の特徴量のうちの第2の特徴量に基づいて抽出し、前記共通の特徴を有する画像のグループの少なくとも1つを、表示グループとして選択し、
前記表示グループに属する画像を、前記第1の特徴量が示す値に基づいて並べて表示する
処理をコンピュータに実行させるための閾値設定支援プログラム。
(付記2)
付記1に記載の閾値設定支援プログラムにおいて、
複数の前記グループのうち、画像を含むクラスタの数が多い前記グループを、前記表示グループとして優先して選択する
処理をコンピュータに実行させるための閾値設定支援プログラム。
(付記3)
付記1に記載の閾値設定支援プログラムにおいて、
複数の前記グループのうち、前記第1の特徴量が示す値が隣接する複数のクラスタに画像を含む前記グループを、前記表示グループとして優先して選択する
処理をコンピュータに実行させるための閾値設定支援プログラム。
(付記4)
付記3に記載の閾値設定支援プログラムにおいて、
前記第1の特徴量が示す値が隣接する複数のクラスタに画像を含む前記グループを複数抽出し、抽出した複数の前記グループを、前記表示グループとして選択する
処理をコンピュータに実行させるための閾値設定支援プログラム。
(付記5)
付記1ないし付記4のいずれか1項に記載の閾値設定支援プログラムにおいて、
前記複数種の特徴量のうちの前記第1の特徴量以外の少なくとも2種類の特徴量を、前記第2の特徴量とする
処理をコンピュータに実行させるための閾値設定支援プログラム。
(付記6)
付記1ないし付記5のいずれか1項に記載の閾値設定支援プログラムにおいて、
前記表示グループに属する画像の数が所定の数以下の場合、前記表示グループに属する全ての画像を前記第1の特徴量が示す値に基づいて並べて表示し、
前記表示グループに属する画像の数が前記所定の数より多い場合、前記表示グループに属する画像から前記所定の数以下の画像を選択し、選択した前記所定の数以下の画像を前記第1の特徴量が示す値に基づいて並べて表示する
処理をコンピュータに実行させるための閾値設定支援プログラム。
(付記7)
付記6に記載の閾値設定支援プログラムにおいて、
並べて表示した前記所定の数以下の画像を分別した結果を示す情報を受けた場合、並べて表示した前記所定の数以下の画像から、分別の境界の両側に位置する第1の画像および第2の画像を特定し、前記表示グループに属する画像を前記第1の特徴量の値に基づいて並べた場合に前記第1の画像と前記第2の画像との間に画像が存在する場合、前記第1の画像から前記第2の画像までの間に位置する画像から前記所定の数以下の画像を選択して表示し、表示する前記所定の数以下の画像の範囲に対応する前記第1の特徴量の範囲を絞る
処理をコンピュータに実行させるための閾値設定支援プログラム。
(付記8)
対象物を含む複数の画像から、前記対象物の特徴を表す複数種の特徴量を抽出する抽出部と、
前記複数種の特徴量のうち、前記対象物を分別するための閾値が設定される第1の特徴量に基づいて、前記複数の画像を複数のクラスタに分類する分類部と、
前記複数のクラスタに分類した画像のうち、複数のクラスタ間で共通の特徴を有する画像を、前記複数種の特徴量のうちの第2の特徴量に基づいて抽出し、前記共通の特徴を有する画像のグループの少なくとも1つを、表示グループとして選択する選択部と、
前記表示グループに属する画像を、前記第1の特徴量が示す値に基づいて並べて表示する表示部とを有する
ことを特徴とする閾値設定支援装置。
(付記9)
付記8に記載の閾値設定支援装置において、
前記選択部は、複数の前記グループのうち、画像を含むクラスタの数が多い前記グループを、前記表示グループとして優先して選択する
ことを特徴とする閾値設定支援装置。
(付記10)
付記8に記載の閾値設定支援装置において、
前記選択部は、複数の前記グループのうち、前記第1の特徴量が示す値が隣接する複数のクラスタに画像を含む前記グループを、前記表示グループとして優先して選択する
ことを特徴とする閾値設定支援装置。
(付記11)
付記10に記載の閾値設定支援装置において、
前記選択部は、前記第1の特徴量が示す値が隣接する複数のクラスタに画像を含む前記グループを複数抽出し、抽出した複数の前記グループを、前記表示グループとして選択する
ことを特徴とする閾値設定支援装置。
(付記12)
付記8ないし付記11のいずれか1項に記載の閾値設定支援装置において、
前記選択部は、前記複数種の特徴量のうちの前記第1の特徴量以外の少なくとも2種類の特徴量を、前記第2の特徴量とする
ことを特徴とする閾値設定支援装置。
(付記13)
付記8ないし付記12のいずれか1項に記載の閾値設定支援装置において、
前記表示部は、
前記表示グループに属する画像の数が所定の数以下の場合、前記表示グループに属する全ての画像を前記第1の特徴量が示す値に基づいて並べて表示し、
前記表示グループに属する画像の数が前記所定の数より多い場合、前記表示グループに属する画像から前記所定の数以下の画像を選択し、選択した前記所定の数以下の画像を前記第1の特徴量が示す値に基づいて並べて表示する
ことを特徴とする閾値設定支援装置。
(付記14)
付記13に記載の閾値設定支援装置において、
前記表示部は、並べて表示した前記所定の数以下の画像を分別した結果を示す情報を受けた場合、並べて表示した前記所定の数以下の画像から、分別の境界の両側に位置する第1の画像および第2の画像を特定し、前記表示グループに属する画像を前記第1の特徴量の値に基づいて並べた場合に前記第1の画像と前記第2の画像との間に画像が存在する場合、前記第1の画像から前記第2の画像までの間に位置する画像から前記所定の数以下の画像を選択して表示し、表示する前記所定の数以下の画像の範囲に対応する前記第1の特徴量の範囲を絞る
ことを特徴とする閾値設定支援装置。
(付記15)
コンピュータにより実行される閾値設定支援方法であって、
前記コンピュータが、
対象物を含む複数の画像から、前記対象物の特徴を表す複数種の特徴量を抽出し、
前記複数種の特徴量のうち、前記対象物を分別するための閾値が設定される第1の特徴量に基づいて、前記複数の画像を複数のクラスタに分類し、
前記複数のクラスタに分類した画像のうち、複数のクラスタ間で共通の特徴を有する画像を、前記複数種の特徴量のうちの第2の特徴量に基づいて抽出し、前記共通の特徴を有する画像のグループの少なくとも1つを、表示グループとして選択し、
前記表示グループに属する画像を、前記第1の特徴量が示す値に基づいて並べて表示する
ことを特徴とする閾値設定支援方法。
(付記16)
対象物を含む複数の画像から、前記対象物の特徴を表す複数種の特徴量を抽出し、
前記複数種の特徴量のうち、前記対象物を分別するための閾値が設定される第1の特徴量に基づいて、前記複数の画像を複数のクラスタに分類し、
前記複数のクラスタに分類した画像のうち、複数のクラスタ間で共通の特徴を有する画像を、前記複数種の特徴量のうちの第2の特徴量に基づいて抽出し、前記共通の特徴を有する画像のグループの少なくとも1つを、表示グループとして選択し、
前記表示グループに属する画像を、前記第1の特徴量が示す値に基づいて並べて表示する
処理をコンピュータに実行させるための閾値設定支援プログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。