JP5756443B2 - 画像分類装置及び画像識別装置並びにプログラム - Google Patents

Description

本発明は、画像分類装置及び画像識別装置並びにプログラムに関する。

衣服等の柄やパターンをコンピュータ等の装置に識別させるための手法が検討されている（例えば、非特許文献１〜３）。非特許文献１では、テンプレートマッチングによる方法が示されている。このテンプレートマッチングの方法は、全く同じ柄を識別するには適している。しかし、この方法では、同じ縞模様というカテゴリでも縞模様の幅が異なったり、同じ水玉模様というカテゴリでも水玉の大きさや間隔が異なったりする場合に、これらを同一のカテゴリと識別することが難しい。また、様々な柄に対応するには、柄を予め記憶する辞書の生成において、柄を分類して、柄の種類ごとにスケーリングや位置を揃えた画像を多数収集しなくてはならないという欠点がある。更に、衣服の変形やひずみにも弱いという欠点がある。そのため、この方法においては、衣服を細かいパッチ領域に分割し、領域ごとにアフィン変換をすることで対応している。

非特許文献２では、周波数解析による方法と局所特徴を用いる方法とが示されている。この周波数解析による方法は、比較的単純な幾何学的な柄、すなわち縞模様等の特定の単純な柄を識別する場合には有効と考えられる。また、縞模様とチェックを区別することは容易であると考えられる。しかし、画像の解像度の変化がある場合や間隔の異なる縞模様をどちらも縞模様という同じカテゴリとして識別したい場合、それらを同一のカテゴリとして識別したい場合、それらを同一のカテゴリとして識別することは難しい。
また、局所特徴を用いる方法は、細かい模様を識別するのに適している。また、スケールの変化には強い。しかし、模様のひずみやノイズに弱いと考えられる。まあ、縞模様などの大局的な特徴の抽出には適さない。

非特許文献３では、テクスチャ解析による方法が示されている。このテクスチャ解析による方法は、画像中の繰り返しパターンの方向性を検出することができ、例えば、布地を拡大した画像のように、細かい繰り返しパターンの識別に適している。しかし、花柄や動物柄などのように、細かい単位の繰り返しパターンではなく、多様な変化を含む複雑な柄の識別には適さない。なお、テクスチャ解析は、非特許文献３に記載されているビットラン解析の他、同時生起行列やモーメント特徴などを用いる手法がある。

田口哲典、青木輝勝、安田浩、「"ＭＩＲＡＣＬＥ"システムのための布形状認識の一検討」、電子情報通信学会技術研究報告 ＩＥ２００２−１１３、ｐｐ．５５−５８、２００２年 山口順平、嶋田和孝、榎田修一、江島俊朗、遠藤勉、「顔特徴とコンテキスト情報に基づく人物識別」、日本知能情報ファジイ学会誌 Ｖｏｌ．２３、Ｎｏ．２、ｐｐ．１３７−１４５、２０１１年 森俊夫、井出和美、「レース模様のテクスチャ特徴とビットラン解析」、岐阜女子大学紀要、Ｎｏ．３０、ｐｐ．１６１−１６６、２０１０年

しかしながら、非特許文献１〜３に示されている方法では、柄の特徴などを記憶した辞書の作成や、識別結果などを安定して得るためには、辞書作成用のデータや識別領域を切り出す際に衣服の折り目や外形と背景の境界などのない部分を選択する必要があるが、これを手動で行うことには手間が掛かり、大量のデータを用意することは困難であるという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、辞書の作成や識別結果を安定して得られるようにするとともに、柄を識別する精度を向上させることができる画像分類装置及び画像識別装置並びにプログラムを提供することにある。

上記問題を解決するために、本発明における画像分類装置は、学習画像及び該学習画像に含まれる柄を示すラベルの複数の組み合わせが学習データとして入力される画像分類装置であって、前記学習画像に撮像されている生地の柄が不連続な領域又は生地のしわがある領域を検出し、前記学習画像内の当該領域以外の領域であって前記生地の柄が含まれる領域を切り出す第１の画像切り出し部と、前記第１の画像切り出し部が切り出した画像に含まれる柄の特徴を示す特徴量を複数抽出する第１の特徴量抽出部と、前記第１の特徴量抽出部が抽出した複数の特徴量ごとに代表ベクトルを抽出する代表ベクトル抽出部と、前記代表ベクトル抽出部が抽出した代表ベクトルに基づいて該代表ベクトルに対応する特徴量のヒストグラムを生成する第１の特徴ヒストグラム生成部と、前記第１の特徴ヒストグラム生成部が生成するヒストグラムと、前記画像に対応するラベルとに基づいて、ヒストグラムに対する重み係数である識別パラメータとを算出し、算出した識別パラメータと該識別パラメータに対応する代表ベクトルとを対応付けた柄分類データを生成する学習部とを備えていることを特徴とする。

また、本発明における画像分類装置は、学習画像及び該学習画像に含まれる柄を示すラベルの複数の組み合わせが学習データとして入力される画像分類装置であって、前記学習画像に撮像されている生地の柄が不連続な領域又は生地のしわがある領域を検出し、前記学習画像内の当該領域以外の領域であって前記生地の柄が含まれる領域を切り出す第１の画像切り出し部と、前記第１の画像切り出し部が切り出した画像に含まれる柄の特徴を示す特徴量を複数抽出する第１の特徴量抽出部と、前記第１の特徴量抽出部が抽出した複数の特徴量を連結して得られる特徴量ごとに代表ベクトルを抽出する代表ベクトル抽出部と、前記代表ベクトル抽出部が抽出した代表ベクトルに基づいて該代表ベクトルに対応する特徴量のヒストグラムを生成する第１の特徴ヒストグラム生成部と、前記第１の特徴ヒストグラム生成部が生成するヒストグラムと、前記画像に対応するラベルとに基づいて、ヒストグラムに対する重み係数である識別パラメータとを算出し、算出した識別パラメータと該識別パラメータに対応する代表ベクトルとを対応付けた柄分類データを生成する学習部とを備えていることを特徴とする。

また、本発明における画像識別装置は、入力される画像に撮像されている生地の柄が不連続な領域又は生地のしわがある領域を検出し、前記画像内の当該領域以外の領域であって前記生地の柄が含まれる領域を切り出す第２の画像切り出し部と、前記第２の画像切り出し部が切り出した画像に含まれる柄の特徴を示す特徴量を複数抽出する第２の特徴量抽出部と、上記に記載の画像分類装置によって生成された柄分類データに含まれる代表ベクトルに基づいて、前記第２の特徴量抽出部が抽出した複数の特徴量ごとにヒストグラムを生成する第２の特徴ヒストグラム生成部と、前記画像分類装置に記憶されている柄分類データに含まれる識別パラメータと、前記第２の特徴ヒストグラム生成部が生成したヒストグラムとに基づいて、前記入力される画像の生地の柄を識別する識別部とを備えていることを特徴とする。

また、本発明におけるプログラムは、上記に記載の画像分類装置としてコンピュータを機能させるためのプログラムである。
また、本発明におけるプログラムは、上記に記載の画像識別装置としてコンピュータを機能させるためのプログラムである。

この発明によれば、生地の柄が不連続な領域やしわのある領域などのひずみが少ない領域を画像から切り出し、切り出した画像から複数の特徴量を抽出し、抽出した特徴量を組み合わせて識別パラメータを算出することにより、辞書の作成や識別結果を安定して得られるようにすることができる。また、ひずみが少ない領域の画像に基づいて得られた識別パラメータを用いて柄の識別を行うことにより、柄を識別する精度を向上させることができる。

本実施形態における画像分類装置１の構成を示す概略ブロック図である。 同実施形態における画像切り出し部１１が方法例１を用いて行う処理の一例を示す図である。 同実施形態における画像識別装置２の構成例を示す概略ブロック図である。 同実施形態における画像識別装置２による柄の識別結果の一例を示す図である。 画像分類装置１の変形例としての画像分類装置１Ａの構成を示す概略ブロック図である。

以下、図面を参照して、本発明の一実施形態における画像分類装置及び画像識別装置並びにプログラムを説明する。
図１は、本実施形態における画像分類装置１の構成を示す概略ブロック図である。画像分類装置１は、衣服やバッグ等が撮像された画像（学習画像）と、当該画像に撮像されている衣服やバッグ等の生地の柄（又はパターン）を識別するラベルとを学習データとして入力し、柄を識別するための情報である柄分類データを生成して記憶する。本実施形態における画像分類装置１は、同図に示すように、画像切り出し部１１、特徴抽出部１２、代表ベクトル抽出部１３、特徴ヒストグラム生成部１４、学習部１５、及び、代表ベクトル・識別パラメータ記憶部１６を備えている。

画像切り出し部１１は、入力された画像に含まれる衣服等の形状やしわの影響を受けずに安定してテクスチャを得られる領域を画像から選択して切り出す。画像切り出し部１１は、切り出した画像を特徴抽出部１２に出力する。換言すると、画像切り出し部１１は、画像内の生地の柄が不連続な領域又は生地のしわがある領域を検出し、画像内の当該領域以外の領域であって生地の柄が含まれる領域の画像を切り出す。以下に、画像切り出し部１１がしわの少ない領域を入力された画像から切り出す方法例を３通り示す。

（方法例１）
方法例１に示す方法では、モホロジ処理を利用して袖や襟元などの形状の影響を除いた領域を切り出す。具体的には、まず入力された画像を二値化する。二値化した画像にモホロジ処理のオープニングを施す。なお、モホロジ処理におけるオープニングとは、収縮（erosion）ののち膨張（dilation）を行うことで凹凸のノイズを除去する処理である。
オープニングを施して得られた二値画像をマスクとして、入力された画像からしわの少ない領域を切り出し、切り出した画像を出力する。

図２は、本実施形態における画像切り出し部１１が方法例１を用いて行う処理の一例を示す図である。同図において、画像例１は縞模様のカットソーの画像（Ａ）からしわの少ない領域を切り出す例を示している。画像（Ａ）に対する二値化により画像（Ｂ）を生成し、画像（Ｂ）に対してオープニングを施して画像（Ｃ）を得る。この画像（Ｃ）をマスクとすることにより画像（Ａ）からしわの少ない領域を切り出した画像（Ｄ）を得ることができる。
また、画像例２はチェック柄のシャツの画像（Ｅ）からしわの少ない領域を切り出す例を示している。画像例１と同様に、画像（Ｅ）に対する二値化により画像（Ｆ）を生成し、画像（Ｆ）に対してオープニングを施して画像（Ｇ）を得る。画像（Ｇ）をマスクとして入力された画像（Ｅ）からしわの少ない領域を切り出した画像（Ｈ）を得ることができる。

（方法例２）
方法例２では、主に衣類の場合、公知の技術による衣服画像の確率モデルあてはめを用いて、ジャケットやワンピースなどの形状のカテゴリごとに、衣服の襟、形、裾などを大まかに位置合わせすることができる。このような技術は、例えば、参考文献１（数藤恭子、島村潤、森本正志、「Procrustes解析を用いた形状マッチング手法の提案と衣服画像における類似性判定への適用」、信学技法、ｖｏｌ．１１、ｎｏ．３５３、ＰＲＭＵ２０１１−１３９、ｐｐ．８３−８８、２０１１年）に記載されている。位置合わせの結果、衣服画像の特徴点が確率モデルのどの分布に属するかによって、衣服のどのあたりの特徴点なのかを推定できる。そこで、カテゴリごとにしわの少ない領域の分布を示す情報を予め記憶しておくことで、しわの少ない領域の特徴点を特定し、特定した特徴点を含む周辺の領域を画像から切り出す。これにより、入力された画像からしわの少ない領域を切り出した画像を得ることができる。

（方法例３）
公知の技術のしわ特徴を検出する技術を用いて、入力された画像からしわ特徴の少ない領域を切り出す。これについては、同様のサンプル画像に基づいてしわが生じている場合の周波数成分を予め学習しておき、その周波数成分の少ない領域を抽出したり、公知の技術によるしわ特徴を検出する技術を用いて、しわ特徴の少ない領域を抽出したりすることができる。公知の技術としては、例えば、参考文献２（山崎公俊、稲葉雅幸、「生活支援ロボットのためのしわ特徴に基づく衣類発見法」、日本ロボット学会学術講演会予稿集、２Ｒ１−０５、２００９年）に記載されている技術がある。

特徴抽出部１２は、画像切り出し部１１が切り出した画像から異なる特徴を抽出するｋ（ｋ≧２）個の特徴抽出部を有する。図１に示す例では、特徴抽出部１２は、テクスチャ特徴抽出部１２１や、色特徴抽出部１２２、形状特徴抽出部１２３などを有している。
テクスチャ特徴抽出部１２１、色特徴抽出部１２２、形状特徴抽出部１２３などは、衣服などの見た目の属性に関わる特徴を示す特徴量を抽出する。例えば、テクスチャ特徴抽出部１２１は、画像に撮像されている生地の柄に対する、ＳＩＦＴ（Scale Invariant Feature Transform）などの局所特徴量、Ｈｏｇ特徴量、勾配特徴、周波数特徴などを画像から抽出する。

色特徴抽出部１２２は、画像に撮像されている生地の柄に対する、ＲＧＢ、Ｌａｂ、ＨＳＶなどの表色系（カラーモデル）における、画像切り出し部１１が切り出した画像のヒストグラムなどを出力する。
形状特徴抽出部１２３は、衣服全体の輪郭形状の特徴を表現する特徴量を抽出する。例えば、形状特徴抽出部１２３は、予め用意された特定の輪郭形状のテンプレートと画像に含まれる形状との距離や、複雑度を示すフラクタル次元や、曲率に基づく特徴量などを抽出する。

このように異なる特徴に応じて得られる特徴量を組み合わせて用いることにより、衣服全体の形状と柄とに相関が高い場合などにおいて柄認識の精度を高められる可能性がある。

代表ベクトル抽出部１３は、特徴抽出部１２において画像から抽出するｋ個の特徴量に対応して、ｋ個のベクトル抽出部１３１〜１３ｋを有している。例えば、図１に示される例では、ベクトル抽出部１３１にはテクスチャ特徴抽出部１２１が抽出した特徴量が入力され、ベクトル抽出部１３２には色特徴抽出部１２２が抽出した特徴量が入力され、ベクトル抽出部１３３には形状特徴抽出部１２３が抽出した特徴量が入力される。

各ベクトル抽出部１３１〜１３ｋは、特徴抽出部１２において得られた各特徴量をクラスタリングし、代表ベクトルを抽出する。例えば、テクスチャ特徴抽出部１２１が抽出する特徴量がＳＩＦＴ特徴量である場合、ベクトル抽出部１３１が抽出する代表ベクトルは、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅ手法のＶｉｓｕａｌ Ｗｏｒｄに相当するものになる。ここで、代表ベクトルは、特徴抽出部１２が有する各部において得られる特徴量ごとに、各ベクトル抽出部１３１〜１３ｋが特徴量に対してクラスタリングをして求める。

特徴ヒストグラム生成部１４は、代表ベクトル抽出部１３において抽出される代表ベクトルに対応する、ｋ個のヒストグラム生成部１４１〜１４ｋを有している。ヒストグラム生成部１４ｉ（ｉ＝１，２，…，ｋ）には、ベクトル抽出部１３ｉが抽出した代表ベクトルが入力される。ヒストグラム生成部１４ｉ（ｉ＝１，２，…，ｋ）は、入力された代表ベクトルをｂｉｎの軸とするヒストグラムを生成する。
以上の代表ベクトル抽出部１３と特徴ヒストグラム生成部１４とにおける処理の考え方は、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅ手法に相当するものである。Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅ手法については、例えば、参考文献３（永橋知行、井原有仁、藤吉弘亘、「前景と背景情報の共起表現を用いたＢａｇ−ｏｆ−ｆｅａｔｕｒｅによる画像分類」、画像の認識・理解シンポジウムＭＩＲＵ２０１０、２０１０年７月）などに示されている。

学習部１５は、画像とともに学習データとして入力されるラベルを参照しながら、衣服等の柄のカテゴリを分類する識別パラメータを学習する。学習部１５において用いられる分類器として、例えば、ＳＶＭ（Support Vector Machine）を用いることができる。この場合は、柄のカテゴリがＡ〜Ｆの６通りあったとすると、Ａの柄を示す識別パラメータ、Ｂの柄を示す識別パラメータ、…、Ｆの柄を示す識別パラメータというように、６種類それぞれの識別パラメータを学習する。換言すると、学習部１５は、入力されるラベルと、特徴ヒストグラム生成部１４において生成される各特徴量のヒストグラムとに基づいて、ラベルに対応する重み係数である識別パラメータを算出する。学習部１５は、異なる多数の学習データを用いた学習により得られた、識別パラメータと代表ベクトルとを対応付けた柄分類データを生成し、生成した柄分類データを代表ベクトル・識別パラメータ記憶部１６に記憶させる。
なお、特徴ヒストグラム生成部１４が生成した特徴ヒストグラム間の距離である特徴ヒストグラム間距離を、識別パラメータ及び代表ベクトルと対応付けた柄分類データを代表ベクトル・識別パラメータ記憶部１６に記憶させるようにしてもよい。

図３は、本実施形態における画像識別装置２の構成例を示す概略ブロック図である。画像識別装置２は、画像分類装置１が生成した柄分類データ、すなわち代表ベクトル・識別パラメータ記憶部１６に記憶されている柄分類データに基づいて、入力される画像に含まれる柄を識別し、入力される画像の柄に対応するカテゴリを示す情報を出力する。画像識別装置２は、図３に示すように、画像切り出し部２１、特徴抽出部２２、特徴ヒストグラム生成部２３、及び、識別部２４を備えている。

画像切り出し部２１は、画像分類装置１が備えている画像切り出し部１１と同様に、入力される画像において、衣服等の形状やしわの影響を受けずに安定してテクスチャを得られる領域を選択する。画像切り出し部２１は、選択した領域を切り出し、切り出した領域の画像を特徴抽出部２２に出力する。

特徴抽出部２２は、特徴抽出部１２と同様に、ｋ個の異なる特徴ごとに当該特徴を抽出する特徴抽出部を有する。図３に示されている例では、特徴抽出部２２は、テクスチャ特徴抽出部２２１や、色特徴抽出部２２２、形状特徴抽出部２２３などを有している。テクスチャ特徴抽出部２２１、色特徴抽出部２２２、及び、形状特徴抽出部２２３は、図１に示されているテクスチャ特徴抽出部１２１、色特徴抽出部１２２、及び、形状特徴抽出部１２３と同じ構成を有している。

特徴ヒストグラム生成部２３は、特徴ヒストグラム生成部１４と同様に、特徴抽出部２２において抽出された特徴量に対応する、ｋ個のヒストグラム生成部２３１〜２３ｋを有している。ヒストグラム生成部２３ｉ（ｉ＝１，２，…，ｋ）は、入力される特徴量に対応する代表ベクトルと識別パラメータとであって代表ベクトル・識別パラメータ記憶部１６に柄分類データとして記憶されている代表ベクトルと識別パラメータとを読み出す。ヒストグラム生成部２３ｉは、特徴抽出部２２から入力される特徴量から、読み出した代表ベクトルをｂｉｎの軸とするヒストグラムを生成する。ヒストグラム生成部２３ｉは生成した特徴量のヒストグラムを識別部２４に出力する。

識別部２４は、代表ベクトル・識別パラメータ記憶部１６に記憶されている柄分類データに含まれる柄（パターン）の数（ｍ）に応じたｍ個の識別器２４１〜２４ｍを有している。代表ベクトル・識別パラメータ記憶部１６に記憶されている柄分類データに含まれる識別パラメータごと、換言すると画像識別装置２が識別の対象とする柄ごとに、識別器２４１〜２４ｍは設けられる。各識別器２４１〜２４ｍは、代表ベクトル・識別パラメータ記憶部１６に記憶されている柄分類データと、特徴ヒストグラム生成部２３が生成する各特徴量のヒストグラムとに基づいて、入力された画像に自身に対応する柄が含まれているか否かを判定し、判定結果を出力する。各識別器２４１〜２４ｍは、学習部１５において用いられた手法と同じ識別手法を用いて、柄分類データに含まれる識別パラメータと、特徴量のヒストグラムとから、入力された画像に自身に対応する柄が含まれているか否かを判定する。

例えば、識別器２４１〜２４ｍがＳＶＭであり、柄のカテゴリがＡ〜Ｆの６通りであったとすると、代表ベクトル・識別パラメータ記憶部１６にはＡの柄の識別パラメータ、Ｂの柄の識別パラメータ、…、Ｆの柄の識別パラメータそれぞれに対応する代表ベクトルとが記憶されている。すなわち、画像分類装置１がＡ〜Ｆの柄を学習し、学習により得られた柄ごとの代表ベクトルと識別パラメータとの組み合わせが代表ベクトル・識別パラメータ記憶部１６に記憶される。この場合、画像識別装置２に備えられる識別器２４１〜２４６はＡ〜Ｆの柄に対応する。各識別器２４１〜２４６は、入力された画像に自身に対応する柄が含まれる場合に所定の値（例えば、「１」）を出力し、当該画像に当該柄が含まれない場合に異なる値（例えば、「０」）を出力する。識別部２４は、各識別器２４１〜２４６の出力に基づいて、入力された画像に含まれる柄を識別し、当該柄を示す情報を出力する。
また、各識別器２４１〜２４ｍの出力は、１または０の二値とするほか、２クラス判別器による多クラス判別器を構成し、入力画像に各柄が含まれる確率（連続値）とすることも可能である。その場合、識別部２４は、各識別器２４１〜２４６の出力に基づいて、入力された画像に各柄が含まれる確率を出力する。例えば合計して１になる数字の並び「０．１，０．０５，０．１５，０．６，０．０４，０．０６」などである。

なお、複数の識別器２４１〜２４ｍから「１」が出力される場合もあり得る。そのような場合には、複数の柄を示す情報が出力される。画像識別装置２が出力する柄を一つの柄に決定するには、画像切り出し部２１において複数の異なる領域を切り出すようにし、複数の領域の画像に基づいて得られる識別器２４１〜２４ｍの出力結果の多数決を採るようにしてもよい。
また、識別器２４１〜２４ｍの出力結果を連続値とする場合には、最も数値の大きい柄を識別結果とする。例えば、識別部２４の出力が上述の例の数字の並びである場合、柄Ｄであると判定する。

図４は、本実施形態における画像識別装置２による柄の識別結果の一例を示す図である。なお、画像識別装置２が用いる柄分類データは、画像分類装置１における学習する際、すなわち画像分類装置１において柄分類データを生成する際に、柄のラベルとしてｂｏｒｄｅｒ（縞柄）、ｄｏｔｓ（水玉）、ｃｈｅｃｋ（格子柄）、ｚｅｂｒａ（しまうま柄）、ｌｅｏｐａｒｄ（豹柄）、ｐｙｔｈｏｎ（蛇柄）、及び、ｌｉｂｅｒｔｙ（小花柄）の７種類とした。また、テクスチャ特徴抽出部１２１、２２１ではＳＩＦＴを用いて特徴量を抽出し、色特徴抽出部１２２、２２２ではＲＧＢを用いて特徴量を抽出した。形状特徴抽出部１２３、２２３は用いていない。柄を識別する対象としての画像は、インターネット上のウェブ購入サイトに表示されていた衣服の画像である。

図４に示されているように、従来では同じ柄として識別が困難であった、幅の異なる縞柄や格子柄を同じ縞柄や格子柄として識別したり、大きさの異なる水玉それぞれを同じ水玉柄として認識したりできることが確認できる。また、複雑な動物柄や小花柄もかなり認識できていることが確認できる。

本実施形態における画像分類装置１及び画像識別装置２を用いることにより、衣服やバッグなどの商品の柄を識別する精度を向上させることができる。
また、図４に示されているように、縞柄において縞の幅や間隔によらず縞柄を識別したり、水玉の柄において水玉の大きさや密度によらず水玉柄を識別したりすることができ、カテゴリ内のばらつきを吸収して柄を識別することができるので、画像分類装置１及び画像識別装置２は検索等の用途で商品の模様を分類する際に好適である。
また、画像分類装置１及び画像識別装置２は、複数の特徴を抽出する特徴抽出部１２、２２を備え、抽出された特徴に基づいて柄を識別するようにしたので、衣服などにおける色と柄、柄と柄、柄と形状の相関を考慮して柄を識別することができ、柄の識別精度を向上させることができる。

また、画像分類装置１及び画像識別装置２は、画像切り出し部１１、２１を備えていることにより、入力される画像内の衣服にしわやひずみがあっても、しわやひずみの領域を除いた画像を用いることができるので、柄の識別精度を向上させることができる。
また、特徴抽出部１２、２２では、複数の特徴に対応する特徴量を抽出することにより、例えば非特許文献１や非特許文献２に記載されている技術の欠点であった画像のスケーリングや解像度により生じる柄の識別精度の低下を抑えることができる。

また、画像分類装置１は、柄以外の特徴、例えば色や形状の特徴を含めた複数の特徴の特徴量に基づいた代表ベクトルと、その重みとを学習する学習部１５を備えたことにより、柄のみを単独で識別する場合に比べ、識別精度を向上させることができる。また、柄以外の特徴を含めた複数の特徴を用いて識別をすることにより、花柄は赤系の衣服に多い、動物柄は茶色系の衣服に多い、縞柄は寒色系の衣服に多い、といった傾向や、花柄はスカートやワンピースの形状を有する衣服に多いがジャケットの形状を有する衣服には少ない、チェック柄はシャツの形状を有する衣服に多いがズボンの形状を有する衣服には少ない、等の傾向がある場合は、柄の識別精度を高精度化することが可能になる。

（変形例）
図１に示した画像分類装置１では、特徴抽出部１２において抽出された特徴量ごとに、ベクトル抽出部１３１〜１３ｋが代表ベクトルを抽出する構成について説明した。しかし、これに限ることなく、特徴抽出部１２において抽出された特徴量を連結して得られる特徴量を用いて代表ベクトルを抽出するようにしてもよい。
図５は、画像分類装置１の変形例としての画像分類装置１Ａの構成を示す概略ブロック図である。同図に示されている画像分類装置１Ａにおいて、画像分類装置１と異なる点は、特徴抽出部１２で抽出された特徴量が組み合わされて、ベクトル抽出部３３１〜３３ｋに入力される点である。組み合わされた特徴量は、上述のように、連結され一つの特徴量としてベクトル抽出部３３１〜３３ｋにおいてクラスタリングされ、代表ベクトルが求められる。例えば、テクスチャ特徴量が１２８次元であり、色特徴量が２７次元である場合、この２つの特徴量を組み合わせた１５５次元の特徴量としてクラスタリングや代表ベクトルの算出をベクトル抽出部３３１〜３３ｋが行う。これにより更に精度の高い柄の識別を行うことができる。この場合、画像識別装置２においても同様に、特徴抽出部２２において抽出された特徴量を連結して得られる特徴量に基づいて、ヒストグラムを生成する。

なお、本発明における画像分類装置と画像識別装置との機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部の処理を行わせるようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１、１Ａ…画像分類装置
２…画像識別装置
１１、２１…画像切り出し部
１２、２２…特徴抽出部
１３…代表ベクトル抽出部
１４、２３…特徴ヒストグラム生成部
１５…学習部
１６…代表ベクトル・識別パラメータ記憶部
２４…識別部
３３…代表ベクトル抽出部
１２１、２２１…テクスチャ特徴抽出部
１２２、２２２…色特徴抽出部
１２３、２２３…形状特徴抽出部
１３１、１３２、１３３、１３ｋ…ベクトル抽出部
１４１、１４２、１４３、１４ｋ、２３１、２３２、２３ｋ…ヒストグラム生成部
２４１、２４２、２４ｍ…識別器
３３１、３３２、３３３、３３ｋ…ベクトル抽出部

Claims (5)

1. 学習画像及び該学習画像に含まれる柄を示すラベルの複数の組み合わせが学習データとして入力される画像分類装置であって、
   前記学習画像に撮像されている生地の柄が不連続な領域又は生地のしわがある領域を検出し、前記学習画像内の当該領域以外の領域であって前記生地の柄が含まれる領域を切り出す第１の画像切り出し部と、
   前記第１の画像切り出し部が切り出した画像に含まれる柄の特徴を示す特徴量を複数抽出する第１の特徴量抽出部と、
   前記第１の特徴量抽出部が抽出した複数の特徴量ごとに代表ベクトルを抽出する代表ベクトル抽出部と、
   前記代表ベクトル抽出部が抽出した代表ベクトルに基づいて該代表ベクトルに対応する特徴量のヒストグラムを生成する第１の特徴ヒストグラム生成部と、
   前記第１の特徴ヒストグラム生成部が生成するヒストグラムと、前記画像に対応するラベルとに基づいて、ヒストグラムに対する重み係数である識別パラメータとを算出し、算出した識別パラメータと該識別パラメータに対応する代表ベクトルとを対応付けた柄分類データを生成する学習部と
   を備えていることを特徴とする画像分類装置。
2. 学習画像及び該学習画像に含まれる柄を示すラベルの複数の組み合わせが学習データとして入力される画像分類装置であって、
   前記学習画像に撮像されている生地の柄が不連続な領域又は生地のしわがある領域を検出し、前記学習画像内の当該領域以外の領域であって前記生地の柄が含まれる領域を切り出す第１の画像切り出し部と、
   前記第１の画像切り出し部が切り出した画像に含まれる柄の特徴を示す特徴量を複数抽出する第１の特徴量抽出部と、
   前記第１の特徴量抽出部が抽出した複数の特徴量を連結して得られる特徴量ごとに代表ベクトルを抽出する代表ベクトル抽出部と、
   前記代表ベクトル抽出部が抽出した代表ベクトルに基づいて該代表ベクトルに対応する特徴量のヒストグラムを生成する第１の特徴ヒストグラム生成部と、
   前記第１の特徴ヒストグラム生成部が生成するヒストグラムと、前記画像に対応するラベルとに基づいて、ヒストグラムに対する重み係数である識別パラメータとを算出し、算出した識別パラメータと該識別パラメータに対応する代表ベクトルとを対応付けた柄分類データを生成する学習部と
   を備えていることを特徴とする画像分類装置。
3. 入力される画像に撮像されている生地の柄が不連続な領域又は生地のしわがある領域を検出し、前記画像内の当該領域以外の領域であって前記生地の柄が含まれる領域を切り出す第２の画像切り出し部と、
   前記第２の画像切り出し部が切り出した画像に含まれる柄の特徴を示す特徴量を複数抽出する第２の特徴量抽出部と、
   請求項１又は請求項２に記載の画像分類装置によって生成された柄分類データに含まれる代表ベクトルに基づいて、前記第２の特徴量抽出部が抽出した複数の特徴量ごとにヒストグラムを生成する第２の特徴ヒストグラム生成部と、
   前記画像分類装置に記憶されている柄分類データに含まれる識別パラメータと、前記第２の特徴ヒストグラム生成部が生成したヒストグラムとに基づいて、前記入力される画像の生地の柄を識別する識別部と
   を備えていることを特徴とする画像識別装置。
4. 請求項１又は請求項２に記載の画像分類装置としてコンピュータを機能させるためのプログラム。
5. 請求項３に記載の画像識別装置としてコンピュータを機能させるためのプログラム。