JP4915678B2 - 特徴抽出装置および特徴抽出方法 - Google Patents

Description

本発明は、特徴抽出装置および特徴抽出方法に関し、特にカラー画像データから特徴データを抽出する特徴抽出装置および特徴抽出方法に関するものである。

従来、画像の色の情報に基づいて画像や対象物を認識／識別する各種の方法が提案されている。例えば下記の特許文献１には、色彩的特徴ベクトルを使用して、大量の物品の中に混入した異種物品を高速かつ高精度に判別する物品判別方法が開示されている。この物品判別方法は、形状的特徴ベクトル抽出ステップ（Step２）と、色彩的特徴ベクトル抽出ステップ（Step３）と、前記色彩的特徴ベクトルと前記形状的特徴ベクトルを合成して、判別対象物品の画像の特徴ベクトルを作成する特徴ベクトル作成ステップ（Step４）と、正準相関解析で得られた変換行列によって前記特徴ベクトルを写像して新特徴ベクトルを算出する次元圧縮ステップ（Step５）と、前記判別対象物品の画像の新特徴ベクトルと基準クラスに属するサンプル画像の新特徴ベクトルの間の距離を算出する距離算出ステップ（Step６）と、前記距離を閾値判別して、前記対象物品が前記基準クラスに属すか否かを判別する判別ステップ（Step７）とを有する。
特開２００６−２６０３１０号公報

前記した従来の色彩的特徴ベクトルは、判別対象物品の画像に属する画素の各色成分の輝度の平均値を成分とするベクトルであるために形状の情報は全く含まれておらず、別途形状に関する情報を抽出する必要があるという問題点があった。また、上記方法では色と形状の相関情報については抽出できないという問題点もあった。

本発明の目的は、上記したような従来例の問題点を解決し、色と形状の情報を同時に抽出可能な新規な特徴データを抽出することができる特徴抽出装置および特徴抽出方法を提供する点にある。

本発明の特徴抽出装置は、予め定められた基準色ベクトルを参照してカラー画像データの各画素の色ベクトルを量子化する量子化手段と、前記量子化手段によって量子化された色ベクトルを用いて局所自己相関値を算出する局所自己相関値算出手段と、算出された前記局所自己相関値を足し合わせる積算手段とを備えたことを主要な特徴とする。

また、前記した特徴抽出装置において、更に、カラー画像データの色空間を変換する色空間変換手段を備えた点にも特徴がある。また、前記した特徴抽出装置において、前記色空間変換手段は非線形変換する点にも特徴がある。

また、前記した特徴抽出装置において、前記色空間変換手段は、色空間をＲＧＢ空間からＨＳＶ空間へ変換し、前記基準色ベクトルは、黒を含まないＨＳＶ空間の７色、黒を含むＨＳＶ空間の８色あるいは黒および中間明度の色を含むＨＳＶ空間の１５色のいずれかである点にも特徴がある。また、前記した特徴抽出装置において、前記局所自己相関値算出手段は、相関を取るための積に重みを乗算する重み付け手段を備えた点にも特徴がある。

また、前記した特徴抽出装置において、前記基準色ベクトルは、直交する座標軸によって表されるＲＧＢ空間全体を示す立方体の全ての頂点の８色あるいは前記８色に加えてＲＧＢの内の少なくとも２値が中間明度であり、他の値が０か１である基準色を含むＲＧＢ空間の１５色のいずれかである点にも特徴がある。また、前記した特徴抽出装置において、更に、基準色ベクトルをカラー画像データの色情報のクラスタリングにより決定する基準色ベクトル決定手段を備えた点にも特徴がある。

本発明の特徴抽出方法は、予め定められた基準色ベクトルまでの距離に基づいてカラー画像データの各画素の色ベクトルを量子化するステップ、前記量子化手段によって量子化された色ベクトルを用いて局所自己相関値を算出するステップ、算出された前記局所自己相関値を足し合わせるステップを含むことを主要な特徴とする。

本発明によれば、以下のような効果がある。
（１）相関により色と形状の情報を同時に抽出可能であり、対象認識に必要な情報が効果的に抽出され、対象物の識別能力が高くなる。
（２）対象物の切り出しを行わず（位置不変性）に複数の対象物を同時に認識可能（加法性）であるので、対象物がどこに何個あるかを予め認識する必要が無い。

（３）全体の特徴次元としては大きくなるが、各ピクセル（画素）において計算する特徴要素数は非常に少ないため、特徴抽出のための計算量が少ない。また、計算量は対象物の個数に依らず一定である。従って、高速（実時間）処理が可能である。

以下の実施例においては、デジタルカメラで撮影した画像データを読み込んでオフラインで処理する例について説明するが、本発明の特徴抽出処理は、例えばビデオカメラで撮影した動画像に対してリアルタイムに実行することも可能である。

図１は、本発明による特徴抽出装置の構成を示すブロック図である。デジタルカメラ１０は対象物の画像を撮影し、ケーブルあるいはメモリカード等を介して画像ファイルをコンピュータ１１に転送する。コンピュータ１１は例えば画像ファイルを取り込むための汎用インターフェイス回路あるいはメモリカードリーダを備えた周知のパソコン（ＰＣ）であってもよい。本発明は、パソコンなどの周知の任意のコンピュータ１１に後述する処理を実行するプログラムを作成、インストールすることにより実現される。

モニタ装置１２はコンピュータ１１の周知の出力装置であり、例えば対象物の種別や検出個数などの認識結果、画像などをオペレータに表示するために使用される。キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。なお、デジタルカメラ１０は任意の通信網を介してコンピュータ１１と接続されていてもよい。

図２は、本発明の実施例１の色情報特徴量生成処理の内容を示すフローチャートである。実施例１は色空間をＲＧＢ空間からＨＳＶ空間へと変換する例である。Ｓ１０においては、予めデジタルカメラ１０から転送され、保存されているカラー画像データファイルを読み込む。画像データがＪＰＥＧ形式等に圧縮／符号化されている場合には、周知の方法によって例えば画素毎にＲ（赤）、Ｇ（緑）、Ｂ（青）の輝度値を持つＲＧＢビットマップデータに変換する。

Ｓ１１においては、各画素の色情報をＲＧＢ空間からＨＳＶ色空間へ変換する。ＨＳＶ色空間とは色相を表すＨ（Hue）、彩度を表すＳ（Saturation）、明度を表すＶ（Value）の３成分からなる周知の色空間である。Ｒ、Ｇ、Ｂそれぞれの輝度値が０．０〜１．０の範囲であるとき、Ｈ、Ｓ、Ｖの値は次の数式１によって求められる。

但し、ＭＡＸ、ＭＩＮはそれぞれＲ、Ｇ、Ｂの輝度値の内の最大値および最小値であり、ｍｏｄは３６０を法とするモジュロ演算子である。求められたＨは０．０〜３６０．０までの値を取り得る。ＳおよびＶの値は０．０〜１．０の範囲である。

図３は、ＨＳＶ空間および７基準色の位置を示す説明図である。ＨＳＶ色空間は図３に示すような倒立した円錐形の内部空間として表すことができる。円錐の中心軸がＶ（明度）に対応し、中心軸から画素色までの距離がＳ（彩度）に対応し、中心軸および赤の点を含む平面と、画素色から中心軸に降ろした垂線とのなす水平角度（０〜３６０）がＨ（色相）と対応している。ＨＳＶ色空間は人間が色を知覚する方法と類似している。

図３左側は、ＨＳＶ色空間を表す円錐を斜め上方から見た斜視図であり、図３右側は、円錐を上側から見た平面図である。７個の基準色は全てＶ＝１であり、白はＳ＝０、その他はＳ＝１であり、かつＨが０（赤）、６０（黄）、１２０（緑）、１８０（水色）、２４０（青）、３００（紫）である。なお、基準色としては、前記した７基準色にＶ＝０の黒を加えた８基準色を採用してもよい。

図４は、ＨＳＶ空間における１５基準色の位置を示す説明図である。１５個の基準色位置は、図３に示した７個の基準色に加えて、図３に示した７個の基準色のＶ値を０．５に変換した７色およびＶ＝０（黒）を足したものである。なお、基準色の配置は図３、図４に示したもの以外にも個数や配置を任意に変更したものを採用可能である。

ここで、彩度Ｓ、明度Ｖについて、更に下記の数式２に記載されている非線形変換を行ってもよい。この非線形変換はＳ、Ｖの変化が、より人間の感覚刺激値の変化に近くなるようにするためのものであり、自然画像の色分布にも基づいている。変換後のＳ~、Ｖ~は０と１の間を対数的に変化する。

Ｓ１２においては、基準色位置を参照して各画素の色を量子化する。ここでは１５基準色を採用する例について説明する。量子化ベクトルは基準色の個数分の要素を持つ。量子化方法、即ち量子化ベクトルの各要素値は以下のようにして決定する。

図５は、ＨＳＶ空間において１５基準色を採用した場合の量子化方法を示す説明図である。ＨＳＶ空間内における画素色を（ｈ，ｓ，ｖ）とする。まず、画素色の色相ｈを以下の数式３で外周の分割割合を表すθに変換する。なお、Ｈy、Ｈrは画素値のｈを挟む両側の２つ基準色の色相値である（Ｈy＞Ｈr）。また、画素色の明度ｖを以下の数式３で明度の分割割合を表すφに変換する。

量子化ベクトルの要素値は上記したθ、φおよびｓ（彩度）を用いて算出する。即ち、画素色のｖ値がVg（例えば０．５）以上の場合には、Ｖ＝１の平面上にある白（要素値＝(1-s)φ）および画素値のｈを挟む両側の２つ基準色（右回りでｈより先にある基準色の要素値＝θsφおよび右回りでｈより手前にある基準色の要素値＝(1-θ)sφ）、およびＶ＝Vg（例えば０．５）の平面上にある灰色（要素値＝(1-s)(1-φ)）および画素値のｈを挟む両側の２つ基準色（右回りでｈより先にある基準色の要素値＝θs(1-φ)および右回りでｈより手前にある基準色の要素値＝(1-θ)s(1-φ)）の計６個の基準色について、図５（ｃ）に式を示すような値を量子化ベクトルの要素値とし、他の要素値は０とする。

画素色のｖ値がVg（例えば０．５）未満の場合には同様にＶ＝Vg（例えば０．５）の平面上にある灰色（要素値＝(1-s)φ）および画素値のｈを挟む両側の２つ基準色（右回りでｈより先にある基準色の要素値＝θsφおよび右回りでｈより手前にある基準色の要素値＝(1-θ)sφ）および黒（要素値＝(1-φ)）の計４個の基準色について、図５（ｄ）に式を示すような値を量子化ベクトルの要素値とし、他の要素値は０とする。

Ｓ１３においては、後述する方法で各画素の量子化色ベクトルの局所自己相関値を算出する。Ｓ１４においては、局所自己相関値を要素毎に画像全体で足し合わせて特徴データを得る。

ここで、局所自己相関特徴について説明する。自己相関特徴は注目画素とこの注目画素と特定の位置関係にある他の画素との相関（要素毎の積）を表す関数であり、他の画素の位置や数のとり方により無数に考えられるが、他の画素の位置を局所領域に限定したものが局所自己相関特徴である。本発明では他の画素の位置＝変位方向を参照点ｒを中心とする３×３画素の局所領域内、即ち注目画素の８近傍に限定している。

１組の変位方向に対応して量子化色ベクトルの要素のそれぞれの積が特徴量の要素になる。従って、［変位方向の組み合わせ（＝相関パターン）の数］×［量子化色ベクトルの要素数の二乗］だけ特徴量の要素（＝特徴ベクトル次元）が生成される。

相関パターンは、相関を取る画素の組合せを示す情報であり、相関パターンによって選択された画素のデータは相関値の計算に使用されるが、相関パターンによって選択されなかった画素は無視される。相関パターンでは注目画素（中心の画素：参照点）は必ず選択される。本発明においては０次および１次の相関パターンを採用する。

また、積分操作（平行移動：スキャン）で重複するパターンは同じ情報を複数回積算することになるので、１つの代表パターンを残して他を削除する。この結果、中心点を含むマスクパターンの種類は、選択画素数が１個のもの（０次）：１パターン、選択画素数が２個のもの（１次）：４パターンとなる。従って、量子化色ベクトルの要素数が７個であれば、局所自己相関特徴ベクトルは１×７＋４×７×７＝２０３次元となる。

図７は、局所自己相関における１次相関パターンを示す説明図である。前記したように、重複するパターンを除いた、ハッチングを施した２つの画素が選択されている１次マスクパターン４種類を示している。

局所自己相関特徴には、対象の切り出しを必要とせず、画像内における対象の位置によらず同一の対象から同一の特徴量が得られるという位置不変性、および画像内に複数の対象がある場合、この画像全体から得られる特徴量がそれぞれの対象から得られる特徴量の和となる加法性がある。

図６は、本発明におけるＳ１３、１４の局所自己相関値算出積算処理の内容を示すフローチャートである。Ｓ３０においては、未処理の画素を選択する。Ｓ３１においては、未処理の相関パターンを選択する。Ｓ３２においては、相関パターンに基づき、２つの量子化色ベクトルのベクトル要素間の全ての組み合わせに対する積を求める。

Ｓ３３においては、２つの量子化色ベクトルの明度Ｖの内の最も小さい値を重みとして各積に乗算する。但し、この処理はＨＳＶ空間を黒を除く７基準色で量子化する場合のみの処理であり、それ以外の場合にはＳ３３はスキップする。Ｓ３４においては、パターン、積対応に加算し、保存する。

Ｓ３２、３３、３４の処理を数式で表すと次の数式４となる。なお、ｍｉｎは最小値を出力する演算子、＊＊は２つの量子化色ベクトルのベクトル要素を１つずつ選択した全組み合わせに対するそれぞれの積を出力する演算子、Σは、相関パターン別、前記した積別に画像の全画素についての要素値を積算する演算子である。また、ｍｉｎは前述したようにＨＳＶ空間を黒を除く７基準色で量子化する場合のみ存在する。

Ｓ３５においては、全パターンについて処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３１に移行するが、肯定の場合にはＳ３６に移行する。Ｓ３６においては、全画素について処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３０に移行するが、肯定の場合には処理を終了する。

算出された特徴データは例えば画像データと対応して保存され、画像に含まれる対象物の認識／識別、類似する画像の検索などに利用される。以上のような構成および処理によって、カラー画像から色と形状の相関情報が同時に抽出されるので、対象認識に必要な情報が効果的に抽出され、対象物の識別能力が高くなる。

図８は、本発明の実施例２の色情報特徴量生成処理の内容を示すフローチャートである。この実施例はＨＳＶ色空間に変換せず、ＲＧＢ色空間において局所自己相関値を算出するものである。

図９は、ＲＧＢ空間上の基準色の位置例を示す説明図である。図９中の黒点が基準色候補の位置を示している。基準色の組み合わせとしては、座標軸が直交するＲ、Ｇ、Ｂそれぞれの輝度値が０．０〜１．０の範囲であるとき、例えばＲＧＢ全て０の原点、およびＲＧＢのいずれか１つあるいは複数個の値が１であり、他は０である７点の計８点（実線で示したＲＧＢ空間全体を示す立方体の頂点）を採用可能である。

また、上記８点に加えて、ＲＧＢのいずれか２個の値が中間明度（０．５）であり、他の値は０または１である６点、およびＲＧＢ全ての値が０．５である１点の計７点を加えた１５点を採用してもよい。

図８のＳ４０においては、カラー画像データを読み込む。Ｓ４１においては、ＲＧＢ色空間の基準色位置までの距離に基づいて各画素の色を量子化する。量子化ベクトルは基準色の個数分の要素を持つ。量子化方法、即ち量子化ベクトルの各要素値は以下のようにして決定する。まず、ＲＧＢ色空間内において画素色と各基準色との距離ｄをそれぞれ計算し、距離が近い順に所定個数（例えば３個でもよい）の基準色を選択する。

次に各基準色と対応する要素値を以下の条件（１）、（２）に基づき決定する。（１）要素値は画素色と基準色との距離ｄが小さいほど大きくなる。例えば要素値は［１／ｄ］あるいは［exp（−ｄ）］に比例する。（２）全ての要素の値の合計は１である。

例えば、近傍の基準色の上位Ｎ個を採用し、距離を近い順にｄ1，…ｄNとした場合、［１／ｄ］に比例する要素値（＝重みｗ^i）は以下の数式５によって算出できる。仮に最近傍の距離ｄ1の重みを１とすると、２番目以降の距離ｄiの重みｗiは、ｗi＝ｄ1／ｄi（ｉ＞１）となる。ここで要素値の合計を１にするため、各重みｗiを重みの合計Ｓで除算する。重みの合計Ｓは下記の通りであり、結果として各重みｗ^iは数式５によって表される。

Ｓ４２以降の処理は図２のＳ１３以降と同一であり、Ｓ４２においては各画素の色ベクトルの局所自己相関値を算出する。Ｓ４３においては局所自己相関値を画像全体で足し合わせて特徴データを得る。

図１０は、本発明の実施例３の色情報特徴量生成処理の内容を示すフローチャートである。実施例３はカラー画像からクラスタリングによって基準色を決定するものである。なお、実施例３としては色空間を変換する例を開示するが、クラスタリングによる基準色の決定は色空間変換手段の有無に関わらず、任意の色空間において実施可能である。

Ｓ５０においては、カラー画像データを読み込む。Ｓ５１においては、各画素の色情報をＲＧＢ空間からＨＳＶ色空間へ変換する。Ｓ５２においては、色分布に従って色空間をクラスタリングし、基準色を決定する。

クラスタリングには公知の任意の方法を採用可能であり、例えば公知のMean Shift法を用いることができる。Mean Shift法の内容については下記の非特許文献１に開示されている。Mean Shift法は、クラス数を与えないクラスタリング手法であり、どの程度の近傍を近いものとするかのスケールパラメータはデータに応じて適宜選択するが、例えば全データ間の距離の平均であってもよい。なお、Mean Shift法の他、k-means法も採用可能であり、この場合にはクラスタ数ｋがパラメータとなる。
Dorin Comaniciu and Peter Meer. Mean shift:A robust approach toward feature space analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.24, No.5, pp.603-619, 2002。

図１１は、ＨＳＶ空間上のクラスタリングによる基準色の位置例を示す説明図である。この例では５個の基準色が示されている。なお、基準色を決める際には、例えば画像検索における母集団となる多数の画像データから上記したクラスタリング手法により基準色を決定する。

Ｓ５３以降の処理は図２のＳ１２以降と同一であり、Ｓ５３においては基準色位置までの距離に基づいて各画素の色を量子化する。これは、図８のＳ４１の方法と同一である。Ｓ５４においては各画素の色ベクトルの局所自己相関値を算出する。Ｓ５５においては、局所自己相関値を画像全体で足し合わせて特徴データを得る。

以上、実施例について説明したが、本発明には以下のような変形例も考えられる。実施例においては、量子化方法として複数の基準色からの距離に基づいて要素値を決定する方法を開示したが、より簡便な量子化方法として、画素色に最も近い基準色と対応する要素のみを１、他を０とする最近傍量子化方法を採用してもよい。また、実施例においては１次の相関までを採用する例を開示したが、２次以上（３点関係以上）の相関も同様に定義し、採用することが可能である。

実施例としては、コンピュータを使用してソフトウェア処理する例を開示したが、本発明を実施するハードウェアとしてはコンピュータに限らず、論理回路の組み合わせによっても実現可能であり、ＬＳＩ化することによってより高速な処理が可能となる。

本発明による特徴抽出装置の構成を示すブロック図である。 本発明の実施例１の色情報特徴量生成処理の内容を示すフローチャートである。 ＨＳＶ空間および７基準色の位置を示す説明図である。 ＨＳＶ空間における１５基準色の位置を示す説明図である。 ＨＳＶ空間において１５基準色を採用した場合の量子化方法を示す説明図である。 本発明におけるＳ１３、１４の局所自己相関値算出積算処理の内容を示すフローチャートである。 局所自己相関における１次相関パターンを示す説明図である。 本発明の実施例２の色情報特徴量生成処理の内容を示すフローチャートである。 ＲＧＢ空間上の基準色の位置例を示す説明図である。 本発明の実施例３の色情報特徴量生成処理の内容を示すフローチャートである。 ＨＳＶ空間上のクラスタリングによる基準色の位置例を示す説明図である。

符号の説明

１０…デジタルカメラ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス

Claims (8)

1. 所定の色空間において予め定められた基準色の内で、カラー画像データ内の参照する画素の色ベクトルと距離の近い基準色を選択し、前記選択した各基準色に対応して、前記距離が近いほど大きくなるように要素値を決定することにより、前記基準色の個数分の要素からなる量子化色ベクトルを求めることによって前記カラー画像データの各画素の色ベクトルを量子化する量子化手段と、
   予め定められた相関パターンのそれぞれについて、前記相関パターンに基づいて選択された量子化色ベクトルの要素値同士の積を全ての組み合わせについて求めることによって前記画素ごとに局所自己相関値を算出する局所自己相関値算出手段と、
   カラー画像データの個々の画素ごとに算出された前記局所自己相関値を要素ごとに前記カラー画像データ全体で足し合わせる積算手段と
   を備えたことを特徴とする特徴抽出装置。
2. 更に、カラー画像データの色空間を変換する色空間変換手段を備えたことを特徴とする請求項１に記載の特徴抽出装置。
3. 前記色空間変換手段は非線形変換することを特徴とする請求項２に記載の特徴抽出装置。
4. 前記色空間変換手段は、色空間をＲＧＢ空間からＨＳＶ空間へ変換し、
   前記基準色ベクトルは、ＨＳＶ空間の最大明度の７色、黒および前記７色からなる８色あるいは前記８色および中間明度の７色からなる１５色のいずれかであることを特徴とする請求項２乃至３のいずれかに記載の特徴抽出装置。
5. 前記基準色ベクトルは、ＨＳＶ空間の最大明度の７色であり、
   前記局所自己相関値算出手段は、前記相関パターンに基づいて選択された画素の内でＶＨＳ空間における明度Ｖの最も小さい値である重みを前記積に乗算する重み付け手段を備えたことを特徴とする請求項４に記載の特徴抽出装置。
6. 前記基準色ベクトルは、直交する座標軸によって表されるＲＧＢ空間全体を示す立方体の全ての頂点の８色あるいは前記８色に加えてＲＧＢの内の少なくとも２値が中間明度であり、他の値が０か１である基準色を含むＲＧＢ空間の１５色のいずれかであることを特徴とする請求項１に記載の特徴抽出装置。
7. 更に、基準色ベクトルをカラー画像データの色情報のクラスタリングにより決定する基準色ベクトル決定手段を備えたことを特徴とする請求項１乃至３のいずれかに記載の特徴抽出装置。
8. 所定の色空間において予め定められた基準色の内で、カラー画像データ内の参照する画素の色ベクトルと距離の近い基準色を選択し、前記選択した各基準色に対応して、前記距離が近いほど大きくなるように要素値を決定することにより、前記基準色の個数分の要素からなる量子化色ベクトルを求めることによって前記カラー画像データの各画素の色ベクトルを量子化するステップ、
   予め定められた相関パターンのそれぞれについて、前記相関パターンに基づいて選択された量子化色ベクトルの要素値同士の積を全ての組み合わせについて求めることによって前記画素ごとに局所自己相関値を算出するステップ、
   カラー画像データの個々の画素ごとに算出された前記局所自己相関値を要素ごとに前記カラー画像データ全体で足し合わせるステップ
   を含むことを特徴とする特徴抽出方法。

Images