JP5889820B2 - 特徴量抽出装置、特徴量抽出方法、および画像識別装置 - Google Patents

Description

本発明の実施形態は、特徴量抽出装置、特徴量抽出方法、および画像識別装置に関する。

従来、撮像された物体の識別処理を行う画像識別装置は、画像からの特徴量抽出処理と、抽出された特徴を用いた識別処理の２つの段階で構成されている。識別精度の向上のためには前段階である特徴量抽出処理において、識別したい物体とそれ以外とを統計的に有意に分離できる情報を含めることが重要である。

特開２０１０−４４４３９号公報 ＵＳ２００９／２３８４６０,Ryuji Funayama, Hiromichi Yanagihara, Luc Van Gool, Tinne Tuytelaars, Herbert Bay,"ROBUST INTEREST POINT DETECTOR AND DESCRIPTOR", published 2009-09-24

Navneet Dalal,and Bill Triggs, "Histograms of oriented gradients for human detection, " CVPR2005, vol.1, pp. 886-893, 2005.

本発明の実施形態は、回転に敏感かつ照明変化に頑強な物体の識別に有効な特徴量を少ない計算量で得ることが可能な特徴量抽出装置、特徴量抽出方法、および画像識別装置を提供することを目的とする。

本発明の一つの実施形態の特徴量抽出装置は、画像データの輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成する勾配画像算出部と、前記輝度勾配データに基づいて、前記画像データを複数に分割する部分領域毎に共分散行列を算出する勾配集計部を備える。実施形態の特徴量抽出装置は、前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、前記部分領域毎に、前記パラメータの対数の値域を所定の分割数で量子化し、量子化した値に対応する次元のみ他の次元と値が異なる特徴ベクトルを出力する特徴量出力部をさらに備える。

図１は、本実施形態にかかる画像識別装置１００の構成を示すブロック図である。 図２は、本実施形態にかかるソーベルフィルタを示す図である。 図３は、本実施形態にかかるロバーツフィルタを示す図である。 図４は、本実施形態にかかる部分領域Ｉ₁・・・Ｉ_nの例を示す図である。 図５は、本実施形態にかかる対角行列Λと直交行列Ｐから得られる楕円の方程式が示す楕円を示す図である。

以下に添付図面を参照して、実施形態にかかる特徴量抽出装置、特徴量抽出方法、および画像識別装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、本実施形態にかかる画像識別装置１００の構成を示すブロック図である。画像識別装置１００は、画像データ入力部１、特徴量抽出装置１０、および画像識別部５を備える。画像データ入力部１は、取得した画像データから２次元平面の輝度データを得て出力する、例えばカメラ、センサー等である。特徴量抽出装置１０は、画像データの画素ごとに、勾配画像を算出する勾配画像算出部２、勾配画像を複数の領域に分割し領域ごとに複数の画素の勾配関数によって値を集計する勾配集計部３、および集計結果から特徴量(特徴ベクトル)を出力する特徴量出力部４を備える。画像識別部５は既存の機械学習手法に基づいて画像を識別する。

画像データ入力部１に入力されるデータは画面全体のデータでもよいし、画面の一部をアフィン変換によって写像の上、切り出した画像でもよい。また、画像データは、輝度情報、色(色差)情報の可視光情報、距離情報(深さ)、赤外線画像等、２次元平面（２次元配列）の輝度データで表現される数値データに変換できるものならいずれでもよい。

勾配画像算出部２は、２次元平面の輝度データから勾配画像を算出する。勾配画像は、画素位置ごとに異なる２つの方向、例えば直交する２つの方向について勾配（一階微分）が算出できれば、どのような方法を用いて計算してもよい。例えば図２（ａ）及び（ｂ）に示されるような１組の３×３のソーベルフィルタを通した出力を、勾配画像として用いることができる。他のフィルタとしては、図３（ａ）及び（ｂ）に示されるようなロバーツフィルタを用いてもよい。

勾配集計部３では、勾配画像算出部２が生成した勾配画像の中のある矩形領域を、複数の部分領域Ｉ₀・・・Ｉ₁₅に区分けし、部分領域Ｉ_k（ｋ＝０，・・・，１５）ごとに共分散行列を算出する。各部分領域Ｉ_kは、複数の画素を有している。図４では、矩形領域を１６の部分領域Ｉ_kに区分けした例を示しているが、部分領域の数はこれに限定されない。なお、勾配画像算出部２が生成した勾配画像は複数の矩形領域に分割されており、それぞれの矩形領域全てについて以下の演算を実行する。

部分領域Ｉ_kに含まれる画素位置（ｉ，ｊ）のｘ方向の勾配画像をｇｘ_ij、ｙ方向の勾配画像をｇｙ_ijとしたとき、ｇｘ_ij及びｇｙ_ijから部分領域Ｉ_kごとの共分散行列Ｈ_kの成分としてσ_k ⁰(Ｉ_k),σ_k ¹(Ｉ_k),σ_k ²(Ｉ_k)の３つのスカラー値を得る。ここで部分画像Ｉ_kの幅方向の画素数をｃｗ、高さ方向の画素数をｃｈとすると、各σ_k ⁰(Ｉ_k),σ_k ¹(Ｉ_k),σ_k ²(Ｉ_k)は以下のように示せる。

σ_k ⁰(Ｉ_k),σ_k ¹(Ｉ_k),σ_k ²(Ｉ_k)を行列で表現すると式（４）の共分散行列Ｈ_kが得られる。

共分散行列Ｈ_kは正定値のエルミート行列であることから、実数かつ非負の固有値をもつ。そこで、特徴量出力部４は、この行列Ｈ_kを固有値分解して、Ｈ_k＝ＰΛＰ^-1を満たす対角行列Λおよび直交行列Ｐを求める。この対角行列Λと直交行列Ｐにより、αを媒介変数として式（５）の楕円方程式を得ることができる。

図５は、本実施形態にかかる対角行列Λと直交行列Ｐから得られる楕円方程式が示す楕円を示す図である。このとき、楕円の長軸λ₁と短軸λ₂の長さは式（６）に示す対角行列Λより求まる。

λ₁,λ₂は、自然画像において対数分布をすることが経験的に知られているので、これらの対数をとって、それぞれlogλ₁,logλ₂を特徴量として得る。

一方、楕円の長軸の軸角θは式（７）で示される直交行列Ｐから求まる（式（８））。

得られたパラメータθ,logλ₁,logλ₂を、さらに量子化およびベクトル化し、特徴ベクトルｖ_k ⁰,ｖ_k ¹,ｖ_k ²を求める。例えば、変数ｘの値域が［−ｒ，＋ｒ）（［ａ，ｂ）は、左閉右開区間｛ｘ｜ａ≦ｘ＜ｂ｝を示す）であるとすると、ｎビット即ち２ⁿ階調（０，・・・２ⁿ−１）となるように以下の式により量子化する。
［２ⁿ×（ｘ−（−ｒ））／（ｒ−（−ｒ））］
（ここで、［Ｙ］は、Ｙを超えない最大の整数を表記するガウス記号である）

そして、等間隔の値域ごとに量子化した値が得られたら、２ⁿ次元の２値（バイナリ）ベクトルであって、量子化した値に対応する次元（（量子化した値＋１）次元）のみ１で、他は０となるようなベクトルに変換する。

例えば、値域［−π，＋π）、変数θ＝π／４である場合に、ｎ＝４で量子化すると、
［２⁴×（π／４−（−π））／（π−（−π））］＝１０
となるので、２⁴（＝１６）次元のベクトルであって、第１１次元だけ１で他は０となる２値ベクトル、即ち、
｛０，０，０，０，０，０，０，０，０，０，１，０，０，０，０，０｝
を得る。

値域が［０，＋∞）のように∞を含む場合は、実験的にパラメータの分布を調べて、累積度数が相対的に（２ⁿ−１）／２ⁿとなるようなｃを値域の上限値として選ぶ。値域［０，ｃ）は、（２ⁿ−１）次元として設定する。そして、値域［ｃ，＋∞）は２ⁿ次元目として設定する。２ⁿ次元の２値ベクトルへの変換は上記と同様である。

なお、値域の分割数を２ⁿとして説明したが、分割数は２のべき乗に限定はされない。例えば分割数がｍの場合、パラメータｘの値域が［−ｒ，＋ｒ）のときは
［ｍ×（ｘ−（−ｒ））／（ｒ−（−ｒ））］
として量子化すればよい。また、値域が［０，＋∞）の場合は、累積度数が相対的に（ｍ−１）／ｍとなるようなｃを値域の上限値として選ぶ。値域［０，ｃ）は、（ｍ−１）次元として設定し、値域［ｃ，＋∞）はｍ次元目として設定すればよい。

このようにして、各部分領域Ｉ_kに対してパラメータθ,logλ₁,logλ₂から量子化および２値ベクトルへの変換を経て特徴ベクトルｖ_k ⁰,ｖ_k ¹,ｖ_k ²を得る。本実施形態によれば、少ない計算量で特徴ベクトルを求めることができる。

特徴量出力部４は、すべての部分領域Ｉ_kから得られた特徴ベクトルを出力して画像識別部５に入力する。なお、すべての部分領域Ｉ_kから得られた特徴ベクトルを連結し、（（θの値域の分割数）＋（logλ₁の値域の分割数）＋（logλ₂の値域の分割数））×（部分領域の数）次元の特徴ベクトルとして画像識別部５に入力するようにしてもよい。この特徴ベクトルを、画像識別部５が実行する、例えば、サポートベクターマシン、ブースティング、ランダムフォレストなどの既存の機械学習手法の入力とすることで、高い精度の識別能力を得ることができる。特徴ベクトルを次元数の高い２値ベクトルとすることにより、より複雑な線形モデルを学習することができるようになるからである。

（第２の実施形態）
第１の実施形態においては、θ,λ₁,λ₂の算出において固有値分解を行うため、λ₁,λ₂の計算時に平方根の計算が必要になる。第２の実施形態は、これを省いて更に計算量を削減した手法である。共分散行列Ｈ_kにおいて、
|trace(Ｈ_k)|＝|(λ₁＋λ₂)|
det(Ｈ_k)＝λ₁λ₂
となる関係を利用して、λ₁,λ₂の代わりに、例えば、ｔ＝|trace(Ｈ_k)|およびｄ＝det(Ｈ_k)を使用する。

ここで、ｔおよびｄは共分散行列Ｈ_kの成分を用いて計算することができる。

また、直交行列Ｐおよび対角行列Λを解析的に解くと、θを、直接、共分散行列Ｈ_kの成分から求めることができる。

従って、共分散行列Ｈ_kから四則演算および対数関数（log）,逆正接関数（tan^-1）のみで、θ,logｔ,logｄの特徴量を得ることができる。これら特徴量についても、第１の実施形態と同様に量子化および２値ベクトル化して、特徴ベクトルに変換することができる。

第１および第２の実施形態にかかる特徴量抽出装置においては、局所領域の勾配分布を特徴量として使用することで回転方向に滑らかに特徴を記述できる。したがって、繰り返し模様が乏しく向きが重要な物体の識別に有効である。また、第１および第２の実施形態にかかる特徴量抽出装置においては、勾配の分布に対してロバストな特徴量の抽出を少ない計算量で実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 画像データ入力部、２ 勾配画像算出部、３ 勾配集計部、４ 特徴量出力部、５ 画像識別部、１０ 特徴量抽出装置、１００ 画像識別装置。

Claims (6)

1. 画像データの輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成する勾配画像算出部と、
   前記輝度勾配データに基づいて、前記画像データを複数に分割する部分領域毎に共分散行列を算出する勾配集計部と、
   前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、前記部分領域毎に、前記パラメータの対数の値域を所定の分割数で量子化し、量子化した値に対応する次元のみ他の次元と値が異なる特徴ベクトルを出力する特徴量出力部と、
   を備える
   ことを特徴とする特徴量抽出装置。
2. 前記パラメータは、前記共分散行列の固有値である
   ことを特徴とする請求項１に記載の特徴量抽出装置。
3. 前記パラメータは、前記共分散行列のトレース（対角和）の絶対値および前記共分散行列の行列式である
   ことを特徴とする請求項１に記載の特徴量抽出装置。
4. 前記特徴量出力部は、さらに前記楕円の回転量に係るパラメータを算出し、前記部分領域毎に、前記回転量に基づく前記特徴ベクトルを出力する
   ことを特徴とする請求項１乃至３のいずれかに記載の特徴量抽出装置。
5. ２次元平面の輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成し、
   前記異なる２つの方向についての前記輝度勾配データに基づいて、前記２次元平面を複数に分割する部分領域毎に共分散行列を算出し、
   前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、
   前記パラメータの対数の値域をそれぞれ複数の領域に分割する分割数の次元を有する２値ベクトルであって前記対数を含む前記領域に対応する次元のみ他の次元と値が異なるようなベクトルとして、２つの前記パラメータの対数のそれぞれを表現して前記部分領域毎に出力する
   ことを特徴とする特徴量抽出方法。
6. 取得した画像データから輝度データを得て出力する画像データ入力部と、
   前記輝度データに基づいて、異なる２つの方向についての輝度勾配データを生成する勾配画像算出部と、
   前記異なる２つの方向についての前記輝度勾配データに基づいて、２次元平面を複数に分割する部分領域毎に共分散行列を算出する勾配集計部と、
   前記共分散行列が表現する楕円の長軸および短軸に係る２つのパラメータを算出し、前記パラメータの対数の値域をそれぞれ複数の領域に分割する分割数の次元を有する２値ベクトルであって前記対数を含む前記領域に対応する次元のみ他の次元と値が異なるような特徴ベクトルとして、２つの前記パラメータの対数のそれぞれを表現して前記部分領域毎に出力する特徴量出力部と、
   前記特徴ベクトルに基づいて画像を識別する画像識別部と、
   を備える
   ことを特徴とする画像識別装置。

Images