JP5216631B2 - 特徴量抽出装置 - Google Patents

Description

本発明は、特徴量抽出装置に関する。特に、本発明は、特徴量を抽出する特徴量抽出装置に関する。

画像の検索、認識、識別等のため、種々の画像の特徴量が提案されている。画像の特徴量は、大域特徴量と局所特徴量とに大別される。大域特徴量は、画像全体から抽出される特徴量で、例えば、MPEG-7には下記のような特徴量が定義されている。即ち、Dominant color、Scalable color、Color layout、Color structure、Homogeneous texture、Texture browsing、Edge histogram等である。大域特徴量は、画面全体の雰囲気や構図を抽出することができ、類似画像検索等に用いられる。大域特徴量は、画像の大局的な特徴を記述することができる一方、画像中の個々のオブジェクトの特徴を記述することは難しい。このことを可能にするのが局所特徴量である。

局所特徴量は、画像中の複数の特徴点または特徴領域を検出し、これらの特徴点または特徴領域から特徴量を抽出する。特徴点検出の手法としてはHarrisオペレータ等が広く利用されている。近年では、拡大、縮小、回転、輝度変化にロバストな特徴量を抽出できるとされているSIFTアルゴリズムが注目されている（非特許文献1参照）。ここでは、DoG（Difference of Gaussian）により高速にスケールスペースを構築し、スケールスペースにおいてDoGの値が極値をとる点を検出し、空間的座標(x,y)およびスケールσによって特徴領域を定めている。この特徴領域をHoG（Histogram of Gradient）によって記述し、前述したロバスト性を実現している。SIFTアルゴリズムで抽出された特徴量によって、画像中の固有のオブジェクトの検出や検索、識別、パノラマ画像の自動生成等が実現できる。

D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004.

しかしながら、SIFTアルゴリズムでは、画像の拡大、縮小、回転にはロバストであるが、アフィン変換には本質的にはロバストではない。例えば、異なる角度から撮影された２つの画像のパノラマ画像を生成するには、２つの画像から同一の特徴量が抽出される必要があるが、撮影角度が大きく異なるとこれが不可能になる。

本発明は、上述した課題に鑑みてなされたものであって、アフィン変換にロバストな特徴量を抽出する技術を提供することを目的とする。

上記問題を解決するために、本発明の一態様である特徴量抽出装置は、静止画像から異方性を持つフィルタの応答によって作成されるスケールスペースを構築するスケールスペース構築部と、上記スケールスペースにおいて異方性を持つフィルタの応答が極値を取る点から特徴領域を検出する領域検出部と、上記特徴領域から多次元ベクトルで表現される特徴量を抽出する特徴量抽出部とを備え、上記領域検出部は、上記スケールスペースにおいて、近傍の全ての座標に対して極大または極小になっている点を全て検出し、全検出点のうち異方性を持つフィルタの値が閾値未満である検出点および元静止画像においてエッジ上に該当する検出点を除去した点から楕円領域を設定し、上記楕円領域を補正した円を特徴領域として検出することを特徴とする。

上記特徴量抽出装置において、上記異方性を持つフィルタは、スケール、楕円率、方位角をパラメータとして持つ楕円型ガウシアンフィルタのラプラシアンであってもよい。

上記特徴量抽出装置において、上記異方性を持つフィルタは、スケール、楕円率、方位角をパラメータとして持つ楕円型ガウシアンフィルタの差分であってもよい。

上記特徴量抽出装置において、上記スケールスペースは、静止画像上の座標、スケール、楕円率、方位角を軸とした５次元空間で構成されてもよい。

上記特徴量抽出装置において、上記特徴量抽出部は、上記領域検出部によって検出された特徴領域の輝度勾配角度から主軸を定め、上記主軸と直交する２方向のうち輝度勾配強度の大きい方が上記主軸と予め指定した角度となるように特徴領域を反転させるようにしてもよい。

上記特徴量抽出装置において、上記特徴量抽出部は、上記領域検出部によって検出された特徴領域を複数のブロックに分割し、各ブロックの輝度勾配角度のヒストグラムを特徴量としてもよい。

本発明によれば、アフィン変換にロバストな特徴量を抽出することができるようになる。従って、例えば、撮影角度によらない物体認識、識別、検索やパノラマ画像の生成が可能となる。

本発明の第１の実施形態による特徴量抽出装置１の一例を示すブロック図である。 特徴領域の例である。 特徴量抽出装置１の動作の一例を示すフローチャートである。 本発明の第２の実施形態による特徴量抽出装置２の一例を示すブロック図である。 特徴量抽出装置２の動作の一例を示すフローチャートである。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。本発明の第１の実施形態による特徴量抽出装置１は、図1に示すように、画像取得部１１、スケールスペース構築部２１、領域検出部３１ および特徴量抽出部４１を備える。

画像取得部１１は、外部からマルチメディアコンテンツ（以下、単に「コンテンツ」という）を入力し、入力したコンテンツから１枚の静止画像を取得する（切り出す）。画像取得部１１は、取得した静止画像をスケールスペース構築部２１に供給する。なお、画像取得部１１は、外部から静止画像を入力した場合、当該静止画像をスケールスペース構築部２１に供給する。

スケールスペース構築部２１は、画像取得部１１から静止画像を取得する。スケールスペース構築部２１は、以下の様に、画像取得部１１から取得した静止画像から異方性を持つフィルタの応答によって作成されるスケールスペースを構築する。

スケールスペース構築部２１におけるスケールスペースの構築について説明する前に、非特許文献1におけるスケールスペースの構築について説明する。非特許文献1では、３次元空間で構成されるスケールスペース（以下、「３次元スケールスペース」という）を構築する。具体的には、３次元空間上の（ｘ，ｙ，σ）∈［０，Ｗ−１］×［０，Ｈ−１］×［σ_０，ｋ^Ｎσ_０］について、次式（式１）で定義されるＤ（ｘ，ｙ，σ）を求める。ＷおよびＨは入力画像の横幅と縦幅、Ｎ、ｋおよびσ_０は定数である。また、Ｌ（ｘ，ｙ，σ）は、入力画像Ｉ（ｘ，ｙ）とガウス関数Ｇ（ｘ，ｙ，σ）の畳み込みによって得られる入力画像の平滑化画像である（式２、式３）。

次に、スケールスペース構築部２１におけるスケールスペースの構築について説明する。スケールスペース構築部２１は、５次元空間で構成されるスケールスペース（以下、「５次元スケールスペース」という）を構築する。具体的には、スケールスペース構築部２１は、５次元空間上の（ｘ，ｙ，σ，θ，ｒ）∈［０，Ｗ−１］×［０，Ｈ−１］×［σ_０，ｋ^Ｎσ_０］×［０，π］×［０，１］について、次式（式４）で定義されるＤ’（ｘ，ｙ，σ，θ，ｒ）を求める。WおよびHは入力画像の横幅と縦幅、N、kおよびσ₀は定数である。θ∈［０，π］は、実際には、０，１／Ｍπ，…，（Ｍ−１）／Ｍπのように離散化し、ｒ∈［０，１］は１／Ｌ，２／Ｌ，…，１のように離散化する。但し、当該例の如く等間隔に離散化する必要はなく、例えば、ｒに関しては０に近い領域では細かく離散化するほうがよい。

ΔＧ’（ｘ，ｙ，σ，θ，ｒ）は、異方性ガウス関数Ｇ’（ｘ，ｙ，σ，θ，ｒ）のラプラシアンであり、次式（式５）で求められる。

また、ラプラシアンに代えて、非特許文献１と同様、異なるスケールの平滑化画像の差分として求めてもよい。その場合、Ｄ’（ｘ，ｙ，σ，θ，ｒ）は、次式（式６）で求められる。なお、Ｇ’（ｘ，ｙ，σ，θ，ｒ）は次式（式７）で与えられる。また、Ａ、Ｂ、Ｃは次式（式８〜１０）で与えられる。

領域検出部３１は、５次元スケールスペース上の極値を検出する。具体的には、領域検出部３１は、Ｄ’（ｘ，ｙ，σ，θ，ｒ）が極値を取る５次元空間上の点（ｘ，ｙ，σ，θ，ｒ）を検出する。即ち、領域検出部３１ は、離散化された各（ｘ，ｙ，σ，θ，ｒ）に隣接する点を（ｘ’，ｙ’，σ’，θ’，ｒ’）としたときに、全ての（ｘ’，ｙ’，σ’，θ’，ｒ’）に対して、Ｄ’（ｘ，ｙ，σ，θ，ｒ）＞Ｄ’（ｘ’，ｙ’，σ’，θ’，ｒ’）となっているか、Ｄ’（ｘ，ｙ，σ，θ，ｒ）＜Ｄ’（ｘ’，ｙ’，σ’，θ’，ｒ’）となっている（ｘ，ｙ，σ，θ，ｒ）を全て探索し、５次元スケールスペース上の全極値を検出する。

続いて、領域検出部３１は、全検出点のなかから最終的に特徴領域の設定に適する検出点、即ち、特徴領域の設定に利用する検出点を選別する。具体的には、領域検出部３１は、全検出点から、特徴領域の設定に適さない検出点を除去（削除）し、最終的に特徴領域の設定に適する検出点を選別する。例えば、領域検出部３１は、非特許文献１と同様、全検出点のうち異方性を持つフィルタの値が閾値未満である検出点および元静止画像においてエッジ上に該当する検出点を除去し、最終的に特徴領域の設定に適する検出点を選別する。

続いて、領域検出部３１は、選別後の検出点に基づいて特徴領域を検出（設定）する。例えば、領域検出部３１は、選別後の各検出点（ｘ，ｙ，σ，θ，ｒ）を（ｘ_ｉ，ｙ_ｉ，σ_ｉ，θ_ｉ，ｒ_ｉ）（ｉ＝１、２、…）とする領域（楕円型の領域）を特徴領域として検出する。なお、（ｘ_ｉ，ｙ_ｉ，σ_ｉ，θ_ｉ，ｒ_ｉ）（ｉ＝１、２、…）によって設定される領域は次式（式１１）で与えられる。また、Ａ、Ｂ、Ｃは次式（式１２〜１４）で与えられる。

以上のようにして、領域検出部３１は、図２（ａ）に示す楕円型の領域を特徴領域として検出する。なお、比較のため、非特許文献１において検出される特徴領域を図２（ｂ）に示す。

特徴量抽出部４１は、領域検出部３１によって検出された各領域に基づいて多次元ベクトルを求め、特徴量を抽出する。具体的には、まず、特徴量抽出部４１は、領域検出部３１によって検出された各領域（楕円）を円に補正するための主軸を定める。より詳細には、特徴量抽出部４１は、例えば、領域内を複数のブロックに分割し、それらの輝度勾配角度に関するヒストグラムを作成し、ピークとなるビンの角度を主軸として定める。これにより、回転に不変な特徴量を抽出することができるようになる。静止画像を回転させた場合でも同様の特徴量を抽出することが可能となる。

また、特徴量抽出部４１は、主軸の角度をαとするとき、α＋π／２およびα−π／２のビンの大小を比較し、α＋π／２のビンのほうが大きいときは、主軸を中心に領域を反転する（α−π／２のビンのほうが大きいときはそのままとする）してもよい。これにより、回転に加え鏡像にも不変な特徴量を抽出することができるようになる。即ち、静止画像を反転させた場合でも同様の特徴量を抽出することが可能となる。また、α＋π／２およびα−π／２のビンの大小の比較に代えて、α−π＜β＜αを満たすβのビンの合計とα＜γ＜α＋πを満たすγのビンの合計を比較してもよい。

続いて、特徴量抽出部４１は、既知の技術を適用し、各技術による種々の特徴量を領域から抽出する。例えば、領域から抽出される特徴量として、MPEG-7にはDominant color、Scalable color、Color structure、Color layout、Edge histogram、Contour shape等が規定されている。なお、非特許文献1では輝度勾配に基づくヒストグラム（HoG；Histogram of Gradient）を利用している。

以下、図３に示すフローチャートを用いて特徴量抽出装置１における５次元スケールスペース構築から特徴量抽出までの動作を説明する。なお、図３に示すフローチャートは、スケールスペース構築部２１が画像取得部１１から静止画像を取得することによって開始する。

画像取得部１１から静止画像を取得したスケールスペース構築部２１は、静止画像上の座標（ｘ，ｙ）、スケール（σ）、楕円率（ｒ）、方位角（θ）をパラメータとする５次元スケールスペース（ｘ，ｙ，σ，θ，ｒ）を構築する（ステップＳ１００）。即ち、スケールスペース構築部２１は、５次元空間上の（ｘ，ｙ，σ，θ，ｒ）を求める。

領域検出部３１は、スケールスペース構築部２１によって構築された５次元スケールスペース上において、極値を取る５次元空間上の点（ｘ，ｙ，σ，θ，ｒ）を検出する。領域検出部３１は、全検出点（ｘ，ｙ，σ，θ，ｒ）から、特徴領域の設定に適さない抽出点（ｘ，ｙ，σ，θ，ｒ）を除去し、最終的に特徴領域の設定に適する検出点（ｘ_ｉ，ｙ_ｉ，σ_ｉ，θ_ｉ，ｒ_ｉ）を得る（ステップＳ１１０）。領域検出部３１は、各抽出点（ｘ_ｉ，ｙ_ｉ，σ_ｉ，θ_ｉ，ｒ_ｉ）を特徴量抽出部４１に供給する。

特徴量抽出部４１は、領域検出部３１から取得した各抽出点（ｘ_ｉ，ｙ_ｉ，σ_ｉ，θ_ｉ，ｒ_ｉ）に基づいて多次元ベクトルを求め、特徴量を抽出する（ステップＳ１２０）。そして本フローチャートは終了する。

以上、本発明の第１の実施形態による特徴量抽出装置１によれば、アフィン変換にロバストな特徴量を抽出することができるようになる。これによって、例えば、撮影角度によらない物体認識、識別、検索やパノラマ画像の生成が可能になる。

（第２の実施形態）
以下、本発明の第２の実施形態について図面を参照して説明する。第１の実施形態による特徴量抽出装置１の場合、特徴領域の検出過程において、５次元スケールスペースを構築する時間、および、５次元スケールスペース上での極大極小を探索する時間が大きくなる場合がある。上記に鑑みて、第２の実施形態においては、特徴領域の検出を近似的に行う。

本発明の第２の実施形態による特徴量抽出装置２は、図４に示すように、画像取得部１２、初期領域抽出部２２、領域補正部３２および特徴量抽出部４２を備える。なお、画像取得部１２および特徴量抽出部４２は、第1の実施形態の特徴量抽出装置１が備える画像取得部１１および特徴量抽出部４１と同様であるため、説明を省略する。

初期領域抽出部２２は、第１の実施形態においてスケールスペース構築部２１および領域検出部３１が行う５次元スケールスペース（ｘ，ｙ，σ，θ，ｒ）上での極値の検出に代えて、３次元スケールスペース（ｘ，ｙ，σ）上の極値を初期領域（ｘ’，ｙ’，σ’）として抽出する。例えば、初期領域抽出部２２は、非特許文献１において求められる領域として求めることができる。

領域補正部３２は、初期領域抽出部２２によって抽出された初期領域（ｘ’，ｙ’，σ’）を繰り返し処理によって補正する。具体的には、領域補正部３２は、まず、初期領域抽出部２２によって抽出された初期領域（ｘ’，ｙ’，σ’）から初期値（ｘ_０，ｙ_０，σ_０，θ_０，ｒ_０）を決定する。初期値（ｘ_０，ｙ_０，σ_０，θ_０，ｒ_０）は、（ｘ’，ｙ’，σ’，θ，ａ）（θ∈｛０，１／Ｍπ，…，（Ｍ−１）／Ｍ｝、ａは１未満の定数）、（ｘ’，ｙ’，σ’，０，１）、（ｘ’，ｙ’，σ’／ａ，θ，ａ）（θ∈｛０，１／Ｍπ，…，（Ｍ−１）／Ｍ｝）の２Ｍ＋１点のうち、Ｄを最大または最小とする点で与える。最大または最小とする点の何れを利用するかは、初期領域抽出部２２によって抽出された初期領域（ｘ’，ｙ’，σ’）が極大であるか極小であるかによって決定する。即ち、初期領域（ｘ’，ｙ’，σ’）が極大である場合には最大となる点を利用し、極小である場合には最小となる点を利用する。

領域補正部３２は、初期値（ｘ_０，ｙ_０，σ_０，θ_０，ｒ_０）の決定後、最急上昇法、最急降下法又は共役勾配法によって極値（ｘ，ｙ，σ，θ，ｒ）を決定する。つまり、領域補正部３２は、初期領域抽出部２２によって抽出された初期領域（ｘ’，ｙ’，σ’）が極大値の場合には極大値（ｘ，ｙ，σ，θ，ｒ）を求め、初期領域（ｘ’，ｙ’，σ’）が極小値の場合には極小値（ｘ，ｙ，σ，θ，ｒ）を求める。以上のようにして求めた極大値または極小値をとる（ｘ，ｙ，σ，θ，ｒ）から特徴領域を決定すれば、５次元スケールスペースを構築し、全探索する時間を削減することが可能となる。但し、第１の実施形態のように５次元スケールスペース（ｘ，ｙ，σ，θ，ｒ）上を全て探索し、全極値を検出していないため、極値（ｘ，ｙ，σ，θ，ｒ）は近似的な解となる。

更に、一層の高速化のため、初期領域（ｘ’，ｙ’，σ’）をランダムに与え、そこから極大値および極小値を求める手法も有効である。この場合は、初期値（ｘ_０，ｙ_０，σ_０，θ_０，ｒ_０）は２Ｍ＋１点のうち、最大および最小とする２点から出発し、それぞれ極大、極小となる点を求めることになる。このような高速化は、リアルタイムな処理が求められる場合に有効である。すなわち、静止画像や動画像の特徴量データベースをオフラインで第１の実施例により正確に作成しておき、そのデータベースとオンライン照合したい静止画像や動画像に対しては、近似的に特徴量を抽出することでリアルタイム処理を行うことができる。

以下、図５に示すフローチャートを用いて特徴量抽出装置２における初期値の決定（ｘ_０，ｙ_０，σ_０，θ_０，ｒ_０）から極値（ｘ，ｙ，σ，θ，ｒ）の決定までの動作を説明する。なお、図５に示すフローチャートは、初期領域抽出部２２が初期領域（ｘ’，ｙ’，σ’）を抽出することによって開始する。領域補正部３２は、初期領域抽出部２２によって抽出された初期領域（ｘ’，ｙ’，σ’）から初期値（ｘ_０，ｙ_０，σ_０，θ_０，ｒ_０）を決定する（ステップＳ２００）。領域補正部３２は、ｎに初期値「１」を代入し（ステップＳ２１０）、値（ｘ_ｎ＋１，ｙ_ｎ＋１，σ_ｎ＋１，θ_ｎ＋１，ｒ_ｎ＋１）を算出する（ステップＳ２２０）。

領域補正部３２は、初期値（ｘ_０，ｙ_０，σ_０，θ_０，ｒ_０）と直前のステップＳ２２０において算出した値（ｘ_ｎ＋１，ｙ_ｎ＋１，σ_ｎ＋１，θ_ｎ＋１，ｒ_ｎ＋１）とを比較し、値が収束しているか否かを判断する（ステップＳ２３０）。領域補正部３２は、値が収束していないと判断した場合（ステップＳ２３０：Ｎｏ）、ｎに１を加算し（ステップＳ２４０）、ステップＳ２２０に戻る。以下、領域補正部３２は、値が収束していると判断する迄、ステップＳ２２０からステップＳ２４０を繰り返す。領域補正部３２は、値が収束していると判断した場合（ステップＳ２３０：Ｙｅｓ）、直前のステップＳ２２０において算出した値（ｘ_ｎ＋１，ｙ_ｎ＋１，σ_ｎ＋１，θ_ｎ＋１，ｒ_ｎ＋１）を極値として決定する（ステップＳ２５０）。そして、本フローチャートは終了する。

以上、本発明の第２の実施形態による特徴量抽出装置２によれば、アフィン変換にロバストな特徴量を抽出する際の所要時間を短縮することができるようになる。

なお、本発明の第１の実施形態による特徴量抽出装置１または第２の実施形態による特徴量抽出装置２の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による第１の実施形態による特徴量抽出装置１または第２の実施形態による特徴量抽出装置２の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１、２ 特徴量抽出装置 １１、１２ 画像取得部 ２１ スケールスペース構築部 ２２ 初期領域抽出部 ３１ 領域検出部 ３２ 領域補正部 ４１、４２ 特徴量抽出部

Claims (6)

1. 静止画像から異方性を持つフィルタの応答によって作成されるスケールスペースを構築するスケールスペース構築部と、
   上記スケールスペースにおいて異方性を持つフィルタの応答が極値を取る点から特徴領域を検出する領域検出部と、
   上記特徴領域から多次元ベクトルで表現される特徴量を抽出する特徴量抽出部と
   を備え、
   上記領域検出部は、
   上記スケールスペースにおいて、近傍の全ての座標に対して極大または極小になっている点を全て検出し、全検出点のうち異方性を持つフィルタの値が閾値未満である検出点および元静止画像においてエッジ上に該当する検出点を除去した点から楕円領域を設定し、上記楕円領域を補正した円を特徴領域として検出する
   ことを特徴とする特徴量抽出装置。
2. 上記異方性を持つフィルタは、
   スケール、楕円率、方位角をパラメータとして持つ楕円型ガウシアンフィルタのラプラシアンであることを特徴とする請求項１に記載の特徴量抽出装置。
3. 上記異方性を持つフィルタは、
   スケール、楕円率、方位角をパラメータとして持つ楕円型ガウシアンフィルタの差分であることを特徴とする請求項１に記載の特徴量抽出装置。
4. 上記スケールスペースは、
   静止画像上の座標、スケール、楕円率、方位角を軸とした５次元空間で構成されることを特徴とする請求項２または請求項３の何れか１項に記載の特徴量抽出装置。
5. 上記特徴量抽出部は、
   上記領域検出部によって検出された特徴領域の輝度勾配角度から主軸を定め、上記主軸と直交する２方向のうち輝度勾配強度の大きい方が上記主軸と予め指定した角度となるように特徴領域を反転させることを特徴とする請求項１乃至請求項４の何れか１項に記載の特徴量抽出装置。
6. 上記特徴量抽出部は、
   上記領域検出部によって検出された特徴領域を複数のブロックに分割し、各ブロックの輝度勾配角度のヒストグラムを特徴量とすることを特徴とする請求項５に記載の特徴量抽出装置。

Images