JP4963216B2

JP4963216B2 - コンピュータにより実施される、データサンプルのセットについて記述子を作成する方法

Info

Publication number: JP4963216B2
Application number: JP2006300351A
Authority: JP
Inventors: ファティー・エム・ポリクリ; オンセル・チュゼル
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2005-12-14
Filing date: 2006-11-06
Publication date: 2012-06-27
Anticipated expiration: 2026-11-06
Also published as: US7720289B2; US20070133878A1; JP2007164772A

Description

本発明は、包括的にはデータサンプルの記述子の作成に関し、特に、記述子を用いてデータサンプルの検出、認識、及び分類を行うことに関する。

画像中の物体及びテクスチャの検出、認識、及び分類において重要な最初のステップは、適切な特徴の選択である。良い特徴は、識別性があり、誤り耐性があり、判別し易く、処理効率が高くなければならない。

画素の強度、色、及び勾配は、コンピュータビジョンアプリケーションで使用することができる特徴の例である。しかし、これらの特徴は、照明の変化及び非剛体運動がある場合に信頼性が低い。画素特徴の自然な拡張がヒストグラムであり、ヒストグラムでは、画像領域が画素特徴の結合分布の非パラメータ推定値を用いて表現される。ヒストグラムは非剛体物体の追跡に広く用いられている。ヒストグラムは、テクスチャの表現、並びに物体及びテクスチャの分類にも用いることができる。しかし、いくつかの特徴の結合分布の算出は時間がかかる。

積分画像（integral image）中のハール特徴がカスケード型アダブースト分類器とともに顔検出のために用いられている。Viola, P.、Jones, M.著「Rapid object detection using a boosted cascade of simple features」Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1., pp. 511-518, 2001（参照により本明細書中に援用される）。

別の方法は、キーポイントを定位するためにスケール空間極値を検出し、キーポイント記述子に方向ヒストグラムのアレイを用いる。Lowe, D.著「Distinctive image features from scale-invariant keypoints」Intl. J. of Comp. Vision, Vol. 60, pp. 91-110, 2004。

これらの記述子は、画像中の局所近傍を照合する上で非常に効率が高いが、グローバルコンテキスト情報を有しない。

本発明は、データサンプルのセット、例えば画像中の選択された画素のサブセット又は領域について記述子を作成する方法を提供する。領域の特徴が抽出され、それらの特徴から共分散行列が作成される。共分散行列は、物体の検出及びテクスチャの分類に用いることができる領域の記述子である。他のアプリケーションへの拡張も記載される。

データセットが２Ｄ画像である場合、領域記述子はｄ特徴（d-features）の共分散行列、例えば、画素強度の一次導関数及び二次導関数の３次元色ベクトル及びノルムの形態である。共分散行列は画像中の関心領域を特徴付ける。

共分散行列は積分画像から求めることができる。共分散行列はユークリッド空間にないため、本方法は、正定値行列のリー群の構造から導かれる一般化固有値を含む距離メトリックを用いる。

特徴の照合は、距離メトリックに従って最近傍探索を用いて行われる。共分散に基づく記述子の性能は、従来技術の特徴に基づく方法よりも優れている。さらに、記述子は、非剛体運動及び照明の変化に対して不変である。

本発明は、特徴の共分散行列を物体の検出及びテクスチャの分類に用いる方法を提供する。本方法は幾通りかに拡張することができる。例えば、先ずビデオ中の物体を検出し、次にその物体を追跡する。

図１は、本発明の１実施の形態による、データサンプルのセットについて記述子を作成する方法を示す。記述子は、いくつかの実際のアプリケーション、特にデータサンプルのセットを検出、認識、及び分類するコンピュータアプリケーションによって用いることができる。

サンプルの取得
本方法は、シーン１について取得１１０されるデータサンプル１１１のセットに対して作用する。「シーン」という用語は本明細書中において広義に定義される。例えば、シーンは、人物、顔、又は何らかの他の物体を含む自然シーンであり得る。シーンはまた、何らかの既知のモデリングプロセスによって生成される仮想シーンであり得る。データサンプル１１１を取得１１０する任意の既知の手段、例えば、カメラ、アンテナ、３Ｄイメージングデバイス、超音波センサ等を用いることができる。サンプルは合成的に生成することもできる。実際のサンプル取得ステップはオプションである。サンプルは、何らかの前処理ステップで得た上で、本明細書中に記載するような処理のためにメモリに記憶することができることを理解すべきである。

データサンプル１１１は、任意数の次元を有することができる。例えば、データサンプルが画像の形態である場合、サンプルは２次元の画素データ、例えば画素位置（ｘ，ｙ）及び各位置の画素強度を含む。画像がカラーである場合、ＲＧＢカラーチャネル毎の強度がある。データサンプルは容積データ、例えば医療スキャンとすることもできる。この場合、データは、３次元を有する座標（ｘ，ｙ，ｚ）を含む。データサンプルがビデオの形態である場合、各画素は２次元の空間及び１次元の時間（ｘ，ｙ，ｔ）を有する。時間はフレーム番号に対応する。いずれにせよ、データサンプルのセットは、位置であれ時空間座標であれ、サンプルのインデックスを含む。

サンプルは、振幅、位相、周波数、極性、速度、重さ、密度、透明度、反射率、硬度、温度等といった任意数の他の物理的特徴又は特性と関連付けることができることを理解すべきである。

サンプルの選択
サンプルの１つ又は複数のサブセット１２１をデータサンプル１１１のセットから選択１２０する。例えば、サンプルが画像中の画素であり、アプリケーションが顔認識である場合、顔を含む領域のサンプルのみを選択してさらなる処理を行う。この説明の目的上、サブセットは、全ての取得サンプル、例えば画像全体を包含することができる。

特徴の抽出
特徴１３１をサンプル毎に抽出１３０する。特徴は、積み重ねてｄ次元ベクトルにすることができる。特徴は、サンプルのインデックス、及び、低レベルの物理的特徴の高次の統計量、例えば勾配、導関数、ノルム等を含むことを理解すべきである。

共分散の作成
所与のサンプルサブセット１２１の全ての特徴ベクトル１３１を結合１４０して共分散行列を作成する。記述子１４１はサブセット１２１に対応１３５する。記述子は、物体検出及びテクスチャ分類等のアプリケーション１５０に用いることができる。

記述子としての共分散
本発明の実施の形態の詳細を、画素画像をデータサンプル１１１のセットの一例として用いて説明する。

Ｉを画像の形態のサンプル１１１のデータセットとする。画像は、可視光、赤外線、又は他の電磁放射線を用いて取得することができる。Ｆを、画像Ｉの領域（サブセット）から抽出したＷ×Ｈ×ｄ次元の特徴画像とする。

ここで、関数φは、インデックス、強度、色、勾配、導関数、フィルタ応答、特徴の統計量等といった任意の特徴写像とすることができる。

矩形領域Ｒ⊂Ｆにおいて、サブセット｛ｚ_ｋ｝_{ｋ＝１，．．．，ｎ}は、領域Ｒのｄ次元のサンプル特徴ベクトル１３１を含む。本発明では、領域Ｒのサンプルサブセット１２１をサンプル特徴のｄ×ｄの共分散行列Ｃ_Ｒ１４１で表す。

ここで、ｎはサンプル数であり、ｚは特徴を表し、μは特徴サンプルの平均であり、Ｔは転置演算子である。

共分散行列を画像領域１２１の記述子１４１として用いることには、いくつかの利点がある。領域１２１から抽出される単一の共分散行列があれば通常は、様々な視点で様々な姿勢について領域を照合するのに十分である。実際に、本発明では、サンプルの特定の分布の共分散が、その特定の分布を他の分布と区別するのに十分であると仮定する。

共分散行列１４１は、他の方法で相関し得る複数の特徴１３１を結合する自然な方法を提供する。共分散行列１４１の対角要素は各特徴の分散を表し、非対角要素は特徴の相関を表す。個々のサンプルに関連するノイズは、共分散行列を作成１４０する際に平均フィルタを用いてフィルタリングすることができる。

共分散行列は、ヒストグラム等の従来技術の領域記述子と比べると比較的低次元である。対称性のために、行列Ｃ_Ｒは（ｄ^２＋２）／２個の異なる値のみを有するが、同一の領域を生の特徴値で表現する場合、ｎ×ｄ次元を必要とする。結合特徴ヒストグラムを用いる場合、ｂ^ｄ次元が必要であり、ここで、ｂは、特徴毎に用いられるヒストグラムビン数である。

画像領域Ｒが与えられると、その共分散行列Ｃ_Ｒは、その領域中のサンプルの順序及び数に関する情報を何ら有しない。これは、異なる画像中の異なる領域にわたってスケール及び回転に一定の不変性があることを示唆する。それにもかかわらず、ｘ及びｙに対する勾配のノルム等の、サンプルの方向に関する情報が表現される場合、共分散記述子の回転は不変でなくなる。同じことがスケール及び照明にも当てはまる。回転及び照明に依存する統計量は、コンピュータビジョンアプリケーションにおける認識及び分類に重要である。

共分散行列に関する距離スコアの計算
本明細書中に記載する共分散行列１４１はユークリッド空間にない。例えば、負のスカラーの乗法下で空間は閉じていない。ほとんどの一般的な機械学習方法はユークリッド空間のみで働く。したがって、それらの方法は、共分散行列で表される本発明の特徴に適していない。

したがって、本発明の１実施の形態は、共分散行列がユークリッド幾何学に適合しないため、内部平均（intrinsic mean）行列ＩＭ_Ｍ×Ｍを作成する。このような行列の平均をとると不正確になる。正定値共分散行列はリー群の構造を有するため、リーマン幾何学を用いて、いくつかの共分散行列の平均を求めることが可能である。

リー群は、同じく群である解析的多様体であり、乗法及び逆元の群演算は微分可能な写像である。リー群は局所的に、ベクトル空間に位相同型であると見なすことができる。したがって、任意の群の元の局所近傍は、その正接空間で適切に記述することができる。群の単位元における正接空間はリー代数を形成する。リー代数は、リー括弧積内の閉じたベクトル空間である。

いくつかのアプリケーションにおいて、リー代数は、リー群の内部平均を求めるために用いられる。リー代数はベクトル空間であるため、この空間で真平均又は内部平均の一次近似を求めることができる。

初期行列Ｃ_１で開始して、内部平均の一次近似を反復的に求めると、群の固定点に収束する。反復プロセスは次のように表される。

プロセスの各反復における誤差は、ベイカー・キャンベル・ハウスドルフの公式によって高次項で表すことができ、写像は、誤差が確実に最小化されるようにする。反復が終了すると、内部平均ＩＭ＝（＾）Ｃが得られる（（＾）Ｃは、Ｃの上に＾があることを表す。）。P. Fletcher、C. Lu、及びS. Joshi著「Statistics of shape via principal geodesic analysis on lie groups」Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1, pp. 95-101, 2003、V. Govindu著「Lie-algebraic averaging for globally consistent motion estimation」Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1, pp. 684-691, 2003、並びにO. Tuzel、R. Subbarao、及びP. Meer著「Simultaneous multiple 3d motion estimation via mode finding on lie groups」Proc. 10th Intl. Conf. on Computer Vision, Vol. 1, pp. 18-25, 2005を参照。

図２及び図５に示すように、本発明では、最近傍プロセスを用いて、共分散行列２０１及び２０２間の距離スコアを求める。本発明では、Forstner, W.、Moonen, B.著「A metric for covariance matrices」Technical report, Dept. of Geodesy and Geoinformatics, Stuttgart University, 1999（参照により本明細書中に援用される）によって記載される距離メトリック５０１を適合させる。

式２１０は、一対の共分散行列（Ｃ_１，Ｃ_２）の「非類似度」である。

ここで、｛λ_ｉ（Ｃ_１，Ｃ_２）｝_{ｉ＝１，．．．，ｎ}は、

から求められるＣ_１及びＣ_２の一般化固有値であり、ｘ_ｉ≠０は一般化固有ベクトルである。距離スコアρ２０３は、正定値対称行列Ｃ_１、Ｃ_２、及びＣ_３についてのメトリック５０１の以下の公理を満たす。
１．ρ（Ｃ_１，Ｃ_２）≧０且つＣ_１＝Ｃ_２である場合にのみρ（Ｃ_１，Ｃ_２）＝０
２．ρ（Ｃ_１，Ｃ_２）＝ρ（Ｃ_２，Ｃ_１）
３．ρ（Ｃ_１，Ｃ_２）＋ρ（Ｃ_１，Ｃ_３）≧ρ（Ｃ_２，Ｃ_３）

距離スコアはまた、正定値行列のリー群の構造から導かれる。リー群は、群特性に従い、群演算が微分可能であるという付加的な条件を満たす微分可能な多様体である。詳細についてはForstnerを参照。正定値行列のリー代数から同型（equivalent form）を導出することができる。

共分散の高速計算のための積分画像
図１２に示すように、積分画像は、領域の加算に用いられる中間画像表現である。Viola他を参照。矩形領域Ｒ（ｘ’，ｙ’，ｘ”，ｙ”）１２１、例えばサブセットが、（１，１）及び（Ｗ，Ｈ）によって定義される画像１１１の左上角及び右下角によって定義される。領域中の各サンプルには、ｄ次元の特徴ベクトル１３１が関連付けられる。

積分画像Ｒの各画素は、画像の左上角と、関心画素とを境界とする矩形内の全ての画素の和である。強度画像Ｉの場合、その積分画像（Integral Image）は次のように定義される。

この表現を用いて、一定の時間内に任意の矩形領域の和を求めることができる。積分画像は高次元に拡張することができる。Porikli, F.著「Integral histogram: A fast way to extract histograms in Cartesian spaces」Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1., pp. 829-836, 2005（参照により本明細書中に援用される）を参照。

本発明では、領域の共分散を求める同様の技法を用いる。式（２）で定義される共分散行列の（ｉ，ｊ）番目の元を次のように書き表すことができる。

平均を展開して項を並べ換えると、次のように書き表すことができる。

所与の矩形領域Ｒの共分散を求めるために、各特徴次元ｚ（ｉ）_{ｉ＝１，．．．，ｎ}の和及び任意の２つの特徴次元の乗法ｚ（ｉ）ｚ（ｊ）_{ｉ，ｊ＝１，．．．，ｎ}の和を求める。本発明では、各特徴次元ｚ（ｉ）及び任意の２つの特徴次元の乗法ｚ（ｉ）ｚ（ｊ）についてｄ＋ｄ^２個の積分画像を作成する。

Ｐを積分画像の一次のＷ×Ｈ×ｄのテンソルとし、

Ｑを積分画像の二次のＷ×Ｈ×ｄ×ｄのテンソルとする。

Viola他は、画像の１回のパスで積分画像を求めることができる方法を記載する。本明細書中の表記において、ｐ_ｘ，ｙはｄ次元ベクトルであり、Ｑ_ｘ，ｙはｄ×ｄ次元行列である。

Ｑ_ｘ，ｙは対称行列であり、ｄ＋（ｄ^２＋ｄ）／２回のパスが、ｐ及びＱの両方を求めるために十分であることに留意されたい。

Ｒ（ｘ’，ｙ’；ｘ”，ｙ”）を矩形領域とし、ここで、図１２に示すように、（ｘ’，ｙ’）は左上座標であり、（ｘ”，ｙ”）は右下座標である。（１，１）及び（ｘ’，ｙ’）を境界とする領域の共分散は、

であり、ここで、ｎ＝ｘ’・ｙ’である。同様に、領域Ｒ（ｘ’，ｙ’；ｘ”，ｙ”）の共分散は、

であり、ここで、ｎ＝（ｘ”−ｘ’）・（ｙ”−ｙ’）である。

物体の位置
物体の位置について、画像中の物体の位置を、非剛体変換後の物体の任意の姿勢について求めることが望ましい。

図３は、物体の位置を求める一般的なステップを示す。領域３０１を識別し、サンプル（画素）のサブセット３１１を選択３１０する。共分散行列３２１を求め３２０、行列３２１を並べて３３０、領域３０１の記述子３３１である単一の集合（aggregate）行列Ｃにする。集合行列Ｃは単純に、全ての共分散行列の全ての元を並べて、例えばそれらの行列を積み重ねることによって１つの行列にしている。

図４に示すように、マスク４０１を選択ステップ３１０の一部として定義して適用４１０することができる。

図５に示すように、記述子３３１は以下のように作成することもできる。共分散距離メトリック５０１を上述のように定義する。共分散行列の全ての可能な対間の距離スコアを求める５１０。距離スコアを用いて、領域中の物体の記述子３３１である自己距離（auto-distance）行列ＡＤ_Ｍ×Ｍ、例えば、ｄ_１１，ｄ_１２，ｄ_１３，．．．，ｄ_２１，ｄ_２２，ｄ_２３，．．．を作成５２０する。図６に示すように、代替的な算出６１０により、内部平均行列ＩＭ_Ｍ×Ｍを記述子３３１として作成する。内部平均については、以下でより詳細に説明する。

図７は、本発明の１実施の形態による、画像中の複数の領域を比較することができる方法を示す。１つ又は複数の画像の領域７０１及び７０２からサブセットを選択７１０する。共分散行列の記述子７２１及び７２２を距離メトリック７１１に従って作成７２０する。メトリック７３１〜７３３を用いて距離スコア７４１及び７４２を求める７３０。距離スコア７４１は対間距離であり、相互距離（cross-distances）７４２は、全ての可能な対の共分散行列間の距離を測定する。

図８は、未知の画像中の物体の位置を特定する方法の詳細を示す。基本入力画像は、何らかのターゲット画像の、既知の関心物体を含むターゲット領域８０１、及びテスト画像８０３である。目標は、テスト画像において、ターゲット領域に示されるものと同様の物体、例えば顔の位置を推定することである。

ターゲット領域８０１からサブセットを選択８１０し、メトリック８０２に従って記述子８２１を求める８２０。テスト画像８０３において１つ又は複数の候補領域８４１及び８４２を選択８４０する。上述のように、領域のサブセット８４０の共分散行列から記述子８６１及び８６２を求める８６０。

ターゲット領域８０１中の既知の物体の記述子８２１と記述子８６１及び８６２との間の距離を求める８３０。これらの距離のうちの最小距離をテスト画像８０３中の物体の推定位置８７１として選択８７０する。

図９は、物体の位置を求める代替的な実施の形態を示す。上述のように、既知の物体を含むターゲット領域９０１がある。テスト画像９０２の或る領域において同様の物体の位置を特定することが望ましい。ターゲット領域９０１から記述子９０３を抽出９１０する。テスト画像９０２のスケール（画素解像度）を変更する９２０ことができ、記述子抽出９４０のための候補領域を選択９３０することができる。記述子９０３及び９０４の間の距離を求める９４５ことができる。この距離は、新たな候補領域を選択するためのスケールを変更する９２０ために用いることができる。

距離はまた、初期の領域セットの選択９５０に続いて、後述する重なり合うマスクを適用９６０して、マスキングされた領域の記述子９７１を抽出９７０するために用いることもできる。距離を求めて９８０、テスト画像９０２中の物体の推定位置９９１を求めるために最小距離を選択する９９０。

図１０及び図１１は、上述のような基本共分散に基づく技法を用いて画像中のテクスチャを分類する方法のステップを示す。画像領域１００１及び１００２は、様々なクラスの「既知の」テクスチャを表す。サブセットを選択１０１０し、共分散行列を求めて１０２０、様々なクラスのテクスチャの記述子１０２１及び１０２２を抽出する。上記ステップは全て、前処理中に１度、テクスチャ分類データベースを訓練及び設定するために行うことができる。

テスト領域１００９を供給する。テスト領域中の「未知の」テクスチャを分類することが望ましい。テスト領域からサブセットを選択１０１０し、共分散行列により記述子１００３を得る１０２０。ステップ１０４０は、テスト領域と、既に分類した領域との間の距離を求める。Ｋ個の最小距離を求め１０５０、多数決１０６０を用いて票１０６１を投じ、テスト領域中のテクスチャが、分類した領域のうちの１つのテクスチャと類似する確率を求める。

図１１に示すように、票１０６１は、確率分布関数（ｐｄｆ）１１１１を作成１１１０するために用いることができる。次に、ｐｄｆを用いて、ｐｄｆの最大値に対応するクラスを選択１１２０することができ、ｐｄｆの分散を用いて、選択の信頼度を割り当てる１１３０ことができる。

次に、上記ステップの詳細を説明する。

特徴
本発明では、サンプルの画素位置（ｘ，ｙ）又はインデックス、カラー（ＲＧＢ）値、並びにｘ及びｙに対する強度の一次導関数及び二次導関数のノルムをサンプル特徴として用いる。画像の各画素は９次元の特徴ベクトルＦ１３１に変換される。

ここで、ｘ及びｙはインデックスであり、Ｒ、Ｇ、及びＢはＲＧＢカラー値であり、Ｉは強度である。画像導関数は、フィルタ［−１０１］^Ｔ及び［−１２ −１］^Ｔを用いて求めることができる。したがって、領域は、９×９の共分散行列１４１によって特徴付けられる。画素位置（ｘ，ｙ）の分散は、同一サイズの全ての領域について同じであるが、これらの分散と他の特徴の分散との相関が共分散行列１４１の非対角要素として用いられるため、なお重要である。

図１３に示すように、本発明では、画像１３００中の物体を、５つの選択された領域１３０１〜１３０５（画素サンプルのサブセット）について求めた画像特徴の５つの共分散行列Ｃ_１，．．．，Ｃ_５で表す。最初に、領域１３０１全体の共分散を入力画像から求める。

同様の共分散行列を有する領域のターゲット画像を探索し、式（３）を用いて相違度を測定する。ターゲット画像中の全ての位置において、９つの異なるスケール、すなわち、４つのより小さなスケール及び４つのより大きなスケールで分析して、一致する領域を見つける（図９のステップ９２０）。本発明では、積分画像を用いて任意の領域の共分散を非常に高速で求めることができるため、完全な探索を行う。

ターゲット画像をスケーリング９２０する代わりに、本発明では探索窓のサイズを変える。２つの連続するスケール間には１５％のスケーリングファクタがある。ｘ成分及びｙ成分の分散は、サイズの異なる領域について同じではない。したがって、本発明では、共分散行列中の対応する行及び列を標準化する。最小サイズの窓において、３画素を２つの探索位置間で水平方向又は垂直方向に動かす。より大きな窓の場合、さらに１５％飛び、各スケールにおいて次の整数に切り上げる。

本発明では、１０００個の最も良く一致する位置及びスケールを保持する。第２段階において、この１０００個の検出位置について、共分散行列Ｃ_{ｉ＝１，．．．，５}を用いて探索を繰り返す。物体領域とターゲット領域の相違度は次のように表される。

ここで、Ｃ^Ｏ _ｉ及びＣ^Ｔ _ｉはそれぞれ物体の共分散及びターゲットの共分散である。本発明では、共分散の差が最も大きい領域を無視する。これにより、遮蔽及び大きな照明変化の可能性が存在する場合の性能が上がる。最小相違度が最も小さい領域を推定位置における一致領域として選択９９０する。

テクスチャの分類
従来技術において、最も成功したテクスチャ分類方法はテクストンを用いる。テクストンの背景については、Julesz, B.著「Textons, the elements of texture perception and their interactions」Nature, Vol. 290, pp. 91-97, 1981を参照。テクストンは、入力画像から導出される特徴空間におけるクラスタ中心である。特徴空間は、入力画像中の全ての画素において適用されるフィルタバンクの出力から作成される。以下で簡単に検討するように、様々なフィルタバンクを適用することができる。

ＬＭは、４８個の異方性フィルタ及び等方性フィルタの組み合わせを用いる。Leung, T.、Malik, J.著「Representing and recognizing the visual appearance of materials using three-dimensional textons」Intl. J. of Comp. Vision, Vol. 43, pp. 29-44, 2001。特徴空間は４８次元である。

Ｓは、１３個の円対称フィルタのセットを用いる。Schmid, C.著「Constructing models for content-based image retrieval」Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Kauai, HI, pp. 39-45, 2001。特徴空間は１３次元である。

Ｍ４及びＭ８がVarma, M.、Zisserman, A.著「Statistical approaches to material classification」Proc. European Conf. on Computer Vision, 2002に記載されている。これらのフィルタは、回転対称フィルタ及び指向性フィルタを含むが、最大応答指向性フィルタのみを特徴ベクトルに含める。特徴空間はそれぞれ４次元及び８次元である。

通常、ｋ平均クラスタリングを用いてテクストンの位置を特定する。最も顕著なテクストンは、テクストンライブラリに集約され、テクストンヒストグラムがテクスチャ表現として用いられる。Ｘ^２距離を用いて、２つのヒストグラムの類似度を測定する。テスト画像からの距離が最小である訓練画像が、テスト画像のクラスを決める。このプロセスは、画像を大きなフィルタバンクで畳み込み、ほとんどの場合に高次元空間におけるクラスタリングを必要とするため、計算に時間がかかる。

テクスチャ分類のための共分散
図１４は、上で紹介したような本発明の１実施の形態によるテクスチャ分類方法を図式的に示す。本方法はテクストンを用いない。

この分類は、分類領域１００１及び１００２中の既知のテクスチャを用いる前処理訓練段階を有する。分類は、未知のテクスチャを有するテスト領域１００９に対して作用する。

訓練中に、各サンプル又は画素の特徴を抽出１３０することから開始する。テクスチャ分類の場合、特徴は、画素のインデックス、画素強度、並びにｘ方向及びｙ方向の両方における強度の一次導関数及び二次導関数のノルムを含む。各画素は、ｄ＝５次元の特徴ベクトル１３１に写像される。

データサンプル又は画像１１１の各セットからランダムに選択１２０した領域をサンプリングする。領域のサイズは、１６×１６画素〜１２８×１２８画素の範囲である。上述のような積分画像を用いて各領域１２１の共分散行列１４１を作成する。次に、各テクスチャ画像がｓ個の共分散行列を用いて表現される。各テクスチャクラスからのｕ個の訓練テクスチャ画像、及び合計でｓ×ｕ個の共分散行列も有する。このプロセスをｃ個のテクスチャクラスについて繰り返し、既知の各テクスチャクラスの表現を同様に作成する。

テスト画像１００９が与えられた状態で、上述のように、ランダムに選択された領域の共分散行列も作成する。各共分散行列について、訓練セットの全ての行列から、式（３）を用いて距離を測定し、ｋ−ＮＮクラスタリングを用いて、ｋ個の最近傍行列における多数決１０６０に従ってラベルを予測する。概して、Fix, E.及びHodges著「Discriminatory analysis: Nonparametric discrimination: consistency properties」Report 4, Project number 21-49-004, USAF School of Aviation Medicine, Randolph Field, Texas, 1951を参照。

本発明の分類器は弱分類を行い、ｓ個の弱分類器における最多票に従ってテクスチャのクラスを判定する。

本発明を、好適な実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応形態及び修正形態を実施することができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るこのような変形形態及び修正形態をすべて網羅することである。

本発明の１実施の形態による、データセットの記述子を作成する方法のフロー図である。本発明の１実施の形態による、距離スコアを求めるフロー図である。本発明の１実施の形態による、距離スコアを記述子として合計する方法のフロー図である。本発明の別の実施の形態による、距離スコアを記述子として合計する方法のフロー図である。本発明の別の実施の形態による、距離スコアを記述子として合計する方法のフロー図である。本発明の別の実施の形態による、距離スコアを記述子として合計する方法のフロー図である。本発明の１実施の形態による、画像中の複数の領域の相互距離スコアを求めるフロー図である。本発明の１実施の形態による、画像中の物体の位置を推定するフロー図である。本発明の別の実施の形態による、画像中の物体の位置を推定するフロー図である。本発明の１実施の形態による、テクスチャを分類するフロー図である。本発明の別の実施の形態による、テクスチャを分類するフロー図である。本発明の１実施の形態による積分画像のブロック図である。本発明の１実施の形態による物体及び画像領域の画像である。本発明の１実施の形態によるテクスチャ分類のブロック図である。

Claims

コンピュータにより実施される、データサンプルのセットについて、検出、認識及び分類の少なくとも１つを行う記述子を作成する方法であって、
前記データサンプルのセットから複数のサンプルサブセットを選択するステップと、
各サンプルサブセット中の各サンプルについてｄ次元の、対応するサンプルのインデックス及び前記サンプルの特性を含む、特徴ベクトルを抽出するステップと、
各サンプルサブセットの前記特徴ベクトルを結合してｄ×ｄ次元の、対応するサンプルサブセットの記述子である、共分散行列にするステップと、
２つの共分散行列間の距離スコアを求めて、対応するサンプルサブセットの類似度を測定するステップと、
共分散距離メトリックを定義するステップと、
前記共分散行列の対間の対間距離スコアを求めるステップと、
前記対間距離スコアからｄ×ｄ次元の自己距離行列を作成するステップと、
前記自己距離行列を前記データサンプルのセットの前記記述子として割り当てるステップと
を含む、コンピュータにより実施される、データサンプルのセットについて記述子を作成する方法。
前記共分散行列を並べて、前記データサンプルのセットの前記記述子としての集合共分散行列にするステップをさらに含む
請求項１記載の方法。
データサンプルのセットにマスクを適用するステップをさらに含む
請求項１記載の方法。
前記インデックスは、空間である
請求項１記載の方法。
前記インデックスは、時間である
請求項１記載の方法。
前記インデックスは、時空間である
請求項１記載の方法。
前記データサンプルのセットは、画像の画素を含む
請求項４記載の方法。
前記データサンプルのセットは、ビデオの画素を含む
請求項５記載の方法。
前記データサンプルのセットは、容積データセットの点を含む
請求項４記載の方法。
前記特徴ベクトルは、前記画像中の前記画素の位置を含む
請求項７記載の方法。
前記特徴ベクトルは、前記画素の強度、前記画素の色情報、前記画素の色勾配、前記画素の色導関数、及び前記画素のフィルタ応答を含む
請求項１０記載の方法。
前記特徴ベクトルは、前記画素の座標を含む
請求項９記載の方法。
前記共分散行列は、

であり、ここで、ｎは前記サブセット中のサンプル数であり、ｚは前記特徴ベクトルを表し、μは前記特徴の平均であり、Ｔは転置演算子である
請求項１記載の方法。
前記共分散行列の対角要素は、前記特徴の分散を表し、非対角要素は、前記特徴の相関を表す
請求項１記載の方法。
前記特徴ベクトルを抽出する前に前記データサンプルのセットをフィルタリングするステップをさらに含む
請求項１記載の方法。
前記距離スコアは、

であり、ここで、｛λｉ（Ｃ１，Ｃ２）｝ｉ＝１，．．．，ｎは、２つの共分散行列Ｃ１及びＣ２の、λｉＣ１ｘｉ−Ｃ２ｘｉ＝０（ｉ＝１，．．．，ｄ）に従う一般化固有値であり、ｘｉ≠０は前記共分散行列の一般化固有ベクトルである
請求項１記載の方法。
前記画像から積分画像のセットを求めるステップと、
前記積分画像のセットから前記共分散行列を導出するステップとをさらに含む
請求項７記載の方法。
前記積分画像の一次を

として求め、前記積分画像の二次を

として求めるステップをさらに含み、
ここで、ｘ及びｙは前記画素の前記位置を表す
請求項１７記載の方法。
様々なサイズの領域の前記共分散行列を前記一次積分画像及び前記二次積分画像の角の点の値から作成するステップをさらに含む
請求項１７記載の方法。
複数の対間距離から相互距離行列を作成するステップをさらに含む
請求項１記載の方法。
前記共分散行列に従ってテスト画像中の物体の位置を特定するステップをさらに含む
請求項７記載の方法。
前記物体を含む前記テスト画像の領域全体の画素及び前記物体を含む小領域中の画素について共分散行列を作成するステップと、
前記複数の共分散行列を前記物体の記述子として割り当てるステップとをさらに含む
請求項２１記載の方法。
前記テスト画像から複数のテスト領域を選択するステップと、
複数の共分散行列をテスト領域の記述子として作成するステップと、
前記テスト領域について距離スコアを求めるステップと、
最小の距離スコアを前記テスト画像中の前記物体の推定位置として割り当てるステップとをさらに含む
請求項２１記載の方法。
初期サイズをターゲット領域に割り当てて、前記物体を含む候補領域を得るステップと、
前記初期サイズを有する前記画像から複数のテスト領域を選択するステップと、
前記記述子間の距離スコアを求めるステップと、
サイズを変更するステップと、
前記選択するステップ及び前記求めるステップを繰り返すステップとをさらに含む
請求項２３記載の方法。
前記距離スコアを

として求めるステップをさらに含み、
ここで、ＣＯｉ及びＣＴｉは様々な共分散行列を表す
請求項１記載の方法。
前記画像中のテクスチャを前記共分散行列に従って分類するステップをさらに含む
請求項７記載の方法。
既知の領域中の既知のテクスチャの各クラスを第１の共分散行列セットとして表すステップと、
未知のテクスチャを有する各テスト領域を第２の共分散行列セットとして表すステップと、
前記第１の共分散行列及び前記第２の共分散行列の間の距離スコアを求めるステップと、
最小の距離スコアを有するクラスを前記テスト領域のクラスとして選択するステップとをさらに含む
請求項２６記載の方法。
前記テスト領域の各共分散行列に対して最小の距離スコアを有する特定のクラスに対して一票を投じるステップと、
過半数の票を有するクラスを前記テスト領域のクラスとして選択するステップとをさらに含む
請求項２７記載の方法。
前記クラス票の分散を計算するステップと、
前記分散を信頼度スコアとして割り当てるステップとをさらに含む
請求項２８記載の方法。