JP6499647B2 - キーポイント識別 - Google Patents

Description

[0001]本発明は、画像の解析の分野に関する。

[0002]画像解析の分野では、複数の点（画素）（各々が輝度などの画像を代表する物理的パラメータのそれぞれの値によって特徴付けられる）によって形成される画像をいくつかの種類の処理（別の画像との比較など）に出す前に、この画像に表される顕著な細部の位置およびサイズの識別を行うことは、有利である。画像解析の分野では、画像の「顕著な細部」によって、物体の視点、照明およびカメラの種類に変化がある場合でさえ容易に検出可能である、画像に含まれるその物体の一部分が、意図される。

[0003]数年前までは、画像の顕著な細部の位置を識別することは可能であったが、しかしそれらのサイズはそうでなかった。より詳細には、画像の顕著な細部の場所の識別は、画像の関連する顕著な点（専門用語ではキーポイント）の識別を通じて行われ、それは、顕著な細部の中心に実質的に対応する。円形形状を有する細部の場合、キーポイントは、細部の中心と一致し、一方異なる形状を有する細部の場合、キーポイントの位置は、細部の実際の中心から外れることもある。

[0004]最近、画像キーポイント識別に加えて、そのおかげでまた各キーポイントと関連する顕著な細部のサイズも決定することが可能である手順が、開発された。

[0005]現在は、顕著な細部の位置およびサイズを識別するために使用される方法は、「スケールスペース」の概念に基づいており、それは、画像への徐々に強くなる一連のフィルタリングの適用を提供する。画像に適用されるフィルタリングは典型的には、画像点の物理的パラメータ（例えば、輝度）の値について微分演算を行うフィルタリングである。典型的には、そのようなフィルタリングは、ガウシアン関数に基づいており、そのフィルタリング強度は、フィルタリングパラメータσ（ガウシアン関数の標準偏差）によって支配され、フィルタリングパラメータσが、高いほど、ガウシアンは、より平坦で、より広く、ガウシアンは、より強い平滑化効果を有する。座標（ｘ、ｙ）の画素の行列によって形成される画像のスケールスペースは、徐々に強くなるフィルタ（すなわち、徐々に大きくなる値のσを有する）を適用して出発画像から得られるフィルタ処理画像の組（輝度の観点から）によって形成される空間であり、従って三次元（ｘ、ｙ、σ）空間である。

[0006]理論（例えばＴ．Ｌｉｎｄｅｒｂｅｒｇ（１９９２）、「Ｓａｃｌｅ−ｓｐａｃｅ ｂｅｈａｖｉｏｒ ｏｆ ｌｏｃａｌ ｅｘｔｒｅｍａ ａｎｄ ｂｌｏｂｓ（局所的極および斑点のスケールスペース挙動）」、Ｊ．ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｖｉｓｉｏｎ、１（１）、６５〜９９頁を参照のこと）は、もしあなたが空間（ｘ、ｙ、σ）に属する点（ｘ_ｐ、ｙ_ｐ、σ_ｐ）についてフィルタ処理画像の極値（σに関して）を有するならば、すなわち点（ｘ_ｐ、ｙ_ｐ、σ_ｐ）を取り囲む空間（ｘ、ｙ、σ）の一部分において最大値または最小値（σに関して）を有するならば、その時その点は、顕著な細部と関連付けられ、その中心座標は、（ｘ_ｐ、ｙ_ｐ）であり、サイズは、σ_ｐに比例することを述べる。その細部のサイズ（直径）（個数または画素数単位で）は、２＊ｓｑｒｔ（２）＊σ_ｐに等しい。

[0007]従って、スケールスペースにおけるすべての極点（extreme point）を識別することによって、画像の顕著な細部の位置およびサイズが、得られる。

[0008]スケールスペースにおける極点を見いだすために、既知の方法（Ｌｏｗｅ、Ｄａｖｉｄ Ｇ．の文献「Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ（局所的スケール不変特徴からの物体認識）」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２．１１５０〜１１５７頁において１９９９年に述べられたデスクリプタ「Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（スケール不変特徴変換）」、ＳＩＦＴおよび米国特許第６，７１１，２９３号の主題を使用する方法など）は、増加する値のσでフィルタ処理された一連の画像を考え、σでフィルタ処理された画像の各点について、それらの値を同じ画像の８つの隣接点の値ならびにそのひと続きにおけるσの前の値および次の値に対応するフィルタ処理画像に存在する１８（９＋９）個の隣接点の値と比較する。もしこの点が、すべての隣接点よりも小さいまたは大きいならば、その時その点は、空間ｘ、ｙ、σの極（extreme）であり、キーポイントとなる候補である。エッジに沿った細部の場所は、同じシーンを描写する異なる画像において容易に変わる可能性があるから、低コントラストを有する画像の部分に対応する点およびエッジに似た構造体上にある点を排除することが、知られているので（例えば、Ｌｏｗｅ、ＤＧ、「Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ（スケール不変キーポイントからの際立った画像特徴）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、６０、２、９１〜１１０頁、２００４年を参照のこと）、この点は、単に候補にすぎない。その点は、従って信頼性がなく、従って廃棄される。

[0009]本出願者は、画像のキーポイントの識別のための最新技術において知られている手法が、画像をフィルタ処理するためにσの値の限られたサブセットを使用して、σが変化するときにフィルタ処理画像の離散的表現だけを得ることに気付いた。

[0010]しかしながら、本出願者は、必要とされる計算の量を低減しながら、画像のキーポイントをより正確にかつ効果的に識別するために、一般的フィルタ処理画像を、σの離散値の比較的小さい組に対してだけでなく、σに関して連続性を有するそれを表すように近似することが可能であることを観察した。

[0011]本発明の態様は、一組の画素を備えるデジタル画像のキーポイントを識別するための方法に言及する。各画素は、それに関連して画像代表パラメータのそれぞれの値を有する。前記方法は、フィルタ処理画像を近似するステップを含む。前記フィルタ処理画像は、フィルタリングパラメータに依存し、画像の各画素について画素の代表パラメータの値のフィルタ処理値を計算するためのフィルタリングパラメータに依存するフィルタリング関数を備える。近似する前記ステップは、
ａ）一組の基礎フィルタ処理画像を生成するステップであって、各基礎フィルタ処理画像は、フィルタリングパラメータのそれぞれの値でフィルタ処理された画像である、ステップと、
ｂ）前記組の画素の少なくともサブセットの各画素について、基礎フィルタ処理画像に基づいてそれぞれの近似関数を用いてフィルタリング関数を近似するステップであって、前記近似関数は、フィルタリングパラメータの所定範囲内のフィルタリングパラメータの関数である、ステップとを含む。

[0012]本方法はさらに、前記サブセットの各画素について、もし近似関数が、前記所定範囲に内在するそれぞれの部分範囲におけるフィルタリングパラメータに関してまた全体的極でもある局所的極を有するならば、当該各画素をキーポイント候補と識別するステップを含む。

[0013]キーポイント候補と識別される各画素について、本方法はさらに、
ｃ）画素の全体的極に対応するフィルタリングパラメータの値における近似関数によって仮定される値を、画像の隣接画素のそれぞれの全体的極のフィルタリングパラメータの値における当該隣接画素の近似関数によって仮定される値と比較するステップと、
ｄ）当該各画素をこの比較に基づいて選択するステップとを含む。

[0014]本発明の実施形態によると、基礎フィルタ処理画像に基づいてそれぞれの近似関数を用いてフィルタリング関数を近似する前記ステップは、前記基礎フィルタ処理画像の線形結合に基づいて前記近似関数を計算するステップを含む。

[0015]本発明の実施形態によると、前記近似関数は、前記基礎フィルタ処理画像の前記線形結合のさらなる近似に基づいている。

[0016]本発明の実施形態によると、前記近似関数は、フィルタリングパラメータを変数として有する多項式である。

[0017]本発明の実施形態によると、前記多項式の係数は、基礎フィルタ処理画像および前記線形結合の重みの近似に基づいて計算される。

[0018]本発明の実施形態によると、本方法はさらに、画素の全体的極に対応するフィルタリングパラメータにおける近似関数によって仮定される値が、第１のしきい値よりも小さい絶対値を有するところの画素を選択された画素から廃棄するステップを含む。

[0019]本発明の実施形態によると、本方法はさらに、
− 選択された各画素について、選択された当該各画素に中心があるパッチに含有される画像の画素におけるフィルタリング関数によって形成される表面の主曲率および二次曲率を計算するステップと、
− 主曲率と二次曲率との間の比に基づいて、選択された画素から／に当該各画素を廃棄する／維持するステップとを含む。

[0020]本発明の実施形態によると、本方法はさらに、
− 選択された各画素について、対応する全体的極におけるフィルタリングパラメータに関する近似関数の二次導関数によって仮定される値を計算するステップと、
− 二次導関数によって仮定される当該値に基づいて、選択された画素から／に当該各画素を廃棄する／維持するステップとを含む。

[0021]本発明の実施形態によると、キーポイントを識別する前記ステップはさらに、フィルタリングパラメータの同じ所定範囲を使用して、画像の少なくとも拡大・縮小バージョンについて繰り返される。

[0022]本発明の実施形態によると、
− 基礎フィルタ処理画像のフィルタリングパラメータの値の少なくとも１つは、他の基礎フィルタ処理画像のフィルタリングパラメータの値の中の最低値の二倍に等しく、
− 画像の前記拡大・縮小バージョンは、フィルタリングパラメータの最低値を有する基礎フィルタ処理画像の近似バージョンから出発して基礎フィルタ処理画像を近似することによって得られ、基礎フィルタ処理画像の前記近似バージョンは、フィルタリングパラメータの最低値の二倍であるフィルタリングパラメータの値で基礎フィルタ処理画像をアンダーサンプリングすることによって近似される。

[0023]本発明の実施形態によると、前記フィルタ処理画像は、ガウシアンのラプラシアン演算に基づくフィルタまたはガウシアンの差分に基づくフィルタの適用に基づいており、前記フィルタリングパラメータは、ガウシアン関数の標準偏差である。

[0024]本発明の実施形態によると、前記多項式は、フィルタリングパラメータに関する三次多項式である。

[0025]本発明の実施形態によると、画像の各画素は、画像の画素の場所を識別する少なくとも１つの対応する座標を有し、前記方法はさらに、選択された各画素について、座標の対応する変化に関して画素におけるフィルタリング関数を近似するさらなる近似関数に基づいて座標の当該変化を計算することによって当該各画素の前記少なくとも１つの座標を変更するステップを含み、前記さらなる近似関数は、
１）選択された当該各画素の全体的極に対応するフィルタリングパラメータの値における選択された画素のフィルタリング関数に、かつ
２）選択された画素の全体的極に対応するフィルタリングパラメータの値における画像の選択された画素に隣接する画素のフィルタリング関数に基づいている。

[0026]本発明の実施形態によると、座標の変化を計算する前記ステップは、座標の変化に関するさらなる近似関数における最大または最小点を識別するステップ、および識別された最大または最小点に基づいて座標の当該変化を設定するステップを含む。

[0027]本発明のこれらの特徴および利点ならびにさらなる特徴および利点は、例としてであって限定でない、付随する図面と併せて読むべきいくつかの実施形態の下記の説明から明らかにされることになる。

輝度信号を座標の関数として示すグラフである。 異なる増加する値のσについて、対応するＬｏＧフィルタおよびこのＬｏＧフィルタを通じてフィルタ処理された図１Ａの信号を示す図である。 その各点がそれぞれの輝度値を有する、二次元画像を示す図である。 増加する値のσについて、対応するＬｏＧフィルタおよびＬｏＧフィルタを通じてフィルタ処理された図２Ａの画像を示す図である。 ４つの基礎フィルタＬｏＧＢを例示する図である。 本発明の一実施形態による線形結合を用いて近似されたＬｏＧフィルタが、明示的に計算されたそれにどの程度似ているかを示す図である。 ４つの基礎フィルタＬｏＧの線形結合の重みが、一般的ＬｏＧフィルタを得るためにσの関数においてどのように変化するかを示す略図を例示する図である。 ２．５に等しいσを有するフィルタＬｏＧとの畳み込みを通じてフィルタ処理された図２Ａの画像を示す図である。 本発明の実施形態による近似関数を用いて２．５に等しいσでＬｏＧフィルタを近似してフィルタ処理された図２Ａの画像を示す図である。 図４Ａの画像と図４Ｂの画像との間の差から生じる画像である。 本発明の実施形態による画像のキーポイントを識別するためのプロセスを機能ブロックの観点から例示する流れ図を示す図である。 本発明の実施形態による画像のキーポイントを識別するためのプロセスを機能ブロックの観点から例示する流れ図を示す図である。 グレースケールを用いて、図２Ａの例示的画像の各点について本発明の実施形態による近似関数によって仮定される最大値の例を示す図である。 グレースケールを用いて、図２Ａの画像の各点について本発明の実施形態による近似関数によって仮定される最小値の例を示す図である。 図２Ａの画像の点が、潜在的キーポイントとなる候補である最大の点であるという例を示す図である。 図２Ａの画像の点が、潜在的キーポイントとなる候補である最小の点であるという例を示す図である。 図７Ａは、本発明の実施形態による、隣接点との比較の手順が実行された後になお潜在的キーポイントと考えられる最大の対応する点を示す図である。図７Ｂは、本発明の実施形態による、隣接点との比較の手順が実行された後になお潜在的キーポイントと考えられる最小の対応する点を示す図である。 図８Ａは、図２の画像の第１のオクターブにおいてキーポイントと識別される点を示す図である。図８Ｂは、図２の画像の５つの考察されるオクターブにおいてキーポイントと識別される点を示す図である。

[0028]典型的には、画像に適用されるガウシアン関数に基づくフィルタは、ガウシアンのラプラシアン演算（「Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎ」、ＬｏＧ）またはガウシアンの差分（「Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ Ｇａｕｓｓｉａｎ」、ＤｏＧ）であってもよい。ガウシアンの差分は、ガウシアンのラプラシアン演算を近似するが、しかし計算理由のために採用することが、便利なこともある。その結果、本明細書では、ＬｏＧフィルタを使用する演算にいつも言及されることになるが、等価な考察は、ＤｏＧフィルタの場合にも当てはまる。

[0029]ＬｏＧフィルタリング適用を用いる顕著な細部の識別の根底にあるメカニズムを示すために、２つの例が、今から提示されることになり、図１Ａおよび図１Ｂに示される第１の例では、簡単にするために、二次元画像の代わりに、一次元輝度信号が、考えられ、一方図２Ａおよび図２Ｂに示される第２の例は、二次元画像に言及する。

[0030]第１の例を参照すると、図１Ａは、単一ｘ座標の関数として輝度値を示すグラフであり、図１Ａのグラフを観察すると、信号の２つのピークに対応する２つの顕著な細部の存在に早くも気付くことが可能である。これらの２つの顕著な細部が、中心座標だけでなく、またサイズも識別することを可能にするＬｏＧフィルタリング手順によってどのように識別され得るかを見るために、図１Ｂが、参照されることになり、それは、異なる増加する値のσ（σ＝２、σ＝６、σ＝１０、σ＝１４、σ＝１８、σ＝２２）について、対応するＬｏＧフィルタ（図の左側の）およびこのＬｏＧフィルタを通じてフィルタ処理された図１Ａの信号（図の右側の）を示す。考察される例では、２つの極が、識別されてもよく、すなわちσ＝６のときにｘ＝２１０に第１の極、およびσ＝１４のときにｘ＝１１０に第２の極がある。これらの極は、２つの顕著な細部の存在を示し、その中心は、２１０および１１０点（またはもしそれが画像であるならば画素）にあり、その幅は、関係式、顕著な点の直径＝２＊ｓｑｒｔ（２）＊σを使用すると、約１６．８７および３９．５９点である。

[0031]第２の例を参照すると、図２Ａは、二次元画像を示し、その各点は、それぞれの輝度値を有し、一方図２Ｂは、増加する値のσ（σ＝２、σ＝９、σ＝１６、σ＝２３）について、対応するＬｏＧフィルタ（図の右側の）およびそのようなＬｏＧフィルタを通じてフィルタ処理された図２Ａの画像（図の左側の）を示す。単語「ＳＣＵＯＬＡ」の隣の三日月形の窓は、中心に約１９画素の高さを有する顕著な細部であり、容易に検出可能なはっきりと分かる形を有する。これは、窓の中央では、画像へのＬｏＧフィルタ適用の結果が、１９／（２＊ｓｑｒｔ（２））＝６．４６に等しいσにおいて最大値を有することを意味する。実際、窓の中心では、フィルタリングの結果として得られる最高値（最高の明るさ）が、σ＝９を有するＬｏＧフィルタ、すなわち、４つの用いられたＬｏＧフィルタのうちで６．４６により近いσ値を有するＬｏＧフィルタに対応するそれであることが観察されてもよい。

[0032]ＬｏＧフィルタは、σが増加するにつれてサイズがかなり増加する傾向があるので（σ＝５０の場合、フィルタは、ほとんど５００×５００点の行列で表せる）、上で述べられた処理は有利には、計算の数を低減するために、オクターブ手法を使用することによって行われてもよい。オクターブ処理は、原画像についてσ＝σ^＊を有するフィルタの結果が、５０％に縮小された画像についてσ＝σ^＊／２を有するフィルタで再現され得るという観察に基づいている。オクターブ処理では、区間が、σについて固定され、フィルタ処理画像が、その範囲に入るいくつかのσで調べられ、次いで画像は、同じ種類の解析を低減画像について繰り返すこと（同じフィルタリングを行うこと）によって５０％に縮小される。そのプロセスは、縮小された画像が所定のしきい値よりも小さいサイズを有するまで繰り返される。例えば、ＶＧＡ画像（６４０×４８０）から出発し、画像のより短い辺が２０画素よりも少なくなるときにそのプロセスを終了すると、５オクターブが、得られる（６４０×４８０、３２０×２４０、１６０×１２０、８０×６０、４０×３０）。

[0033]本発明の実施形態による解決策の基本概念の１つは、これ以降基礎フィルタと呼ばれる、ｎ個の異なるσ＝σ_ｉ（ｉ＝１、２、・・・、ｎ）を有する前に計算されたｎ個のフィルタＬｏＧＢ（ｘ、ｙ、σ_ｉ）の線形結合としてＬｏＧフィルタ（ｘ、ｙ、σ）（ただし、ｘ、ｙは、画像の空間座標（すなわち、画像を形成する点または画素）であり、σは、スケールスペースを規定するｘ、ｙ、σを有するガウシアンの標準偏差である）を近似することが可能であるという観察から生じており、すなわち、
（１）：ＬｏＧ（ｘ、ｙ、σ）≒ｐ_１（σ）ＬｏＧＢ（ｘ、ｙ、σ_１）＋ｐ_２（σ）ＬｏＧＢ（ｘ、ｙ、σ_２）＋ｐ_３（σ）ＬｏＧＢ（ｘ、ｙ、σ_３）＋・・・＋ｐ_ｎ（σ）ＬｏＧＢ（ｘ、ｙ、σ_ｎ）、
ただしｐ_１（σ）、ｐ_２（σ）、・・・、ｐ_ｎ（σ）は、この説明の後に示されることになるように、その値がσの関数である重みである。ｘおよびｙからの空間依存性は、簡単にするために省略されている。

[0034]図３Ａに示される例を参照すると、σ_１＝１．８、σ_２＝２．８４６、σ_３＝３．６、およびσ_４＝４．２２１４を有する４つの基礎フィルタＬｏＧＢ（σ_１）、ＬｏＧＢ（σ_２）、ＬｏＧＢ（σ_３）、ＬｏＧＢ（σ_４）を計算したと想定される。これらの４つの基礎フィルタＬｏＧＢの線形結合を作ると、ＬｏＧフィルタを、
（２）：ＬｏＧ（ｘ、ｙ、σ）≒ｐ_１（σ）ＬｏＧＢ（ｘ、ｙ、１．８）＋ｐ_２（σ）ＬｏＧＢ（ｘ、ｙ、２８４６）＋ｐ_３（σ）ＬｏＧＢ（ｘ、ｙ、３．６）＋ｐ_４（σ）ＬｏＧＢ（ｘ、ｙ、４．２２１４）、
として近似することが可能である。

[0035]関係式（２）を使用すると、例えば２．５に等しいσを有するＬｏＧフィルタの良好な近似、
（３）：ＬｏＧ（ｘ、ｙ、２．５）≒０．０１６１ＬｏＧＢ（ｘ、ｙ、１．８）＋０．２５０１ＬｏＧＢ（ｘ、ｙ、２．８４６）−０．１８７ＬｏＧＢ（ｘ、ｙ、３．６）＋０．０８３６ＬｏＧＢ（ｘ、ｙ、４．２２１４）、
を得ることが可能である。

[0036]図３Ｂでは、線形結合によって近似されたＬｏＧフィルタ（図の右側の）が、明示的に計算されたそれ（図の左側の）にどの程度似ているかを観察することが可能である。

[0037]重みｐ_１（σ）、ｐ_２（σ）、・・・、ｐ_ｎ（σ）は、線形方程式系、
（４）：Ａｐ＝ｂ
を解くことによって計算され、
ただし、
− Ａは、基礎フィルタＬｏＧＢの数ｎ（考察される例では、４）に等しい列の数を有する行列であり、それでの各列は、対応する基礎フィルタＬｏＧＢを表す。一般的ＬｏＧフィルタは、ｍ×ｍの正方行列（そこでは各要素は１つの画素に対応する）を用いて表せると仮定すると、Ａの各列は、各基礎フィルタＬｏＧＢの行列の列を縦列に並べることによって構築され、ｍ^２要素の対応する列ベクトルを得る。

− ｂは、近似すべきＬｏＧフィルタを表すｍ^２要素の列ベクトルである。

− ｐは、その系を解くことによって決定される重みｐ_１（σ）、ｐ_２（σ）、・・・、ｐ_ｎ（σ）（考察される例では、ｐ_１、ｐ_２、ｐ_３、ｐ_４）を含有するｎ個の要素のベクトルである。

[0038]その系を解くために、本発明の実施形態によると、既知の最小二乗法または、例えば「シミュレーテッドアニーリング」として知られる方法（これに関しては、例えばＫｉｒｋｐａｔｒｉｃｋ、Ｓ．、Ｇｅｌａｔｔ、ＣＤ、Ｖｅｃｃｈｉ、ＭＰ（１９８３）、「Ｏｐｔｉｍｉｚａｔｉｏｎ ｂｙ Ｓｉｍｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇ（シミュレーテッドアニーリングによる最適化）」、Ｓｃｉｅｎｃｅ ２２０（４５９８）、６７１〜６８０頁を参照のこと）のような、観察される値と近似される値との間の差のノルムを低減することを可能にする任意の他の方法を使用することが可能である。

[0039]それぞれのσ＝σ’_１、σ’_２、・・・、σ’_ｑを有し、関係式（４）に基づいて近似すべきｑ個のＬｏＧフィルタの組を選択することによって、ｎ個の基礎フィルタＬｏＧＢの各々について行および近似すべきｑ個のＬｏＧフィルタの各々について列を有し、下記の関係式、
（５）ＡＷ＝Ｄ、
に従ってそのような列に対応するＬｏＧフィルタを近似するために各列について重みｐ_１（σ）、ｐ_２（σ）、・・・、ｐ_ｎ（σ）を含有する重み行列Ｗを計算することが可能であり、
ただしＤは、ｑ個のＬｏＧフィルタ（σ’_ｊ）（ｊ＝１、２、・・・、ｑ）を含有する行列である。

[0040]ｎ個の基礎フィルタＬｏＧＢのそれぞれについて重み行列Ｗの対応する要素を挿入すると、その時重みｐ_１（σ）、ｐ_２（σ）、・・・、ｐ_ｎ（σ）がσに関してどのように変化するかを決定することが可能である。重みｐ_１（σ）、ｐ_２（σ）、・・・、ｐ_ｎ（σ）の傾向がσに関して近似されるその正確さは、関係式（５）において考察されるＬｏＧフィルタの数ｑに依存する（ｑが高いほど、近似はより良好である）。

[0041]図３Ｃは、前に考察された例の重みｐ_１（σ）、ｐ_２（σ）、ｐ_３（σ）、ｐ_４（σ）がσの関数としてどのように変化するかを示す図を例示する。この場合、曲線は、各重みについて１３個の異なるσ＝σ’_１、σ’_２、・・・、σ’_ｑ（すなわち、ｑ＝１３）にそれぞれ対応する１３点を挿入することによって生成された。

[0042]画像をＬｏＧ（σ）フィルタでフィルタ処理するために、ＬｏＧフィルタの畳み込みが、この画像Ｉについて行われ、
（６）：Ｌ（σ）＝ＬｏＧ（σ）＊Ｉ、
ただしＬ（σ）は、画像に適用されたＬｏＧフィルタの結果であり（これ以降、単に「フィルタ処理画像」と呼ばれる）、＊は、畳み込み符号である。

[0043]畳み込みは、線形演算子であるので、そのような特性を利用することによって、有利には任意のフィルタ処理画像Ｌ（σ）（すなわち、任意のσに対応するフィルタリングについて）の近似を、明示的にそれを計算する必要なく得ることが可能である。実際、そのような特性を利用し、関係式（１）を関係式（６）に代入することによって、下記の関係式が、得られる。

（７）：Ｌ（ｘ、ｙ、σ）≒ｐ_１（σ）Ｌ（ｘ、ｙ、σ_１）＋ｐ_２（σ）Ｌ（ｘ、ｙ、σ_２）＋ｐ_３（σ）Ｌ（ｘ、ｙ、σ_３）＋・・・＋ｐ_ｎ（σ）Ｌ（ｘ、ｙ、σ_ｎ）
[0044]言い換えれば、本発明の実施形態による解決策のおかげで、ｎ個の基礎フィルタＬｏＧＢ（σ_ｉ）を使用してｎ個のフィルタ処理画像Ｌ（σ_ｉ）（ｉ＝１、２、・・・、ｎ）を得るために低減した回数（すなわち、ｎ）についてフィルタリングを明示的に計算し、これらのフィルタ処理画像Ｌ（σ_ｉ）から出発して一般的フィルタ処理画像Ｌ（σ）を近似するために関係式（７）を利用すれば十分である。

[0045]従って、フィルタ処理画像Ｌ（σ）への近似を得るためには、必要とされる正確さの要求を満たすために十分に大きいσのある組についてｎ個の重みｐ_ｉ（σ）の値を与える重み行列Ｗを一度計算すれば十分である（すなわち、十分な数ｑのＬｏＧフィルタを含有する行列Ｄを考えることによって）。

[0046]本発明の実施形態による解決策の第２の基本的概念は、σの値の連続的な組に依存するフィルタリング近似関数を用いて一般的フィルタ処理画像Ｌ（σ）を近似することを提供する。

[0047]本発明の実施形態によると、近似関数は、次数ｒの多項式であるが、等価な考察は、この近似関数が異なる関数、例えば関数ａｌｏｇ（σ）＋ｂσ^２＋ｃσ＋ｄである場合にも当てはまる。しかしながら、多項式の選択は、多項式が、計算が速く、容易に導き出せ、特異点がないので、扱いやすいという点で有利である。

[0048]本発明の一実施形態による近似関数を次数ｒの多項式として計算するために、重み行列Ｗは次に、下記の方法で近似され、
（８）：ＳＦ＝Ｗ^Ｔ、
ただしＳは、サイズｑ×（ｒ＋１）の行列であり、

ただし表記（σ’_１）^ｒは、「σ’_１がｒ乗される（σ’_１ ｒａｉｓｅｄ ｔｏ ｒ）」ことを意味し、
Ｆは、σ＝σ’_１、σ’_２、・・・、σ’_ｑをそれぞれ有するＬｏＧフィルタを近似するために使用すべき重み行列Ｗの重みをσ’_１、σ’_２、・・・、σ’_ｑでの次数ｒの多項式によって近似するのに役立つ近似の値を含有する行列である。より詳細には、近似行列Ｆは、次元（ｒ＋１）×ｎの行列であり、そこではＦの各列は、Ｓの列の線形結合を作るために使用される。Ｆのｉ番目の列を乗じた行列Ｓは、Ｗ^Ｔのｉ番目の列に含有される重みを近似するベクトルである。Ｆのｋ番目の列およびｉ番目の行の一般的要素は、（σ’_ｉ）^{（ｒ−ｋ＋１）}に対応するＳのｋ番目の列の線形結合に使用される値である。系（８）を解くために、本発明の実施形態によると、既知の最小二乗法または観察される値と近似される値との間の差のノルムを低減することを可能にする任意の他の方法を使用することが可能である。

[0049]関係式（８）を関係式（５）に代入すると、
（１０）：ＡＦ^ＴＳ^Ｔ≒Ｄ
が得られる。

[0050]それ故に、関係式（１０）に基づいて、本発明の実施形態によると、以下で、

と示されるように、行列Ｆ^Ｔとの乗算を用い、その結果をσでの次数ｒの多項式の係数として使用することによって行列Ａに含有される基礎フィルタＬｏＧＢ（σ_ｉ）の値の線形結合を作る、任意のσを有するフィルタＬｏＧ（σ）を近似することが可能であり、
ただし（：）は、その表記に先行する行列が、行列の様々な列を縦列に並べることによって得られるベクトルに変換されることを示す表記である。

[0051]行列Ａに含有される基礎フィルタＬｏＧＢ（σ_ｉ）によって形成される基底を所与として、行列Ｆは、一度だけ計算され、任意のフィルタＬｏＧ（σ）を近似するために使用されることが、留意されるべきである。

[0052]前になされたように、畳み込みの線形特性を使用し、関係式（１１）を関係式（６）に代入すると、

が得られ、
ただしＬ（σ）は、フィルタＬｏＧ（σ）でフィルタ処理された一般的画像を表し、Ｌ（σ_ｉ）（ｉ＝１、２、・・・、ｎ）は、ｎ個の基礎フィルタＬｏＧＢ（σ_ｉ）を用いてフィルタ処理された画像を表す。

[0053]言い換えれば、関係式（１２）を展開すると、本発明の一実施形態によると、一般的フィルタ処理画像Ｌ（ｘ、ｙ、σ）は、下記の近似関数で近似されてもよく、
（１３）：Ｌ（ｘ、ｙ、σ）≒ｃ_ｒ（ｘ、ｙ）σ^ｒ＋ｃ_{（ｒ−１）}（ｘ、ｙ）σ^{（ｒ−１）}＋・・・＋ｃ_１（ｘ、ｙ）σ＋ｃ_０（ｘ、ｙ）、
ただし近似関数の多項式の（ｒ＋１）個の係数ｃ_ｒ、・・・、ｃ_０は、ｎ個の基礎フィルタＬｏＧＢ（σ_ｉ）を使用してフィルタ処理された画像Ｌ（σ_ｉ）（ｉ＝１、２、・・・、ｎ）および行列Ｆの関数であり、ｘおよびｙ座標の関数として画素ごとに変化する。この近似は、σが単一オクターブ内で変えられる区間（その端は、設定されてもよいパラメータである）において有効である。

[0054]一実施形態によると、計算の複雑さと近似の正確さとの間の良好な妥協であることが見出されるように、近似関数の多項式の次数ｒは有利には、３に等しい。具体的には、ｒ＝３については、一般的フィルタ処理画像Ｌ（ｘ、ｙ、σ）は、下記の近似関数で近似されてもよい。

（１４）：Ｌ（ｘ、ｙ、σ）≒ｃ_３（ｘ、ｙ）σ^３＋ｃ_２（ｘ、ｙ）σ^２＋ｃ_１（ｘ、ｙ）σ＋ｃ_０（ｘ、ｙ）
[0055]三次多項式としての近似関数によって得られる近似の良好さを知るために、２．５に等しいσを有するＬｏＧフィルタとの畳み込みを通じて図２Ａの画像から得られるフィルタ処理画像を表示する図４Ａを、σ_ｉ＝１．８、２．８４６、３．６、および４．２２１４を有する４つの基礎フィルタＬｏＧＢ（σ_ｉ）を使用して近似関数（１４）を用いて２．５に等しいσを有するＬｏＧフィルタを近似することによって図２Ａの同じ画像から得られるフィルタ処理画像を表す図４Ｂと比較されたい。図４Ｃは、図４Ａの画像と図４Ｂの画像との間の差から生じる画像である。図４Ｃを観察することによって分かるように、ＬｏＧとの明示的な畳み込みを用いてフィルタ処理された画像（図４Ａ）と近似関数（１４）を用いてフィルタ処理された画像（図４Ｂ）との間の差は、ゼロに近い。

[0056]以下で詳細に述べられることになるように、本発明の一実施形態によると、今しがた述べられた近似関数のツールは有利には、任意のデジタル画像Ｉにおいて、その後の画像解析を行うために利用すべきキーポイントの組を識別するために使用される。

[0057]本発明の一実施形態によるデジタル画像Ｉのキーポイントの識別のプロセスは、図５Ａ〜図５Ｂに示される流れ図１００に機能ブロックの観点から例示される。

[0058]このプロセスの機能ブロックを詳細に説明することに進む前に、近似関数の構築は、近似行列Ｆの使用を必要とし（関係式（１２）を参照のこと）、それは有利には、例えば訓練の前の段階の間に一度計算され、次いで任意の画像Ｉに適用される任意のフィルタＬｏＧ（σ）を近似するために使用されるということが、留意されるべきである。この訓練段階の間に、σ_ｉ＜σ_ｉ＋１について、ｎ個の基礎フィルタＬｏＧＢ（σ_ｉ）（ｉ＝１、２、・・・、ｎ）の組、およびｑ個のフィルタＬｏＧ（σ’ｊ）（ｊ＝１、２、・・・、ｑ）の組を選択し、近似行列Ｆを前に述べられたように計算する（関係式（１０）を参照のこと）。

[0059]今から図５Ａ〜図５Ｂを見ると、プロセスの第１段階は、一般的画像Ｉから出発して、ｎ個の基礎フィルタＬｏＧＢ（σ_ｉ）を用いてフィルタ処理されたｎ個の対応する画像が、計算され、すなわちＬ（σ_ｉ）（ｉ＝１、２、・・・、ｎ）が、計算されるということを提供する（ブロック１０２）。

[0060]この時点（ブロック１０４）において、σの作業範囲が、選択され、そこでは下記の演算を行う。下記の説明で明らかになるように、作業範囲の下端としてσ_ｉ＝１、および作業範囲の上端としてσ_ｉ＝ｎを選択すると、プロセスの後の段階においていくつかの計算をすることを回避することが可能である。

[0061]調整点（ｘ_ｔ＝０、ｙ_ｔ＝０）などの、画像Ｉの点（ｘ_ｔ、ｙ_ｔ）が次いで、ブロック１０８〜１２４に関係する演算をそれについて行うために選択される（ブロック１０６）。

[0062]選択点（ｘ_ｔ、ｙ_ｔ）におけるフィルタ処理画像Ｌ（ｘ_ｔ、ｙ_ｔ、σ）が次いで、ｘ＝ｘ_ｔおよびｙ＝ｙ_ｔについての関係式（１２）を使用して近似関数（例えば、次数ｒの多項式）を計算することによって近似される（ブロック１０８）。例えば、ｒ＝３の場合、フィルタ処理画像Ｌ（ｘ_ｔ、ｙ_ｔ、σ）は、次のσの三次多項式関数（（ｘ_ｔ、ｙ_ｔ）に依存する係数を有する）：ｃ_３（ｘ_ｔ、ｙ_ｔ）σ^３＋ｃ_２（ｘ_ｔ、ｙ_ｔ）σ^２＋ｃ_１（ｘ_ｔ、ｙ_ｔ）σ＋ｃ_０（ｘ_ｔ、ｙ_ｔ）によって近似される。

[0063]キーポイントであるべき画像の点に対する必要条件は、その点が、この点を取り囲むスケールスペース（ｘ、ｙ、σ）の一部分に極値を有するということである。本発明の実施形態によると、フィルタ処理画像Ｌ（ｘ、ｙ、σ）が、σに依存する近似関数によって近似されるという事実のおかげで、点が極値を有するかどうかを決定することは有利には、この点の近似関数のσにおける傾向を隣接点の近似関数のσにおける傾向と比較して行われてもよい。

[0064]こういうわけで、次のステップ（ブロック１１０）では、近似関数の一次導関数が、σに関して計算され、可能性のある局所的な最大または最小点を識別するために、この導関数が、考察されるσ範囲において（端を除いて）ゼロに等しい値を仮定するかどうかのチェック、および肯定的な場合は、それがどこかのチェックが、行われる。多項式を近似関数として使用すると、非常に迅速に導関数を容易に計算することが可能である。考察される例を参照すると、点（ｘ_ｔ、ｙ_ｔ）におけるフィルタ処理画像Ｌ（ｘ_ｔ、ｙ_ｔ、σ）の一次導関数は、３ｃ_３（ｘ_ｔ、ｙ_ｔ）σ^２＋２ｃ_２（ｘ_ｔ、ｙ_ｔ）σ＋ｃ_１（ｘ_ｔ、ｙ_ｔ）に等しい。

[0065]もしこの一次導関数が、σ範囲（この範囲の端を除く）の少なくとも１つの点σ_ｍにおいて値ゼロを仮定するならば（ブロック１１２の出力分岐Ｙ）、プロセスは、前記少なくとも１つのσ_ｍにおける近似関数によって仮定される値を計算すること（ブロック１１４）、および近似関数のこの値を、考察されるσ範囲の端と対応して同じ近似関数によって仮定される値と比較すること（ブロック１１６）を提供する。もしブロック１０４において決定されるσ範囲が、下端としてσ_ｉ＝１、および上端としてσ_ｉ＝ｎを有するならば、その範囲の端における近似関数の値は、基礎フィルタＬｏＧＢ（σ_１）、ＬｏＧＢ（σ_ｎ）を通じてフィルタ処理画像Ｌ（σ_１）、Ｌ（σ_ｎ）としてブロック１０２においてすでに計算されているので（近似なしに）、これらの値を計算しなければならない必要さえない。

[0066]ブロック１１６において行われる比較を通じて、σ_ｍがまた、考察されるσ範囲において近似関数の全体的最大（もしくは最小）点でもあるかどうか、またはそれが、局所的最大（もしくは最小）点だけであるかどうかを決定することが可能である。

[0067]もしσ_ｍが、σに関して全体的最大（または最小）点近似関数であると決定されるならば（ブロック１１８の出力分岐Ｙ）、その時近似関数の現在の係数ｃ_ｒ、・・・、ｃ_０の値を決定した対応する選択点（ｘ_ｔ、ｙ_ｔ）は、潜在的キーポイントである。この場合（ブロック１２０）、その点の座標（ｘ_ｔ、ｙ_ｔ）、値σ_ｍおよびσ_ｍについて計算された近似関数の値は、「潜在的キーポイント」の表と識別される第１の表の要素に挿入される。第１の表に属する点の各々について、２＊ｓｑｒｔ（２）＊σ_ｍに等しい、その点と関連する顕著な細部の直径の評価もまた得られることが、留意されるべきである。

[0068]もし代わりにσ_ｍが、σに関して近似関数の全体的最大（もしくは最小）点でないならば（ブロック１１８の出力分岐Ｎ）、または近似関数の導関数が、σ範囲（この範囲の端を除いて）における少なくとも１つの点σ_ｍにおいてゼロ値を仮定しない場合には（ブロック１１２の出力分岐Ｎ）、その時近似関数の現在の係数ｃ_ｒ、・・・、ｃ_０の値を決定した対応する選択点（ｘ_ｔ、ｙ_ｔ）は、潜在的キーポイントであるはずがない。この場合、（ブロック１２２）その点の座標（ｘ_ｔ、ｙ_ｔ）およびσ_ｍについて計算された近似関数の値は、「廃棄された点」の表と識別される第２の表の要素に挿入される。

[0069]本発明の別の実施形態によると、点が、潜在的キーポイントと考えられ、次いでそれが、第１の表に挿入されるためには、対応する全体的最大（または最小）点σ_ｍはさらに、ブロック１０４において選択された作業範囲のサブセットに含まれるという条件を満たさなければならず、そのようなサブセットは、σ_ｉ＝１よりも大きい下端およびσ_ｉ＝ｎよりも小さい上端を有する。このように、約０．１（σに関して）の最小サイズを有する近傍などの、十分に大きいσ_ｍの近傍においてその近似関数の挙動が知られているσ_ｍにおいて起こるのは、最大または最小点だけである（Ｉｎ ｔｈｉｓ ｗａｙ，ｏｎｌｙ ｔｈｅ ｍａｘｉｍｕｍ ｏｒ ｍｉｎｉｍｕｍ ｐｏｉｎｔｓ ｔｈａｔ ｈａｐｐｅｎｓ ｉｎ σ_ｍ ｏｆ ｗｈｉｃｈ ｔｈｅ ｂｅｈａｖｉｏｒ ｏｆ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ｆｕｎｃｔｉｏｎｓ ａｒｅ ｋｎｏｗｎ ｉｎ ａ ｎｅｉｇｈｂｏｒｈｏｏｄ ｏｆ σ_ｍ ｔｈａｔ ｉｓ ｓｕｆｆｉｃｉｅｎｔｌｙ ｌａｒｇｅ，ｓｕｃｈ ａｓ ａ ｎｅｉｇｈｂｏｒｈｏｏｄ ｈａｖｉｎｇ ａ ｍｉｎｉｍｕｍ ｓｉｚｅ ｏｆ ａｂｏｕｔ ０．１（ｗｉｔｈ ｒｅｓｐｅｃｔ ｔｏ σ））。

[0070]また、キーポイントの正しい識別を危うくすることもあり得るアーチファクトの発生を防止するためにも、画像の境界に属する画像点は、可能性のある全体的最大（または最小）点の存在にかかわらず、直接廃棄され（従って第２の表に挿入される）。

[0071]座標（ｘ_ｔ、ｙ_ｔ）の各点について、より多くの最大点および／または最小点があることは、可能であることが、留意されるべきである。この場合、最大点の場合には、より高いＬ（ｘ_ｔ、ｙ_ｔ、σ）値を有する点だけが、考えられてもよく、一方最小点の場合には、より低いＬ（ｘ_ｔ、ｙ_ｔ、σ）値を有する点だけが、考えられてもよい。

[0072]本発明のさらなる実施形態によると、各点についてσの同じ作業範囲を使用する代わりに、それぞれの異なる作業範囲を使用することが可能である。例えば、近似関数の局所的最大（または最小）点は、σ_ｍを含みかつσ_ｍに依存する端を有する作業範囲の部分区間であるσ範囲に関して全体的最大（または最小）と考えられてもよい。この時点において、チェックが、選択点（ｘ_ｔ、ｙ_ｔ）が画像Ｉの最終点であるか否かを決定するために行われる（ブロック１２４）。

[0073]否定的な場合には（ブロック１２４の出力分岐Ｎ）、画像の新しい点（ｘ_ｔ、ｙ_ｔ）が、選択され（ブロック１２６）、上で述べられた演算が、新しい点について繰り返される（ブロック１０８に戻る）。

[0074]肯定的な場合には（ブロック１２４の出力分岐Ｙ）、画像のすべての点が、第１または第２の表に分類される。

[0075]図６Ａは、グレースケールを用いて、例示的図２Ａの画像の各点について近似関数によって仮定される最大値の例を示し、そこではより明るい色は、より高い値に対応する。図６Ｂは、グレースケールを用いて、図２Ａの画像の各点について近似関数によって仮定される最小値の例を示し、そこではまたこの場合も、より明るい色は、より高い値に対応する。図６Ｃおよび図６Ｄは、図２Ａの画像の点が、潜在的キーポイント（すなわち、第１の表に含まれた点）となる候補であるそれぞれ最大点および最小点である例を黒で示す。

[0076]本発明の実施形態によると、図５Ａ〜図５Ｂのキーポイントの識別のプロセスのその後の演算は、近似関数において最大を有する第１の表に属する画像の各点（ｘ_ｔ、ｙ_ｔ）について、識別される最大の値σ_ｍにおける前記点の近似関数の値がまた、画像のその点に隣接する８つの点の近似関数によって仮定される最大値よりも大きいかどうかも検証することを提供する。同様に、近似関数において最小を有する第１の表に属する画像の各点（ｘ_ｔ、ｙ_ｔ）について、識別される最小の値σ_ｍにおけるその点の近似関数の値がまた、画像のその点に隣接する８つの点の近似関数によって仮定される最小値よりも小さいかどうかも検証される。

[0077]最大点を考えると（同様の考察はまた、最小点に当てはまることもある）、本発明の一実施形態によると、点（ｘ_ｔ、ｙ_ｔ）が、第１の表から選択され（ブロック１２８）、その点の近似関数の最大値（第１の表の対応する要素から得られる）は、画像の８つの隣接点の近似関数の最大値（第１および／または第２の表のそれらの隣接点に対応する要素によって得られる）と比較される（ブロック１３０）。８つの隣接点のそれぞれは、次には潜在的キーポイント（この場合、その点は、第１の表に記載される）またはすでに廃棄された点（この場合、その点は、第２の表に記載される）である可能性があると強調される。もし選択点における近似関数の最大値が、隣接点の近似関数のすべての最大値よりも大きいように見えるならば（ブロック１３２の出力分岐Ｙ）、その時その点はなお、潜在的キーポイントと考えられ、従ってそれは、第１の表に残される（ブロック１３４）。もし選択点における近似関数の最大値が、隣接点の近似関数のすべての最大値よりも大きくないならば（ブロック１３２の出力分岐Ｎ）、その時その点はもはや、潜在的キーポイントと考えられるべきでなく、従ってそれは、第１の表から除去され、第２の表に挿入される（ブロック１３６）。チェックが次いで、第１の表に記載されるすべての点が比較されたか否かを決定するために行われる。否定的な場合には（ブロック１３８の出力分岐Ｎ）、新しい点が、第１の表から選択され（ブロック１４０）、ブロック１３２〜１３６の演算が、この新しい点について再び実行される。肯定的な場合には（ブロック１３８の出力分岐Ｙ）、潜在的キーポイントの初期選別が、終了した。

[0078]本発明の実施形態による解決策を使用すると、画像の一般的な点におけるフィルタ処理画像の挙動を隣接点におけるフィルタ処理画像の挙動に関して、単にその点の近似関数の傾向を隣接点の近似関数の傾向と比較することによって、速くかつ効率的に評価することが可能であった。

[0079]図６Ｃおよび図６Ｄに示される例に戻ると、図７Ａおよび図７Ｂは、ブロック１３０〜１４０の手順が実行された後、第１の表に残っている（すなわち、なお潜在的キーポイントである）対応する最大点および最小点をそれぞれ黒色で示す。

[0080]本発明の実施形態によると、第１の表に残っている潜在的キーポイントはこれ以降、それらが最大または最小点であるという事実とは無関係に考えられる。

[0081]本発明の実施形態によるキーポイント識別手順はさらに、貧弱な安定性を有すると思われるそれらの点を、すなわち、異なる方法でまたは異なる照明条件でそのシーンを観察すると、それらがその上にある物体に関して位置を変える可能性がある、またはもはや検出されない可能性があるシーンの要素に属するキーポイントを潜在的キーポイントの第１の表から除去するステップを含む。本発明の実施形態によると、安定性は、下記の３つの安定性試験の１つまたは複数を実行することによって決定される。

[0082]本発明の一実施形態による第１の安定性試験（ブロック１４２）は、あるしきい値よりも小さい対応するσ_ｍにおいて計算された近似関数の絶対値を有する点を第１の表から廃棄することを提供する。これらの点は、最小コントラスト（しきい値によって決定される）よりも低いコントラストを有する画像の領域に属する。この検証はまた、近似関数を用いて実行された近似という理由だけでキーポイントと識別された可能性のある点を排除することも可能にする。実際には、一様な色を有する領域（それ故に非常に低いコントラストを有する領域）の対応において、σが変化するときに前記領域に属する点におけるフィルタリングの結果は、ほとんど一定でかつゼロに近い値を有するはずであり、従って平坦な傾向を有するはずであるが、しかし近似関数を利用する近似は、その近似によって導入されるだけのゼロに近い局所的最大または最小を生成する（特にもし近似関数が多項式であるならば）傾向があり、それは、その点が廃棄される代わりにキーポイントとして分類されることを可能にすることもある。

[0083]本発明の一実施形態による第２の安定性試験（ブロック１４４）は、第１の表の各点について、この点に中心がある画像の３×３画素のパッチにおいて、そのパッチに属する点における関数Ｌ（ｘ、ｙ、σ）によって形成される表面の主曲率および二次曲率（第１の主曲率に直交する）を計算すること、ならびにそれらの２つの曲率を比較し、その比を計算することを提供する。もし２つの曲線が似ているように見えるならば、その点が、その位置が良く規定される画像の領域に入り、その点が、第１の表に残されることを意味し、一方もし２つの曲線が、著しく異なるならば、その点が、ボード（board）に似た画像の領域に入り、従ってその場所または存在が、シーンがどのように観察されるかに応じてかなり変わるので、まったく信頼できないことを意味する。この最後の場合、その点は、第１の表から除去される。この試験はまた、キーポイントの識別のための既知の手順においても使用されるが、しかし曲率を計算するために使用される点のパッチがすでにフィルタ処理された画像に属する後者と異なり、本発明の実施形態によると、パッチはその時、細部が実際に属するスケールにおいて表面のより正確な像を有するために、考察される点のσ_ｍにおいてその点のフィルタ処理画像を計算することによって構築される。

[0084]本発明の一実施形態による第３の安定性試験（ブロック１４６）は、その点のσ_ｍの対応において計算される近似関数の二次導関数によって与えられる、関数Ｌ（ｘ、ｙ、σ）の曲率（σにおける）の値を計算することを提供する。三次多項式に対応する近似関数の前に考察された例を参照すると、点σ_ｍにおける関数Ｌ（ｘ_ｔ、ｙ_ｔ、σ）の曲率は、Ｌ’’（ｘ_ｔ、ｙ_ｔ、σ_ｍ）＝６ｃ_３（ｘｔ、ｙｔ）σ_ｍ＋２ｃ_２（ｘ_ｔ、ｙ_ｔ）に等しい。もし曲率の絶対値が、しきい値よりも大きいならば、その時その点は、安定であると考えられ、従って第１の表に残される。もし曲率の絶対値が、しきい値よりも小さくなるならば、その時その点は、不安定であると考えられ、従って第１の表から除去される。

[0085]計算を低減するために、キーポイントを識別するためのプロセスは有利には、オクターブ手法で、すなわちσの同じ作業範囲をいつも使用して、ますます拡大・縮小される画像Ｉのバージョンについて今まで述べられたすべての演算を繰り返すことによって行われる。

[0086]こういうわけで、本発明の一実施形態によると、今まで述べられた演算を行った後、第１の表に記載される点の座標の改善が、実行される（ブロック１４８）。ここまでは、実際には、第１の表に記載される各点の座標（ｘ_ｔ、ｙ_ｔ）は、原画像Ｉの画素の現実の整数座標に対応する。もし前記改善が、実行されなかったならば、画像が、画像の元のサイズの半分だけ、４分の１だけ、８分の１だけなどに縮小され、最大解像度に戻される、より高いオクターブにおいて識別される点の座標は、対応する顕著な細部と中心が合わないキーポイントの識別を引き起こすことになる。座標の改善段階は、顕著な細部の中心をより正確に決定することに向けられる。

[0087]この改善を実行するために、本発明の実施形態によると、前述であらわにされたそれに似た手法は、σが変化するときにある点におけるフィルタ処理画像を近似関数で近似することである。この場合、近似されるものは代わりに、空間座標ｘ_ｔ−ｕおよびｙ_ｔ−ｖが、第１の表に記載される一般的な点（ｘ_ｔ、ｙ_ｔ）の近傍で変化し、σを対応するσ_ｍ値に固定するときのフィルタ処理画像である。

[0088]例えば、本発明の一実施形態によると、ｘおよびｙが変化するときにフィルタ処理された画像は、近似関数、例えば２つの変数ｕおよびｖでの二次多項式によって近似されてもよい。

（１５）：Ｌ（ｘ_ｔ−ｕ、ｙ_ｔ−ｖ、σ）≒ｌ_５（ｘ_ｔ、ｙ_ｔ、σ）ｕ^２＋ｌ_４（ｘ_ｔ、ｙ_ｔ、σ）ｖ^２＋ｌ_３（ｘ_ｔ、ｙ_ｔ、σ）ｕｖ＋ｌ_２（ｘ_ｔ、ｙ_ｔ、σ）ｕ＋ｌ_１（ｘ_ｔ、ｙ_ｔ、σ）ｖ＋ｌ_０（ｘ_ｔ、ｙ_ｔ、σ）
[0089]すでに述べられたそれに似た方法で、近似関数の係数は、ＬｏＧフィルタリングによって得られるいくつかのフィルタ処理画像の線形結合として計算される。例えば、本発明の実施形態によると、係数は、値σ_ｍにおける（すなわち、主曲率および二次曲率の比を計算するために使用されるパッチの値における）σについて、点（ｘ_ｔ、ｙ_ｔ）に中心がある３×３点におけるフィルタ処理画像の結合である。一般化すると、係数を得るために、近似行列Ｇが、上に述べられた近似行列Ｆの同じ方法で構築され、前記行列は、パッチのＬｏＧフィルタを乗じられる。近似関数は次いで、ｕに関する一次導関数およびｖに関する一次導関数がゼロに等しい点に対応する最大または最小（点（ｘ_ｔ、ｙ_ｔ）が最大または最小と識別されたかに応じて）の識別のための演算を受ける。点（ｘ_ｔ、ｙ_ｔ）に中心があるパッチであると、ゼロに等しいｕに関する一次導関数およびｖに関する一次導関数を課すことによって与えられる系を解くｕおよびｖは、座標（ｘ_ｔ、ｙ_ｔ）に適用すべきシフトを提供する。本発明の実施形態によると、もしシフトが、少なくともｕまたはｖに沿って画像の画素の絶対値においてより大きく計算されるならば、その時その点は、第１の表から廃棄される。この最後の事象は、まれであるが、しかしスケールスペース（ｘ、ｙ、σ）における極の識別のプロセス全体は、初めにσに沿って、次いでｘおよびｙに沿って作業することによって起こったので、なお起こることもある。本発明の実施形態によると、もし必要とされる計算および手順の複雑さを増加させるとすれば、フィルタ処理画像をｘ、ｙ、およびσの単一関数で近似することが可能であることになる。

[0090]この時点では、第１の表に残るすべての点は、考察されるオクターブにおいて画像Ｉのキーポイントと識別される（ブロック１５０）。各キーポイントについて、画像でのそれの位置（おそらくはブロック１４８の改善段階に従って変更される、座標（ｘ_ｔ、ｙ_ｔ））、および関連する顕著な細部のサイズ（２＊ｓｑｒｔ（２）＊σ_ｍに等しい）の両方が、知られている。

[0091]図８Ａは、図２Ａに示される例示的画像の第１のオクターブにおいてキーポイントと識別される点を示す。各キーポイントは、キーポイントの位置に中心がある円で識別され、関連する顕著な細部の直径に比例する直径を有する。

[0092]図５Ａ〜図５Ｂに戻ると、この時点では、今までに考察されたオクターブが、選択されたオクターブの組（例えば、５つのオクターブ）の最後の１つであるかどうかが、検証される。肯定的な場合には（ブロック１５１の出力分岐Ｙ）、本プロセスは、終了され、さもなければ（ブロック１５１の出力分岐Ｎ）画像の拡大・縮小バージョンが、次のオクターブに移るために計算され（ブロック１５２）、次いでキーポイント識別プロセスが、新しいオクターブにおいて繰り返される（ブロック１０２に戻る）。十分な数（例えば５）のオクターブについて本プロセスを繰り返した後、キーポイント識別プロセスは、終了される。

[0093]図８Ｂは、図２Ａに示されるサンプル画像のすべての考察されたオクターブ（考察された例では５）においてキーポイントと識別される点を示す。

[0094]本発明の実施形態によると、次のオクターブに対応する拡大・縮小画像を直接計算する代わりに、画像の拡大・縮小バージョンが、基礎フィルタＬｏＧＢ（σ_ｉ）のためのσ_ｉを、そのようなσ_ｉの１つが第１のσ_ｉ＝１（それは考察されるσ_ｉの中の最低である）の二倍に等しいように選択することによって近似されてもよく、フィルタ処理画像は、σ_１の二倍であるそのようなσ_ｉでアンダーサンプリングされてもよい（水平にも垂直にも２ごとに１つの画素を取り）。このようにして、５０％に縮小された画像が、もし基礎フィルタＬｏＧＢ（σ_１）でフィルタ処理されたならば、どのような結果となるかの良好な近似が、得られる。アンダーサンプリングについては、従って、第１の基礎フィルタＬｏＧＢ（σ_１）でフィルタ処理された次のオクターブの画像が、得られる。一般的基礎フィルタＬｏＧＢ（σ_ｉ）に対応する５０％に縮小された画像のフィルタリングは、前の基礎フィルタＬｏＧＢ（σ_ｉ−１）でフィルタ処理された５０％に縮小された画像をフィルタ処理することによって得られる。様々なオクターブにおいて抽出されたキーポイントのｘ、ｙ座標およびスケールσは、その後原画像Ｉのサイズに報告される。

[0095]前の説明は、本発明の様々な実施形態を詳細に示し、説明するが、しかしながら、添付の請求項によって規定される範囲から逸脱することなく、述べられた実施形態へのいくつかの可能な変更、ならびに本発明の異なる実施形態がある。

[0096]例えば、本説明において、すべての画像点（それのエッジにある点を除いて）について演算を行うことを計画するキーポイントの識別のための手順への言及が、なされるが、同様の考察は、その点のサブセットだけがそのような演算を受ける場合に当てはまることもある。

[0097]さらに、本説明では、ＬｏＧまたはＤｏＧに基づくフィルタへの言及が、なされ、その場合そのようなフィルタのフィルタリング強度を決定するフィルタリングパラメータは、ガウシアン関数の標準偏差であるが、同様の考察は、フィルタが、画像の平滑化バージョンの差に基づいて得られる場合にも当てはまる。

Claims (14)

1. 画素のセットを含むデジタル画像のキーポイントを識別するための方法であって、各画素は、それに関連する画像代表パラメータのそれぞれの値を有し、前記方法は、
   − 前記デジタル画像のフィルタ処理画像を近似するステップであって、前記フィルタ処理画像は、前記デジタル画像から、フィルタリングパラメータを有するガウシアン関数に基づくフィルタリング関数によって取得可能であり、前記フィルタリングパラメータは、ガウシアン関数の標準偏差であり、近似する前記ステップは、
   ａ）前記デジタル画像の基礎フィルタ処理画像のセットを生成するステップであって、各基礎フィルタ処理画像は、前記フィルタリングパラメータのそれぞれの値での前記フィルタリング関数によってフィルタ処理された前記デジタル画像である、ステップと、
   ｂ）前記デジタル画像の画素の前記セットのうちの少なくともサブセットの各画素について、前記デジタル画像からフィルタリングパラメータのある値での前記フィルタリング関数によって取得可能な前記フィルタ処理画像における値を、前記基礎フィルタ処理画像に基づくそれぞれの近似関数によって近似するステップであって、前記近似関数は、所定範囲内の前記フィルタリングパラメータの関数である、ステップと
   を含む、ステップと、
   − 前記少なくともサブセットの各画素について、当該画素において前記近似関数が局所的極を有する場合に、当該画素をキーポイント候補と識別するステップであって、前記局所的極は、前記所定範囲に内在するそれぞれの部分範囲における全体的極でもある、ステップと、
   − キーポイント候補と識別される各画素について、
   ｃ）当該画素の前記全体的極に対応する前記フィルタリングパラメータの値において前記近似関数がとる値を、当該画素の隣接画素のそれぞれの前記全体的極に対応する前記フィルタリングパラメータの値において前記近似関数がとる値と比較するステップと、
   ｄ）当該画素をこの比較に基づいて選択するステップと
   を含む、方法。
2. 請求項１に記載の方法であって、前記デジタル画像からフィルタリングパラメータのある値での前記フィルタリング関数によって取得可能な前記フィルタ処理画像における値を、前記基礎フィルタ処理画像に基づくそれぞれの近似関数によって近似する前記ステップは、前記基礎フィルタ処理画像の線形結合に基づいて前記近似関数を計算するステップを含み、前記線形結合は、各基礎フィルタ処理画像の対応する重みによる乗算を提供する、方法。
3. 請求項２に記載の方法であって、前記近似関数は、前記基礎フィルタ処理画像の前記線形結合のさらなる近似に基づき、前記さらなる近似は、前記重みの近似を提供する、方法。
4. 請求項３に記載の方法であって、前記近似関数は、前記フィルタリングパラメータを変数として有する多項式である、方法。
5. 請求項４に記載の方法であって、前記多項式の係数は、前記基礎フィルタ処理画像および前記線形結合の前記重みの近似に基づいて計算される、方法。
6. 請求項１から５のいずれか一項に記載の方法であって、選択された画素から、画素であって、該画素の前記全体的極に対応する前記フィルタリングパラメータの値において前記近似関数がとる値が、第１のしきい値よりも小さい絶対値を有する前記画素を廃棄するステップをさらに含む方法。
7. 請求項１から６のいずれか一項に記載の方法であって、
   − 選択された各画素について、表面の主曲率および二次曲率を計算するステップであって、前記表面は、選択された当該画素に中心があるパッチに含まれる画像の画素における前記フィルタリング関数によって形成された、ステップと、
   − 前記主曲率と前記二次曲率との間の比に基づいて、選択された画素から当該画素を廃棄するか又は選択された画素において当該画素を維持するステップと
   をさらに含む方法。
8. 請求項１から７のいずれか一項に記載の方法であって、
   − 選択された各画素について、対応する前記全体的極における前記フィルタリングパラメータに関して前記近似関数の二次導関数がとる値を計算するステップと、
   − 前記二次導関数がとる当該値に基づいて、選択された画素から当該画素を廃棄するか又は選択された画素において当該画素を維持するステップと
   をさらに含む方法。
9. 請求項１から８のいずれか一項に記載の方法であって、キーポイント候補と識別する前記ステップは、さらに、前記フィルタリングパラメータの同じ所定範囲を使用して、前記画像の少なくとも拡大または縮小バージョンについて繰り返される、方法。
10. 請求項９に記載の方法であって、
    − 前記基礎フィルタ処理画像の前記フィルタリングパラメータの値のうちの少なくとも１つは、他の基礎フィルタ処理画像の前記フィルタリングパラメータの値の中の最低値の二倍に等しく、
    − 前記画像の前記拡大または縮小バージョンは、前記フィルタリングパラメータの最低値を有する前記基礎フィルタ処理画像の近似バージョンから出発して前記基礎フィルタ処理画像を近似することによって得られ、前記基礎フィルタ処理画像の前記近似バージョンは、前記フィルタリングパラメータの最低値の二倍である前記フィルタリングパラメータの値で前記基礎フィルタ処理画像をアンダーサンプリングすることによって近似される、方法。
11. 請求項１から１０のいずれか一項に記載の方法であって、前記フィルタ処理画像は、ガウシアンのラプラシアン演算に基づくフィルタまたはガウシアンの差分に基づくフィルタの適用に基づき、前記フィルタリングパラメータは、ガウシアン関数の標準偏差である、方法。
12. 請求項４若しくは５、または、請求項４に従属する場合の請求項６から１１のいずれか一項に記載の方法であって、前記多項式は、前記フィルタリングパラメータに関して三次多項式である、方法。
13. 請求項１から１２のいずれか一項に記載の方法であって、前記画像の各画素は、前記画像における前記画素の場所を識別する少なくとも１つの対応する座標を有し、前記方法は、さらに、選択された各画素について、さらなる近似関数に基づいて座標の対応する変化を計算することによって当該画素の前記少なくとも１つの座標を変更するステップであって、前記さらなる近似関数は、前記座標の変化に関して前記画素における前記フィルタ処理画像を近似する、ステップを含み、前記さらなる近似関数は、
    １）選択された当該画素の前記全体的極に対応する前記フィルタリングパラメータの値における選択された前記画素の前記フィルタリング関数と、
    ２）選択された前記画素の前記全体的極に対応する前記フィルタリングパラメータの値における前記画像の選択された前記画素に隣接する画素の前記フィルタリング関数と
    に基づく、方法。
14. 請求項１３に記載の方法であって、前記の前記座標の変化を計算することは、前記座標の変化に関して前記さらなる近似関数において最大または最小点を識別するステップと、識別された前記最大または最小点に基づいて当該座標の変化を設定するステップとを含む、方法。