JP5904168B2 - 撮像画像の特徴点抽出方法および特徴点抽出装置 - Google Patents

Description

本発明は、撮像画像から特徴点を抽出する撮像画像の特徴点抽出方法および特徴点抽出装置に関する。

一般に、カメラのキャリブレーションには白色のパターンと黒色のパターンとが格子状に配列されたチェスボードパターンが使用される。すなわち、カメラのキャリブレーションでは、既知のパターンとしてのチェスボードパターンとチェスボードパターンの撮像画像とを比較することにより、カメラの性能を評価し調整する。非特許文献１〜３には、キャリブレーションの際に、撮像画像からチェストボードパターンを構成する白色のパターンと黒色のパターンとの境界点を特徴点として抽出する技術が記載されている。

C Harris and MJ Stephens, A Combined Corner and Edge Detector, In Alvey 88, pages 147-152, 1988. J Shi and C Tomasi, Good features to track, IEEE Conference on Computer Vision and Pattern Recognition, 593-600, 1994. M Felsberg and G Sommer, Image Features Based on a New Approachto 2D Rotation Invariant Quadrature Filters, European Conference on Computer Vision, 369-383, 2002.

しかしながら、上記非特許文献１〜３に記載の技術のいずれによっても、グレースケール値や、照明条件のむらに起因する白色点や黒色点が撮像画像上に生じると、撮像画像の実際の特徴点（白黒の境界点）を判別することが困難な場合があった。

本発明は、上記に鑑みてなされたものであって、簡単かつ確実に撮像画像の特徴点を抽出できる撮像画像の特徴点抽出方法および特徴点抽出装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像画像の特徴点抽出方法は、２次元畳み込み処理におけるフィルタのフィルタ係数を、少なくとも１つを複素数とし、かつ、該フィルタの中心を原点とする極座標の位相について周期的な複素数値としてフィルタを選定するフィルタ選定ステップと、撮像画像に対し前記フィルタによる２次元畳み込み処理を行なうフィルタ畳み込みステップと、前記２次元畳み込処理の結果出力される複素画像の各画素の挙動を探索して撮像画像の特徴点を抽出する特徴点抽出ステップと、を含むことを特徴とする。

また、本発明に係る撮像画像の特徴点抽出方法は、上記発明において、前記フィルタのフィルタ係数は、該フィルタの中心を原点とする極座標の動径ｒと位相θについて、虚数単位ｊとｒに関する０以外の関数Ｋ（ｒ）と実定数αと自然数ｎとを用いて、Ｋ（ｒ）（ｃｏｓ（ｎθ＋α）＋ｊｓｉｎ（ｎθ＋α））で表される周期ｎの複素数値であることを特徴とする。

また、本発明に係る撮像画像の特徴点抽出方法は、上記発明において、前記フィルタのフィルタ係数は、前記周期ｎが２の複素数値であることを特徴とする。

また、本発明に係る撮像画像の特徴点抽出方法は、上記発明において、前記特徴点抽出ステップは、前記複素画像の各画素の絶対値分布を探索するステップと、絶対値の極大値を有する点を特徴点として抽出するステップと、を含むことを特徴とする。

また、本発明に係る撮像画像の特徴点抽出方法は、上記発明において、前記特徴点抽出ステップは、前記複素画像の各画素の絶対値分布と位相分布とを探索するステップと、絶対値の極大値および所定の位相を有する点を特徴点として抽出するステップと、を含むことを特徴とする。

また、本発明に係る撮像画像の特徴点抽出方法は、上記発明において、抽出された前記特徴点の近傍のサブピクセル処理を行なって複素画像の特徴点の座標を決定することを特徴とする。

また、本発明に係る撮像画像の特徴点抽出装置は、２次元畳み込み処理におけるフィルタのフィルタ係数を、少なくとも１つを複素数とし、かつ、該フィルタの中心を原点とする極座標の位相について周期的な複素数値としてフィルタを選定するフィルタ選定手段と、撮像画像に対し前記フィルタによる２次元畳み込み処理を行なうフィルタ畳み込み手段と、前記畳み込処理の結果出力される複素画像の各画素の挙動を探索して撮像画像の特徴点を抽出する特徴点抽出手段と、を備えることを特徴とする。

本発明によれば、撮像画像へ畳み込むフィルタに複素数型フィルタという拡張型フィルタを適用するだけで、従来の２次元畳み込み処理と処理速度を変えずに、簡単かつ確実に撮像画像の特徴点を抽出することができる。

図１は、本発明の一実施形態に係る特徴点抽出装置の概略構成を示す模式図である。 図２は、本実施の形態の特徴点抽出処理手順を示すフローチャートである。 図３は、特徴点抽出処理の原理について説明するための図である。 図４は、５×５のフィルタのフィルタ係数を設定する方法について説明するための図である。 図５は、チェスボードパターンを示す図である。 図６は、本実施の形態に係る５×５の複素数型フィルタを例示する図である。 図７は、チェスボードパターンの撮像画像を例示する図である。 図８は、チェスボードパターンと、チェスボードパターンの撮像画像に複素数型フィルタが畳み込まれた複素画像とを重ね合わせて表示した図である。 図９は、複素数型フィルタが畳み込まれた複素画像の各画素の複素数値の絶対値を高さで表した図である。 図１０は、特徴点抽出処理の結果を示す図である。 図１１は、光学ステージの移動量と撮像画像上での特徴点の移動量とを対比させた図である。 図１２は、光学ステージの単位移動量と特徴点の移動量との関係を示すヒストグラムである。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

まず、図１を参照して、本実施の形態による特徴点抽出装置１の概略構成について説明する。図１に示すように、特徴点抽出装置１は、コンピュータ等の演算装置で構成され、所定の視野を撮像する撮像部１０と、この撮像部１０が生成した画像を解析する画像解析部２０と、画像や文字等の情報を表示出力する出力部３０と、各構成部を制御する制御部４０とを有する。

撮像部１０は、所定の視野角から入射する光を集光するレンズ１１と、このレンズ１１を透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１２と、この撮像素子１２が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１３と、画像データを一時的に蓄積するフレームメモリ１４とを有する。

制御部４０は、処理プログラム等を記憶したメモリおよび処理プログラムを実行するＣＰＵ等を用いて実現され、前述した特徴点抽出装置１の各構成部を制御する。この制御部４０の制御により、画像解析部２０が後述する特徴点抽出処理を実行する。

次に、図２のフローチャートを参照して、特徴点抽出装置１による特徴点抽出処理手順について説明する。図２のフローチャートは、例えば、操作者により画像の特徴点抽出の指示入力があったタイミングで開始となり、特徴点抽出処理はステップＳ１の処理に進む。

ステップＳ１の処理では、画像解析部２０は、２次元畳み込み処理用の複素数型フィルタを選定する。これにより、ステップＳ１の処理は完了し、特徴点抽出処理は、ステップＳ２の処理に進む。

ステップＳ２の処理では、画像解析部２０は、特徴点抽出処理の対象とする撮像画像に対して、ステップＳ１で選定した複素数型フィルタによる２次元畳み込み処理を行なう。これにより、ステップＳ２の処理は完了し、特徴点抽出処理は、ステップＳ３の処理に進む。

ここで、図３を参照して、本発明の特徴点抽出処理の原理について説明する。２次元画像上のある点Ａ（ｘ，ｙ）を中心とした半径ｒの円周上において、ｘ軸となす角θに対応した点Ｒは、点Ａ（ｘ，ｙ）を原点とするｘｙ座標表示で（ｕ，ｖ）、極座標表示で（ｒ，θ）と表わされるものとする。この点Ｒの輝度値ｆ（θ）は、周期２πの周期的な信号となる。一般に周期的な信号はフーリエ級数展開を用いて、次式（１）および（２）のように表すことができる。なお、虚数単位をｊとした。

ここで、ｃ_ｎは円周上に現れる周期ｎの成分を表している。そこで、ある周期ｎに対応する上記式（２）の演算を実現するフィルタを用いれば、画像の各画素を中心とした半径ｒの円周上に周期ｎの成分が含まれる度合いを評価できる。すなわち、上記式（２）が各画素に対するフィルタの２次元畳み込み処理を実現するものとすれば、各画素を中心とした円周上の周期ｎの輝度値を評価できる。このとき、各画素の座標をＩ（ｘ，ｙ）、フィルタ係数Ｍ（ｘ，ｙ）とすれば、２次元畳み込み処理は、次式（３）で表すことができる。

フィルタ係数Ｍ（ｘ，ｙ）は周期関数ｅｘｐ（ｊｎθ）を用いて、次式（４）で表すことができる。ただし、Ｋ（ｒ）は、Ｋが動径ｒに対して恒等的に０となる場合を除いて、任意に設定可能な動径ｒに関する関数であり、αは任意に設定可能な定数である。

画像解析部２０で式（４）に対応するフィルタの２次元畳み込み処理を実装するに当たり、フィルタ係数Ｍ（ｘ，ｙ）の設計方法について説明する。一般に、フィルタ係数は５×５等の奇数×奇数のサイズを持つ離散的な係数で実現する。このとき、原点は離散的な係数の中心を示す。図４は、５×５のサイズのフィルタを例にフィルタ係数を設定する際に考える座標系を表した図である。図４では、原点を中心として、動径ｒと位相θとを定義する。このとき、各離散点の座標に対応してｒとθとの値を割り振ることが出来る。

上記フィルタサイズに対応して離散点に割り当てられた動径ｒの最大値の絶対値をｒｍａｘと定義する。この定義に対応して、Ｋ（ｒ）はフィルタサイズと対応してｒ＞ｒｍａｘのとき、Ｋ（ｒ）＝０という関数を選ぶ。また、原点（ｒ＝０）においては極座標における位相が定義できず、また原点のフィルタ係数は本発明の目的である特徴点の抽出に寄与しないため、フィルタ係数を０としてよい。そのため、Ｋ（ｒ）＝０とする。

０＜ｒ＜＝ｒｍａｘにおいては、ｒに対応してＫ（ｒ）に任意の実数を割り当てる。これは原点を中心とする半径ｒの円周上の白黒パターンから周期成分を抽出する際の重みを意味し、目的とする白黒パターンに対応して設定する。

最後に、抽出する周期ｎと位相αを設定すれば、式（４）を用いてフィルタの各離散点におけるフィルタ係数を決定することが出来る。

本実施の形態においては、チェスボードパターンの撮像画像を特徴点抽出処理の対象として、白色パターンと黒色パターンとのコーナー点を特徴点として確実に抽出して、安定したキャリブレーションを行なう。図５に示すチェスボードパターンにおいて、ある特徴点（例えば、図５のＡ１点あるいはＡ２点）を中心とした円周上の輝度分布は、白と黒からなる周期２の成分の波形で表される。そこで、フィルタ係数が極座標表示における位相θについての周期２の関数になるように、２次元畳み込み処理用フィルタを選定する。すなわち、上記式（４）にｎ＝２を代入して得られるように、フィルタ係数を次式（５）とする。本実施の形態においては、ｒ＝０のときＫ（ｒ）＝０，０＜ｒ＜＝ｒｍａｘのときＫ（ｒ）＝１，ｒ＞ｒｍａｘのときＫ（ｒ）＝０を満たすＫ（ｒ）を選択した。また、α＝０とした。なお、この複素数値のフィルタ係数からなるフィルタ（複素数型フィルタ）を畳み込まれた画像は、上記式（２）より、各画素が複素数値である複素画像となる。

図６は、上記により選定されたフィルタのうちの中心の５×５の領域を例示した図である。フィルタサイズが大きい場合にも、同様にフィルタ係数を選定できる。

なお、チェスボードパターンの特徴点（白色パターンと黒色パターンとのコーナー点）の近傍では、ｒの値に関わらずどの円周上でも、白黒パターンが２周期分含まれており、その白黒パターンの位相はほぼ一定である。そのため、ｒｍａｘを特徴点間の距離より短い範囲で任意に設定することが可能である。本実施の形態においては、使用する画像内に含まれる特徴点間の距離の平均値が約２０ピクセルであることを考慮して、フィルタサイズを１７×１７とした。このとき、ｒｍａｘは約１１．３となり、特徴点間の距離の１／２強となっている。そうすると、周期２でかつ同一位相θをもつ成分をｒ方向に十分積算することができるので、以下の処理により安定して特徴点を検出できる。

ステップＳ３の処理では、画像解析部２０は、ステップＳ２で複素数型フィルタを畳み込まれた複素画像の各画素を探索し、特徴点を抽出する処理を行なう。これにより、ステップＳ３の処理は完了し、一連の特徴点抽出処理は終了する。

ここで、この複素画像の各画素の複素数値は、その絶対値が大きいほど周期ｎの成分が大きいことを表す。したがって、その絶対値が極大値をとる画素を探索することにより、周期ｎの成分をもつ特徴点を抽出できる。具体的には、極大値の閾値処理により周期ｎの成分をもつ特徴点を抽出する。

また一般に、特徴点の近傍の領域では複素数値の絶対値は山形に分布する。したがって、山形の頂点を推定することにより、サブピクセルの精度で特徴点を抽出することができる。

図７は、チェスボードパターンを撮像した撮像画像を例示する図であり、図８は、チェスボードパターンの一部と、図７のチェスボードパターンの撮像画像に複素数型フィルタが畳み込まれた複素画像とを重ね合わせて表示した図である。なお、図８に示す点Ａ１，Ａ２は図５に示す点Ａ１，Ａ２と同一の特徴点（白色パターンと黒色パターンとのコーナー点）を示す。この図８において、複素画像の各画素は矢印で表示される。この矢印の長さが複素数値の絶対値の大きさを表わし、方向が位相を表している。図８に示すように、チェスボードパターンの特徴点Ａ１，Ａ２の近傍で複素数値の絶対値が大きくなっていることがわかる。また、図８に示す２つの特徴点Ａ１，Ａ２のうち、右側の特徴点Ａ１の近傍では、特徴点Ａ１を中心として反時計回りにチェスボードパターンの輝度値が黒→白→黒→白と変化し、矢印は上方向を向いている。一方、図８の左側の特徴点Ａ２の近傍では、特徴点Ａ２を中心として反時計回りにチェスボードパターンの輝度値が白→黒→白→黒と変化し、矢印は下方向を向いている。このように、矢印の方向で輝度値の変化を判断することも可能である。

図９は、図８と同じ領域の複素画像について、各画素の複素数値の絶対値を高さで表した図である。この図９では、高さはその最大値で規格化されている。図９に示すように、特徴点Ａ１，Ａ２の近傍では複素数値の絶対値は、特徴点Ａ１，Ａ２が頂点となる山形に分布する。したがって、頂点となる極大値を探索することにより特徴点を抽出することができる。

なお、一般に、特徴点は撮像画像上の画素と画素との中間に位置するため、画素（ピクセル）単位より細かい領域で特徴点を探索するサブピクセル処理を行なう。本実施の形態では、複素数値の絶対値が極大値となる近傍の領域で絶対値分布の重心を算出し、さらに補間処理により求めた近傍点の重心を算出する処理を繰り返した。

図１０は、図８の左側の特徴点Ａ２の近傍を拡大した画像について、抽出された特徴点を示した図であり、ピクセル単位で求めた特徴点（・印）と、上記サブピクセル処理により求めた特徴点（×印）とを示している。図１０に示すように、サブピクセルの精度で特徴点を抽出できることがわかる。

以上、説明したように、本実施の形態の特徴点抽出装置１によれば、撮像画像へ畳み込むフィルタに複素数型フィルタという拡張型フィルタを適用するだけで、従来の２次元畳み込み処理と処理速度を変えずに、簡単かつ確実に画像の特徴点を抽出することができる。また、サブピクセルの精度で特徴点を抽出することができる。

なお、図３に示すように、複素数型フィルタを畳み込まれた複素画像の各画素の複素数値の位相θは、抽出したい周期で円周方向に変化する成分についての円周上での位置を表す。したがって、特定の方向の成分のみを抽出する場合には、特定の方向に対応する位相の範囲を設定すればよい。

また、上記式（４）のフィルタ係数は、半径ｒに対してＫ（ｒ），ｎ，αを適切に設定することにより、半径ｒに対して周期の異なる成分の抽出に適用できる。また、半径ｒに対して位相がずれる渦巻きパターンなどの抽出にも適用できる。その場合には、フィルタ係数は次式（６）で表される。さらに、半径ｒに対して複数の周期の成分（ｎ＝ｎ０，ｎ１，ｎ２，・・・）が含まれる場合にも適用できる。その場合には、フィルタ係数は、次式（７）で表される。

上記実施の形態は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。

（実施例）
画素サイズ５．６μｍのＶＧＡ（Video Graphics Array）カメラと、焦点距離１２ｍｍのレンズ１１とで構成された撮像部１０を有する特徴点抽出装置１を用い、光学ステージの移動量と特徴点の移動量とを対比させてサブピクセル処理の分解能を確認する実験を行なった。一辺１０ｍｍのチェスボードパターンをレンズの先端から１００ｍｍの位置に設置して、カメラ（光学ステージ）を１０μｍずつ移動させて撮像した。画素分解能は約４０〜５０μｍであることから、この特徴点抽出装置１での光学ステージの単位移動量は１画素の１／５〜１／４程度である。

図１１は、光学ステージの移動量と撮像画像上での特徴点の移動量とを対比させた図である。図１１に示すように、光学ステージの移動量と特徴点の移動量は線形の関係を示し、光学ステージをサブピクセル単位で移動させることによりサブピクセル単位で特徴点の位置を特定できることがわかる。

図１２は、光学ステージの単位移動量（１０μｍ）と特徴点の移動量との関係を示すヒストグラムである。図１２に示すように、光学ステージの単位移動量に対する特徴点の移動量の平均は０．２３ピクセルである。このとき、標準偏差σに対する３σは０．０７０ピクセルであり、ばらつきが小さいことがわかった。このことから、０．１ピクセルよりさらに細かい分解能で特徴点を抽出できることがわかる。

１ 特徴点抽出装置
１０ 撮像部
２０ 画像解析部
３０ 出力部
４０ 制御部

Claims (6)

1. ２次元畳み込み処理におけるフィルタのフィルタ係数を、少なくとも１つを複素数とし、かつ、該フィルタの中心を原点とする極座標の位相について周期的な複素数値としてフィルタを選定するフィルタ選定ステップと、
   撮像画像に対して前記フィルタによる２次元畳み込み処理を行なうフィルタ畳み込みステップと、
   前記２次元畳み込処理の結果出力される複素画像の各画素の挙動を探索して撮像画像の特徴点を抽出する特徴点抽出ステップと、を含み、
   前記フィルタのフィルタ係数は、該フィルタの中心を原点とする極座標の動径ｒと位相θについて、虚数単位ｊとｒに関する０以外の関数Ｋ（ｒ）と実定数αと自然数ｎとを用いて、Ｋ（ｒ）（ｃｏｓ（ｎθ＋α）＋ｊｓｉｎ（ｎθ＋α））で表される周期ｎの複素数値であることを特徴とする撮像画像の特徴点抽出方法。
2. 前記フィルタのフィルタ係数は、前記周期ｎが２の複素数値であることを特徴とする請求項１に記載の撮像画像の特徴点抽出方法。
3. 前記特徴点抽出ステップは、
   前記複素画像の各画素の絶対値分布を探索するステップと、
   絶対値の極大値を有する点を特徴点として抽出するステップと、
   を含むことを特徴とする請求項１または２に記載の撮像画像の特徴点抽出方法。
4. 前記特徴点抽出ステップは、
   前記複素画像の各画素の絶対値分布と位相分布とを探索するステップと、
   絶対値の極大値および所定の位相を有する点を特徴点として抽出するステップと、
   を含むことを特徴とする請求項１〜３のいずれか１項に記載の撮像画像の特徴点抽出方法。
5. 抽出された前記特徴点の近傍のサブピクセル処理を行なって複素画像の特徴点の座標を決定することを特徴とする請求項３または４に記載の撮像画像の特徴点抽出方法。
6. ２次元畳み込み処理におけるフィルタのフィルタ係数を、少なくとも１つを複素数とし、かつ、該フィルタの中心を原点とする極座標の位相について周期的な複素数値としてフィルタを選定するフィルタ選定手段と、
   画像への前記フィルタの２次元畳み込み処理を行なうフィルタ畳み込み手段と、
   前記畳み込処理の結果出力される複素画像の各画素の挙動を探索して撮像画像の特徴点を抽出する特徴点抽出手段と、を備え、
   前記フィルタのフィルタ係数は、該フィルタの中心を原点とする極座標の動径ｒと位相θについて、虚数単位ｊとｒに関する０以外の関数Ｋ（ｒ）と実定数αと自然数ｎとを用いて、Ｋ（ｒ）（ｃｏｓ（ｎθ＋α）＋ｊｓｉｎ（ｎθ＋α））で表される周期ｎの複素数値であることを特徴とする撮像画像の特徴点抽出装置。