JP6482130B2 - 幾何検証装置、プログラム及び方法 - Google Patents

Description

本発明は、同一立体物の写る2枚の画像間でのエピポーラ幾何をモデルとした幾何検証を行う幾何検証装置、プログラム及び方法に関する。

従来、例えば非特許文献１に開示されるように、画像から抽出された局所特徴を用いて物体を検索する技術がある。この技術によれば、物体をカメラで撮影し、その物体が写る撮影画像（質問（クエリ）画像）から局所特徴を抽出する。そして、質問画像の局所特徴と、予め登録された物体が写る画像（参照（リファレンス）画像）の局所特徴とを比較することによって、物体を検索する。また、非特許文献２等に開示されるように、類似度が上位Ｎ件（Nは所定数）の参照画像と質問画像との間で、幾何検証(Geometric verification)を実行することによって、検索精度を高めている。そして、幾何検証における条件を満たした特徴点対応組（インライア）の数を、新たな画像間類似度とする。

これに対して、参照画像と質問画像との両方に同一の物体が含まれているか否かを、類似度に基づいて閾値で判定したい場合もある。画像間類似度の閾値が大きいほど、認識の適合率が高くなるためである。

幾何検証において利用可能な幾何的な拘束条件のモデルは、対象となる物体によって異なる。すなわち、平面物、もしくは部分的に平面の形状を持つ立体物に対しては、平面の射影関係を表すホモグラフィ行列（Homography matrix）を利用することができる。一方、立体物に対する幾何的な拘束条件のモデルには、エピポーラ幾何、すなわち基礎行列（Fundamental matrix）もしくは基本行列（Essential matrix）が利用される。

ここで、エピポーラ幾何は2つの画像を写すカメラ間の相対的な姿勢を表す幾何である。基本行列はカメラが校正済みの場合に利用することができ、基礎行列はカメラが未校正の場合にも利用することができる。例えば特許文献１では、未校正のカメラで撮影された立体物に対する幾何検証のために、基礎行列を利用している。

局所特徴の点対応集合に外れ値（アウトライア）が含まれている場合は、ロバスト推定法を用いて幾何検証が行われる。これは、測定値の中に外れ値が含まれている場合であっても、外れ値の影響が最小となるように推定を行う方法である。例えば非特許文献1では、RANSAC(RANdom SAmple Consensus)アルゴリズムが利用されている。

RASNACアルゴリズムを用いた幾何検証では、全ての点対応集合の中からランダムにサンプルが抽出され、そのサンプルから仮の幾何モデルを生成し、その幾何モデルに沿う点対応（インライア）の数を繰り返し求める。そして、全ての繰り返しの中で得られた最大のインライア数が、幾何検証のスコアとなる。

特開２０１５−２０１１２３号公報

Philbin. J, Chum. O, Isard. M, Sivic. J, and Zisserman. A, "Object retrieval with large vocabularies and fast spatial matching," In Computer Vision and Pattern Recognition, pp. 1-8, 2007. Jegou, Herve, Matthijs Douze, and Cordelia Schmid. "Hamming embedding and weak geometric consistency for large scale image search." Computer Vision-ECCV 2008. Springer Berlin Heidelberg, 2008. 304-317. 山田健人, et al. "画像からの3次元復元の最新アルゴリズム." 情報処理学会研究報告 (2009):1-8.

しかしながら、上述した従来の技術では、エピポーラ幾何を生成したサンプルの妥当性について考慮されていなかった。

幾何検証で求めたいインライアとは、物体の同一位置にある点の対応である。エピポーラ拘束はエピポーラ線と点の距離による拘束、すなわち直線と点の拘束であるため、曖昧性を持っている。そのため、物体の同一位置に無い点の対応（アウトライア）であっても、偶然拘束条件を満たし、インライアと誤判定されてしまうことがあり得る。その結果、従来技術においては間違った画像ペアに対して、高い幾何検証スコアを与えてしまう可能性があった。

本発明は、上記従来技術の課題を解決し、エピポーラ幾何を生成したサンプルの妥当性を考慮できる幾何検証装置、プログラム及び方法を提供することを目的とする。

前記目的を達成するため、本発明は、幾何検証装置であって、第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成部と、前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出部と、前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価部と、を備えることを特徴とする。

また、本発明は、コンピュータを前記幾何検証装置として機能させるプログラムであることを特徴とする。

さらに、本発明は、幾何検証方法であって、第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成段階と、前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出段階と、前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価段階と、を備えることを特徴とする。

本発明によれば、抽出した第１カメラ及び第２カメラに関連するパラメータに基づく評価によって、エピポーラ幾何モデルとしての行列の妥当性を評価することができる。

一実施形態に係る幾何検証装置の機能ブロック図である。 一実施形態に係る幾何検証装置の動作のフローチャートである。 エピポーラ幾何を説明するための図である。 焦点距離評価部を説明するためのピンホールカメラモデルを示す図である。 位置関係評価部を説明するための、２つのカメラの光軸のなす角を場合分けして示す図である。 復元性評価部を説明するための、3次元復元点の奥行きの正負の区別の例を示す図である。 一実施形態に係る幾何検証装置の動作のフローチャートである。 一実施形態に係る幾何検証装置の機能ブロック図である。 一実施形態に係る幾何検証装置の動作のフローチャートである。

図１は、一実施形態に係る幾何検証装置の機能ブロック図である。図示するように、幾何検証装置10は、局所特徴抽出部11、対応取得部12、弱幾何検証部13、反復処理部20及び追加処理部31を備える。また、反復処理部20は、選択部21、幾何モデル生成部22、パラメータ抽出部23、評価部24、検証部25を備える。さらに、評価部24は、焦点距離評価部1、位置関係評価部2、一貫性評価部3及び復元性評価部4を備える。

図２は、一実施形態に係る幾何検証装置10の動作のフローチャートである。以下、図２の各ステップを説明しながら、図１の各機能部の処理内容を説明する。

[ステップS1：局所特徴対応を用意]
ステップS1では、局所特徴抽出部11、対応取得部12及び弱幾何検証部13がこの順番で各処理を行うことにより、入力された質問画像及び参照画像から出力として当該両画像の局所特徴の対応（質問画像の各局所特徴と参照画像の各局所特徴との間で対応関係を取得したもの）を得てから、ステップS2へと進む。このため、ステップS1では具体的には、各機能部11〜13がこの順番に以下のような処理を行う。

ステップS1ではまず、局所特徴抽出部11が、入力された質問画像及び参照画像からそれぞれの局所特徴を抽出して、対応取得部12へと出力する。当該局所特徴の抽出処理は質問画像及び参照画像について共通であり、以下のような特徴点検出処理及び局所特徴抽出処理がこの順番で実施される。

すなわち、まず、入力された画像（参照画像及び質問画像のそれぞれ）から特徴点検出器を用いて特徴点（エッジ等の点）を検出する。さらに、特徴量検出器を用いて検出した特徴点位置における画像の局所的な特徴を局所特徴と呼ばれるベクトル形式で抽出する。局所特徴抽出アルゴリズムには、一般的に知られているSIFT（スケール不変特徴量変換；Scale invariant feature transform）やSURF（Speeded Up Robust Features）、ORB（oriented BRIEF）、FREAK（Fast Retina Keypoint）等を利用することができる。これらの局所特徴は、画像における座標x=(u,v)，方向θ，スケールs，及び特徴ベクトルfにより特徴付けられるものとなる。なお、通常では、一枚の画像から検出された特徴群は、プログラム（局所特徴抽出部11を含む幾何検証装置10を実現するプログラム）上では配列に格納され，その配列の添え字を特徴点IDとして識別することができる。

なお、本発明においては質問画像と当該質問画像に対して正解となる参照画像との間には、当該両画像は同一立体物を別のカメラ配置で撮影したものであるという関係があるものとする。従って、当該両画像よりそれぞれ抽出された同一立体物の同一点に対応する特徴点同士の間には、エピポーラ幾何で与えられる関係があるものとする。ここで、図３を参照して、本発明にて想定している質問画像と対応する正解の参照画像との間にある関係としての、周知のエピポーラ幾何を簡単に説明する。

図３は、質問画像G1と正解の参照画像G2とが、3次元空間にある同一の立体物としての対象物OB（例えば家屋）を別のカメラ配置で撮影している際に、対象物OBの複数の特徴点のうち任意の１つの特徴点Pについて、画像G1上の対応点P1と画像G2上の対応点P2とがエピポーラ幾何で説明される関係にあることを示している。ここで、画像G1,G2を互いに別配置で撮影しているカメラのレンズ主点がそれぞれ図示するような点C1,C2である。三角形C1-C2-Pが乗る平面としてエピポーラ平面EPが形成され、直線C1-C2と画像G1,G2との交点がそれぞれエピポーラ点E1,E2であり、特徴点P1,P2はそれぞれ、直線C1-Pと画像G1の交点及び直線C2-Pと画像G2の交点となる。直線E1-P1及び直線E2-P2をエピポーラ線といい、前述の通り物体認識等に適用する場合を考えると、当該エピポーラ線上の曖昧性が存在する。

このようなエピポーラ幾何の関係にある特徴点P1,P2の同次座標をサイズ3×1の行列（縦ベクトル）で表記してx1=(u₁,v₁,1)^T,x2=(u₂,v₂,1)^Tとする(Tは転置演算を表す)と、周知のように、同一点Pに対応する点P1,P2に関して、サイズ3×3の基礎行列F=(F_ij)(1≦i,j≦3)を用いてエピポーラ方程式（以下の式(1)）が成立する。

また、周知のように、上記の基礎行列Fを具体的に算出するには、同一点Pに対応する点P1,P2の対応組が7組又は8組必要（立体物の点Pとして異なるものが7個又は8個必要）であり、周知の7-pointアルゴリズムや8-pointアルゴリズムを用いて算出することが可能である。以下、図２のステップS1の説明に戻る。

ステップS1では次に、局所特徴抽出部11にて上記のように得られた質問画像及び参照画像の局所特徴から、対応取得部12が当該両画像における局所特徴の対応を取得して、弱幾何検証部13へと出力する。具体的には、質問画像の各局所特徴と参照画像の各局所特徴との間で、当該局所特徴の構成データである前述の座標x、方向θ、スケールs及び特徴ベクトルfのうち、特徴ベクトルf同士の距離が最小となるようなもの同士に対応関係を設定するようにすればよい。特徴ベクトルf同士の距離にはユークリッド距離その他任意種類の距離の中から、所定種類の距離を用いてよい。最小となった距離が閾値判定で大きいと判定される場合は、当該局所特徴に関して、対応関係は設定しないようにしてもよい。

ステップS1では最後に、対応取得部12にて上記のように得られた局所特徴対応に対して弱幾何検証部13が弱幾何検証を行い、当該検証をパスした局所特徴対応を反復処理部20の選択部21へと出力する。すなわち、弱幾何検証部13は対応取得部12で取得した局所特徴対応を弱幾何検証によって選別する機能を担い、当該選別されなかった局所特徴対応は選択部21へは出力されない。

当該弱幾何検証の処理には、前掲の非特許文献2等に開示されているような周知の処理を採用することができ、上記の対応取得部12では考慮しなかった局所特徴における方向θ及びスケールsに基づいて選別を実施することができる。具体的には、次の通りである。

まず、説明のための前提として、対応取得部12において、質問画像G1の局所特徴FG1_i(i=1,2,…,N)と参照画像G2の局所特徴FG2_i(i=1,2,…,N)との間に対応関係が設定されているものとする。すなわち、対応する特徴ベクトルf1_i(i=1,2,…,N)と特徴ベクトルf2_i(i=1,2,…,N)との距離が最小であったものとする。なお、iは対応関係の設定された局所特徴の識別インデクスであり、合計でN個の対応関係が設定されたものとする。

弱幾何検証では第1手順として、当該対応関係が設定された質問画像G1及び参照画像G2の局所特徴におけるそれぞれの方向θ1_i(i=1,2,…,N)及び方向θ2_i(i=1,2,…,N)と、スケールs1_i(i=1,2,…,N)及びスケールs2_i(i=1,2,…,N)とを参照することで、方向の差Δθ_i=θ1_i-θ2_i(i=1,2,…,N)とスケールの比Δs_i= s1_i/s2_i(i=1,2,…,N)を求める。さらに第2手順として、当該求めた方向の差の集合{Δθ_i|i=1,2,…,N}及びスケール比の集合{Δs_i|i=1,2,…,N }に関してそれぞれ、所定のビンを用いてヒストグラムを取り、あるいは所定関数で値の分布をフィッティングする等により、方向差のピーク値Δθ_peak及びスケール比のピーク値Δs_peakを求める。なお、これらピーク値Δθ_peak及びΔs_peakを弱幾何パラメータと呼ぶものとする。

弱幾何検証では最後に第3手順として、対応関係が設定された局所特徴ペアFG1_i及びFG2_i(i=1,2,…,N)のうち、その方向差Δθ_iがピーク値Δθ_peakと比べて閾値範囲内にあり（すなわち、閾値THθにより|Δθ_i-Δθ_peak|＜THθであり）、且つ、そのスケール比Δs_iがピーク値Δs_peakと比べて閾値範囲内にある（すなわち、閾値THsにより|Δs_i-Δs_peak|＜THsである）ものを、弱幾何検証をパスしたものとして判定し、選択部21へと出力する。

以上のような弱幾何検証の意義は次の通りであり、後述するステップS2において行われるインライア判定に関し、事前に、インライアではなくアウトライアである可能性の高いものを排除しておくという効果がある。すなわち、局所特徴の対応がインライア同士の対応であった場合、方向の差は画像中に写る物体の局所領域の回転角を、スケール比はスケールの変化を表してといると考えられる。従って、正解画像ペアにおけるインライアから抽出された方向差及びスケール比はそれぞれ、当該画像ペア間における物体全体の回転角及びスケール変化を表しているため、概ね一定範囲内にその値が収まるものと考えられる。すなわち、前述の弱幾何パラメータΔθ_peak及びΔs_peakはこのような物体全体の回転角及びスケール変化を反映するものであると考えられる。逆に、局所特徴の対応がアウトライア同士の対応であった場合、それらの値はランダムになると考えられ、当該一定範囲内には収まらない可能性が高いものと考えられる。このような考察より、弱幾何検証はインライアの事前選別に効果を奏する。

なお、以上の説明では方向差Δθ_i及びピーク比Δs_iの両方を用いて弱幾何検証による選別を行うものとしたが、方向差Δθ_i又はピーク比Δs_iのいずれか片方のみを用いて弱幾何検証を行うようにしてもよい。

以上、図２のステップS1を説明した。続くステップS2〜S7は、繰り返し制御を意味するステップS2,S7で囲まれている通り、反復処理部20によって繰り返し処理が行われる。ここで、当該繰り返し処理の枠組みそのものは、周知のRANSACアルゴリズムに即した繰り返し処理であるが、本発明においては特に、当該繰り返し処理内にステップS4及びS5等が織り込まれることにより、エピポーラ幾何をRANSACで用いるパラメータフィッティングのモデルとして用いる際に高精度な幾何検証を実現することができる。以下、各ステップの詳細を説明する。

[ステップS2：選択部21]
ステップS2では、弱幾何検証部13によりステップS1で得られた質問画像と参照画像との間の局所特徴対応（１つの質問画像と１つの参照画像との間で複数の局所特徴対応が存在する）の中から、選択部21がランダムに所定数の局所特徴対応を選択して幾何モデル生成部22へと出力してから、ステップS3へ進む。

なお、局所特徴対応が多数存在する場合その確率は低いが、ステップS2では次のようにしてもよい。すなわち、現在のステップS2が繰り返しステップS2〜S7（ループ処理）の繰り返し回数ｍ回目に該当するものであり、いずれかの過去のn回目（n<m）のステップS2において選択部21が既に選択したのと同一の選択結果が現在のn回目において得られた場合、当該同一結果は破棄し、過去に一度も選択されていない結果が得られるまで選択部21は選択を繰り返すようにしてもよい。この場合、選択部21ではループ処理の各回における選択結果を記憶しておくことで、現在の選択結果が過去の選択結果のいずれかに一致していないか判定すればよい。

[ステップS3：幾何モデル生成部22]
ステップS3では、ステップS2で選択部21により選択された所定数の局所特徴対応を用いて、幾何モデル生成部22が仮の幾何モデルを生成し、当該モデルをパラメータ抽出部23へと出力してから、ステップS4へと進む。

当該生成する仮の幾何モデルは具体的には、図３で説明したようなエピポーラ幾何モデルにおける基礎行列Fである。すなわち、選択された所定数の互いに対応する質問画像G1の局所特徴における座標x1i=(u_1i,v_1i)(i=1,2,…,k：kは選択された所定数)と参照画像G2の局所特徴における座標x2i=(u_2i,v_2i) (i=1,2,…,k)とが、同一対象であると想定している立体物の各特徴点P(i)を各画像において撮影したものであるという仮定のもとで、エピポーラ方程式（前述の式(1)）に現れる基礎行列Fである。

ここで、「仮の」幾何モデル（基礎行列F）と称しているのは、最終的に最適な幾何モデルとして得られるものの候補であるためである。すなわち、RANSACアルゴリズムの枠組みにおける当該ループ処理S2〜S7の各回(m=1,2,…)において「仮の」幾何モデルF(m)が算出され、当該算出された一連の幾何モデルF(m)の中から最適と判定されるものが後述するステップS8で検証部25により決定される。

ステップS3にて幾何モデル生成部22は、前述の通り周知の7-pointアルゴリズムや8-pointアルゴリズムを用いて基礎行列Fを算出すればよい。なお、前述のステップS2において選択部21は、局所特徴対応を選択する所定数kとして、幾何モデル生成部22が基礎行列Fを算出するのに必要な最小数を採用すればよい。すなわち、7-pointアルゴリズムを使う場合であれば7個の、8-pointアルゴリズムを使う場合であれば8個の、局所特徴対応を選択すればよい。

[ステップS4：パラメータ抽出部23]
ステップS4では、ステップS3で幾何モデル生成部22により求められた幾何モデル（基礎行列F）から、パラメータ抽出部23が各種のパラメータを抽出して評価部24へと出力してから、ステップS5へと進む。

パラメータ抽出部23による当該各種のパラメータ抽出処理を列挙すると以下（１）〜（４）の通りである。
（１）基礎行列Fから、質問画像G1を撮影したカメラの焦点距離f1と、参照画像G2を撮影したカメラの焦点距離f2と、を抽出する。
（２）基礎行列Fと上記抽出された焦点距離f1及びf2とから、基本行列Eを抽出する。
（３）上記抽出された基本行列Eを分解することで、質問画像G1のカメラ配置を参照画像G2のカメラ配置へ3次元座標変換するためのカメラの回転行列R及び並進ベクトルTを抽出する。（あるいは同様にその逆変換に対応する回転行列及び並進ベクトルを抽出する。）
（４）上記抽出された回転行列Rを例えば以下の式(2)のように分解することで、X軸周りの回転角θ_X、Y軸周りの回転角θ_Y及びZ軸周りの回転角θ_Zを抽出する。ここで、Z軸をカメラ軸（図３であれば、主点C1を通り画像G1に垂直な軸又は主点C2を通り画像G2に垂直な軸）として取る。

なお、以上の（１）〜（４）のような抽出が可能であることは、エピポーラ幾何と同様に周知である。また、当該抽出するための具体的な計算方法についても、前掲の非特許文献３等に開示されている。

[ステップS5：評価部24]
ステップS5では、パラメータ抽出部23によりステップS4で抽出されたパラメータを用いることで、幾何モデル生成部22によりステップS3で生成された仮のモデル（基礎行列F）の妥当性を、評価部24が評価し、当該評価結果を検証部25へと出力してから、ステップS6へと進む。

当該評価の各実施形態を担うのが評価部24の各部1〜４であり、詳細については後述する。

評価結果に関しては、妥当性を数値化したものとして与えてもよいし、当該数値に対して閾値判定を行うことで、妥当である又は妥当でない（モデルとして不適切である）といった2値判定として与えてもよい。

[ステップS6：検証部25]
ステップS6では、ステップS3で幾何モデル生成部22に生成された仮の幾何モデル（基礎行列F）を、ステップS5で評価部24により評価された妥当性を考慮したうえで、検証部25が検証し、当該検証結果をループ処理S2〜S7の当該m回目における結果として、検証部25自身において記録してから、ステップS7へと進む。

検証部25では当該検証処理として次の第１処理及び第２処理を行う。第1処理では、通常のRANSACアルゴリズム枠組みにおいて行われているのと同様の、生成された仮の幾何モデル（基礎行列F）に対するインライア数のカウントを行う。すなわち、ステップS1で得られた質問画像と参照画像との間の局所特徴対応の全体のうち、ステップS3で求まった基礎行列F（当該繰り返し回数m回目における基礎行列F(m)）によって、以下の式(3)を満たすような局所特徴対応をインライアと判定し、その数をカウントする。

上記において、ベクトルx₁及びx₂はそれぞれ、質問画像G1と参照画像G2との間の局所特徴対応における、画像G1の特徴点の座標(u₁,v₁)及び画像G2の特徴点の座標（u₂,v₂）を同次座標表現したものであり、THは判定用の閾値である。なお、エピポーラ幾何において周知のように上記の式の左辺「x₁ ^TF x₂」はエピポーラ線と点(u₁,v₁),（u₂,v₂）との距離を意味するものである。すなわち、上記の式は基礎行列Fに対応するエピポーラ平面のエピポーラ線と２つの特徴点座標(u₁,v₁),（u₂,v₂）の一方との距離が閾値TH以下であることを判定するものである。

第２処理では、当該繰り返し処理m回目における仮の幾何モデル（基礎行列F(m)）に対する総合スコアscore(m)を、上記第１処理で得られたインライア数を当該繰り返し処理m回目におけるインライア数INL(m)及び当該m回目におけるステップS5の評価スコアEVAL(m)の関数F(INL(m),EVAL(m))として求め、当該m回目の検証結果として記録する。当該関数Fは、インライア数INL(m)及び評価スコアEVAL(m)の両方についての増加関数として所定のものを用意しておけばよい。

なお、ステップS5の評価スコアEVAL(m)を閾値判定により妥当である又は妥当でないという2値の形式で与える実施形態において、妥当でないという評価結果である場合、総合スコアF(INL(m),EVAL(m))を所定の最低値として出力するようにしてもよい。あるいは、前述の第1処理自体を省略して、インライア数をカウントすることなく、当該幾何モデル（基礎行列F(m)）は不適切であり破棄すべきものであるという検証結果を与えるようにしてもよい。当該インライア数をカウントすることなく破棄するという検証結果を与えることで、RANSACの枠組みにおける繰り返し処理の高速化を図ることができる。このような高速化を達成する具体例については、図７を参照して後述する。

[ステップS7：検証部25]
ステップS7では、検証部25が、当該m回目までの繰り返し処理によって、RANSACアルゴリズムにおける繰り返し処理の所定の終了条件（繰り返し回数mが所定値に到達している等の条件）が満たされているか否かを判定し、満たしていればステップS8へ進み、満たしていなければ、選択部21に対して次のm+1回目の処理を継続するよう指示したうえでステップS2に戻り、ステップS2において選択部21が前述の通りのランダムサンプル選択をm+1回目のものとして実施する。

[ステップS8：検証部25]
ステップS8では、検証部25が、以上繰り返されたループ処理において得られ記録されている総合スコアscore(m)=F(INL(m),EVAL(m))(m=1,2,…)に基づき、一連の仮の幾何モデル（基礎行列F(m)）の中から最適な幾何モデルを決定して追加処理部31へと出力し、ステップS9へと進む。

当該決定は、一実施形態では、総合スコアscore(m)が最大値となるようなものを最適なものとして決定することができる。別の一実施形態では、インライア数INL(m)が最大のもののうち、評価値EVAL(m)が最大のものに決定するようにしてもよい。この場合、前述のステップS6では総合スコアscore(m)の算出処理（第２処理）は省略して第１処理のみを行い、インライア数INL(m)及び評価値EVAL(m)を検証部25において記録しておくようにしてもよい。

ステップS9では、ステップS8での検証部25による検証結果に基づき、追加処理部31が追加処理を実施し、結果を出力してから、図２のフローは終了する。追加処理としては各種のものが可能であり、最適と判定された幾何モデルがループ処理回数m=m_maxにおけるものであったとすると、その総合スコアscore(m_max)又はインライア数INL(m_max)に基づいて、質問画像と参照画像とが同一対象物を写しているものであるか否かを判定するようにしてもよいし、質問画像と参照画像との類似度を出力するようにしてもよい。

また、参照画像が複数存在する場合には、以上のステップS1〜S8を参照画像ごとに実施したうえで、ステップS9において追加処理部31が、質問画像（1枚）は複数の参照画像のうちのいずれに該当するかを、参照画像ごとの総合スコア又はインライア数に基づいて判断するようにしてもよい。

上記のように、ステップS9における追加処理部31の処理を含む（図１の線L2及びL3の流れで処理する）ことで、幾何検証装置10は幾何検証に加えてさらに、類似度算出等の機能を担うことができる。また、ステップS9及び追加処理部31を省略する（図１の線L1の流れで処理する）ことで、幾何検証装置10では最終的な出力として幾何検証結果のみを出力することもできる。逆に、ステップS9及び追加処理部31を用いる場合、類似度算出等に限らず、最適判定された幾何検証結果に基づく任意出力を幾何検証装置10の出力とすることができる。例えば、質問画像G1のカメラ座標と参照画像G2のカメラ座標との関係（前述のパラメータ抽出部23における回転行列R及び並進ベクトルT）等を、当該最適と判定された幾何検証結果におけるものとして出力してもよい。

以上、図２のフロー全体を説明した。以下、図２のフローにおけるステップS5の評価部24の詳細として、前述の通りの各実施形態を担う各部1〜4を説明する。

[焦点距離評価部1について]
焦点距離評価部1では、抽出されたパラメータである質問画像G1の焦点距離f1及び参照画像G2の焦点距離f2が、以下のような考察から得られる現実的な範囲にあるかを調べ、当該範囲内にあれば妥当であり、当該範囲から逸脱するほど妥当ではないという形で、評価値を数値化した形又は2値判定の形で与える。以下、考察及び当該考察から導出される現実的な範囲の詳細を説明する。

まず、抽出された焦点距離f1,f2は画像座標より抽出していることから明らかなように、ピクセル単位での焦点距離を表したものであり、mm単位（ピクセル単位とは区別される現実世界の長さ単位であることを明示する例としてミリメートル(mm)を用いる。以下同様。）での焦点距離とは、以下の式(4-1)のような関係がある。

ここで、f_pixelはピクセル単位の焦点距離(=f1,f2)である。焦点距離f1,f2のいずれもがそれぞれのカメラにおける画像G1,G2において上記を満たすので、その両者の代表としてf_pixelを用いるものとする。また、w_pixel及びh_pixelはそれぞれピクセル単位の画像（G1又はG2）の横幅及び縦幅であり、f_mmはmm単位の焦点距離であり、SS_mmはmm単位のセンササイズ（前記横幅又は縦幅のうち、大きい側に対応するセンササイズ）である。

また、ピンホールカメラモデルにおいては、カメラが物体に対してピントを合わせている場合に、図４に示すような関係が成り立つ。当該関係により、WD_mmをmm単位での作動距離（Working Distance）とし、FoV_mmをmm単位での視野（Field of View）として、次の式(4-2)が成り立つ。

図４では、ピンホールカメラモデルにおける視野FからレンズLを通ってセンサSへと至る光線として、視野Fの上端点FE1からレンズLの中心Cを通ってセンサSの下端点SE2へと直進する光線と、視野Fの下端点FE2からレンズLの中心Cを通ってセンサSの上端点SE1へと直進する光線とが描かれている。センサSとレンズLと視野Fとが平行であるものとして、当該2本の光線の線分FE1-C-SE2及びFE2-C-SE1によって2つの三角形C-FE1-FE2及び三角形C-SE1-SE2が相似となるため、上記の式(4-2)が成立する。図示する通り、焦点距離f_mmはレンズLとセンサSとの距離であり、差動距離WD_mmはレンズLと視野Fとの距離である。

なお、上記では図４が画像の縦（垂直方向）の前提で説明したが、画像の横方向であってもよく、式(4-1)の右辺で示される通り、縦又は横のうち長い側を想定したのが図４である。

さらに、図４に示すようにカメラの画角をθ_AoVとおく（画角θ_AoV=∠FE1-C-FE2又は∠SE1-C-SE2）と、以下の式(4-3)が成り立つ。

従って、以上の式(4-1)〜(4-3)により、カメラが物体にピントを合わせている場合、以下の式(4-4)が成り立つ。

上記式(4-4)の関係を用いて、抽出したf1,f2(=f_pixel)をmax{w_pixel,h_pixel}で除算した値（左辺の値）が、カメラの画角として想定される所定範囲θ_min<θ_AoV<θ_maxにおいて上記の式の右辺の値(2tan(θ_AoV/2)の逆数)が取りうる所定範囲に収まるか否かを判定（2値判定）すればよい。また、2値判定ではなく連続値的な評価値として求める場合は、当該範囲から逸脱するほど評価値を下げるようにするような所定関数を用いればよい。

2値判定する場合の数値例を挙げると、次の通りである。例えば、仮に利用されるカメラの画角の範囲をθ_min=10°からθ_max=100°の範囲と想定し、式(4-4)を適用する所定範囲として設定する。この場合、式(4-4)の右辺（及びこれに等しい左辺）の値の範囲はおよそ0.42から5.72の範囲に収まるはずである。逆に、この範囲に収まらないような焦点距離f1,f2の値が抽出された場合、現在の仮の幾何モデルが妥当ではないと判定することができる。このように，予め想定されるf1，f2を上限の閾値および下限の閾値で判定することによって，仮の幾何モデルの妥当性を評価することができる。

なお、以上の焦点距離評価部1による評価は、質問画像G1より抽出される焦点距離f1及び参照画像G2より抽出される焦点距離f2の両者に対して実施する。除算する値であるmax{w_pixel,h_pixel}も、質問画像G1及び参照画像G2におけるそれぞれの値を利用する。当該両者において評価値が得られるので、焦点距離評価部1による最終出力としては、所定関数を用いて当該２つの評価値の総合スコアの形で出力すればよい。2値判定で評価する場合であれば例えば、当該両者において妥当と判定される場合にのみ、総合評価結果として妥当であるという評価を下し、少なくともいずれか一方が妥当でないと判定された場合は、総合評価結果として妥当ではないという評価を下すようにしてもよい。

[位置関係評価部2について]
位置関係評価部2は、抽出されたパラメータである回転行列R及び並進ベクトルTが現実的な範囲にあるかを評価し、現実的な範囲内から逸脱するほど評価値を下げるようにする形で、評価値を得る。2値判定を行う場合であれば、閾値判定で現実的な範囲内にあるか否かを評価すればよい。

具体的には、回転行列R及び並進ベクトルTから質問画像G1のカメラの光軸と参照画像G2のカメラの光軸とのなす角θ_optを求め、当該光軸同士のなす角θ_optが現実的な範囲に収まっているかを評価するようにすればよい。現実的な範囲は、次のような考察に基づいて所定範囲として設定すればよい。

局所特徴に基づいて幾何検証を行う場合、2つのカメラの両方で物体の同一部分を写さなければ、そもそも局所特徴をマッチングすることができない。すなわち，ある程度角θ_optが小さくなければ、物体の同一部分を写すことができず、正しい幾何モデルを推定することができない。そのため、角θ_optが予め想定される上限の閾値に収まっているかで、仮の幾何モデルの妥当性を評価することができる。このため、角θ_optは正面の場合（カメラの光軸の方向に変化がない場合）を0°と定義し、正面からずれるに従い、値が大きくなるように求めるものとする。

なお、図５に[ケース1]及び[ケース2]と場合分けして示すように、角θ_optは[ケース1]のように質問画像G1のカメラの光軸A1と参照画像G2のカメラの光軸A2とが内向きになる場合と、[ケース2]のように質問画像G1のカメラの光軸A1と参照画像G2のカメラの光軸A2とが外向きになる場合と、の区別が存在するので、当該内向きの場合と外向きの場合とで角θ_optが現実的な範囲であるかを判断する範囲を変えて設定するようにしてもよい。

なお、図５では[ケース1]及び[ケース2]の両者において、並進Tを参照画像G2の光軸A2に適用することで光軸A2の起点を参照画像G2の主点C2から質問画像G1の主点C1に移動したものを点線で光軸A20として描いている。角θ_optはこのように主点が並進Tによって一致した光軸A1と光軸A20との角度となる。

また、位置関係評価部2では以上の評価を行うために、以下の（５）の周知の抽出処理を行うが、当該処理（５）は前述の（１）〜（４）の処理と合わせてパラメータ抽出部23において実施しておいてもよい。
（５）抽出された回転行列R及び並進ベクトルTより、光軸A1及び光軸A2のなす角θ_optを抽出する。また、当該回転行列R及び並進ベクトルTに基づき、光軸A1及び光軸A2が図５に示したような内向き又は外向きのいずれの関係にあるかを判断する。

[一貫性評価部3について]
一貫性評価部3では、抽出された各パラメータが局所特徴対応における局所特徴と一貫性を持つかを評価し、一貫性が高いほど評価値が高いような評価値を出力する、あるいは、一貫性の高さに対する閾値判定により妥当であるか否かを2値判定することができる。具体的に、抽出したパラメータのうちいずれの量と局所特徴のうちいずれの量との間でどのようにして一貫性を評価するかの区別により、一貫性評価部3では以下の第1及び／又は第２実施形態が可能である。

第1実施形態では、抽出した焦点距離f1,f2の比f1/f2の逆数(f1/f2)^-1が、前述の弱幾何検証部13で求めた弱幾何パラメータのうちのスケール比のピーク値Δs_peakに近い値であるか否かを以下の式(5-1)又は(5-2)のような閾値判定で判断し、近いと判断された場合に妥当であるとの評価結果を得ることができる。
|(f1/f2)^-1-Δs_peak|<THp1 …(5-1)
|log(f1/f2)^-1-logΔs_peak|<THp1 …(5-2)

上記において、THp1,THp2は判定用の閾値である。式(5-1)は差を直接取ることで、また、式(5-2)は対数を取ってから差を取ることで、スケール比のピーク値Δs_peakに近い値であるか否かを判定しているが、考え方は同じである。なお、スケール比のピーク値Δs_peakに関しては、弱幾何検証部13の説明において前述のように、対応関係が設定された質問画像G1及び参照画像G2の局所特徴におけるそれぞれのスケールs1_i(i=1,2,…,N)及びスケールs2_i(i=1,2,…,N)とを参照することで、画像G1の画像G2に対するスケールの比Δs_i= s1_i/s2_i(i=1,2,…,N)を求めて既に集計済みである結果としてのピーク値Δs_peakを用いればよい。

また、上記の式(5-1)又は(5-2)は2値判定するための条件を示しているが、数値として評価値を与える場合、式(5-1)の左辺である「|(f1/f2)^-1-Δs_peak|」の値又は式(5-2)の左辺である|log(f1/f2)^-1-logΔs_peak|の値が小さいほど、より妥当であり高い評価値を与えるような所定関数を用いることで、評価値を計算すればよい。

第1実施形態はすなわち、比f1/f2の逆数(f1/f2)^-1が、質問画像G1に写っている対象物のサイズと（正解画像である場合の）参照画像G2に映っている（同一）対象物のサイズとの比に概ね一致する、という考察に基づくものである。当該考察は以下のように導かれるものである。

すなわち、式(4-4)の1行目より、抽出された２つのカメラの焦点距離の比は、（２つの画像サイズが概ね一致している前提で）各カメラの撮影時のWD_mm/FoV_mmの比に等しい。図4及び数式(4-2)より、SS_mmとFoV_mmとは比例関係にあるため、２つのカメラのSS_mmの比はFoV_mmの比と一致すると考えられる。カメラのSS_mmは変化しないため、２つのカメラの焦点距離の比はWD_ｍｍの比に比例すると考えられる。そのため、同一サイズの物体を撮影した際のWD_ｍｍの比の逆数は、局所特徴集合におけるスケール比のピーク値Δs_peak（弱幾何検証部13で求めたもの）と一貫性を持つと考えられる。従って、上記のような評価が可能となる。なお、２つのカメラのSS_mmが既知である場合、その比を用いることによってFoV_mmの影響を打ち消すようにしてもよい。

第２実施形態では、前述の処理（４）において回転行列Rより抽出されたZ軸すなわちカメラの光軸周りの回転角θ_Zが、前述の弱幾何検証部13で既に求めている弱幾何パラメータのうちの方向差のピーク値Δθ_peakに（質問画像G1に対して参照画像G2が正解画像である場合には）概ね一致するはずであるという考察に基づき、以下の式(5-3)が満たされる場合に、妥当であるとの評価結果を得ることができる。ここで、THθ3は判定用の閾値である。
|θ_Z-Δθ_peak|<THθ3 …(5-3)

なお、上記の計算時には、差分の絶対値が最小になるように換算するものとする。例えば、5°と355°との差分の絶対値は10°として計算するものとする。

また、上記の式(5-3)は評価値を妥当か否かの2値判定する場合を表しているが、同式の左辺「|θ_Z-Δθ_peak|」の値が小さいほどより評価値が高くなるような所定関数を用いることで、連続値として評価値を得るようにしてもよい。この場合も上記のように「差分の絶対値が最小になるように換算」するものとする。

なお、前述のカメラの光軸周りの回転角θ_Zとは次を意味する。すなわち、並進ベクトルTの適用により質問画像G1の主点C1を参照画像G2の主点C2に一致させたうえで、前述の式(2)における３つの回転のうち前半側の２つの回転R_Y(θ_Y)R_X(θ_X)を適用すると、質問画像G1と参照画像G2とが同一平面に乗った状態となる。当該状態から回転角θ_Zだけ回転する（すなわち、式(2)の３つの回転のうち最後の１つの回転R_Z(θ_Z)を適用する）と、質問画像G1と参照画像G2との向き（縦横の向き）が一致する。

[復元性評価部4について]
復元性評価部4では、抽出されたパラメータとしての基礎行列Fそのものを用いて、正しく3次元復元できるか否かを次のように評価する。すなわち、復元された点が両方の座標系で奥行き（Z座標）が正となるかを判定し、全て奥行きが正である場合には妥当であるとの評価結果を得るようにし、一つでも奥行きが負となるものがある場合には妥当でないとの評価結果を得る。

図６は、当該計算する奥行きを模式的に説明するための図であり、点P_[計算]は求めた基礎行列Fによって特定される計算上のある任意の１つの特徴点の3次元位置を表している。従って、当該点P_[計算]を質問画像G1及び参照画像G2のそれぞれのカメラ座標系に変換することで、それぞれのカメラ座標系での奥行きが得られる。図６では、[ケース1]として両画像G1,G2における奥行きが共に正となる場合が、[ケース2]として両画像G1,G2における奥行きが負となる場合が、[ケース3]として画像G1における奥行きが正となり画像G2における奥行きが負となる場合が、それぞれ示されている。当該各画像の各点に関してその3次元位置の奥行きの正負の区別は図中にも記されている通りである。

ここで、[ケース1]〜[ケース3]のそれぞれにおいて、P1_[画像]及びP2_[画像]は、画像G1,G2よりそれぞれ局所特徴における特徴点として局所特徴抽出部11において検出された点の当該画像G1,G2上の位置座標であり、点P_[計算]を算出するのに用いた点である。また、点C1,C2は図２で説明したのと同じく、各画像G1,G2のカメラ（レンズ等を含む撮像系をいう）の主点である。図６の模式例にも示されているように、点P_[計算]の奥行きの正負はすなわち、１つの直線上にある（１）カメラの主点(C1又はC2)、（２）画像上の位置座標で特定される画像上の点(P1_[画像]又はP2_[画像])及び（３）当該画像上の点を用いて求めた基礎行列Fによって復元された3次元位置（P_[計算]）、という３つの点の、当該１つの直線上の並び順に対応するものである。そして具体的には、当該（１）カメラの主点と（３）復元された3次元位置とが、当該画像(G1又はG2)の平面で3次元空間を2つのサイド（部分）に区切った場合に、異なるサイドに属していれば点P_[計算]の奥行き値は正となり、逆に、同じサイドに属していれば点P_[計算]の奥行き値は負となる。

すなわち、当該正負を判定する対象となるZ軸方向の奥行きとは、カメラにおける主点から、画像平面に垂直な方向（光軸方向）で3次元復元点を「見る」際の、当該垂直な方向における奥行きである。その正負は、主点から出発して画像平面上の位置座標を通過して3次元位置に到達するのであれば（上記の異なるサイドに属する場合に該当して）正の奥行き値となり、画像平面上の位置座標から出発して主点を通過して3次元位置座標に到達するのであれば（上記の同じサイドに属する場合に該当して）負の奥行き値となる。

例えば、[ケース1]では画像G1の点P1_[画像]に関して、「主点C1→画像G1上の点P1_[画像]→3次元位置P_[計算]」という順番で並んでおり、主点C1と復元された3次元座標P_[計算]とが画像G1の定める平面で区切られる3次元空間上において互いに別サイドに属する関係にある。従って、Z軸の正方向を主点C1から画像G1へ向かうようなカメラ光軸方向として定める約束のもと、点P1_[画像]の復元された3次元位置P_[計算]の奥行き（Z座標値）は正となる。逆に、[ケース2]の画像G1の点P1_[画像]では、主点C1と3次元位置P_[計算]とが画像G1の平面で空間を区切った際に同サイドに属しているので、点P1_[画像]の復元された3次元位置P_[計算]の奥行き（Z座標値）は負となる。その他の各点についても同様に、奥行き値の正負は前述及び図中に記す通りとなる。

なお、復元性評価部4において上記のような奥行きを計算する全ての点P_[計算]とは、選択部21によりステップS2で選択された局所特徴対応における全ての点P_[計算]である。

前述の式(1)のエピポーラ方程式が単にエピポーラ線上に点が位置することを保証するものであるに過ぎず、必ずしも正しく3次元復元できることを保証するものではないのに対し、復元された点の奥行きを用いた評価により、より確実に仮の幾何モデルの妥当性を評価することができる。選択された点対応が全てインライアである場合、それらは正しく3次元復元できるはずだからである。特に、奥行きが１つでも負となるような図６の[ケース2]や[ケース3]は、質問画像G1と参照画像G2とが同一立体物を撮影している状況としては実現不可能（あるいは困難）な状況であり、正しく3次元復元できていない状況であるが、復元性評価部4によればこのような場合をアウトライアに該当するものとして排除する（あるいは妥当性が低いものと評価する）ことが可能である。なお、選択された点対応の中にアウトライアが含まれていた場合であっても、偶然正しく3次元復元されてしまう可能性はある。なぜならば、たとえアウトライアであっても、カメラの相対姿勢に矛盾しない配置である可能性があるためである。

なお、上記では全ての点P_[計算]について復元された点の奥行きを判定して評価値を妥当であるか否かの2値判定で与える場合を説明したが、復元性評価部4では同様に、評価値を連続値として得ることもできる。例えば、全ての点P_[計算]に対し，両方の座標系で奥行きが正となるものを計数（カウント）することで、当該計数が大きいほど評価値が高いような所定関数として、評価値を与えるようにすることもできる。

[以上の各部1〜4の組み合わせについて]
以上、評価部24の各実施形態を担う各部1〜4をそれぞれ説明したが、当該各部1〜4はいずれか１つのみを用いてもよいし、任意の複数を組み合わせて用いてもよい。複数を組み合わせて利用する場合は、各部1〜4のうち利用したものにおける各評価値の総合スコアとして、評価部24は最終的な評価値・評価結果を出力すればよい。当該総合スコアの算出においては所定関数や所定のルールベース手法を用いればよい。

図７は一実施形態に係る幾何検証装置10の動作のフローチャートである。当該位置実施形態は、評価部24において各部1〜4の全てを利用し、各部1〜4では妥当である又は妥当でないという2値判定で評価結果を得るようにし、各部1〜4の少なくともいずれか１つにおいて妥当でないという結果が得られた場合には、評価部24において当該RANSACの繰り返し処理において選択されたランダムサンプルとしての局所特徴対応は妥当でないと判断して破棄するようにするものである。当該破棄によりRANSAC処理の高速化を図ることができる。

図７の一実施形態は図２の一実施形態におけるステップS5の一つの具体例を示すものとなっており、図２のステップS5を具体化したものが図７のステップS51からS59までの部分に該当する。

上記以外の図７のステップS11〜S14及びS16〜S19はそれぞれ対応するステップ番号を付している図２のステップS1〜S4及びS6〜S9と同一であるので、重複する説明は省略する。以下、図７独自のステップであるステップS51からS59までの部分を説明する。

ステップS14（図２のステップS4と同様）を終えてステップS51に至ると、焦点距離評価部1が前述の2値評価により当該幾何モデルが妥当か否かを評価してからステップS52へ進む。ステップS52では、ステップS51の評価結果が妥当であったか否かが判定され、妥当であればステップS53へ進み、妥当でなければステップS59へ進む。

ステップS53では、位置関係評価部2が前述の2値評価により当該幾何モデルが妥当か否かを評価してからステップS54へ進む。ステップS54では、ステップS53の評価結果が妥当であったか否かが判定され、妥当であればステップS55へ進み、妥当でなければステップS59へ進む。

ステップS55では、一貫性評価部3が前述の2値評価により当該幾何モデルが妥当か否かを評価してからステップS56へ進む。ステップS56では、ステップS55の評価結果が妥当であったか否かが判定され、妥当であればステップS57へ進み、妥当でなければステップS59へ進む。

ステップS57では、復元性評価部4が前述の2値評価により当該幾何モデルが妥当か否かを評価してからステップS58へ進む。ステップS58では、ステップS57の評価結果が妥当であったか否かが判定され、妥当であればステップS16（図２のステップS6と同様のステップ）へ進み、妥当でなければステップS59へ進む。

以上のステップS52,S54,S56,S58のいずれかで妥当でないと判断された場合に至るステップS59では、評価部24において当該繰り返し処理のm回目における幾何モデル（基礎行列F(m)）を破棄すべきものであるとの判断を得たうえで、ステップS17（図２のステップS7と同様のステップ）に進む。

当該ステップS59に至り破棄すべきものと判断された幾何モデル（基礎行列F(m)）に関しては、ステップS18で検証部25において最適な幾何モデルとして決定する対象からは除外される。

以上、図７のフローでは各部1〜4による評価をこの順番で適用するものとしたが、その他の任意の順番でもよい。また、各部1〜4の一部分のみを用いて図７のフローと同様にすることもできる。

[RANSAC処理の途中ではなく、通常のRANSAC処理を終えた結果に対して、パラメータ抽出部23及び評価部24を適用する実施形態について]
以上の実施形態においては、RANSACの枠組みの繰り返し処理の途中において、選択されたランダムサンプルとしての局所特徴対応から生成された仮の幾何モデル（基礎行列F）に対してパラメータ抽出部23及び評価部24を適用していた。別の実施形態として、通常のRANSACの繰り返し処理によって最適なものとして得られた局所特徴対応における幾何モデルに対しても全く同様に、パラメータ抽出部23及び評価部24を適用して、当該最適と判定された幾何モデルの妥当性を評価することが可能である。

図８は当該一実施形態に係る幾何検証装置10の機能ブロック図であり、図９は当該一実施形態に係る幾何検証装置10の動作のフローチャートである。

図８の機能ブロック図では幾何検証装置10の備える各部は図１のものと共通であるが、図１ではRANSAC枠組みでの繰り返し処理を行う反復処理部20内にあったパラメータ抽出部23及び評価部24が反復処理部20の外部にあるという点で異なる。このため図８に示すように、幾何モデル生成部22の生成した幾何モデルは直接、検証部25に出力され、検証部25より反復処理部20の繰り返し処理の結果として得られる最適な幾何モデル（基礎行列F）が、パラメータ抽出部23及び評価部24に出力される。

上記のように、図１の実施形態と図８の実施形態とでは幾何検証装置10の各部の個別の動作は共通であり、各部間のデータの流れのみが異なっている。共通動作であるため図８の各部の動作に関しての説明は省略する。

次に、当該図８の構成の一実施形態における幾何検証装置10の動作を示す図９のフローチャートについて説明する。図９のフローチャートは、図２のフローチャートにおけるステップS4及びS5を、RANSAC枠組みのループ処理の終えた後に配置変えしたものに相当する。当該配置変えされた図２のステップS4及びS5に対応するのは、対応する番号を付している図９のステップS24及びS25である。その他のステップも図２と図９とで対応番号を付しているように、対応関係にあり、個別動作としては共通であるため重複する説明は省略する。すなわち、図９のステップS21,S22,S23,S26〜S29はそれぞれ、図２のステップS1,S2,S3,S6〜S9と共通である。

従って、図９のフローにおいては、ステップS21を終えてステップS22に至ると、パラメータ抽出部23及び評価部24を適用しない通常のRANSAC処理の枠組みで、ループ処理S22,S23,S26,S27が実行され、ステップS27において終了条件が満たされた時点でステップS28へと移り、検証部25が最適な幾何モデルを出力する。従って、当該ループ処理内のステップS26において検証部25は、（図２のステップS6とは異なり、）前述の第1処理のみを行うことで検証を実施すればよい。

ステップS24及びS25において、パラメータ抽出部23及び評価部24はパラメータ抽出及び幾何モデルの評価を行うが、当該抽出及び評価はRANSACのループ処理S22,S23,S26,S27において最適結果とされた幾何モデルを対象として、図1及び図２の実施形態で仮の幾何モデルに対して行っていたのと同様の処理を行えばよい。

以上のように、本発明の幾何検証装置10による幾何検証は、RANSAC処理の内外に限らず任意の局所特徴対応に対して適用可能である。また、RANSAC処理の枠組みを前提とせずとも、任意の局所特徴対応に対して適用可能である。

以下、本発明における補足的事項を述べる。

（補足１）図1及び図８の両実施形態において、弱幾何検証部13は省略されてもよい。この場合、対応取得部12において取得した両画像の局所特徴対応を全て、選択部21へと出力すればよい。図２のステップS1、図７のステップS11、図９のステップS21も同様に、弱幾何検証部13の処理を省略したものとしてよい。

（補足２）図２、図7及び図９のフローにおいては、繰り返し処理の枠組みはRANSACに即したものであるとして説明したが、他の枠組みを用いてもよい。例えばPROSAC(PROgressive SAmple Consensus)アルゴリズムやARRSAC(Adaptive Real-Time Random Sample Consensus)アルゴリズム等のような、RANSACアルゴリズムの発展系を枠組みとして用いてもよいし、他のロバスト推定法を用いてもよい。この場合、ステップS2,S12,S22における選択部21の選択処理や、ステップS7,S17,S27における検証部25の終了判定処理等を、当該他のアルゴリズムに即したものへと変更すればよい。

なお、RANSAC系の処理は、次のような共通の枠組みを有する。すなわち、所与のサンプル全体（本発明では対応取得部12又は弱幾何検証部13の出力した局所特徴対応の全体）からランダムサンプルの取得（本発明では選択部21による選択）を行い、当該取得されたランダムサンプルに対して所与のフィッティングモデル（本発明ではエピポーラ幾何モデル）を適用した際のパラメータを求め（本発明では幾何モデル生成部22が基礎行列Fを求め）、当該パラメータのもとでのモデルによって前述の所与のサンプル全体のうちいずれがインライアでいずれがアウトライアかを判定する（本発明では検証部25による検証を行う）ということを繰り返す。当該繰り返した一連の結果の中から、最適なパラメータを、インライア数が最大のものとして決定（本発明では検証部25が最適結果を決定）する。

（補足３）パラメータ抽出部23（図２等のステップS4等）では、（１）〜（４）等として説明したような各種のパラメータを抽出するが、必ずしもこれら全てを抽出する必要はなく、評価部24（図２等のステップS5等）の各実施形態において利用されるパラメータのみを抽出すればよい。

（補足４）本発明においてはエピポーラ幾何モデルを適用するために、図３で説明したような配置関係にある２つのカメラにより質問画像G1及び（これに対する正解画像である）参照画像G2が撮影されていることを想定しているが、当該カメラによる撮影は、実際の物理的なカメラによる物理的な撮影に限定されない。例えば、3次元コンピュータグラフィックとしての画像G1,G2が図３のような２つのカメラ配置を想定して生成されている場合であっても、本発明は適用可能である。

上記と同様に、本発明は、物体認識等の用途における質問画像G1及び参照画像G2における局所特徴対応に限定されず、一般の画像G1及び画像G2における局所特徴対応に対して適用可能である。

（補足５）本発明においてエピポーラ幾何モデルを表現しているのは基礎行列Fであるものとして、幾何モデル生成部22で求めるものとして説明してきたが、これに代えて、エピポーラ幾何モデルを表現しているのは基本行列Eであるものとして、幾何モデル生成部22で求めてもよい。周知の通り、前述の式(1)のエピポーラ方程式は基本行列Eにおいても同様に、以下の式(6)のように成立する。ここで、点x₁及びx₂は、各カメラの内部パラメータの行列K₁及びK₂の逆行列が乗算されたものである。式(3)のようなエピポーラ線との距離の閾値判定も同様に可能である。
x₁ ^TEx₂=0 …(6)

なお、基本行列Eに関しては、前述の通り基礎行列Fから算出することが可能であるほか、周知の5-pointアルゴリズムによって局所特徴対応から算出することも可能である。

（補足６）本発明は、コンピュータを幾何検証装置10の各部の全て又はその任意の一部分として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが幾何検証装置10の各部の機能に対応する命令を実行することとなる。

10…幾何検証装置、22…幾何モデル生成部、23…パラメータ抽出部、24…評価部

Claims (12)

1. 第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成部と、
   前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出部と、
   前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価部と、を備え、
   前記パラメータ抽出部は、前記パラメータに含まれるものとして前記第１カメラの第１焦点距離及び／又は前記第２カメラの第２焦点距離を抽出し、
   前記評価部は、前記妥当性を評価するための構成として、
   前記第１焦点距離及び／又は前記第２焦点距離が所定の妥当な範囲にあるかを調べることにより前記妥当性を評価する焦点距離評価部を備え、
   前記焦点距離評価部は、
   前記第１画像において前記第１カメラのピントが合っている際の第１画角と、前記第１焦点距離及び前記第１画像のサイズと、の間の所定関係に基づき、前記第１画角の所定の妥当な範囲から前記第１焦点距離の所定の妥当な範囲を定め、且つ／又は、
   前記第２画像において前記第２カメラのピントが合っている際の第２画角と、前記第２焦点距離及び前記第２画像のサイズと、の間の所定関係に基づき、前記第２画角の所定の妥当な範囲から前記第２焦点距離の所定の妥当な範囲を定めることを特徴とする幾何検証装置。
2. 第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成部と、
   前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出部と、
   前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価部と、を備え、
   前記パラメータ抽出部は、前記パラメータに含まれるものとして前記第１カメラの第1光軸及び前記第２カメラの第２光軸のなす角を抽出し、
   前記評価部は、前記妥当性を評価するための構成として、
   前記角が所定の妥当な範囲にあるかを調べることにより前記妥当性を評価する位置関係評価部を備え、
   前記パラメータ抽出部は、前記角を抽出し、且つ、前記行列を分解して得られる回転行列及び並進ベクトルに基づき、当該抽出した角において、前記第1光軸及び前記第２光軸が互いに外向きであるか内向きであるかを区別し、
   前記位置関係評価部は、前記角が所定の妥当な範囲にあるかを、前記外向きの場合と前記内向きの場合とで区別して調べることを特徴とする幾何検証装置。
3. 第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成部と、
   前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出部と、
   前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価部と、を備え、
   前記幾何モデル生成部で前記行列を生成するのに用いた局所特徴対応は、予め弱幾何検証処理を施されることにより、局所特徴対応の各局所特徴におけるスケール比が最多数のピーク値の付近にあるものの中から所定数を選択されたものであり、
   前記パラメータ抽出部は、前記パラメータに含まれるものとして、前記第1カメラの第１焦点距離と前記第２カメラの第２焦点距離とを抽出し、
   前記評価部は、前記妥当性を評価するための構成として、
   前記第１焦点距離と前記第２焦点距離との比の逆数が前記最多数のスケール比のピーク値に近いかを調べることにより、前記妥当性を評価する一貫性評価部を備えることを特徴とする幾何検証装置。
4. 第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成部と、
   前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出部と、
   前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価部と、を備え、
   前記幾何モデル生成部で前記行列を生成するのに用いた局所特徴対応は、予め弱幾何検証処理を施されることにより、局所特徴対応の各局所特徴における方向差が最多数のピーク値の付近にあるものの中から所定数を選択されたものであり、
   前記パラメータ抽出部は、前記パラメータに含まれるものとして、前記第１カメラの第１光軸と前記第２カメラの第2光軸との間の回転角を抽出し、
   前記評価部は、前記妥当性を評価するための構成として、
   前記回転角が前記最多数の方向差のピーク値に近いかを調べることにより、前記妥当性を評価する一貫性評価部を備えることを特徴とする幾何検証装置。
5. 前記パラメータ抽出部で抽出するパラメータは、前記生成された行列そのものを含み、
   前記評価部は、前記妥当性を評価するための構成として、
   前記行列より、前記局所特徴対応における同一特徴点の3次元上復元点を前記第１カメラの第１主点から見た際の前記第１画像に垂直な方向での第１奥行き及び／又は当該3次元上復元点を前記第２カメラの第２主点から見た際の前記第２画像に垂直な方向での第２奥行きを求め、当該第１奥行き及び／又は第２奥行きに基づいて前記妥当性を評価する復元性評価部を備えることを特徴とする請求項１ないし４のいずれかに記載の幾何検証装置。
6. 前記幾何モデル生成部で前記行列を生成するのに用いた局所特徴対応は、RANSAC系の処理の途中におけるランダムサンプルとして選出されたものである、又は、RANSAC系の処理を終えて一連のランダムサンプルの中から最適であると判定されたものである、ことを特徴とする請求項１ないし５のいずれかに記載の幾何検証装置。
7. 前記幾何モデル生成部で前記行列を生成するのに用いた局所特徴対応は、RANSAC系の処理の途中におけるランダムサンプルとして選出されたものであり、
   前記評価部によって評価された妥当性において妥当でないとの判定結果が得られた場合、当該ランダムサンプルとしての局所特徴対応を破棄するように判断することを特徴とする請求項１ないし６のいずれかに記載の幾何検証装置。
8. コンピュータを請求項１ないし７のいずれかに記載の幾何検証装置として機能させることを特徴とする幾何検証プログラム。
9. 第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成段階と、
   前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出段階と、
   前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価段階と、を備え、
   前記パラメータ抽出段階は、前記パラメータに含まれるものとして前記第１カメラの第１焦点距離及び／又は前記第２カメラの第２焦点距離を抽出し、
   前記評価段階は、前記妥当性を評価するための構成として、
   前記第１焦点距離及び／又は前記第２焦点距離が所定の妥当な範囲にあるかを調べることにより前記妥当性を評価する焦点距離評価段階を備え、
   前記焦点距離評価段階は、
   前記第１画像において前記第１カメラのピントが合っている際の第１画角と、前記第１焦点距離及び前記第１画像のサイズと、の間の所定関係に基づき、前記第１画角の所定の妥当な範囲から前記第１焦点距離の所定の妥当な範囲を定め、且つ／又は、
   前記第２画像において前記第２カメラのピントが合っている際の第２画角と、前記第２焦点距離及び前記第２画像のサイズと、の間の所定関係に基づき、前記第２画角の所定の妥当な範囲から前記第２焦点距離の所定の妥当な範囲を定めることを特徴とする幾何検証方法。
10. 第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成段階と、
    前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出段階と、
    前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価段階と、を備え、
    前記パラメータ抽出段階は、前記パラメータに含まれるものとして前記第１カメラの第1光軸及び前記第２カメラの第２光軸のなす角を抽出し、
    前記評価段階は、前記妥当性を評価するための構成として、
    前記角が所定の妥当な範囲にあるかを調べることにより前記妥当性を評価する位置関係評価段階を備え、
    前記パラメータ抽出段階は、前記角を抽出し、且つ、前記行列を分解して得られる回転行列及び並進ベクトルに基づき、当該抽出した角において、前記第1光軸及び前記第２光軸が互いに外向きであるか内向きであるかを区別し、
    前記位置関係評価段階は、前記角が所定の妥当な範囲にあるかを、前記外向きの場合と前記内向きの場合とで区別して調べることを特徴とする幾何検証方法。
11. 第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成段階と、
    前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出段階と、
    前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価段階と、を備え、
    前記幾何モデル生成段階で前記行列を生成するのに用いた局所特徴対応は、予め弱幾何検証処理を施されることにより、局所特徴対応の各局所特徴におけるスケール比が最多数のピーク値の付近にあるものの中から所定数を選択されたものであり、
    前記パラメータ抽出段階は、前記パラメータに含まれるものとして、前記第1カメラの第１焦点距離と前記第２カメラの第２焦点距離とを抽出し、
    前記評価段階は、前記妥当性を評価するための構成として、
    前記第１焦点距離と前記第２焦点距離との比の逆数が前記最多数のスケール比のピーク値に近いかを調べることにより、前記妥当性を評価する一貫性評価段階を備えることを特徴とする幾何検証方法。
12. 第１カメラより生成された第１画像より抽出された局所特徴と第2カメラより生成された第２画像より抽出された局所特徴との間で対応が与えられた局所特徴対応より、当該第１カメラ及び当該第2カメラの主点に基づくエピポーラ幾何モデルとしての行列を生成する幾何モデル生成段階と、
    前記行列より前記第１カメラ及び前記第２カメラに関連するパラメータを抽出するパラメータ抽出段階と、
    前記パラメータに基づき前記エピポーラ幾何モデルとしての行列の妥当性を評価する評価段階と、を備え、
    前記幾何モデル生成段階で前記行列を生成するのに用いた局所特徴対応は、予め弱幾何検証処理を施されることにより、局所特徴対応の各局所特徴における方向差が最多数のピーク値の付近にあるものの中から所定数を選択されたものであり、
    前記パラメータ抽出段階は、前記パラメータに含まれるものとして、前記第１カメラの第１光軸と前記第２カメラの第2光軸との間の回転角を抽出し、
    前記評価段階は、前記妥当性を評価するための構成として、
    前記回転角が前記最多数の方向差のピーク値に近いかを調べることにより、前記妥当性を評価する一貫性評価段階を備えることを特徴とする幾何検証方法。