JP6080424B2 - 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置 - Google Patents

Description

本発明は、同一の被写体を撮影した複数の画像間において対応点の探索を行う対応点探索装置、そのプログラム、および、カメラパラメータを推定するカメラパラメータ推定装置に関する。

従来、カメラパラメータ推定や被写体の認識、追跡などの画像処理を行う際に、複数の画像から特徴点を抽出し、複数の画像間における特徴点の対応関係を求めるために、特徴点記述子として、ＳＩＦＴ（Scale Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Feature）といった絵柄の拡大・縮小、回転に影響を受けにくい手法が広く利用されている（非特許文献１，２参照）。

藤吉ほか、"Gradientベースの特徴抽出-SIFTとHOG-", 2007年、情報処理学会 研究報告CVIM 160, pp.211-224 H. Bay, A. Ess, T. Tuytelaars, L. V. Gool:"Speeded-Up Robust Features(SURF)", 2008, Computer Vision and Image Understanding, Vol.110, No.3, pp.346-359

ＳＩＦＴやＳＵＲＦなどの局所特徴量算出手法は、いずれも特徴点の周辺領域における勾配ヒストグラムを拠り所として各特徴点の方向、すなわちオリエンテーション（Orientation）を決定するとともに、このオリエンテーションを利用して特徴ベクトル（特徴量）を算出することで、絵柄の回転の影響を受けにくくしている。

しかしながら、例えば被写体に対してカメラが回り込むなど、被写体の構造と撮影するカメラとの関係によって被写体上における絵柄の見え方が変わった場合、オリエンテーションの算出結果に誤差が生じる場合がある。さらに、カメラの位置以外にも、例えば撮像素子のノイズなどによってもオリエンテーションの算出結果に誤差が生じる場合がある。そして、このようにオリエンテーションが正確に算出できない場合、当該オリエンテーションを利用して算出される特徴ベクトルにも変化が生じ、対応点探索の精度が低下してしまうという問題があった。

ここで、ＳＵＲＦにおけるオリエンテーションの誤差について、図６を参照しながら説明する。ＳＵＲＦでは、例えば図６に示すように、被写体Ｓの撮影画像Ｐ_ｔから３つの特徴点Ｋ_１，Ｋ_２，Ｋ_３を検出した場合、当該特徴点Ｋ_１，Ｋ_２，Ｋ_３のそれぞれについて、オリエンテーションＯ_１，Ｏ_２，Ｏ_３を算出する。そして、ＳＵＲＦでは、このオリエンテーションＯ_１，Ｏ_２，Ｏ_３を利用して特徴点Ｋ_１，Ｋ_２，Ｋ_３の特徴ベクトルをそれぞれ算出する。

一方、ＳＵＲＦでは、図６に示すように、カメラＣａを被写体Ｓの側面に回りこむように移動させると、被写体Ｓの見え方が変わって輝度勾配が変化するため、撮影画像Ｐ_ｔ＋αの対応する特徴点Ｋ_１，Ｋ_２，Ｋ_３から正しいオリエンテーションＯ_１，Ｏ_２，Ｏ_３を算出できず、誤ったオリエンテーションＯ_ａ１，Ｏ_ａ２，Ｏ_ａ３を算出してしまう場合がある。この場合、ＳＵＲＦは、誤ったオリエンテーションＯ_ａ１，Ｏ_ａ２，Ｏ_ａ３を利用して特徴点Ｋ_１，Ｋ_２，Ｋ_３の特徴ベクトルをそれぞれ算出するため、対応点の誤対応を招くことになる。なお、図６では、正しいオリエンテーションＯ_１，Ｏ_２，Ｏ_３を実線で示し、誤ったオリエンテーションＯ_ａ１，Ｏ_ａ２，Ｏ_ａ３を破線で示している。

そこで、本発明はかかる点に鑑みてなされたものであって、対応点を発見しやすく、かつ、対応点の誤対応を減らすことができる対応点探索装置、そのプログラムおよびカメラパラメータ推定装置を提供することを課題とする。

前記課題を解決するために請求項１に係る対応点探索装置は、２枚の画像間において対応点の探索を行う対応点探索装置であって、射影変換行列算出用特徴ベクトル算出手段と、射影変換行列算出用対応点探索手段と、射影変換行列算出手段と、特徴点検出手段と、画像回転量算出手段と、特徴ベクトル算出手段と、対応点探索手段と、を備える構成とした。

このような構成を備える対応点探索装置は、射影変換行列算出用特徴ベクトル算出手段によって、局所特徴量算出手法を用いて、２枚の画像のそれぞれから特徴点を検出し、この特徴点の特徴ベクトルを算出する。また、対応点探索装置は、射影変換行列算出用対応点探索手段によって、２枚の画像間において、特徴ベクトルの距離が最短となる特徴点の組み合わせを対応点として探索する。また、対応点探索装置は、射影変換行列算出手段によって、２枚の画像間における対応点の座標から、射影変換行列を算出する。

対応点探索装置は、特徴点検出手段によって、局所特徴量算出手法を用いて、２枚の画像のそれぞれから特徴点を検出する。また、対応点探索装置は、画像回転量算出手段によって、射影変換行列を用いて、２枚の画像における一方の画像の特徴点の座標を座標変換し、座標変換前の特徴点に対する座標変換後の特徴点の画像回転量を算出する。また、対応点探索装置は、特徴ベクトル算出手段によって、局所特徴量算出手法を用いて、予め設定された基準角度を基準に、２枚の画像における一方の画像の特徴点のオリエンテーションを０度とし、２枚の画像における他方の画像の特徴点のオリエンテーションを画像回転量とし、特徴点検出手段によって検出された２枚の画像の特徴点の特徴ベクトルを算出する。そして、対応点探索装置は、対応点探索手段によって、２枚の画像間において、特徴ベクトル算出手段によって算出された特徴ベクトルの距離が最短となる特徴点の組み合わせを対応点として探索する。

このように、対応点探索装置は、２枚の画像上の特徴点ごとのオリエンテーションを算出するのではなく、射影変換行列算出手段によって２枚の画像の射影変換行列を算出し、画像回転量算出手段によって前記した射影変換行列を利用して２枚の画像間の各特徴点における画像回転量を算出する。従って、被写体に対するカメラ位置の大幅な変化、撮像素子のノイズなど、オリエンテーションを正確に算出することが困難な状況であっても、正確な画像回転量を算出することができ、正確な対応点を探索することができる。

また、請求項２に係る対応点探索装置は、請求項１に係る対応点探索装置において、射影変換行列算出用特徴ベクトル算出手段および特徴点検出手段が、２枚の画像から異なるスケールのスケール画像を生成するとともに、当該スケール画像上の画素に対してＬｏＧフィルタを所定方向に畳み込み、かつ、当該ＬｏＧフィルタを畳み込んだ値が所定の閾値を超えるものを特徴点として検出し、射影変換行列算出用特徴ベクトル算出手段が、特徴点検出手段において用いられる閾値よりも大きな閾値を用いる構成とした。

これにより、対応点探索装置は、射影変換行列算出用特徴ベクトル算出手段によって、２枚の画像の中から強い特徴（コントラスト）を備える特徴点のみを検出することができるため、射影変換行列を求める際の対応点探索処理において対応点を探しやすくなる。

そして、請求項３に係る対応点探索装置は、請求項１または請求項２に係る対応点探索装置において、２枚の画像における一方の画像の特徴点の座標を射影変換行列によって座標変換するとともに、座標変換後の特徴点の２次元座標を算出し、対応点の２次元座標との距離が所定の閾値を超えるか否かを判定する再投影誤差判定手段を備え、画像回転量算出手段が、再投影誤差判定手段によって距離が所定の閾値未満であると判定された場合は、２枚の画像における一方の画像の特徴点の座標を射影変換行列によって座標変換し、座標変換前の特徴点に対する座標変換後の特徴点の画像回転量を算出し、再投影誤差判定手段によって距離が所定の閾値を超えると判定された場合は、オリエンテーション算出法により、２枚の画像における各特徴点の特徴ベクトルを記述する基準方向を算出する構成とした。

このように、対応点探索装置は、再投影誤差判定手段の判定結果に基づいて、再投影誤差が小さいときは射影変換行列を利用して複数の画像間の各特徴点における画像回転量を算出し、再投影誤差が大きいときは一般的なオリエンテーション算出法を利用して特徴ベクトル記述の基準となる方向を決定する。

前記課題を解決するために請求項４に係る対応点探索プログラムは、２枚の画像間において対応点の探索を行うために、コンピュータを、射影変換行列算出用特徴ベクトル算出手段、射影変換行列算出用対応点探索手段、射影変換行列算出手段、特徴点検出手段、画像回転量算出手段、特徴ベクトル算出手段、対応点探索手段、として機能させることとした。

このような構成を備える対応点探索プログラムは、射影変換行列算出用特徴ベクトル算出手段によって、局所特徴量算出手法により、２枚の画像のそれぞれから特徴点を検出し、この特徴点の特徴ベクトルを算出する。また、対応点探索プログラムは、射影変換行列算出用対応点探索手段によって、２枚の画像間において、特徴ベクトルの距離が最短となる特徴点の組み合わせを対応点として探索する。また、対応点探索プログラムは、射影変換行列算出手段によって、２枚の画像間における対応点の座標から、射影変換行列を算出する。

対応点探索プログラムは、特徴点検出手段によって、局所特徴量算出手法により、２枚の画像のそれぞれから特徴点を検出する。また、対応点探索プログラムは、画像回転量算出手段によって、射影変換行列により、２枚の画像における一方の画像の特徴点の座標を座標変換し、座標変換前の特徴点に対する座標変換後の特徴点の画像回転量を算出する。また、対応点探索プログラムは、特徴ベクトル算出手段によって、局所特徴量算出手法を用いて、予め設定された基準角度を基準に、２枚の画像における一方の画像の特徴点のオリエンテーションを０度とし、２枚の画像における他方の画像の特徴点のオリエンテーションを画像回転量とし、特徴点検出手段によって検出された２枚の画像の特徴点の特徴ベクトルを算出する。そして、対応点探索プログラムは、対応点探索手段によって、２枚の画像間において、特徴ベクトル算出手段によって算出された特徴ベクトルの距離が最短となる特徴点の組み合わせを対応点として探索する。

これにより、対応点探索プログラムは、２枚の画像上の特徴点ごとのオリエンテーションを算出するのではなく、射影変換行列算出手段によって２枚の画像の射影変換行列を算出し、画像回転量算出手段によって前記した射影変換行列を利用して２枚の画像間の各特徴点における画像回転量を算出する。従って、被写体に対するカメラ位置の大幅な変化、撮像素子のノイズなど、オリエンテーションを正確に算出することが困難な状況であっても、正確な画像回転量を算出することができ、正確な対応点を探索することができる。

前記課題を解決するために請求項５に係るカメラパラメータ推定装置は、カメラパラメータを推定するカメラパラメータ推定装置であって、請求項１から請求項３のいずれか一項に記載の対応点探索装置と、バンドルアジャストメントにより、対応点探索装置によって探索された対応点から各特徴点の３次元位置を算出し、各特徴点の３次元位置と、対応点とを用いて、カメラパラメータを推定するカメラパラメータ推定手段と、を備える構成とした。

これにより、カメラパラメータ推定装置は、２枚の画像上の特徴点ごとのオリエンテーションを算出するのではなく、射影変換行列算出手段によって２枚の画像の射影変換行列を算出し、画像回転量算出手段によって前記した射影変換行列を利用して２枚の画像間の各特徴点における画像回転量を算出する。従って、被写体に対するカメラ位置の大幅な変化、撮像素子のノイズなど、オリエンテーションを正確に算出することが困難な状況であっても、正確な画像回転量を算出して正確な対応点を探索することができるため、カメラパラメータの推定精度と推定の頑健性が向上する。

請求項１、請求項４に係る発明によれば、画像特徴点のオリエンテーションを個別に算出することなく、２枚の画像間における画像回転量を求めることができるため、対応点を発見しやすくなり、かつ、対応点の誤対応を減らすことができる。また、請求項１、請求項４に係る発明によれば、特徴点ごとに個別にオリエンテーションを算出する必要がないため、対応点探索の際の計算コストを抑えることができる。

請求項２に係る発明によれば、射影変換行列を求める際の対応点探索処理において対応点を探しやすくなるため、２枚の画像間の射影変換行列をより正確に算出することができる。

請求項３に係る発明によれば、再投影誤差の大小に応じて２枚の画像間における特徴ベクトルを記述する基準となる方向を切り替えることができるため、計算効率を向上させ、絵柄によらず頑健性を確保することができる。

請求項５に係る発明によれば、２枚の画像間における画像回転量を正確に求めることができるため、対応点を発見しやすくなり、かつ、対応点の誤対応を減らすことができるため、カメラパラメータの推定精度と推定の頑健性を向上させることができる。また、請求項５に係る発明によれば、特徴点ごとに個別にオリエンテーションを算出する必要がないため、カメラパラメータ推定の際の計算コストを抑えることができる。

本発明の第１実施形態に係る対応点探索装置およびカメラパラメータ推定装置の全体構成を示すブロック図である。 本発明の実施形態に係る対応点探索装置における射影変換行列を説明するための概略図である。 本発明の第１実施形態に係る対応点探索装置およびカメラパラメータ推定装置の動作を示すフローチャートである。 本発明の第２実施形態に係る対応点探索装置およびカメラパラメータ推定装置の全体構成を示すブロック図である。 本発明の第２実施形態に係る対応点探索装置およびカメラパラメータ推定装置の動作を示すフローチャートである。 ＳＵＲＦにおけるオリエンテーションの誤差を説明するための概略図である。

以下、本発明の実施形態に係る対応点探索装置およびカメラパラメータ推定装置について、図面を参照しながら説明する。以下の説明では、実施形態ごとに、対応点探索装置の構成、カメラパラメータ推定装置の構成、対応点探索装置およびカメラパラメータ推定装置の動作、の順に説明を行うこととする。また、以下の説明では、同一の名称および符号については原則として同一もしくは同質の構成を示しているため、詳細説明を適宜省略する。

＜第１実施形態＞
［対応点探索装置の構成］
以下、第１実施形態に係る対応点探索装置１０の構成について、図１および図２を参照しながら説明する。

対応点探索装置１０は、同一の被写体を撮影した複数の画像間において対応点を探索するものである。ここで、複数の画像とは、例えば１つの映像中における、ある時点のフレーム（以下、第１撮影画像という）と、そのフレームよりも時系列的に前または後に存在するフレーム画像（以下、第２撮影画像という）のことを示している。以下では、説明の便宜上、対応点探索装置１０が、映像中におけるある時点の第１撮影画像Ｐ_ｔ（図６参照）と、当該第１撮影画像Ｐ_ｔよりも時系列的に後の第２撮影画像Ｐ_ｔ＋α（図６参照）と、の２枚の画像間の対応点を探索する例について説明する。また、前記した対応点とは、複数の画像間において、同じ特徴（類似する特徴）を示す点（画素）のことを示している。対応点探索装置１０は、図１に示すように、カメラＣａから入力された第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間の対応点を探索し、当該対応点に関する情報をカメラパラメータ推定手段２０に出力する。

対応点探索装置１０は、ここでは図１に示すように、画像蓄積手段１１と、射影変換行列算出用特徴ベクトル算出手段１２と、射影変換行列算出用対応点探索手段１３と、射影変換行列算出手段１４と、特徴点検出手段１５と、画像回転量算出手段１６と、特徴ベクトル算出手段１７と、対応点探索手段１８とを備えている。以下、対応点探索装置１０の各構成について説明する。

画像蓄積手段１１は、カメラＣａによって撮影された画像を蓄積するものである。画像蓄積手段１１は、図１に示すように、カメラＣａから時系列に沿って入力される複数の画像を蓄積し、これらを射影変換行列算出用特徴ベクトル算出手段１２と、特徴点検出手段１５とにそれぞれ出力する。ここで、画像蓄積手段１１は、具体的にはデータを記憶することができるメモリ、ハードディスクなどで構成される。

射影変換行列算出用特徴ベクトル算出手段１２は、画像から特徴点の特徴ベクトルを算出するものである。ここで、「射影変換行列算出用」とは、この射影変換行列算出用特徴ベクトル算出手段１２によって算出される特徴ベクトルが、後記する射影変換行列を算出するために用いられることを示している。射影変換行列算出用特徴ベクトル算出手段１２は、ＳＵＲＦなどの局所特徴量算出手法により、画像蓄積手段１１から入力される第１撮影画像Ｐ_ｔ上および第２撮影画像Ｐ_ｔ＋α上の特徴点をそれぞれ検出し、かつ、検出した特徴点の特徴ベクトルを算出する。

射影変換行列算出用特徴ベクトル算出手段１２は、具体的には、局所特徴量算出手法を利用して、第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αのそれぞれについて、（１）特徴点の検出処理、（２）オリエンテーションの算出処理、（３）特徴ベクトルの算出処理、の処理を行う。以下、局所特徴量算出手法としてＳＵＲＦを利用した場合における上記（１）〜（３）の処理の流れについて簡単に説明する。

（１）特徴点の検出処理
射影変換行列算出用特徴ベクトル算出手段１２は、特徴点の検出処理において、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αのそれぞれについて、近似ヘシアン行列（ヘッセ行列）の行列式を用いて、異なるスケールの画像（以下、スケール画像という）における各画素のヘシアン値を算出することで、特徴点を検出する。このヘシアン値は、例えばスケール画像上の各画素に対して、ＬｏＧ（Laplacian of Gaussian）フィルタを垂直方向、水平方向および斜め方向に畳み込むことで算出することができる。また、射影変換行列算出用特徴ベクトル算出手段１２は、前記したヘシアン値を算出する際に、例えばＬｏＧフィルタを垂直方向に畳み込んだ値と、ＬｏＧフィルタを水平方向に畳み込んだ値と、のいずれかが所定の閾値（以下、ヘシアン閾値）以下である場合は、該当する画素は特徴点として検出しない閾値処理を行う。

ここで、ヘシアン値を算出する際の閾値処理は、後記する特徴点検出手段１５でも行われるが、射影変換行列算出用特徴ベクトル算出手段１２は、後記する特徴点検出手段１５における閾値処理で用いられるヘシアン閾値よりも大きなヘシアン閾値を用いて閾値処理を行うことが好ましい。例えば、射影変換行列算出用特徴ベクトル算出手段１２は、後記する特徴点検出手段１５におけるヘシアン閾値が「３００」である場合、ヘシアン閾値を「８００」として閾値処理を行うことが好ましい。これにより、対応点探索装置１０は、射影変換行列算出用特徴ベクトル算出手段１２によって、複数の画像の中から強い特徴（コントラスト）を備える特徴点のみを検出することができるため、後記する射影変換行列を求める際の対応点探索処理において対応点を探しやすくなり、後記する射影変換行列算出手段１４において、複数の画像間の射影変換行列をより正確に算出することができる。

なお、特徴点の検出処理において、前記したヘシアン閾値を大きくすると第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αから検出される特徴点の数が少なくなり、後記する射影変換行列算出用対応点探索手段１３によって探索される対応点の数も少なくなる。しかしながら、後記するように、射影変換行列は少数の対応点から算出可能であるため、射影変換行列算出用特徴ベクトル算出手段１２における特徴点の検出処理において、前記したヘシアン閾値を大きくしても後段の処理には影響を与えない。

（２）オリエンテーションの算出処理
射影変換行列算出用特徴ベクトル算出手段１２は、オリエンテーションの算出処理において、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αのそれぞれで検出された特徴点について、各特徴点を中心とした半径６ｓ（ｓ：スケール）の範囲から、Haar wavelet（４ｓ）を用いて輝度勾配方向と輝度勾配強度とを算出する。そして、射影変換行列算出用特徴ベクトル算出手段１２は、特徴点ごとに、輝度勾配方向を３６ビンのヒストグラムで表現し、そのピーク（最高値）を特徴点のオリエンテーションとして決定する。

（３）特徴ベクトルの算出
射影変換行列算出用特徴ベクトル算出手段１２は、特徴ベクトルの算出処理において、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αのそれぞれで検出された特徴点について、予め設定された基準角度（例えば水平を示す０°）を基準として、決定されたオリエンテーションだけ、予め設定された回転方向（例えば右回り）に回転させる。次に、射影変換行列算出用特徴ベクトル算出手段１２は、各特徴点を中心として２０×２０の正方形領域を４×４のサブ領域に分割する。そして、射影変換行列算出用特徴ベクトル算出手段１２は、各サブ領域内における所定数（例えば２５個）のサンプル点について、Haar wavelet（２ｓ×２ｓ）を算出して４次元ベクトルを算出し、合計６４次元の特徴ベクトルを算出する。

射影変換行列算出用特徴ベクトル算出手段１２は、以上のような処理により、第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αから特徴点をそれぞれ検出するとともに、各特徴点の特徴ベクトルを算出し、図１に示すように、各特徴点の座標および特徴ベクトルを射影変換行列算出用対応点探索手段１３に出力する。なお、射影変換行列算出用特徴ベクトル算出手段１２における前記した（１）〜（３）の処理は、前記した非特許文献２の中で詳細に説明されている。

射影変換行列算出用対応点探索手段１３は、複数の画像間における対応点を探索するものである。ここで、「射影変換行列算出用」とは、この射影変換行列算出用対応点探索手段１３によって探索される対応点が、後記する射影変換行列を算出するために用いられることを示している。射影変換行列算出用対応点探索手段１３は、具体的には図１に示すように、射影変換行列算出用特徴ベクトル算出手段１２から入力される第１撮影画像Ｐ_ｔ上の特徴点の特徴ベクトルと、第２撮影画像Ｐ_ｔ＋α上の特徴点の特徴ベクトルとのユークリッド距離をそれぞれ算出する。そして、射影変換行列算出用対応点探索手段１３は、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間において、ユークリッド距離が最短である特徴点の組み合わせを対応点として探索し、図１に示すように、この対応点の情報、すなわち第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間で対応している特徴点のそれぞれの座標と、対応関係に関する情報とを射影変換行列算出手段１４に出力する。

射影変換行列算出手段１４は、複数の画像間における射影変換行列を算出するものである。ここで、「射影変換行列」とは、例えば図２に示すように、仮想空間中における平面π上の観測点Ｍが第１撮影画像面Ｉ_ｔおよび第２撮影画像面Ｉ_ｔ＋αに投影される場合において、第１撮影画像面Ｉ_ｔ上の座標（Ｘ，Ｙ）を第２撮影画像面Ｉ_ｔ＋αの座標（ｘ，ｙ）に変換するための行列のことを示している。なお、図２における符号Ｏ_ｃおよびＯ_ｃ’は、カメラＣａの光学中心を示している。また、観測点Ｍは、ここでは図２に示すように、カメラＣａの光学中心Ｏ_ｃ，Ｏ_ｃ’が交わる位置に設定されている。

ここで、例えばカメラモデルを弱中心射影または擬似中心射影と仮定し、第１撮影画像面Ｉ_ｔを第１撮影画像Ｐ_ｔに置き換え、第２撮影画像面Ｉ_ｔ＋αを第２撮影画像Ｐ_ｔ＋αに置き換えて考えた場合、第１撮影画像Ｐ_ｔ上の座標（Ｘ，Ｙ）は、以下の式（１）によって、第２撮影画像Ｐ_ｔ＋α上の座標（ｘ，ｙ）に変換することができる。

上記の式（１）におけるＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈは、画像の平面内の４頂点の座標から決まる定数である。これらの定数は、８次連立一次方程式を解くことで求めることができ、例えば変換前における第１撮影画像Ｐ_ｔ上の４点の座標を（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）とし、変換後における第２撮影画像Ｐ_ｔ＋α上の４点の座標を（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）とした場合、以下の式（２）で表わすことができる。

そして、この式（２）を以下の式（３）のように行列式の形で表したものが射影変換行列である。

ここで、射影変換行列は、前記したように、変換前と変換後とで対応する４点の座標があれば算出できるため、例えば第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間に対応点が４組以上あれば、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間の射影変換行列を求めることが可能となる。すなわち、射影変換行列算出手段１４は、射影変換行列算出用対応点探索手段１３から入力される、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間における４組以上の対応点の座標を用いて、前記した式（３）によって射影変換行列を算出し、図１に示すように、当該射影変換行列を画像回転量算出手段１６に出力する。

特徴点検出手段１５は、画像から特徴点を検出するものである。ここで、特徴点検出手段１５は、前記した射影変換行列算出用特徴ベクトル算出手段１２における（１）特徴点の検出処理と同様の処理を行う。すなわち、特徴点検出手段１５は、ＳＵＲＦなどの局所特徴量算出手法により、画像蓄積手段１１から入力された第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αの特徴点をそれぞれ検出する。そして、特徴点検出手段１５は、図１に示すように、検出した第１撮影画像Ｐ_ｔの特徴点の座標を画像回転量算出手段１６に出力し、検出した第２撮影画像Ｐ_ｔ＋αの特徴点の座標を特徴ベクトル算出手段１７に出力する。

ここで、特徴点検出手段１５は、第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αの特徴点を検出する際に閾値処理を行うが、前記したように、射影変換行列算出用特徴ベクトル算出手段１２で用いられるヘシアン閾値よりも小さなヘシアン閾値を用いて閾値処理を行うことが好ましい。これにより、対応点探索装置１０は、特徴点検出手段１５によって、複数の画像の中から弱い特徴（コントラスト）を備える特徴点を含む多数の特徴点を検出することができるため、後記する対応点探索手段１８における対応点探索処理において多数の対応点を探索することができる。

画像回転量算出手段１６は、複数の画像間における各座標に対する画像回転量を算出するものである。画像回転量算出手段１６は、射影変換行列算出手段１４から入力される射影変換行列と、特徴点検出手段１５から入力される第１撮影画像Ｐ_ｔの特徴点の座標とから、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間の各特徴点とその対応点における画像回転量θを算出する。

画像回転量算出手段１６は、具体的には、特徴点検出手段１５によって検出された第１撮影画像Ｐ_ｔの特徴点の座標を、射影変換行列算出手段１４によって算出された射影変換行列によってそれぞれ座標変換し、座標変換前後における画像回転量θを算出する。なお、画像回転量の求め方は特に限定されないが、例えば第１撮影画像Ｐ_ｔ上における特徴点Ｋ_Ａと、当該特徴点Ｋ_Ａの水平方向にある特徴点Ｋ_Ｂとを結ぶ直線を基準（０度）として、射影変換後の第２撮影画像Ｐ_ｔ＋α上における特徴点Ｋ_Ａと特徴点Ｋ_Ｂとを結ぶ直線が何度傾いているのかを算出することで、求めることができる。

画像回転量算出手段１６は、以上のような処理により、特徴点ごとの画像回転量θを算出し、図１に示すように、算出した画像回転量θと、第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αにおけるそれぞれの特徴点の座標とを特徴ベクトル算出手段１７に出力する。

特徴ベクトル算出手段１７は、特徴点の特徴ベクトルを算出するものである。特徴ベクトル算出手段１７は、図１に示すように、画像回転量算出手段１６から入力される画像回転量θおよび第１撮影画像Ｐ_ｔの特徴点の座標と、特徴点検出手段１５から入力される第２撮影画像Ｐ_ｔ＋αの特徴点の座標とから、各特徴点の特徴ベクトルを算出する。すなわち、特徴ベクトル算出手段１７は、局所特徴量算出手法により、予め設定された基準角度（例えば水平を示す０°）を基準に、２枚の画像における一方の画像の特徴点のオリエンテーションを０度とし、２枚の画像における他方の画像の特徴点のオリエンテーションを画像回転量θとし、特徴点検出手段１５によって検出された２枚の画像の特徴点の特徴ベクトルを算出する。

特徴ベクトル算出手段１７は、より具体的には、第２撮影画像Ｐ_ｔ＋αで検出された特徴点について、予め設定された基準角度（例えば水平を示す０°）を基準として、画像回転量算出手段１６によって算出された画像回転量θだけ、予め設定された回転方向（例えば右回り）に回転させる。一方、特徴ベクトル算出手段１７は、第１撮影画像Ｐ_ｔで検出された特徴点については、回転させずにそのままとする。次に、特徴ベクトル算出手段１７は、各特徴点を中心として２０×２０の正方形領域を４×４のサブ領域に分割する。そして、特徴ベクトル算出手段１７は、各サブ領域内における所定数（例えば２５個）のサンプル点について、Haar wavelet（２ｓ×２ｓ）を算出して４次元ベクトルを算出し、合計６４次元の特徴ベクトルを算出する。

特徴ベクトル算出手段１７は、以上のような処理により、各特徴点の特徴ベクトルを算出し、図１に示すように、算出した特徴ベクトルと、第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αにおけるそれぞれの特徴点の座標とを対応点探索手段１８に出力する。

対応点探索手段１８は、複数の画像間において対応点を探索するものである。ここで、対応点探索手段１８は、前記した射影変換行列算出用対応点探索手段１３と同様の処理を行う。すなわち、対応点探索手段１８は、第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋α間において、特徴ベクトルのユークリッド距離が最短である特徴点の組み合わせを対応点として探索し、図１に示すように、対応点の情報、すなわち第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間で対応している特徴点のそれぞれの座標と、対応関係に関する情報とを外部のカメラパラメータ推定手段２０に出力する。

以上のような構成を備える対応点探索装置１０は、複数の画像上の特徴点ごとのオリエンテーションを算出するのではなく、射影変換行列算出手段１４によって複数の画像の射影変換行列を算出し、画像回転量算出手段１６によって前記した射影変換行列を利用して複数の画像間の各特徴点における画像回転量θを算出する。従って、被写体に対するカメラ位置の大幅な変化、撮像素子のノイズなど、オリエンテーションを正確に算出することが困難な状況であっても、正確な画像回転量θを算出することができ、正確な対応点を探索することができる。

従って、対応点探索装置１０によれば、複数の画像間における画像回転量θを正確に求めることができるため、対応点を発見しやすくなり、かつ、対応点の誤対応を減らすことができる。また、対応点探索装置１０によれば、特徴点ごとに個別にオリエンテーションを算出する必要がないため、対応点探索の際の計算コストを抑えることができる。

［カメラパラメータ推定装置の構成］
以下、第１実施形態に係るカメラパラメータ推定装置１の構成について、図１を参照しながら説明する。

カメラパラメータ推定装置１は、カメラＣａのカメラパラメータを推定するものである。このカメラパラメータとしては、例えばカメラＣａの位置または姿勢などの外部パラメータと、光学中心またはレンズ歪などの内部パラメータとが挙げられる。カメラパラメータ推定装置１は、ここでは図１に示すように、対応点探索装置１０と、カメラパラメータ推定手段２０とを備えている。なお、対応点探索装置１０の構成については既に説明済みであるため、以下ではそれ以外の構成について説明する。

カメラパラメータ推定手段２０は、対応点探索装置１０の対応点探索手段１８から入力された対応点の情報を利用して、カメラパラメータを推定するものである。カメラパラメータ推定手段２０は、具体的には、最適化の一手段であるバンドルアジャストメント（Bundle Adjustment：バンドル調整処理）によって、カメラ姿勢係数を未知数として最適化を行い、カメラパラメータを推定する。すなわち、カメラパラメータ推定手段２０は、前記したバンドルアジャストメントによって、各撮影画像のカメラ位置情報と、各カメラ位置において撮影された画像に含まれる対応する特徴点、すなわち対応点の情報を利用して、特徴点の最も確からしい３次元位置を算出する。

そして、カメラパラメータ推定手段２０は、対応点に外れ値と呼ばれる誤対応点が含まれる場合があるため、ＲＡＮＳＡＣ、ＬＭｅｄＳなどのロバスト推定により外れ値を除外し、最適化によりカメラパラメータを推定する。その際、カメラパラメータ推定手段２０は、最適化の評価関数として、仮定したカメラパラメータで特徴点の３次元位置を画像に投影した座標と、対応点の座標との距離差の総和を用いることができる。この場合、カメラパラメータ推定手段２０は、最適化の評価関数の計算値が最小となるカメラパラメータを繰り返し処理で推定し、図１に示すように、推定したカメラパラメータを外部に出力する。

なお、カメラパラメータ推定手段２０において利用されるバンドルアジャストメントは、例えば、ホームページ「http://phototour.cs.washington.edu/bundler/」に詳細に記載されている。

以上のような構成を備えるカメラパラメータ推定装置１は、複数の画像上の特徴点ごとのオリエンテーションを算出するのではなく、射影変換行列算出手段１４によって複数の画像の射影変換行列を算出し、画像回転量算出手段１６によって前記した射影変換行列を利用して複数の画像間の各特徴点における画像回転量θを算出する。従って、被写体に対するカメラ位置の大幅な変化、撮像素子のノイズなど、オリエンテーションを正確に算出することが困難な状況であっても、正確な画像回転量θを算出して正確な対応点を探索することができるため、カメラパラメータの推定精度と推定の頑健性が向上する。

このように、カメラパラメータ推定装置１によれば、画像特徴点のオリエンテーションを個別に算出することなく、複数の画像間における画像回転量θを求めることができるため、対応点を発見しやすくなり、かつ、対応点の誤対応を減らすことができるため、カメラパラメータの推定精度と推定の頑健性を向上させることができる。また、カメラパラメータ推定装置１によれば、特徴点ごとに個別にオリエンテーションを算出する必要がないため、カメラパラメータ推定の際の計算コストを抑えることができる。

［対応点探索装置およびカメラパラメータ推定装置の動作］
以下、第１実施形態に係る対応点探索装置１０およびカメラパラメータ推定装置１の動作について、図３を参照（適宜図１を参照）しながら説明する。なお、以下では、まず対応点探索装置１０の動作を説明した後に、カメラパラメータ推定装置１の動作を補足的に説明することとする。

まず、対応点探索装置１０は、画像蓄積手段１１によって、カメラＣａから入力された複数の画像を蓄積する（ステップＳ１）。次に、対応点探索装置１０は、射影変換行列算出用特徴ベクトル算出手段１２によって、ＳＵＲＦなどの局所特徴量算出手法により、画像蓄積手段１１から入力された第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αの特徴点をそれぞれ検出して特徴ベクトルを算出する（ステップＳ２）。次に、対応点探索装置１０は、射影変換行列算出用対応点探索手段１３によって、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間において、特徴ベクトルのユークリッド距離が最短である特徴点の組み合わせを対応点として探索する（ステップＳ３）。次に、対応点探索装置１０は、射影変換行列算出手段１４によって、第１撮影画像Ｐ_ｔの特徴点と、第２撮影画像Ｐ_ｔ＋αの特徴点との間の射影変換行列を算出する（ステップＳ４）。

次に、対応点探索装置１０は、特徴点検出手段１５によって、画像蓄積手段１１から入力された複数の撮影画像の特徴点をそれぞれ検出する（ステップＳ５）。次に、対応点探索装置１０は、画像回転量算出手段１６によって、射影変換行列と、第１撮影画像Ｐ_ｔの特徴点の座標とから、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間の画像回転量θを算出する（ステップＳ６）。次に、対応点探索装置１０は、特徴ベクトル算出手段１７によって、画像回転量θと、第１撮影画像Ｐ_ｔおよび第２撮影画像Ｐ_ｔ＋αにおけるそれぞれの特徴点の座標とから、各特徴点の特徴ベクトルを算出する（ステップＳ７）。次に、対応点探索装置１０は、対応点探索手段１８によって、第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間において、特徴ベクトルのユークリッド距離が最短である特徴点の組み合わせを対応点として探索する（ステップＳ８）。

ここで、カメラパラメータ推定装置１は、前記した対応点探索装置１０のステップＳ１〜Ｓ８の後に、カメラパラメータ推定手段２０によって、各撮影画像のカメラ位置情報と、各カメラ位置において撮影された画像に含まれる対応する特徴点を利用してカメラパラメータを推定する（ステップＳ９）。

＜第２実施形態＞
［対応点探索装置の構成］
以下、第２実施形態に係る対応点探索装置１０Ａの構成について、図４を参照しながら説明する。ここで、第２実施形態に係る対応点探索装置１０Ａは、再投影誤差判定手段１９をさらに備えるとともに、画像回転量算出手段１６の代わりに画像回転量算出手段１６Ａを備えること以外は、前記した第１実施形態に係る対応点探索装置１０と同様の構成を備えている。従って、以下では、対応点探索装置１０と重複する構成については説明を省略する。

対応点探索装置１０Ａは、ここでは図４に示すように、画像蓄積手段１１と、射影変換行列算出用特徴ベクトル算出手段１２と、射影変換行列算出用対応点探索手段１３と、射影変換行列算出手段１４と、特徴点検出手段１５と、画像回転量算出手段１６Ａと、特徴ベクトル算出手段１７と、対応点探索手段１８と、再投影誤差判定手段１９とを備えている。

再投影誤差判定手段１９は、再投影誤差が所定の閾値を超えるか否かを判定するものである。再投影誤差判定手段１９は、図４に示すように、射影変換行列算出手段１４から入力される射影変換行列を利用して再投影誤差を判定し、その判定結果を画像回転量算出手段１６Ａに出力する。

再投影誤差判定手段１９は、具体的には、複数の画像における一方の画像（例えば第1撮影画像Ｐ_ｔ）の特徴点の座標を射影変換行列によって座標変換し、当該座標変換後の特徴点の位置を算出する。

次に、再投影誤差判定手段１９は、再投影誤差として、座標変換後の特徴点の位置（２次元座標）と、対応点の位置（２次元座標）との距離（ユークリッド距離）を算出する。この特徴点位置の距離は、例えば座標変換後の全ての特徴点の特徴ベクトルと、対応する特徴点（対応点）の位置との距離を対応する特徴点ごとに算出し、その距離の総和を特徴点の数で割った平均距離を用いる。そして、再投影誤差判定手段１９は、図４に示すように、座標変換後の特徴点位置と対応点の位置との距離が所定の閾値を超えるか否かの判定結果を画像回転量算出手段１６Ａに出力する。なお、この再投影誤差判定手段１９で用いられる閾値は、予め実験的に求めておく。また、この再投影誤差判定手段１９で用いられる対応点は、具体的には、前記した座標変換後の特徴点の位置に対応する、複数の画像における他方の画像（例えば第２撮影画像Ｐ_ｔ＋α）上の特徴点のことである。この対応点の位置は、再投影誤差判定手段１９によって、前記した射影変換行列算出用特徴ベクトル算出手段１２および射影変換行列算出用対応点探索手段１３と同様の手法によって算出される。

画像回転量算出手段１６Ａは、再投影誤差判定手段１９によって前記した特徴点位置の距離が所定の閾値未満である旨の判定結果が入力された場合、前記した画像回転量算出手段１６と同様に、複数の画像における一方の画像（例えば第１撮影画像Ｐ_ｔ）の特徴点の座標を射影変換行列算出手段１４から入力された射影変換行列によって座標変換し、座標変換前の特徴点に対する座標変換後の特徴点の画像回転量θを算出する。そして、画像回転量算出手段１６Ａは、図４に示すように、算出した画像回転量θを特徴ベクトル算出手段１７に出力する。

一方、画像回転量算出手段１６Ａは、再投影誤差判定手段１９によって前記した特徴点位置の距離が所定の閾値を超える旨の判定結果が入力された場合、従来のオリエンテーション算出法により、輝度勾配のヒストグラムを用いて、各特徴点の特徴ベクトルを記述する基準方向を算出する。そして、画像回転量算出手段１６Ａは、図４に示すように、算出した基準方向を特徴ベクトル算出手段１７に出力する。なお、オリエンテーション算出法による前記した基準方向の算出方法は、非特許文献２に詳細に記載されている。

このように、対応点探索装置１０Ａは、再投影誤差判定手段１９の判定結果に基づいて、再投影誤差が小さいときは射影変換行列を利用して複数の画像間の各特徴点における画像回転量θを算出し、再投影誤差が大きいときは一般的なオリエンテーション算出法を利用して特徴ベクトル記述の基準となる方向を決定する。従って、対応点探索装置１０Ａによれば、再投影誤差の大小に応じて複数の画像間における特徴ベクトルを記述する基準となる方向を切り替えることができるため、計算効率を向上させ、絵柄によらず頑健性を確保することができる。

［カメラパラメータ推定装置の構成］
以下、第２実施形態に係るカメラパラメータ推定装置１Ａの構成について、図４を参照しながら説明する。

カメラパラメータ推定装置１Ａは、ここでは図４に示すように、対応点探索装置１０Ａと、カメラパラメータ推定手段２０とを備えている。なお、対応点探索装置１０Ａの構成とカメラパラメータ推定手段２０については既に説明済みであるため、ここでは各構成の詳細な説明は省略する。

カメラパラメータ推定装置１Ａは、図４に示すように、対応点探索装置１０Ａから入力される第１撮影画像Ｐ_ｔと第２撮影画像Ｐ_ｔ＋αとの間における対応点の情報と、カメラパラメータ推定手段２０から入力される第１撮影画像Ｐ_ｔ上および第２撮影画像Ｐ_ｔ＋α上の特徴点の３次元座標とからカメラパラメータを推定し、図４に示すように、推定したカメラパラメータを外部に出力する。

［対応点探索装置およびカメラパラメータ推定装置の動作］
以下、第２実施形態に係る対応点探索装置１０Ａおよびカメラパラメータ推定装置１Ａの動作について、図５を参照（適宜図４を参照）しながら説明する。なお、以下では、まず対応点探索装置１０Ａの動作を説明した後に、カメラパラメータ推定装置１Ａの動作を補足的に説明することとする。また、対応点探索装置１０Ａおよびカメラパラメータ推定装置１Ａの動作におけるステップＳ１〜Ｓ５、ステップＳ７〜Ｓ８は、前記した第１実施形態に係る対応点探索装置１０およびカメラパラメータ推定装置１の動作と同様であるため（図３参照）、説明を省略する。

対応点探索装置１０Ａは、ステップＳ１〜ステップＳ５の処理を行った後、再投影誤差判定手段１９によって、射影変換行列を用いて、複数の画像における一方の画像の特徴点を座標変換し、特徴点位置の距離（座標変換後の特徴点位置とその対応点の位置との距離）が所定の閾値を超えるか否かを判定する（ステップＳ５Ａ）。そして、対応点探索装置１０Ａは、特徴点位置の距離が所定の閾値を超えると判定された場合（ステップＳ５ＡにおいてＹｅｓ）、画像回転量算出手段１６Ａによって、オリエンテーション算出法により、輝度勾配のヒストグラムを用いて特徴ベクトル記述の基準方向を算出し（ステップＳ６Ａ）、ステップＳ７に進む。一方、対応点探索装置１０Ａは、特徴点位置の距離が所定の閾値未満であると判定された場合（ステップＳ５ＡにおいてＮｏ）、画像回転量算出手段１６Ａによって、射影変換行列を用いて画像回転量θを算出し（ステップＳ６Ｂ）、ステップＳ７に進む。そして、対応点探索装置１０Ａは、ステップＳ７，Ｓ８の処理を行い、対応点を探索する。

ここで、カメラパラメータ推定装置１Ａは、前記した対応点探索装置１０ＡのステップＳ１〜Ｓ８の後に、カメラパラメータ推定手段２０によって、各撮影画像のカメラ位置情報と、各カメラ位置において撮影された画像に含まれる対応する特徴点を利用してカメラパラメータを推定する（ステップＳ９）。

以上、本発明に係る対応点探索装置１０、１０Ａおよびカメラパラメータ推定装置１，１Ａについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。

例えば、前記した対応点探索装置１０、１０Ａおよびカメラパラメータ推定装置１，１Ａは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭなどの記録媒体に書き込んで配布することも可能である。

また、対応点探索装置１０，１０Ａおよびカメラパラメータ推定装置１，１Ａは、図１および図４に示すように、装置内部に画像蓄積手段１１を備えていたが、装置外部に画像蓄積手段１１を備えていても構わない。

また、前記した対応点探索装置１０，１０Ａおよびカメラパラメータ推定装置１，１Ａの説明では、局所特徴量算出手法としてＳＵＲＦを用いた例について説明したが、局所特徴量算出手法としてＳＩＦＴを用いても構わない。

１，１Ａ カメラパラメータ推定装置
１０，１０Ａ 対応点探索装置
１１ 画像蓄積手段
１２ 射影変換行列算出用特徴ベクトル算出手段
１３ 射影変換行列算出用対応点探索手段
１４ 射影変換行列算出手段
１５ 特徴点検出手段
１６，１６Ａ 画像回転量算出手段
１７ 特徴ベクトル算出手段
１８ 対応点探索手段
１９ 再投影誤差判定手段
２０ カメラパラメータ推定手段
Ｃａ カメラ
Ｉ_ｔ 第１撮影画像面
Ｉ_ｔ＋α 第２撮影画像面
Ｏ_ｃ，Ｏ_ｃ’ 光学中心
Ｐ_ｔ 第１撮影画像
Ｐ_ｔ＋α 第２撮影画像
θ 画像回転量

Claims (5)

1. ２枚の画像間において対応点の探索を行う対応点探索装置であって、
   局所特徴量算出手法により、前記２枚の画像のそれぞれから特徴点を検出し、この特徴点の特徴ベクトルを算出する射影変換行列算出用特徴ベクトル算出手段と、
   前記２枚の画像間において、前記特徴ベクトルの距離が最短となる特徴点の組み合わせを対応点として探索する射影変換行列算出用対応点探索手段と、
   前記２枚の画像間における対応点の座標から、射影変換行列を算出する射影変換行列算出手段と、
   前記局所特徴量算出手法により、前記２枚の画像のそれぞれから特徴点を検出する特徴点検出手段と、
   前記射影変換行列により、前記２枚の画像における一方の画像の特徴点の座標を座標変換し、座標変換前の特徴点に対する座標変換後の特徴点の画像回転量を算出する画像回転量算出手段と、
   前記局所特徴量算出手法により、予め設定された基準角度を基準に、前記２枚の画像における一方の画像の特徴点のオリエンテーションを０度とし、前記２枚の画像における他方の画像の特徴点のオリエンテーションを前記画像回転量とし、前記特徴点検出手段によって検出された前記２枚の画像の特徴点の特徴ベクトルを算出する特徴ベクトル算出手段と、
   前記２枚の画像間において、前記特徴ベクトル算出手段によって算出された前記特徴ベクトルの距離が最短となる特徴点の組み合わせを対応点として探索する対応点探索手段と、
   を備えることを特徴とする対応点探索装置。
2. 前記射影変換行列算出用特徴ベクトル算出手段および前記特徴点検出手段は、前記２枚の画像から異なるスケールのスケール画像を生成するとともに、当該スケール画像上の画素に対してＬｏＧフィルタを所定方向に畳み込み、かつ、当該ＬｏＧフィルタを畳み込んだ値が所定の閾値を超えるものを前記特徴点として検出し、
   前記射影変換行列算出用特徴ベクトル算出手段は、前記特徴点検出手段において用いられる閾値よりも大きな閾値を用いることを特徴とする請求項１に記載の対応点探索装置。
3. 前記２枚の画像における一方の画像の特徴点の座標を前記射影変換行列によって座標変換するとともに、座標変換後の特徴点の２次元座標を算出し、対応点の２次元座標との距離が所定の閾値を超えるか否かを判定する再投影誤差判定手段を備え、
   前記画像回転量算出手段は、前記再投影誤差判定手段によって前記距離が前記所定の閾値未満であると判定された場合は、前記２枚の画像における一方の画像の特徴点の座標を前記射影変換行列によって座標変換し、座標変換前の特徴点に対する座標変換後の特徴点の画像回転量を算出し、前記再投影誤差判定手段によって前記距離が前記所定の閾値を超えると判定された場合は、オリエンテーション算出法により、前記２枚の画像における各特徴点の特徴ベクトルを記述する基準方向を算出することを特徴とする請求項１または請求項２に記載の対応点探索装置。
4. ２枚の画像間において対応点の探索を行うために、コンピュータを、
   局所特徴量算出手法により、前記２枚の画像のそれぞれから特徴点を検出し、この特徴点の特徴ベクトルを算出する射影変換行列算出用特徴ベクトル算出手段、
   前記２枚の画像間において、前記特徴ベクトルの距離が最短となる特徴点の組み合わせを対応点として探索する射影変換行列算出用対応点探索手段、
   前記２枚の画像間における対応点の座標から、射影変換行列を算出する射影変換行列算出手段、
   前記局所特徴量算出手法により、前記２枚の画像のそれぞれから特徴点を検出する特徴点検出手段、
   前記射影変換行列により、前記２枚の画像における一方の画像の特徴点の座標を座標変換し、座標変換前の特徴点に対する座標変換後の特徴点の画像回転量を算出する画像回転量算出手段、
   前記局所特徴量算出手法により、予め設定された基準角度を基準に、前記２枚の画像における一方の画像の特徴点のオリエンテーションを０度とし、前記２枚の画像における他方の画像の特徴点のオリエンテーションを前記画像回転量とし、前記特徴点検出手段によって検出された前記２枚の画像の特徴点の特徴ベクトルを算出する特徴ベクトル算出手段、
   前記２枚の画像間において、前記特徴ベクトル算出手段によって算出された前記特徴ベクトルの距離が最短となる特徴点の組み合わせを対応点として探索する対応点探索手段、
   として機能させるための対応点探索プログラム。
5. カメラパラメータを推定するカメラパラメータ推定装置であって、
   請求項１から請求項３のいずれか一項に記載の対応点探索装置と、
   バンドルアジャストメントにより、前記対応点探索装置によって探索された対応点から各特徴点の３次元位置を算出し、各特徴点の３次元位置と、前記対応点とを用いて、カメラパラメータを推定するカメラパラメータ推定手段と、
   を備えることを特徴とするカメラパラメータ推定装置。

Images