JP7477045B2 - 基礎行列生成装置、制御方法、及びプログラム - Google Patents

Description

本開示は基礎行列の生成に関する。

焦点距離などの内部パラメータが未知のカメラを用いて、同一の被写体を異なる位置から撮影した２枚の画像間の相対的なカメラパラメータを推定する技術が開発されている。相対的なカメラパラメータとは、絶対的な大きさが不明な外部パラメータ（２自由度の３次元並進ベクトルと３自由度の回転）と、焦点距離などの内部パラメータのことであり、それらを乗算した基礎行列（fundamental matrix）として表現される。

例えば、非特許文献１には、画像間で同一の３次元座標が画像上に射影された対応点を８組以上用いることで、基礎行列を算出する方法が記載されている。非特許文献２には、６組の対応点を用いて基礎行列と同時に焦点距離も推定する方法が記載されている。非特許文献３には、７組以上の対応点を用いて基礎行列と同時に焦点距離とレンズ歪をも推定する方法が記載されている。非特許文献４には、アフィン不変特徴点を使うことで２組の対応点から基礎行列と焦点距離を算出する方法が記載されている。上述した非特許文献１～４では、２つの画像から互いに対応する特徴点のペアを複数検出し、検出した特徴点のペアの集合から、RANSAC（RAndom SAmple Consensus）のようなロバスト推定アルゴリズムを利用して、誤対応点を除去して正確な基礎行列が生成される。

R. Hartley and A. Zisserman、「Multiple view geometry in computer vision 2nd edition」、Cambridge University Press、２００４年３月２５日、pp.279-282 H. Stewenius、外３名、「A minimal solution for relative pose with unknown focal length」、Image and Vision Computing、２００８年７月、Volume 26、issue 7、pp.871-877 F. Jiang、外３名、「A minimal solution to relative pose with unknown focal length and radial distortion」、Springer、Asian Conference on Computer Vision、２０１４年１１月１日、pp.443-456 D. Barath、外２名、「A minimal solution for two-view focal-length estimation using two affine correspondences」、Computer Research Repository、arXiv:1706.01649、２０１７年６月６日

本発明者は、基礎行列を生成する新たな技術を検討した。本開示の目的は、基礎行列を生成する新たな技術を提供することである。

本開示の基礎行列生成装置は、第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出部と、各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点との幾何学的な制約を表す基礎行列を生成する生成部と、を有する。前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まる。前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる。

本開示の制御方法は、コンピュータによって実行される。当該制御方法は、第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出ステップと、各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点との幾何学的な制約を表す基礎行列を生成する生成ステップと、を有する。前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まる。前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる。

本開示のコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。

本開示によれば、基礎行列を生成する新たな技術が提供される。

実施形態１の基礎行列生成装置の動作の概要を例示する図である。 特徴点ペアと派生点ペアを例示する図である。 実施形態１の基礎行列生成装置の機能構成を例示するブロック図である。 基礎行列生成装置を実現するコンピュータのハードウエア構成を例示するブロック図である。 実施形態１の基礎行列生成装置によって実行される処理の流れを例示するフローチャートである。 RANSAC を用いる基礎行列生成装置によって実行される処理の流れを例示するフローチャートである。 図６のフローチャートに、符号付面積を利用して基礎行列の生成を行うか否かを判定する処理が加えられたものを例示する図である。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶装置などに予め格納されている。

図１は、実施形態１の基礎行列生成装置２０００の動作の概要を例示する図である。ここで、図１は、基礎行列生成装置２０００の概要の理解を容易にするための図であり、基礎行列生成装置２０００の動作は、図１に示したものに限定されない。

基礎行列生成装置２０００は、第１画像１０及び第２画像２０を取得し、第１画像１０上の点と第２画像２０上の点との幾何学的な制約（エピポーラ制約条件と呼ばれる）を表すための行列である基礎行列４０を生成する。基礎行列４０が満たすべきエピポーラ制約は、例えば以下の式（１）で表される。

ここで、点 m は第１画像１０上の点であり、点 n は第２画像２０上の点であり、同一の3次元座標がそれぞれの画像へ射影された点である。すなわち、点 n と点 m は、互いに実空間上の同一の場所を表す点である。なお、非特許文献３に記されているように、レンズ歪を含む場合も含まない場合も、同様に点 m とn はいずれも 3x1 の斉次座標系の座標で表されている。F は3x3の基礎行列４０であり、3つの特異値のうち、1つはゼロであることが知られている。

また、特異値に関する制約条件は以下の式（２）で表される。

ここで、K は焦点距離などのカメラの内部パラメータを表す 3x3 の行列である。

以下では、単に内部パラメータと呼ぶ場合は、行列 K に加えてレンズ歪パラメータも含むものとする。

基礎行列生成装置２０００は、上記基礎行列４０を算出するために、第１画像１０と第２画像２０との間で互いに対応する点（対応点）のペアを６組以上生成する。以下、対応点のペアを対応点ペアと呼ぶ。ここで、対応点ペアに含まれる第１画像１０上の点と第２画像２０上の点は、互いに実空間上の同一の場所を表す点である。

基礎行列生成装置２０００は、以下の方法で対応点ペアを検出する。まず基礎行列生成装置２０００は、第１画像１０から検出される特徴点と第２画像２０から検出される特徴点とから、互いに対応する特徴点のペア（特徴点ペア）を検出する。すなわち、第１画像１０上の或る特徴点と、その特徴点に対応する第２画像２０上の特徴点とが、特徴点ペアとして検出される。ここで、少なくとも3組の特徴点ペアが、基礎行列４０の生成に利用する対応点ペアとして検出される。

基礎行列生成装置２０００は、上述の方法で検出した特徴点ペアを利用して、さらに対応点ペアを検出する。具体的には、基礎行列生成装置２０００は、特徴点ペアに含まれる第１画像１０上の特徴点から第１方向に第１距離離れた派生点と、その特徴点ペアに含まれる第２画像２０上の特徴点から第２方向に第２距離離れた派生点とのペアを検出する。以下、このようにして検出される派生点のペアを、派生点ペアとも呼ぶ。

第１方向、第１距離、第２方向、及び第２距離は、特徴点について算出される特徴量を利用して決定される。例えば特徴量として、SIFT などといったスケールと主軸方向について不変な特徴量（以下、スケール不変特徴量）が利用されるとする。この場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量において定まる主軸方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量において定まる主軸方向が利用される。また、第１距離としては、例えば、第１画像１０上の特徴点について算出された特徴量において定まるスケールの大きさが利用される。同様に、第２距離としては、例えば、第２画像２０上の特徴点について算出された特徴量において定まるスケールの大きさが利用される。

図２は、特徴点ペアと派生点ペアを例示する図である。図２の例では、（m1,n1）と（m2,n2）と（m3,n3）がそれぞれ特徴点ペアとして検出されている。ここで、m1 と m2 とm3はそれぞれ第１画像１０上の特徴点であり、n1 と n2とn3 はそれぞれ第２画像２０上の特徴点である。また、特徴点 m1 について算出されたスケール不変特徴量により、スケール a1 と主軸方向α1が定まっている。同様に、特徴点 n1 について算出されたスケール不変特徴量により、スケール b1 と主軸方向β1が定まっている。なお、この例において、方向は、画像の水平方向右向きを基準の０度とする角度で表されている。

基礎行列生成装置２０００は、特徴点 m1 について、その特徴量における主軸方向α1 へ a1 移動させた派生点 p1 を検出する。また、基礎行列生成装置２０００は、特徴点 n1 について、その特徴量における主軸方向β1 へ b1 移動させた派生点 q1 を検出する。その結果、派生点 p1 と派生点 q1 のペア（p1,q1）が、派生点ペアとして検出される。なお、派生点 p1 は、特徴点 m1 を中心とする半径 a1 の円周上において主軸方向にある点とも表現できる。派生点 q1 についても同様である。

同様の方法により、基礎行列生成装置２０００は、第１画像１０上の特徴点 m2とm3 について、その特徴量における主軸方向α2、α3 へ a2、a3 移動させた派生点 p2 、p3を検出する。また、基礎行列生成装置２０００は、第２画像２０上の特徴点 n2とn3 について、その特徴量における主軸方向β2、β3へ b2 、b3移動させた派生点 q2、q3 を検出する。その結果、派生点ペア（p2,q2）と（p3,q3）が検出される。

基礎行列生成装置２０００は、検出した６組以上の対応点ペアを用いて、基礎行列４０を生成する。

＜作用効果の例＞
非特許文献１の発明では、本開示における第１画像１０と第２画像２０について、特徴点のペアを８組以上利用して、基礎行列４０の生成が行われる。これに対し、本実施形態の基礎行列生成装置２０００では、特徴点ペアと派生点ペアが合計で６組以上あれば、基礎行列４０を生成できる。そのため、画像から検出する必要がある特徴点ペアの最小数は３組である。よって、特許文献１の発明と比較し、画像から検出する必要がある特徴点ペアの数が少ないという利点がある。

以下、本実施形態の基礎行列生成装置２０００について、より詳細に説明する。

＜機能構成の例＞
図３は、実施形態１の基礎行列生成装置２０００の機能構成を例示するブロック図である。基礎行列生成装置２０００は、第１検出部２０２０、第２検出部２０４０、及び生成部２０６０を有する。第１検出部２０２０は、第１画像１０及び第２画像２０から、３組以上の特徴点ペアを検出する。第２検出部２０４０は、３組以上の特徴点ペアそれぞれを用いて、第１画像１０及び第２画像２０から、３組以上の派生点ペアを検出する。生成部２０６０は、検出した特徴点ペアと派生点ペアを用いて、基礎行列４０を生成する。

＜ハードウエア構成の例＞
基礎行列生成装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、基礎行列生成装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図４は、基礎行列生成装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ５００は、基礎行列生成装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。

例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、基礎行列生成装置２０００の各機能が実現される。上記アプリケーションは、基礎行列生成装置２０００の機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体（DVD ディスクや USB メモリなど）から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

ストレージデバイス５０８は、基礎行列生成装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、基礎行列生成装置２０００の各機能構成部を実現する。

基礎行列生成装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。

＜処理の流れ＞
図４は、実施形態１の基礎行列生成装置２０００によって実行される処理の流れを例示するフローチャートである。第１検出部２０２０は第１画像１０及び第２画像２０を取得する（Ｓ１０２）。第１検出部２０２０は、第１画像１０及び第２画像２０を用いて、３組以上の特徴点ペアを検出する（Ｓ１０４）。第２検出部２０４０は、第１画像１０及び第２画像２０を用いて、各特徴点ペアについての派生点ペアを検出する（Ｓ１０６）。生成部２０６０は、特徴点ペアと派生点ペアを用いて、基礎行列４０を生成する（Ｓ１０８）。

＜第１画像１０と第２画像２０について＞
第１画像１０と第２画像２０は、任意のカメラによって生成された任意の撮像画像である。ただし、第１画像１０と第２画像２０は、少なくともその一部に、互いに同一の場所が撮像された画像領域が含まれている。例えば、同じ建物や人物を互いに異なる位置や角度から撮像することにより、第１画像１０と第２画像２０が生成される。

＜第１画像１０と第２画像２０の取得：Ｓ１０２＞
第１検出部２０２０は、第１画像１０及び第２画像２０を取得する（Ｓ１０２）。第１検出部２０２０が第１画像１０と第２画像２０を取得する方法は任意である。例えば第１検出部２０２０は、第１画像１０と第２画像２０を、それぞれが格納されている記憶装置から取得する。なお、第１画像１０と第２画像２０は、同じ記憶装置に格納されていてもよいし、互いに異なる記憶装置に格納されていてもよい。その他にも例えば、第１検出部２０２０は、第１画像１０を生成したカメラと第２画像２０を生成したカメラのそれぞれから、第１画像１０と第２画像２０を取得してもよい。

＜特徴点ペアの検出：Ｓ１０４＞
第１検出部２０２０は、第１画像１０と第２画像２０から特徴点ペアを３組以上検出する（Ｓ１０４）。そのために、第１検出部２０２０は、第１画像１０と第２画像２０のそれぞれから、特徴点の検出を行う。ここで、第１画像１０と第２画像２０から検出する特徴点は、任意の種類の特徴点でよい。また、画像から特徴点を検出する技術には、既存の技術を利用することができる。

また、第１検出部２０２０は、第１画像１０と第２画像２０のそれぞれから検出された特徴点について、その特徴点を含む領域の特徴量を算出する。ここで算出される特徴量は、例えば、SIFT などのようなスケール不変特徴量や、Hessian-Affine や Affine-SIFT などのようなアフィン変形について不変な特徴量（以下、アフィン不変特徴量）である。これらの特徴量の算出方法についても、既存の技術を利用することができる。

第１検出部２０２０は、各特徴点について算出した特徴量を利用して、第１画像１０上の複数の特徴点と第２画像２０上の複数の特徴点との間で、特徴点マッチングを行う。すなわち、第１検出部２０２０は、第１画像１０上の特徴点と第２画像２０上の特徴点とを、特徴量の類似度合いに基づいて互いに対応づける。このように、特徴点マッチングによって対応づけられた第１画像１０上の特徴点と第２画像２０上の特徴点が、特徴点ペアとして利用できる。なお、特徴点マッチングによって２つの画像から対応点を検出する技術には、既存の技術を利用することができる。

第１検出部２０２０は、このようにして対応づけられる第１画像１０上の特徴点と第２画像２０上の特徴点のペアのうち、任意の３組以上をそれぞれ特徴点ペアとして検出する。例えば第１検出部２０２０は、第１画像１０から検出された特徴点のうちの１つを任意に選択し、その特徴点と特徴点マッチングによって対応づけられる第２画像２０上の特徴点を特定する。すなわち、第１検出部２０２０は、第１画像１０から抽出した特徴点について算出された特徴量と十分に類似する特徴量を持つ（特徴量の類似度が閾値以上である）第２画像２０上の特徴点を特定し、特定した特徴点と第１画像１０から抽出した特徴点とのペアを、特徴点ペアとして検出する。第１検出部２０２０は、当該処理を任意の回数繰り返すことで、任意の数の特徴点ペアを検出する。

なお、特徴点ペアを検出する処理の流れは、上述した流れに限定されない。例えば第１検出部２０２０は、第２画像２０から検出された特徴点のうちの１つを任意に選択し、その特徴点と対応する特徴点を第１画像１０から検出することで、特徴点ペアを検出してもよい。

＜派生点ペアの検出：Ｓ１０６＞
第２検出部２０４０は、各特徴点ペアについて、派生点ペアを検出する（Ｓ１０６）。第１画像１０上の特徴点から検出される派生点は、第１画像１０上の特徴点から第１方向に第１距離離れた点である。一方、第２画像２０上の特徴点から検出される派生点は、第２画像２０上の特徴点から第２方向に第２距離離れた点である。

前述したように、第１方向、第１距離、第２方向、及び第２距離は、特徴点について算出される特徴量を利用して決定される。例えば前述したように、スケール不変特徴量を利用する場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量における主軸方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量における主軸方向が利用される。

ただし、第１方向と第２方向はそれぞれ、主軸方向を基準として定まる方向であればよく、主軸方向とは異なる方向であってもよい。例えば第１方向と第２方向はそれぞれ、主軸方向と逆方向（１８０度異なる方向）や、主軸方向から所定角度（例えば、＋９０度）回転した方向などであってもよい。

ここで、第１方向は、或る特徴点ペアに含まれる第１画像１０上の特徴点とその派生点、及び別の特徴点ペアに含まれる第１画像１０上の特徴点とその派生点のいずれもが同一の直線を通らないように定められることが好適である。この場合、３つのうち２つの特徴点及び２つの派生点が線形従属となってしまうためである。

そこで例えば第２検出部２０４０は、第１画像１０上の３つの特徴点と３つの派生点が同一の直線上に位置するか否かを判定し、１つの直線上に位置する場合には、第１方向を変更して派生点の検出を再度行ってもよい。例えば、第１方向の初期値を主軸方向に設定した状態で、派生点の検出が行われる。そして、第１画像１０上の２つの特徴点と２つの派生点が同一の直線上に位置する場合には、第２検出部２０４０は、第１方向を主軸方向から所定方向ずらした上で、再度派生点の検出を行う。なお、複数の点が１つの直線上に位置するか否かを判定する技術には、既存の技術を利用することができる。

上述した縮退は、第２画像２０でも同様に発生しうる。そこで第２検出部２０４０は、同様の方法で、第２画像２０から検出する特徴点と派生点についても、１つの直線上に位置しないようにすることが好適である。

第１距離としては、第１画像１０上の特徴点について算出された特徴量におけるスケールの大きさの所定倍が利用される。同様に、第２距離としては、第２画像２０上の特徴点について算出された特徴量におけるスケールの大きさの所定倍が利用される。第１距離の算出に利用する所定倍と第２距離の算出に利用される所定倍は、互いに等しい値とする。所定倍＝１倍とすれば、スケールの値がそのまま利用される。図２の例は、所定倍＝１倍とした例である。

特徴量は、スケール不変特徴量には限定されず、アフィン不変特徴量であってもよい。この場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量について定まる特定軸の方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量について定まる特定軸の方向が利用される。特定軸は、例えば、短軸又は長軸である。ただし、第１方向と第２方向はそれぞれ、短軸方向又は長軸方向の逆方向（１８０度異なる方向）や、短軸方向又は長軸方向所定角度回転した方向であってもよい。ただし、第１方向と第２方向は、互いに同じ種類の方向とする。すなわち、第１方向を短軸方向とした場合には第２方向も短軸方向とし、第１方向を長軸方向とした場合には第２方向も長軸方向とする。

第１距離としては、第１画像１０上の特徴点について算出された特徴量について定まる特定軸の長さの所定倍が利用される。同様に、第２距離としては、第２画像２０上の特徴点について算出された特徴量について定まる特定軸の長さの所定倍が利用される。第１距離の算出に利用する所定倍と第２距離の算出に利用される所定倍は、互いに等しい値とする。

第２検出部２０４０は、１つの特徴点ペアから２組以上の派生点ペアを検出してもよい。例えばスケール不変特徴量を利用するケースにおいて、第２検出部２０４０が、特徴点ペアに含まれる第１画像１０上の特徴点から、２つの派生点を検出するとする。この場合、例えば、一方の派生点 p11 については、「第１方向＝主軸方向、第１距離＝スケールの k1 倍」とし、他方の派生点 p12 については、「第１方向＝主軸と逆方向、第１距離＝スケールの k2 倍」とする。ここで、k1 と k2 は等しくてもよいし、等しくなくてもよい。同様に、第２検出部２０４０は、特徴点ペアに含まれる第２画像２０上の特徴点からも、２つの派生点を検出する。一方の派生点 q11 については、「第２方向＝主軸方向、第２距離＝スケールの k1 倍」とし、他方の派生点 q12 については、「第２方向＝主軸と逆方向、第２距離＝スケールの k2 倍」とする。そして、第２検出部２０４０は、（p11,q11）と（p12,q12）をそれぞれ、派生点ペアとして検出する。

その他にも例えば、アフィン不変特徴量を利用するケースにおいて、第２検出部２０４０が、特徴点ペアに含まれる第１画像１０上の特徴点から、4組の派生点を検出するとする。この場合、例えば、派生点 p11 については、「第１方向＝短軸方向、第１距離＝短軸の長さの k1 倍」とし、派生点 p12 については、「第１方向＝短軸方向と逆方向、第１距離＝短軸の長さの k2 倍」とし、派生点 p13 については、「第１方向＝長軸方向、第１距離＝長軸の長さの k3 倍」とし、派生点 p14 については、「第１方向＝長軸方向と逆方向、第１距離＝長軸の長さの k4 倍」とする。ここで、k1、k2、k3 及び k4 は、それぞれ等しくてもよいし、等しくなくてもよい。

同様に、第２検出部２０４０は、特徴点ペアに含まれる第２画像２０上の特徴点からも、４組の派生点 q11、q12、q13、及び q14 を検出する。派生点 q11 については、「第２方向＝短軸方向、第２距離＝短軸の長さの k1 倍」とし、派生点 q12 については、「第２方向＝短軸方向と逆方向、第２距離＝短軸の長さの k2 倍」とし、派生点 q13 については、「第２方向＝長軸方向、第２距離＝長軸の長さの k3 倍」とし、派生点 q14 については、「第２方向＝長軸方向と逆方向、第２距離＝長軸の長さの k4 倍」とする。

そして、第２検出部２０４０は、（p11,q11）、（p12,q12）、（p13,q13）、及び（p14,q14）をそれぞれ、派生点ペアとして検出する。

＜基礎行列４０の生成：Ｓ１０８＞
生成部２０６０は、６組以上の対応点ペア（特徴点ペアと派生点ペア）を用いて、基礎行列４０を生成する。ここで、対応点ペアを６組以上用いて基礎行列を算出する技術には、既存の技術を利用することができる。

例えば基礎行列４０は、以下の式（3）で表される最適化問題を解くことによって算出される。

ここで、ベクトル f は行列 F（基礎行列４０）のベクトル表現、行列 M はベクトル m とベクトル n から構成される係数行列である。

なお、式（３）は、６点や７点の場合はそれぞれ非特許文献２もしくは非特許文献３に記載された多項式問題へと帰着して解けることが知られている。また、８点以上の場合には、非特許文献１に記載されているように、||f||^2=1 以外の制約条件を無視することで線形最小二乗法に帰着することが知られている。そして、線形最小二乗法による計算方法には、DLT（Direct Linear Transform）法などが利用できる。

ここで、生成部２０６０は、対応点ペアに含まれる各点の座標をそのまま利用する代わりに、正規化した座標を利用してもよい。こうすることで、数値計算の誤差を低減することができる。例えば座標の正規化としては、座標値の平均がゼロ、かつ、分散が√2となるような相似変換を施す手法がある。このように正規化した座標値を用いる場合、生成部２０６０は、DLT 法等の手法によって得られた行列に対して、相似変換の逆変換を施すことで、基礎行列４０を生成することができる。

ここで、派生点ペアの検出を行う前に、特徴点ペアの各点の座標の正規化が行われてもよい。この場合、第２検出部２０４０は、スケール不変特徴量のスケールの大きさや、アフィン不変特徴量の特定軸の長さについても同様の変換を施した上で、派生点ペアの検出を行う。

＜内部パラメータの推定＞
前述したように、非特許文献２には、６組の対応点ペアを用いて、基礎行列と共に、焦点距離も推定する技術が記載されている。また、非特許文献３には、７組以上の対応点ペアを用いて、基礎行列と共に、焦点距離とレンズ歪を推定する技術が記載されている。そこで、これらの技術を基礎行列生成装置２０００へ適用することにより、生成部２０６０が、基礎行列４０の生成に加え、内部パラメータの推定をさらに行うようにしてもよい。

ここで、非特許文献３の技術を利用する場合、対応点ペアが７組以上必要であるため、第１検出部２０２０は、４組以上の特徴点ペアを検出する。また、第２検出部２０４０は、３組以上の派生点ペアを検出する。

＜結果の出力＞
基礎行列生成装置２０００は、生成した基礎行列４０を含む情報（以下、出力情報）を出力する。出力情報の出力態様は任意である。例えば基礎行列生成装置２０００は、出力情報を、基礎行列生成装置２０００からアクセス可能なディスプレイ装置に表示させる。その他にも例えば、基礎行列生成装置２０００は、出力情報を、基礎行列生成装置２０００からアクセス可能な記憶装置に格納する。その他にも例えば、基礎行列生成装置２０００は、出力情報を、基礎行列生成装置２０００と通信可能に接続されている他の装置へ送信する。

出力情報は、基礎行列４０のみを含んでもよいし、基礎行列４０以外の情報をさらに含んでもよい。例えば出力情報には、基礎行列４０が、どの画像とどの画像とを結びつける基礎行列なのかが把握可能な情報も含まれることが好適である。そこで例えば、出力情報は、基礎行列４０によって互いに結びつけられる画像の識別子（例えば、ファイル名や画像データそのもの）として、第１画像１０の識別子及び第２画像２０の識別子を含む。

＜基礎行列４０の精度の向上＞
基礎行列生成装置２０００は、以下の手法により、より精度の高い基礎行列４０を生成してもよい。ここでいう基礎行列４０の精度とは、第１画像１０上の点 mi と第２画像２０上の点 ni と基礎行列を用いて三角測量して復元した三次元座標を、第１画像１０と第２画像２０へと再投影し、第１画像１０上に再投影された２次元点と mi との誤差および第２画像２０上に再投影された２次元点と ni との誤差の小ささを意味する。これらの再投影誤差が小さいほど、基礎行列４０によって、第１画像１０上の点と第２画像２０上の点とが正確に幾何的な制約条件を満たすこととなるため、基礎行列４０の精度が高いと言える。なお、再投影誤差の代わりに、計算量がより少ない代数学的誤差（例えばSampson誤差）を用いてもよい。以下では、これらの誤差を総称してエピポーラ誤差と呼ぶ。

基礎行列生成装置２０００は、基礎行列４０の生成に利用する対応点ペアを様々に変えながら、基礎行列４０を複数生成する。そして、基礎行列生成装置２０００は、それら複数の基礎行列４０の中から最も精度が高いものを選択し、当該選択した基礎行列４０を含む出力情報を出力する。

例えば基礎行列生成装置２０００は、RANSAC を利用して、精度の高い基礎行列４０の生成を実現する。図６は、RANSAC を用いる基礎行列生成装置２０００によって実行される処理の流れを例示するフローチャートである。

第１検出部２０２０は、第１画像１０及び第２画像２０を取得する（Ｓ２０２）。Ｓ２０４からＳ２１８は、その実行回数が最大反復回数Ｎに達するまで繰り返し実行されるループ処理Ｌ１である。Ｓ２０４において、基礎行列生成装置２０００は、ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上であるか否かを判定する。ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上である場合、図６の処理はＳ２２０に進む。一方、ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上でない場合、図６の処理はＳ２０６に進む。

第１検出部２０２０は、第１画像１０及び第２画像２０から、複数の特徴点ペアを検出する（Ｓ２０６）。第２検出部２０４０は、Ｓ２０６で検出された特徴点ペアの中から少なくとも任意の３組の特徴点ペアを選択し、選択した各特徴点ペアについて派生点ペアを検出する（Ｓ２０８）。生成部２０６０は、選択した３組の特徴点ペア、及びそれらを用いて検出された３組の派生点ペア（すなわち、６組の対応点ペア）を用いて、基礎行列４０を生成する（Ｓ２１０）。なお、Ｓ２１０において、基礎行列４０の生成と共に、焦点距離やレンズ歪などの内部パラメータの推定が行われてもよい。ただし、非特許文献３の技術を利用する場合、Ｓ２１０において、特徴点ペアは４組利用される。

基礎行列生成装置２０００は、Ｓ２０６で検出された複数の特徴点ペアのうち、基礎行列４０によってエピポーラ制約を満たす特徴点ペアの個数を特定する（Ｓ２１２）。ここで、「特徴点ペアが基礎行列４０によってエピポーラ制約を満たす」とは、特徴点ペアに含まれる第１画像１０上の点 mi と第２画像２０上の点 ni とが、基礎行列４０によって定義されるエピポーラ誤差が十分に小さい（例えば閾値未満である）ことを意味する。以下、基礎行列４０によって正しく対応付けられる特徴点ペア（上記誤差が閾値未満となる特徴点ペア）を「正しい特徴点ペア」と呼び、基礎行列４０によって正しく対応づけられない特徴点ペア（上記誤差が閾値以上となる特徴点ペア）を、「正しくない特徴点ペア」と呼ぶ。

正しい特徴点ペアの個数を特定するために、基礎行列生成装置２０００は、各特徴点ペアについて、１）その特徴点ペアに含まれる第１画像１０上の点 mi とその特徴点ペアに含まれる第２画像２０上の点 ni とのエピポーラ誤差を算出し、2）算出した誤差が閾値未満であるか否かを判定する。そして、基礎行列生成装置２０００は、誤差が閾値未満となった特徴点ペア（すなわち、正しい特徴点ペア）の個数を特定する。

Ｓ２１４において、基礎行列生成装置２０００は、正しい特徴点ペアの個数が、これまでに実行されたループ処理Ｌ１で算出された個数の中で最大であるか否かを判定する。正しい特徴点ペアの個数が、これまでに算出された個数の中で最大でない場合（Ｓ２１４：ＮＯ）、図６の処理はＳ２１８に進む。一方、正しい特徴点ペアの個数が、これまでに算出された個数の中で最大である場合（Ｓ２１４：ＹＥＳ）、基礎行列生成装置２０００は、ループ処理Ｌ１の最大反復回数を更新する（Ｓ２１６）。

ここで、最大反復回数は、例えば以下の式（４）で表される。

ここで、N は最大反復回数を表す。p は N 回中に１回は、基礎行列４０によって正しく変換される特徴点ペアが存在する確率を表す。s は、基礎行列４０の生成に利用した対応点ペアの個数（前述の例では３）を表す。εは、特徴点ペアの総数に占める、正しくない特徴点ペアの割合である。

ここで、εの真の値は未知であるため、その推定値が利用される。具体的には、基礎行列生成装置２０００は、これまでに実行したループ処理Ｌ１において算出された正しい特徴点ペアの個数のうち、最大の個数を利用して推定される。この最大個数を Km と表記し、かつ、特徴点ペアの総数を Kall と表記すれば、εは (Kall-Km)/Kall と推定することができる。

Ｓ２１８はループ処理Ｌ１の終端であるため、図６の処理はＳ２０４に戻る。

ループ処理Ｌ１の繰り返し実行が終了すると、図６の処理はＳ２２０に進む。Ｓ２２０において、基礎行列生成装置２０００は、複数回実行されたループ処理Ｌ１それぞれで生成された基礎行列４０のうち、正しい特徴点ペアの個数が最大であったループ処理Ｌ１において生成された基礎行列４０を、出力情報に含めて出力する。こうすることで、複数生成された基礎行列４０のうち、精度が最大である基礎行列４０が出力されるようになる。

ここで、本実施形態の基礎行列生成装置２０００では、特徴点ペアを利用して派生点ペアを検出するため、RANSAC の１回の試行（図６のループ処理Ｌ１の１回の実行）で必要とされるサンプル点の数が３（式（４）において s=3）となる。そのため、非特許文献１の発明のように5つのサンプル点を必要とするケース（式（４）において s=5となるケース）や非特許文献２の発明のように8つのサンプル点を必要とするケース（式（４）において s=8となるケース）と比較し、最大反復回数 N がの値が指数関数的に減少する。よって、RANSAC の計算量が削減される。

なお、６組よりも少ない対応点ペアで基礎行列を生成する方法として、アフィン不変特徴点を２組用いる方法が、非特許文献４に記載されている。非特許文献４に記載されている方法では、局所的なアフィン変換とエピポーラ制約が満たす拘束条件を解くことで、基礎行列を算出している。

非特許文献４の手法では、対応点ペアの数が２組であるため、RANSAC の最大反復回数は、本実施形態の基礎行列生成装置２０００よりも理論的には少ない。しかしながら、本実施形態の基礎行列生成装置２０００には、非特許文献４の手法と比較し、全体的な実行時間が短くなるという利点がある。例えば、アフィン不変特徴点の計算量は、一般にスケール不変特徴点の数倍から数十倍を要するため、本実施形態の第１検出部２０２０に要する処理時間は非特許文献４よりも大幅に小さい。そのため、全体的な実行時間を比較すると本実施形態の基礎行列生成装置２０００の方が高速になると考えられる。

＜＜基礎行列４０の生成の省略＞＞
基礎行列生成装置２０００は、ループ処理Ｌ１において毎回基礎行列４０の生成を行うのではなく、特定の条件が満たされた場合のみ、基礎行列４０の生成を行うようにしてもよい。具体的には、基礎行列生成装置２０００は、Ｓ２０６で選択された３組の特徴点ペア、及びそれらを用いて検出された３組の派生点ペアを利用して、符号付面積を算出する。そして、符号付き面積の符号の正しさに基づいて、基礎行列４０の生成を行うか否かを判定する。以下、具体的に説明する。

まず、３点の斉次化した画像座標 {x1, x2, x3} が与えられたとき、符号付面積は以下の式（５）で表される。

式（５）は、いわゆる 3x3 行列の行列式に等しい。６組の対応点ペアが与えられたとき、それらがいずれも正しい対応点ペアであれば６組の中から任意の３組を選んで式（５）を計算すると、その符号は必ず互いに同符号となる。例えば、選択された特徴点ペアが（m1,n1）と（m2,n2）であり、これらを用いて検出された派生点ペアが（p1,q1）と（p2,q2）であるとする。この場合において、例えば、（m1,n1）、（m2,n2）、及び（p1,q1）の３組を符号付面積の算出対象として選べば、det(m1,m2,p1) と det(n1,n2,q1) が算出される。そして、６組の対応点ペアがいずれも正しい対応点ペアなのであれば、算出された２つの符号付面積の符号は、互いに同符号となる。

そこで基礎行列生成装置２０００は、６組の対応点ペアから３組の対応点ペアを選び、それらについて上述した符号付面積の算出を行って、算出された２つの符号付面積の符号が等しいか否かを判定する。そして、符号付面積の符号が正しい場合、基礎行列生成装置２０００は、Ｓ２１０以降の処理を実行する。一方、符号付面積の符号が正しくない場合、基礎行列生成装置２０００は、基礎行列４０の生成を行わず、ループ処理Ｌ１の先頭に戻る。図７は、図６のフローチャートに、符号付面積を利用して基礎行列４０の生成を行うか否かを判定する処理が加えられたものを例示する図である。当該判定の処理はＳ３０２である。

ここで、６組の対応点ペアから３組の対応点ペアを選ぶ場合、２０通りの選び方がある。基礎行列生成装置２０００はこれら２０通りの選び方のいずれか１つ以上についてそれぞれ、前述した符号付面積の算出を行って、符号が互いに同一であるか否かを判定する。例えば基礎行列生成装置２０００は、２０通り全てについて当該判定を行う。そして、基礎行列生成装置２０００は、全てのケースにおいて、算出される２つの符号付面積の符号が互いに等しい場合に、基礎行列４０の生成を行う（Ｓ３０２において、符号付面積の符号が正しいと判定する）。また、例えば、３組の特徴点ペアについて符号付面積の算出を行い、符号が互いに同一である場合のみ、派生点ペアを算出してもよい。この場合、まずＳ３０２にて当該判定の処理を行い、YES の場合にのみＳ２０８にて派生点ペアを計算し、Ｓ２１０以降の処理を実行する。

＜＜RANSAC 以外の利用＞＞
基礎行列４０の精度を高める方法は、RANSAC を利用する方法に限定されない。例えば、RANSAC には様々な派生が存在するため、それらを選択的に組み合わせることが可能である。例えば、PROSAC（Progressive Sample Consensus）を用いる場合、特徴量のマッチングスコアが小さい順に特徴点ペアが選択される。すなわち、Ｓ２０８において、特徴点ペアがランダムに選択される代わりに、特徴量のマッチングスコアが小さい（すなわち、互いの特徴量の類似度合いが大きい）順に特徴点ペアが選択される。

その他にも例えば、LO-RANSAC（Locally Optimized RANSAC）を用いてもよい。この場合、Ｓ２１４において、正しい特徴点ペアの個数が最大であると判定された場合（Ｓ２１４：ＹＥＳ）に、対応点ペアを用いて式（２）を解くように構成された生成部２０６０に処理を実行させてもよいし、M-estimatorなどの重みづけ最小二乗法を用いてもよい。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを3組以上検出する第１検出部と、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基礎行列を生成する生成部と、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、基礎行列生成装置。
（付記２）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記１に記載の基礎行列生成装置。
（付記３）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記１に記載の基礎行列生成装置。
（付記４）
前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記基礎行列の生成を繰り返し行い、生成された複数の前記基礎行列のうち、最も精度が高いものを出力する、付記１から３いずれか一項に記載の基礎行列生成装置。
（付記５）
複数の前記特徴点ペア及び複数の前記派生点ペアのうちのいずれか３組を用いて符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記基礎行列の生成を行うか否かを判定する、付記１から４いずれか一項に記載の基礎行列生成装置。
（付記６）
前記生成部は、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像を生成したカメラ及び前記第２画像を生成したカメラの内部パラメータを推定する、付記１から５いずれか一項に記載の基礎行列生成装置。
（付記７）
コンピュータによって実行される制御方法であって、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを3組以上検出する第１検出ステップと、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基礎行列を生成する生成ステップと、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、制御方法。
（付記８）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記７に記載の制御方法。
（付記９）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記７に記載の制御方法。
（付記１０）
前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記基礎行列の生成を繰り返し行い、生成された複数の前記基礎行列のうち、最も精度が高いものを出力する、付記７から９いずれか一項に記載の制御方法。
（付記１１）
複数の前記特徴点ペア及び複数の前記派生点ペアのうちのいずれか３組について符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記基礎行列の生成を行うか否かを判定する、付記７から１０いずれか一項に記載の制御方法。
（付記１２）
前記生成ステップにおいて、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像を生成したカメラ及び前記第２画像を生成したカメラの内部パラメータを推定する、付記７から１１いずれか一項に記載の制御方法。
（付記１３）
プログラムが格納されているコンピュータ可読媒体であって、
前記プログラムは、コンピュータに、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを3組以上検出する第１検出ステップと、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基礎行列を生成する生成ステップと、を実行させ、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、コンピュータ可読媒体。
（付記１４）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記１３に記載のコンピュータ可読媒体。
（付記１５）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記１３に記載のコンピュータ可読媒体。
（付記１６）
前記コンピュータに、前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記基礎行列の生成を繰り返し行い、生成された複数の前記基礎行列のうち、最も精度が高いものを出力するステップを実行させる、付記１３から１５いずれか一項に記載のコンピュータ可読媒体。
（付記１７）
前記コンピュータに、複数の前記特徴点ペア及び複数の前記派生点ペアのうちのいずれか３組について符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記基礎行列の生成を行うか否かを判定するステップを実行させる、付記１３から１６いずれか一項に記載のコンピュータ可読媒体。
（付記１８）
前記生成ステップにおいて、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像を生成したカメラ及び前記第２画像を生成したカメラの内部パラメータを推定する、付記１３から１７いずれか一項に記載のコンピュータ可読媒体。

１０ 第１画像
２０ 第２画像
４０ 基礎行列
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
２０００ 基礎行列生成装置
２０２０ 第１検出部
２０４０ 第２検出部
２０６０ 生成部

Claims (10)

1. 第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを3組以上検出する第１検出部と、
   各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、
   各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基礎行列を生成する生成部と、を有し、
   前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
   前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、基礎行列生成装置。
2. 前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
   前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、請求項１に記載の基礎行列生成装置。
3. 前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
   前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、請求項１に記載の基礎行列生成装置。
4. 前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記基礎行列の生成を繰り返し行い、生成された複数の前記基礎行列のうち、最も精度が高いものを出力する、請求項１から３いずれか一項に記載の基礎行列生成装置。
5. 複数の前記特徴点ペア及び複数の前記派生点ペアのうちのいずれか３組を用いて符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記基礎行列の生成を行うか否かを判定する、請求項１から４いずれか一項に記載の基礎行列生成装置。
6. 前記生成部は、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像を生成したカメラ及び前記第２画像を生成したカメラの内部パラメータを推定する、請求項１から５いずれか一項に記載の基礎行列生成装置。
7. コンピュータによって実行される制御方法であって、
   第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを3組以上検出する第１検出ステップと、
   各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
   各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基礎行列を生成する生成ステップと、を有し、
   前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
   前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、制御方法。
8. 前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
   前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、請求項７に記載の制御方法。
9. 第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを3組以上検出する第１検出ステップと、
   各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
   各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基礎行列を生成する生成ステップと、をコンピュータに実行させ、
   前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
   前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、プログラム。
10. 前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
    前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、請求項９に記載のプログラム。

Images