JP7448034B2

JP7448034B2 - 平面射影変換行列生成装置、制御方法、及びプログラム

Info

Publication number: JP7448034B2
Application number: JP2022561739A
Authority: JP
Inventors: 学中野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-11-10
Filing date: 2020-11-10
Publication date: 2024-03-12
Anticipated expiration: 2040-11-10
Also published as: JPWO2022101998A1; US20230419515A1; WO2022101998A1

Description

本開示は平面射影変換行列の生成に関する。

或る画像上の点から別の画像上の点への平面射影変換を表す平面射影変換行列を生成する技術が開発されている。例えば特許文献１は、被写体が斜めの角度から撮像された撮像画像から、被写体を垂直上方から見た俯瞰画像を得ることができるように、平面射影変換行列を生成する技術が開示されている。特許文献１では、２つの画像から互いに対応する特徴点のペアを４組以上検出し、検出した特徴点のペアの集合から、RANSAC（RAndom SAmple Consensus）のようなロバスト推定アルゴリズムを利用して、平面射影変換行列が生成される。

特開２０１５－２３３２１２号公報

D. Barath 及び Z. Kukelova、「Homography from two orientation- and scale-covariant features」、Computer Research Repository、arXiv:1906.11927、２０１９年６月２７日

本発明者は、平面射影変換行列を生成する新たな技術を検討した。本開示の目的は、平面射影変換行列を生成する新たな技術を提供することである。

本開示の平面射影変換行列生成装置は、第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出部と、各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成部と、を有する。前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まる。前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる。

本開示の制御方法は、コンピュータによって実行される。当該制御方法は、第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出ステップと、各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成ステップと、を有する。前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まる。前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる。

本開示のコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。

本開示によれば、平面射影変換行列を生成する新たな技術が提供される。

実施形態１の平面射影変換行列生成装置の動作の概要を例示する図である。特徴点ペアと派生点ペアを例示する図である。実施形態１の平面射影変換行列生成装置の機能構成を例示するブロック図である。平面射影変換行列生成装置を実現するコンピュータのハードウエア構成を例示するブロック図である。実施形態１の平面射影変換行列生成装置によって実行される処理の流れを例示するフローチャートである。 RANSAC を用いる平面射影変換行列生成装置によって実行される処理の流れを例示するフローチャートである。図６のフローチャートに、符号付面積を利用して平面射影変換行列の生成を行うか否かを判定する処理が加えられたものを例示する図である。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶装置などに予め格納されている。

図１は、実施形態１の平面射影変換行列生成装置２０００の動作の概要を例示する図である。ここで、図１は、平面射影変換行列生成装置２０００の概要の理解を容易にするための図であり、平面射影変換行列生成装置２０００の動作は、図１に示したものに限定されない。

平面射影変換行列生成装置２０００は、第１画像１０及び第２画像２０を取得し、第１画像１０上の点を第２画像２０上の点へ射影変換するための行列である平面射影変換行列４０を生成する。平面射影変換行列４０は、例えば以下の式（１）で表される。

ここで、点 m は第１画像１０上の点である。H は平面射影変換行列４０であり、そのサイズは 3x3 である。点 n は、点 m を行列 H によって第２画像２０上に射影した点である。～は、左辺が右辺の定数倍に等しいことを表している。なお、点m とn はいずれも 3x1 の斉次座標系の座標で表されている。

平面射影変換行列生成装置２０００は、上記平面射影変換行列４０を算出するために、第１画像１０と第２画像２０との間で互いに対応する点（対応点）のペアを４組以上生成する。以下、対応点のペアを対応点ペアと呼ぶ。ここで、対応点ペアに含まれる第１画像１０上の点と第２画像２０上の点は、互いに実空間上の同一の場所を表す点である。

平面射影変換行列生成装置２０００は、以下の方法で対応点ペアを検出する。まず平面射影変換行列生成装置２０００は、第１画像１０から検出される特徴点と第２画像２０から検出される特徴点とから、互いに対応する特徴点のペア（特徴点ペア）を検出する。すなわち、第１画像１０上の或る特徴点と、その特徴点に対応する第２画像２０上の特徴点とが、特徴点ペアとして検出される。ここで、少なくとも２組の特徴点ペアが、平面射影変換行列４０の生成に利用する対応点ペアとして検出される。

平面射影変換行列生成装置２０００は、上述の方法で検出した特徴点ペアを利用して、さらに対応点ペアを検出する。具体的には、平面射影変換行列生成装置２０００は、特徴点ペアに含まれる第１画像１０上の特徴点から第１方向に第１距離離れた派生点と、その特徴点ペアに含まれる第２画像２０上の特徴点から第２方向に第２距離離れた派生点とのペアを検出する。以下、このようにして検出される派生点のペアを、派生点ペアとも呼ぶ。

第１方向、第１距離、第２方向、及び第２距離は、特徴点について算出される特徴量を利用して決定される。例えば特徴量として、SIFT などといったスケールと主軸方向について不変な特徴量（以下、スケール不変特徴量）が利用されるとする。この場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量において定まる主軸方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量において定まる主軸方向が利用される。また、第１距離としては、例えば、第１画像１０上の特徴点について算出された特徴量において定まるスケールの大きさが利用される。同様に、第２距離としては、例えば、第２画像２０上の特徴点について算出された特徴量において定まるスケールの大きさが利用される。

図２は、特徴点ペアと派生点ペアを例示する図である。図２の例では、（m1,n1）と（m2,n2）がそれぞれ特徴点ペアとして検出されている。ここで、m1 と m2 はそれぞれ第１画像１０上の特徴点であり、n1 と n2 はそれぞれ第２画像２０上の特徴点である。また、特徴点 m1 について算出されたスケール不変特徴量により、スケール a1 と主軸方向α1が定まっている。同様に、特徴点 n1 について算出されたスケール不変特徴量により、スケール b1 と主軸方向β1が定まっている。なお、この例において、方向は、画像の水平方向右向きを基準の０度とする角度で表されている。

平面射影変換行列生成装置２０００は、特徴点 m1 について、その特徴量における主軸方向α1 へ a1 移動させた派生点 p1 を検出する。また、平面射影変換行列生成装置２０００は、特徴点 n1 について、その特徴量における主軸方向β1 へ b1 移動させた派生点 q1 を検出する。その結果、派生点 p1 と派生点 q1 のペア（p1,q1）が、派生点ペアとして検出される。なお、派生点 p1 は、特徴点 m1 を中心とする半径 a1 の円周上において主軸方向にある点とも表現できる。派生点 q1 についても同様である。

同様の方法により、平面射影変換行列生成装置２０００は、第１画像１０上の特徴点 m2 について、その特徴量における主軸方向α2 へ a2 移動させた派生点 p2 を検出する。また、平面射影変換行列生成装置２０００は、第２画像２０上の特徴点 n2 について、その特徴量における主軸方向β2 へ b2 移動させた派生点 q2 を検出する。その結果、派生点ペア（p2,q2）が検出される。

平面射影変換行列生成装置２０００は、検出した４組以上の対応点ペア（２組以上の特徴点ペア、及びそれらそれぞれを用いて検出される派生点ペア）を用いて、平面射影変換行列４０を生成する。

＜作用効果の例＞
特許文献１の発明では、代表画像と従属画像（本開示における第１画像１０と第２画像２０に相当）について、特徴点のペアを４組以上利用して、平面射影変換行列４０の生成が行われる。これに対し、本実施形態の平面射影変換行列生成装置２０００では、特徴点ペアと派生点ペアが合計で４組以上あれば、平面射影変換行列４０を生成できる。そのため、画像から検出する必要がある特徴点ペアの最小数は２組である。よって、特許文献１の発明と比較し、画像から検出する必要がある特徴点ペアの数が少ないという利点がある。

以下、本実施形態の平面射影変換行列生成装置２０００について、より詳細に説明する。

＜機能構成の例＞
図３は、実施形態１の平面射影変換行列生成装置２０００の機能構成を例示するブロック図である。平面射影変換行列生成装置２０００は、第１検出部２０２０、第２検出部２０４０、及び生成部２０６０を有する。第１検出部２０２０は、第１画像１０及び第２画像２０から、２組以上の特徴点ペアを検出する。第２検出部２０４０は、２組以上の特徴点ペアそれぞれを用いて、第１画像１０及び第２画像２０から、２組以上の派生点ペアを検出する。生成部２０６０は、検出した特徴点ペアと派生点ペアを用いて、平面射影変換行列４０を生成する。

＜ハードウエア構成の例＞
平面射影変換行列生成装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、平面射影変換行列生成装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図４は、平面射影変換行列生成装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ５００は、平面射影変換行列生成装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。

例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、平面射影変換行列生成装置２０００の各機能が実現される。上記アプリケーションは、平面射影変換行列生成装置２０００の機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体（DVD ディスクや USB メモリなど）から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

ストレージデバイス５０８は、平面射影変換行列生成装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、平面射影変換行列生成装置２０００の各機能構成部を実現する。

平面射影変換行列生成装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。

＜処理の流れ＞
図４は、実施形態１の平面射影変換行列生成装置２０００によって実行される処理の流れを例示するフローチャートである。第１検出部２０２０は第１画像１０及び第２画像２０を取得する（Ｓ１０２）。第１検出部２０２０は、第１画像１０及び第２画像２０を用いて、２組以上の特徴点ペアを検出する（Ｓ１０４）。第２検出部２０４０は、第１画像１０及び第２画像２０を用いて、各特徴点ペアについての派生点ペアを検出する（Ｓ１０６）。生成部２０６０は、特徴点ペアと派生点ペアを用いて、平面射影変換行列４０を生成する（Ｓ１０８）。

＜第１画像１０と第２画像２０について＞
第１画像１０と第２画像２０は、任意のカメラによって生成された任意の撮像画像である。ただし、第１画像１０と第２画像２０は、少なくともその一部に、互いに同一の場所が撮像された画像領域が含まれている。例えば、同じ建物や人物を互いに異なる位置や角度から撮像することにより、第１画像１０と第２画像２０が生成される。

＜第１画像１０と第２画像２０の取得：Ｓ１０２＞
第１検出部２０２０は、第１画像１０及び第２画像２０を取得する（Ｓ１０２）。第１検出部２０２０が第１画像１０と第２画像２０を取得する方法は任意である。例えば第１検出部２０２０は、第１画像１０と第２画像２０を、それぞれが格納されている記憶装置から取得する。なお、第１画像１０と第２画像２０は、同じ記憶装置に格納されていてもよいし、互いに異なる記憶装置に格納されていてもよい。その他にも例えば、第１検出部２０２０は、第１画像１０を生成したカメラと第２画像２０を生成したカメラのそれぞれから、第１画像１０と第２画像２０を取得してもよい。

＜特徴点ペアの検出：Ｓ１０４＞
第１検出部２０２０は、第１画像１０と第２画像２０から特徴点ペアを２組以上検出する（Ｓ１０４）。そのために、第１検出部２０２０は、第１画像１０と第２画像２０のそれぞれから、特徴点の検出を行う。ここで、第１画像１０と第２画像２０から検出する特徴点は、任意の種類の特徴点でよい。また、画像から特徴点を検出する技術には、既存の技術を利用することができる。

また、第１検出部２０２０は、第１画像１０と第２画像２０のそれぞれから検出された特徴点について、その特徴点を含む領域の特徴量を算出する。ここで算出される特徴量は、例えば、SIFT などのようなスケール不変特徴量や、Hessian-Affine や Affine-SIFT などのようなアフィン変形について不変な特徴量（以下、アフィン不変特徴量）である。これらの特徴量の算出方法についても、既存の技術を利用することができる。

第１検出部２０２０は、各特徴点について算出した特徴量を利用して、第１画像１０上の複数の特徴点と第２画像２０上の複数の特徴点との間で、特徴点マッチングを行う。すなわち、第１検出部２０２０は、第１画像１０上の特徴点と第２画像２０上の特徴点とを、特徴量の類似度合いに基づいて互いに対応づける。このように、特徴点マッチングによって対応づけられた第１画像１０上の特徴点と第２画像２０上の特徴点が、特徴点ペアとして利用できる。なお、特徴点マッチングによって２つの画像から対応点を検出する技術には、既存の技術を利用することができる。

第１検出部２０２０は、このようにして対応づけられる第１画像１０上の特徴点と第２画像２０上の特徴点のペアのうち、任意の２組以上をそれぞれ特徴点ペアとして検出する。例えば第１検出部２０２０は、第１画像１０から検出された特徴点のうちの１つを任意に選択し、その特徴点と特徴点マッチングによって対応づけられる第２画像２０上の特徴点を特定する。すなわち、第１検出部２０２０は、第１画像１０から抽出した特徴点について算出された特徴量と十分に類似する（特徴量の類似度が閾値以上である）第２画像２０上の特徴点を特定し、特定した特徴点と第１画像１０から抽出した特徴点とのペアを、特徴点ペアとして検出する。第１検出部２０２０は、当該処理を任意の回数繰り返すことで、任意の数の特徴点ペアを検出する。

なお、特徴点ペアを検出する処理の流れは、上述した流れに限定されない。例えば第１検出部２０２０は、第２画像２０から検出された特徴点のうちの１つを任意に選択し、その特徴点と対応する特徴点を第１画像１０から検出することで、特徴点ペアを検出してもよい。

＜派生点ペアの検出：Ｓ１０６＞
第２検出部２０４０は、各特徴点ペアについて、派生点ペアを検出する（Ｓ１０６）。第１画像１０上の特徴点から検出される派生点は、第１画像１０上の特徴点から第１方向に第１距離離れた点である。一方、第２画像２０上の特徴点から検出される派生点は、第２画像２０上の特徴点から第２方向に第２距離離れた点である。

前述したように、第１方向、第１距離、第２方向、及び第２距離は、特徴点について算出される特徴量を利用して決定される。例えば前述したように、スケール不変特徴量を利用する場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量における主軸方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量における主軸方向が利用される。

ただし、第１方向と第２方向はそれぞれ、主軸方向を基準として定まる方向であればよく、主軸方向とは異なる方向であってもよい。例えば第１方向と第２方向はそれぞれ、主軸方向と逆方向（１８０度異なる方向）や、主軸方向から所定角度（例えば、＋９０度）回転した方向などであってもよい。

ここで、第１方向は、或る特徴点ペアに含まれる第１画像１０上の特徴点とその派生点、及び別の特徴点ペアに含まれる第１画像１０上の特徴点とその派生点のいずれもが同一の直線を通らないように定められることが好適である。この場合、２つの特徴点及び２つの派生点で形成されるべき四角形が直線へと縮退してしまうためである。

そこで例えば第２検出部２０４０は、第１画像１０上の２つの特徴点と２つの派生点が同一の直線上に位置するか否かを判定し、１つの直線上に位置する場合には、第１方向を変更して派生点の検出を再度行ってもよい。例えば、第１方向の初期値を主軸方向に設定した状態で、派生点の検出が行われる。そして、第１画像１０上の２つの特徴点と２つの派生点が同一の直線上に位置する場合には、第２検出部２０４０は、第１方向を主軸方向から所定方向ずらした上で、再度派生点の検出を行う。なお、複数の点が１つの直線上に位置するか否かを判定する技術には、既存の技術を利用することができる。

上述した縮退は、第２画像２０でも同様に発生しうる。そこで第２検出部２０４０は、同様の方法で、第２画像２０から検出する特徴点と派生点についても、１つの直線上に位置しないようにすることが好適である。

第１距離としては、第１画像１０上の特徴点について算出された特徴量におけるスケールの大きさの所定倍が利用される。同様に、第２距離としては、第２画像２０上の特徴点について算出された特徴量におけるスケールの大きさの所定倍が利用される。第１距離の算出に利用する所定倍と第２距離の算出に利用される所定倍は、互いに等しい値とする。所定倍＝１倍とすれば、スケールの値がそのまま利用される。図１の例は、所定倍＝１倍とした例である。

特徴量は、スケール不変特徴量には限定されず、アフィン不変特徴量であってもよい。この場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量について定まる特定軸の方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量について定まる特定軸の方向が利用される。特定軸は、例えば、短軸又は長軸である。ただし、第１方向と第２方向はそれぞれ、短軸方向又は長軸方向の逆方向（１８０度異なる方向）や、短軸方向又は長軸方向所定角度回転した方向であってもよい。ただし、第１方向と第２方向は、互いに同じ種類の方向とする。すなわち、第１方向を短軸方向とした場合には第２方向も短軸方向とし、第１方向を長軸方向とした場合には第２方向も長軸方向とする。

第１距離としては、第１画像１０上の特徴点について算出された特徴量について定まる特定軸の長さの所定倍が利用される。同様に、第２距離としては、第２画像２０上の特徴点について算出された特徴量について定まる特定軸の長さの所定倍が利用される。第１距離の算出に利用する所定倍と第２距離の算出に利用される所定倍は、互いに等しい値とする。

第２検出部２０４０は、１つの特徴点ペアから２組以上の派生点ペアを検出してもよい。例えばスケール不変特徴量を利用するケースにおいて、第２検出部２０４０が、特徴点ペアに含まれる第１画像１０上の特徴点から、２つの派生点を検出するとする。この場合、例えば、一方の派生点 p11 については、「第１方向＝主軸方向、第１距離＝スケールの k1 倍」とし、他方の派生点 p12 については、「第１方向＝主軸と逆方向、第１距離＝スケールの k2 倍」とする。ここで、k1 と k2 は等しくてもよいし、等しくなくてもよい。同様に、第２検出部２０４０は、特徴点ペアに含まれる第２画像２０上の特徴点からも、２つの派生点を検出する。一方の派生点 q11 については、「第２方向＝主軸方向、第２距離＝スケールの k1 倍」とし、他方の派生点 q12 については、「第２方向＝主軸と逆方向、第２距離＝スケールの k2 倍」とする。そして、第２検出部２０４０は、（p11,q11）と（p12,q12）をそれぞれ、派生点ペアとして検出する。

その他にも例えば、アフィン不変特徴量を利用するケースにおいて、第２検出部２０４０が、特徴点ペアに含まれる第１画像１０上の特徴点から、４組の派生点を検出するとする。この場合、例えば、派生点 p11 については、「第１方向＝短軸方向、第１距離＝短軸の長さの k1 倍」とし、派生点 p12 については、「第１方向＝短軸方向と逆方向、第１距離＝短軸の長さの k2 倍」とし、派生点 p13 については、「第１方向＝長軸方向、第１距離＝長軸の長さの k3 倍」とし、派生点 p14 については、「第１方向＝長軸方向と逆方向、第１距離＝長軸の長さの k4 倍」とする。ここで、k1、k2、k3 及び k4 は、それぞれ等しくてもよいし、等しくなくてもよい。

同様に、第２検出部２０４０は、特徴点ペアに含まれる第２画像２０上の特徴点からも、４組の派生点 q11、q12、q13、及び q14 を検出する。派生点 q11 については、「第２方向＝短軸方向、第２距離＝短軸の長さの k1 倍」とし、派生点 q12 については、「第２方向＝短軸方向と逆方向、第２距離＝短軸の長さの k2 倍」とし、派生点 q13 については、「第２方向＝長軸方向、第２距離＝長軸の長さの k3 倍」とし、派生点 q14 については、「第２方向＝長軸方向と逆方向、第２距離＝長軸の長さの k4 倍」とする。

そして、第２検出部２０４０は、（p11,q11）、（p12,q12）、（p13,q13）、及び（p14,q14）をそれぞれ、派生点ペアとして検出する。

＜平面射影変換行列４０の生成：Ｓ１０８＞
生成部２０６０は、４組以上の対応点ペア（特徴点ペアと派生点ペア）を用いて、平面射影変換行列４０を生成する。ここで、対応点ペアを４組以上用いて平面射影変換行列を算出する技術には、既存の技術を利用することができる。

例えば平面射影変換行列４０は、以下の式（２）で表される最適化問題を解くことによって算出される。

ここで、ベクトル h は行列 H のベクトル表現、行列 M はベクトル m とベクトル n から構成される係数行列である。

なお、式（２）は、ラグランジュ未定乗数法を用いることで、線形最小二乗法に帰着することが知られている。そして、線形最小二乗法による計算方法には、DLT（Direct Linear Transform）法などが利用できる。

ここで、生成部２０６０は、対応点ペアに含まれる各点の座標をそのまま利用する代わりに、正規化した座標を利用してもよい。こうすることで、数値計算の誤差を低減することができる。例えば座標の正規化としては、座標値の平均がゼロ、かつ、分散が√2となるような相似変換を施す手法がある。このように正規化した座標値を用いる場合、生成部２０６０は、DLT 法等の手法によって得られた行列に対して、相似変換の逆変換を施すことで、平面射影変換行列４０を生成することができる。

ここで、派生点ペアの検出を行う前に、特徴点ペアの各点の座標の正規化が行われてもよい。この場合、第２検出部２０４０は、スケール不変特徴量のスケールの大きさや、アフィン不変特徴量の特定軸の長さについても同様の変換を施した上で、派生点ペアの検出を行う。

＜結果の出力＞
平面射影変換行列生成装置２０００は、生成した平面射影変換行列４０を含む情報（以下、出力情報）を出力する。出力情報の出力態様は任意である。例えば平面射影変換行列生成装置２０００は、出力情報を、平面射影変換行列生成装置２０００からアクセス可能なディスプレイ装置に表示させる。その他にも例えば、平面射影変換行列生成装置２０００は、出力情報を、平面射影変換行列生成装置２０００からアクセス可能な記憶装置に格納する。その他にも例えば、平面射影変換行列生成装置２０００は、出力情報を、平面射影変換行列生成装置２０００と通信可能に接続されている他の装置へ送信する。

出力情報は、平面射影変換行列４０のみを含んでもよいし、平面射影変換行列４０以外の情報をさらに含んでもよい。例えば出力情報には、平面射影変換行列４０が、どの画像からどの画像への射影変換に用いられる行列なのかが把握可能な情報も含まれることが好適である。そこで例えば、出力情報は、変換元の画像の識別子（例えば、ファイル名や画像データそのもの）として第１画像１０の識別子を含み、かつ、変換先の画像の識別子として第２画像２０の識別子を含む。

＜平面射影変換行列４０の精度の向上＞
平面射影変換行列生成装置２０００は、以下の手法により、より精度の高い平面射影変換行列４０を生成してもよい。ここでいう平面射影変換行列４０の精度とは、第１画像１０上の点 mi を平面射影変換行列４０を用いて第２画像２０上に射影した場合に、当該射影により得られた第２画像２０上の点 ci と、第１画像１０上の点 mi に対応する第２画像２０上の点 ni との間の誤差の小ささを意味する。これらの誤差が小さいほど、平面射影変換行列４０によって、第１画像１０上の点が第２画像２０上の点へ正確に射影されていることとなるため、平面射影変換行列４０の精度が高いと言える。

平面射影変換行列生成装置２０００は、平面射影変換行列４０の生成に利用する対応点ペアを様々に変えながら、平面射影変換行列４０を複数生成する。そして、平面射影変換行列生成装置２０００は、それら複数の平面射影変換行列４０の中から最も精度が高いものを選択し、当該選択した平面射影変換行列４０を含む出力情報を出力する。

例えば平面射影変換行列生成装置２０００は、RANSAC を利用して、精度の高い平面射影変換行列４０の生成を実現する。図６は、RANSAC を用いる平面射影変換行列生成装置２０００によって実行される処理の流れを例示するフローチャートである。

第１検出部２０２０は、第１画像１０及び第２画像２０を取得する（Ｓ２０２）。Ｓ２０４からＳ２１８は、その実行回数が最大反復回数Ｎに達するまで繰り返し実行されるループ処理Ｌ１である。Ｓ２０４において、平面射影変換行列生成装置２０００は、ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上であるか否かを判定する。ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上である場合、図６の処理はＳ２２０に進む。一方、ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上でない場合、図６の処理はＳ２０６に進む。

第１検出部２０２０は、第１画像１０及び第２画像２０から、複数の特徴点ペアを検出する（Ｓ２０６）。第２検出部２０４０は、Ｓ２０６で検出された特徴点ペアの中から任意の２組の特徴点ペアを選択し、選択した各特徴点ペアについて派生点ペアを検出する（Ｓ２０８）。生成部２０６０は、選択した２組の特徴点ペア、及びそれらを用いて検出された２組の派生点ペアを用いて、平面射影変換行列４０を生成する（Ｓ２１０）。

平面射影変換行列生成装置２０００は、Ｓ２０６で検出された複数の特徴点ペアのうち、平面射影変換行列４０によって正しく変換される特徴点ペアの個数を特定する（Ｓ２１２）。ここで、「特徴点ペアが平面射影変換行列４０によって正しく変換される」とは、特徴点ペアに含まれる第１画像１０上の点 mi を、平面射影変換行列４０によって第２画像２０上に射影した場合に、当該射影変換により得られた第２画像２０上の点 ci と、特徴点ペアに含まれる第２画像２０上の点 ni との間の誤差が十分に小さい（例えば、閾値未満である）ことを意味する。なお、２つの点の誤差は、例えば、これらの距離の長さで表される。以下、平面射影変換行列４０によって正しく変換される特徴点ペア（上記誤差が閾値未満となる特徴点ペア）を「正しい特徴点ペア」と呼び、平面射影変換行列４０によって正しく変換されない特徴点ペア（上記誤差が閾値以上となる特徴点ペア）を、「正しくない特徴点ペア」と呼ぶ。

正しい特徴点ペアの個数を特定するために、平面射影変換行列生成装置２０００は、各特徴点ペアについて、１）特徴点ペアに含まれる第１画像１０上の点 mi を平面射影変換行列４０で射影変換することで第２画像２０上の点 ci を算出し、２）算出した第２画像２０上の点 ci と、特徴点ペアに含まれる第２画像２０上の点 mi との誤差を算出し、３）算出した誤差が閾値未満であるか否かを判定する。そして、平面射影変換行列生成装置２０００は、誤差が閾値未満となった特徴点ペア（すなわち、正しい特徴点ペア）の個数を特定する。

Ｓ２１４において、平面射影変換行列生成装置２０００は、正しい特徴点ペアの個数が、これまでに実行されたループ処理Ｌ１で算出された個数の中で最大であるか否かを判定する。正しい特徴点ペアの個数が、これまでに算出された個数の中で最大でない場合（Ｓ２１４：ＮＯ）、図６の処理はＳ２１８に進む。一方、正しい特徴点ペアの個数が、これまでに算出された個数の中で最大である場合（Ｓ２１４：ＹＥＳ）、平面射影変換行列生成装置２０００は、ループ処理Ｌ１の最大反復回数を更新する（Ｓ２１６）。

ここで、最大反復回数は、例えば以下の式（３）で表される。

ここで、N は最大反復回数を表す。p は N 回中に１回は、平面射影変換行列４０によって正しく変換される特徴点ペアが存在する確率を表す。s は、平面射影変換行列４０の生成に利用した対応点ペアの個数（前述の例では４）を表す。εは、特徴点ペアの総数に占める、正しくない特徴点ペアの割合である。

ここで、εの真の値は未知であるため、その推定値が利用される。具体的には、平面射影変換行列生成装置２０００は、これまでに実行したループ処理Ｌ１において算出された正しい特徴点ペアの個数のうち、最大の個数を利用して推定される。この最大個数を Km と表記し、かつ、特徴点ペアの総数を Kall と表記すれば、εは (Kall-Km)/Kall と推定することができる。

Ｓ２１８はループ処理Ｌ１の終端であるため、図６の処理はＳ２０４に戻る。

ループ処理Ｌ１の繰り返し実行が終了すると、図６の処理はＳ２２０に進む。Ｓ２２０において、平面射影変換行列生成装置２０００は、複数回実行されたループ処理Ｌ１それぞれで生成された平面射影変換行列４０のうち、正しい特徴点ペアの個数が最大であったループ処理Ｌ１において生成された平面射影変換行列４０を、出力情報に含めて出力する。こうすることで、複数生成された平面射影変換行列４０のうち、精度が最大である平面射影変換行列４０が出力されるようになる。

ここで、本実施形態の平面射影変換行列生成装置２０００では、特徴点ペアを利用して派生点ペアを検出するため、RANSAC の１回の試行（図６のループ処理Ｌ１の１回の実行）で必要とされるサンプル点の数が２（式（３）において s=2）となる。そのため、特許文献１の発明のように４つのサンプル点を必要とするケース（式（３）において s=4 となるケース）と比較し、最大反復回数 N がの値が指数関数的に減少する。よって、RANSAC の計算量が削減される。

なお、４組よりも少ない対応点ペアで平面射影変換行列を生成する方法として、スケール不変特徴点を２組用いる方法が、非特許文献１に記載されている。非特許文献１に記載されている方法では、スケール不変特徴点をより自由度の高いアフィン不変特徴点へと変換するための拘束条件を解くことで、平面射影変換行列を算出している。

非特許文献１の手法では、対応点ペアの数が２組であるため、RANSAC の最大反復回数が、本実施形態の平面射影変換行列生成装置２０００と同等となる。しかしながら、本実施形態の平面射影変換行列生成装置２０００には、非特許文献１の手法と比較し、全体的な計算量が少なくなるという利点がある。例えば、特徴点ペアを選択してから平面射影変換行列４０を生成するまでの処理に要する計算量が２割少ない。また、特徴点ペアについての誤差計算の回数が、最大で４分の１となる。

＜＜平面射影変換行列４０の生成の省略＞＞
平面射影変換行列生成装置２０００は、ループ処理Ｌ１において毎回平面射影変換行列４０の生成を行うのではなく、特定の条件が満たされた場合のみ、平面射影変換行列４０の生成を行うようにしてもよい。具体的には、平面射影変換行列生成装置２０００は、Ｓ２０６で選択された２組の特徴点ペア、及びそれらを用いて検出された２組の派生点ペアを利用して、符号付面積を算出する。そして、符号付き面積の符号の正しさに基づいて、平面射影変換行列４０の生成を行うか否かを判定する。以下、具体的に説明する。

まず、３点の斉次化した画像座標 {x1, x2, x3} が与えられたとき、符号付面積は以下の式（４）で表される。

式（４）は、いわゆる 3x3 行列の行列式に等しい。４組の対応点ペアが与えられたとき、それらがいずれも正しい対応点ペアであれば４組の中から任意の３組を選んで式（４）を計算すると、その符号は必ず互いに同符号となる。例えば、選択された特徴点ペアが（m1,n1）と（m2,n2）であり、これらを用いて検出された派生点ペアが（p1,q1）と（p2,q2）であるとする。この場合において、例えば、（m1,n1）、（m2,n2）、及び（p1,q1）の３組を符号付面積の算出対象として選べば、det(m1,m2,p1) と det(n1,n2,q1) が算出される。そして、４組の対応点ペアがいずれも正しい対応点ペアなのであれば、算出された２つの符号付面積の符号は、互いに同符号となる。

そこで平面射影変換行列生成装置２０００は、４組の対応点ペアから３組の対応点ペアを選び、それらについて上述した符号付面積の算出を行って、算出された２つの符号付面積の符号が等しいか否かを判定する。そして、符号付面積の符号が正しい場合、平面射影変換行列生成装置２０００は、Ｓ２１０以降の処理を実行する。一方、符号付面積の符号が正しくない場合、平面射影変換行列生成装置２０００は、平面射影変換行列４０の生成を行わず、ループ処理Ｌ１の先頭に戻る。図７は、図６のフローチャートに、符号付面積を利用して平面射影変換行列４０の生成を行うか否かを判定する処理が加えられたものを例示する図である。当該判定の処理はＳ３０２である。

ここで、４組の対応点ペアから３組の対応点ペアを選ぶ場合、４通りの選び方がある。平面射影変換行列生成装置２０００はこれら４通りの選び方のいずれか１つ以上についてそれぞれ、前述した符号付面積の算出を行って、符号が互いに同一であるか否かを判定する。例えば平面射影変換行列生成装置２０００は、４通り全てについて当該判定を行う。そして、平面射影変換行列生成装置２０００は、全てのケースにおいて、算出される２つの符号付面積の符号が互いに等しい場合に、平面射影変換行列４０の生成を行う（Ｓ３０２において、符号付面積の符号が正しいと判定する）。

＜＜RANSAC 以外の利用＞＞
平面射影変換行列４０の精度を高める方法は、RANSAC を利用する方法に限定されない。例えば、RANSAC には様々な派生が存在するため、それらを選択的に組み合わせることが可能である。例えば、PROSAC（Progressive Sample Consensus）を用いる場合、特徴量のマッチングスコアが小さい順に特徴点ペアが選択される。すなわち、Ｓ２０８において、特徴点ペアがランダムに選択される代わりに、特徴量のマッチングスコアが小さい（すなわち、互いの特徴量の類似度合いが大きい）順に特徴点ペアが選択される。

その他にも例えば、LO-RANSAC（Locally Optimized RANSAC）を用いてもよい。この場合、Ｓ２１４において、正しい特徴点ペアの個数が最大であると判定された場合（Ｓ２１４：ＹＥＳ）に、対応点ペアを用いて式（２）を解くように構成された生成部２０６０に処理を実行させてもよいし、M-estimatorなどの重みづけ最小二乗法を用いてもよい。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出部と、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成部と、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、平面射影変換行列生成装置。
（付記２）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記１に記載の平面射影変換行列生成装置。
（付記３）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記１に記載の平面射影変換行列生成装置。
（付記４）
前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記平面射影変換行列の生成を繰り返し行い、生成された複数の前記平面射影変換行列のうち、最も精度が高いものを出力する、付記１から３いずれか一項に記載の平面射影変換行列生成装置。
（付記５）
前記特徴点ペアと前記派生点ペアから２つの点を抽出して符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記平面射影変換行列の生成を行うか否かを判定する、付記１から４いずれか一項に記載の平面射影変換行列生成装置。
（付記６）
コンピュータによって実行される制御方法であって、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出ステップと、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成ステップと、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、制御方法。
（付記７）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記６に記載の制御方法。
（付記８）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記６に記載の制御方法。
（付記９）
前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記平面射影変換行列の生成を繰り返し行い、生成された複数の前記平面射影変換行列のうち、最も精度が高いものを出力する、付記６から８いずれか一項に記載の制御方法。
（付記１０）
前記特徴点ペアと前記派生点ペアから２つの点を抽出して符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記平面射影変換行列の生成を行うか否かを判定する、付記６から９いずれか一項に記載の制御方法。
（付記１１）
プログラムが格納されているコンピュータ可読媒体であって、
前記プログラムは、コンピュータに、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出ステップと、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成ステップと、を実行させ、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、コンピュータ可読媒体。
（付記１２）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記１１に記載のコンピュータ可読媒体。
（付記１３）
前記第１方向と第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記１１に記載のコンピュータ可読媒体。
（付記１４）
前記コンピュータに、前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記平面射影変換行列の生成を繰り返し行い、生成された複数の前記平面射影変換行列のうち、最も精度が高いものを出力するステップを実行させる、付記１１から１３いずれか一項に記載のコンピュータ可読媒体。
（付記１５）
前記コンピュータに、前記特徴点ペアと前記派生点ペアから２つの点を抽出して符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記平面射影変換行列の生成を行うか否かを判定するステップを実行させる、付記１１から１４いずれか一項に記載のコンピュータ可読媒体。

１０第１画像
２０第２画像
４０平面射影変換行列
５００コンピュータ
５０２バス
５０４プロセッサ
５０６メモリ
５０８ストレージデバイス
５１０入出力インタフェース
５１２ネットワークインタフェース
２０００平面射影変換行列生成装置
２０２０第１検出部
２０４０第２検出部
２０６０生成部

Claims

第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出部と、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成部と、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて定まる、平面射影変換行列生成装置。
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出部と、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成部と、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて定まる、平面射影変換行列生成装置。
前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記平面射影変換行列の生成を繰り返し行い、生成された複数の前記平面射影変換行列のうち、最も精度が高いものを出力する、請求項１又は２に記載の平面射影変換行列生成装置。
前記特徴点ペアと前記派生点ペアから２つの点を抽出して符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記平面射影変換行列の生成を行うか否かを判定する、請求項１から３いずれか一項に記載の平面射影変換行列生成装置。
コンピュータによって実行される制御方法であって、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出ステップと、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成ステップと、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて定まる、制御方法。
コンピュータによって実行される制御方法であって、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出ステップと、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成ステップと、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて定まる、制御方法。
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出ステップと、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成ステップと、をコンピュータに実行させ、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて定まる、プログラム。
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを２組以上検出する第１検出ステップと、
各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点から前記第２画像上の点への平面射影変換を表す平面射影変換行列を生成する生成ステップと、をコンピュータに実行させ、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて定まる、プログラム。