JP5962497B2 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置および画像処理プログラムに関する。

複数の画像の特徴点を用いて画像同士の位置合わせを行うことで、画像間の差分を抽出し、各画像から互いに異なっている領域を特定する技術がある。この技術において、特徴点とは、画像から抽出された代表的な画像位置を示す点である。特徴点の抽出には、例えば、画像に含まれる建物等の物体の角や交差点等の部分が用いられる。画像から抽出した特徴点と他の画像の特徴点とを対応付け、対応付けられた特徴点同士の位置を合わせることで、複数の画像間の位置合わせが行われる。

また、画像の特徴点を用いた技術としては、例えば、旧空中写真画像と新空中写真画像から特徴点を抽出し、新旧空中写真画像の特徴点の対応関係を特定することによって旧空中写真画像と新空中写真画像との位置合わせのためのパラメータを計算する技術がある。

特開２００５−１７３１２８号公報

人工衛星や航空機から撮影された２つの画像を位置合わせするケースでは、それらの２つの画像は異なる位置から撮影されたために撮影角度が異なっていることがある。撮影角度が異なる２つの画像間では、高さのある建物の写り方が異なる。このように撮影角度によって写り方が変化する被写体から抽出された特徴点を画像間で対応付けて、画像同士の位置合わせを行うと、撮影角度によって写り方が変化しない平地領域の位置を精度よく合わせることができないという問題がある。

一側面では、本発明は、画像間での特徴点の対応付けを適正化することが可能な画像処理方法、画像処理装置および画像処理プログラムを提供することを目的とする。

１つの案では、画像処理装置による次のような処理を含む画像処理方法が提供される。この画像処理方法において、画像処理装置は、第１の画像および第２の画像から抽出された特徴点のそれぞれについて、各特徴点からこの特徴点に最も近い同一画像上の他の特徴点への第１の方向に基づいて第２の方向を決定して、この特徴点から第２の方向に沿ってエッジを検出する。また、画像処理装置は、第１の画像から抽出された特徴点のそれぞれと、第２の画像から抽出された特徴点のそれぞれとの間で、各特徴点とこの特徴点に対応する上記の他の特徴点およびエッジとの位置関係の類似度を判定し、類似度の判定結果に基づいて、第１の画像と第２の画像のそれぞれから抽出された特徴点同士を対応付ける。

また、１つの案では、上記の画像処理方法と同様な処理を行う画像処理装置が提供される。
さらに、１つの案では、上記の画像処理方法と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。

１態様によれば、画像間での特徴点の対応付けを適正化することができる。

第１の実施の形態に係る画像処理装置の機能構成例およびその動作例を示す図である。 第２の実施の形態に係る画像処理装置のハードウェア構成例を示す図である。 画像処理装置の機能の構成例を示すブロック図である。 特徴点情報に記憶される情報の例を示す図である。 特徴量マトリクスの構成例を示す図である。 第１マトリクス情報に記憶される情報の例を示す図である。 第２マトリクス情報に記憶される情報の例を示す図である。 特徴量マトリクスの生成処理例を示す図である。 特徴点ペア情報に記憶される情報の例を示す図である。 特徴量マトリクスの拡大縮小処理を説明するための図である。 特徴量マトリクスの回転処理について説明するための図である。 回転処理に伴う楕円の生成処理例を示す図である。 最終的に生成される特徴量マトリクスの外形の例を示す図である。 撮影角度の違いによる被写体の写り方の違いの例を示す図である。 画像の位置合わせの例を示す図である。 楕円形状の比較に基づく特徴点ペアの選別処理について説明するための図である。 位置ズレ量の分布の偏りが大きい場合の例を示す図である。 位置ズレ量の分布の偏りが小さい場合の例を示す図である。 画像処理装置の処理例を示すフローチャートである。 特徴点ペアの生成処理の例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像処理装置の機能構成例およびその動作例を示す図である。画像処理装置１は、第１の画像から抽出された特徴点と、第２の画像から抽出された特徴点との対応付けを行うことが可能な装置である。対応付けられた特徴点に関する情報は、例えば、第１の画像と第２の画像とを位置合わせする際に利用される。

画像処理装置１は、検出部２および判定部３を有する。検出部２および判定部３の処理は、例えば、画像処理装置１が備えるプロセッサが所定のプログラムを実行することによって実現される。

検出部２は、第１の画像および第２の画像から抽出された特徴点のそれぞれについて、各特徴点からその特徴点に最も近い同一画像上の他の特徴点への第１の方向に基づいて第２の方向を決定し、その特徴点から第２の方向に沿ってエッジを検出する。これにより検出部２は、特徴点それぞれについて、最も近い他の特徴点およびエッジの各位置を判別する。

判定部３は、第１の画像から抽出された特徴点のそれぞれと、第２の画像から抽出された特徴点のそれぞれとの間で、各特徴点とその特徴点に対応する最も近い他の特徴点およびエッジとの位置関係の類似度を判定する。判定部３は、類似度の判定結果に基づいて、第１の画像と第２の画像のそれぞれから抽出された特徴点同士を対応付ける。

このような処理により、画像間での特徴点の対応付けを適正化することができる。例えば、上記処理によって対応付けられた特徴点のペアを用いることで、第１の画像と第２の画像とを高精度で位置合わせすることができる。

以下、例として図１に示す画像１１，１２を用いて、特徴点の対応付けの適正化効果について説明する。
画像１１，１２は、人工衛星や航空機などによって上空から撮影された写真である。画像１１，１２には同一の被写体２１，２２が写っており、被写体２１は、建物など、高さを有するものである一方、被写体２２は、道路や駐車場など、高さを有さないものであるとする。

また、画像１１と画像１２とは、カメラの位置の違いから撮影角度が互いに異なっているものとする。このように撮影角度が異なる画像１１と画像１２とでは、高さを有する被写体２１の写り方が異なる。一方、高さを有さない被写体２２については、画像１１と画像１２とで写り方に変化がない。

ここで、画像１１から特徴点Ｐ１ａ，Ｐ２ａが抽出され、画像１２から特徴点Ｐ１ｂ，Ｐ２ｂが抽出されたものとする。特徴点Ｐ１ａと特徴点Ｐ１ｂ、特徴点Ｐ２ａとＰ２ｂは、ともに被写体２１の上面における同一箇所に対応するものとする。そして、特徴点Ｐ１ａと特徴点Ｐ１ｂとを対応付けて特徴点ペアを生成し、特徴点Ｐ１ａと特徴点Ｐ１ｂの各位置が一致するように画像１１と画像１２とを位置合わせすることを考える。

前述のように画像１１と画像１２とは撮影角度が異なることから、画像１１における特徴点Ｐ１ａと被写体２２との位置関係は、画像１２における特徴点Ｐ１ｂと被写体２２との位置関係とは一致しない。このような場合に、特徴点Ｐ１ａと特徴点Ｐ１ｂの各位置が一致するように画像１１，１２の位置合わせが行われると、被写体２２など、高さを有さない被写体の位置ズレが発生し、これらの被写体を精度よく位置合わせすることができない。高さを有さない被写体の位置ズレを発生させないようにするには、特徴点Ｐ１ａ，Ｐ１ｂを対応付けた特徴点ペアを、位置合わせの際に利用する特徴点ペアから除外することが望ましい。

これに対して、画像処理装置１の検出部２は、画像１１に関して、特徴点Ｐ１ａに最も近い他の特徴点として特徴点Ｐ２ａを抽出し、特徴点Ｐ１ａから特徴点Ｐ２ａへの方向を第１の方向と決定する。そして、検出部２は、特徴点Ｐ１ａから、第１の方向に基づく第２の方向に対してエッジを探索し、点Ｐ３をエッジと判定する。一方、検出部２は、画像１２に関して、特徴点Ｐ１ｂに最も近い他の特徴点として特徴点Ｐ２ｂを抽出し、特徴点Ｐ１ｂから特徴点Ｐ２ｂへの方向を第１の方向と決定する。そして、検出部２は、特徴点Ｐ１ｂから、第１の方向に基づく第２の方向に対してエッジを探索し、点Ｐ４をエッジと判定する。なお、図１の例では、第１の方向に対して右回り方向に９０°の方向を第２の方向とするが、第２の方向は第１の方向に応じて任意に設定することができる。

画像処理装置１の判定部３は、特徴点Ｐ１ａ，Ｐ２ａおよび点Ｐ３の位置関係と、特徴点Ｐ１ｂ，Ｐ２ｂおよび点Ｐ３の位置関係とを比較し、これらの類似度を判定する。ここで、位置関係を示す情報とは、例えば、注目する特徴点（特徴点Ｐ１ａ，Ｐ１ｂに対応）から、最も近い他の特徴点への線分の長さと、検出されたエッジへの線分の長さとの比とすることができる。あるいは、注目する特徴点、最も近い他の特徴点およびエッジの各位置に基づいて所定の手順により形成される図形を示す情報であってもよい。特徴点Ｐ１ａ，Ｐ２ａおよび点Ｐ３の位置関係と、特徴点Ｐ１ｂ，Ｐ２ｂおよび点Ｐ３の位置関係とは一致せず、これらの類似度は所定のしきい値より低くなる。

また、図１の例では、画像１１における特徴点Ｐ１ａから特徴点Ｐ２ａへの距離や方向と、画像１２における特徴点Ｐ１ｂから特徴点Ｐ２ｂへの距離や方向が一致しているが、場合によっては、これらの距離または方向が一致しないこともある。このような場合にも、特徴点Ｐ１ａ，Ｐ２ａおよび点Ｐ３の位置関係と、特徴点Ｐ１ｂ，Ｐ２ｂおよび点Ｐ３の位置関係とは一致しない。

被写体２１のように撮影角度が異なると写り方が変わる被写体の同一箇所から抽出された特徴点のペアについては、上記手順で位置関係を比較すると、位置関係が一致しない可能性が高く、これらの類似度が低くなる可能性が高い。一方、地表面にある被写体２２のように撮影角度が異なっていても写り方が変わらない被写体の同一箇所から抽出された特徴点のペアについては、上記手順で位置関係を比較すると、位置関係が一致する可能性が高く、これらの類似度が高くなる可能性が高い。

従って、判定部３は、位置関係の類似度を基に、位置合わせに用いることが好ましい特徴点ペアと好ましくない特徴点ペアを判別することができ、その結果、画像間で特徴点を適正に対応付けることができる。図１の例では、判定部３は、特徴点Ｐ１ａと特徴点Ｐ１ｂのペアを、対応付けが適正ではないと判定して、位置合わせに用いる特徴点ペアから除外することができる。そして、撮影角度が異なっていても写り方が変わらない被写体を精度よく位置合わせすることができるようになる。

〔第２の実施の形態〕
次に、上記の類似度判定を特徴点マトリクスの楕円の形状に基づいて行うようにした画像処理装置について説明する。図２は、第２の実施の形態に係る画像処理装置のハードウェア構成例を示す図である。

画像処理装置１００は、照合する２つの画像のデータをクライアント２００から受信し、各画像から抽出した特徴点を基に各画像の位置合わせを行う。画像処理装置１００は、位置を合わせた状態で各画像の差分を抽出し、差分の大きい領域を示す情報をクライアント２００に送信する。

照合する各画像は、例えば、人工衛星や航空機などによって上空からほぼ同一の地点が異なる時期に撮影された写真画像である。クライアント２００のユーザは、画像処理装置１００から、各画像間で差分の大きい領域を示す情報を取得することで、例えば、新たに建設された建物など、時間経過によって変化した領域を判別することができる。

画像処理装置１００は、例えば、図２に示すようなコンピュータとして実現される。画像処理装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、画像信号処理部１０４、入力信号処理部１０５、ディスクドライブ１０６および通信インタフェース１０７を有する。これらの各ユニットは、画像処理装置１００内でバス１０８に接続されている。

プロセッサ１０１は、プログラムの命令を実行する演算器を含むプロセッサである。プロセッサ１０１は、ＨＤＤ１０３に記憶されているプログラムやデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。なお、プロセッサ１０１は複数のプロセッサコアを備えてもよく、画像処理装置１００は複数のプロセッサを備えてもよい。

ＲＡＭ１０２は、プロセッサ１０１が実行するプログラムや計算に用いられるデータを一時的に記憶する揮発性メモリである。ＨＤＤ１０３は、ＯＳ（Operation System）やファームウェア、アプリケーションソフトウェアなどのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、画像処理装置１００は、ＳＳＤ（Solid State Drive）などの他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

画像信号処理部１０４は、プロセッサ１０１からの命令に従って、画像処理装置１００に接続されたディスプレイ１０４ａに画像を出力する。ディスプレイ１０４ａとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイなどを用いることができる。

入力信号処理部１０５は、画像処理装置１００に接続された入力デバイス１０５ａから入力信号を取得し、プロセッサ１０１に通知する。入力デバイス１０５ａとしては、マウスやタッチパネルなどのポインティングデバイス、キーボードなどを用いることができる。

ディスクドライブ１０６は、記録媒体１０６ａに記録されたプログラムやデータを読み取る駆動装置である。記録媒体１０６ａとしては、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。ディスクドライブ１０６は、プロセッサ１０１からの命令に従って、記録媒体１０６ａから読み取ったプログラムやデータをＲＡＭ１０２またはＨＤＤ１０３に格納する。なお、画像処理装置１００はディスクドライブ１０６を備えていなくてもよい。

通信インタフェース１０７は、ネットワーク１０７ａを介して、クライアント２００などの他の情報処理装置と通信を行う。
なお、画像処理装置１００は、複数のクライアント２００に接続されて、クライアント２００のそれぞれから照合する２つの画像のデータを受信してもよい。また、照合する２つの画像のデータは、クライアント２００の他、例えば、記録媒体１０６ａを介して画像処理装置１００に入力されてもよい。

なお、クライアント２００も、例えば、図２に示すようなハードウェア構成を有するコンピュータとして実現することができる。
図３は、画像処理装置の機能の構成例を示すブロック図である。画像処理装置１００は、制御部１１０および記憶部１２０を有する。制御部１１０の処理は、例えば、画像処理装置１００のプロセッサ１０１が所定のプログラムを実行することで実現される。なお、制御部１１０の処理の少なくとも一部が、専用のハードウェア回路によって実現されてもよい。また、記憶部１２０は、画像処理装置１００が備える記憶装置であり、例えば、ＲＡＭ１０２として実現される。

制御部１１０は、特徴点抽出部１１１、マトリクス生成部１１２、特徴点ペア判定部１１３、楕円形状判定部１１４、位置合わせ処理部１１５および差分検出部１１６を備える。また、記憶部１２０には、画像情報１２１、特徴点情報１２２、第１マトリクス情報１２３、第２マトリクス情報１２４および特徴点ペア情報１２５が記憶される。

クライアント２００から受信した２つの画像のデータは、画像情報１２１として記憶部１２０に記憶される。各画像は個別の画像ＩＤが付与されることによって管理される。
特徴点抽出部１１１は、画像情報１２１に基づき、２つの画像のそれぞれから特徴点を抽出する。特徴点とは、画像の中で目立った特徴を示す点である。例えば、画像内の物体の角にあたる部分や、境界線に該当する部分など、周囲の画素との輝度勾配が大きい部分が特徴点として抽出される。

特徴点抽出部１１１は、例えば、画像内の建物、道路、森林、敷地などの輪郭点や境界点などを特徴点として抽出する。特徴点を抽出するための用いる手法は特に限定されず、例えば、ハリス（Harris）オペレータやモラベック（Moravec）オペレータを用いる方法、ＳＵＳＡＮ（Smallest Univalue Segment Assimilating Nucleus）、ＭＩＣ（Minimum Intensity Change）等を利用することができる。特徴点抽出部１１１は、各画像から抽出した特徴点の位置を示す情報を、特徴点情報１２２として記憶部１２０に格納する。

マトリクス生成部１１２は、各画像から抽出された特徴点それぞれについて、特徴量マトリクスを生成する。後述するように、特徴量マトリクスは、各特徴点の特徴量を示す情報であり、各特徴点を中心とした楕円を所定数の領域に分割し、各分割領域に情報を対応付けたものである。分割領域に対応付けられる情報は、特徴点の輝度値と分割領域の輝度値との差分（輝度差）である。

マトリクス生成部１１２は、２つの画像のうち比較対象となる画像（以下、適宜「比較画像」とも称する。）の特徴量マトリクスを、第１マトリクス情報１２３として記憶部１２０に格納する。また、マトリクス生成部１１２は、２つの画像のうち処理対象となる画像（以下、適宜「処理画像」とも称する。）の特徴量マトリクスを、第２マトリクス情報１２４として記憶部１２０に格納する。なお、後述するように、第２マトリクス情報１２４には、１つの特徴点について複数の特徴量マトリクスが記憶される場合もある。

特徴量マトリクスの詳しい生成方法については後述する。
特徴点ペア判定部１１３は、第１マトリクス情報１２３および第２マトリクス情報１２４に基づいて、画像間で特徴点同士を対応付けた特徴点ペアを生成する。生成された各特徴点ペアに関する情報は、特徴点ペア情報１２５として記憶部１２０に格納される。

特徴点ペア判定部１１３は、２つの画像のそれぞれの特徴点について生成された特徴量マトリクスを比較して、類似度を算出する。例えば、特徴点ペア判定部１１３は、一方の画像の特徴点を１つ選択し、選択した特徴点の特徴量マトリクスを、他方の画像の特徴点すべての特徴量マトリクスと比較する。例えば、特徴点ペア判定部１１３は、２つの特徴量マトリクスの各領域の輝度差レベルを比較する。そして、特徴点ペア判定部１１３は、比較結果に基づき、特徴量マトリクス間の類似度を算出する。特徴点ペア判定部１１３は、最も類似度が高い特徴点の対を特徴点ペアと決定する。

なお、類似度を算出する手法は特に限定されないが、例えば、正規化相互相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）を用いることができる。また、差分絶対値和（ＳＡＤ：Sum of Absolute Differences）、差の二乗和（ＳＳＤ：Sum of Squared Difference）などを利用した手法を適用してもよい。

楕円形状判定部１１４は、特徴点ペアに含まれる各特徴点について生成された特徴量マトリクスの楕円の形状を比較し、これらの形状が類似するかを判定する。
位置合わせ処理部１１５は、特徴点ペア情報１２５に基づいて、２つの画像の位置合わせを実行する。このとき、位置合わせ処理部１１５は、楕円形状判定部１１４の判定結果に基づいて、位置合わせに利用する特徴点ペアを選別する。

位置合わせ処理部１１５は、各特徴点ペアに含まれる特徴点同士の位置を合わせることで、画像同士の位置合わせを実行する。例えば、位置合わせ処理部１１５は、特徴点ペアに含まれる各特徴点の座標に基づいてホモグラフィ行列を算出し、一方の画像をホモグラフィ行列を用いて変換することで、画像の位置合わせを実行する。なお、位置合わせに用いる手法は特に限定されない。

差分検出部１１６は、位置合わせ後の２つの画像の差分を検出する。例えば、差分検出部１１６は、位置合わせ後の画像の画素値（例えば、輝度成分）を比較して差分を検出する。なお、差分検出に用いる手法は特に限定されない。差分検出部１１６は、例えば、検出した差分画像をクライアント２００に送信する。また、差分検出部１１６は、例えば、差分の値が所定のしきい値以上となる領域を比較画像上に示した表示情報を、クライアント２００に送信してもよい。

上記の画像処理装置１００による処理結果は、例えば、不動産管理業務を行う自治体職員などのユーザが、異なる時期に撮影された複数の画像を用いて、変化のある領域を判別するために利用される。ユーザは例えば、差分検出部１１６の出力結果から、違法に増改築された土地や建物、違法に伐採された森林、不法に投棄された廃棄物などがあるかを判別することができる。

次に、制御部１１０の処理の詳細について説明する。
＜特徴量マトリクスを用いた特徴点ペアの判定処理＞
まず、特徴点抽出部１１１、マトリクス生成部１１２および特徴点ペア判定部１１３の処理について説明する。特徴点抽出部１１１は、照合する２つの画像のそれぞれから特徴点を抽出し、抽出した各特徴点の情報を特徴点情報１２２として記憶部１２０に格納する。

図４は、特徴点情報に記憶される情報の例を示す図である。特徴点情報１２２には、画像を識別する「画像ＩＤ」に対して、該当する画像から抽出された複数の特徴点それぞれの情報が対応付けられる。各特徴点の情報には、特徴点を識別する「特徴点ＩＤ」と、該当する画像における特徴点の位置を示す「座標」とが含まれる。特徴点情報１２２には、２つの画像のそれぞれから抽出された各特徴点に関する情報が登録される。

マトリクス生成部１１２は、特徴点情報１２２に基づき、各画像から抽出された特徴点それぞれについて、特徴量マトリクスを生成する。図５は、特徴量マトリクスの構成例を示す図である。

特徴量マトリクスは、特徴点を中心として所定の長さの軸を有する楕円を、周方向および半径方向に所定の数の領域に分割したものである。後述するように、マトリクス生成部１１２は、特徴点とこれに最も近い他の特徴点とを結ぶ線分の方向を第１の方向と決定し、第１の方向に基づいて第２の方向を決定する。第２の方向は、例えば、第１の方向を所定方向に９０°回転させた方向である。

マトリクス生成部１１２は、このように生成した特徴量マトリクスに、特徴点の画素値と、マトリクスの領域の画素値との差分に関する情報を対応付ける。本実施の形態では、画素値として輝度値を用いる。各領域に含まれる画素の輝度値と、楕円の中心に位置する特徴点の輝度値との差分が、各領域の「輝度差」の値となる。

なお、図５では例として、合計４９個の画素を示すが、以下、説明の便宜上、４９個の画素をそれぞれ、水平方向（ｘ方向）の番号（座標）と垂直方向（ｙ方向）の番号（座標）とによって特定して説明する。例えば、画素（１，２）は、ｘ方向の番号が「１」、ｙ方向の番号が「２」の画素を示す。

図５の例では、マトリクス生成部１１２は、特徴点ＦＰを中心として、特徴点ＦＰが存在する画素位置から長軸方向に左右３画素の領域にわたる特徴量マトリクスＭＴを設定する。また、図５の例では、特徴量マトリクスＭＴを構成する楕円は、径方向に２領域、周方向に４領域に分割され、全部で８個の領域が形成される。各領域には、領域を一意に特定するためのマトリクスセグメントＩＤが付与される。図５の例では、楕円の上中心から右回り方向に内側から外側に向けて順番に、マトリクスセグメントＩＤが付与されている。例えば、中心側の楕円に含まれる４つの領域には、上中心から右回りに、マトリクスセグメントＩＤ「１」〜「４」が付与されている。外側の楕円に含まれる４つの領域には、上中心から右回りに、マトリクスセグメントＩＤ「５」〜「８」が付与されている。

このように特徴量マトリクスＭＴの領域を設定した場合、１つの画素が２以上の領域にまたがって存在する場合がある。そこで、マトリクス生成部１１２は、例えば、２つの領域にまたがる画素については、右側かつ下側の領域に入れて特徴量を計算する。例えば、図５の画素（４，３）は、マトリクスセグメントＩＤ「１」，「４」，「５」，「８」の４つの領域にまたがって存在する。そして、右側の領域は、マトリクスセグメントＩＤ「１」，「５」の領域であり、そのうち下側の領域はマトリクスセグメントＩＤ「１」の領域である。従って、マトリクス生成部１１２は、画素（４，３）はマトリクスセグメントＩＤ「１」の領域にあるものとして特徴量を算出する。

このようにして、マトリクス生成部１１２は、図５に示す各領域について、特徴量を算出する。例えば、マトリクスセグメントＩＤ「１」の領域には、画素（３，５）および画素（３，６）が含まれる。従って、輝度値「（１００＋１００）／２＝１００」がマトリクスセグメントＩＤ「１」の領域の輝度値となる。そして、特徴点ＦＰが存在する領域の画素の輝度値は「２５５」である。よって、「２５５−１００＝１５５」が、マトリクスセグメントＩＤ「１」の領域に対応付けられる輝度差の値となる。

マトリクス生成部１１２は、各特徴点について、マトリクスセグメントそれぞれの輝度差を算出し、算出された輝度差を記憶部１２０に格納する。マトリクス生成部１１２は、比較画像の特徴点についての輝度差の情報を第１マトリクス情報１２３に登録し、処理画像の特徴点についての輝度差の情報を第２マトリクス情報１２４に登録する。

図６は、第１マトリクス情報に記憶される情報の例を示す図である。第１マトリクス情報１２３は、比較画像の各特徴点について１つの特徴量マトリクスを記憶する。
第１マトリクス情報１２３には、比較画像を識別する「画像ＩＤ」に対して、この比較画像から抽出された各特徴点を識別する「特徴点ＩＤ」が対応付けられ、「特徴点ＩＤ」のそれぞれに、該当特徴点について生成された特徴量マトリクスを識別する「マトリクスＩＤ」が対応付けられている。

「マトリクスＩＤ」のそれぞれには、該当特徴量マトリクスに含まれるマトリクスセグメントを識別する「マトリクスセグメントＩＤ」が対応付けられている。そして、「マトリクスセグメントＩＤ」のそれぞれに対して、該当マトリクスセグメントの「輝度値」および「輝度差」が対応付けられている。「輝度値」および「輝度差」の計算方法は、図５において説明した通りである。

さらに、「マトリクスＩＤ」のそれぞれには、「楕円形状情報」が対応付けられている。「楕円形状情報」は、該当特徴量マトリクスの楕円の形状を示す情報であり、楕円形状判定部１１４によって楕円形状が類似するかを判定するために参照されるものである。本実施の形態では例として、「楕円形状情報」は、楕円の一方の軸に対する他方の軸の比を示すものとする。

図７は、第２マトリクス情報に記憶される情報の例を示す図である。第２マトリクス情報１２４は、処理画像の各特徴点について１つまたは複数の特徴量マトリクスを記憶する。すなわち、第２マトリクス情報１２４においては、１つの「特徴点ＩＤ」に対して複数の「マトリクスＩＤ」が対応付けられ得る。

第２マトリクス情報１２４には、図６に示した第１マトリクス情報１２３に含まれる情報に加えて、「回転角」および「拡大縮小率」の各情報を含む。「回転角」は、特徴量マトリクスを所定方向に回転させた最大角度を示す。「拡大縮小率」は、特徴量マトリクスを拡大または縮小した比率を示す。同一の「特徴点ＩＤ」に対して複数の「マトリクスＩＤ」が対応付けられる場合、「マトリクスＩＤ」のそれぞれに対応付けられる「回転角」または「拡大縮小率」の少なくとも一方には異なる値が登録される。

ここで、特徴量マトリクスの生成処理についてさらに詳しく説明する。図８は、特徴量マトリクスの生成処理例を示す図である。
マトリクス生成部１１２は、注目する特徴点（以下、注目点と称する。）とこれに最も近い他の特徴点とを結ぶ線分の方向を第１の方向と決定し、第１の方向に基づいて第２の方向を決定する。本実施の形態では、第２の方向は、第１の方向を所定回転方向に９０°回転させた方向である。マトリクス生成部１１２は、注目点を起点として第２の方向に対し、輝度変化が大きくなる点（エッジ）を探索する。マトリクス生成部１１２は、注目点を中心とし、第１の方向および第２の方向をそれぞれ軸として、注目点に最も近い他の特徴点と上記のエッジとを通る楕円を、特徴量マトリクスの外形とする。

図８の例では、マトリクス生成部１１２は、注目点Ｐ１１から、この注目点Ｐ１１に最も近い特徴点Ｐ１２を結ぶ線分の方向を第１の方向とし、この第１の方向から例えば左回り方向に９０°回転させた方向を第２の方向とする。マトリクス生成部１１２は、注目点Ｐ１１を起点として第２の方向に対してエッジを探索し、点Ｐ１３をエッジと判定する。マトリクス生成部１１２は、注目点Ｐ１１を中心とし、注目点Ｐ１１と特徴点Ｐ１２とを結ぶ線分の方向および注目点Ｐ１１と点Ｐ１３とを結ぶ線分の方向をそれぞれ軸とし、特徴点Ｐ１２および点Ｐ１３を通る楕円Ｅを、特徴量マトリクスの外形とする。

なお、エッジの判定方法としては特に限定されないが、例えば、第２の方向に隣接する画素間の輝度値の差分が所定のしきい値以上となる場合にエッジと判定する方法、あるいは、Ｓｏｂｅｌフィルタなどを用いた各種フィルタ演算によってエッジ強度を算出し、エッジ強度が所定のしきい値以上となる点をエッジと判定する方法などを用いることができる。

マトリクス生成部１１２は、特徴量マトリクスの楕円の軸の方向および長さに応じて、図５に示したマトリクスセグメントを設定する。マトリクス生成部１１２は、設定した各マトリクスセグメントに対応付ける輝度差を算出して、第１マトリクス情報１２３または第２マトリクス情報１２４に登録する。また、マトリクス生成部１１２は、特徴量マトリクスの楕円における一方の軸（例えば、第１の方向に沿った軸）に対する他方の軸（例えば、第２の方向に沿った軸）の比を、楕円形状情報として第１マトリクス情報１２３または第２マトリクス情報１２４に登録する。

特徴点ペア判定部１１３は、第１マトリクス情報１２３および第２マトリクス情報１２４を参照して、比較画像の特徴点についての特徴量マトリクスと、処理画像の特徴点についての特徴量マトリクスとを比較し、類似度を算出する。例えば、特徴点ペア判定部１１３は、一方の画像の特徴点を１つ選択し、選択した特徴点の特徴量マトリクスの輝度差を、他方の画像の特徴点すべての特徴量マトリクスの輝度差と比較して、特徴量マトリクス間の類似度を算出する。特徴点ペア判定部１１３は、最も類似度が高い特徴点の対を特徴点ペアと決定する。このとき、特徴点ペア判定部１１３は、複数の特徴量マトリクスが生成された特徴点については、それら複数の特徴量マトリクスのそれぞれを用いて類似度を算出し、最も高い値をその特徴点についての類似度として採用する。

図９は、特徴点ペア情報に記憶される情報の例を示す図である。特徴点ペア判定部１１３は、決定した特徴点ペアに含まれる特徴点の情報を特徴点ペア情報１２５に格納する。
特徴点ペア情報１２５には、特徴点ペアを識別する「ペアＩＤ」に対して、比較画像の特徴点を識別する「特徴点ＩＤ」、その特徴点の特徴量マトリクスの楕円についての「楕円形状情報」、処理画像の特徴点を識別する「特徴点ＩＤ」、その特徴点の特徴量マトリクスの楕円についての「楕円形状情報」が対応付けられる。これらのうち、処理画像の特徴点についての「楕円形状情報」には、該当特徴点についての複数の特徴量マトリクスのうち、類似度の値が最も高くなったときの特徴量マトリクスの楕円についての形状情報が登録される。

ここで、特徴量マトリクスの生成において、注目点から最も近い他の特徴点を利用する理由について説明する。
例えば、比較画像においては、図８に示すように、注目点Ｐ１１から最も近い他の特徴点は、特徴点Ｐ１２となったとする。これに対して、処理画像においては、日照の変化により画像の一部に影がかかるといった変化が生じる場合がある。例えば、処理画像においては、注目点Ｐ１１の領域には影にかかっていないが、特徴点Ｐ１２の領域には影がかかっているとする。この場合、マトリクス生成部１１２は、特徴点Ｐ１２を、注目点Ｐ１１から最も近い他の特徴点として抽出できない場合がある。特徴点Ｐ１２以外の特徴点が注目点Ｐ１１に最も近い特徴点として抽出されると、マトリクス生成部１１２が注目点Ｐ１１について生成する特徴量マトリクスは、比較画像から注目点Ｐ１１について生成された特徴量マトリクスと異なることになる。この場合、正しく特徴点ペアが検出できない可能性がある。

しかし、通常は、特徴点ペアとして数百のペアが抽出したのち、正当性をチェックして誤対応ペアを除外する処理が行われる。また、衛星画像や航空写真の場合、すべての特徴点について日照変化等の影響で誤検出が生じる可能性は低い。従って、日照変化の影響を考慮しても、最も近い特徴点を抽出して特徴量マトリクスを生成することによって妥当な特徴点ペアを決定することができる。

次に、処理画像から特徴量マトリクスを生成する際の拡大縮小および回転処理について説明する。
図１０は、特徴量マトリクスの拡大縮小処理を説明するための図である。前述のように、マトリクス生成部１１２は、処理画像において、注目点Ｐ１１から最も近い特徴点Ｐ１２を抽出し、注目点Ｐ１１と最も近い特徴点Ｐ１２とを結ぶ線分に対して９０°の角度をなす線分上においてエッジとなる点Ｐ１３を抽出する。そして、マトリクス生成部１１２は、９０°の角度をなす線分（すなわち、注目点Ｐ１１と点Ｐ１３とを結ぶ線分）の長さを所定の割合で増減させて、複数の特徴量マトリクスを生成する。複数の特徴量マトリクスの情報は、それぞれの生成時の拡大縮小率の情報とともに第２マトリクス情報１２４に登録される。図７の「拡大縮小率」は、このときの線分の拡大縮小率を示す。

９０°の角度をなす線分の長さについては、例えば、注目点からこの点に最も近い他の特徴点までの長さを基準として、増減の範囲が０．５倍〜２倍までに設定される。そして、基準の長さに対して、０．５倍、０．６倍、０．７倍、・・・２．０倍まで長さを変化させて特徴量マトリクスが生成される。

なお、拡大縮小率は、例えば次のような制約を受ける。縮小率は、特徴量マトリクスにおける楕円の半径方向の１領域（１つのマトリクスセグメント）が１画素以上となるように設定されることが望ましい。また、拡大縮小率は、特徴量マトリクスが処理画像の縦横の長さを超えないように設定されることが望ましい。後者に関しては、マトリクス生成部１１２は、注目点の座標に応じて、設定可能な拡大縮小率を決定する。

以上のように、特徴量マトリクスの短軸または長軸の長さを変化させて複数の特徴量マトリクスを生成することにより、画像の一部が歪んでいる場合であっても、正確に画像の輝度を反映した特徴量マトリクスを生成することができる。

図１１は、特徴量マトリクスの回転処理について説明するための図である。図１１（Ａ）の画像３０１は、比較画像に写った被写体画像の例であり、図１１（Ｂ）および図１１（Ｃ）の画像３０２は、処理画像に写った同じ被写体画像の例である。撮影角度が変化した場合、複数画像間で、画像の写り具合が変化する。図１１（Ａ）の画像３０１と、図１１（Ｂ）の画像３０２とでは、撮影角度の違いにより縦横の長さの比率が微妙に変化している。

図１１（Ａ）の画像３０１については、マトリクス生成部１１２は、注目点Ｐ１１ａに最も近い特徴点として、特徴点Ｐ１２ａを抽出する。そして、マトリクス生成部１１２は、注目点Ｐ１１ａと特徴点Ｐ１２ａとを結ぶ線分に対して９０°の角度をなす線分に沿ってエッジを探索し、点Ｐ１３ａを輝度変化が所定値以上になるエッジとして抽出する。

一方、図１１（Ｂ）の画像３０２は、画像３０１と比較して横方向の長さが短くなっている。このため、マトリクス生成部１１２は、注目点Ｐ１１ｂに最も近い特徴点として特徴点Ｐ１２ｂを抽出するが、注目点Ｐ１１ｂと特徴点Ｐ１２ｂとを結ぶ線分と９０°をなす線分上には点Ｐ１３ｂがないため、点Ｐ１３ｂをエッジとして抽出できない。

ここで、エッジとして抽出される点を画像３０１と画像３０２とで等しくするためには、エッジ探索のために用いる線分の角度を変化させるとよい。そこで、図１１（Ｃ）の例のように、マトリクス生成部１１２は、注目点とこれに最も近い他の特徴点とを結ぶ線分に対する、エッジを探索する方向の角度を９０°から所定の範囲内で増減させて、複数の特徴量マトリクスを生成する。エッジを探索する方向の角度は、例えば、９０°を基準として−８９°から＋８９°までの範囲内で、１度ずつ変化させればよい。

エッジ探索方向の角度を変化させる範囲は、例えば、あらかじめ決められている。また、照合する画像に撮影角度の情報が付与されている場合には、マトリクス生成部１１２は、撮影角度の情報に基づいて角度変化範囲を算出してもよい。

次に、図１２および図１３を用いて、回転処理を経た特徴量マトリクスの生成処理について説明する。図１２は、回転処理に伴う楕円の生成処理例を示す図である。また、図１３は、最終的に生成される特徴量マトリクスの外形の例を示す図である。

図１２の中央に示す例では、注目点Ｐ１１に最も近い特徴点が特徴点Ｐ１２であり、エッジ探索方向の角度を、注目点Ｐ１１と特徴点Ｐ１２とを結ぶ線分を９０°回転させた方向から、さらにθ度回転させたものとする。このとき、マトリクス生成部１１２は、点Ｐ２１をエッジと判定したものとする。

エッジ探索方向の角度を９０°方向から変化させてしまうと、注目点Ｐ１１を中心とした楕円を描くことができない。図１２の中央に示す例では、注目点Ｐ１１と点Ｐ２１とを結ぶ線分を楕円の軸にすることができない。そこで、マトリクス生成部１１２は、次のような手順で特徴量マトリクスを生成する。

ここで、注目点Ｐ１１に対して点Ｐ２１に対向する点を点Ｐ２２、注目点Ｐ１１に対して点Ｐ１２に対向する点を点Ｐ２３とする。また、点Ｐ２１，Ｐ２２から特徴点Ｐ１２と点Ｐ２３とを結ぶ線分に下ろした垂線と、この線分との交点をそれぞれ点Ｐ２４，Ｐ２５とする。マトリクス生成部１１２は、これらの点に基づいて生成される４つの楕円を組み合わせることによって、特徴量マトリクスを生成する。

マトリクス生成部１１２は、図１２の右上に示すように、点Ｐ２４を中心とし、点Ｐ２４と特徴点Ｐ１２とを結ぶ線分を長径（または短径）、点Ｐ２４と点Ｐ２１とを結ぶ線分を短径（または長径）とする楕円Ｅ１を算出する。また、マトリクス生成部１１２は、図１２の左上に示すように、点Ｐ２４を中心とし、点Ｐ２４と点Ｐ２３とを結ぶ線分を長径（または短径）、点Ｐ２４と点Ｐ２１とを結ぶ線分を短径（または長径）とする楕円Ｅ２を算出する。

また、マトリクス生成部１１２は、図１２の左下に示すように、点Ｐ２５を中心とし、点Ｐ２５と点Ｐ２３とを結ぶ線分を長径（または短径）、点Ｐ２５と点Ｐ２２とを結ぶ線分を短径（または長径）とする楕円Ｅ３を算出する。また、マトリクス生成部１１２は、図１２の右下に示すように、点Ｐ２５を中心とし、点Ｐ２５と特徴点Ｐ１２とを結ぶ線分を長径（または短径）、点Ｐ２５と点Ｐ２２とを結ぶ線分を短径（または長径）とする楕円Ｅ４を算出する。

マトリクス生成部１１２は、楕円Ｅ１の右上領域３１１、楕円Ｅ２の左上領域３１２、楕円Ｅ３の左下領域３１３、楕円Ｅ４の右下領域３１４を組み合わせた図形３１５を、特徴量マトリクスの外形とする（図１３参照）。

なお、前述のように、マトリクス生成部１１２は、特徴量マトリクスの楕円形状情報として、楕円の一方の軸に対する他方の軸の比を示すものとする。図１３のように複数の楕円の組み合わせによって特徴量マトリクスが生成された場合、マトリクス生成部１１２は、例えば、一方の軸の長さを特徴点Ｐ１２から点Ｐ２３までの長さとする。また、他方の軸の長さを、特徴点Ｐ１２とＰ２３を結ぶ線分に対して注目点Ｐ１１で直交する方向（図１３の上下方向）に対して、特徴量マトリクスの外形と交差する点の距離とする。また、マトリクス生成部１１２は、他方の軸の長さを、点Ｐ２１から点Ｐ２４までの長さの倍の長さによって近似してもよい。

以上の図４〜図１３において説明した処理によれば、画像処理装置１００は、比較画像と処理画像のそれぞれの特徴点について、各特徴点を中心とし、当該特徴点と当該特徴点に最も近い他の特徴点とを結ぶ第１の線分を一方の径とし、当該特徴点と、当該特徴点から第１の線分の方向に基づく第２の方向への探索によって検出されたエッジとを結ぶ第２の線分を他方の径とする、楕円状の特徴量マトリクスを生成する。画像処理装置１００は、楕円状のマトリクスの各領域に、当該領域内の画素値と当該特徴点の画素値との差分に関する情報を対応付ける。そして、画像処理装置１００は、比較画像の各特徴点と処理画像の各特徴点との間で特徴量マトリクスを比較し、特徴量マトリクスが類似する特徴点同士を対応付けて特徴点ペアを決定する。これにより、画像処理装置１００は、２つの画像間でのずれ方が画像内で一様でなくとも、適切に特徴点ペアを決定することができる。また、画像のアスペクト比を考慮した特徴量マトリクスを作成することができ、画像間にずれが生じている場合であっても、正確な特徴量マトリクスを作成して比較することができ、正確な特徴点ペアを決定することができる。

例えば、画像処理装置１００は上記処理により、次のような画像間のズレに対処することができる。
２つの画像間のずれや、画像内で一様ではないずれは、２つの画像の撮影時の撮影角度や撮影方向の違いに起因して生じることがある。例えば、上空のカメラから真下方向を撮影した場合には、画像内の地物は、中心から周囲に向けた方向に倒れたような状態で写る。一方、上空のカメラから斜め下方向（例えばカメラから西向き等）を撮影した場合には、画像内の地物は、画像の一端、例えば東方向に相当する辺の中央を中心とする扇状に倒れたような状態で写る。さらに、カメラの向きが横方向に回転すると、上記の状態に回転要素が加わる。

このように撮影角度や撮影方向の差異に起因して画面にズレが生じる場合、画面中の領域ごとにアスペクト比、すなわち、縦方向の長さと横方向の長さの比が変化する場合がある。例えば、円形の時計盤を真上から見ると円形に見えるが、３時方向から斜めに見下ろすと、１２時−６時を長軸とした楕円に見える。また、６時の方向から斜めに見下ろすと、３時−９時を長軸とした楕円に見える。上空から撮影した画像の場合にも同様のズレが画面内の領域ごとに生じる場合がある。

このようなズレが生じている場合に、各画像から特徴点を抽出し、特徴点の周囲の画素との画素値の変化の大きさとその変化の方向を算出する。そして、両画像間で算出した情報を比較することによりペアの決定を試みる。この場合、両画像間でアスペクト比が相違する箇所については、画素値の変化の大きさとその変化の方向が一致または類似せず、正しくペアを決定することができない。また、カメラの向きが横方向に回転している場合、上記のアスペクト比の変化に回転方向の変化が加わる。つまり、上記時計盤の例をとると、１２時−６時の軸が中央を中心として回転方向にずれる場合がある。このような場合にも、特徴点の画素値の変化の方向が、画像ごとにずれることになり、正しく特徴点ペアを決定することができない。さらには、撮影時点が異なるために画像の明るさが画像ごとに相違し、特徴点ペアを決定するために使用する特徴量を輝度のみを基にしている場合、特徴点ペアを正しく決定することができない。

画像処理装置１００は、上記のようなアスペクト比の違いや回転方向の変化、画像の明るさの違いに対処し、画像内に一様でないズレがある場合でも、正確な特徴点ペアを決定することができる。

また、画像処理装置１００は、エッジを探索する第２の方向を、特徴点を中心として所定角度ずつ回転させて、１つの特徴点につき複数の特徴量マトリクスを作成する。これにより、２つの画像のずれが一様でなくとも、正確な特徴量マトリクスを作成して比較することができ、正確な特徴点ペアを決定することができる。また、２つの画像それぞれに異なる程度の回転要素が含まれている場合であっても、正確な特徴量マトリクスを作成して比較することができ、特徴量マトリクスの比較によって適切な特徴点ペアを決定することができる。

また、画像処理装置１００は、楕円状のマトリクスを長軸方向または短軸方向に所定の比率で拡大または縮小して、１つの特徴点につき複数の特徴量マトリクスを作成する。これにより、２つの画像の縮尺が部分的に異なっている場合でも、正確な特徴量マトリクスを作成して比較することができ、特徴量マトリクスの比較によって適切な特徴点ペアを決定することができる。

＜楕円形状の比較に基づく特徴点ペアの選別処理＞
次に、楕円形状判定部１１４および位置合わせ処理部１１５の処理について説明する。前述のように、楕円形状判定部１１４は、特徴点ペアに含まれる各特徴点について生成された特徴量マトリクスの楕円の形状を比較し、これらの形状が類似するかを判定する。位置合わせ処理部１１５は、特徴点ペア情報１２５に基づいて、２つの画像の位置合わせを実行する。このとき、位置合わせ処理部１１５は、楕円形状判定部１１４の判定結果に基づいて、位置合わせに利用する特徴点ペアを選別する。

ここで、位置合わせに利用する特徴点ペアを選別する目的について説明する。図１４は、撮影角度の違いによる被写体の写り方の違いの例を示す図である。
図１４の例では、人工衛星ＳＡ１による撮影によって得られた画像４０１と、画像４０１とは異なる時期に人工衛星ＳＡ２によって撮影されて得られた画像４０２とを示す。画像４０１の撮影時における人工衛星ＳＡ１の位置と、画像４０２の撮影時における人工衛星ＳＡ２の位置は異なっており、そのため、画像４０１の撮影時と画像４０２の撮影時とでは、撮影角度が異なっている。なお、人工衛星ＳＡ１，ＳＡ２は、同一の人工衛星であってもよい。

画像４０１，４０２にはともに、被写体として、建物４１０，４２０、土地４３０および道路４４０，４５０，４６０が写っている。建物４１０，４２０は、ともに地表面からの高さを有し、土地４３０および道路４４０，４５０，４６０は高さを有さない（地表面と同じ高さである）ものとする。撮影角度の違いから、画像４０１と画像４０２とでは、建物４１０，４２０の写り方が異なる。一方、土地４３０および道路４４０，４５０，４６０については、画像４０１と画像４０２との間で写り方に違いがない。

図１５は、画像の位置合わせの例を示す図である。図１５の例では、画像４０１から特徴点４１１ａ，４１２ａ，４１３ａが抽出され、画像４０２から特徴点４１１ｂ，４１２ｂ，４１３ｂが抽出されたものとする。特徴点４１１ａと特徴点４１１ｂ、特徴点４１２ａと特徴点４１２ｂ、特徴点４１３ａと特徴点４１３ｂは、それぞれ建物４１０の上面における同一箇所に対応する。

ここで、特徴点４１１ａと特徴点４１１ｂ、特徴点４１２ａと特徴点４１２ｂ、特徴点４１３ａと特徴点４１３ｂをそれぞれ対応付けて、画像４０１と画像４０２との位置合わせを行う。この例では図１５の右側に示すように、特徴点４１１ａと特徴点４１１ｂとの位置、特徴点４１２ａと特徴点４１２ｂとの位置、特徴点４１３ａと特徴点４１３ｂとの位置がそれぞれ重なるように、画像４０２が相対的に右方向に移動されて位置合わせが行われる。しかしながら、位置合わせ後の状態では、例えば、平地に存在する土地４３０は重ならず、横方向に位置ズレが生じてしまう。

本実施の形態において、画像同士の位置合わせの結果は差分検出部１１６において利用される。しかしながら、図１５のように撮影角度によって写り方が異なる部分から抽出された特徴点のペアを用いて位置合わせした状態で、画像４０１と画像４０２との差分が演算されると、高さのない被写体の領域において、画像間で本来変化のない領域が変化のある領域として誤検出される可能性がある。

例えば、不動産管理業務を行うユーザが、異なる時期に撮影された複数の画像を用いて変化のある領域を判別するという用途では、土地や道路などの高さのない領域において、新たな建物が建築される、あるいは新たな廃棄物が投棄されるという事象を発見したいという要求がある。このため、高さのない被写体の領域における差分の誤検出の発生は、業務に支障をきたし、業務効率を低下させる。

これに対し、位置合わせ処理部１１５は、楕円形状判定部１１４の判定結果に基づいて、位置合わせに利用する特徴点ペアを選別する。これにより、位置合わせ処理部１１５は、高さのない被写体の領域における差分の誤検出を発生させるような特徴点ペアを、位置合わせに利用する特徴点ペアから除外する。

図１６は、楕円形状の比較に基づく特徴点ペアの選別処理について説明するための図である。図１６（Ａ）に示す画像４０３と、図１６（Ｂ）に示す画像４０４とは、撮影角度が異なっている。画像４０３，４０４には、ともに高さを有する建物４１０，４２０が写っている。また、画像４０３からは特徴点４１４ａ，４１５ａが抽出され、画像４０４からは特徴点４１４ｂ，４１５ｂが抽出されたものとする。

画像処理装置１００のマトリクス生成部１１２は、画像４０３に関し、特徴点４１４ａを注目点とし、特徴点４１４ａから最も近い特徴点として特徴点４１５ａを検出する。また、マトリクス生成部１１２は、特徴点４１４ａを起点として、特徴点４１４ａから特徴点４１５ａへの方向を右回り方向に９０°回転させた方向に沿ってエッジを探索し、点４２１ａをエッジと判定する。このとき、マトリクス生成部１１２は、図１６（Ａ）に示すような形状の特徴量マトリクス４７１を生成する。

一方、マトリクス生成部１１２は、画像４０４に関し、特徴点４１４ｂを注目点とし、特徴点４１４ｂから最も近い特徴点として特徴点４１５ｂを検出する。また、マトリクス生成部１１２は、特徴点４１４ｂを起点として、特徴点４１４ｂから特徴点４１５ｂへの方向を右回り方向に９０°回転させた方向に沿ってエッジを探索し、点４２１ｂをエッジと判定する。このとき、マトリクス生成部１１２は、図１６（Ｂ）に示すような形状の特徴量マトリクス４７２を生成する。

特徴点ペア判定部１１３はその後、特徴量マトリクス４７１，４７２に基づき、画像４０３の特徴点４１４ａと、画像４０４の特徴点４１４ｂとを対応付けて特徴点ペアを生成したものとする。しかしながら、特徴点４１４ａ，４１４ｂは高さのある被写体から抽出されたものである。このため、特徴点４１４ａと特徴点４１４ｂとが重なるように画像４０３と画像４０４との位置合わせが行われた場合、高さのない他の被写体の位置ズレが発生し、その被写体の領域における差分の誤検出が発生する可能性がある。

これに対し、楕円形状判定部１１４は、各特徴点ペアに含まれる２つの特徴点それぞれに対応する特徴量マトリクスの楕円の形状を比較し、類似度を算出する。そして、位置合わせ処理部１１５は、楕円形状の類似度が所定のしきい値より低い場合には、その特徴点ペアを位置合わせに使用すべきでない特徴点ペアと判定する。

図１６の例では、特徴点４１４ａについての特徴量マトリクスの楕円形状と、特徴点４１４ｂについての特徴量マトリクスの楕円形状とは明らかに異なり、これらの類似度は所定のしきい値より低くなる。従って、位置合わせ処理部１１５は、特徴点４１４ａ，４１４ｂのペアを位置合わせに使用すべきでない特徴点ペアと判定する。

特徴量マトリクスの楕円形状が類似しない場合は、一方の特徴点とそれに最も近い他の特徴点および検出されたエッジの位置関係と、他方の特徴点とそれに最も近い他の特徴点および検出されたエッジの位置関係とが、類似しないことになる。例えば、特徴点とそれに最も近い他の特徴点との距離、または、特徴点とエッジとの距離の少なくとも一方が、特徴点間で一致しないケースが考えられる。このような場合、特徴点ペアに含まれる少なくとも一方の特徴点は、建物など、撮影方向によって写り方が変わる被写体から抽出されたものである可能性が高い。

一方、特徴量マトリクスの楕円形状が類似する場合は、特徴点に最も近い他の特徴点および検出されたエッジを含む、特徴点の周辺領域の写り方が、照合するどちらの画像においても変化していないことになる。この場合、少なくとも特徴点ペアに含まれる双方の特徴点が、撮影角度によって写り方が変化しない地表面にある可能性が高く、さらに、各特徴点から最も近い他の特徴点も地表面にある可能性が高い。従って、特徴量マトリクスの楕円形状が類似する特徴点ペアについては、位置合わせに使用した場合に高さのない被写体の位置ズレを発生させる原因になる可能性が低く、位置合わせに利用するのに好適であると推定することができる。

＜位置合わせの補正処理＞
位置合わせ処理部１１５は、上記のように特徴量マトリクスの楕円形状の比較結果に基づいて、位置合わせに利用するのに好適な特徴点ペアを選別する。しかしながら、例えば画像の歪みなどの要因によって選別結果に誤差が生じる場合がある。そこで、位置合わせ処理部１１５は、次のような手順で最終的に位置合わせに利用する特徴点ペアを決定するとともに、必要に応じて位置合わせ時の画像の移動量を補正する。

位置合わせ処理部１１５は、まず、上記の方法によって位置合わせに利用するのに好適として選別された特徴点ペアが、画像内に満遍なく分布しているかを判定する。この判定は、例えば、選別された特徴点ペアに含まれる特徴点のうち、あらかじめ決められた一方の画像に含まれる特徴点について、その画像を５画素×５画素に分割したブロックごとに分布している数を求め、各ブロックに特徴点が一定数以上の含まれていることで行われる。少なくとも１つのブロックにおいて特徴点の数が一定数に満たない場合は、分布に偏りがあると判定される。あるいは、両方の画像において各ブロックに特徴点が一定数以上含まれているかによって判定されてもよい。

なお、他の判定方法として、例えば、各ブロックに含まれる特徴点の数の誤差が一定割合以内であるかによって判定されてもよい。また、誤差の割合の代わりに、誤差が一定範囲内であるかを基に判定されてもよい。

特徴点ペアが画像内に満遍なく分布していれば、選別処理の信頼性が高いと推定される。このため、位置合わせ処理部１１５は、選別された特徴点ペアのみを用いて位置合わせを行う。

一方、特徴点ペアの画像内の分布に偏りがある場合、選別処理の信頼性が低く、位置合わせの精度が低くなる可能性が高いと推定される。この場合、位置合わせ処理部１１５は、特徴点ペア判定部１１３によって生成されたすべての特徴点ペアを用いて位置合わせを行う。その上で、位置合わせ処理部１１５は、選別した各特徴点ペアに含まれる特徴点同士の位置ズレが少なくなるように、位置合わせした画像の移動量を補正する。これにより、各画像の平地領域から抽出された特徴点同士の位置ができるだけ一致するように、位置合わせの量が補正される。

ただし、この場合には、特徴点ペアの選別処理の信頼性が高いと判定されておらず、選別された特徴点ペアのそれぞれに含まれる特徴点には、高さのある被写体から抽出されたものが比較的多く含まれていると考えられる。このことから、位置合わせ処理部１１５は、選別された特徴点ペアのそれぞれに含まれる特徴点同士の位置ズレ量を求め、前述の分割領域ごとに位置ズレ量の分布の偏りがあるかを判定して、偏りが小さいと判定された場合のみ補正を行う。

位置ズレ量の分布に偏りがあるかの判定は、例えば、各特徴点ペアについて算出した位置ズレ量の分散を計算し、分散が所定のしきい値より大きいかによって行うことができる。このしきい値は、例えば、複数の異なる画像のペアについて、正しく対応付けされた平地上の特徴点のペアから算出した位置ズレ量の分散を求め、それらの結果から経験的に設定することができる。例えば、分散値が３以下のとき分布の偏りが小さいと判定することで、位置合わせの補正精度をある程度維持することが可能である。

図１７は、位置ズレ量の分布の偏りが大きい場合の例を示す図である。図１７において、画像５０１からは特徴点５１１ａ，５１２ａ，５１３ａ，５１４ａが抽出され、画像５０２からは特徴点５１１ｂ，５１２ｂ，５１３ｂ，５１４ｂが抽出されたものとする。また、特徴点５１１ａと特徴点５１１ｂ、特徴点５１２ａと特徴点５１２ｂ、特徴点５１３ａと特徴点５１３ｂ、特徴点５１４ａと特徴点５１４ｂが、それぞれ位置合わせに好適な特徴点ペアとして選別され、少なくともこれらの特徴点ペアを基に位置合わせが行われたものとする。例えば、画像５０２が相対的に右方向に移動することで位置合わせが行われる。

図１７の例では、特徴点５１２ａと特徴点５１２ｂ、特徴点５１３ａと特徴点５１３ｂ、特徴点５１４ａと特徴点５１４ｂについては、撮影角度によって写り方が変わる被写体から抽出されている。このため、位置合わせ後の状態では、選別された特徴点ペアのそれぞれについて算出された位置ズレ量の分散が大きい。例えば、特徴点５１１ａと特徴点５１１ｂ、特徴点５１３ａと特徴点５１３ｂ、特徴点５１４ａと特徴点５１４ｂのそれぞれの位置ズレ量と比較して、特徴点５１２ａと特徴点５１２ｂの位置ズレ量が明らかに大きい。

このような場合、選別された特徴点ペアのそれぞれに含まれる特徴点には、撮影角度によって写り方が変わる被写体から抽出されたものが多く含まれていると考えられる。この場合、選別された特徴点ペアを用いて位置合わせ量を補正したとしても補正精度が高くないと考えられるため、位置合わせ処理部１１５は補正を行わない。

図１８は、位置ズレ量の分布の偏りが小さい場合の例を示す図である。図１８において、画像５０３からは特徴点５１５ａ，５１６ａ，５１７ａ，５１８ａが抽出され、画像５０４からは特徴点５１５ｂ，５１６ｂ，５１７ｂ，５１８ｂが抽出されたものとする。また、特徴点５１５ａと特徴点５１５ｂ、特徴点５１６ａと特徴点５１６ｂ、特徴点５１７ａと特徴点５１７ｂ、特徴点５１８ａと特徴点５１８ｂが、それぞれ位置合わせに好適な特徴点ペアとして選別され、少なくともこれらの特徴点ペアを基に位置合わせが行われたものとする。例えば、画像５０４が相対的に右方向に移動することで位置合わせが行われる。

図１８の例では、特徴点５１５ａと特徴点５１５ｂ、特徴点５１６ａと特徴点５１６ｂ、特徴点５１７ａと特徴点５１７ｂ、特徴点５１８ａと特徴点５１８ｂは、いずれも平地の領域から抽出されている。この場合、位置合わせした状態における特徴点５１５ａと特徴点５１５ｂ、特徴点５１６ａと特徴点５１６ｂ、特徴点５１７ａと特徴点５１７ｂ、特徴点５１８ａと特徴点５１８ｂの各位置ズレ量は、ほぼ同じ値となる。この場合には、その位置ズレ量に対応する分だけ、画像の移動量を補正する。図１８の例では、画像５０３の特徴点に対する画像５０４の特徴点のズレの方向の逆方向に対して、位置ズレの量だけ画像５０４を移動させる。これにより、平地の領域から抽出された特徴点同士の位置を近づけて、平地における差分の算出誤差を低減することができる。

画像移動の補正量は、例えば、選別された特徴点ペアのそれぞれから算出された位置ズレ量のうち、最大の位置ズレ量とすることができる。あるいは、算出された位置ズレ量の平均値を補正量としてもよい。

次に、以上説明した画像処理装置１００の処理について、フローチャートを用いて説明する。図１９は、画像処理装置の処理例を示すフローチャートである。
［ステップＳ１１］特徴点抽出部１１１は、画像情報１２１に基づき、比較画像および処理画像のそれぞれから特徴点を抽出する。各画像から抽出された特徴点の座標は、特徴点情報１２２に登録される。

［ステップＳ１２］マトリクス生成部１１２は、各画像から抽出された特徴点それぞれについて、特徴量マトリクスを生成する。特徴点ペア判定部１１３は、生成された特徴点マトリクスに基づいて、特徴点ペアを生成する。

ここで、ステップＳ１２の処理について図２０を用いて説明する。図２０は、特徴点ペアの生成処理の例を示すフローチャートである。
［ステップＳ３１］マトリクス生成部１１２は、比較画像から抽出された特徴点のそれぞれについて、特徴量マトリクスを生成する。生成された特徴量マトリクスの情報は、第１マトリクス情報１２３に登録される。

［ステップＳ３２］特徴点ペア判定部１１３は、処理画像から抽出された特徴点の１つを選択する。
［ステップＳ３３］マトリクス生成部１１２は、選択された特徴点について特徴量マトリクスを生成する。生成された特徴量マトリクスの情報は、第２マトリクス情報１２４に登録される。

［ステップＳ３４］特徴点ペア判定部１１３は、ステップＳ３３で生成された特徴量マトリクスを、比較画像の特徴点それぞれの特徴量マトリクスと比較して類似度を算出する。

［ステップＳ３５］特徴点ペア判定部１１３は、特徴量マトリクスにおけるエッジ探索方向を所定回転数分だけ回転させたかを判定する。回転処理が完了してない場合、ステップＳ３６の処理が実行され、回転処理が完了している場合、ステップＳ３７の処理が実行される。

［ステップＳ３６］マトリクス生成部１１２は、エッジ探索方向を所定角度回転させる。この後、ステップＳ３３において、エッジ探索方向が回転された状態で特徴量マトリクスが生成され、ステップＳ３４において、生成された特徴量マトリクスを用いて類似度が算出される。

［ステップＳ３７］特徴点ペア判定部１１３は、特徴量マトリクスの楕円形状のエッジ探索方向への拡大縮小処理が完了したかを判定する。拡大縮小処理が完了していない場合、ステップＳ３８の処理が実行され、拡大縮小処理が完了している場合、ステップＳ３９の処理が実行される。

［ステップＳ３８］マトリクス生成部１１２は、エッジ探索方向の軸を所定倍率拡大または縮小する。この後、ステップＳ３３において、エッジ探索方向が拡大または縮小された特徴量マトリクスが生成され、ステップＳ３４において、生成された特徴量マトリクスを用いて類似度が算出される。

［ステップＳ３９］特徴点ペア判定部１１３は、選択された特徴点について算出された類似度のうち最も高い類似度が算出された、比較画像の特徴点を選択する。
［ステップＳ４０］特徴点ペア判定部１１３は、算出された最高の類似度が所定のしきい値以上かを判定する。類似度がしきい値未満である場合、ステップＳ４１の処理が実行され、類似度がしきい値以上である場合、ステップＳ４２の処理が実行される。

［ステップＳ４１］特徴点ペア判定部１１３は、現在選択されている処理画像の特徴点を、特徴点情報１２２から削除する。
［ステップＳ４２］特徴点ペア判定部１１３は、ステップＳ３９で選択された比較画像の特徴点と、現在選択されている処理画像の特徴点とを特徴点ペアに決定し、特徴点ペア情報１２５に登録する。このとき、特徴点ペア判定部１１３は、最も高い類似度が算出されたときに用いていた処理画像についての特徴量マトリクスを特定し、特定した特徴量マトリクスについての楕円形状情報を、登録した特徴点ペア情報１２５に付加する。また、特徴点ペア判定部１１３は、特徴点ペアに決定した比較画像および処理画像のそれぞれについての特徴点の情報を、特徴点情報１２２から削除する。

［ステップＳ４３］特徴点ペア判定部１１３は、処理画像のすべての特徴点について特徴点ペアの決定処理を行ったかを判定する。特徴点ペアの決定処理が済んでいない特徴点がある場合、ステップＳ４４の処理が実行される。一方、処理画像のすべての特徴点について特徴点ペアの決定処理が完了している場合、図１９のステップＳ１３の処理が実行される。

［ステップＳ４４］特徴点ペア判定部１１３は、処理画像の特徴点のうち次の特徴点を選択する。この後、選択された特徴点についてステップＳ３３以降の処理が実行される。
以下、図１９に戻って説明する。

［ステップＳ１３］楕円形状判定部１１４は、特徴点ペアに含まれる各特徴点についての楕円形状情報を比較して類似度を計算し、類似度が所定のしきい値以上となる特徴点ペアを選別する。

［ステップＳ１４］位置合わせ処理部１１５は、ステップＳ１３で選別された特徴点ペアが画像内に満遍なく分布しているかを判定する。分布の偏りが小さいと判定された場合、ステップＳ１５の処理が実行され、分布の偏りが大きいと判定された場合、ステップＳ１６の処理が実行される。

［ステップＳ１５］位置合わせ処理部１１５は、ステップＳ１３で選別された特徴点ペアのみの情報を用いて、比較画像と処理画像との位置合わせを行う。
［ステップＳ１６］位置合わせ処理部１１５は、ステップＳ１２で生成されたすべての特徴点ペアの情報を用いて、比較画像と処理画像との位置合わせを行う。

［ステップＳ１７］位置合わせ処理部１１５は、画像が位置合わせされた状態において、ステップＳ１３で選別された各特徴点ペアに含まれる特徴点同士の位置ズレ量を算出する。

［ステップＳ１８］位置合わせ処理部１１５は、算出された位置ズレ量の分散を計算する。分散が所定のしきい値以上の場合、位置合わせの補正が行われずにステップＳ２１の処理が実行される。一方、分散がしきい値未満の場合、ステップＳ１９の処理が実行される。

［ステップＳ１９］位置合わせ処理部１１５は、位置ズレ量が最大であった特徴点ペアを特定し、その位置ズレの方向を算出する。
［ステップＳ２０］位置合わせ処理部１１５は、ステップＳ１９で算出した方向と逆方向に対して、ステップＳ１９で特定した特徴点ペアについての位置ズレ量の分だけ、一方の画像の位置を移動させて、位置合わせの補正を行う。

［ステップＳ２１］差分検出部１１６は、位置合わせした状態の比較画像と処理画像との差分を演算する。差分検出部１１６は、例えば、差分が一定以上となる領域を示す情報を、クライアント２００に送信する。

以上説明した画像処理装置１００によれば、特徴量マトリクスの楕円形状の類似度に基づいて、位置合わせに利用するのに好適な特徴点ペアを選別する。これにより、比較画像と処理画像とを位置合わせして差分を演算したときに、平地の領域から抽出された特徴点において差分が誤検出される可能性を低減することができる。

また、画像処理装置１００は、選別した特徴点ペアの分布が大きく偏っている場合には、特徴点ペアを限定せずに、生成されたすべての特徴点ペアの情報を用いて位置合わせする。これにより、位置合わせの精度を向上させることができる。

また、選別した特徴点ペアの分布が偏っている場合、画像処理装置１００は、選別された特徴点ペアそれぞれについての位置ズレ量の分散が小さいときに、その位置ズレ量に基づいて位置合わせの補正を行う。これにより、平地の領域から抽出された特徴点同士の位置ズレ量を縮小でき、それらの特徴点の位置において差分が誤検出される可能性を低減することができる。

なお、上記の各実施の形態に示した画像処理装置の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

１ 画像処理装置
２ 検出部
３ 判定部
１１，１２ 画像
２１，２２ 被写体
Ｐ１ａ，Ｐ１ｂ，Ｐ２ａ，Ｐ２ｂ 特徴点
Ｐ３，Ｐ４ 点

Claims (10)

1. 画像処理装置が、
   第１の画像および第２の画像から抽出された特徴点のそれぞれについて、各特徴点から当該特徴点に最も近い同一画像上の他の特徴点への第１の方向に基づいて第２の方向を決定して、当該特徴点から前記第２の方向に沿ってエッジを検出し、
   前記第１の画像から抽出された特徴点のそれぞれと、前記第２の画像から抽出された特徴点のそれぞれとの間で、各特徴点と当該特徴点に対応する前記他の特徴点および前記エッジとの位置関係の類似度を判定し、前記類似度の判定結果に基づいて、前記第１の画像と前記第２の画像のそれぞれから抽出された特徴点同士を対応付ける、
   ことを特徴とする画像処理方法。
2. 前記類似度の判定では、前記第１の画像から抽出された特徴点のそれぞれと、前記第２の画像から抽出された特徴点のそれぞれとの間で、各特徴点を中心とし、当該特徴点と当該特徴点に対応する前記他の特徴点とを結ぶ線分を一方の径とし、当該特徴点と当該特徴点に対応する前記エッジとを結ぶ線分を他方の径とする楕円の形状の類似度を判定することを特徴とする請求項１記載の画像処理方法。
3. 判定された類似度が所定のしきい値以上となる特徴点同士を対応付けて生成された複数の特徴点ペアに基づいて、前記第１の画像と前記第２の画像との位置合わせを実行する、
   処理をさらに含むことを特徴とする請求項１または２記載の画像処理方法。
4. 前記類似度の判定では、前記第１の画像から抽出された複数の特徴点のそれぞれと、前記第２の画像から抽出された複数の特徴点のそれぞれとを一対一で対応付けて生成された複数の特徴点ペアのそれぞれについて、各特徴点ペアに含まれる特徴点の間で、各特徴点と当該特徴点に対応する前記他の特徴点および前記エッジとの位置関係の類似度を判定して、類似度が所定のしきい値以上となる特徴点ペアを特定し、
   さらに、
   前記特定された特徴点ペアのそれぞれに含まれる特徴点の、前記第１の画像または前記第２の画像における位置の分布を解析し、その解析結果に基づき、分布の偏りが小さいと判定した場合には、前記複数の特徴点ペアのうち前記特定された特徴点ペアのみを用いて前記第１の画像と前記第２の画像との位置合わせを実行する、
   処理を含むことを特徴とする請求項１〜３のいずれか１項に記載の画像処理方法。
5. 前記解析結果に基づき、分布の偏りが大きいと判定した場合には、
   前記複数の特徴点ペアを用いて前記第１の画像と前記第２の画像との位置合わせを実行し、
   前記特定した特徴点ペアのそれぞれに含まれる特徴点同士の位置ズレ量に基づいて、位置合わせしたときの前記第１の画像と前記第２の画像との位置関係を補正する、
   ことを特徴とする請求項４記載の画像処理方法。
6. 前記位置関係の補正は、前記特定した特徴点ペアのそれぞれに含まれる特徴点同士の位置ズレ量の分散が所定値以下の場合に行われることを特徴とする請求項５記載の画像処理方法。
7. 前記第１の画像および前記第２の画像から抽出された特徴点のそれぞれについて、各特徴点を中心とし、当該特徴点と当該特徴点に対応する前記他の特徴点とを結ぶ線分を一方の径とし、当該特徴点と当該特徴点に対応する前記エッジとを結ぶ線分を他方の径とする楕円状のマトリクスの各領域に、当該領域内の画素値と当該特徴点の画素値との差分に関する情報を対応付けた特徴量マトリクスを生成し、
   前記第１の画像から抽出された特徴点のそれぞれと、前記第２の画像から抽出された特徴点のそれぞれとの間で特徴量マトリクスを比較して、特徴量マトリクスが類似する特徴点同士を対応付けて特徴点ペアを決定し、
   前記類似度の判定では、決定された特徴点ペアのそれぞれに含まれる特徴点の間でマトリクスの楕円形状の類似度を判定し、類似度が所定のしきい値より低い特徴点ペアを前記決定された特徴点ペアから除外する、
   ことを特徴とする請求項１記載の画像処理方法。
8. 前記第２の方向は、前記第１の方向を所定回転方向に９０°回転させた方向であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理方法。
9. 第１の画像および第２の画像から抽出された特徴点のそれぞれについて、各特徴点から当該特徴点に最も近い同一画像上の他の特徴点への第１の方向に基づいて第２の方向を決定して、当該特徴点から前記第２の方向に沿ってエッジを検出する検出部と、
   前記第１の画像から抽出された特徴点のそれぞれと、前記第２の画像から抽出された特徴点のそれぞれとの間で、各特徴点と当該特徴点に対応する前記他の特徴点および前記エッジとの位置関係の類似度を判定し、前記類似度の判定結果に基づいて、前記第１の画像と前記第２の画像のそれぞれから抽出された特徴点同士を対応付ける判定部と、
   を有することを特徴とする画像処理装置。
10. コンピュータに、
    第１の画像および第２の画像から抽出された特徴点のそれぞれについて、各特徴点から当該特徴点に最も近い同一画像上の他の特徴点への第１の方向に基づいて第２の方向を決定して、当該特徴点から前記第２の方向に沿ってエッジを検出し、
    前記第１の画像から抽出された特徴点のそれぞれと、前記第２の画像から抽出された特徴点のそれぞれとの間で、各特徴点と当該特徴点に対応する前記他の特徴点および前記エッジとの位置関係の類似度を判定し、前記類似度の判定結果に基づいて、前記第１の画像と前記第２の画像のそれぞれから抽出された特徴点同士を対応付ける、
    処理を実行させることを特徴とする画像処理プログラム。

Images