JP4223860B2

JP4223860B2 - 画像マッチング方法

Info

Publication number: JP4223860B2
Application number: JP2003127771A
Authority: JP
Inventors: 正笹川
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2003-05-06
Filing date: 2003-05-06
Publication date: 2009-02-12
Anticipated expiration: 2023-05-06
Also published as: JP2004333243A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像マッチング方法に関するものである。
【０００２】
【従来の技術】
航空機に俯角の異なる複数のラインセンサを搭載し、これらラインセンサからの出力により地上物の位置データを求める装置としては、特許文献１記載のものが知られている。
【０００３】
この従来例において、航空機には、鉛直下方、前方斜め方向、後方斜め方向の３方向を向くラインセンサと、各ラインデータ取得時の航空機の位置、傾きを計測するためのＧＰＳ及びジャイロが搭載される。
【０００４】
このようにして得られた３画面には各々共通の撮像対象が撮影されており、これらの画像上の位置に基づいて撮像対象の標高データを含む位置データが得られる。
【０００５】
そして、上述した従来例において、地上の撮像対象の位置を求めるためには、各画像上で撮影されている撮像対象を正確に対応させる（マッチングする）必要がある。
【０００６】
一方、画像マッチングの手法としては、主として１対のステレオ画像から標高データを取得する航空測量等の分野において広く採用されており、例えば、一方のステレオ画像の特徴点を他のステレオ画像中で探索することにより行われる。
【０００７】
しかし、これら従来のマッチング画像の探索方法においては、広い範囲を探索する必要が生じるために、探索時間がかかる上に、探索範囲が広いために、探索の信頼性も必ずしも高くないという問題がある。
【０００８】
【特許文献１】
特許第２８０７６２２号公報特
【０００９】
【発明が解決しようとする課題】
本発明は、以上の欠点を解消すべくなされたものであって、探索効率が高く、かつ、探索精度も高い画像マッチング方法の提供を目的とする。
【００１０】
【課題を解決するための手段】
本発明によれば上記目的は、
航空機１の飛行方向（Ａ１）に対して前方、直下、後方の３方向に俯角の異なる複数のラインセンサ２の各々により取得したラインデータ３の複数から、各ラインデータ３取得時のセンサ傾き情報に基づいて傾きを補正してラインセンサ画像４を生成するステップと、
直下視のラインセンサ画像４Ａ中に撮像されたマッチング対象点５の撮像時におけるセンサ位置情報と俯角情報から前方視および後方視の各ラインセンサ画像４Ｃ、４Ｂ中における対応位置を指定するステップと、
前記対応位置から前方視および後方視の各ラインセンサ画像４Ｃ、４Ｂにおける飛行方向（Ａ１）に平行な倒れ方向に、前方視あるいは後方視のラインセンサ２のセンサ位置情報および俯角情報と、地物の一般的な高さを考慮して予め設定された定数からなる地物の高さ情報とに基づいて決定される所定長範囲を探索領域７として設定するステップと、
前記探索領域７中で前記マッチング対象点５に対する対応点６を順次検索し、対応点６が抽出されなかった場合には当該ラインセンサ画像４Ｃ（４Ｂ）については対応点なしとするステップとを有する画像マッチング方法を提供することにより達成される。
【００１１】
航空機１から取得されるラインセンサ画像４は多数のラインデータ３の集合であり、各ラインデータ３には、航空機１に搭載したＧＰＳ／ＩＭＵ（Inertial Measurement Unit：慣性測量装置）からの出力値が対応付けられる。ラインセンサ画像４は、各ラインデータ３の傾きを補正した仮空間面への投影像として与えられ、地上の地物が高さをもたなければ、各ラインセンサ画像４はすべて一致する。
【００１２】
一方、地物が高さをもつ場合には、図２（ｂ）に示すように、航空機１の直下視画像４Ａにおいては、航空機１の飛行方向（Ａ１）に対して直交方向（主走査方向）に、図２（ａ）に示す後方視画像４Ｂにおいては斜め後方に、図２（ｃ）に示す前方視画像４Ｃにおいては、斜め前方に各々傾斜し、ラインセンサ画像４上の位置は、投影する主点位置（センサ位置のｘ，ｙ，ｚ、及び撮影角度（俯角）ｑ）と高さｈとの関数で与えられる。なお、本明細書においては、航空機１の飛行方向（Ａ１）をｘ軸、高さ方向をｚ軸、ｘ，ｚ軸に直交する軸をｙ軸とする。
【００１３】
ここで、各ラインセンサ画像４を構成するラインデータ３の主点位置と撮影角度ｑは既知であり、さらに、当該位置における傾き方向も既知であるために、いずれか一のラインセンサ画像４中のマッチング対象点５の他のラインセンサ画像４上での対応点６は、地物の高さｈによる変化を考慮するだけで簡単、かつ、正確に特定することができる。
【００１４】
図３に、直下視画像４Ａ中のマッチング対象点５に対応する前方視画像４Ｃ中の対応点６を特定する場合の説明図を示す。なお、説明を容易にするように、図３においては、カメラ（センサ）が対象地物８の直上を通過し、主走査方向への倒れがない場合を示すが、この場合の副走査方向の倒れに、図２（ｂ）に示す主走査方向の倒れ（Ｖｙ）とのベクトル和をとることにより図２（ｃ）に示すような、地物８が斜め方向に倒れ込んだ現象に一般化することができる。
【００１５】
図４（ｃ）に示すように、ラインデータ３の傾きを補正した状態で各ラインセンサ画像４は縦視差が除去された状態となっており、マッチング対象点５と対応点６とは、航空機１の同一飛行方向線上に位置することが保証される。
【００１６】
そして、直下視画像４Ａ上のマッチング対象点５を撮像した際の対応点６は、対象地物８が高さをもたない場合、すなわち、屋上面が図３（ａ）において線分ａｂの場合には、図３（ｃ）に示すように、撮影主点９位置と撮影角度ｑ１による撮影主点９からの距離（Ｌ）から直ちに特定される。
【００１７】
これに対し、図３（ｄ）に示すように、地物に高さｈがあるときには、図３（ｃ）において特定した対応点６（仮対応点６’）から高さｈに対応する距離（δ）だけ倒れ方向、すなわち、前方視画像４Ｃである本例においては、飛行方向（Ａ１）にずれている。ここで、高さｈは未知であるために、上記仮対応点６から所定間隔で探索範囲を飛行方向（Ａ１）に移動させていくだけで、正確に対応特徴点を検索することが可能になる。
【００１８】
なお、以上においては、直下視画像４Ａ中からマッチング対象点５を選定する場合を示したが、他のラインセンサ画像４上にマッチング対象点５を指定し、直下視画像４Ａを含む他のラインセンサ画像４上で対応点６を検索する場合も全く同様の手順を採用することができる。さらに、以上においては、直下視と前方視のラインセンサ画像４のみに対する処理を示したが、これに後方視、これらの中間方向視、さらには、サイドラップ位置にあるラインセンサ画像４を処理対象とすることも可能である。
【００１９】
したがってこの発明において、対応点６抽出の検索範囲を狭い範囲に絞り込むことが可能となるために、検索効率が向上する上に、マッチング確率も向上させることが可能になる。
【００２０】
また、複数のラインセンサ画像４を使用すると、複数画像上での対応点６指定を行うことができるために、これら対応点６検索により得られる標高データの検証をより正確に行うことが可能になる。
【００２１】
【発明の実施の形態】
図１に本発明のフローチャートを、図４にラインセンサ画像４の取得状態を示す。この実施の形態において、地上所定高さを飛行する航空機１には、図４において矢印で示す航空機１の飛行方向（Ａ１）に対して前方視、直下視、後方視の画像を取得するために３個のラインセンサ２が搭載される。図４（ａ）に示すように、各ラインセンサ２は、飛行方向（Ａ１）に対して直交する水平姿勢、すなわち図４（ａ）において紙面に対して直交方向に複数の撮像素子を並べて形成される。
【００２２】
ラインセンサ２により取得されるラインセンサ画像４は、図４（ｂ）に示すように、複数のラインデータ３の集合として与えられ、各ラインデータ３の取得に際しては、航空機１に搭載したＧＰＳ／ＩＭＵからの出力が記録され、撮像時のセンサ位置（ｘ，ｙ，ｚ）、傾き（ロール角、ピッチ角、ヨー角）を知ることができる。
【００２３】
ラインデータ３に撮像される対象は図４（ｂ）において黒く塗りつぶして示すように、ロール角等の影響によってライン上の位置は意味をもたず、これらを単に連結させた状態では、撮像対象の形状は示されないために、先ず、各ラインデータ３に対してＩＭＵからの出力をもとにロール角等の傾きを補正し、図４（ｃ）に示すようなラインセンサ画像４を生成する（ステップＳ１）。
【００２４】
次いで、直下視画像４Ａ中にマッチング対象点５を指定する（ステップＳ２）。マッチング対象点５は、例えば、Ｍ×Ｎ画素からなるテンプレート画像として抽出される（図３（ｂ）参照）。
【００２５】
また、直下視画像４Ａ中にマッチング対象点５を指定すると、このマッチング対象点５に対する撮影主点９位置が決定できるために、これから、探索先のラインセンサ画像４の撮影角（俯角ｑ1）を加味して探索先のラインセンサ画像４Ｃ中にテンプレート対応位置を指定し（ステップＳ３）、さらに、対応点６の探索領域７を決定する（ステップＳ４）。
【００２６】
上述したように、探索領域７は、ステップＳ３で指定した対応位置を始点とし、航空機１の飛行方向（Ａ１）に沿って設定される。探索領域７の方向は、撮影方向によって高さを有する地物がラインセンサ画像４上で倒れる方向に設定され、例えば、図３に示すように、前方視画像４Ｃを探索先画像とする場合には、飛行方向（Ａ１）の方向に延設される。また、探索領域７の長さは、地物の一般的な高さ等を考慮して適宜決定される。
【００２７】
対応点６の探索（ステップＳ５）は、例えば、残差逐次検定法（Sequential Similarity Detection Algorithm:SSDA)によって行われ、上記ステップＳ４で設定されたＭ×Ｎ画素からなる探索領域７内でテンプレート画像を移動させ、特徴点における画像相関の残差が最小になった点を対応点６とする。
【００２８】
対応点６が抽出された際には、残差を確度評価指数として取得し保管し（ステップＳ６）、対応点６が抽出されなかった場合には、隠蔽等のためと考えられるために、対応点６なしとする。
【００２９】
以上のようにして、前方視画像４Ｃ中に対応点６を抽出した後、同様の手順によって後方視画像４Ｂ中、さらには、他のラインセンサ画像４が用意されている場合には、すべてのラインセンサ画像４に対する対応点６抽出を行う。
【００３０】
これら複数のラインセンサ画像４上で抽出された対応点６は、各々確度評価指数が与えられ、さらには、全ラインセンサ画像４数に対する対応点６抽出数も知ることができるために、抽出された対応点６の正確さを客観的に評価することができる。
【００３１】
なお、以上の方法は、コンピュータを使用して実施することが可能であり、この場合、上記各ステップをコンピュータに実行させるためのプログラムが使用される。
【００３２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、探索効率が高く、かつ、探索精度も高くすることができる。
【図面の簡単な説明】
【図１】本発明を示すフローチャートである。
【図２】ラインセンサ画像を示す図で、（ａ）は後方視画像、（ｂ）は直下視画像、（ｃ）は前方視画像を示す。
【図３】本発明の原理を示す図で、（ａ）は航空機からの撮像状態を示す説明図、（ｂ）は直下視画像を示す図、（ｃ）は（ａ）の地物に高さがない場合の前方視画像を示す図、（ｄ）は（ａ）の地物に高さｈがある場合の前方視画像を示す図である。
【図４】本発明の実施の形態を示す図で、（ａ）は３ラインセンサを使用してラインセンサ画像を取得している状態を示す図、（ｂ）は傾き補正前のラインデータの配列を示す図、（ｃ）は傾き補正後のラインセンサ画像を示す図である。
【符号の説明】
１航空機
２ラインセンサ
３ラインデータ
４ラインセンサ画像
５マッチング対象点
６対応点
７探索領域

Claims

航空機の飛行方向に対して前方、直下、後方の３方向に俯角の異なる複数のラインセンサの各々により取得したラインデータの複数から、各ラインデータ取得時のセンサ傾き情報に基づいて傾きを補正してラインセンサ画像を生成するステップと、
直下視のラインセンサ画像中に撮像されたマッチング対象点の撮像時におけるセンサ位置情報と俯角情報から前方視および後方視の各ラインセンサ画像中における対応位置を指定するステップと、
前記対応位置から前方視および後方視の各ラインセンサ画像における飛行方向に平行な倒れ方向に、前方視あるいは後方視のラインセンサのセンサ位置情報および俯角情報と、地物の一般的な高さを考慮して予め設定された定数からなる地物の高さ情報とに基づいて決定される所定長範囲を探索領域として設定するステップと、
前記探索領域中で前記マッチング対象点に対する対応点を順次検索し、対応点が抽出されなかった場合には当該ラインセンサ画像については対応点なしとするステップとを有する画像マッチング方法。
前記検索は、ラインセンサ画像中からマッチング対象点として抽出されたテンプレート画像の探索領域中での画像相関によって行われ、
かつ、対応点が抽出された場合には画像相関の残差を確度評価指数として取得するステップを有する請求項１記載の画像マッチング方法。
航空機の飛行方向に対して前方、直下、後方の３方向に俯角の異なる複数のラインセンサの各々により取得したラインデータの複数から、各ラインデータ取得時のセンサ傾き情報に基づいて傾きを補正してラインセンサ画像を生成するステップと、
直下視のラインセンサ画像中に撮像されたマッチング対象点の撮像時におけるセンサ位置情報と俯角情報から前方視および後方視の各ラインセンサ画像中における対応位置を指定するステップと、
前記対応位置から前方視および後方視の各ラインセンサ画像における飛行方向に平行な倒れ方向に、前方視あるいは後方視のラインセンサのセンサ位置情報および俯角情報と、地物の一般的な高さを考慮して予め設定された定数からなる地物の高さ情報とに基づいて決定される所定長範囲を探索領域として設定するステップと、
前記探索領域中で前記マッチング対象点に対する対応点を順次検索し、対応点が抽出されなかった場合には当該ラインセンサ画像については対応点なしとするステップとをコンピュータに実行させるための画像マッチングプログラム。
前記検索は、ラインセンサ画像中からマッチング対象点として抽出されたテンプレート画像の探索領域中での画像相関によって行われ、
かつ、対応点が抽出された場合には画像相関の残差を確度評価指数として取得するステップをコンピュータに実行させるための請求項３記載の画像マッチングプログラム。