JP6585994B2

JP6585994B2 - 対応点探索装置および方法

Info

Publication number: JP6585994B2
Application number: JP2015214340A
Authority: JP
Inventors: 佐藤　裕樹; 裕樹佐藤
Original assignee: Azbil Corp
Current assignee: Azbil Corp
Priority date: 2015-10-30
Filing date: 2015-10-30
Publication date: 2019-10-02
Anticipated expiration: 2035-10-30
Also published as: JP2017084245A

Description

本発明は、基準画像をテンプレートとし、参照画像から対応する箇所を探索する対応点探索装置および方法に関するものである。

従来より、対応点探索装置は、基準画像と参照画像の画素値を利用し、２つの画像の相関値を求めることで参照画像の中から基準画像と対応する箇所を探索するようにしている。具体的には基準画像をテンプレートとして用意し、参照画像の左上端から水平方向及び垂直方向に網羅するように基準画像を参照画像上で移動させて、最も相関値が高く得られた参照画像の箇所を対応点としている。

相関値を算出する手法は複数提案されており、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）、位相限定相関法（ＰＯＣ：Phase Only Correlation）などがある。例えばＰＯＣについては、非特許文献１に開示されている。また、以上の対応点探索技術を一般的にテンプレートマッチングと呼ぶ。

上記のＳＳＤ、ＳＡＤ、ＮＣＣ、ＰＯＣ等の手法を用いて基準画像と参照画像の相関値を算出すると、参照画像中の複数の箇所において相関値が高くなってしまう場合がある。このときに単純に最も相関値が高い参照画像の箇所を選択してしまうと、本来対応点として検出したい箇所と異なる箇所を選択してしまう可能性がある。

このような課題に対し、例えば特許文献１に開示された対応点探索装置では、基準画像と参照画像のそれぞれにつき、解像度の異なる複数の基準画像と参照画像を階層的に生成し、下位の階層で探索した対応点候補に基づいて上位の階層に探索範囲を設定し、設定した探索範囲内で対応点を探索する。具体的には、まず低い解像度の画像（階層Ｌ（ｉ））とＳＡＤまたはＰＯＣの相関法を用いて対応点探索を実施する。この際に所定の評価法を用いて評価値が高い箇所が複数検出された場合、すべてを対応点候補とする。次に階層Ｌ（ｉ）よりも解像度が高い画像（階層Ｌ（ｉ−１））を用い、階層Ｌ（ｉ）において見つかった対応点候補について相関値を求めることを繰り返す。このようにすることにより、いずれかの階層において解の可能性が低い箇所が除外されることが期待できる。

国際公開第２０１３／００１７１０号

長嶋聖他，「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会（２００４．１０．９）、資料番号２１８−１５、＜http://www.topic.ad.jp/sice/papers/218/218-15.pdf＞

特許文献１に開示された対応点探索装置では、最上位の階層まで複数の対応点候補が残り続ける可能性があり、正しい対応点を得られない可能性があった。

本発明は、上記課題を解決するためになされたもので、正しい対応点とそれ以外の点とを区別し易い評価手法を実現することができ、正しい対応点探索を実現することができる対応点探索装置および方法を提供することを目的とする。

本発明の対応点探索装置は、基準画像との対応点を探索したい参照画像の全体を網羅するように検査領域を複数設定する検査領域設定手段と、この検査領域設定手段が設定した検査領域の画像を前記参照画像から検査領域毎に抽出する検査領域抽出手段と、前記基準画像と前記検査領域抽出手段が抽出した画像との相関演算を位相限定相関法により行い、相関値および位置ずれ量を検査領域毎に得る相関演算手段と、この相関演算手段が検査領域について算出した相関値を、当該検査領域の座標から前記位置ずれ量だけずれた参照画像上の点の得点として加算する処理を検査領域毎に行う得点加算手段と、この得点加算手段が算出した得点に基づいて、前記基準画像に対する前記参照画像の対応点を決定する評価手段とを備えることを特徴とするものである。

また、本発明の対応点探索装置の１構成例において、前記評価手段は、前記得点加算手段が算出した得点が最も高い第１の点と得点が２番目に高い第２の点とを抽出し、前記第１の点の得点が予め定められた閾値α以上で、かつ前記第１の点の得点と前記第２の点の得点との差が予め定められた閾値β以上である場合に、前記第１の点を対応点とすることを特徴とするものである。
また、本発明の対応点探索装置の１構成例において、前記評価手段は、前記得点加算手段が算出した得点が最も高い第１の点を抽出し、前記第１の点の得点が予め定められた閾値α以上である場合に、前記第１の点を対応点とすることを特徴とするものである。
また、本発明の対応点探索装置の１構成例において、前記評価手段は、前記得点加算手段が算出した得点が最も高い第１の点と得点が２番目に高い第２の点とを抽出し、前記第１の点の得点と前記第２の点の得点との比率が予め定められた閾値γ以上である場合に、前記第１の点を対応点とすることを特徴とするものである。

また、本発明の対応点探索方法は、基準画像との対応点を探索したい参照画像の全体を網羅するように検査領域を複数設定する検査領域設定ステップと、この検査領域設定ステップで設定した検査領域の画像を前記参照画像から検査領域毎に抽出する検査領域抽出ステップと、前記基準画像と前記検査領域抽出ステップで抽出した画像との相関演算を位相限定相関法により行い、相関値および位置ずれ量を検査領域毎に得る相関演算ステップと、この相関演算ステップで検査領域について算出した相関値を、当該検査領域の座標から前記位置ずれ量だけずれた参照画像上の点の得点として加算する処理を検査領域毎に行う得点加算ステップと、この得点加算ステップで算出した得点に基づいて、前記基準画像に対する前記参照画像の対応点を決定する評価ステップとを備えることを特徴とするものである。

本発明によれば、参照画像の全体を網羅するように検査領域を複数設定し、検査領域の画像を参照画像から検査領域毎に抽出し、基準画像と検査領域抽出手段が抽出した画像との相関演算を位相限定相関法により行い、相関値および位置ずれ量を検査領域毎に取得し、検査領域について算出した相関値を、当該検査領域の座標から位置ずれ量だけずれた参照画像上の点の得点として加算する処理を検査領域毎に行うことにより、基準画像に対する参照画像の正しい対応点とそれ以外の点とで得点に差異を生じさせることができる。その結果、本発明では、正しい対応点とそれ以外の点とを区別し易い評価手法を実現することができ、従来正しい探索が行えなかった例でも正しい対応点探索が可能となる。

本発明の実施の形態に係る対応点探索装置の構成を示すブロック図である。本発明の実施の形態に係る対応点探索装置の動作を説明するフローチャートである。本発明の実施の形態における検査領域の設定処理について説明する図である。従来技術と本発明の実施の形態との違いを説明する図である。従来技術で得られた相関値と本発明の実施の形態で得られた得点の例を示す図である。

［発明の原理］
本発明では、基準画像と参照画像の相関値を算出する相関法としてＰＯＣを用いる。ＰＯＣの他の相関法にない特徴として、類似度を示す相関値の他に、基準画像をどの程度ずらせばマッチングするかを示す位置ずれ量Ｘ，Ｙを得ることができる、という点がある。

本発明は、この位置ずれ量Ｘ，Ｙを利用し、参照画像の各座標の相関値を、上記位置ずれ量Ｘ，Ｙだけ移動した座標に得点として加算する。これにより、参照画像上の１点に得点が集中し、正しい対応点とそれ以外の点とで得点に差異を生じさせることができる。そのため、従来正しい探索が行えなかった例でも正しい対応点探索が可能となる。

［実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態に係る対応点探索装置の構成を示すブロック図である。対応点探索装置は、画像読込部１と、検査領域設定部２と、検査領域抽出部３と、相関演算部４と、得点加算部５と、評価部６とから構成される。

次に、本実施の形態の対応点探索装置の動作を図２を参照して説明する。最初に、画像読込部１は、外部から基準画像と参照画像とを読み込む（図２ステップＳ１）。カメラを使用して基準画像と参照画像とを適宜撮影しても良いし、図示しない記憶装置に保存してある基準画像と参照画像とを読み込んでもよい。本実施の形態では、基準画像を予めカメラで撮影して記憶装置に保存しておき、対応点探索の実施時に画像読込部１が記憶装置から基準画像を読み込むものとする。参照画像については対応点探索の実施時にカメラで撮影して読み込むものとする。また、基準画像は、撮影した画像をそのまま使用してもよいし、撮影した画像から注目領域のみ抜粋するなど事前に前処理を行ってもよい。

続いて、検査領域設定部２は、画像読込部１が読み込んだ参照画像に四角形の検査領域を設定する（図２ステップＳ２）。この検査領域の設定方法は、具体的には、図３（Ａ）に示した参照画像に対して図３（Ｂ）のように左上端に検査領域Ｔを設定し、この左上端から右上端まで検査領域Ｔの位置を参照画像上で水平方向（図３（Ｂ）ｘ方向）に所定量だけずらすことを繰り返す。そして、検査領域Ｔが参照画像の右端に達すると、検査領域Ｔの位置を参照画像上で垂直方向（図３（Ｂ）ｙ方向）に所定量だけずらした上で左端に戻し、再び左端から右端まで検査領域Ｔの位置を水平方向に所定量だけずらすことを繰り返す。こうして、検査領域Ｔの水平方向の移動と垂直方向の移動とを繰り返すことにより、参照画像全体を網羅するように検査領域Ｔを設定する。このような探索方法を一般的にラスタースキャンと呼ぶ。上記の説明から明らかなように、検査領域Ｔの大きさは、参照画像よりも小さい。検査領域Ｔは、基準画像と同じ大きさである。

次に、検査領域抽出部３は、検査領域設定部２が設定した検査領域Ｔの画像を参照画像から抽出する（図２ステップＳ３）。
相関演算部４は、基準画像と検査領域抽出部３が参照画像から抽出した画像との相関演算をＰＯＣにより行い、基準画像と検査領域抽出部３が抽出した画像との類似度を示す相関値Ｖ、および基準画像と検査領域抽出部３が抽出した画像との位置ずれ量Ｘ，Ｙを得る（図２ステップＳ４）。なお、ＰＯＣについては、上記のとおり非特許文献１に開示されている。

得点加算部５は、相関演算部４が検査領域Ｔについて算出した相関値Ｖを、参照画像上の当該検査領域Ｔの座標（例えば検査領域Ｔの中心点の座標）から位置ずれ量Ｘ，Ｙだけずれた参照画像上の点の得点Ｓとして加算する（図２ステップＳ５）。

上記のとおり、検査領域設定部２は参照画像の左上端から右下端まで位置をずらしながら検査領域Ｔの設定を繰り返し行うので、検査領域抽出部３と相関演算部４と得点加算部５とは、検査領域設定部２が設定する検査領域Ｔ毎に処理を行う。こうして、参照画像上で設定可能な検査領域Ｔがなくなるまで（図２ステップＳ６においてＮＯ）、ステップＳ２〜Ｓ５の処理が繰り返し実行される。

従来は検査領域Ｔ毎にＰＯＣにより相関演算を行うと、例えば図４（Ａ）に示すような結果が得られる。図４（Ａ）は、検査領域Ｔを１（ｐｉｘｅｌ）単位でずらしながら、検査領域Ｔ毎にＰＯＣにより相関演算を行った結果の相関値Ｖと位置ずれ量Ｘ，Ｙとを、これらの結果が得られた検査領域Ｔの座標（例えば検査領域Ｔの中心点の座標）の位置に図示したものである。つまり、図４（Ａ）の隣接する枡目の間隔は１（ｐｉｘｅｌ）ということになる。なお、検査領域抽出部３が参照画像から抽出した画像においてＰＯＣによる相関演算で相関ピークが得られた点の座標を（Ｘ₀，Ｙ₀）、検査領域抽出部３が参照画像から抽出した画像の中心点の座標を（Ｘ_T，Ｙ_T）とすると、位置ずれ量ＸはＸ＝Ｘ₀−Ｘ_T、位置ずれ量ＹはＹ＝Ｙ₀−Ｙ_Tとなる。

図４（Ａ）のような相関演算の結果に対して本実施の形態を適用すると、図４（Ｂ）に示すような結果が得られる。例えば検査領域Ｔ１の座標について検査領域抽出部３が参照画像から抽出し、相関演算部４が相関演算を行うと、相関値Ｖ＝０．５、位置ずれ量Ｘ＝１、Ｙ＝１という結果が得られる。この相関値Ｖ＝０．５を、検査領域Ｔ１の座標から位置ずれ量Ｘ＝１、Ｙ＝１だけずれた点（検査領域Ｔ５の座標）の得点Ｓとして加算する。同様に、検査領域Ｔ２の座標について検査領域抽出部３が参照画像から抽出し、相関演算部４が相関演算を行うと、相関値Ｖ＝０．５、位置ずれ量Ｘ＝０、Ｙ＝１という結果が得られる。この相関値Ｖ＝０．５を、検査領域Ｔ２の座標から位置ずれ量Ｘ＝０、Ｙ＝１だけずれた点の得点Ｓとして加算する。このような得点Ｓの加算を各検査領域Ｔについて行うと、検査領域Ｔ１〜Ｔ３，Ｔ４，Ｔ６，Ｔ７〜Ｔ９の座標の得点Ｓが０、検査領域Ｔ５の座標の得点Ｓが４．５という結果が得られる。

図５（Ａ）はＰＯＣにより演算した相関値Ｖの分布の例を示す図、図５（Ｂ）は図５（Ａ）に示した相関値Ｖを基に本実施の形態の得点加算部５で算出した得点Ｓの分布の例を示すである。図５（Ａ）、図５（Ｂ）を比較すると、従来のＰＯＣによる手法では、対応点の候補（相関値Ｖが高い箇所）が多数出現するのに対し、本実施の形態では、対応点の候補（得点Ｓのピークの箇所）が大幅に減少しており、対応点の探索が容易になるという明確な違いが発生する。

設定可能な全ての検査領域ＴについてステップＳ２〜Ｓ５の処理が行われた後、評価部６は、得点加算部５が算出した得点Ｓが最も高い第１の点と得点Ｓが２番目に高い第２の点とを抽出し、第１の点の得点Ｓ１が予め定められた閾値α以上であり、第１の点の得点Ｓ１と第２の点の得点Ｓ２との差が予め定められた閾値β以上であれば、第１の点を基準画像に対する参照画像の対応点であるとする（図２ステップＳ７）。

なお、評価部６は、第１の点の得点Ｓ１が予め定められた閾値α以上であれば、第１の点を対応点としてもよい。また、評価部６は、第１の点の得点Ｓ１と第２の点の得点Ｓ２との比率Ｓ１／Ｓ２が予め定められた閾値γ以上であれば、第１の点を対応点としてもよい。

本実施の形態で説明した対応点探索装置は、ＣＰＵ（Central Processing Unit）、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。ＣＰＵは、記憶装置に格納されたプログラムに従って本実施の形態で説明した処理を実行する。

本発明は、２枚の画像の対応点を探索する技術に適用することができる。

１…画像読込部、２…検査領域設定部、３…検査領域抽出部、４…相関演算部、５…得点加算部、６…評価部。

Claims

基準画像との対応点を探索したい参照画像の全体を網羅するように検査領域を複数設定する検査領域設定手段と、
この検査領域設定手段が設定した検査領域の画像を前記参照画像から検査領域毎に抽出する検査領域抽出手段と、
前記基準画像と前記検査領域抽出手段が抽出した画像との相関演算を位相限定相関法により行い、相関値および位置ずれ量を検査領域毎に得る相関演算手段と、
この相関演算手段が検査領域について算出した相関値を、当該検査領域の座標から前記位置ずれ量だけずれた参照画像上の点の得点として加算する処理を検査領域毎に行う得点加算手段と、
この得点加算手段が算出した得点に基づいて、前記基準画像に対する前記参照画像の対応点を決定する評価手段とを備えることを特徴とする対応点探索装置。
請求項１記載の対応点探索装置において、
前記評価手段は、前記得点加算手段が算出した得点が最も高い第１の点と得点が２番目に高い第２の点とを抽出し、前記第１の点の得点が予め定められた閾値α以上で、かつ前記第１の点の得点と前記第２の点の得点との差が予め定められた閾値β以上である場合に、前記第１の点を対応点とすることを特徴とする対応点探索装置。
請求項１記載の対応点探索装置において、
前記評価手段は、前記得点加算手段が算出した得点が最も高い第１の点を抽出し、前記第１の点の得点が予め定められた閾値α以上である場合に、前記第１の点を対応点とすることを特徴とする対応点探索装置。
請求項１記載の対応点探索装置において、
前記評価手段は、前記得点加算手段が算出した得点が最も高い第１の点と得点が２番目に高い第２の点とを抽出し、前記第１の点の得点と前記第２の点の得点との比率が予め定められた閾値γ以上である場合に、前記第１の点を対応点とすることを特徴とする対応点探索装置。
基準画像との対応点を探索したい参照画像の全体を網羅するように検査領域を複数設定する検査領域設定ステップと、
この検査領域設定ステップで設定した検査領域の画像を前記参照画像から検査領域毎に抽出する検査領域抽出ステップと、
前記基準画像と前記検査領域抽出ステップで抽出した画像との相関演算を位相限定相関法により行い、相関値および位置ずれ量を検査領域毎に得る相関演算ステップと、
この相関演算ステップで検査領域について算出した相関値を、当該検査領域の座標から前記位置ずれ量だけずれた参照画像上の点の得点として加算する処理を検査領域毎に行う得点加算ステップと、
この得点加算ステップで算出した得点に基づいて、前記基準画像に対する前記参照画像の対応点を決定する評価ステップとを備えることを特徴とする対応点探索方法。