JP4835325B2 - 画像位置計測方法、画像位置計測装置、および画像位置計測プログラム - Google Patents

Description

本発明は、ＦＡ（Factory Automation）分野の製造ラインなどで、画像を用いて高精度な部品・マークの位置・姿勢に関する計測を高速に行う技術に関する。

従来、製造ラインにおいて、カメラ等によって撮像された画像を用いて、部品やマークの位置を検出するのに、基準となる画像と照合する正規化相関演算によるテンプレートマッチングの方法が一般的となっており、画像に回転等の変化がある場合に対応して、部品の位置計測をより高精度に行うテンプレートマッチングが提案されている（例えば、特許文献１参照）。

しかしながら、従来のテンプレートマッチングの技術では、サイズや角度の変化が生じる場合には、それら全てのパラメータについてテンプレート画像を生成してマッチング処理を行う必要があり、計算処理量が非常に大きくなり対応するのが困難であった。
特開平１０−２７２５３号公報

上記問題を解決するため、本発明では、撮像した画像における対象物の一部の小さな領域をテンプレート範囲とすることでマッチングの演算量を大幅に削減し、サイズや角度が変化する場合でも、高精度な位置計測を高速に行うことを可能とする技術を提供する。

第一の発明は、撮像した画像をもとに対象物の位置を計測する画像位置計測方法であって、前記対象物の原画像に所定の空間フィルタを掛けて該原画像の中の極大・極小値を検出することによって該原画像から複数の特徴領域を抽出し、部分テンプレート領域として設定するステップと、抽出された前記特徴領域の位置においてサイズ変化および回転に応じた部分テンプレート群のそれぞれの位置を変換するステップと、前記原画像の特徴領域の位置が変換された前記部分テンプレート領域の画素について、変換前の前記原画像上の近傍画素に基いて画素値を求めることにより、前記部分テンプレート群の画像を生成するステップと、前記部分テンプレート群の位置関係を保って各部分テンプレートのマッチングを行うステップと、前記部分テンプレート群のマッチング結果を統合することによって前記対象物の位置あるいは姿勢を計測するステップと、を有することを特徴とする画像位置計測方法に関する。

すなわち、第一の発明によれば、対象物の原画像において、所定の空間フィルタを掛けて該原画像の中の極大・極小値を検出することによって該原画像から複数の特徴領域を抽出して部分テンプレートを設定し、その抽出された特徴領域に絞って、サイズ変化や回転に対応した部分テンプレート群を用意し、各部分テンプレートの位置関係を保持した上でテンプレートマッチングを行い、それらのマッチング結果を統合することで対象物の位置や姿勢を計測する構成とすることによって、サイズや角度が変化する場合であっても、高精度な位置計測を高速に行うことが可能となる。

また、第一の発明は、部分テンプレート群の画像が、元の特徴領域周辺の画像を拡大縮小および回転することにより生成することを特徴とする。

すなわち、第一の発明によれば、部分テンプレートは、対象物の画像について特徴領域として絞った位置における拡大縮小したテンプレートや回転したテンプレートだけが作成されるため、従来の対象物の画像全体にわたってテンプレートを用意するのに比べて、マッチング処理に要する演算量を大幅に軽減することが可能となる。

第二の発明は、前記対象物の位置あるいは姿勢の計測処理は、前記部分テンプレートのマッチング結果をもとに、さらにサブピクセル単位で実行されることを特徴とする上記第一の発明に記載の画像位置計測方法に関する。

すなわち、第二の発明によれば、部分テンプレートのマッチング結果が、不適性であれば、さらにサブピクセル単位による特徴抽出を行うことで、より高精度な対象物の位置検出が実現される。

本発明の画像位置計測方法によれば、対象物の部分プレートの画像において、サイズや角度が変化する場合であっても、非常に小さなテンプレート領域をいくつか設定し、その部分のテンプレート画像だけでマッチング処理を行う構成としているため、対象物の画像全体についてスケールや角度を変化させたテンプレート画像を作成していた従来技術に対し、マッチング処理の演算量は大きく軽減され、コストの大幅な削減が実現できる。

また、これまでの部分テンプレートの方法と比べても、特徴的部分をテンプレート領域とする手段、スケールと角度に合わせてそのテンプレートの位置を変換する手段、およびそれぞれの部分テンプレート領域の画像を元の画像から正しく生成する手段が加わることによって、スケール変化と回転のある場合にも、高速かつ正確に位置計測することが可能となる。

以下、図面にもとづいて本発明の実施形態を説明する。

図１は、本発明の実施の形態になる画像位置計測装置の機能ブロック図を示す。画像位置計測装置は、カメラ等の撮像装置によって撮像された画像を取得する画像入力部１、取得した画像をもとに対象物に対し、いくつかの基準とする微小な特徴領域を部分テンプレートとして抽出する部分テンプレート作成部２、複数の部分テンプレートのサイズ変化あるいは回転による様々な状態の部分テンプレート群の画像データを格納する部分テンプレート格納部３、格納された部分テンプレートを参照し、入力される画像との照合を行うテンプレートマッチング４、およびこれらのマッチング結果を総合して対象物の位置あるいは姿勢の計測を行う位置計測処理部５から構成される。

さらに、部分テンプレート作成部２は、画像入力部１から取得した画像をもとに対象物の特徴を表す特徴領域を抽出し部分テンプレート領域として設定する部分テンプレート領域設定部２１、上記特徴領域においてサイズ変化または回転に応じた部分テンプレート群のそれぞれの位置を算出する部分テンプレート位置変換部２２、およびその位置における部分テンプレート画像を原画像から変換して生成する部分テンプレート画像生成部２３から構成されている。

なお、画像位置計測装置は、図には示していないが、ＣＰＵ（Central Processing Unit ）、メモリを備えたコンピュータであり、上記各処理部を実行するプログラムは、補助記憶装置（図示せず）などに記憶され、起動時にメモリに展開され、ＣＰＵによって処理される。

図２は、本発明の実施の形態になる画像による位置計測の処理フローを示す。
ステップＳ１１：ある時点で入力された画像の中から対象物を含む画像を参照画像とする。
ステップＳ１２：上記対象物の画像において特徴領域を部分テンプレートとして抽出する。特徴領域の抽出は、空間フィルタリングにより孤立点やコーナー部分を検出することなどによって行う。実施例では、参照画像において、”三角形”を対象物とし、その”頂点”を特徴領域として抽出している。
ステップＳ１３：スケールや角度が変化してもテンプレート領域が特徴点から外れないように、スケール変化と回転に合わせてテンプレート位置を正しく変換する。
ステップＳ１４：それぞれの部分テンプレート領域の画像を、スケールと回転角に合わせて原画像を変換して生成する。例えば、元の座標位置の近傍４点の画素を補間することによって、変換後のテンプレート画像の画素値を得る。
ステップＳ１５：つぎつぎ入力される対象物を含む探索画像を取得する。
ステップＳ１６：探索画像に対して，部分テンプレート群をその位置関係を保ったまま、テンプレートマッチングを行う。
ステップＳ１７：部分テンプレート群のマッチング結果を統合することによって、最大相関値を検出し、最もマッチングする位置・スケール・回転角を求める。
ステップＳ１８：対象物の位置あるいは姿勢を計測した結果を出力する。

図３は、本発明の実施の形態になる参照画像抽出の概念図を示す。

まず、参照画像から特徴点を抽出する。ここでは、テンプレートサイズとして８×８画素程度で固定であることを想定しているが、このサイズは任意で構わない。また、テンプレート領域毎にサイズを変えることも可能である。特徴点としては孤立物体、孤立点が適しているが、テンプレートサイズが小さいため、現実的にはコーナーなどを抽出することになる。また、空間フィルタリングなどによってこのような特徴点を抽出することができる。例えば、図に示すような空間フィルタ（各画素の数値は、フィルタ係数を示す）を掛けて極大・極小値を検出することによって、参照画像の中の対象物”三角形”において、その”頂点”部分を抽出することが可能である。

図４は、本発明の実施の形態になる部分テンプレート領域の設定を表す図である。抽出された特徴点を中心として、図のようにテンプレート領域を設定する。なお、参照画像は、ある時点で捕らえられた撮像画像であり、対象物である”三角形”を含む画像である。また、”＋”は、部分テンプレートの中心を表している。

図５は、本発明の実施の形態になるテンプレート位置の変換を説明する図である。

参照画像に対して適当に基準位置を定め、それぞれのテンプレート領域の中心を、基準点からの方向φとその距離ｄで表すことにする。この図形が、スケールｓ倍、回転角度θに変化したとすると、それぞれのテンプレート領域の中心は、方向が（φ＋θ）で距離がｓｘｄに変化する。したがって、その変換座標に最も近い画素をテンプレート領域の中心とすれば、スケールｓ倍・回転角度θの場合のテンプレート領域を正しく求めることができる。

図６は、本発明の実施の形態になる部分テンプレート画像生成を説明する図である。テンプレート画像の生成方法としては、例えば、図示したように、スケール・回転変換後のテンプレート領域の各画素に対して、変換前の座標位置を求め、その近傍４点の画素値を単純平均すること、あるいは、その４点の画素値を線形補間することによって、変換後のテンプレート領域の画素値を得る。これをテンプレート領域内の全画素について行うことで部分テンプレート画像を生成することができる。

なお、原画像ａは、テンプレート中心位置（＋印）の変換（ｓ，θ）によって、サイズと角度が変換後のテンプレート画像ｂのように変換され、また、変換後のテンプレート画像ｂにおけるテンプレート領域の”○”は、各画素の逆変換（１／ｓ，−θ）によって、原画像ａの”×”位置に変換される。

図７は、本発明の実施の形態になる部分テンプレートマッチングを説明する図である。それぞれのスケールｓ、回転角θの組み合わせにおいて、部分テンプレート画像とその位置を群（セット）としてテンプレートマッチングを行って探索画像中を探索する。

なお、テンプレートマッチングの類似度計算方法としては、ＳＡＤ（Sum of Absolute Difference）演算・ＳＳＤ（Sum of Squared Difference ）演算・正規化積演算などを利用することができる。正規化積演算の場合には、部分テンプレート１個ごとに正規化して累積する方法と、部分テンプレートの積相関値を全て累積した上で正規化する方法のどちらも利用できる。

テンプレートマッチングの結果、類似度最大を与える座標が対象物体の位置計測結果となる。また、その時のスケールｓ、回転角度θが、その対象物のサイズと姿勢を表す。

さらに、マッチング処理の過程で、ｘ座標およびｙ座標について類似度の２次元マップが得られる。類似度が最大となるｘ、ｙ座標点に隣接した点の類似度分布に対して関数フィッティングを行うことにより、計測位置をサブピクセル精度で求めることが可能である。スケールあるいは回転角度においても、隣接するサンプリング点の類似度分布に関数フィッティングを行うことにより、スケールあるいは回転角度も高精度に推定することができる。

これまでの記述では、テンプレートマッチングによる位置計測を一度で実行するとして説明してきた。しかし、テンプレート画像のサイズと分解能を多段階に設定し、最初は粗くテンプレートマッチングを行って位置とサイズ・回転角度を大まかに推定し、パラメータの範囲を絞り込みながら段々と細かくテンプレートマッチングを行うことにより、効率化を図ることも可能である。

以上、本発明は、部品やマークの２次元のマッチングだけでなく、対象物の３次元的なマッチングにも適用することが可能である。以下に、図８〜図１１を用いてその概要を説明する。

図８は、本発明の実施の形態になる部分テンプレート領域の設定を説明する図（３次元画像の場合）である。実施例では、”立方体”を対象物として、その”頂点”を部分テンプレートとして抽出している。まず、３次元物体の画像から図に示すような特徴点を抽出し、部分テンプレート領域として設定する（但し、３次元的な姿勢変化を正しく計測するには、それらの特徴点の３次元的な位置関係が分かっている必要がある）。あるいは、３次元的な位置関係の既知の部分をテンプレート領域として設定する。

図９は、本発明の実施の形態になるテンプレート位置変換を説明する図（３次元画像の場合）である。つぎに、サイズあるいは姿勢が変化した場合のそれぞれの部分テンプレート画像を生成する。図では姿勢が２自由度で変化する場合の例を表している。大きさｓと、姿勢（Φ，ξ）をパラメータとしている。

図１０は、本発明の実施の形態になる部分テンプレート画像の生成を表す図（３次元画像の場合）である。部分テンプレートの画像上の位置関係とその位置における部分テンプレート画像を図のように生成する。

図１１は、本発明の実施の形態になる探索画像のマッチング結果を示す。それぞれのテンプレート群を用いてテンプレートマッチングを行って最も類似度の高い位置を検出することにより、画像上での位置と姿勢を得ることができる。

なお、この方法は、特に対象物の３次元形状とその外観が既知である場合には、姿勢を変えた場合の部分テンプレート画像を正しく生成することができて有効となる。

以上述べてきた本発明の実施の態様は、以下の付記に示す通りである。
（付記１） 撮像した画像をもとに対象物の位置を計測する画像位置計測方法であって、
前記対象物の原画像において複数の特徴領域を抽出し部分テンプレート領域として設定するステップと、
抽出された前記特徴領域の位置においてサイズ変化あるいは回転に応じた部分テンプレート群の各位置を算出するステップと、
前記部分テンプレート群の画像を前記原画像をもとに生成するステップと、
前記部分テンプレート群の位置関係を保って各部分テンプレートのマッチングを行うステップと、
前記部分テンプレート群のマッチング結果を統合することによって前記対象物の位置あるいは姿勢を計測するステップと、
を有することを特徴とする画像位置計測方法。
（付記２） 前記部分テンプレート群の画像は、元の特徴領域周辺の画像を拡大縮小あるいは回転することにより生成させることを特徴とする付記１に記載の画像位置計測方法。
（付記３） 前記対象物の位置あるいは姿勢の計測処理は、前記部分テンプレートのマッチング結果をもとに、さらにサブピクセル単位で実行されることを特徴とする付記１または２に記載の画像位置計測方法。
（付記４） 前記部分テンプレートを設定する際の位置・サイズ・角度に関し、その変化量を複数段階に変化させた部分テンプレート群を用意し、粗いテンプレートマッチングから細かいテンプレートマッチングへと段階的にマッチング処理を実行することを特徴とする付記１乃至３に記載の画像位置計測方法。
（付記５） 撮像した画像をもとに対象物の位置を計測する画像位置計測装置であって、
前記対象物の原画像において複数の特徴領域を抽出し部分テンプレート領域として設定する手段と、
抽出された前記特徴領域の位置においてサイズ変化あるいは回転に応じた部分テンプレート群の各位置を算出する手段と、
前記部分テンプレート群の画像を前記原画像をもとに生成する手段と、
前記部分テンプレート群の位置関係を保って各部分テンプレートのマッチングを行う手段と、
前記部分テンプレート群のマッチング結果を統合することによって前記対象物の位置あるいは姿勢を計測する手段と、
を有することを特徴とする画像位置計測装置。
（付記６） 撮像した画像をもとに対象物の位置を計測する画像位置計測プログラムであって、
コンピュータに、
前記対象物の原画像において複数の特徴領域を抽出し部分テンプレート領域として設定するステップと、
抽出された前記特徴領域の位置においてサイズ変化あるいは回転に応じた部分テンプレート群の各位置を算出するステップと、
前記部分テンプレート群の画像を前記原画像をもとに生成するステップと、
前記部分テンプレート群の位置関係を保って各部分テンプレートのマッチングを行うステップと、
前記部分テンプレート群のマッチング結果を統合することによって前記対象物の位置あるいは姿勢を計測するステップと、
を実行させる画像位置計測プログラム。

本発明の実施の形態になる画像位置計測装置の機能ブロック図である。 本発明の実施の形態になる画像による位置計測の処理フローを示す図である。 本発明の実施の形態になる参照画像抽出の概念図である。 本発明の実施の形態になる部分テンプレート領域の設定を表す図である。 本発明の実施の形態になるテンプレート位置の変換を説明する図である。 本発明の実施の形態になる部分テンプレート画像生成を説明する図である。 本発明の実施の形態になる部分テンプレートマッチングを説明する図である。 本発明の実施の形態になる部分テンプレート領域の設定を説明する図（３次元画像の場合）である。 本発明の実施の形態になるテンプレート位置変換を説明する図（３次元画像の場合）である。 本発明の実施の形態になる部分テンプレート画像の生成を表す図（３次元画像の場合）である。 本発明の実施の形態になる探索画像のマッチング結果を示す図である。

符号の説明

１ 画像入力部
２ 部分テンプレート作成部
３ 部分テンプレートデータ格納部
４ テンプレートマッチング
５ 位置計測処理部
２１ 部分テンプレート領域設定部
２２ 部分テンプレート位置変換部
２３ 部分テンプレート画像生成部

Claims (4)

1. 撮像した画像をもとに対象物の位置を計測する画像位置計測方法であって、
   前記対象物の原画像に所定の空間フィルタを掛けて該原画像の中の極大・極小値を検出することによって該原画像から複数の特徴領域を抽出し、部分テンプレート領域として設定するステップと、
   抽出された前記特徴領域の位置においてサイズ変化および回転に応じた部分テンプレート群のそれぞれの位置を変換するステップと、
   前記原画像の特徴領域の位置が変換された前記部分テンプレート領域の画素について、変換前の前記原画像上の近傍画素に基いて画素値を求めることにより、前記部分テンプレート群の画像を生成するステップと、
   前記部分テンプレート群の位置関係を保って各部分テンプレートのマッチングを行うステップと、
   前記部分テンプレート群のマッチング結果を統合することによって前記対象物の位置あるいは姿勢を計測するステップと、
   を有することを特徴とする画像位置計測方法。
2. 前記対象物の位置あるいは姿勢の計測処理は、前記部分テンプレートのマッチング結果をもとに、さらにサブピクセル単位で実行されることを特徴とする請求項１に記載の画像位置計測方法。
3. 撮像した画像をもとに対象物の位置を計測する画像位置計測装置であって、
   前記対象物の原画像に所定の空間フィルタを掛けて該原画像の中の極大・極小値を検出することによって該原画像から複数の特徴領域を抽出し、部分テンプレート領域として設定する手段と、
   抽出された前記特徴領域の位置においてサイズ変化および回転に応じた部分テンプレート群のそれぞれの位置を変換する手段と、
   前記原画像の特徴領域の位置が変換された前記部分テンプレート領域の画素について、変換前の前記原画像上の近傍画素に基いて画素値を求めることにより、前記部分テンプレート群の画像を生成する手段と、
   前記部分テンプレート群の位置関係を保って各部分テンプレートのマッチングを行う手段と、
   前記部分テンプレート群のマッチング結果を統合することによって前記対象物の位置あるいは姿勢を計測する手段と、
   を有することを特徴とする画像位置計測装置。
4. 撮像した画像をもとに対象物の位置を計測する画像位置計測プログラムであって、
   コンピュータに、
   前記対象物の原画像に所定の空間フィルタを掛けて該原画像の中の極大・極小値を検出することによって該原画像から複数の特徴領域を抽出し、部分テンプレート領域として設定するステップと、
   抽出された前記特徴領域の位置においてサイズ変化および回転に応じた部分テンプレート群のそれぞれの位置を変換するステップと、
   前記原画像の特徴領域の位置が変換された前記部分テンプレート領域の画素について、変換前の前記原画像上の近傍画素に基いて画素値を求めることにより、前記部分テンプレート群の画像を生成するステップと、
   前記部分テンプレート群の位置関係を保って各部分テンプレートのマッチングを行うステップと、
   前記部分テンプレート群のマッチング結果を統合することによって前記対象物の位置あるいは姿勢を計測するステップと、
   を実行させる画像位置計測プログラム。

Images