JP5388828B2

JP5388828B2 - 物体認識装置、物体認識方法及びプログラム

Info

Publication number: JP5388828B2
Application number: JP2009281747A
Authority: JP
Inventors: 洋史北島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-11
Filing date: 2009-12-11
Publication date: 2014-01-15
Anticipated expiration: 2029-12-11
Also published as: JP2011123737A

Description

本発明は、パターンマッチングにより、テンプレート画像と類似する物体の認識を行う物体認識装置、物体認識方法及びプログラムに関する。

画像処理の分野において、被探索画像内の物体を認識する手法として、パターンマッチングがよく用いられる。パターンマッチングとは、認識したい検出物を予めテンプレート画像と呼ばれる基準画像として登録しておき、被探索画像からテンプレート画像と類似する領域の画像を見つけ出す方法である。具体的に説明すると、テンプレート画像を被探索画像内で走査させ、各位置で、テンプレート画像と被探索画像内でテンプレート画像と重なる領域の部分画像との類似性を計算していく。その結果、類似性が最も高い被探索画像内の部分画像を合致位置とする。類似性を示す指標として相関値が用いられ、相関値を求める方法として正規化相関法が知られている。正規化相関法とは、テンプレート画像と被探索画像内の部分画像の双方についてその輝度値を正規化し、両者の相関関数値（正規化相関値）を求める手法で、一様で線形な輝度値変化に対して大きな影響をうけないという特徴がある。

このような正規化相関法を用いた方法として、複数の被探索画像に対して連続して実施するパターンマッチングの度に、テンプレート画像を、被探索画像内でテンプレート画像と合致した部分画像と置き換える手法が知られている（特許文献１参照）。また、テンプレート画像と被探索画像内の部分画像とを所定数に分割し、各画像分割片同士のパターンマッチングを行う方法が知られている（特許文献２参照）。この方法は、準備作業で、画像分割片同士の相関値が所定の値よりも低い場合は、そのテンプレート画像の画像分割片を不感帯領域として設定し、実作業においてその不感帯領域は類似判断には用いないものである。

特開２００６−２１４８１６号公報特開平６−８９３４３号公報

しかしながら、上述した従来の方法では、例えば照明の輝度が一様に劣化する場合等、輝度が一様で線形に変化する場合には強いが、被探索画像に対して、部分的な輝度変化を発生させるような外乱に弱い。このような部分的な輝度変化としては、短期的な輝度変化や長期的な輝度変化がある。例えば短期的な輝度変化としては、装置や人間の動作等により発生する影の影響があり、また、長期的な輝度変化としては、複数のランプを用いた照明装置において、ランプ間の劣化のばらつきにより発生するシェーディングの影響等がある。

従来のテンプレートマッチングの度にテンプレート画像を更新する方法では、被探索画像の部分画像の一部分に輝度変化が生じた場合には、輝度変化が生じた部分により相関値が低下してしまい、検出物を認識する精度が低くなる。つまり、単に毎回テンプレート画像を更新するだけでは、短期的な輝度変化に対して検出物を認識できないばかりでなく、テンプレート画像を頻繁に更新するために誤差分が拡大しやすく、長期に亘って検出物を認識することができなくなる。また、従来の不感帯領域を設定する方法では、不感帯領域以外の部分に輝度変化が生じてしまうと、輝度変化が生じた部分により相関値が低下してしまい、検出物を認識する精度が低くなる。つまり、単に不感帯領域を設定するだけでは、短期的な輝度変化に対して検出物を認識できない。また、長期的な輝度変化に対して不感帯領域を広く設定してしまうと、類似判断に必要なテンプレート画像の面積が減少してしまうため、検出物を認識することができなくなる。

そこで、本発明は、被探索画像の一部分に短期的及び長期的な輝度変動が起っても、物体の認識精度を向上させることができる物体認識装置、物体認識方法及びプログラムを提供することにある。

本発明は、テンプレート画像を被探索画像内で走査し、パターンマッチングを行う物体認識装置において、前記被探索画像から所定数のテンプレート画像片に分割されている前記テンプレート画像と同一のサイズの部分画像を抜き出し、前記各テンプレート画像片に対応して前記所定数の部分画像片に分割する部分画像分割手段と、前記テンプレート画像片と前記部分画像片とのそれぞれの相関値を求め、所定閾値以上となる前記相関値の個数を集計して集計値を求める演算手段と、前記被探索画像の全体を走査した結果、前記演算手段により得られた集計値のうち、予め設定された第１所定値以上となる集計値の中から最大値となる集計値を１つ抽出し、その集計値に対応する部分画像の位置を合致位置と認識する認識手段と、前記認識手段により前記合致位置が認識された際の集計値が、前記所定数よりも小さい値で且つ前記第１所定値よりも大きい値に設定された第２所定値以下の場合は、前記テンプレート画像を、前記認識手段で認識された前記合致位置に対応する部分画像に置き換える更新手段と、を備えたことを特徴とするものである。

また、本発明は、テンプレート画像を被探索画像内で走査し、パターンマッチングを行う物体認識装置において、前記被探索画像から所定数のテンプレート画像片に分割されている前記テンプレート画像と同一のサイズの部分画像を抜き出し、前記各テンプレート画像片に対応して前記所定数の部分画像片に分割する部分画像分割手段と、前記テンプレート画像片と前記部分画像片とのそれぞれの相関値を求め、所定閾値以上となる前記相関値の個数を集計して集計値を求める演算手段と、前記被探索画像の全体を走査した結果、前記演算手段により得られた集計値のうち、予め設定された第１所定値以上となる集計値の中から最大値となる集計値を１つ抽出し、その集計値に対応する部分画像の位置を合致位置と認識する認識手段と、今回の走査で前記認識手段により前記合致位置が認識された際の集計値が、前記所定数よりも小さい値で且つ前記第１所定値よりも大きい値に設定された第２所定値以下であって、過去の走査で前記認識手段により前記合致位置が認識された際の集計値と今回の走査で前記認識手段により前記合致位置が認識された際の集計値との差分値が、予め設定された第３所定値以下の場合は、前記テンプレート画像を、今回の走査で前記認識手段により認識された前記合致位置に対応する部分画像に置き換える更新手段と、を備えたことを特徴とするものである。

本発明によれば、所定閾値以上の相関値を集計した集計値が第１所定値以上となるもののうち、最大値となる集計値に対応する部分画像を合致位置として認識している。これにより、部分画像において部分的に輝度変動が起こり、一部の相関値が低下しても物体を認識することができ、短期的及び長期的な輝度変動に対して物体の認識精度を向上させることができる。

さらに、認識された部分画像の集計値に基づいてテンプレート画像を置き換えることで、輝度が徐々に変化して画像の一部に長期的な輝度変動が生じても、被探索画像の照明環境に近いテンプレート画像に更新される。したがって、長期に亘って物体の認識精度を向上させることができる。

本発明の第１実施形態に係る物体認識装置の概略構成を示す説明図である。被探索画像及びテンプレート画像を示す図である。物体認識装置の認識動作を示すフローチャートである。図３に示すコネクタ認識の処理動作を示すフローチャートである。分割したテンプレート画像を用いて被探索画像内を走査してパターンマッチングを行う動作を説明するための図である。相関値を求める動作を説明するための図である。本発明の第２実施形態に係る物体認識装置の認識動作を示すフローチャートである。本発明の第３実施形態に係る物体認識装置の認識動作を示すフローチャートである。テンプレート画像を更新する動作を説明するための図である。

以下、本発明を実施するための形態を図面を参照しながら詳細に説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る物体認識装置の概略構成を示す説明図である。図１（ａ）に示す物体認識装置３０は、プリント基板３１が載置される定盤３２と、プリント基板３１を撮像する撮像手段としてのカメラ３３と、プリント基板３１に光を照射する照明装置３４とを備えている。また、物体認識装置３０は、カメラ３３により撮像された被探索画像を取り込んで、テンプレート画像を被探索画像内で走査し、パターンマッチング処理を行う画像処理装置３５を備えている。カメラ３３は、不図示のレンズにより光像を形成し、不図示の撮像素子により光像を撮像信号に変換し、撮像信号を被探索画像として画像処理装置３５に提供するコネクタ３６を含む被探索画像を入手する撮像手段である。照明装置３４は、カメラ３３に付属したリング照明である。

画像処理装置３５は、物体認識装置全体を制御するＣＰＵ３５Ａと、ＣＰＵ３５Ａを動作させるプログラムＰが記憶されたＲＯＭ３５Ｂと、作業領域として一時的にデータが記憶されるＲＡＭ３５Ｃと、を有するコンピュータである。また、画像処理装置３５は、テンプレート画像、被探索画像等のデータが記憶される記憶手段として書き換え可能な不揮発性メモリ（例えばＥＥＰＲＯＭ）又はＨＤＤ等で構成された記憶部３５Ｄを有している。プリント基板３１には、図１（ｂ）に示すように、コネクタ３６が設けられており、本第１実施形態では、コネクタ３６が検出物（物体認識対象）である。

図２には、被探索画像Ｉとテンプレート画像Ｉ_Ｔが図示されている。図２（ａ）において、カメラ３３で撮像されたプリント基板３１を含む被探索画像Ｉは、記憶部３５Ｄに記憶される。この記憶部３５Ｄには、基準となるプリント基板を含む画像からコネクタ３６の周辺部を切り出した画像をテンプレート画像Ｉ_Ｔとして予め記憶させている。このテンプレート画像Ｉ_Ｔの範囲は、ユーザが任意に設定することが可能である。

次に、図３に示すプログラムＰに基づくＣＰＵ３５Ａの動作フローについて図４，図５及び図６を参照しながら説明する。まず、図３に示すように、ＣＰＵ３５Ａは、カメラ３３に撮像の指示を与えて撮像を開始させ、被探索画像Ｉを取得し、被探索画像Ｉを記憶部３５Ｄに記憶させる（Ｓ１）。

次いで、ＣＰＵ３５Ａは、予め記憶部３５Ｄに記憶させていたテンプレート画像Ｉ_Ｔを読み出し（Ｓ２）、図５（ａ）に示すように所定数Ｎ４（例えば１２）のテンプレート画像片ｉ_ｔに分割する（Ｓ３：テンプレート画像分割ステップ）。このＣＰＵ３５ＡによるＳ３の処理が、テンプレート画像分割手段として機能する。

また、ＣＰＵ３５Ａは、図５（ｂ）に示すように、被探索画像Ｉからテンプレート画像Ｉ_Ｔと同一のサイズの部分画像Ｉ_Ｓを抜き出し、各テンプレート画像片ｉ_ｔに対応して所定数Ｎ４（＝１２）の部分画像片ｉ_ｓに分割する（Ｓ４：部分画像分割ステップ）。このＣＰＵ３５ＡによるＳ４の処理が、部分画像分割手段として機能する。

次に、ＣＰＵ３５Ａは、分割したテンプレート画像片ｉ_ｔと部分画像片ｉ_ｓとを用いてパターンマッチングを行う。具体的には、ＣＰＵ３５Ａは、抜き出した部分画像Ｉ_Ｓの各部分画像片ｉ_ｓに番号１〜１２を割り振ると共に、各テンプレート画像片ｉ_ｔに番号１〜１２を割り振り、各画像片ｉ_ｔ，ｉ_ｓ同士の対応関係（同じ数字の部分）を特定する。次いで、ＣＰＵ３５Ａは、番号を示す変数ｋを１に設定し（Ｓ５）、変数ｋに対応する画像片ｉ_ｔ，ｉ_ｓ同士の相関値を計算により求める（Ｓ６）。この相関値の計算には、正規化相関法を用いる。相関値を求める計算式として下記の数１の式を用いる。

なお、画像片内の位置（ｉ，ｊ）とは、図６に示すように、被探索画像Ｉからテンプレート画像Ｉ_Ｔに対応する大きさの画像を抽出した部分画像Ｉ_Ｓの部分画像片ｉ_ｓ内の位置又はテンプレート画像Ｉ_Ｔのテンプレート画像片ｉ_ｔ内の位置である。つまり、位置（ｉ，ｊ）は、ピクセル単位で表される座標を示し、各画像片ｉ_ｔ，ｉ_ｓのピクセル毎にｆ_ｉｊ，ｇ_ｉｊを求め、相関値Ｒを求める。相関値Ｒは１が最も類似性が高いことを表し、−１が最も低いことを表す。

次に、ＣＰＵ３５Ａは、ｋ＝Ｎ４（１２）となったか否かを判断し（Ｓ７）、ｋがＮ４よりも小さいと判断した場合は（Ｓ７：ＮＯ）、ｋをインクリメントし（Ｓ８）、次の番号に対応する画像片ｉ_ｔ，ｉ_ｓ同士の相関値を計算により求めるＳ６の処理に移行する。

ＣＰＵ３５Ａは、ｋ＝Ｎ４、つまり全ての画像片ｉ_ｔ，ｉ_ｓ同士の相関値を求めたと判断した場合（Ｓ７：ＹＥＳ）、類似性があるとする所定閾値以上（例えば０．９５以上）となる相関値の個数を集計して集計値を求める（Ｓ９）。すなわち、Ｓ６〜Ｓ９が演算ステップに相当し、ＣＰＵ３５ＡのＳ６〜Ｓ９の処理動作が演算手段として機能するものである。この所定閾値は、画像片同士が合致していると認識される値に設定される。

次に、ＣＰＵ３５Ａは、Ｓ９で求められた集計値が予め設定された第１所定値Ｎ１（例えば５）以上であるか否かを判断する（Ｓ１０）。この第１所定値Ｎ１は、所定数Ｎ４よりも小さい値に設定される。ＣＰＵ３５Ａは、Ｓ９で求められた集計値が第１所定値Ｎ１以上の場合（Ｓ１０：ＹＥＳ）、その集計値に対応する部分画像Ｉ_Ｓの位置を合致候補位置として認識する（Ｓ１１）。この第１所定値Ｎ１は、テンプレート画像Ｉ_Ｔと部分画像Ｉ_Ｓとが合致している可能性のあると判断される値に設定される。つまり、集計値が第１所定値以上（５個以上）であれば特定の検出物（コネクタ３６）の候補として認識する。このとき、コネクタ３６の合致候補位置として被探索画像Ｉ内での部分画像Ｉ_Ｓの位置と集計値、各テンプレート画像片ｉ_ｔと部分画像片ｉ_ｓとの相関値を記憶部３５Ｄに記憶する。

なお、ＣＰＵ３５Ａは、Ｓ９で求められた集計値が第１所定値Ｎ１を下回る場合（Ｓ１０：ＮＯ）、つまり、４個以下の場合、部分画像Ｉ_Ｓとテンプレート画像Ｉ_Ｔとは合致しない、つまり、特定のコネクタ３６ではないと認識する（Ｓ１２）。

次に、ＣＰＵ３５Ａは、被探索画像Ｉ全体を走査したか否かを判断する（Ｓ１３）。ＣＰＵ３５Ａは、被探索画像Ｉの全体を走査していない場合（Ｓ１３：ＮＯ）、ピクセル単位で範囲をずらし、次にパターンマッチングする部分画像Ｉ_Ｓを特定（記憶部３５Ｄに記憶）し（Ｓ１４）、ステップＳ４の処理に移行する。

ＣＰＵ３５Ａは、被探索画像Ｉの全体の走査が終了した場合（Ｓ１３：ＹＥＳ）、コネクタ認識処理に移行する（Ｓ１５：認識ステップ）。ＣＰＵ３５Ａは、このＳ１５において、Ｓ１４の処理を繰り返すことでＳ９にて得られた１つ以上の集計値のうち、第１所定値Ｎ１以上となる集計値の中から最大値となる集計値を１つ抽出し、その集計値に対応する部分画像Ｉ_Ｓの位置を合致位置と認識する。つまり、ＣＰＵ３５Ａは、テンプレート画像Ｉ_Ｔと合致する部分画像Ｉ_Ｓの合致位置を認識する。このＣＰＵ３５ＡによるＳ１５の処理動作が認識手段として機能する。次いで、ＣＰＵ３５Ａは、認識結果として、認識したコネクタ３６の位置を（ｘ１，ｙ１）の二次元座標で出力する。なお、座標（ｘ１，ｙ１）は、被探索画像Ｉにおける位置である。

次に、ＣＰＵ３５Ａは、Ｓ１５にて合致位置が認識された際の集計値が、所定数Ｎ４よりも小さく且つ第１所定値Ｎ１よりも大きい値に設定された第２所定値Ｎ２（例えば７）以下であるか否かを判断する（Ｓ１６）。ＣＰＵ３５Ａは、Ｓ１６において、第２所定値Ｎ２を上回ると判断した場合は（Ｓ１６：ＮＯ）、パターンマッチングを終了する。この第２所定値Ｎ２は、認識された部分画像と、設定されているテンプレート画像とで輝度が物体認識の精度に影響を及ぼす可能性のある境界の値に設定されている。つまり、集計値が第２所定値以下の場合は、テンプレート画像を設定したときよりも照明装置３４の輝度が低下している場合を示している。

したがって、ＣＰＵ３５Ａは、Ｓ１６において、第２所定値Ｎ２（＝７）以下の場合は、テンプレート更新を行う（Ｓ１７：更新ステップ）。すなわち、ＣＰＵ３５Ａは、テンプレート画像Ｉ_Ｔを、Ｓ１５で認識された合致位置に対応する部分画像Ｉ_Ｓに置き換える。具体的には、ＣＰＵ３５Ａは、コネクタ３６として認識した位置の部分画像Ｉ_Ｓを新たなテンプレート画像Ｉ_Ｔとして記憶部３５Ｄに記憶させる。

以上のＳ１〜Ｓ１７の動作で、１枚目のプリント基板３１における物体認識動作が終了するが、認識終了したプリント基板３１と次のプリント基板３１とが入れ換えられ、次のプリント基板３１の物体認識動作を行う場合は、Ｓ１に戻って処理を実行する。

Ｓ１５の動作により、部分画像Ｉ_Ｓにおいて部分的に輝度変動が起こり、一部の相関値が低下しても物体を認識することができ、短期的及び長期的な輝度変動に対して物体の認識精度を向上させることができる。また、例えば照明装置３４の長期使用により照明装置３４が劣化して輝度が徐々に低下し、撮像された被探索画像Ｉに部分的な輝度変化が生じても、Ｓ１５で認識された部分画像Ｉ_Ｓの集計値が第２所定値Ｎ２以下の場合にテンプレート画像Ｉ_Ｔが置き換えられる。したがって、テンプレート画像Ｉ_Ｔを、被探索画像Ｉを撮像したときの現状の照明環境に近い状態に更新され、物体が認識不能な状態となるのを防ぐことができ、長期に亘って物体の認識精度を向上させることができる。更に、テンプレート画像Ｉ_Ｔをパターンマッチングの度に毎回更新するのではなく、Ｓ１６において判断基準を設けているので、認識基準となるテンプレート画像Ｉ_Ｔに誤差が累積して大きな誤差が含まれてしまうのを未然に防ぐことができる。これにより、長期に亘り正確に認識することができる。

ここで、Ｓ１５におけるコネクタ認識処理について詳細に説明する。図４に示すように、ＣＰＵ３５Ａは、被探索画像Ｉの全体を走査した結果、Ｓ１１にて認識された合致候補位置の個数が複数個であるか否かを判断する（Ｓ２１）。つまり、第１所定値Ｎ１（＝５）以上となった集計値の個数が複数個であるか否かを判断する。

ＣＰＵ３５Ａは、Ｓ２１の判断処理で合致候補位置の個数が複数個あると判断した場合（Ｓ２１：ＹＥＳ）、合致候補位置に対応する各集計値の中から最大値となる集計値に対応する部分画像Ｉ_Ｓの合致候補位置を抽出する（Ｓ２２）。

次いで、ＣＰＵ３５Ａは、Ｓ２２で抽出された合致候補位置の個数が複数個であるか否かを判断する（Ｓ２３）。つまり、最大値となった集計値の個数が複数個であるか否か判断する。次に、ＣＰＵ３５Ａは、これら合致候補位置に対応する集計値を集計する際に用いた相関値の合計値をそれぞれ演算する（Ｓ２４）。次に、ＣＰＵ３５Ａは、各合計値の中で、最大値となる合計値に対応する合致候補位置を合致位置と認識し（Ｓ２５）、図３に示すＳ１６の判断処理に移行する。

また、ＣＰＵ３５Ａは、Ｓ２１において合致候補位置の個数が１個と判断した場合（Ｓ２１：ＮＯ）、又はＳ２３において合致候補位置の個数が１個と判断した場合（Ｓ２３：ＮＯ）、その合致候補位置を合致位置と認識する（Ｓ２６）。なお、ＣＰＵ３５Ａは、Ｓ２５，Ｓ２６の処理において、合致位置と認識した際の集計値を記憶部３５Ｄに記憶させておく。

このように、Ｓ３，Ｓ４にてテンプレート画像Ｉ_Ｔ及び部分画像Ｉ_Ｓを所定数Ｎ４のテンプレート画像片ｉ_ｔ及び部分画像片ｉ_ｓに分割し、Ｓ６にて各画像片ｉ_ｔ，ｉ_ｓ同士の相関値を求めている。そして、部分画像Ｉ_Ｓにおいて部分的に影が生じる短期的な輝度変動やシェーディングが生じる長期的な輝度変動が起こり、一部の相関値が低下しても、Ｓ１０の判断で集計値が第１所定値Ｎ１以上であれば、Ｓ２５，Ｓ２６にて合致位置として認識される。したがって、一部分の輝度変動に対して物体の認識精度を向上させることができる。さらに、Ｓ２１の判断処理で合致候補位置（第１所定値Ｎ１以上となる集計値）が複数あると判断された場合には、それら集計値の中で最大値の集計値に対応する合致候補位置を合致位置としている。したがって、複数の合致候補位置がある場合でも、合致位置を正確に決めることができる。

［第２実施形態］
次に、第２実施形態に係る物体認識装置について説明する。本第２実施形態の物体認識装置の構成は、図１に示す構成と同一である。図７に、本第２実施形態の物体認識装置の動作フローを示す。なお、上記第１実施形態で説明した処理と同一の処理を行うステップには、図３と同一符号を付している。

まずＣＰＵ３５Ａは、上記第１実施形態と同様に、Ｓ１〜Ｓ５の処理を順次実行する。次いで、ＣＰＵ３５Ａは、番号ｋに対応する画像片ｉ_ｔ，ｉ_ｓ同士の相関値を計算により求める（Ｓ６−１）。この相関値の計算には、正規化相関法を用いる。相関値を求める計算式として上述した数１の式を用いる。

次に、ＣＰＵ３５Ａは、Ｓ６−１で求めたｋ個の相関値のうち、所定閾値（＝０．９５）よりも小さい相関値の個数ｍを集計する（Ｓ６−２）。次に、ＣＰＵ３５Ａは、所定閾値よりも小さい値となる相関値の個数ｍが、所定数Ｎ４から第１所定値Ｎ１を差し引いた差分値を超えたか否か、つまりｍ＞Ｎ４−Ｎ１となったか否かを判断する（Ｓ６−３）。例えば、Ｎ４＝１２，Ｎ１＝５の場合、相関値の個数ｍが７個を超えて８個となったか否か、つまり、ｍ＞７となったか否かを判断する。

ＣＰＵ３５Ａは、相関値を順次求める際に、相関値の個数ｍが差分値（Ｎ４−Ｎ１）を超えたと判断した場合（Ｓ６−３：ＹＥＳ）、残りのテンプレート画像片ｉ_ｔと部分画像片ｉ_ｓとの相関値の演算を打ち切る、つまり、Ｓ１２の処理に移行する。すなわち、被検索画像Ｉにおいて、合致候補となる部分画像の数は、被探索画像を走査する部分画像の全数に比して極めて少ない。したがって、このＳ６−３では合致候補位置とはなり得ない部分画像については、途中で相関値の演算が打ち切られる。なお、ＣＰＵ３５Ａは、相関値の個数ｍが差分値（Ｎ４−Ｎ１）を超えていないと判断した場合（Ｓ６−３：ＮＯ）、Ｓ７の処理に移行する。Ｓ７では、上述したように、ｋ＝Ｎ４となったか否かが判断され、ｋ＝Ｎ４でなければ、ｋをインクリメントし（Ｓ８）、Ｓ６−１の処理に移行する。また、ｋ＝Ｎ４であれば、Ｓ９の処理に移行する。

以上、本第２実施形態によれば、上記第１実施形態と同様の効果を奏すると共に、残りのテンプレート画像片ｉ_ｔと部分画像片ｉ_ｓとの相関値の演算が打ち切られるので、上記第１実施形態よりも演算量が減少し、物体認識の処理が高速化するという効果を奏する。

［第３実施形態］
次に、第３実施形態に係る物体認識装置について説明する。本第３実施形態の物体認識装置の構成は、図１に示す構成と同一である。図８に、本第３実施形態の物体認識装置の動作フローを示す。なお、上記第１実施形態で説明した処理と同一の処理を行うステップには、図３と同一符号を付している。本第３実施形態においては、テンプレート画像を更新するか否かの判断が、上記第１実施形態と異なる。

被探索画像は、図１に示すプリント基板３１が入れ換えられる度、カメラ３３にて撮像される。まず、１枚目の被探索画像Ｉ_１の走査が終了するまでは、図３に示すフローを実行する。このとき、図９に示すように、被探索画像Ｉ_１内の合致位置として認識された部分画像Ｉ_Ｓの集計値１が記憶部３５Ｄ（図１）に記憶される。

次にプリント基板３１が入れ換えられて２枚目以降の被探索画像Ｉ_２がカメラ３３により撮像された場合、ＣＰＵ３５Ａは、図８に示す各処理を実行する。具体的に説明すると、ＣＰＵ３５Ａは、Ｓ１〜Ｓ１５の処理を実行した後、今回の走査でＳ２５又はＳ２６（図４）にて合致位置が認識された際の集計値２が第２所定値Ｎ２（＝７）以下であるか否かを判断する（Ｓ１６−１）。ここで、記憶部３５Ｄには、過去（前回）の被探索画像Ｉ_１の走査でＳ２５又はＳ２６にて合致位置が認識されたされた際の集計値１が記憶されている。

従って、ＣＰＵ３５Ａは、集計値２が第２所定値Ｎ２以下の場合（Ｓ１６−１：ＹＥＳ）、前回の走査で合致位置が認識された際の記憶部３５Ｄに記憶されている集計値１と今回の走査でＳ２５，Ｓ２６にて合致位置が認識された際の集計値２との差分値を求める。そして、ＣＰＵ３５Ａは、この求めた差分値が予め設定された第３所定値Ｎ３以下であるか否かを判断する（Ｓ１６−２）。この第３所定値Ｎ３は、（Ｎ４−Ｎ１）以下の値（例えば３）である。

つまり、この第３所定値Ｎ３は、前回の被探索画像Ｉ_１の走査で認識した部分画像と、今回の被探索画像Ｉ_２の走査で認識した部分画像とで輝度変化が著しく異なることとなる境界の値に設定される。すなわち、このＳ１６−２では、照明装置３４の短期的な輝度変動の大きさを判断していることとなる。照明装置３４の輝度変動が小さい場合は、求めた差分値が第３所定値以下となり、照明装置３４の輝度変動が大きい場合は、差分値が第３所定値を超えることとなる。

ＣＰＵ３５Ａは、差分値が第３所定値Ｎ３以下の場合（Ｓ１６−２：ＹＥＳ）、テンプレート画像Ｉ_Ｔを、今回の走査でＳ２５，Ｓ２６にて合致位置と認識された部分画像に置き換える、テンプレート更新の処理を実行する（Ｓ１７）。なお、集計値２が第２所定値Ｎ２を超える場合（Ｓ１６−１：ＮＯ）、又は差分値が第３所定値Ｎ３を超える場合（Ｓ１６−２：ＮＯ）、ＣＰＵ３５Ａは、テンプレート更新は行わず、パターンマッチングを終了する。

本第３実施形態では、前パターンマッチングで認識したコネクタ領域（部分画像）と現パターンマッチングで認識したコネクタ領域（部分画像）との輝度変動の大きさを判断することができる。これにより、Ｓ１６−２でＮＯであれば、短期的な輝度変動であり、Ｓ１６−２でＹＥＳであれば、短期的な輝度変化ではなく長期的な輝度変化であると区別することができる。そのため、装置や人間の動作により短期的に影ができた場合に、テンプレート画像が更新されるのを防ぐことができ、テンプレート画像の誤差の拡大を防ぐことができる。したがって、長期に亘って物体の認識精度を向上させることができる。

なお、上記実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。上記第３実施形態の処理を、上記第２実施形態の処理に適用することも可能である。また、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明を実現するものであり、本発明は、コンピュータプログラム自体も含まれる。プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、ホームページから本発明のプログラムをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。また、コンピュータが、プログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によって上述実施形態の機能が実現される場合も含まれる。

３０物体認識装置
３１プリント基板
３２定盤
３３カメラ
３４照明装置
３５画像処理装置
３５ＡＣＰＵ（テンプレート画像分割手段，部分画像分割手段，演算手段，認識手段，更新手段）
Ｉ被探索画像
Ｉ_Ｓ部分画像
ｉ_ｓ部分画像片
Ｉ_Ｔテンプレート画像
ｉ_ｔテンプレート画像片

Claims

テンプレート画像を被探索画像内で走査し、パターンマッチングを行う物体認識装置において、
前記被探索画像から所定数のテンプレート画像片に分割されている前記テンプレート画像と同一のサイズの部分画像を抜き出し、前記各テンプレート画像片に対応して前記所定数の部分画像片に分割する部分画像分割手段と、
前記テンプレート画像片と前記部分画像片とのそれぞれの相関値を求め、所定閾値以上となる前記相関値の個数を集計して集計値を求める演算手段と、
前記被探索画像の全体を走査した結果、前記演算手段により得られた集計値のうち、予め設定された第１所定値以上となる集計値の中から最大値となる集計値を１つ抽出し、その集計値に対応する部分画像の位置を合致位置と認識する認識手段と、
前記認識手段により前記合致位置が認識された際の集計値が、前記所定数よりも小さい値で且つ前記第１所定値よりも大きい値に設定された第２所定値以下の場合は、前記テンプレート画像を、前記認識手段で認識された前記合致位置に対応する部分画像に置き換える更新手段と、を備えたことを特徴とする物体認識装置。
テンプレート画像を被探索画像内で走査し、パターンマッチングを行う物体認識装置において、
前記被探索画像から所定数のテンプレート画像片に分割されている前記テンプレート画像と同一のサイズの部分画像を抜き出し、前記各テンプレート画像片に対応して前記所定数の部分画像片に分割する部分画像分割手段と、
前記テンプレート画像片と前記部分画像片とのそれぞれの相関値を求め、所定閾値以上となる前記相関値の個数を集計して集計値を求める演算手段と、
前記被探索画像の全体を走査した結果、前記演算手段により得られた集計値のうち、予め設定された第１所定値以上となる集計値の中から最大値となる集計値を１つ抽出し、その集計値に対応する部分画像の位置を合致位置と認識する認識手段と、
今回の走査で前記認識手段により前記合致位置が認識された際の集計値が、前記所定数よりも小さい値で且つ前記第１所定値よりも大きい値に設定された第２所定値以下であって、過去の走査で前記認識手段により前記合致位置が認識された際の集計値と今回の走査で前記認識手段により前記合致位置が認識された際の集計値との差分値が、予め設定された第３所定値以下の場合は、前記テンプレート画像を、今回の走査で前記認識手段により認識された前記合致位置に対応する部分画像に置き換える更新手段と、を備えたことを特徴とする物体認識装置。
前記テンプレート画像を所定数のテンプレート画像片に分割するテンプレート画像分割手段を更に備えたことを特徴とする請求項１又は２に記載の物体認識装置。
前記認識手段は、前記第１所定値以上となる集計値の中から最大値となる集計値が複数個ある場合、これら最大値となる集計値を集計する際に用いた相関値の合計値をそれぞれ演算し、前記各合計値の中で、最大値となる合計値に対応する部分画像の位置を合致位置と認識することを特徴とする請求項１乃至３のいずれか１項に記載の物体認識装置。
前記演算手段は、前記テンプレート画像片と前記部分画像片とのそれぞれの相関値を順次求める際に、前記所定閾値よりも小さい値となる相関値の個数が、前記所定数から前記第１所定値を差し引いた差分値を超えた場合は、残りの前記テンプレート画像片と前記部分画像片との相関値の演算を打ち切ることを特徴とする請求項１乃至４のいずれか１項に記載の物体認識装置。
テンプレート画像を被探索画像内で走査し、パターンマッチングを行う物体認識方法において、
部分画像分割手段が、前記被探索画像から所定数のテンプレート画像片に分割されている前記テンプレート画像と同一のサイズの部分画像を抜き出し、前記各テンプレート画像片に対応して前記所定数の部分画像片に分割する部分画像分割ステップと、
演算手段が、前記テンプレート画像片と前記部分画像片とのそれぞれの相関値を求め、所定閾値以上となる前記相関値の個数を集計して集計値を求める演算ステップと、
認識手段が、前記被探索画像の全体を走査した結果、前記演算ステップにて得られた集計値のうち、予め設定された第１所定値以上となる集計値の中から最大値となる集計値を１つ抽出し、その集計値に対応する部分画像の位置を合致位置と認識する認識ステップと、
更新手段が、前記認識ステップにて前記合致位置が認識された際の集計値が、前記所定数よりも小さい値で且つ前記第１所定値よりも大きい値に設定された第２所定値以下の場合は、前記テンプレート画像を、前記認識ステップで認識された前記合致位置に対応する部分画像に置き換える更新ステップと、を備えたことを特徴とする物体認識方法。
テンプレート画像を被探索画像内で走査し、パターンマッチングを行う物体認識方法において、
部分画像分割手段が、前記被探索画像から所定数のテンプレート画像片に分割されている前記テンプレート画像と同一のサイズの部分画像を抜き出し、前記各テンプレート画像片に対応して前記所定数の部分画像片に分割する部分画像分割ステップと、
演算手段が、前記テンプレート画像片と前記部分画像片とのそれぞれの相関値を求め、所定閾値以上となる前記相関値の個数を集計して集計値を求める演算ステップと、
認識手段が、前記被探索画像の全体を走査した結果、前記演算ステップにて得られた集計値のうち、予め設定された第１所定値以上となる集計値の中から最大値となる集計値を１つ抽出し、その集計値に対応する部分画像の位置を合致位置と認識する認識ステップと、
更新手段が、今回の走査で前記認識ステップにて前記合致位置が認識された際の集計値が、前記所定数よりも小さい値で且つ前記第１所定値よりも大きい値に設定された第２所定値以下であって、過去の走査で前記認識ステップにて前記合致位置が認識された際の集計値と今回の走査で前記認識ステップにて前記合致位置が認識された際の集計値との差分値が、予め設定された第３所定値以下の場合は、前記テンプレート画像を、今回の走査で前記認識ステップにて認識された前記合致位置に対応する部分画像に置き換える更新ステップと、を備えたことを特徴とする物体認識方法。
前記演算ステップに先立って、テンプレート画像分割手段が、前記テンプレート画像を所定数のテンプレート画像片に分割するテンプレート画像分割ステップを更に備えたことを特徴とする請求項６又は７に記載の物体認識方法。
前記認識ステップでは、前記認識手段が、前記第１所定値以上となる集計値の中から最大値となる集計値が複数個ある場合、これら最大値となる集計値を集計する際に用いた相関値の合計値をそれぞれ演算し、前記各合計値の中で、最大値となる合計値に対応する部分画像の位置を合致位置と認識することを特徴とする請求項６乃至８のいずれか１項に記載の物体認識方法。
前記演算ステップでは、前記演算手段が、前記テンプレート画像片と前記部分画像片とのそれぞれの相関値を順次求める際に、前記所定閾値よりも小さい値となる相関値の個数が、前記所定数から前記第１所定値を差し引いた差分値を超えた場合は、残りの前記テンプレート画像片と前記部分画像片との相関値の演算を打ち切ることを特徴とする請求項６乃至９のいずれか１項に記載の物体認識方法。
コンピュータに請求項６乃至１０のいずれか１項に記載の物体認識方法の各ステップを実行させるためのプログラム。