JPS61206388A - 画像パタ−ンマツチング方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ｍ列１カー （産業上の利用分野） 本発明は、工業製品の自動組立てや製品検査作業におい
て１部品の位置決め、欠陥検出等の画像認識を行うため
の画像パターンマツチング方法に関するものである。

（従来の技術） 従来の代表的な画像パターンマツチング方法は次のよう
であった。

第１図は入力画像例を示す図であり、第２図は連結成分
のラベル付は処理によりラベル付けされた結果を示す図
である。

まず、第１図のような入力画像に対し、連結成分のラベ
ル付は処理を適用し、第２図のようなラベル付けされた
領域を抽出する。

さらに、このラベル領域に対し、面積や周囲長等の複数
の幾何学的特徴の算出を行い、予め標準とする物体の画
像から抽出された同じ特徴との差を求める。そして各特
徴の差の和が最小となるラベル領域を認識物体の存在領
域（物体領域）と判断する手法であった。（例えば、久
良、″市販のロボット用視覚装置の現状″、日本ロボッ
ト学会誌１巻４号ｐｐ、３０９−３１１．１９８３）（
発明が解決しようとする問題点） 然し乍ら、テレビカメラ等の光学的撮像手段によって得
られる入力画像では、照明などの撮影条件によってノイ
ズの混入や画像の変形を受けることが多く、ラベル付け
された物体領域は第２図のように変形を受けるので、標
準パターンと比較をとる面積や周囲長等の画像特徴値に
影響が生じ、正しい判別は困難となってしまうことが多
い。

また、第３図は２つの対象物体例を示す図。

第４図は物体同志に重なりがある場合の入力画像例を示
す図である。

第３図に示すような両物体Ａ、Ｂが、第４図のように重
なりがある入力画像の場合、２つの物体の存在領域が同
じラベルとなり、他の異なる物体の存在領域と誤認識さ
れ除外されてしまう。更に、連結成分のラベル付は処理
には計算の時間的コストがかかる等の問題があった。

見匪ム豊双 （問題点を解決するための手段） 本発明は、これらの欠点を解決するために、物体判別の
前処理として連結成分のラベル付は処理により物体領域
の抽出を行うのではなく、認識すべき物体を表す予め定
めたマスク画像から複数の画像特徴の上限値と下限値を
求め、この上・下限値より定められる特徴の定義範囲の
間にある画像特徴を生じる画像の数を、判別すべき物体
画像領域について計数し、その計数値からマスク画像と
物体領域との一致度を算出し、この一致を用いてマツチ
ングを行うものである。

（作用） このようにすれば、入力画像にノイズや変形が含まれる
場合や、物体の間に重なりがある場合でも、安定に、か
つ簡単なアルゴリズムにより物体の判別や位置決めを行
うことを可能とするものである。

（実施例） 第５図は本発明を実施するための装置の構成を示す一実
施例のブロック図であり、１はテレビカメラ、２はＡＤ
変換部、３は入力画像記憶部、４は特徴抽出部、５は画
像特徴記憶部、６は標準特徴パターン記憶部、７はマツ
チング処理部、８は出力端子である。更にマツチング処
理部７は７−１の特徴判定部、７−２の判定値記憶部、
７−３の判定値評価部より構成される。

テレビカメラ１は物体像（実際の物体でなく写真や図面
を撮像手段としても良い）を撮影し、その明るさや色に
応じた値を持つ電気信号をラスタ走査信号として出力す
る。ＡＤ変換部２はラスタ走査信号をディジタル信号に
変換し、入力画像記憶部３に画像データを書込む。

なお、ここではテレビカメラにより画像を生成している
が、ＶＴＲ装置、ファクシミリ等の他の画像生成手段に
よる画像データについても本発明は適用可能である。

以下、第１図に示すような画像が入力画像記憶部３に記
憶されている場合について説明する。

標準特徴パターン記憶部６では、物体の判別の基準とな
る標準特徴パターンが次のように設定される。

第６図はマスク画像例を示す図である。

すなわち、第６図に示すように物体を囲む矩形領域Ｍ（
領域サイズＬｘ　Ｘ　Ｌｙ）で指定されるマスク画像か
ら複数の画像特徴ｆ□（ｘ＋ｙＬ・・・、ｆｎ（ｘ、ｙ
）が算出される。

例えば、次に示すような公知の画像特徴、すなわち、明
るさのレベル値をある値で正規化した明るさ特徴、赤（
Ｒ）、緑（Ｇ）、青（Ｂ）の３原色信号成分のレベル値
、色成分比、エツジ抽出処理により得られる正規化され
たエツジ強度特徴等、の種々の画像特徴が算出される。

ここで、明るさ特徴及びエツジ強度特徴に対し矩形領域
Ｍ内での上限値・下限値を設定する。

第７図はエツジ画像から得られたエツジ強度特徴に対し
上限値・下限値を設定した例を示す図である。

一般的には矩形領域Ｍ内での各画素特徴に対する上限値
の系列（ｕｏ、・・・＋ｕｎ）と下限値の系列（し、・
・・。

ｔ！、）及び領域Ｍ内での各画素特徴の上限値と下限値
の範囲内にある画素数の代表値の系列（ｓｌ、・・・。

ｓｎ）及び領域サイズＬｘ　、　Ｌｙが標準特徴パター
ン記憶部に格納される。

ここで、代表値の系列（ｓｌ、・・・、ｓ、、）の各位
は、領域サイズに不変な値に設定するため、各要素を領
域サイズの面積Ｌｘ　Ｘ　Ｌｙで割った値と置換えても
良い。

このＷ準特徴パターンを用いて、以下、物体の判別や位
置決めを行う。

特徴抽出部４は、マスク画像について求めた画像特徴と
同じ画像特徴ｆ□（ｘ＋ｙＬ・・・ｔｆｎ（Ｘ＋ｙ）を
入力画像から算出し１画像特徴記憶部５に出力する。

次にマツチング処理部７について説明する。

第８図は入力画像のマスク画像の標準特徴パターンの矩
形領域Ｒによる走査を示す図である。

特徴判定部７−１では、まず、標準特徴パターン記憶部
６に格納されているマスク画像特徴の上限値の系列（Ｕ
工、・・・１ｕｆｉ）、下限値の系列（１１，・・・、
ＩＩｎ）及び画素数の代表値の系列（Ｓ□、・・・＋Ｓ
ｎ）及び領域サイズＬｘ、Ｌｙを読出し、第８図に示す
ように、入力画像中にマスク画像と同じサイズの矩形領
域Ｒを設定し、画像特徴ｆ工（ｘｔｙ）＋・・・、ｆｎ
（ｘｔｙ）がｉｔ□≦ｆｔ　（ｘｔｙ）≦Ｉｌｌ”””
ｌ＃ｎ≦ｆｎ（ｘｔｙ）≦ｕｎ−（１）を満足する領域
Ｒ内の画素数の計数を行う。

各画像特徴に対して計数された値の系列を（Ｎ工、・・
・、Ｎｎ）とする。

ここで、各画像特徴ｆｋ（ｘ、ｙ）　（ｋ＝ｔ、　＋＋
　、ｎ）に関して矩形領域Ｒとマスク画像との一致度を
算出する。

この一致度は例えば次のような一致度関数ｈ（Ｎｋ）（
ｋ＝１．・・・＋ｎ）を用いて表すことができる。

ｈ（Ｎｋ）＝１−α１Ｎｋ−３ｋｌ　　　　　・・・（
２）または　＝１−α（Ｎｋ−３ｋ）” ここで、ｈ（Ｎｋ）はＯと１の間の値をとり、　Ｎｋが
Ｓｋに等しいときが最大の一致度１をとるものとする。

一方、ＮｋがＳｋから離れるに従ってｈ（Ｎｋ）は減少
する。但し、αの値は適当に設定されるとする。

また、系列（Ｓ□、・・・、ｓｏ）をマスク画像領域サ
イズに不変な値として標準特徴パターン記憶部６がら読
出した場合には、Ｎｋ（ｋ＝１．・・・＋ｎ）を矩形領
域面積Ｌｘ　Ｘ　Ｌｙで割った値とすることによりｈ（
Ｎｋ）の算出が可能である。

次に、この各画像特徴に対する一致度を用いて、全ての
画像特徴ｆ□（Ｘ＋ｙＬ・・・ＩＩｎ（Ｘ＋ｙ）を適用
したときの矩形領域Ｒとマスク画像との一致度を算出す
る。

この一致度を、例えば、各画素特徴ｆｋ（ｘ、ｙ）に対
する一致度関数ｈ　（Ｎｋ）及び、各画素特徴に対する
重み付は計数Ｗ＝を用いて荷重線形和Σｗｋｈ（Ｎｋ）
ｋ＝１ と設定することが可能である。

ここで、矩形領域Ｒの位置を１画素あるいは数画素間隔
で左上から右下へ順次ずらして、入力画像を物体領域が
存在する可能性のある範囲に渡って走査し、ｌ＠ずらせ
る毎に上記マツチング処理を繰り返す。

そして、１回の移動毎に算出された一致度及び矩形領域
Ｒの位置の代表点座標（Ｐｘ、Ｐｙ）を判定値記憶部７
−２に格納する。しかし、ここで全ての一致度を格納す
ることは真人なメモリを必要とするので、通常は一致度
の閾値を設定し、閾値以下なら格納は行わないものとす
る。

次に、判定値評価部７−３において、判定値記憶部に格
納された計数値の最大値を与える矩形領域Ｒの位置の代
表点（Ｐｘｏ、Ｐｙ’）を検出し、出力端子８に検出さ
れた領域の代表点（Ｐｘ’　、　Ｐｙ’　）及び領域サ
イズしｘ、Ｌｙを出力する。

ここで、最大の一致度を与える・領域が判別すべき物体
の存在領域と判断することが可能である。

第９図は本発明の処理の流れを示す図であり、上記マツ
チング処理の流れずを示している。

次に、マスク画像を分割して部分マスク画像を定め、こ
の部分マスク画像を用いて、より詳細なマツチング処理
をする手法について説明する。

この場合は部分マスク画像に分割しない場合と対比し、
標準特徴パターン記憶部６及びマツチング処理部７の処
理内容が異なる。

第１Ｏ図は部分マスク画像に分割されたマスク画像を示
す図である。

ここでは、簡単のため、第１０図に示すように、マスク
画像領域Ｍ（領域サイズＬｘ、Ｌｙ）に対して２×２の
分割を行い、領域サイズＬｘ／　２　Ｘ　Ｌｙ／　２で
あるＬｔ　Ｊｚｚ　＋Ｌ□１Ｍ２□の４領域に対応する
部分マスク画像を設定した場合について説明する。一般
にはｍＸｎの分割が行われる。

標準特徴パターン記憶部６には、各部分マスク画像領域
Ｍｊｊ（１，ｊ＝１，２）内での画像特徴記憶部の上限
値と下限値の範囲内にある画素数の部分領域サイズしｘ
／２．Ｌｙ／２が格納される。

一方、画像特徴記憶部５には、特徴抽出部４により入力
画像から算出された画像特徴ｆえ（ｘ＋ｙＬ・・・ｕｎ
（Ｘ＋ｙ）が格納される。

第１１図は入力画像の部分矩形領域による走査を示す図
である。

ここで、マツチング処理部７における特徴判定部７−１
では、第１１図のように、画像特徴ｆ、　（ｘ＋ｙＬ・
・・、ｆｎ（Ｘ＋ｙ）のサイズＬｘ　Ｘ　Ｌｙの矩形領
域Ｒ内の部分マスク画像領域Ｍｉｊ（ｉ＝１．２）のサ
イズに等しい各部分領域Ｒｉｊ（ｉ＝１．２）において
、ここで、各画像特徴に対して計数された値の系この計
数値の系列を用いて矩形領域Ｒとマスク画像領域Ｍとの
一致度を算出する。この一致度は。

例えば次のように設定することができる。

まず、各画像特徴ｆｋ（Ｘ−ｙ）　（ｉ＝１．　”’　
、ｎ）に関して各部分領域Ｒｊｊと部分マスク画像領域
Ｍｉｊとの一致度を算出する。この一致度は、例えば（
２）式におることにより設定が可能である。

次に、この一致度を用いて全ての画像特徴ｆｉ（ｘｔｙ
）、・・・＋ｆｎ（Ｘ＋ｙ）を適用したときの各部分領
域Ｒｊｊと部分マスク画像領域Ｍｉｊとの一致度を算出
する。

この一致度は１例えば各画像特徴に対する荷重設定する
ことができる。

最終的に矩形領域Ｒとマスク画像領域Ｍとの一致度は、
例えば次のように設定する。

すなわち、部分領域Ｒｊｊと部分マスク領域Ｍｉｊとす
る重み付は係数Ｗｉｊを用いて、 である。

以上、領域Ｒの位置を１画素あるいは数画素間隔で左上
から右下まで移動させる毎に、領域Ｒとマスク画像領域
Ｍとの一致度を算出することにより、部分マスク画像に
分割しない場合と同様なマツチング処理が可能である。

上記実施例では、画素単位に一致度を計数する手法につ
いて説明したが、入力画像サイズが大きくなると、マツ
チングをとるための繰返し演算数が大きく増えることが
予想される。

これは、以下のように画像を小領域に分割して。

明るさの平均値、成る閾値以上のエツジ強度を有する小
領域中の画素数（エツジ密度）等、その小領域を代表す
る画像特徴を算出し、画像特徴の定義域を満たす小領域
を計数することにより、繰返し演算量を軽減することが
できる。

第１２図は小領域に分割されたマスク画像例を示す図で
ある。

例えば、第１２図に示すように、マスク画像（マスク画
像領域サイズＬｘ　Ｘ　Ｌｙ）を４×４の分割により１
６個の小領域を定めた場合について説明する。

この小領域から算出される画像特徴の一例としては、明
るさの平均値、成る閾値以上のエツジ強度を有する小領
域中の画素数（エツジ強度）等が挙げられる。

予め、マスク画像領域Ｍの小領域毎に算出された各画像
特徴に対する上限値・下限値の系列及び、領域Ｍ内での
各画像特徴の上限値と下限値の範囲内にある小領域の代
表値の系列、及びマスク画像領域サイズＬｘ　、　Ｌｙ
を算出しておく。

第１３図は小領域に分割された入力画像上での矩形領域
による走査を示す図である。

第１３図に示すように、入力画像をマスク画像で設定し
た小領域と同じサイズで分割し、マスク画像と同一種類
の複数の画像特徴を小領域単位に算出する。

さらに入力画像中のマスク画像と同じサイズの矩形領域
Ｒを設定し、矩形領域Ｒ中で、マスク画像の対応する特
徴値の上限値と下限値の間にある小領域の数を計数し、
この計数値を用いて小領域に画面分割しない場合と同様
に、マスク画像と矩形領域Ｒの一致度を算出する。

さらに矩形領域Ｒを入力画像中で左上から右下まで１小
領域または数示領域間隔で順次ずらし、矩形領域Ｒ毎に
一致度を算出し１判定すべき物体の存在領域を決定する
。

ここで、マスク画像に対応する特徴値の上限値と下限値
の間にある小領域数を算出するための演算量は画素数を
算出するための演算量と比較して、（）／（Ｌｘ／４）
）　Ｘ　（１／（Ｌｙ／４））となり、Ｌｘ　、　Ｌｙ
が大きければ大きい程、演算量が軽減される。さらに、
矩形領域Ｒを入力画像中で走査するための演算量も軽減
され、マツチングをとるための繰返し演算量は全体とし
て大きく軽減される。

第１４図は表面に複雑な模様を伴う対象物体例を示す図
である。

これは、物体の明るさが個々により異なり、さらに物体
表面に存在する模様の複雑さも個々により異なる対象物
体について考える。

この対象に従来の連結成分のラベル付は処理を適用した
場合、物体と背景を区別し２値化するための閾値の設定
が困難となり、また、模様の複雑さに応じてラベル付は
処理が困難になる等の問題があった。

本発明によれば、例えば明るさ特徴及びエツジ強度特徴
の上限値・下限値の設定を行い、物体領域内で成る明る
さのレベルである画素数及び成るエツジ強度の範囲にあ
る画素数を求めるだけで判別や位置決めが行える。

このように画像特徴の上限値・下限値の系列という非常
に簡単な標準特徴パターンの設定により、物体の判別や
位置決めが行え、さらに、別の画像特徴を付は加えたい
ときは、既に設定された画像特徴の上限値・下限値の系
列に新しい画像特徴の上限値・下限値を加えるだけで良
いという画像パターンマツチング法であり、複雑な対象
に対しても容易に判別能力を向上させることができ、ま
た。

ハードウェア化が容易で安価に構成することが可能であ
る。

第１５図は物体同志に重なりがある場合の入力画像例を
示す図である。

第１５図に示すように物体同志に重なりがあっても、矩
形領域Ｒについて一致度を計数することにより、多少一
致度は低下するが判別可能である。

次にマスク画像を部分マスク画像に分割をした場合のマ
ツチング手法の効果について説明する。

第１６図は物体領域内で明るさのレベルが異なる対象物
体例を示す図である。

第１７図はマスク画像を部分マスク画像に分割した例を
示す図である。

第１６図に示すように、同一物体領域内で明るさのレベ
ルが領域によって異なる（明るさ特徴１１＋Ｉ２＋１、
）場合を考える。

この場合はマスク画像全体領域の明るさの範囲の設定だ
けでは無理で、第１７図のように２Ｘ２の４つの部分マ
スク画像（阿１１１Ｍ２□ｔＭ１２１Ｍ！□）に分割を
行うことによって判別が可能となる。

即ち、部分マスク画像ＭＩＬＩＭ２１１町２２Ｍ２□に
対して標準特徴パターンとしてそれぞれ明るさ特徴の用
することにより判別可能となる。

第１８図は穴のある対象物体のマスク画像例を示す図で
ある。

第１８図のように第１６図の物体の左上隅に穴が合いて
いる物体を判別する場合、本発明によれば、まず最初の
段階で明るさ特徴により明るさ■、レベルの領域Ｈ工、
を検出し、次の段階で検出した領域阿□□に対し、エツ
ジ強度特徴を用いて、成るエツジ強度特徴の範囲内にあ
る画素数を計数することにより穴の有無を検出するとい
う、段階的なマツチング処理を行うことも可能であり、
マツチング処理の効率化が図れる。

次に、本発明による画像パターンマツチング手法は、撮
像条件の変動により受けるノイズや画像の変形に対して
も安定なマツチング処理が期待できる。

例えば、物体の周囲の長さにより対象を判別する場合を
考える。

従来、物体の周囲長を求める手法としては、入力画像に
対し、エツジ抽出処理をして得られる物体のエツジを追
跡することにより求める手法や、連結成分のラベル付は
処理をして得られる閉領域の境界を追跡することにより
求める手法がある。

しかしながら、このようにエツジまたは境界を追跡する
手法では入力画像にノイズや変形を受けた場合、周囲長
はノイズや変形の量に応じて変動する。

第１９−１図、第１９−２図はノイズや変形を含む入力
画像例を示す図であり、第２０−１図、第２０−２図は
エツジまたは境界の追跡により得られた物体の境界を示
す図である。

第１９−１図及び第１９−２図に示されるような主中央
に若干の凹みの有る物体と無い物体を判別する場合には
、第２０−１図及び第２０−２図に示されるように周囲
長による差が殆どなくなり、両物体の区別がつかなくな
る可能性がある。

本発明による画像パターンマツチング手法では、エツジ
強度が成る範囲内にある画素数でマツチングの度合を評
価するので、ノイズや変形が含まれていてもマツチする
画素数全体の割合からすれば限られている。従って、エ
ツジや境界を追跡し周囲長を出す手法と較べてノイズ変
形による影響は少ないと言える。

１里亘羞米 以上説明したように、本発明は、物体判別の前処理とし
て連結成分のラベル付は処理により物体領域の抽出を行
うのではなく、認識すべき物体を表す予め定めたマスク
画像から複数の画像特徴の上限値と下限値を求め、この
上・下限値より定められる特徴の定義範囲の間にある画
像特徴を生じる画像の数を、判別すべき物体画像領域に
ついて計数し、その計数値からマスク画像と物体領域と
の一致度を算出し、この一致を用いてマツチングを行う
ものであるから、入力画像にノイズや変形が含まれる場
合や、物体の間に重なりがある場合でも、安定に、かつ
簡単なアルゴリズムにより物体の判別や位置決めを行う
ことが可能となるという利点がある。

【図面の簡単な説明】

第１図は入力画像例を示す図、第２図は連結成分のラベ
ル付は処理によりラベル付けされた結果を示す図、第３
図は２つの対象物体例を示す図、第４図は物体同志に重
なりがある場合の入力画像例を示す図、第５図は本発明
を実施するための装置の構成を示す一実施例のブロック
図、第６図はマスク画像例を示す図、第７図はエツジ画
像から得られたエツジ強度特徴に対し上限値・下限値を
設定した例を示す図、第８図は入力画像のマスク−像の
標準特徴パターンの矩形領域Ｒによる走査を示す図、第
９図は本発明の処理の流れを示す図。 第１０図は部分マスク画像に分割されたマスク画像を示
す図、第１１図は入力画像の部分矩形領域による走査を
示す図、第１２図は小領域に分割されたマスク画像例を
示す図、第１３図は小領域に分割された入力画像上での
矩形領域による走査を示す図、第１４図は表面に複雑な
模様を伴う対象物体例を示す図、第１５図は物体同志に
重なりがある場合の入力画像例を示す図、第１６図は物
体領域内で明るさのレベルが異なる対象物体例を示す図
。第１７図はマスク画像を部分マスク画像に分割した例
を示す図、第１８図は穴のある対象物体のマスク画像例
を示す図、第１９−１図、第１９−２図はノイズや変形
を含む入力画像例を示す図、第２０−１図、第２０−２
図はエツジまたは境界の追跡により得られた物体の境界
を示す図である。 １　・・・テレビカメラ、２　・・・ＡＤ変換部。 ３・・・入力画像記憶部、４　・・・特徴抽出部、５・
・・画像特徴記憶部、６・・・標準特徴パターン記憶部
、７・・・マツチング処理部、７−１　・・・特徴判定
部、７−２・・・判定値記憶部、７−３・・・判定値評
価部、８・・・出力端子。 特許出願人　　日本電信電話公社 第１図　　　第２図 第６図 第１０図　　　第１１図 ｙ 第１２図　　　第１３図 第１６図　　　　第１７図 一−ロロＡ 第旧図 第１９−１図　第１９−２図 第２０−１図　　第２０−２図

Claims (2)

【特許請求の範囲】
1. （１）矩形領域に囲まれた判別すべき物体の画像をマス
   ク画像とし、そのマスク画像の画素またはそのマスク画
   像を分割した小領域毎に算出された複数の画像特徴と、
   その画像特徴の上限値と下限値について、入力画像にお
   いても前記マスク画像と同一種類の複数の画像特徴を算
   出して、前記マスク画像と同じ輪廓形状を有する、前記
   入力画像中に設定された矩形領域中の各画像特徴が、マ
   スク画像の対応する特徴値の上限値と下限値の間にある
   小領域又は画素の数を計数し、計数値を基に前記マスク
   画像と前記矩形領域の一致度を算出し、その入力画像を
   その矩形領域で走査し、その矩形領域毎にその一致度を
   算出することにより、判定すべき物体の存在領域を決定
   することを特徴とする画像パターンマッチング方法。
2. （２）マスク画像を部分マスク画像に分割し、この部分
   マスク画像について一致度を算出することによりマッチ
   ング処理を行うことを特徴とする特許請求の範囲第（１
   ）項記載の画像パターンマッチング方法。