JP4635862B2

JP4635862B2 - 画像処理装置

Info

Publication number: JP4635862B2
Application number: JP2005371061A
Authority: JP
Inventors: 良仁橋本
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2005-12-22
Filing date: 2005-12-22
Publication date: 2011-02-23
Anticipated expiration: 2025-12-22
Also published as: JP2007172409A

Description

本発明は、検知対象の画像である対象画像を含む入力画像から入力画像内での対象画像の位置・回転角度を検出する画像処理装置に関するものである。

従来から、ＴＶカメラのような画像入力装置で検知対象を含む空間を撮像するなどして得られた検知対象の画像である対象画像を含む入力画像（濃淡画像）を処理対象とし、画像処理技術を用いて入力画像内での対象画像の位置・回転角度を求める技術が種々知られている。たとえば、生産ラインにおける部品をＴＶカメラで撮像した画像を入力画像とし、パーツフィーダなどから供給される部品に付与された文字やマークを対象画像として、対象画像の位置や向きを検出することが考えられている。

ところで、入力画像内で対象画像の位置・回転角度を求めるための画像処理技術としては、位置・回転角度が既知である検知対象を撮像して得られた対象画像を事前に登録して教示画像（濃淡画像）とし、教示画像をさまざまな回転角度で回転させた照合用テンプレートを入力画像と照合して一致度を評価することにより、入力画像において教示画像に相当する対象画像の回転角度を検出する技術がある（たとえば、特許文献１参照）。対象画像の位置は教示画像を入力画像の中で走査するとともに、入力画像において教示画像が重複している領域と教示画像との一致度を評価すれば求めることができる。この種の画像処理技術は、テンプレートマッチングとして知られている。

典型的なテンプレートマッチングでは、教示画像を所定角度で回転させて照合用テンプレートを生成し、照合用テンプレートを入力画像内で走査することにより入力画像内で照合用テンプレートが重複している領域と照合用テンプレートとの一致度が最大になる位置を検出する処理を行う。さらに、教示画像のさまざまな回転角度について前記処理を繰り返して行い、一致度が最大になった照合用テンプレートの位置・回転角度を、入力画像内での対象画像の位置・回転角度とするのである。
特開平１０−２０６１３４号公報

上述したように、特許文献１に記載されたテンプレートマッチングは、ともに濃淡画像である入力画像と教示画像とを照合するものであり、対象画像に相当する領域内のすべての輝度情報を用いているから、たとえば、対象画像の表面に研磨傷のような多数の微細な凹凸が存在しているようなときには、入力画像と教示画像との一致度の最大値が十分に大きくならないから、一致度の差が十分に大きくならない場合がある。つまり、検出可能な位置や回転角度の検出精度が対象画像の表面状態に依存しており、対象画像の表面状態によっては位置や回転角度の検出精度を高くすることができないという問題を有している。

また、上述のように教示画像を回転させて照合用テンプレートを生成し、照合用テンプレートを走査して一致度を検出するという処理を何度も繰り返すから、照合用テンプレートを走査する際の刻み幅や回転角度の刻み幅を小さくして、位置・回転角度の検出精度を高めようとすると、膨大な計算回数が必要になる。上述のように、対象画像に相当する領域内のすべての輝度情報を用いて一致度の計算を行い、しかも、計算回数が多いものであるから、膨大な処理時間を要し処理の高速化が困難であるという問題を有している。

本発明は上記事由に鑑みて為されたものであり、その目的は、入力画像と教示画像との照合に要する時間を短縮して処理を高速化し、しかも対象画像の表面状態によらず位置・回転角度の検出精度を高めることを可能とし、結果的に位置・回転角度の検出をロバストに行うことができる画像処理装置を提供することにある。

請求項１の発明は、検知対象の基準パターンを示す教示画像を用いて既知の検知対象の画像である対象画像の入力画像内における位置・回転角度を検出するデジタル画像の画像処理装置であって、画像入力手段から入力された濃淡画像である入力画像の画素値を用いて１個の対象画像の輪郭線を抽出する輪郭線抽出部と、輪郭線抽出部で生成された輪郭線について曲率の符号が変化する変曲点を抽出するとともに輪郭線を変曲点ごとに分断した輪郭部品を生成する分割処理部と、位置・回転角度が既知である対象画像から輪郭線抽出部で抽出した輪郭線を分割処理部で輪郭部品に分割した教示画像を記憶する教示画像記憶部と、入力画像から生成された輪郭部品と教示画像である輪郭部品とが異なっている程度である不一致度を評価し、不一致度が最小になるように入力画像から得られた輪郭部品と教示画像記憶部に記憶されている教示画像とを対応付ける評価処理部と、教示画像と対象画像とにおいて対応付けた輪郭部品間の位置関係により、入力画像内における対象画像の位置・回転角度を求める位置・角度データ抽出部とを備え、評価処理部は、対象画像の各輪郭部品上の各画素における曲率と教示画像の各輪郭部品の各画素における曲率との差の二乗の和を輪郭部品上で求めた値を第１の評価値とし、対象画像における各２個の輪郭部品の代表点間の距離と教示画像における各２個の輪郭部品の代表点間の距離との距離差を第２の評価値とし、対象画像における各３個の輪郭部品の代表点を２個ずつ結ぶ直線のなす角度と教示画像における各３個の輪郭部品の代表点を２個ずつ結ぶ直線のなす角度との角度差を第３の評価値とし、第１の評価値と第２の評価値と第３の評価値との合計を不一致度として求め、教示画像の複数個の輪郭部品を順次基準に用いて対象画像の各輪郭部品についてそれぞれ総当たりで求めた不一致度のうち不一致度が規定した閾値以下かつ最小になる組合せを教示画像に対応した対象画像と判定することを特徴とする。

この構成によれば、教示画像と対象画像とについて、輪郭線を複数個の部分に分割した輪郭部品の特徴によって比較するから、濃淡画像を用いて比較する場合に比較すると処理負荷が軽減され、結果的に高速な処理が期待できる。また、濃淡画像を用いずに輪郭線にのみ着目するから検知対象の表面の状態に依存することなく位置・回転角度を求めることができ、結果的に検出精度が高められる。その上、輪郭線を複数個の輪郭部品に分割して比較するから、輪郭線の一部が存在していなくとも比較が可能であり、位置・回転角度の検出をロバストに行うことができる。しかも、教示画像と対象画像とについて輪郭部品の形状（第１の評価値）、隣接する２個の輪郭部品の位置関係（第２の評価値）、隣接する３個の輪郭部品の位置関係（第３の評価値）により評価し、第１の評価値と第２の評価値と第３の評価値との合計を不一致度とし、不一致度が最小になったときの教示画像と対象画像との輪郭部品の対応関係を採用し、この対応関係に基づいて教示画像に対する対象画像の位置を求めるから、輪郭線の形状について教示画像と対象画像とで部分ごとに比較することができる上に、輪郭線の全体についても比較することになり、教示画像と対象画像とについて精度の高い対応付けが可能になる。たとえば、輪郭線の形状に共通部分の多い複数個の対象画像が存在していても、教示画像の輪郭線の形状と差があれば、第１の評価値と第２の評価値と第３の評価値とのいずれかについては、比較的大きな値になるから、不一致度が比較的大きくなり、教示画像と対応するか否かを容易に評価することができる。

請求項２の発明では、請求項１の発明において、前記評価処理部は、前記不一致度を求める際に用いる輪郭部品として、前記輪郭線が凹部分になる輪郭部品のみとすることを特徴とする。

この構成によれば、輪郭線が凹部分になる輪郭部分は、輪郭線が凸部分になる輪郭部品と必ず連結されていることを利用しているのであって、輪郭線が凹部分になる輪郭部品にのみ着目して教示画像と対象画像との輪郭部品の対応付けを行っても、輪郭線が凸部分になる輪郭部品の対応付けも正確に行うことができる。また、輪郭部品のうち輪郭線が凹部分になる輪郭部品にのみ着目しているから、対応付けに必要な処理量が約半分になる。

請求項３の発明では、請求項１または請求項２の発明において、前記評価処理部は、前記入力画像内に複数の前記対象画像が存在するときに、前記教示画像と各対象画像とのすべての組合せについて不一致度を求めた後に、求めた不一致度を昇順に並べ、着目する対象画像における輪郭部品の個数に対して並び順で上位である対象画像と重複する輪郭部品の個数の割合を重複率として求め、重複率が規定した閾値以下になる対象画像を採用し、前記位置・角度データ抽出部は、採用した対象画像の個数があらかじめ設定されている個数に達した時点で採用されている対象画像について位置・回転角度を求めることを特徴とする。

この構成によれば、入力画像内に同形状の複数個の対象画像が存在している場合に、不一致度を小さい順に並べることにより、対応の可能性が高いほうから順に並べることができる。また、輪郭部品同士が重複する割合が閾値以下になるものを採用することにより、同一の対象を重複して検出することがなくなる。しかも、複数の対象を検出することにより、輪郭線が途切れるなどして不完全であっても対応付けられる可能性が高くなる。

請求項４の発明では、請求項１ないし請求項３のいずれかの発明において、前記位置・角度データ抽出部は、前記教示画像と前記対象画像とについて互いに対応付けた前記輪郭部品の位置関係に基づいて輪郭部品の位置・回転角度を推定し、位置・回転角度の組の区画からなる投票空間に輪郭部品から求めた位置・回転角度の組を投票し、投票値が最大になる位置・回転角度を対象画像の位置・回転角度として採用することを特徴とする。

この構成によれば、位置・回転角度の組を輪郭部品の位置関係から求めて投票空間に投票し、投票数によって位置・回転角度を統計によって求めているから、１個の値で位置・回転角度を決定する場合よりも、精度の高い値を得ることができる。

請求項５の発明では、請求項１ないし請求項３のいずれかの発明において、前記位置・角度データ抽出部は、前記教示画像と前記対象画像とについて互いに対応付けた前記輪郭部品の位置関係に基づいて輪郭部品の位置・回転角度を推定し、位置・回転角度の組の区画からなる投票空間に輪郭部品から求めた位置・回転角度の組を投票し、投票値が最大になる位置・回転角度を対象画像の位置・回転角度を検出した後、検出した位置・回転角度をパラメータに含む１次関係または２次関係で表した誤差関数に教示画像と対象画像との輪郭線上の各画素を当て嵌めるとともに、誤差関数が最小となるように求めたパラメータのうちの位置・回転角度を対象画像の位置・回転角度として採用することを特徴とする。

この構成によれば、位置・回転角度を粗く求めた後に誤差関数を用いることで、位置・回転角度の精度をさらに高めることができる。条件にもよるが、たとえば、位置の検出誤差を±１／２０画素、回転角度の検出誤差を±１／２０度に高めることが可能になる。

本発明の構成によれば、教示画像と対象画像とについて、輪郭線を複数個の輪郭部品に分割して比較するから、輪郭線の一部が存在していなくとも比較が可能であり、位置・回転角度の検出をロバストに行うことができるという利点がある。また、教示画像と対象画像とについて輪郭部品の形状（第１の評価値）、隣接する２個の輪郭部品の位置関係（第２の評価値）、隣接する３個の輪郭部品の位置関係（第３の評価値）により評価するから、輪郭線の形状について細部の比較と全体の比較とを行うことになり、教示画像と対象画像とについて精度の高い対応付けが可能になるという利点がある。しかも、輪郭線を用いるから濃淡画像を用いる場合に比較すると処理負荷が小さく、処理を高速化することができるという利点もある。

以下に説明する実施形態では、物品に付与された文字やマークを検知対象とする例を示す。つまり、印刷、捺印、刻印などの方法で文字やマークが付与された物品を含む画像を入力画像とする。

図２に示すように、文字やマークが付与された部品１０はＴＶカメラからなる画像入力装置１１により撮像され、画像入力装置１１により得られた濃淡画像は輪郭線抽出部１２に入力される。ここで、輪郭線抽出部１２にはデジタグ画像である濃淡画像が入力される。デジタル画像の濃淡画像は、ＴＶカメラから出力されるアナログ信号の映像信号にアナログ−デジタル変換を施すか、デジタル画像を出力するＴＶカメラを用いることにより得られる。また、画像入力装置１１は必ずしもＴＶカメラでなくてもよく、たとえばイメージスキャナやあらかじめ濃淡画像を登録した記録媒体から濃淡画像を読み取る装置などを画像入力装置１１に用いてもよい。また、画像入力装置１１は濃淡画像を格納する記憶装置を備えている。

輪郭線抽出部１２は、濃淡画像にエッジ強調用のオペレータを適用することによってエッジを抽出し、さらにエッジの細線化や延長を行うことによって輪郭線を抽出する技術を採用することが可能であるが、本実施形態では、平滑度の異なる２種類の平滑化画像を生成し、一方の平滑化画像の画素値に重み係数を乗じて他方の平滑化画像の画素値から減算することにより輪郭線を抽出する技術を採用する。この技術は特開２００２−１８３７１３号公報において採用されている。

この輪郭線抽出部１２は、たとえば、着目画素を中心とする±ｎ画素の範囲の正方領域（２ｎ＋１）×（２ｎ＋１）における画素値（濃度）の平均値を着目画素の画素値に用いる平滑化処理手段１２ａと、着目画素を中心とする±（ｎ＋３）の範囲の正方領域（２ｎ＋７）×（２ｎ＋７）における画素値の平均値を着目画素の画素値に用いる平滑化処理手段１２ｂとを備える。ここで、検知対象である文字やマークの画像である対象画像の濃度が背景よりも大きい（つまり、対象画像が背景よりも暗い）場合を想定し、平滑化処理手段１２ｂの各画素値に対して重み付け手段１２ｃにより０〜１．５の範囲の重み係数を乗じる。差分手段１２ｄによって平滑化処理手段１２ａで得られる画素値から重み付け手段１２ｃで得られる画素値を減算し、比較手段１２ｅによって画素値が正になる画素のみを抽出すると、対象画像の領域は白抜きになる。比較手段１２ｅにより得られた白画素と黒画素の境界を、輪郭追跡手段１２ｆにおいて追跡することにより対象画像の輪郭線が抽出される。

上述のようにして輪郭追跡手段１２ｆで輪郭線を追跡すれば、連続した輪郭線を抽出することができるから、連続した輪郭線ごとにラベルを付与する。つまり、同一の対象画像の候補ごとにラベルを付与する。このようにしてラベルを付与した場合に、複数の対象画像が重なっている箇所であっても１個のラベルが付与されることになる。そこで、以下の処理により各対象画像を判別する。

輪郭線抽出部１２で生成されたラベル付きの輪郭線は分割処理部１３に入力される。分割処理部１３は変曲点抽出手段１３ａを備えており、変曲点抽出手段１３ａではラベルが付与された輪郭線ごとに曲率の符号の変化点である変曲点を抽出する。変曲点は輪郭線の曲率を求め、曲率の符号が変化する位置の画素を変曲点とする。いま、図３に示す形状の輪郭線Ｅ１が得られた場合を想定する。輪郭線Ｅ１では凸部分の頂部と凹部分の底部とにおいて曲率が極大になるから、図３における点Ｔ１，Ｔ２，Ｔ３では曲率が極値（極大値または極小値）になる（以下、Ｔ１，Ｔ２，Ｔ３を極値点と呼ぶ）。ここで、輪郭線の内側から見て凸部分の曲率の符号を正とすれば、凹部分の曲率の符号は負になるから、輪郭線Ｅ１の上の位置を横軸にとり曲率を縦軸にとれば、輪郭線Ｅ１の上の曲率は図４のように変化する。また、凸部分と凹部分の間に曲率の符号が反転する変曲点ｔ１，ｔ２，ｔ３，ｔ４が存在する。

以下の説明では、対象画像を図３と同形状とし、図３に従って、極値点を白丸で表し、変曲点を黒丸で表す。なお、以下の説明において、輪郭線Ｅ１に相当する形状を簡略化して十字形で表すが、十字形の角部分には意味はなく、凸部分の頂部および凹部分の底部が極値点になり、凸部分と凹部分との間に変曲点が存在することとする。

分割処理部１３の変曲点抽出手段１３ａにおいて輪郭線Ｅ１の変曲点ｔ１，ｔ２，……が抽出されると、分割処理部１３の部分分割手段１３ｂにおいて、輪郭線Ｅ１を変曲点ｔ１，ｔ２，……ごとに分断し、図５、図６に示すように、輪郭部品ｅ１１，ｅ１２，……を生成する。

図５（ａ）は位置・回転角度が既知である対象画像を画像入力装置１１により撮像し輪郭線抽出部１２で抽出した輪郭線Ｅ１であって、図５（ｂ）のようにこの輪郭線Ｅ１について変曲点で分断した輪郭部品ｅ１１，ｅ１２，……を教示画像として教示画像記憶部１４に格納する。教示画像記憶部１４において、輪郭部品ｅ１１，ｅ１２，……は輪郭線Ｅ１に結びつけた形で格納される。図５（ｂ）に示すように、各輪郭部品ｅ１１，ｅ１２，……には１個ずつの極値点Ｔ１，Ｔ２，……が含まれる。

一方、図６（ａ）は教示画像と照合する入力画像における対象画像の輪郭線Ｅ２であって、教示画像と同様に変曲点で分断され、図６（ｂ）のように、輪郭部品ｅ２１，ｅ２２，……が生成される。各輪郭部品ｅ２１，ｅ２２，……には１個ずつの極値点Ｓ１，Ｓ２，……が含まれる。

上述したように、教示画像記憶部１４に輪郭部品ｅ１１，ｅ１２，……からなる教示画像が格納された状態において、入力画像に含まれる対象画像から輪郭部品ｅ２１，ｅ２２，……が生成されると、評価処理部１５において、入力画像から生成された輪郭部品ｅ２１，ｅ２２，……と教示画像である輪郭部品ｅ１１，ｅ１２，……とが比較される。また、輪郭部品ｅ１１，ｅ１２，……、ｅ２１，ｅ２２，……は、それぞれ１個の極値点Ｔ１，Ｔ２，……、Ｓ１，Ｓ２，……を含むから、極値点Ｔ１，Ｔ２，……、Ｓ１，Ｓ２，……を各輪郭部品ｅ１１，ｅ１２，……、ｅ２１，ｅ２２，……の代表点に用いる。

評価処理部１５では、従来構成のように一致度ないし類似度を評価するのではなく、異なっている程度である不一致度を以下の方法で評価し、不一致度が最小になるように、入力画像から得られた輪郭部品ｅ１１，ｅ１２，……と、教示画像から得られた輪郭部品ｅ２１，ｅ２２，……とを対応付ける。輪郭部品ｅ１１，ｅ１２，……と輪郭部品ｅ２１，ｅ２２，……との対応付けは１個ずつ順次行い、不一致度が最小になる組合せを抽出する。

不一致度は、以下の３種類の評価値の総和として求める。

第１の評価値としては、教示画像から求めた輪郭部品ｅ１１，ｅ１２，……と入力画像から求めた輪郭部品ｅ２１，ｅ２２，……とについて曲率差の二乗和を用いる。ただし、曲率差を求めようとする各２個の輪郭部品ｅ１１，ｅ１２，……、ｅ２１，ｅ２２，……の画素数は一致するとは限らないから、各輪郭部品ｅ１１，ｅ１２，……、ｅ２１，ｅ２２，……の極値点Ｔ１，Ｔ２，……、Ｓ１，Ｓ２，……から両端に向かって各画素ごとの曲率の差を順に求め、一方の差を求める画素が相手がなくなれば差を求める処理を終了する。いま、極値点Ｔ１，Ｓ１を含む各輪郭部品ｅ１１，ｅ２１について、各画素ｉに着目して求めた曲率をそれぞれＣＴ１（ｉ），ＣＳ１（ｉ）とするとき、第１の評価値は、Σ（ＣＴ１（ｉ）−ＣＳ１（ｉ））^２（ただし、ｉ＝１，２，……比較画素数）と表される。つまり、輪郭部品ｅ１ｊ，ｅ２ｋに関する第１の評価値は、Ｃｊｋ＝Σ（ＣＴｊ（ｉ）−ＣＳｋ（ｉ））^２になる。この評価値Ｃｊｋが規定した閾値以下でかつ最小になるとき、教示画像の輪郭部品ｅ１ｊと入力画像の輪郭部品ｅ２ｋとが対応していると判断する。

第２の評価値としては、教示画像において着目する２個の輪郭部品における極値点間の距離と、入力画像における各２個の輪郭部品の極値点間の距離との距離差を用いる。いま、教示画像において着目する２個の輪郭部品をｅ１２，ｅ１３とし、極値点Ｔ２，Ｔ３間の距離を［Ｔ３−Ｔ２］と表すものとする。一方、入力画像における各２個の輪郭部品ｅ２１，ｅ２２，……の極値点Ｓ１，Ｓ２，……間の距離を、［Ｓ２−Ｓ１］，［Ｓ３−Ｓ１］，……，［Ｓ３−Ｓ２］，［Ｓ４−Ｓ２］，……と表すものとする。たとえば、入力画像の輪郭部品ｅ２２と輪郭部品ｅ２４との極値点Ｓ２，Ｓ３間の距離は［Ｓ４−Ｓ２］で表される。

つまり、教示画像において着目する２個の輪郭部品をｅ１ｍ，ｅ１ｊ（ｍ＜ｊ）と表し、入力画像において比較する２個の輪郭部品をｅ２ｎ，ｅ２ｋ（ｎ＜ｋ）と表すと、極値点間の距離の距離差は、｜［Ｔｊ−Ｔｍ］−［Ｓｋ−Ｓｎ］｜と表される。実際には、第２の評価値は、第１の評価値などを用いて教示画像と入力画像とのいずれかの部分画像の対応関係が既知である場合（つまり、ｍ＝ｎの場合）に適用される評価値であって、教示画像における輪郭部品ｅ１ｊに対応する入力画像の輪郭部品ｅ１ｋを評価するために用いる。したがって、第２の評価値は、教示画像の着目する２個の輪郭部品をｅ１ｍ，ｅ１ｊに対して、入力画像の輪郭部品ｅ２ｋを求める評価値として、Ｄｊｋ＝｜［Ｔｊ−Ｔｍ］−［Ｓｋ−Ｓｍ］｜という形で表される。第２の評価値は、教示画像の輪郭部品ｅ１ｊと入力画像の輪郭部品ｅ２ｋとが対応する場合には略０になる。

第３の評価値としては、教示画像の中で着目する３個の輪郭部品における極値点がなす角度と、入力画像における各３個の輪郭部品の極値点がなす角度との角度差を用いる。いま、教示画像において着目する３個の輪郭部品をｅ１２，ｅ１３，ｅ１４とし、極値点Ｔ２，Ｔ３，Ｔ４がなす角度を∠Ｔ１Ｔ２Ｔ３で表すものとする。一方、入力画像における各３個の輪郭部品ｅ２１，ｅ２２，……の極値点Ｓ１，Ｓ２，……がなす角度を、∠Ｓ１Ｓ２Ｓ３，∠Ｓ１Ｓ２Ｓ４，……，∠Ｓ２Ｓ３Ｓ４，∠Ｓ２Ｓ３Ｓ５，……と表すものとする。たとえば、入力画像の輪郭部品ｅ２１，ｅ２２，ｅ２４の極値点Ｓ１，Ｓ２，Ｓ４がなす角度は∠Ｓ１Ｓ２Ｓ４で表される。

つまり、教示画像において着目する３個の輪郭部品をｅ１ｍ，ｅ１ｐ，ｅ１ｊ（ｍ＜ｐ＜ｊ）と表し、入力画像において比較する３個の輪郭部品をｅ２ｎ，ｅ２ｑ，ｅ２ｋ（ｎ＜ｑ＜ｋ）と表すと、極値点がなす角度の角度差は、｜∠ＴｍＴｐＴｊ−∠ＳｎＳｑＳｋ｜と表される。実際には、第３の評価値は、第１の評価値および第２の評価値などを用いて教示画像と入力画像とのいずれか２個の部分画像の対応関係が既知である場合（つまり、ｍ＝ｎ，ｐ＝ｑの場合）に適用される評価値であって、教示画像における輪郭部品ｅ１ｊに対応する入力画像の輪郭部品ｅ１ｋを評価するために用いる。したがって、第３の評価値は、教示画像の着目する３個の輪郭部品ｅ１ｍ，ｅ１ｐ，ｅ１ｊに対して、入力画像の輪郭部品ｅ２ｋを求める評価値として、Ａｊｋ＝｜∠ＴｍＴｐＴｊ−∠ＳｍＳｐＳｋ｜と表される。第３の評価値は、教示画像の輪郭部品ｅ１ｊと入力画像の輪郭部品ｅ２ｋとが対応する場合には略０になる。

上述のように、第１の評価値では教示画像と入力画像との個々の輪郭部品の特性を利用して類似度を評価し、第２の評価値では教示画像と入力画像との２個の輪郭部品の位置関係を利用して類似度を評価し、第３の評価値では教示画像と入力画像との３個の輪郭部品の位置関係を利用して類似度を評価している。したがって、教示画像の２個の輪郭部品ｅ１ｍ，ｅ１ｐと入力画像の２個の輪郭部品ｅ２ｎ，ｅ２ｑとが対応付けられる場合には、不一致度をＥｊｋ＝Ｃｊｋ＋Ｄｊｋ＋Ａｊｋとおいて教示画像における輪郭部品ｅ１ｊと入力画像におけるｅ２ｋとが対応するかどうかを評価することができる。

教示画像の各輪郭部品ｅ１１，ｅ１２，……に対して、上述した不一致度が最小になるような入力画像の輪郭部品ｅ２１，ｅ２２，……が求まるから、教示画像の各輪郭部品ｅ１１，ｅ１２，……に対応付けて得られた不一致度を求めれば、教示画像と入力画像との相違の程度を不一致度によって評価することが可能になる。

上述の説明において、教示画像の２個の輪郭部品ｅ１ｍ，ｅ１ｐと入力画像の２個の輪郭部品ｅ２ｎ，ｅ２ｑとの対応付けが終了している状態を出発点にしているが、この対応付けは対応付けの候補であって確定しているわけではないから、２個の輪郭部品の対応付けについても可能な組合せのすべてについて不一致度を求め、求めた不一致度の中で閾値以下かつ最小になる組合せを、教示画像と入力画像との輪郭部品を対応付ける組合せとする。このように、輪郭部品についてすべての組合せについて全体一致度を求める、いわゆる貪欲算法を用いることにより、教示画像と入力画像との不一致の程度を評価することができるが、各輪郭部品の曲率の符号などを用いれば、無関係な組合せを排除して不一致度を求めるべき輪郭部品の組合せの個数を減らすことができるから、処理負荷を軽減することが可能である。

上述した輪郭部品の対応付けによって、入力画像に含まれる輪郭線から教示画像に相当する対象画像の有無を検出することができる。ただし、上述した手順では入力画像における対象画像の有無を検出することはできるものの、対象画像の位置・回転角度は検出することができない。以下では、対象画像の位置・回転角度を求める技術について説明する。

対象画像の位置・回転角度を求めるために、教示画像を生成する際に位置・角度データ抽出部（図示せず）おいて、輪郭部品ｅ１１，ｅ１２，……のすべての対に対して、次の２種類のデータを生成し、これらのデータも教示画像記憶部１４に格納しておく。すなわち、教示画像において、各一対の輪郭部品ｅ１１，ｅ１２，……の極値点Ｔ１，Ｔ２，……をそれぞれ結ぶ直線が画像の水平方向に対してなす角度と、各一対の輪郭部品ｅ１１，ｅ１２，……の極値点Ｔ１，Ｔ２，……をそれぞれ結ぶ直線の中点から教示画像の適宜位置に設定した代表点に向かうベクトルとを、対象画像の位置・回転角度を求める際に用いる２種類のデータとして教示画像記憶部１４に格納しておく。ここに、ベクトルは大きさと角度とを含んでおり、ベクトルの向きについては極値点Ｔ１，Ｔ２，……間を結ぶ直線に対する角度で表す。

図７（ａ）のように、極値点Ｔ１，Ｔ６の対に着目すると、直線Ｔ１Ｔ６が水平方向に対してなす角度はθ１６であり、直線Ｔ１Ｔ６の中点Ｐｃから代表点（「出力点」と呼ぶ）Ｐ１に向かうベクトルの大きさはｒ１６になる。また、直線Ｔ１Ｔ６に対するベクトルの向きを表す角度はα１６になる。入力画像から求めた対象画像についても、同種のデータを求めれば、輪郭部品の照合によって求めた対象画像の位置・回転角度を求めることができる。

そこで、対象画像から教示画像の輪郭部品ｅ１１，ｅ１２，……に対応付けて抽出した対象画像のすべての輪郭部品ｅ２１，ｅ２２，……のすべての対について、位置・角度データ抽出部（図示せず）では、まず各一対の輪郭部品ｅ２１，ｅ２２，……の極値点Ｓ１，Ｓ２，……をそれぞれ結ぶ直線が画像の水平方向に対してなす角度を求める。対象画像から求めた極値点Ｓ１，Ｓ２，……と教示画像から求めた極値点Ｔ１，Ｔ２，……との対応関係は既知であるから、対象画像について求めた角度から教示画像について求めた角度を減算すれば、対象画像の教示画像に対する回転角度を推定することができる。

次に、対にした極値点Ｓ１，Ｓ２，……を結ぶ直線の中点Ｐｃ′を始点にして、教示画像について求めたベクトルの大きさに大きさが等しく、かつ当該直線に対する向きが教示画像で求めた直線に対するベクトルの角度（α１６に対応）で表されるベクトルを設定し、このベクトルの先端位置を対象画像の代表点の位置と推定する。

図７（ｂ）のように、対象画像について極値点Ｓ１，Ｓ６の対に着目すると、直線Ｓ１Ｓ６が水平方向に対してなす角度はψ１６であるから、対象画像の回転角度の推定値はψ１６−θ１６になる。また、この直線Ｓ１Ｓ６に対して角度α１６であって大きさがｒ１６であるベクトルの始点を直線Ｓ１Ｓ６の中点Ｐｃ′とすることにより、ベクトルの先端位置が対象画像の代表点Ｐ２の推定位置になる。

上述のようにして、対象画像の１対の輪郭部品ｅ２１，ｅ２２，……について位置と回転角度との推定値を求めることができる。そこで、位置と回転角度とからなる２次元の投票空間に推定値を投票する。投票空間は位置と回転角度との組合せについて多数個のセルに分割されている。しかして、同様の処理を各輪郭部品ｅ２１，ｅ２２，……について行い、すべての輪郭部品ｅ２１，ｅ２２，……に関して投票が終了したときに、投票数がもっとも多いセルの位置・回転角度を教示画像に対する対象画像の位置・回転角度に用いる。

本実施形態の処理手順を図１にまとめて示す。まず、入力画像が与えられると輪郭線抽出部１２において入力画像に含まれる対象画像の輪郭線を抽出する（１０１）。次に、輪郭線の曲率を求め（１０２）、さらに変曲点を求め輪郭線を変曲点で輪郭部品に分断する（１０３）。分断後に各輪郭部品を代表する各極値点の間の距離を求め（１０４）、３個ずつの輪郭部品の極値点がなす角度を求める（１０５）。

その後、教示画像から得られた輪郭部品のうちの一つを開始部品として選択し（１０６）、教示画像から選択した開始部品と対象画像の輪郭部品とを対応付ける（１０７）。また、対象画像の輪郭部品と教示画像の開始部品との曲率差の二乗和として求められる第１の評価値を求める（１０８）。

次に、教示画像において開始部品と異なる輪郭部品を選択し（１０９）、対象画像から得られたすべての輪郭部品について第２の評価値と第３の評価値とをそれぞれ求め（１１０）、第１の評価値と第２の評価値と第３の評価値とを合計した不一致度が最小になるような輪郭部品の組合せを求める（１１１）。

ステップ１０９での教示画像からの輪郭部品の選択を順次行い、ステップ１０９〜１１１の処理を教示画像における開始部品以外のすべての輪郭部品について繰り返す（１１２）。さらにステップ１０７〜１１２の処理を対象画像から求めたすべての輪郭部品を対象として行う（１１３、１１４）。ただし、ステップ１０７〜１１４を繰り返す間に、開始部品は同じものを用いており、対象画像において開始部品に対応付けられる輪郭部品も同じものが用いられる。ステップ１１７〜１１４の処理が終了した後には、開始部品を変更して、教示画像におけるすべての輪郭部品を開始部品として、ステップ１１７〜１１４の処理を行う（１１５，１１６）。つまり、教示画像と対象画像とについて、第１の評価値と第２の評価値と第３の評価値との合計である不一致度をすべての輪郭部品の組合せについて求める。ステップ１１７〜１１６のように、輪郭部品のすべての組合せについて不一致度を求めるから、これは貪欲算法によって不一致度を求める処理になる。

ステップ１１７〜１１６の終了後には、教示画像と対象画像との輪郭部品のさまざまな組合せについて不一致度が得られているから、不一致度が最小になる組合せを抽出すれば、対象画像において教示画像との一致度が高い対象画像を抽出することができる（１１７）。ここに、入力画像には複数個の対象画像が含まれている場合が多いから、各対象画像ごとに上述の処理を行い、また不一致度に適宜の閾値を設定して、不一致度が閾値以下にならない場合には、対象画像に一致する教示画像がないと判断すればよい。

教示画像と対象画像との輪郭部品の対応付けが終了した後には、対象画像に含まれる対象画像の位置・回転角度を求める（１１８）。

以上説明した処理を行うことにより、教示画像と対象画像とについて、すべての輝度情報を用いるのではなく輪郭線の形状を用いたことにより、対象画像のテクスチャのような形状の判定に不要な情報を除去することができるから、すべての輝度情報を用いる場合よりも処理負荷が軽減されるとともに、対象画像の表面状態の影響を受けないから、検知対称の位置や回転角度をロバストに検出することができる。たとえば、図８（ａ）に示す入寮画像のように文字が重なっているような場合であっても、図８（ｂ）のような教示画像に対応する対象画像を容易に抽出することができる。

ところで、上述した動作例では、教示画像と対象画像とから得られる輪郭部品のすべての組合せについて不一致度を求めることによって教示画像と対象画像との照合を行っているから、ステップＳ６〜Ｓ１５の繰り返し回数は有限回ではあるが、照合する形状が複雑であるほど繰り返し回数が多くなって処理負荷が増加する。

一方、対象画像の輪郭線には、対象画像の中心から見たときに曲率が正になる凸形状の輪郭部品（図３を例にすれば、ｅ１１，ｅ１３，ｅ１５，ｅ１７に相当する）と、対象画像の中心から見たときに曲率が負になる凹形状の輪郭部品（図３を例にすれば、ｅ１２，ｅ１４，ｅ１６，ｅ１８に相当する）とが含まれることが多い。そこで、上述した開始部品については、凹形状の輪郭部品のみを用いることにより処理負荷を軽減するようにしてもよい。

ここに、凸形状の輪郭部品ではなく凹形状の輪郭部品に着目するのは、対象画像の輪郭線において凹形状の輪郭部品は単独で存在することができず、凹形状の輪郭部品の両側には必ず凸形状の輪郭部品が存在するからであって、上述したステップＳ６〜Ｓ１５の処理について開始部品を凹形状の輪郭部品のみとしても、両側の凸形状の輪郭部品を考慮して開始部品を設定していることになり、結果的にすべての輪郭部品の組合せについて不一致度を求めたことになる。つまり、開始部品の候補数を約１／２にすることになるから、ステップＳ６〜Ｓ１５の処理負荷（処理時間）を略半分にすることになる。

上述したように、入力画像には複数個の対象画像が含まれることがあり、その場合、不一致度が最小になったとしても、入力画像における対象画像と教示画像とが一致していることが保証されない。上述した処理では、不一致度に対する閾値を与え、閾値より小さい場合に教示画像と一致する対象画像であると判断しているが、教示画像に似た形状の対象画像が入力画像に含まれている場合や、入力画像の品質が悪く入力画像内の対象画像に遮蔽や欠けが生じているような場合には、教示画像との照合結果において誤判断を生じることがある。

そこで、図１に示したステップ１１７に代えて図９に示す処理を行ってもよい。この処理は入力画像に含まれる対象画像の個数が既知である場合に採用される。すなわち、各開始部品ごとに輪郭部品のすべての組合せについて不一致度を求めた後（１２１）、不一致度を昇順（最小から大きくなる順）に並べる（１２２）。不一致度が小さいほうから順に（１２４、１２９、１３０）、対象画像に含まれる輪郭部品の個数を抽出し（１２５）、
不一致度を昇順に（不一致度の小さいほうから順に）並べた対象画像について着目する対象画像に含まれる輪郭部品の個数に対して、昇順で上位である対象画像と重複する輪郭部品の個数の割合を重複率として求める（１２６）。つまり、重複率は、着目する対象画像における輪郭部品の個数に対して並び順で上位である（不一致度のより小さい）対象画像と重複する輪郭部品の個数の割合として定義される。この重複率が与えられた閾値以下になるとき（１２７）、入力画像から求めた対象画像を採用する（１２８）。

ここで、対象画像の個数は既知であるから、作業者が設定した個数分の対象画像が教示画像に一致するか（１２９）、対象画像から抽出したすべての候補（つまり、ラベルを付与した個数）分の対象画像について処理が終了すれば（１３０）、各対象画像についてそれぞれ位置・回転角度を求める（１３１）。

図９に示した処理によって、入力画像から複数の対象画像を検出することが可能となり、教示画像と形状の類似する対象画像が入力画像に含まれる場合や、入力画像内に同形状の複数個の対象画像が含まれる場合でも抽出することが可能になる。さらに、対象画像に遮蔽や欠けが発生している場合でも教示画像との照合が可能になる。

上述の処理例では、対象画像の位置・回転角度を求めるために投票空間への投票を行っているが、投票空間におけるセルのサイズによって位置・回転角度の検出精度が変化する。つまり、セルのサイズを大きくすると位置・回転角度の検出精度が低くなり、逆にセルのサイズを小さくすると位置・回転角度の検出精度が高くなるものの各セルの投票数の差が小さくなり、投票数が同数になるセルが複数生じる可能性があり、位置・回転角度を決定するのが難しくなることががある。

この種の問題を回避するために、位置・回転角度の検出が容易になるようにセルのサイズを調整しておき、入力画像において教示画像と同形状の対象画像の位置・回転角度を検出した後に、対象画像を教示画像に対して１次式または２次式で表される変形を加えたものとみなし、さらに高い精度で位置・回転角度を求めるのが望ましい。

すなわち、入力画像から求めた対象画像の概略の位置・回転角度、概略の拡大縮小率をパラメータとして用い、教示画像の輪郭線に座標変換を施して検査画像に重ね合わせる。ここで、教示画像の輪郭線の上の各画素（以下、「輪郭点」という）から教示画像の輪郭線の法線方向に検査画像を探索し、各輪郭点を出発点として探索したときにそれぞれ最初に見つかった検査画像の輪郭線の上の輪郭点を、教示画像の各輪郭点の対応点とする。教示画像のすべての輪郭点に対して対応点を求め、（１）式として示す誤差関数（累積二乗誤差）Ｑを求める。この誤差関数Ｑは、（２）（３）式で示すように、教示画像と検査画像とのそれぞれの輪郭線の１次関係（教示画像に（２）（３）式のような１次式で表される変形を加えた画像が検査画像であるとみなす関係）を表している。次に、誤差関数Ｑを誤差関数Ｑに含まれる各変換パラメータＡ〜Ｆ（後述する）で偏微分してｄＱ＝０とおき、各変換パラメータＡ〜Ｆを未知数とする連立方程式を解いて各変換パラメータＡ〜Ｆを求めると、位置、回転角度、拡大縮小率を含む変換パラメータが得られる。
Ｑ＝Σ（Ｑｘ^２＋Ｑｙ^２） … （１）
ただし、
Ｑｘ＝αｎ（Ｘｎ−（Ａｘｎ＋Ｂｙｎ＋Ｃ）） … （２）
Ｑｙ＝αｎ（Ｙｎ−（Ｄｘｎ＋Ｅｙｎ＋Ｆ）） … （３）
ｘｎ，ｙｎ：教示画像Ｐ１の輪郭点
Ｘｎ，Ｙｎ：検査画像Ｐ２の輪郭点
Ａ＝β・ｃｏｓθ
Ｂ＝−γ・ｓｉｎφ
Ｃ＝ｄｘ
Ｄ＝β・ｓｉｎθ
Ｅ＝γ・ｃｏｓφ
Ｆ＝ｄｙ
である。また、αｎ：重み、β：ｘ方向の拡大縮小率、γ：ｙ方向の拡大縮小率、θ：ｘ軸回りの回転角度、φ：ｙ軸回りの回転角度、ｄｘ：ｘ方向の変位（位置）、ｄｙ：ｙ方向の変位（位置）を意味する。

（１）式では教示画像Ｐ１の全輪郭点について（Ｑｘ^２＋Ｑｙ^２）の総和を求めている。変換パラメータＡ〜Ｆは、∂Ｑ／∂Ａ＝０、∂Ｑ／∂Ｂ＝０、……、∂Ｑ／∂Ｅ＝０、∂Ｑ／∂Ｆ＝０を満たす値として求める。また、重みαｎについては種々設定可能であり、教示画像と対象画像との法線の内積、教示画像と対象画像との輪郭点間の距離の最大値に対する各距離の割合、教示画像と対象画像との輪郭点間の距離の逆数などを用いることができる。重みαｎを１として重み付けを行わないようにすることも可能である。さらに、重みαｎは各画素ごとに設定可能である。このようにして得られたβ、γ、θ、φ、ｄｘ、ｄｙの値が設定した検出精度の半分以下になれば、処理を終了し位置・回転角度・拡大縮小率を出力する。また、β、γ、θ、φ、ｄｘ、ｄｙの値が設定した検出精度の半分を越えているときには、得られた変換パラメータＡ〜Ｆに基づいて教示画像の輪郭点を座標変換した後に再度同様の処理を行い、演算終了の判定条件として同様の処理を繰り返す。

上述した方法は、対象画像を教示画像に対して１次式で表される変形を加えたものとみなした場合であるが、２次式で表される変形（たとえば、光学系の歪みなどを含む変形）を加えたものとみなす場合には、誤差関数Ｑとして（４）式で示す値を用いる。この誤差関数Ｑは、教示画像と対象画像との２次関係（教示画像に（５）（６）式のような２次式で表される変形を加えた画像が検査画像であるとみなす関係）を表す。
Ｑ＝Σ（Ｑｘ^２＋Ｑｙ^２） … （４）
ただし、
Ｑｘ＝αｎ（Ｘｎ−（Ｇｘｎ^２＋Ｈｘｎ・ｙｎ＋Ｉｙｎ^２＋Ａｘｎ＋Ｂｙｎ＋Ｃ）） … （５）
Ｑｙ＝αｎ（Ｙｎ−（Ｊｘｎ^２＋Ｋｘｎ・ｙｎ＋Ｌｙｎ^２＋Ｅｘｎ＋Ｆｙｎ＋Ｇ）） … （６）
ｘｎ，ｙｎ：教示画像Ｐ１の輪郭点
Ｘｎ，Ｙｎ：検査画像Ｐ２の輪郭点
Ａ〜Ｆは（１）式と同じである。また、αｎ：重み、Ｇ：ｘｎ^２のｘ方向の変形量への寄与度、Ｈ：ｘｎ・ｙｎのｘ方向の変形量への寄与度、Ｉ：ｙｎ^２のｘ方向の変形量への寄与度、Ｊ：ｘｎ^２のｙ方向の変形量への寄与度、Ｋ：ｘｎ・ｙｎのｙ方向の変形量への寄与度、Ｌ：ｙｎ^２のｙ方向の変形量への寄与度である。

（４）式では教示画像Ｐ１の全輪郭点について（Ｑｘ^２＋Ｑｙ^２）の総和を求めている。変換パラメータＡ〜Ｌは、∂Ｑ／∂Ａ＝０、∂Ｑ／∂Ｂ＝０、……、∂Ｑ／∂Ｋ＝０、∂Ｑ／∂Ｌ＝０を満たす値として求める。また、重みαｎについては１次変形の場合と同様のものを用いる。上述の手順で変換パラメータＡ〜Ｌを求めることにより、２次関係の場合の位置・回転角度・拡大縮小率を求めることができる。

上述のように１次関係あるいは２次関係に当て嵌めることにより、投票空間に投票を行うよりも高い精度で位置・回転角度を求めることが可能である。たとえば、位置を±１／２０画素、回転角度を±１／２０度の精度で求めることも可能である。

本発明の実施形態を示す動作説明図である。同上のブロック図である。同上の動作説明図である。同上の動作説明図である。同上に用いる輪郭部品の概念を示す図である。同上に用いる輪郭部品の概念を示す図である。同上において位置・回転角度を求める方法を示す図である。同上の処理例を示す図である。同上の他の処理例を示す動作説明図である。

符号の説明

１１画像入力手段
１２輪郭線抽出部
１３分割処理部
１４教示画像記憶部
１５評価処理部
Ｅ１輪郭線（教示画像）
Ｅ２輪郭線（対象画像）
ｅ１１，ｅ１２，…… 輪郭部品
ｅ２１，ｅ２２，…… 輪郭部品

Claims

検知対象の基準パターンを示す教示画像を用いて既知の検知対象の画像である対象画像の入力画像内における位置・回転角度を検出するデジタル画像の画像処理装置であって、画像入力手段から入力された濃淡画像である入力画像の画素値を用いて１個の対象画像の輪郭線を抽出する輪郭線抽出部と、輪郭線抽出部で生成された輪郭線について曲率の符号が変化する変曲点を抽出するとともに輪郭線を変曲点ごとに分断した輪郭部品を生成する分割処理部と、位置・回転角度が既知である対象画像から輪郭線抽出部で抽出した輪郭線を分割処理部で輪郭部品に分割した教示画像を記憶する教示画像記憶部と、入力画像から生成された輪郭部品と教示画像である輪郭部品とが異なっている程度である不一致度を評価し、不一致度が最小になるように入力画像から得られた輪郭部品と教示画像記憶部に記憶されている教示画像とを対応付ける評価処理部と、教示画像と対象画像とにおいて対応付けた輪郭部品間の位置関係により、入力画像内における対象画像の位置・回転角度を求める位置・角度データ抽出部とを備え、評価処理部は、対象画像の各輪郭部品上の各画素における曲率と教示画像の各輪郭部品の各画素における曲率との差の二乗の和を輪郭部品上で求めた値を第１の評価値とし、対象画像における各２個の輪郭部品の代表点間の距離と教示画像における各２個の輪郭部品の代表点間の距離との距離差を第２の評価値とし、対象画像における各３個の輪郭部品の代表点を２個ずつ結ぶ直線のなす角度と教示画像における各３個の輪郭部品の代表点を２個ずつ結ぶ直線のなす角度との角度差を第３の評価値とし、第１の評価値と第２の評価値と第３の評価値との合計を不一致度として求め、教示画像の複数個の輪郭部品を順次基準に用いて対象画像の各輪郭部品についてそれぞれ総当たりで求めた不一致度のうち不一致度が規定した閾値以下かつ最小になる組合せを教示画像に対応した対象画像と判定することを特徴とする画像処理装置。
前記評価処理部は、前記不一致度を求める際に用いる輪郭部品として、前記輪郭線が凹形状になる輪郭部品のみとすることを特徴とする請求項１記載の画像処理装置。
前記評価処理部は、前記入力画像内に複数の前記対象画像が存在するときに、前記教示画像と各対象画像とのすべての組合せについて不一致度を求めた後に、求めた不一致度を昇順に並べ、着目する対象画像における輪郭部品の個数に対して並び順で上位である対象画像と重複する輪郭部品の個数の割合を重複率として求め、重複率が規定した閾値以下になる対象画像を採用し、前記位置・角度データ抽出部は、採用した対象画像の個数があらかじめ設定されている個数に達した時点で採用されている対象画像について位置・回転角度を求めることを特徴とする請求項１または請求項２記載の画像処理装置。
前記位置・角度データ抽出部は、前記教示画像と前記対象画像とについて互いに対応付けた前記輪郭部品の位置関係に基づいて輪郭部品の位置・回転角度を推定し、位置・回転角度の組の区画からなる投票空間に輪郭部品から求めた位置・回転角度の組を投票し、投票値が最大になる位置・回転角度を対象画像の位置・回転角度として採用することを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
前記位置・角度データ抽出部は、前記教示画像と前記対象画像とについて互いに対応付けた前記輪郭部品の位置関係に基づいて輪郭部品の位置・回転角度を推定し、位置・回転角度の組の区画からなる投票空間に輪郭部品から求めた位置・回転角度の組を投票し、投票値が最大になる位置・回転角度を対象画像の位置・回転角度を検出した後、検出した位置・回転角度をパラメータに含む１次関係または２次関係で表した誤差関数に教示画像と対象画像との輪郭線上の各画素を当て嵌めるとともに、誤差関数が最小となるように求めたパラメータのうちの位置・回転角度を対象画像の位置・回転角度として採用することを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理装置。