JP2964594B2 - マーク検査方法 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はマーク検査方法に関し、基準画像情報に基づ
いて対象画像の差異、変化を検知して認識、制御を行な
う分野に用いて好適なものである。

［従来の技術］ 画像処理を用いて、物品の表面に記されたマークが所
期通りに表示されているかを機械的に検査する場合、画
像同士のパターンマッチングを用いたり、あらかじめ認
識対象物の図形特徴（例えば円形など）を登録してお
き、それとの差異を利用したりする。それらを行なうと
きには入力された画像を２値化する必要があるが、従来
は画像全体に対して単一閾値を設定して２値化を行なっ
ていた。

また、この種のパターンマッチングにおける基本的な
問題の一つとして、基準画像に対する対象画像の位置ズ
レ、回転ズレを補正する精度の問題がある。

従来方法では、入力画像全体の重心及び一次モーメン
トを計算して、基準画像に対する位置、回転量の検出を
行なって、ズレ補正を行なっていた。

［発明が解決しようとする課題］ 上述のような２値化の方法では、照明系にシェーディ
ングがあるときなどに単一の閾値で２値化してしまう
と、本来背景部であるとこがパターン部になったり、そ
の反対の事が起こりやすい。また、上述のようなパター
ンマッチング法では、位置合わせ、回転の精度、入力信
号に雑音が混入したときはその影響を受けやすい。

本発明の目的は、上記従来技術の問題点を解消し、照
明系にシェーディング等があるときにも適切に２値化
し、基準画像に対する対象画像の位置ズレ、回転量を高
精度で検出し、マークの検査を高精度で行なうことを目
的とする。

［課題を解決するための手段］ 本発明のマーク検査方法では、注目画素とその周辺の
画素の最大値及び最小値を抽出し、微小領域毎に、実際
の背景濃度とパターン部の濃度レベルから２値化のため
の閾値を設定するものであり、このように２値化された
画像のに互いに連結していない複数個の独立したパター
ンを含む基準の画像及び対象の画像のそれぞれに関し、
互いに異なる特徴量で定義できる２つの独立パターンの
重心位置に基づいて相対座標をそれぞれの画像平面で定
義し、この相対座標系に於て上記基準及び対象の画像間
の独立パターン同士の照合を行なう。

望ましい実施例では、独立パターンの存在位置をあら
かじめ登録しておく。

これにより、文字認識のための文字の切り出しを高速
に実行することができる。

［作用］ ２値化の基準になる閾値が、背景部の実際の濃度に応
じて設定された背景部の濃度レベルと、パターン部の実
際の濃度に応じて設定されたパターン部の濃度レベルと
の中間の濃度レベルを微小領域毎に有するから、２値化
すべき対象に照明のシェーディングなどがあっても適切
に２値化することができる。

その後に、特徴的な２つの独立パターンを用いて相対
座標を定義することにより、基準の画像に対して対象の
画像が有している位置ズレ及び回転の各量を取り除いて
画像間のパターン照合を行なう。

２つの独立パターンは、面積、周囲長などの固有特徴
量を持ち、これらは画像の位置ズレや回転量によって変
化しないので、雑音などに影響されないで高精度に相対
座標を決定することができる。

また、文字認識のための文字の切り出しを高速に実行
できる。

［実施例］ （全体説明） 第１図に本発明のマーク検査方法の手順をフローチャ
ートで示す。本発明のマーク検査方法は、基本的には、
標準となるマークを一度覚えこませ、その後検査対象マ
ークと比較して欠点が無いかどうか検査するという方法
である。

マーク検査方法の手順は大きく分けて、「マスター画
像の登録」と「対象画像の検査」から構成されている。

まず、TVカメラなどで標準となるマークの画像を入力
する。次にこの画像を２値化し、画像内にある複数個の
独立パターン（粒子）の特徴量を計算し、それぞれの特
徴量と位置を登録しておく。ここで計算する特徴量は位
置ズレ、回転などに影響されないものを用いる。また、
位置についても後ほど説明する相対座標による位置を登
録しておく。

マスター画像の登録が終わたっら、対象画像の検査を
行なう。TVカメラなどで検査したいマークの画像を入力
し、２値化を行ない、粒子の特徴量を計算し、マスター
画像の登録時にあらかじめ登録してあった特徴量と各粒
子毎に比較する。

比較の結果、マスター画像の特徴量と異なる場合はマ
ークに欠点があったものとする。マスター画像の登録時
の特徴量の比較では区別のつきにくい文字については文
字認識処理を実行する。その後は、同様に対象画像の検
査を続ける。

以下に、各ステップ毎にさらに詳しい説明を行なう。

（２値化） はじめに２値化の方法について説明する。

第２図は本発明方法による２値画像を得るまでの画像
生成の流れ図である。

図の中で（Ｂ）が付加されているのは２値画像であ
り、そのほかは多値画像であることを示している。ここ
では、背景部に対してパターン部の方が濃度レベルが高
い場合について説明するが、その反対の場合でも原画像
を濃度反転するなどして本方法を容易に適用することが
できる。

第２図にしたがって、それぞれの画像の生成方法につ
いて説明する。

最初に、背景画像の作成方法について説明する。TVカ
メラなどで入力された原画像に対して、例えば一辺が線
幅程度の正方形の大きさの最小値抽出を行うことによ
り、背景画像を得ることができる。ここで、最小値抽出
について説明しておく。TVカメラから入力された信号が
デジタル化されているとし、それぞれの信号を画素と呼
ぶとき、微小面積である３×３画素の領域の最小値抽出
を第３図に示す。微小領域内の最小値を、その中央の画
素の信号に変換する操作を画像内の全画素にわたって行
なうことを最小値抽出という。これは、21の対象領域が
５×５、７×７・・・などになっても同様に操作でき
る。

この最小値抽出を利用して、原画像から背景画像を得
るには、画像内のマークの線幅程度を一辺とする正方形
の大きさの領域の最小値抽出を全画素に施せばよい。第
４図は文字“L"に対して最小値抽出を施す例である。そ
のときに最小値抽出の対象領域を31のように線幅より少
し大きく選ぶと、その領域内には背景部も含まれるの
で、もとの原画像ではマーク部であった部分でも背景の
濃度レベルになってしまう。このようにして、原画像か
ら背景画像を獲得することが可能である。

次に、局所的最大値画像の作成について説明する。

原画像に対して第５図に示すような最大値抽出を施す
ることにより作成する。第５図に３×３画素の最大値抽
出の例を示しているが、対象領域は最小値抽出と同様に
５×５、７×７・・・などのように選んでもよい。この
最大値抽出の対象領域を画像内のマークの線幅程度を一
変とする正方形の大きさ程度か、それより小さい程度に
選んで、原画像に最大値抽出を施すことにより、局所最
大値画像を得る。

原画像を２値化する適切なレベルは、それぞれの画素
について、これまでに説明した背景画像と局所最大値画
像の間に存在するはずである。そこで、背景画像と局所
最大値画像の間のレベル、例えば中央値のレベルに選
び、画像内の全画素について背景画素と局所最大値画像
の濃度レベルが中央値になるような画像を作成し、これ
をしきい値画像とする。この画像を２値化のためのしき
い値の決定に用いる。このしきい値画像は場所によって
濃度レベルが異なっており、場所に応じた２値化レベル
を決定することを可能にしている。

この後、しきい値画像と原画像の各画素を比較し、原
画像の方が濃度レベルが高い画素を１、そうでない画素
を０に２値化することにより、局所２値画像（Ｂ）を作
成する。この２値化された画像がほぼマーク部と背景部
に分離された画像になっているが、これだけでは背景部
だけの領域についてもパターン部にみなされてしまう画
素が存在する。そこで、文字領域部とパターン部に粗分
離する必要がある。

文字の含まれる領域は、濃度コントラストが高いこと
を利用して文字領域とパターン部に粗分離を行なう。こ
れまでに説明してきた背景画像と局所最大値画像を用い
て、両画像間の濃度レベルの差が高い画素を文字領域と
判定し、文字領域画像（Ｂ）を作成する。例えば、原画
像の各画像が８ビット＝256段階の濃度レベルを持って
いるとすると、背景画像と局所最大値画像の濃度差が40
以上位の画素を文字領域と判定してもよい。このしきい
値は、背景部の雑音レベルによる濃度差より少し高く設
定するのが望ましい。但し、このしきい値は画質や照明
によって異なるので厳密にはそのつど決める必要があ
る。

最後に、文字領域画像（Ｂ）と局所２値画像（Ｂ）の
論理積を各画素について演算することにより、最終的な
２値画像（Ｂ）を得ることができる。最終的に得られた
２値画像（Ｂ）は、場所によって異なったしきい値レベ
ルで２値化されており、適切な２値画像が得られる。

以上の説明では、背景画像を作成するために最小値抽
出を利用したが、別の方法であらかじめパターン部の無
い背景だけの対象物をTVカメラなどで入力しておいて背
景画像として利用することも可能である。そうすること
により、処理の高速化を図ることができる。

以上、画像生成の流れを中心に説明したが、次にもう
少し具体的な画像の一次元濃度を示しながら本発明と説
明を行なう。第２図の局所２値画像（Ｂ）を得る方法に
ついて説明する。第６図（ａ）は、２つの楕円形状のも
のが示されている例である。その内の51ライン上の濃度
分布を例に本発明の説明を行なう。第６図（ｂ）は51ラ
イン上の濃度に対して最大値抽出と最小値抽出を施した
あとの濃度レベルを示している。第６図（ｂ）のなか
で、54は51ライン上の濃度レベルを示し、55は最大値抽
出を行なったあとの濃度レベルを示している。56は最小
値抽出を行なったあとの濃度レベルを示している。この
例では、右の方ほど背景濃度レベルが高くなっているこ
とが分かる。最小値抽出を行なうと、もとの濃度レベル
から局所的な背景濃度が得られることが分かる。最大値
抽出を行なうと、その近傍の最大値を得ることができ
る。54のような濃度レベルに対して従来方法の単一しき
い値を例えば、59ラインのように設定しても適切に２値
化できないことは容易に理解できる。また、適切な２値
化レベルはもとの濃度レベル（54）から最大値抽出によ
って得られた55と最小値抽出によって得られた56の中間
値にあることも分かる。そこで第６図（ｃ）の57ライン
は、55と56の濃度レベルの真ん中に位置するように設定
した濃度レベルである。57をしきい値として54を２値化
すると58の２値化後の濃度レベルを得ることができる。
この２値化は第６図（ａ）から予想できる２値化とよく
一致していることが分かる。

（パターンの照合） 次に、特徴量と位置の登録、照合について説明する。
第７図はテレビカメラなどで入力された画像の一例であ
る。テレビカメラの視野、すなわち長方形71の内部に、
多数の楕円形とか、台形とか種々形状をした粒子が存在
している。ここで、粒子というのは画像信号をデジタル
化（１つ１つを画素と呼ぶ）して、それを２値化したと
きに連結している画素の集合のことである。

第８図に、第７図と粒子同士の位置関係は同じ画像で
はあるが、全体がテレビカメラの視野の中で、位置ズ
レ、回転を起こしている画像を示す。これから、第７図
と第８図のそれぞれ対応している粒子同士の照合方法に
ついて説明する。

画像信号が入力されたあとで、各粒子の位置を第７図
に示すような左上を原点とするXY座標系で容易に知るこ
とができ、各粒子についは第９図に示すような特徴量も
容易に求めることができる。そこで、以下の手段（１）
〜（５）で粒子の照合を行なう。

（１）基準画像となる第７図の中で、互いに異なる特徴
量で定義できる特徴的な粒子（第７図の72と73）を２つ
選び、第９図に示すような特徴量の全特徴、あるいは一
部の特徴量を登録しておく。

（２）第７図における全粒子の位置を第７図に示すよう
に、粒子72を原点として粒子72と73を結ぶ直線をＸ′軸
とし、Ｘ′軸に垂直な直線をＹ′軸とするＸ′Ｙ′座標
系に変換しておく。ここで粒子の位置としては、例えば
重心位置を用いる。この時の、各粒子の相対座標（Ｘ′
Ｙ′座標系）を登録しておく。

（３）第８図が画像として入力されたときに、その中か
ら（１）で登録した特徴量と照合し、第７図の72、73に
対応する粒子（82、83）の検出を行なう。

（４）第８図に対して（２）で行なったのと同様の座標
変換を行なう。

（５）（４）で得られた座標位置と、（２）で登録して
いる座標位置の照合を行ない、対応する粒子同士の検出
を行なう。

以上の（１）から（５）の手順で対応する粒子の照合
を行なうことができ、第10図に処理のフロー図を示す。
また、２枚以上の画像が入力されるときには、上記手順
の（３）以後を実行すればよい。

次に、各粒子の照合を行なうときの照合位置の許容値
の設定方法について説明する。基準となる２つの粒子を
検出したあとで、第７図のような相対座標系で表現する
と、各粒子の位置は同じになるはずであるが、実際には
画像を取り込む撮像系の歪みなどの影響により一致しな
い。そこで、あらかじめ、粒子同士の照合の許容値を設
定しておき、効率よく照合を行なう。

第11図に許容値（ｒ）の設定の仕方の説明図を示す。
111は、許容値を設定しようとする粒子である。視野内
の他の粒子との距離をd1、d2、・・・・・とするとき、
その距離の中の最小値の半分の距離を許容誤差として設
定しておくと、半径ｒの円112の内部には、他の粒子の
（重心）位置が存在することはない。この操作をあらか
じめ全粒子に施しておき、他の画像を入力されて、粒子
同士の照合を行なうときに、相対座標で比較したときの
距離が許容距離以内なら対応する粒子と判断してもよ
い。

（文字切り出し・認識） 次に文字の切り出しと文字認識の方法について説明す
る。

第７図はテレビカメラなどで入力された画像である。
それに対してパターンの照合方法で説明した方法で基準
となる２点72、73を検出し、その２点から決定される相
対座標Ｘ′Ｙ′系を設定する。そして、文字認識を行な
いたい文字（74）を囲む長方形の４点（75、76、77、7
8）の座標を登録しておく。第８図は上記入力画像を基
準にして文字認識を行なう別の入力画像の例を示す。第
８図は第７図と同じ図形が回転、位置ズレを起こしてい
る。ここで第７図と同様の方法で基準となる２点（82,8
3）を検出し、その２点から決まる相対座標Ｘ′Ｙ′系
で第７図の認識したい文字を囲む４点（75、76、77、7
8）に対応する４点（85、86、87、88）を計算し、認識
対象文字84を囲む位置を知ることができる。

このように一文字を囲む領域が分かれば、例えば第12
図に示すように一文字を長方形領域に区切って、それぞ
れの領域に含まれる黒画素の数（あるいは割合）を抽出
し、あらかじめ作っておいた辞書と照合することにより
文字認識を行なうことができる。

［発明の効果］ 本発明によるマーク検査方法では２値化の時に対象と
なるマークの濃度ムラや照明のシェーディングに影響さ
れる事なく、適切に２値化することができ、画像中の２
つのパターンから定義される相対座標系でパターン照合
を行なうので高精度に画像内の対象となるマークの欠点
を検出できる。

画像内から２つのパターンを探し出すときには、回転
や位置ズレの影響を受けない特徴量を用いることによ
り、相対座標を定義するための２つのパターンを正確に
検出できる。

また、認識対象文字の座標位置を算出して文字認識を
行なうことにより、文字切り出しを不要にし、認識精度
を高めることができる。

【図面の簡単な説明】

第１図は本発明の全体のフローチャートを示す図、第２
図は原画像から２値画像を得るまでの各種画像を生成す
る図、第３図は３×３の最小値抽出の説明図、第４図は
背景画像の作成を説明する図、第５図は最大値抽出の説
明図、第６図は具体的な２値化の説明図、第７図、第８
図は入力画像と相対座標の説明図、第９図は特徴量の説
明図、第10図は粒子照合の処理フロー、第11図は粒子照
合の時の許容値の設定方法の説明図、第12図は文字認識
のための特徴抽出の説明図である。 21,31……最小値・最大値抽出対象領域 51……濃度分布測定ライン 52,53……検査対象図形 54……当初濃度レベル 55……最大値抽出処理後の濃度レベル 56……最小値抽出処理後の濃度レベル 57……55と56の中間値に設定したしきい値 58……57に基づく２値化後濃度レベル 59……単一しきい値 71,81……入力画像 72,73,82,83……特徴的粒子 74,84……認識対象文字 111……許容値設定対象粒子

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06K 9/38 G06T 1/00

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力された画像信号をデジタル信号に変換
   し、注目画素とその周辺画素の画像信号濃度の最大値及
   び最小値を検出し、検出した最大値及び最小値の中間値
   に選んだ閾値により注目画素の２値化を行い、基準とな
   る画像に於て互いに連結していない複数個の独立したパ
   ターンの特徴量を抽出し、互いに異なる特徴量で定義で
   きる２つの独立パターンの重心位置に基づいて相対座標
   系を定義し、この相対座標系に於て前記複数個の独立パ
   ターンの重心位置と特徴量を登録し、対象となる画像と
   の間で独立パターン同士の照合を行ない、対応するパタ
   ーン同士の特徴量を比較してマークの欠点を識別するこ
   とを特徴とするマーク検査方法。
2. 【請求項２】基準となる画像内の基準となる２点から相
   対座標系を定義し、その座標系で認識対象文字位置をあ
   らかじめ記憶し、認識対象文字を含んだ画像から基準と
   なる画像から求めたのと同様の２点検出を行ない、相対
   座標系を定義して認識対象文字の座標位置を算出して文
   字認識を行なうようにした請求項１記載のマーク検査方
   法。