JPH0431975A - 画像監視方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、例えば製造組立工程等において平面基板上
にＩＣ素子等か正しく実装されたか、孔か正しく開けら
れているか等の監視を行うための画像監視方法に関する
。

［従来の技術］ 長さやパターン等の良否判別、すなわち例えば被検査物
（監視対象物）の長さが規定通りか、被検査物の形状か
規定通りか等の判別は、被検査物をテレビカメラ等で撮
像して、その長さや形状等か現れている特徴領域部分を
ウィンドウで指定して検査領域を狭く指定し、その部分
内の上記長さや形状が現れている画素の数を数える等に
より物理量として精度高く測定し、その画素数が許容値
以内であるか否か等により、良否判別が行われている。

ところで製造組立工程等での加工後の外観検査等、例え
ば孔明は工程等での加工後、孔が正しく開けられている
かの監視は孔の開けられている位置の精度は重要ではな
く、ただ孔が所定位置近傍に開けられていればよいこと
も多い。

［解決しようとする課８］ 従って、上記ような外観検査では、物理量として精度高
く測定する必要はなく、また被検査物の外観等を全体と
して検査したいため、前述のように狭い範囲を指定して
その中だけを検査しても、被検査物全体の監視を行うこ
とができない。一方、被検査物全体を一つの検査領域と
して検査すると、例えばある部分にはごみが付着してお
り、またある部分にはきすかあり、またノイズの影響が
大きくなる等により、これらが検査の段階で異符号とし
て現れて、従ってそれらが相殺され、結局正常物として
誤判定される場合も生じる。

そこで本発明の目的は、外観検査等のあいまいな抽象的
判断基準による監視を行うことが可能な画像監視方法を
提供することにある。

［課題を解決するための手段］ 上記目的を達成するために、本発明の画像監視方法は、
撮像手段により撮像した、複数個の画素により構成され
る監視画面を複数のブロックに分割し、予め決められた
しきい値以上の出力を発生している有意画素数を検出し
、上記各ブロックにおいて、有意画素の数が所定数より
少ないもの同士が互いに隣り合う場合には、それらのブ
ロック同士を併合し、この併合により新しく区画された
ブロックに従って画像の良否判定を行なう。

また、撮像手段により撮像した、複数個の画素により構
成される監視画面を複数のブロックに分割し、予め決め
られたしきい値以上の出力を発生している有意画素数を
検出し、上記各ブロックのうち、角゛意画素の数が予め
設定した数より多いブロックを監視対象として、画像の
良否判定を行なつ。

［実施例］ まず本発明の原理について説明する。

撮像手段により撮像した、複数個の画素により構成され
る監視画面には、孔等の特徴領域が存在する部分や、そ
のような特徴領域が存在せず、ただ平面状態である部分
等が存在し、これらの種々の部分を含む監視画面の全て
を等しい厳しさで監視することは、監視の効率を悪くし
、また監視の目的から逸脱する。そこで監視画面を適当
な大きさの複数のブロックに分割した後、各ブロックに
おいて所定のしきい値以上の出力を発生している有意画
素数を検出し、有意画素数が所定数より少ないブロック
か互いに隣り合っている場合はそれらのブロック同士を
併合し、この併合により新しく区画されたブロックに従
って画像の良否判定を行なう。これにより特徴領域か存
在しない又は少ないブロック同士は併合されて、大きな
ブロックを形成し、この大きなブロックを１監視卓位と
して監視が行われ、監視の目的に沿い、また監視の効率
を上げることかできる。

また、第２の発明として、監視画面を適当な大きさの複
数のブロックに分割した後、各ブロックにおいて所定の
しきい値以上の出力を発生しているｈ′意両画素数検出
し、合意画素数か所定数より多いブロックのみを監視対
象として、これらのブロックについて画像の良否判定を
行う。これにより特徴領域が存在しない又は少ないブロ
ックの監視は行われないが、この場合にも監視の目的を
達することができる。

以下、本発明の実施例を図面に基づいて詳細に説明する
。

ます、画像監視装置の全体構成について説明する。第３
図において、監視対象物１は例えば製造ラインの孔開は
加工工程（図示省略）中等にあり、照明２の下で、撮像
手段３により、孔明は加工か施される面１ａの撮像が行
われる。撮像は孔開は加工前の事前画像と、孔開は加工
後の事後画像の双方が行われる。孔開は加工機械におけ
る加工準備終了や加工終了の入力制御信号は入力用回線
５により装置本体７に入力される。装置本体７の監視条
件等は、キーバッド８て入力される。入力制御信号が人
力用回線５より入力されると装置本体７は事前撮像や事
後撮像、良否判定を実行し、結果を出力用回線６より出
力制御信号として出力する。なお装置本体７には、撮像
手段３で撮像した映像、さらにそれを２値又は多値符号
化した画像信号等を表示可能なＣＲＴ　７　ａか設けで
ある。

次に、画像監視装置の全体のブロック構成を第４図を用
いて説明する。

ＲＯＭ２１には有意画素の検出、有意画素数が所定数よ
り少ないブロック同士の併合（第１の発明の場合）、有
意画素数が所定数より多いブロックの検出（第２の発明
の場合）、良否判定等、ＣＰＵ２２を動作させるための
プログラムが記憶されている。

ＲＡＭ２３には正常な事前画像と事後画像との差画像を
２値処理又は多値処理等した基準画像信号、監視画面か
ら分割されるブロックの大きさ。

しきい値、良否判定を行なう際の許容値等のデータが記
憶されている。ブロックの大きさ、しきい値、良否判定
を行なう際の許容値等の条件は、オペレータかＣＲＴ７
ａ等を見ながら、キーバッド８等より人力し、ｉ　／　
ｏポート２９を介してＲＡＭ２３に記憶される。

ＣＰＵ２２はＲＯＭ２１の指令およびＲＡＭ　２３のデ
ータに基づき、有意画素の検出、ブロック日計の併合（
第１の発明の場合）、有意画素数が所定数より多いブロ
ックの検出（第２の発明の場合）、良否判定等を行なう
。

撮像手段３で撮像した画像信号はＡ／Ｄ回路３０を経て
フレームメモリ３１に蓄えられ、またフレームメモリ３
１の内容は表示回路３２を経てＣＲＴ７ａに表示される
。なおフレームメモリ３１には、事前画像、事後画像を
記憶するそれぞれの記憶領域がある。

次に第１の実施例を、第１図、第２図、第５図および第
６図を用いて詳細に説明する。第６図は第５図のステッ
プ１０２〜１０４の詳細を示したものである。

ます、オペレータが撮像された監視対象物１をＣＲＴ　
７　ａで見ながら、キーバッド８により分割されるブロ
ックの大きさ、しきい値７等の監視条件を設定する（１
０２）。監視画面のブロックへの分割は、垂直方向へＭ
等分割し、水平方向へＮ等分割する（２０２．第１図（
ａ）及び第２図（ｂ）参照）。なお、Ｎ、Ｍの分割数は
監視画像の複雑度、すなわち局所特徴領域の多さによっ
て決定する。通常、形状の複雑な場合にＮ、Ｍを大きく
し、検出分解能を満足するように、最小検出差異の分別
か可能なブロックサイズとする。

次に事前、事後の正常基準画像を入力しく１０３．２０
３）、各画素において、それらの差画像を計算する（２
０４）。

次に、各列ブロック（１，・・・、Ｎ）での隣の列ブロ
ックと併合するか否かの判断をする際の許容値ＱＸ、各
行ブロック（１，・・・、Ｍ）での隣の行ブロックと併
合するか否かの判断をする際の許容値ＱＹを設定する（
２０５）。

次に列ブロックの併合操作に移り、まず無関与フラグＦ
−０を設定する（２０６）。そして各列ブロックＸ’ｒ
の関与率Ｐｉを算出する（２０　？）。

ある画素において、事前、事後の正常基準画像の差画像
の出力値が所定のしきい値ａより大きい場合、その画素
を有意画素とし、一つの列ブロックにおける有意画素の
数をその列ブロックにおける関与率Ｐ１とする。そして
関与率Ｐｉか関与率許容値ＱＸより小さい場合はその列
ブロックＸ１は無関与ブロックとみなしく２０８）、Ｆ
−１の場合はＸｉをＸ　ｉ−１に併合する（２１０）。

Ｆか１ではないときはＦを１に設定して、次の列ブロッ
クの関与率を算出する。

例えは第１図（ａ）は、監視画面Ｓを撮像手段３の全画
面とし、その全画面に監視対象物１の孔開は加工か施さ
れる而１ａがちょうと一致するように撮像手段３のズー
ムを調整したものであるが、この場合において、監視画
面Ｓの中央部に孔１１の加工のみか施されるとき、列ブ
ロックＸ１は事前画像と事後画像か同一であるために、
差画像の出力値か０となり、従って有意画素の数は０て
あり、関与率ＰＩ−０となり、Ｘｌは無関与ブロックと
みなされ（２０８）　、またＦ−０であるため（２０９
）、Ｆ−１となり（２１１）　、次に列ブロックＸ２の
関与率Ｐ２が算出され、この場合もＰ２−０であるため
にＸ２は無関与ブロックとみなされ、次にＦ−１となっ
ているために（２０９）Ｘ２がＸｌに併合される（第１
図（ｂ）参照）。

次に列ブロックＸ８も無関与ブロックであり、Ｆ−１と
なっているために（２０９）、Ｘ３はＸ２に併合され、
従ってＸｌ−Ｘ３が併合されて大きなブロックが形成さ
れる。このようにしてＸ１〜Ｘ５か併合されて大きなブ
ロックが形成される。

次に列ブロックＸｉの関与率ＰｉがＱＸより大きいとき
は（２０８）　、併合が行われず、またＦに０が設定さ
れる（２１２）。例えば列ブロックＸ６においては事後
画像において孔１１の一部が撮像されるために、この部
分の差画像は所定の画素位置において、一定の出力値が
得られるために、所定の有意画素数が得られ、この値が
許容値ＱＸより大きいとき（２０８）、Ｘ５との併合は
行われず、またＦに０が設定される（２１２）。Ｘ７゜
Ｘ８．Ｘ９においても併合が行われず、これらの列ブロ
ックにおいては単独状態が維持される。

そして、列ブロックＸＩＯでは無関与ブロックであるた
めにフロー２０９へ進み、Ｆ−１となり（２１１）　、
列ブロックＸｌｌてＦ−１となっているためにＸ１１か
ＸＩＯに併合され、Ｘ１２〜Ｘ１４も同様に併合される
（第１図（ｂ）参照）。

行ブロックＹｊについても、列ブロックＸｉと同様の手
順により併合され（２１５〜２２３）、新しく区画され
た検査ブロックが設定される（１０４）。

なお第２図は他の併合例であり、同図（ａ）に示すよう
に垂直方向の分割数Ｍ−７となっており、また４つの孔
１２が加工され、この場合には、同図（ｂ）に示すよう
な併合が行われる。

次に上記の併合により検査ブロックの新しい区画か終わ
ると、この新しく区画された各ブロックでの正常な場合
の特徴量を算出する（１０５）。

これは例えば差画像出力値が所定の基準レベル以上の画
素の数を特徴量として算出してもよい。これによれば第
１図（ｂ）の新しく区画されたブロックＸＩ　、Ｘ８．
Ｙｌ、Ｙ６ではどの画素においても差画像出力値は０で
あるために、特徴量は０となる。またＸ２〜Ｘ５．Ｙ２
〜Ｙ５では所定数値の特徴量が算出される。

また各検査ブロックでの検査許容値を設定する（１０６
）。これによりノイズの影響を排除すること等か可能と
なる。

次に実際の検査に移る。監視対象物１が穴開は加工工程
へ搬送されると、加工機からの監視指令信号すか装置本
体７へ人力され、加工前の検査面が事前画像として撮像
手段３により撮像されて、フレームメモリ３１に蓄えら
れる。次に孔開は加工か行われ、孔開は加工が終了する
と、事後画像が再び撮像手段３により撮像されて、フレ
ームメモリ３１に蓄えられる。そしてこれらの差画像を
取り、ます、新しく区画された各列ブロックにおいて基
準レベル以上の画素の数を算出し、検査許容値と比較し
、検査許容値内であればその列ブロックは良、検査許容
値より外れた場合はそのブロックは不良の判定を行う（
１０７）。

次ニ各行ブロックにおいても同様の良否判定を行う（１
０８）。

次に上記列ブロックの良否判定で不良と判定された列ブ
ロックと、上記行ブロックの良否判定で不良と判定され
た行ブロックとの交差する領域を異常領域と確定して（
１０９）　、結果を出力する（１１０）。異常領域か存
在する場合はその領域の再検査あるいは次回の孔開は作
業を中止する。

上記列ブロックの良否判定及び上記行ブロックの良否判
定の全てにおいて良判定がなされたときは、監視結果は
良の出力を行う（１１０）。

そして新しい監視対象物が孔開は加工工程に搬送される
と、上記と同様の監視か再び行われる（１１１）。

上記実施例は監視画面を列ブロック、行ブロックに分割
してそれらのブロック同士を併合するようにしたため、
ブロックへの分割、各ブロックにおける存意画素数の計
算、ブロック同士の併合操作か容易となり、従って自動
化が容易に行える。

また列ブロック及び行ブロックで監視を行うため、異常
領域は列ブロック及び行ブロックで２重に監視すること
が可能となる。

次に本発明の第２の実施例について説明する。

本実施例は監視画面を複数のブロックに分割し、予め決
められたしきい値以上の出力を発生している有意画素数
を検出し、各ブロックのうち、有意画素の数が予め設定
した数より多いブロックを監視対象として、画像の良否
判定を行なうものである。例えば第１図（ａ）を用いて
説明すると、列ブロックＸＳ、Ｘ７．Ｘ８．Ｘ９及び行
ブロックＹ８．Ｙ７．Ｙ８．Ｙ９を監視対象として、こ
れらにおいて画像の良否判定を行い、不良列ブロックと
不良行ブロックとの交わった領域を異常領域として確定
する。従って有意画素の数が予め設定した数より少ない
Ｘ１〜Ｘ５．ＸＩＯ〜Ｘ１４．Ｙｌ〜Ｙ５．ＹＩＯ〜Ｙ
１４のブロックは監視されない。

有意画素の数が予め設定した数より少ないブロックを監
視の重要度が低いとして、監視対象から外すことにより
、外観検査等のあいまいて大まかな全体判断を行うとい
う目的を達することができ、また監視の速度を上げるこ
とかできる。

なお、第１の実施例に本実施例を適用してもよい。すな
わち、有意画素の数が所定数より少ないもの同志のブロ
ックを併合し、この併合により新しく区画されたブロッ
クの内、有意画素の数が予め設定した数より多いブロッ
クを監視対象としてもよい。

上記第１及び第２の実施例では監視画面を列ブロックと
行ブロックに分けてそれぞれてブロックの併合を行い、
また異常領域を不良と判定された列ブロックと行ブロッ
クの交差位置に特定するものであるが、垂直方向のＭ分
割線及び水平方向のＮ分割線で区切られて形成されるＭ
ＸＮ個のブロックそれぞれを併合単位として、それらの
ブロックで、合意画素の数が所定数より少ない隣接する
ブロック併合をいずれの方向であっても併合させ、また
これにより新しく区画されたブロック群はそれぞれ単独
で良否判定して各ブロックそれ自身が異常領域か否かを
判断するようにしても良い。

上記実施例では、ある画素において、事前、事後の正常
基準画像の差画像の出力値が所定のしきい値ａより大き
い場合、その画素を有意画素としたが、有意画素及びし
きい値には種々のものをとることかできる（第２の実施
例も同様）。例えば、事前の正常基準画像を２値化した
２値符号化信号と、事後の正常基準画像を２値化した２
値符号化信号との排他的論理和をとり、その値が１とな
るものを有意画素としてもよい。また、事後の正常基準
画像の出力値か所定のしきい値すより大きい場合、その
画素を有意画素としてもよい。更に正常事後画像をｎ個
の正常監視対象物について撮像し、それらのｎ個の事後
画像間の異なる２つの事後画像間で差画像をとり、かつ
それらの差画像全てを加えて正常時のばらつきを出し、
各画素においてこの値が所定のしきい値Ｃより大きい場
合、その画素を有意画素としてもよい。

また本発明において監視画面は、上記のように撮像手段
によって撮像された水平画素数ＬＨ，垂直画素数ＬＶの
全画面としてもよく、又はこの全画面の内、ウィンド等
で所定領域を囲み、この囲まれた領域を監視画面として
もよい。

［効果コ 自゛意画素の数が所定数より少ない隣接ブロック同士を
併合することにより、監視領域の特徴を生かして、監視
ブロックを構成し、全体の監視を構成可能である。

また有意画素の数か予め設定した数より多いブロックを
監視対象とすることにより、有意領域に注目して監視を
行うことかでき、監視の速度を一ヒげることかできる。

【図面の簡単な説明】

第１図は本発明の第１の実施例におけるブロック併合例
を示すもので、同図（ａ）は併合前を示す平面図、同図
（ｂ）は併合後を示す平面図、第２図は第１の実施例に
おけるブロック併合の他の例を示すもので、同図（ａ）
は併合前を示す平面図、同図（ｂ）は併合後を示す平面
図、第３図は画像監視装置で監視対象物を監視している
様子を示す外観斜視図、第４図は画像監視装置の構成を
示したシステムブロック図、第５図は第１の実施例にお
ける画像監視を説明するためのシステムフロー図、 第 図は第 ５図のシステムフロー図にお ける開始より検査ブロックの自動併合までの動作（α）
イＦト合實ｈシを釣 第 １図 （ｂ）１舶覧隨汝 を詳細に説明するためのフロー図である。 撮像手段、 監視画面、 Ｘ　１．Ｘ　２゜ 、Ｙｉ、Ｙ２゜ ；φ・・ブロック、 ｉ ＊ ＊ ；Ｙ１ ＊ ＊ ・併合フロ ツク。 以 上 Ｍ＝Ｎ＝１４ Ｍ’、　Ｎ＊−６ 出 願 人 株式会社 精 工 Ｔ。 （ａ）併合支施薊 第 ２図 （ｂ）併合ｒ兎夜 代 理 人 弁 理 士 松 田 和 子 Ｍ、７．　Ｎ、１４ Ｍ”、７．離１４ 第 図 第 図 す 第４図

Claims (2)

【特許請求の範囲】
1. （１）撮像手段により撮像した、複数個の画素により構
   成される監視画面を複数のブロックに分割し、 予め決められたしきい値以上の出力を発生している有意
   画素数を検出し、 上記各ブロックにおいて、上記有意画素の数が所定数よ
   り少ないもの同士が互いに隣り合う場合には、それらの
   ブロック同士を併合し、 この併合により新しく区画されたブロックに従って画像
   の良否判定を行なう ことを特徴とする画像監視方法。
2. （２）撮像手段により撮像した、複数個の画素により構
   成される監視画面を複数のブロックに分割し、 予め決められたしきい値以上の出力を発生している有意
   画素数を検出し、 上記各ブロックのうち、上記有意画素の数が予め設定し
   た数より多いブロックを監視対象として、画像の良否判
   定を行なう ことを特徴とする画像監視方法。