JP4720968B2

JP4720968B2 - Scratch detection method and scratch detection device

Info

Publication number: JP4720968B2
Application number: JP2001293510A
Authority: JP
Inventors: 賢治小田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-09-26
Filing date: 2001-09-26
Publication date: 2011-07-13
Anticipated expiration: 2021-09-26
Also published as: JP2003098119A

Description

【０００１】
【発明の属する技術分野】
本発明は、平面状物体表面の傷検出方法及び傷検査装置に関し、特に表示デバイス等における配線を含んだガラス基板下に接着された金属板表面の傷を検出するための傷検出方法及び傷検出装置に関する。
【０００２】
【従来の技術】
従来のシステムの一例が、特開昭６１−１４７３７８号公報に記載されている。
【０００３】
この従来の傷検出装置は、画像入力装置と、Ａ／Ｄ変換器と、２値化回路と、２値化メモリと、ノイズ除去部と、ＣＰＵと、デジタルアウトプットとから構成されている。
【０００４】
このような構成を有する従来の傷検出装置は、図１１に示すように動作する。
【０００５】
即ち、画像入力処理により、画像入力装置から映像信号が出力され、２値化処理により、映像信号は、Ａ／Ｄ変換器、２値化回路を介して２値化メモリに記憶される。ＣＰＵは、２値化メモリのデータを読み出し、ラベリング処理を行い、面積算出処理により各ラベルの面積を求める。更に、真円度算出処理により、各ラベルの真円度を求め、これと定数との大小を判定する。真円度の判定結果が小の場合は、ラベルが傷であると判断し結果を出力する。真円度の判定結果が大の場合は、ラベルが傷以外のごみであると判断し、結果を消去する。
【０００６】
【発明が解決しようとする課題】
上述の傷検出装置で、図１２（Ａ）及び（Ｂ）に示すような金属板の上に配線を含んだガラスが透明接着剤で接着された試料の金属板の傷を検出しようとすると、配線により傷が分断されてしまい、傷の真円度とごみ或いはノイズの真円度との差が僅かになるため、傷とごみ或いはノイズとの区別が難しくなり、検出能力を落とすと言う問題点がある。
【０００７】
また、特開平７−２４３９７６号公報では、画像を取り込んだ時点で既に途切れているような細い傷を高精度に検出する目的で、２値化縮退した後の任意の２点を直線で結び、原画像における直線上の画素の濃淡値が大きいものを傷として検出すると言う処理を行っている。
【０００８】
しかしながら、図１２のような検査対象物では傷が配線により完全に分断されているため、途切れている直線上の濃淡情報を使う方法では検出不可能である。
【０００９】
更に、特開平６−５０９０５号公報では、傷とごみを正確に区別する目的で、ラベリングした輪郭の方向コードの差分を積算し、積算値が小さければ傷、大きければごみと判断すると言う処理を行っている。
【００１０】
しかしながら、図１２のような検査対象物では配線で分断された傷は方向性が小さく、即ち丸くなるので、真円度と同様、この方式では区別が難しいと言う問題点がある。
【００１１】
本発明の目的は、図１２に示す配線下の金属板上の傷のような、配線等により画像として完全に分断された傷を、ごみや他のノイズと区別して高精度に検出できる傷検出方法及び傷検出装置を提供することにある。
【００１２】
また、本発明の他の目的は、ガラス基板上のごみと配線下の傷とを区別できる傷検出方法及び傷検出装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明によれば、
照明された遮蔽物付の検査対象物を上方から撮影して原画像を得る撮影ステップと、
該撮影ステップにより得られた原画像を２値化して２値画像を得る２値化ステップと、
該２値化ステップにより得られた２値画像をラベリングして第１のラベリング画像を得る第１のラベリングステップと、
該第１のラベリングステップにより得られた第１のラベリング画像から、高さの大きいラベルを除去し、高さの大きいラベルが除去された画像を得る除去ステップと、
該除去ステップにより得られた画像を前記遮蔽物が延びる方向と垂直な方向にシフトする第１のシフトステップと、
前記除去ステップにより得られた画像を前記第１のシフトステップにおけるシフトと反対方向にシフトする第２のシフトステップと、
前記除去ステップにより得られた画像と前記第１のシフトステップにより得られた画像と前記第２のシフトステップにより得られた画像とを合成する合成ステップと、
該合成ステップにより得られた画像をラベリングして第２のラベリング画像を得る第２のラベリングステップと、
該第２のラベリングステップにより得られた第２のラベリング画像に基づいて、前記検査対象物の傷を判定する判定ステップとを有することを特徴とする傷検出方法が得られる。
【００１４】
更に本発明によれば、
照明された遮蔽物付の検査対象物を上方から撮影して原画像を得る撮影ステップと、
該撮影ステップにより得られた原画像を２値化して２値画像を得る２値化ステップと、
該２値化ステップにより得られた２値画像をラベリングして第１のラベリング画像を得る第１のラベリングステップと、
該第１のラベリングステップにより得られた第１のラベリング画像から、高さの大きいラベルを除去し、高さの大きいラベルが除去された画像を得る除去ステップと、
該除去ステップにより得られた画像を前記遮蔽物が延びる方向と垂直な方向に膨張させるステップと、
該膨張させるステップにより得られた画像をラベリングして第２のラベリング画像を得る第２のラベリングステップと、
該第２のラベリングステップにより得られた第２のラベリング画像に基づいて、前記検査対象物の傷を判定する判定ステップとを有することを特徴とする傷検出方法が得られる。
【００１５】
また本発明によれば、
遮蔽物付の検査対象物を照明する照明器と、
該照明器で照明された前記検査対象物を上方から撮影するカメラと、
該カメラで撮影された原画像を２値化して２値画像を得る２値化部と、
該２値化部により得られた２値画像をラベリングして第１のラベリング画像を得る第１のラベリング部と、
該第１のラベリング部により得られた第１のラベリング画像から、高さの大きいラベルを除去し、高さの大きいラベルが除去された画像を得る除去部と、
該除去部により得られた画像を前記遮蔽物が延びる方向と垂直な方向にシフトする第１のシフト部と、
前記除去部により得られた画像を前記第１のシフト部におけるシフトと反対方向にシフトする第２のシフト部と、
前記除去部により得られた画像と前記第１のシフト部により得られた画像と前記第２のシフト部により得られた画像とを合成する合成部と、
該合成部により得られた画像をラベリングして第２のラベリング画像を得る第２のラベリング部と、
該第２のラベリング部により得られた第２のラベリング画像に基づいて、前記検査対象物の傷を判定する判定部とを有することを特徴とする傷検出装置が得られる。
【００１６】
更に本発明によれば、
遮蔽物付の検査対象物を照明する照明器と、
該照明器で照明された前記検査対象物を上方から撮影するカメラと、
該カメラで撮影された原画像を２値化して２値画像を得る２値化部と、
該２値化部により得られた２値画像をラベリングして第１のラベリング画像を得る第１のラベリング部と、
該第１のラベリング部により得られた第１のラベリング画像から、高さの大きいラベルを除去し、高さの大きいラベルが除去された画像を得る除去部と、
該除去部により得られた画像を前記遮蔽物が延びる方向と垂直な方向に膨張させる膨張処理部と、
該膨張処理部により得られた画像をラベリングして第２のラベリング画像を得る第２のラベリング部と、
該第２のラベリング部により得られた第２のラベリング画像に基づいて、前記検査対象物の傷を判定する判定部とを有することを特徴とする傷検出装置が得られる。
【００１７】
すなわち、本発明の傷検出方法及び装置は、配線等の外観上遮蔽物を含んだ平面金属板表面に存在する傷を検出する方法及び装置であって、
検査対象物の表面の画像を取り込む画像入力手段と、
画像入力手段で得られた濃淡画像を２値画像に変換する２値化処理手段と、
２値化処理手段で切り出された領域毎に番号を付け、領域を分類するラベリング手段と、
ラベリング手段により分類された領域毎の高さをを求め、予め設定した高さより大きい領域を除去する高さ除去処理手段と、
高さ除去処理手段により残った画像全体を下方向に移動する下シフト処理手段と、
高さ除去処理手段により残った画像全体を上方向に移動する上シフト処理手段と、
高さ除去処理手段により残った画像、下シフト処理手段により移動した画像、及び上シフト処理手段により移動した画像の和（ＯＲ）を用いて合成する画像合成手段と、
画像合成手段で得られた画像で閉領域部分の内部を全て領域として埋める穴埋め処理手段と、
穴埋め処理手段で得られた画像を領域毎に番号を付け、領域を分類するラベリング手段と、
ラベリング手段により分類された領域毎の面積を求め、予め設定した面積より大きい領域のみを切り出す面積選択処理手段と、
面積選択処理手段により切り出された領域毎の直線度を求め、予め設定した直線度より大きい領域のみを切り出す直線選択処理手段と、
直線選択処理手段により切り出された領域毎の座標値等の計測情報を求める計測手段と、
計測手段で得られた計測情報を出力する結果出力手段と、
を備えたことを特徴とする。
【００１８】
本発明は、上記した構成によると、得られた２値画像とそれを上下にシフトさた画像とを足し合わせることにより、分断された傷を一体のものとして取り扱うことができるため、配線下の金属板上の傷のような、配線等により画像として完全に分断された傷を、ごみや他のノイズと区別して高精度に検出できる。
【００１９】
また、ラベリングにより配線ピッチより大きいラベルを検出すると、ガラス基板上のごみと判断し検出対象から除去する処理を有するため、ガラス基板上のごみと配線下の傷とを区別できる。
【００２０】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
図１は本発明に係る傷検出装置の構成の一例である。
【００２２】
配線等の外観上遮蔽物を含んだ検査対象物２０をステージ２１上に載せ、カメラ２２の下方に配置したリング状の斜方照明２３を発光させ、検査対象物２０の傷、ごみ、及び異物等が乱反射して光るようにする。
【００２３】
前記検査対象物２０を照射すると共に、カメラ２２を用いて検査対象物２０を上方から撮像する。
【００２４】
撮像信号をＰＣ（パーソナルコンピュータ）２４内のアナログデジタル変換器（Ａ／Ｄ）２５によりデジタルデータに変換し、メモリ２６に取り込む。取り込んだ画像データをもとにＰＣ２４のＣＰＵ(Central Processing Unit)２７が画像処理を行い、処理結果をディスプレイ２８に表示し、同時にハードディスク等の外部記憶装置２９に記録する。ＰＣ２４ではＣＰＵ２７からコントローラ３０を介して前記ステージ２１の制御を行う。
【００２５】
図１に示したような構成の傷検出装置におけるＣＰＵ２７内での画像処理方法、即ち、傷検出方法について、図２に示したフローチャートに基づいて説明する。
【００２６】
画像入力１は、配線等の外観上遮蔽物を含んだ検査対象物２０を斜方照明２３で照射してカメラ２２で撮影した画像を、アナログデジタル変換器（Ａ／Ｄ）２５を介してＰＣ２４のメモリ２６に取り込む処理である。画像入力１により得られる原画像は濃淡画像である。原画像の例を図３に示す。斜方照明２３により、検査対象物２０の配線は光らず、配線と配線の間から見える金属板の傷、ごみ、異物等及び、ガラス上に付着したごみ、異物等が乱反射して光っている画像を得る。
【００２７】
２値化２は、画像入力１により得られた原画像から、予め設定された閾値より濃淡値の大きい領域を抽出する２値化処理である。２値化２により得られる画像を２値画像とする。図３の画像に２値化２を施した２値化画像を図４に示す。
【００２８】
ラベリング３は、２値化２で得られた２値画像を連結成分毎にラベル付けを行うラベリング処理である。ラベリング３によりラベリング画像を得る。
【００２９】
高さ除去４は、ラベリング３により得られたラベリング画像を用いて、各ラベルの高さ、即ち縦方向の大きさを計測し、予め設定された値より大きいラベルをラベリング画像から除去する処理である。設定値を配線と配線の間隔に設定することにより、図１２に示したガラス上に付着した配線をまたがるようなごみや異物等の大きなノイズ成分を除去することが可能となる。図４の２値画像にラベリング３、高さ除去４を施した画像を図５に示す。画面左右両端にある上下にまたがる大きなノイズ成分を除去している。
【００３０】
下シフト５は、高さ除去４の処理後の画像全体を画像の下方向に移動する処理である。図１２で示す遮蔽物の配線が延びる方向（左右方向）に対して、垂直な方向（下方向）に画像をシフトする。
【００３１】
上シフト６は、高さ除去４の処理後の画像全体を画像の上方向に移動する処理である。下シフト５のシフト方向（下方向）と反対方向（上方向）に画像をシフトする。下シフト５と上シフト６の何れも移動距離は、配線幅の半分程度とする。
【００３２】
画像合成７は、高さ除去４処理画像、下シフト５処理画像、及び上シフト６処理画像の和集合（ＯＲ）演算処理により画像を合成する処理である。画像合成７により、配線によって分断された傷を１つにつなぎ合わせ、以後の処理で傷としての特徴を捉えることが可能となる。図５の画像に下シフト５、上シフト６、画像合成７を施した画像を図６に示す。
【００３３】
穴埋め処理８は、画像合成７により得られる画像の中で、穴の開いている部分を埋める処理である。ラベリング９は、穴埋め処理８出力画像を対象にして、再度ラベル付けを行う処理である。
【００３４】
面積選択１０及び直線選択１１により、ラベリング９により得られたラベリング画像の中から検査対象物の傷を判定する。
【００３５】
面積選択１０は、ラベリング９で得たラベリング画像において、各ラベルの面積を計測し、ある程度大きい面積のラベルだけを抽出する処理である。面積の閾値は予め設定する。本処理により、小さいノイズ成分を除去することが可能となる。図６の画像にラベリング９及び面積選択１０を施した画像を図７に示す。
【００３６】
直線選択１１は、面積選択１０で得たラベルのうち、直線度の高いもののみを抽出する処理である。直線度Ｃの一例を下式に示す。
【００３７】
Ｃ＝ α×[（２ｄ）／Ｌ]−[Ｓ／（πｒ^２）]
上式で、Ｌはラベルの周囲長、Ｓは面積、ｄは輪郭の最遠２点間距離、ｒは重心から輪郭までの最大距離、αは重み付け定数である。幅が２画素以上の理想的な直線の場合、ｄの２倍とラベル周囲長Ｌとがほぼ等しくなるので、上式第１項のうちの［（２ｄ）／Ｌ］は、直線に近づけば１に近づく。直線以外のものは１より小さい数値となる。上式第２項は円形度の一例であり、真円の場合１となり、円以外の直線等の場合、１より小さい数値となる。第１項から第２項を減算することで、直線に近いものほど直線度Ｃは大きな値をとる。
【００３８】
直線度の閾値は予め設定する。面積選択１０により、傷と同程度の大きさ（面積）の傷以外のごみや異物等と言ったノイズ成分を除去することが可能となる。除去後残ったものだけを傷と判定する。図７の画像に直線選択１１を施した画像を図８に示す。
【００３９】
計測１２は、直線選択１１により得られた画像に関して、重心座標、外接矩形の座標等を計測する処理である。結果出力１３は、計測１２により得られた結果を、図１に示すディスプレイ２８への表示、或いは、外部記憶装置２９への出力を行う処理である。
【００４０】
図９に本発明の他の実施例のフローを示す。
【００４１】
図２に示す画像処理フローでは検査対象物が図１２のように配線が左右に延びる画像を前提としていたが、配線が上下に延びる場合も、図９に示すように画像合成７の前処理を右シフト１４、左シフト１５に変更すれば同様の処理が可能である。また、ラベリング９後の傷判定処理として、面積選択１０、直線選択１１に、更に、長さ選択１６、幅選択１７を加える。
【００４２】
長さ選択１６は、ラベルの最遠２点等を利用して各ラベルの長さを計測し、設定値以上、或いは設定値以下のものを選択する処理である。幅選択１７は、各ラベルの幅を計測し、設定値以上、或いは設定値以下のものを選択する処理である。長さ選択１６、幅選択１７を追加することにより、特定のサイズの傷のみを検出できる効果が追加される。また、長さ、幅の設定値を複数持つことにより、検出した傷をサイズにより分類する効果が追加される。
【００４３】
また、本発明の更に他の実施例のフローを図１０に示す。
【００４４】
図２に示す画像処理フローにおいて、高さ除去４の処理後の上シフト５、下シフト６、及び画像合成７の処理の代わりに、膨張処理１８を用いる。膨張の方向は配線等の遮蔽物が延びる方向と垂直な方向とする。例えば、配線の幅をｎ画素とすると、図１２のように配線が左右方向に配置されている場合、膨張処理１８のマスクサイズは、横１×縦（ｎ＋１）画素、配線が上下に配置されている場合、横（ｎ＋１）×縦１画素とする。
【００４５】
上シフト５、下シフト６、及び画像合成７の３段階で処理したものを、膨張処理１８の１段階で処理できるので、処理を高速化できると言う効果が追加される。
【００４６】
【発明の効果】
本発明の第１の効果は、図１２に示す配線下の金属板上の傷のような、配線等により画像として完全に分断された傷を、ごみや他のノイズと区別して高精度に検出できることである。
【００４７】
その理由は、得られた２値画像とそれを上下にシフトさた画像とを足し合わせることにより、分断された傷を一体のものとして取り扱うことができるので、傷とごみや他のノイズとの区別が可能となるためである。
【００４８】
本発明の第２の効果は、ガラス基板上のごみと配線下の傷とを区別できることである。
【００４９】
その理由は、ラベリングにより配線ピッチより大きいラベルを検出すると、ガラス基板上のごみと判断し検出対象から除去する処理を有するためである。
【図面の簡単な説明】
【図１】本発明に係る傷検出装置の構成を示すブロック図である。
【図２】本発明の一実施例に係る傷検出方法のフローチャートである。
【図３】図２の画像入力１で得られる原画像例を示す図である。
【図４】図２の２値化２の処理後の２値画像例を示す図である。
【図５】図２の高さ除去４の処理後の画像例を示す図である。
【図６】図２の画像合成７の処理後の合成画像例を示す図である。
【図７】図２の面積選択１０の処理後の画像例を示す図である。
【図８】図２の直線選択１１の処理後の画像例を示す図である。
【図９】本発明の他の実施例に係る傷検出方法のフローチャートである。
【図１０】本発明の更に他の実施例に係る傷検出方法のフローチャートである。
【図１１】従来の傷検出方法のフローチャートである。
【図１２】検査対象物の構造を示す図である。
【符号の説明】
１画像入力
２２値化
３ラベリング
４高さ除去
５下シフト
６上シフト
７画像合成
８穴埋め処理
９ラベリング
１０面積選択
１１直線選択
１２計測
１３結果出力
１４右シフト
１５左シフト
１６長さ選択
１７幅選択
１８膨張処理[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a scratch detection method and a scratch inspection apparatus for a planar object surface, and more particularly to a scratch detection method and a scratch detection for detecting a scratch on a metal plate surface bonded under a glass substrate including wiring in a display device or the like. Relates to the device.
[0002]
[Prior art]
An example of a conventional system is described in Japanese Patent Application Laid-Open No. 61-147378.
[0003]
This conventional flaw detection device includes an image input device, an A / D converter, a binarization circuit, a binarization memory, a noise removal unit, a CPU, and a digital output.
[0004]
The conventional flaw detection apparatus having such a configuration operates as shown in FIG.
[0005]
That is, a video signal is output from the image input device by the image input process, and the video signal is stored in the binarization memory via the A / D converter and the binarization circuit by the binarization process. The CPU reads data from the binarized memory, performs a labeling process, and obtains an area of each label by an area calculation process. Furthermore, the roundness calculation process determines the roundness of each label and determines the magnitude of this and the constant. If the roundness determination result is small, it is determined that the label is a flaw and the result is output. If the roundness determination result is large, it is determined that the label is dust other than a scratch, and the result is deleted.
[0006]
[Problems to be solved by the invention]
In the above-described scratch detection device, when trying to detect a scratch on a metal plate of a sample in which a glass including wiring is bonded on a metal plate as shown in FIGS. 12A and 12B with a transparent adhesive, Scratches are divided by wiring, and the difference between the roundness of scratches and the roundness of dust or noise becomes small, making it difficult to distinguish between scratches and dust or noise and reducing the detection capability. There is a point.
[0007]
Further, in Japanese Patent Laid-Open No. 7-243976, any two points after binarization degeneration are connected with a straight line for the purpose of detecting with high accuracy a thin flaw that has already been interrupted when the image is captured, A process of detecting a pixel having a large gray value on a straight line in the original image as a scratch is performed.
[0008]
However, in the inspection object as shown in FIG. 12, since the scratch is completely divided by the wiring, it cannot be detected by the method using the shading information on the broken line.
[0009]
Furthermore, in Japanese Patent Laid-Open No. 6-50905, for the purpose of accurately distinguishing scratches from dust, the difference between the direction codes of labeled contours is integrated, and if the integrated value is small, it is judged as scratches, and if it is large, it is judged as dust. Is going.
[0010]
However, in the inspection object as shown in FIG. 12, since the flaws divided by the wiring have a small directionality, that is, become round, there is a problem that it is difficult to distinguish with this method as in the case of roundness.
[0011]
The object of the present invention is to detect scratches that can be detected with high accuracy by distinguishing scratches completely separated as images by wiring, such as scratches on a metal plate under the wiring shown in FIG. It is to provide a method and a flaw detection device.
[0012]
Another object of the present invention is to provide a flaw detection method and a flaw detection device that can distinguish between dust on a glass substrate and flaws under wiring.
[0013]
[Means for Solving the Problems]
According to the present invention,
An imaging step of obtaining an original image by imaging an illuminated inspection object with a shield from above,
A binarization step for binarizing the original image obtained by the photographing step to obtain a binary image;
A first labeling step of labeling the binary image obtained by the binarization step to obtain a first labeling image;
A removal step of removing a label having a large height from the first labeling image obtained by the first labeling step, and obtaining an image from which the label having a large height has been removed;
A first shift step of shifting the image obtained by the removal step in a direction perpendicular to a direction in which the shield extends;
A second shift step for shifting the image obtained by the removal step in a direction opposite to the shift in the first shift step;
A synthesis step of synthesizing the image obtained by the removing step, the image obtained by the first shift step, and the image obtained by the second shift step;
A second labeling step of labeling the image obtained by the combining step to obtain a second labeled image;
And a determination step for determining a scratch on the inspection object based on the second labeling image obtained in the second labeling step.
[0014]
Furthermore, according to the present invention,
An imaging step of obtaining an original image by imaging an illuminated inspection object with a shield from above,
A binarization step for binarizing the original image obtained by the photographing step to obtain a binary image;
A first labeling step of labeling the binary image obtained by the binarization step to obtain a first labeling image;
A removal step of removing a label having a large height from the first labeling image obtained by the first labeling step, and obtaining an image from which the label having a large height has been removed;
Inflating the image obtained by the removing step in a direction perpendicular to a direction in which the shield extends;
A second labeling step of labeling the image obtained by the expanding step to obtain a second labeled image;
And a determination step for determining a scratch on the inspection object based on the second labeling image obtained in the second labeling step.
[0015]
Also according to the invention,
An illuminator that illuminates an inspection object with a shield;
A camera for photographing the inspection object illuminated by the illuminator from above;
A binarization unit that binarizes an original image captured by the camera to obtain a binary image;
A first labeling unit that labels the binary image obtained by the binarization unit to obtain a first labeling image;
A removal unit that removes a large label from the first labeling image obtained by the first labeling unit, and obtains an image from which the high label is removed;
A first shift unit that shifts an image obtained by the removal unit in a direction perpendicular to a direction in which the shielding object extends;
A second shift unit that shifts the image obtained by the removal unit in a direction opposite to the shift in the first shift unit;
A combining unit that combines the image obtained by the removing unit, the image obtained by the first shift unit, and the image obtained by the second shift unit;
A second labeling unit that obtains a second labeled image by labeling the image obtained by the combining unit;
A flaw detection apparatus comprising: a determination unit that determines a flaw of the inspection object based on a second labeling image obtained by the second labeling unit.
[0016]
Furthermore, according to the present invention,
An illuminator that illuminates an inspection object with a shield;
A camera for photographing the inspection object illuminated by the illuminator from above;
A binarization unit that binarizes an original image captured by the camera to obtain a binary image;
A first labeling unit that labels the binary image obtained by the binarization unit to obtain a first labeling image;
A removal unit that removes a large label from the first labeling image obtained by the first labeling unit, and obtains an image from which the high label is removed;
An expansion processing unit that expands an image obtained by the removal unit in a direction perpendicular to a direction in which the shielding object extends;
A second labeling unit that labels the image obtained by the expansion processing unit to obtain a second labeled image;
A flaw detection apparatus comprising: a determination unit that determines a flaw of the inspection object based on a second labeling image obtained by the second labeling unit.
[0017]
That is, the flaw detection method and apparatus of the present invention is a method and apparatus for detecting flaws present on the surface of a flat metal plate that includes a shielding object such as wiring.
Image input means for capturing an image of the surface of the inspection object;
Binarization processing means for converting the grayscale image obtained by the image input means into a binary image;
A labeling means for assigning a number to each area cut out by the binarization processing means and classifying the areas;
A height removal processing means for obtaining a height for each area classified by the labeling means and removing an area larger than a preset height;
A lower shift processing means for moving the entire image remaining by the height removal processing means downward;
An upper shift processing means for moving the entire image remaining by the height removal processing means upward;
Image combining means for combining using the sum (OR) of the image left by the height removal processing means, the image moved by the lower shift processing means, and the image moved by the upper shift processing means;
Hole filling processing means for filling the entire inside of the closed region portion as an area with the image obtained by the image composition means;
Numbering the image obtained by the hole filling processing means for each area, labeling means for classifying the area,
An area selection processing means for obtaining an area for each area classified by the labeling means, and cutting out only an area larger than a preset area;
A straight line selection processing means for obtaining a linearity for each region cut out by the area selection processing means and cutting out only a region larger than the preset linearity;
Measurement means for obtaining measurement information such as coordinate values for each region cut out by the straight line selection processing means;
A result output means for outputting measurement information obtained by the measurement means;
It is provided with.
[0018]
According to the present invention, since the obtained binary image and the image obtained by shifting it up and down can be added together, the divided scratches can be handled as a single unit. Scratches that are completely divided as an image by wiring or the like, such as scratches on a metal plate, can be detected with high accuracy by distinguishing them from dust and other noises.
[0019]
In addition, when a label larger than the wiring pitch is detected by labeling, it has a process of determining it as dust on the glass substrate and removing it from the detection target, so that it is possible to distinguish between dust on the glass substrate and scratches under the wiring.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described in detail with reference to the drawings.
[0021]
FIG. 1 shows an example of the configuration of a flaw detection apparatus according to the present invention.
[0022]
An inspection object 20 including an external shielding object such as a wiring is placed on a stage 21 and a ring-shaped oblique illumination 23 disposed below the camera 22 is caused to emit light, so that the inspection object 20 is scratched, dusty, and foreign. And so on.
[0023]
While irradiating the inspection object 20, the inspection object 20 is imaged from above using the camera 22.
[0024]
The imaging signal is converted into digital data by an analog / digital converter (A / D) 25 in a PC (personal computer) 24 and is taken into the memory 26. A CPU (Central Processing Unit) 27 of the PC 24 performs image processing based on the captured image data, and the processing result is displayed on the display 28 and simultaneously recorded in an external storage device 29 such as a hard disk. In the PC 24, the stage 21 is controlled from the CPU 27 via the controller 30.
[0025]
An image processing method in the CPU 27, that is, a flaw detection method, in the flaw detection apparatus having the configuration shown in FIG. 1 will be described based on the flowchart shown in FIG.
[0026]
The image input 1 is an image obtained by irradiating the inspection object 20 including the shielding object such as the wiring with the oblique illumination 23 and photographed by the camera 22 through the analog / digital converter (A / D) 25. This is a process of fetching into the memory 26. The original image obtained by the image input 1 is a grayscale image. An example of the original image is shown in FIG. By the oblique illumination 23, the wiring of the inspection object 20 does not shine, and scratches, dust, foreign matter, etc. on the metal plate seen between the wiring and the dust, foreign matter, etc. adhering on the glass are diffusely reflected and shined. Get an image.
[0027]
Binarization 2 is a binarization process for extracting an area having a gray value larger than a preset threshold value from the original image obtained by the image input 1. An image obtained by binarization 2 is a binary image. FIG. 4 shows a binarized image obtained by performing binarization 2 on the image of FIG.
[0028]
Labeling 3 is a labeling process in which a binary image obtained by binarization 2 is labeled for each connected component. A labeling image is obtained by labeling 3.
[0029]
The height removal 4 is a process of measuring the height of each label, that is, the size in the vertical direction using the labeling image obtained by the labeling 3, and removing a label larger than a preset value from the labeling image. is there. By setting the set value to the interval between the wires, it is possible to remove large noise components such as dust and foreign matters that straddle the wires attached to the glass shown in FIG. FIG. 5 shows an image obtained by performing labeling 3 and height removal 4 on the binary image of FIG. A large noise component straddling the upper and lower sides at the left and right ends of the screen is removed.
[0030]
The down shift 5 is a process of moving the entire image after the height removal 4 process in the downward direction of the image. The image is shifted in a direction (downward) perpendicular to the direction (left-right direction) in which the shield wiring shown in FIG. 12 extends.
[0031]
The upshift 6 is a process of moving the entire image after the height removal 4 process in the upward direction of the image. The image is shifted in the direction (upward) opposite to the shift direction (downward) of the lower shift 5. In both the lower shift 5 and the upper shift 6, the movement distance is about half of the wiring width.
[0032]
The image composition 7 is a process of composing an image by a union (OR) calculation process of the height removal 4-process image, the lower shift 5-process image, and the upper shift 6-process image. By the image composition 7, it is possible to connect the scratches divided by the wiring into one and capture the feature as a scratch in the subsequent processing. FIG. 6 shows an image obtained by performing the lower shift 5, the upper shift 6, and the image composition 7 on the image of FIG.
[0033]
The hole filling process 8 is a process of filling a hole-opened part in the image obtained by the image composition 7. The labeling 9 is a process of performing labeling again on the output image of the hole filling process 8.
[0034]
By the area selection 10 and the line selection 11, the scratch on the inspection object is determined from the labeling image obtained by the labeling 9.
[0035]
The area selection 10 is a process of measuring the area of each label in the labeling image obtained by the labeling 9 and extracting only a label having a certain large area. The area threshold is set in advance. By this processing, it is possible to remove a small noise component. FIG. 7 shows an image obtained by applying labeling 9 and area selection 10 to the image of FIG.
[0036]
The straight line selection 11 is a process of extracting only the labels obtained with the area selection 10 with high linearity. An example of the linearity C is shown in the following formula.
[0037]
C = α × [(2d) / L] − [S / (πr ² )]
In the above equation, L is the perimeter of the label, S is the area, d is the distance between the two most distant points of the contour, r is the maximum distance from the center of gravity to the contour, and α is a weighting constant. In the case of an ideal straight line having a width of 2 pixels or more, twice of d and the label peripheral length L are substantially equal. Therefore, [(2d) / L] in the first term of the above equation is Approach 1 Anything other than a straight line has a value smaller than 1. The second term in the above formula is an example of circularity, and is 1 for a perfect circle, and a numerical value smaller than 1 for a straight line other than a circle. By subtracting the second term from the first term, the degree of linearity C increases as the distance from the first term is closer.
[0038]
The straightness threshold is set in advance. By the area selection 10, it is possible to remove noise components such as dust and foreign matters other than the scratch having the same size (area) as the scratch. Only those remaining after removal are judged as scratches. FIG. 8 shows an image obtained by performing straight line selection 11 on the image of FIG.
[0039]
The measurement 12 is a process for measuring the coordinates of the center of gravity, the coordinates of the circumscribed rectangle, and the like regarding the image obtained by the straight line selection 11. The result output 13 is a process for displaying the result obtained by the measurement 12 on the display 28 shown in FIG. 1 or outputting it to the external storage device 29.
[0040]
FIG. 9 shows a flow of another embodiment of the present invention.
[0041]
In the image processing flow shown in FIG. 2, the inspection object is premised on an image in which the wiring extends left and right as shown in FIG. 12, but when the wiring extends up and down, the preprocessing of the image composition 7 is performed as shown in FIG. Similar processing can be performed by changing to right shift 14 and left shift 15. In addition, as a scratch determination process after labeling 9, length selection 16 and width selection 17 are added to area selection 10 and straight line selection 11.
[0042]
The length selection 16 is a process of measuring the length of each label using the farthest two points of the label and the like, and selecting one that is greater than or equal to the set value. The width selection 17 is a process of measuring the width of each label and selecting one that is greater than or equal to the set value. By adding the length selection 16 and the width selection 17, an effect of detecting only a scratch of a specific size is added. In addition, by having a plurality of set values of length and width, an effect of classifying detected scratches by size is added.
[0043]
FIG. 10 shows a flow of still another embodiment of the present invention.
[0044]
In the image processing flow shown in FIG. 2, an expansion process 18 is used in place of the processes of the upshift 5, the downshift 6, and the image composition 7 after the height removal 4 process. The direction of expansion is a direction perpendicular to the direction in which the shield such as the wiring extends. For example, assuming that the width of the wiring is n pixels, when the wiring is arranged in the horizontal direction as shown in FIG. 12, the mask size of the expansion process 18 is 1 × vertical (n + 1) pixels, and the wiring is arranged vertically. If it is, it is set to horizontal (n + 1) × vertical 1 pixel.
[0045]
Since the processing performed in the three stages of the upshift 5, the downshift 6, and the image composition 7 can be processed in one stage of the expansion process 18, an effect that the processing can be speeded up is added.
[0046]
【The invention's effect】
The first effect of the present invention is to detect a flaw completely separated as an image by wiring or the like, such as a flaw on a metal plate under the wiring shown in FIG. It can be done.
[0047]
The reason for this is that by combining the obtained binary image and the image shifted up and down, the divided scratches can be handled as a single unit, so that scratches and dust or other noise can be handled. This is because the distinction is possible.
[0048]
The second effect of the present invention is that dust on the glass substrate can be distinguished from scratches under the wiring.
[0049]
The reason is that when a label larger than the wiring pitch is detected by labeling, it is judged as dust on the glass substrate and removed from the detection target.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a flaw detection apparatus according to the present invention.
FIG. 2 is a flowchart of a flaw detection method according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of an original image obtained by the image input 1 of FIG.
4 is a diagram illustrating an example of a binary image after the binarization 2 process of FIG. 2;
FIG. 5 is a diagram illustrating an example of an image after processing of height removal 4 in FIG. 2;
6 is a diagram illustrating an example of a composite image after the processing of the image composition 7 in FIG. 2;
7 is a diagram illustrating an image example after processing of area selection 10 in FIG. 2; FIG.
8 is a diagram illustrating an example of an image after processing of the line selection 11 in FIG. 2;
FIG. 9 is a flowchart of a flaw detection method according to another embodiment of the present invention.
FIG. 10 is a flowchart of a flaw detection method according to still another embodiment of the present invention.
FIG. 11 is a flowchart of a conventional flaw detection method.
FIG. 12 is a diagram showing a structure of an inspection object.
[Explanation of symbols]
1 Image input 2 Binarization 3 Labeling 4 Height removal 5 Lower shift 6 Upper shift 7 Image composition 8 Filling process 9 Labeling 10 Area selection 11 Line selection 12 Measurement 13 Result output 14 Right shift 15 Left shift 16 Length selection 17 Width Option 18 Expansion processing

Claims

An imaging step for obtaining an original image by imaging an illuminated inspection target with wiring from above,
A binarization step for binarizing the original image obtained by the photographing step to obtain a binary image;
A first labeling step of labeling the binary image obtained by the binarization step to obtain a first labeling image;
From the first labeling image obtained by the first labeling step, a label whose size in the direction perpendicular to the direction in which the wiring extends is larger than the interval between the wires is removed, and the label is larger than the interval between the wires. A removal step to obtain an image from which
A first shift step of shifting an image obtained by the removal step in a direction perpendicular to a direction in which the wiring extends;
A second shift step for shifting the image obtained by the removal step in a direction opposite to the shift in the first shift step;
A synthesis step of synthesizing the image obtained by the removing step, the image obtained by the first shift step, and the image obtained by the second shift step;
A second labeling step of labeling the image obtained by the combining step to obtain a second labeled image;
A scratch detection method comprising: a determination step of determining a scratch on the inspection object based on the second labeling image obtained in the second labeling step.

In the wound detection method according to claim 1,
The scratch detection method according to claim 1, wherein the determination step determines a scratch on the inspection object based on an area and a linearity of the second labeling image obtained by the second labeling step.

In the wound detection method according to claim 1,
The determining step determines a scratch on the inspection object based on the area and linearity of the second labeling image obtained by the second labeling step, and further obtained by the second labeling step. A scratch detection method, comprising: determining a scratch on the inspection object based on a length and a width of a second labeling image.

An imaging step for obtaining an original image by imaging an illuminated inspection target with wiring from above,
A binarization step for binarizing the original image obtained by the photographing step to obtain a binary image;
A first labeling step of labeling the binary image obtained by the binarization step to obtain a first labeling image;
From the first labeling image obtained by the first labeling step, a label whose size in the direction perpendicular to the direction in which the wiring extends is larger than the interval between the wires is removed, and the label is larger than the interval between the wires. A removal step to obtain an image from which
Inflating the image obtained by the removing step in a direction perpendicular to a direction in which the wiring extends;
A second labeling step of labeling the image obtained by the expanding step to obtain a second labeled image;
A scratch detection method comprising: a determination step of determining a scratch on the inspection object based on the second labeling image obtained in the second labeling step.

In the wound detection method according to claim 4,
The scratch detection method according to claim 1, wherein the determination step determines a scratch on the inspection object based on an area and a linearity of the second labeling image obtained by the second labeling step.

In the wound detection method according to claim 4,
The determining step determines a scratch on the inspection object based on the area and linearity of the second labeling image obtained by the second labeling step, and further obtained by the second labeling step. A scratch detection method, comprising: determining a scratch on the inspection object based on a length and a width of a second labeling image.

An illuminator that illuminates the inspection object with wiring ;
A camera for photographing the inspection object illuminated by the illuminator from above;
A binarization unit that binarizes an original image captured by the camera to obtain a binary image;
A first labeling unit that labels the binary image obtained by the binarization unit to obtain a first labeling image;
From the first labeling image obtained by the first labeling unit, a label whose size in the direction perpendicular to the direction in which the wiring extends is larger than the interval between the wires is removed, and the label is larger than the interval between the wires. A removal unit for obtaining an image from which
A first shift unit that shifts an image obtained by the removal unit in a direction perpendicular to a direction in which the wiring extends;
A second shift unit that shifts the image obtained by the removal unit in a direction opposite to the shift in the first shift unit;
A combining unit that combines the image obtained by the removing unit, the image obtained by the first shift unit, and the image obtained by the second shift unit;
A second labeling unit that obtains a second labeled image by labeling the image obtained by the combining unit;
A flaw detection apparatus comprising: a determination unit that determines a flaw of the inspection object based on a second labeling image obtained by the second labeling unit.

In the wound detection apparatus according to claim 7,
The flaw detection apparatus, wherein the determination unit determines a flaw of the inspection object based on an area and a linearity of a second labeling image obtained by the second labeling unit.

In the wound detection apparatus according to claim 7,
The determination unit determines a scratch on the inspection object based on the area and linearity of the second labeling image obtained by the second labeling unit, and further obtained by the second labeling unit. A flaw detection device that determines a flaw of the inspection object based on a length and a width of a second labeling image.

An illuminator that illuminates the inspection object with wiring ;
A camera for photographing the inspection object illuminated by the illuminator from above;
A binarization unit that binarizes an original image captured by the camera to obtain a binary image;
A first labeling unit that labels the binary image obtained by the binarization unit to obtain a first labeling image;
From the first labeling image obtained by the first labeling unit, a label whose size in the direction perpendicular to the direction in which the wiring extends is larger than the interval between the wires is removed, and the label is larger than the interval between the wires. A removal unit for obtaining an image from which
An expansion processing unit that expands an image obtained by the removal unit in a direction perpendicular to a direction in which the wiring extends;
A second labeling unit that labels the image obtained by the expansion processing unit to obtain a second labeled image;
A flaw detection apparatus comprising: a determination unit that determines a flaw of the inspection object based on a second labeling image obtained by the second labeling unit.

The wound detection apparatus according to claim 10, wherein
The flaw detection apparatus, wherein the determination unit determines a flaw of the inspection object based on an area and a linearity of a second labeling image obtained by the second labeling unit.

The wound detection apparatus according to claim 10, wherein
The determination unit determines a scratch on the inspection object based on the area and linearity of the second labeling image obtained by the second labeling unit, and further obtained by the second labeling unit. A flaw detection device that determines a flaw of the inspection object based on a length and a width of a second labeling image.