JP4139291B2 - 欠陥検査方法及び装置 - Google Patents

Description

本発明は、欠陥検査方法及び装置に関し、例えば物体表面の疵等の欠陥を検査する方法及び装置に関する。

従来から、例えば鋼板やアルミ板等を検査対象として表面欠陥を検査することが行われている。その方法として、検査対象の表面の画像を得て、他より明るく光っている部分あるいは逆に暗くなっている部分を抽出して欠陥かどうかを判定するものがあり、この検査方法によれば、取得した表面画像を信号処理することによって疵を特定できる。

このような表面疵検出方法においては、得られた表面画像の画素ごとに、所定の輝度閾値以上であるかどうかを判断して、閾値以上（あるいは以下）の画素を疵を構成する可能性のある画素として抽出する。その後抽出された画素を対象にラベリング処理（画素の連結処理）を行う。ラベリングの結果面積が所定の閾値を超えたものを疵と判断している。

例えば鏡面に仕上げられた表面に対してわずかの傷があるという場合には、このような方法でも有効であるが、検査対象に地模様又は汚れ等がある場合、これらを疵として検出してしまうことになる。また、結果的にノイズとなる画素であってもすべてラベリング処理の対象とすることで、処理速度を上げることが困難であり、また処理のために高性能な処理装置を必要とするという問題もあった。

なお、処理速度の向上を目指すものではないが、検出精度を上げるために、疵の種類に応じて複数の閾値を備えるようにした従来技術が知られている（特許文献１参照）。

特許第２８９０８０１号公報

本発明は、上記問題に鑑み、高速で効率的な処理を可能とする表面検査方法及び装置を提供することを目的とする。

本発明は、上記目的を達成するために、まず入力画像を重なり合う領域に分割し、領域内を所定の輝度閾値で二値化し、二値化された画素のうち所定（”０”又は”１”）の画素の数を算出し、画素数が所定の画素数閾値を超えた場合に当該領域を欠陥領域とする。

この構成によると、領域に分割してその中の画素数に閾値を設けたので、従来であれば拾ってしまうノイズ（例えば輝度が低く大きさも小さい）を除去して、疵のみを拾うことができる。また、タイル配置のように領域を重ねずに配置した場合は、領域の境界で分断されて画素数のカウント値が半減して疵と判定されない場合でも、領域を重ねて配置することにより、カウント値の減少を防ぐことができるので、疵の検出漏れを防止できる。

本発明は、前記欠陥領域を得て欠陥領域画像を得るとともに、入力画像を全体として二値化した二値化画像を得て、該二値化画像と欠陥領域画像との論理積をとって得られた検出欠陥二値化画像を基に欠陥検査を行う。

本発明はこのような構成を採用したことにより、ラベリング処理の前段でノイズを除去することができるので、以後のラベリングの負担を大幅に低減できる。

本発明においては、入力画像を分割する領域の形状は矩形とすることができ、領域の大きさ及び重なり量も複数セット備えて、複数のセットを用いて入力画像を重なり合う領域に分割することができる。

この構成によると、領域のサイズを検出したい疵に応じて変えることにより、例えば縦長疵だけを検出するようにもできる。従来の空間フィルタを用いた縦長疵の検出に比較して、はるかに低い負荷で処理できる。

さらに、輝度閾値及び画素数閾値も複数セットを備え、各セットによって欠陥領域を得ることができ、これらを組合わせて欠陥領域画像とすることができる。大きな輝度閾値と小さな画素数閾値とのセット、及び小さな輝度閾値と大きな画素数閾値とのセットを組合わせてもよい。

このように、複数の閾値を持つことで、疵に応じた閾値を適用できる。例えば、輝度変化の大きい疵は小さなものでも拾い、輝度変化の少ない疵は大きなものだけ拾うようにできる。

さらに、入力画像は輝度が正規化された画像とすることができる。

この構成によれば、照明ムラによって画面を一様な閾値で二値化することが困難である場合でも、正規化画像を得てこれを基に処理することにより、全画面一様な輝度閾値で処理が行える。

まず、本発明の実施形態の概略を説明する。

図１は、従来方法による二値化画像を示すもので、検査表面の画像を輝度閾値を用いて二値化したものである。二値化により疵Ｋとノイズ部Ｎが現れている。従来はこの画像を基にラベリング処理を行うのであるが、ノイズ部Ｎについてもラベリング処理が行われ、その負荷は大きいものであった。

本実施形態では、原画像（二値化する前の画像）を重なり合う矩形に分割し、矩形単位で疵が有るか無いかを判断する。これを図２に示す。図２には、疵Ｋを覆った２枚の矩形を示したが、実際にはこのような矩形で全画面を覆う。矩形Ｂは横ｌ、縦ｍであり、横ｘがｍ／２、縦ｙがｌ／２だけ重なっている。このように重なり合う矩形に分割し、矩形ごとに疵があるかないかを判断してゆくことになる。すなわち、まず輝度閾値を用いて二値化し、さらに輝度閾値を超えた画素の数を矩形ごとにカウントし、その結果が矩形に対して与えられる画素閾値を超えると、その矩形は疵あり矩形とする。なお、矩形を重ね合わせる理由は、矩形の境界での疵の取りこぼしを防ぐためである。

疵あり矩形を取り出したものを図３に示す。図３には、疵部分３を覆う矩形のみが疵あり矩形として残っている。図１のノイズ部Ｎについていえば、輝度閾値を満足しても、矩形に与えられた画素閾値を超えなかったので、図３では現れていない。結局ノイズ部分が除去されて疵Ｋの存在を示す疵あり矩形のみが得られたことになる。ここで、図１と図３のＡＮＤをとれば、図１からノイズ部分Ｎが除かれ疵Ｋのみが存在する二値化画像が得られる。本実施形態の概要は以上のとおりで、ラベリング処理の前段階でノイズが除去されているので、処理の効率が向上する。

以下、図面４〜１２を参照して、本発明の実施の形態の概略を説明する。

図４〜６は、本発明の処理過程を示すフローであり、図７〜１２は、処理過程で得られる画像を示す。

図４に示したように、まず、ステップＳ１０で、ＣＣＤカメラ等の検出器から検査対象の表面画像が入力される。通常８ビット２５６階調の画像が用いられる。

次のステップＳ２０〜Ｓ５０で、画像の輝度を正規化し、ステップＳ５０で、正規化画像を得る。そのために、ステップＳ２０で、入力画像の各画素に輝度基準値（本例の場合１２８）を乗算するとともに、ステップＳ３０で、入力画像に対してローパスフィルタによる平均化処理を行い、各画素の周囲の平均輝度を得る。例えば、各画素の周囲３２×３２の移動平均を取る。そして、ステップＳ４０では、ステップＳ２０の結果をステップＳ３０の結果で除算する。このようにして、輝度の正規化を行い、ステップＳ５０で、正規化画像を得る。なお、ステップＳ２０の乗算処理の意味は、整数（０〜２５５）で表されている階調を保存するためである。

図７に、ステップＳ５０における輝度の正規化処理を終えた画像を示す。左上に面積の広い薄い色の部分Ｐ１、右下に小さいが黒い部分Ｐ２、中央の縦方向に多数の薄く小さい部分の集合Ｐ３が見える。

このように入力画像を正規化しておくと、照明ムラ等によって検出器からの入力画像のままでは画面を一様な閾値で二値化することができない場合であっても、全画面に対して一様な閾値を用いて処理することができる。

次のステップＳ６０（図５）で、正規化された画像を重なりをもった矩形領域に分割する。本例では、先に示した図２と同様の矩形を用いる。前述のように、矩形Ｂは横ｌ、縦ｍであり、横ｘがｍ／２、縦ｙがｌ／２だけ重なっている。

矩形領域は、疵の場所を特定するものであって、予想される疵に応じて、その形状及び大きさを決めることができる。一般的には、予想される疵より少し大きく、疵を覆うことができる程度の形状及び大きさとするのがよい。例えば、縦長の疵であって、その一部が点線状になっている場合、縦長の矩形領域を用いると全体として縦長の疵を正確に認識できるものであっても、縦方向に短い矩形領域で分割すると、点線状の部分がノイズとして判断されて捨てられ、正確な疵の形状を見誤るおそれがある。ただし、当然のことながら、矩形領域が疵より大きく設定されなければならないということはない。矩形領域は、通常１６×３２画素程度でよく、縦長の疵に対しては、例えば１６×６４画素をとればよい。

矩形領域の形状及び大きさは、検出したい疵に対応して変えることができるので、例えば縦長の矩形領域を用いて縦長疵のみを検出するようにもできる。従来では、縦長疵を拾う場合空間フィルタを用いて処理していたが、空間フィルタは演算量が大きく、処理に負荷がかかっていた。本発明の矩形領域を用いると、はるかに低い負荷で処理できることになる。

重なり部分は、本例では横ｘがｍ／２、縦ｙがｌ／２としたが、この重なり部分の大きさは任意であり、適宜決定できる。矩形を重ね合わせる意味は、矩形を重ね合わせることなく配置した場合、矩形の境界部分に傷があった場合その傷を取り落とすことがあるからである。本発明では所定条件を満足する画素数をカウントし、所定の画素数以上となる矩形を疵あり矩形とする処理を行うもので、その際に、矩形境界で疵が分断され、たとえば両方の矩形で疵の画素数が半分になると、カウントもれが起こり、疵として認識されない場合があるからである。したがって、カウント漏れが無いようにするには、重なり部分ｘ，ｙを大きく、１／２以上とするほうがよい。ただし、重なり部分を大きくするとそれだけ多くの矩形が必要となるので、処理時間はかかることになる。本例では、前述のように１／２に等しくしている。また、画像分割領域を矩形としたが、三角形、平行四辺形など他の多角形でもよい。いずれにせよ、検査画像を覆うように分割できる領域であればよい。

次のステップＳ７０〜Ｓ９０及びＳ７１〜Ｓ９１では、それぞれ、異なる輝度閾値と画素数閾値のセットを用いて、疵あり矩形を特定する。

ステップＳ７０で、矩形領域を第１の輝度閾値を用いて二値化し、ステップＳ８０で、矩形領域ごとに輝度閾値を超えている画素数をカウントし、ステップＳ９０で、カウントした結果が第１の画素数閾値を超えている矩形を疵あり矩形とする。ここで、輝度閾値と画素数閾値とのセットは、例えば、第１の輝度閾値が、１２８（平均値）に近く、第１の画素数閾値は大きくすることが考えられる。第１のセットでは、薄く広がっている領域を疵と判定できる。

このような閾値のセットで図７の画像を処理した例を図８に示す。輝度閾値が平均値に近く、画素数閾値が大きいため、色が薄くて広い領域Ｐ１が矩形Ｂ１に覆われて検出されている。他の面積が小さい部分Ｐ２，Ｐ３に対応する矩形は現れていない。

同様に、ステップＳ７１で、矩形領域を第２の輝度閾値を用いて二値化し、ステップＳ８１で、矩形領域ごとに輝度閾値を超えている画素数をカウントし、ステップＳ９１で、カウントした結果が第２の画素数閾値を超えている矩形を疵あり矩形とする。ここで、第２の輝度閾値は、１２８より遠く（すなわち０または２５５に近い）、第２の画素数閾値は小さくしている。第２のセットでは、黒く小さい領域を疵と判定できる。

この結果を図９に示す。画素数値は小さいが、輝度閾値が平均値から遠いので、黒い点に見える部分Ｐ２を覆う矩形Ｂ２のみが現れている。その他の部分Ｐ１，Ｐ３は、輝度閾値を満足しないので除かれている。

本例では、二組のセットを用いたが、これに限定されず、三組以上とすることもできるし、輝度閾値と画素数閾値の組合わせも検出しようとする疵に応じて種々変更できる。また、複数組を用いることなく、単一のセットのみを用いることもできる。

次のステップＳ１００では、ステップＳ９０又はステップＳ９１で疵あり矩形と判断された矩形を組合わせる（通常は論理和演算による）ことによって、ステップ１１０で、疵あり矩形マスク画像を得る。

図１０は、ステップＳ１００に従って、第１及び第２閾値セットを用いて得られた疵あり矩形マスクＢ１及びＢ２（図７及び図８）の論理和をとって組合わせて得られた疵あり矩形マスクである。

疵があるかないかを判定するだけが目的であれば、得られた疵あり矩形マスクによって、疵の場所が特定されているので、ここで終了してもよい。なお、ここでは論理和をとることによって組合わせたが、輝度閾値及び画素数閾値のセットによっては、その他の論理演算を行ってもよい。

正確な疵の形状を求めるためには、次のステップに進む。

そのために、ステップＳ１２０において、ステップＳ５０の正規化画像を用いて、所定の輝度閾値（ステップＳ７０で用いた閾値でもよいし、また他の値でもよい。）を用いた通常の二値化を行い、ステップＳ１３０で通常の二値化画像を得る。

図１１は、図７の正規化画像を通常の二値化処理して得られたもので、ある閾値より黒い画素Ｐ１，Ｐ２，Ｐ３はすべて検出されている。従来はこれをもとにラベリング処理などを行っていたが、これら多数の画素に対してラベリングを行うことは、処理装置に大きな負荷がかかっていた。

次に、ステップＳ１４０（図６）で、ステップＳ１３０で得られた通常の二値化画像とステップＳ１１０で得られた疵あり矩形画像との論理積（ＡＮＤ）をとる。

図１２は、疵あり矩形マスク（図１０）と通常の二値化画像（図１１）とのＡＮＤをとったもので、ステップＳ１５０の疵検出二値化画像である。図１２に示されているように、色が薄くても大きな疵Ｐ１、および、小さくても色が濃い疵Ｐ２が、大きさ及び形状を保存して検出することができ、ノイズとなる部分Ｐ３が除去されている。このように、通常の二値化画像で現れる地肌ノイズ等が消えて、求める疵だけが検出されることになる。

その後、疵の形状及び大きさを確定するために、画像処理を行う。すなわち、ステップＳ１６０で、ラベリング処理を行い、ステップＳ１７０で、特徴抽出処理を行い、疵の形状並びに大きさを確定する。

一般に、疵の有無だけでなく、疵の形状及び大きさを知るためにはラベリング処理が必要である。正確な疵の外形を表す二値画像を得るためには、低い輝度閾値で二値化するのがよいが、閾値を下げておくと地肌ノイズも拾ってしまい、多数の画素を対象にラベリング処理を行わざるを得ず、ラベリング処理の負荷が増大する結果となっていた。本実施形態では、疵あり領域を特定し疵あり矩形マスクを用いて、ラベリング処理の前段でノイズを除去している。したがって、ラベリングの負担を大幅に低減できた。

ステップＳ１８０では、疵の長さ、幅、周囲長に基づいて、疵の有害度を判定し、ステップＳ１９０で疵画像の表示がなされる。

本発明によると、ラベリング処理など画素ごとに行わなければならない負荷の大きい画像処理の前に、疵あり矩形マスクを得て、これによって地肌ノイズ等の疵ではない部分を除去して、画像処理を行う対象を限定することができるから、疵の検出処理の効率を大幅に増すことができる。

次に、図１３を参照して、本発明装置の一実施形態の概略を説明する。

例えば鋼板ＳＴ等の検査対象からＣＣＤカメラＣ等の画像入力装置を介して、検査画像を画像入力部１に取り込む。検査画像は、画像入力部１から輝度正規化部２に送られて、正規化画像を得る。正規化画像は、矩形二値化部３と通常二値化部４に送られ、それぞれ疵あり矩形画像と通常二値化画像とを生成し、演算部５により両画像のＡＮＤがとられて、疵検出二値画像を得る。その後疵検出二値画像を基に、画像処理部で、ラベリング及び特徴抽出が行われ、疵の形状や大きさが求められ、疵の有害度が判定される。画像表示部では、画像処理の後の疵画像が表示される。

本例では、鋼板を例に説明したが、検査対象となるものは鋼板に限らず、例えば、スラブでもよいし、例えば磁粉探傷で得られる蛍光画像あるいは超音波探傷画像にも適用できる。その他、検査対象の画像が得られさえすれば、本発明を適用することができる。

従来の二値化画像を示す概略図である。 本発明の１実施形態の矩形領域を示す説明図である。 本発明の１実施形態の疵あり矩形を示す説明図である。 本発明の１実施形態のフロー（その１）を示す図である。 本発明の１実施形態のフロー（その２）を示す図である。 本発明の１実施形態のフロー（その３）を示す図である。 本発明の１実施形態の正規化画像を示す図である。 本発明の１実施形態の第１の閾値セットにより得られた疵あり矩形を示す図である。 本発明の１実施形態の第２の閾値セットにより得られた疵あり矩形を示す図である。 図８及び図９に示す疵あり矩形の組合わせを示す図である。 本発明の１実施形態における通常の二値化画像を示す図である。 本発明の１実施形態における疵検出二値化画像を示す図である。 本発明の１実施形態の装置構成を示す図である。

符号の説明

Ｋ…疵
Ｂ，Ｂ１，Ｂ２…矩形領域
Ｎ…ノイズ部

Claims (12)

1. 入力画像を重なり合う領域に分割するステップと、
   領域内を所定の輝度閾値で二値化するステップと、
   前記領域内において前記二値化された画素のうち所定の値の画素数を算出するステップと、
   前記画素数が所定の画素数閾値を超えた場合前記領域を欠陥あり領域として欠陥領域画像を得るステップと、
   所定の輝度閾値で前記入力画像を二値化して二値化画像を得るステップと、
   該二値化画像と前記欠陥領域画像との論理積をとるステップと
   を含む欠陥検査方法。
2. 前記領域の形状は矩形である請求項１に記載の欠陥検査方法。
3. 前記入力画像を重なり合う領域に分割するステップは、前記領域の大きさ及び重なり量を複数セット有し、各セットで前記入力画像を重なり合う領域に分割する請求項１又は請求項２に記載の欠陥検査方法。
4. 前記輝度閾値及び前記画素数閾値は、複数の閾値が組合わされた複数のセットからなり、各セットを用いて得られた欠陥あり領域の組合わせにより前記欠陥領域画像を得る請求項１〜３のいずれか１項に記載の欠陥検査方法。
5. 前記複数の閾値の組合わせは、前記輝度閾値が大きい場合は前記画素数閾値を小さく、前記輝度閾値が小さい場合は前記画素数閾値を大きくする組合わせを有する請求項４に記載の欠陥検査方法。
6. 前記入力画像は輝度が正規化された画像である請求項１〜５のいずれか１項に記載の欠陥検査方法。
7. 検査対象の画像を入力する画像入力部と、
   入力画像を重なり合う領域に分割し、領域内を所定の輝度閾値で二値化し、前記領域内において前記二値化された画素のうち所定の値の画素数を算出し、前記画素数が所定の画素数閾値を超えた場合前記領域を欠陥領域として、欠陥領域画像を生成する領域二値化部と、
   所定の輝度閾値で前記入力画像を二値化して二値化画像を得る通常二値化部と、
   前記欠陥領域画像と前記通常二値化部から欠陥検査二値化画像を得る演算部と、
   前記欠陥検査二値化画像を表示する画像表示部と、
   を備える欠陥検査装置。
8. 前記領域の形状は矩形である請求項７に記載の欠陥検査装置。
9. 前記領域二値化部において、前記領域の大きさ及び重なり量を複数セット有し、各セットで前記入力画像を重なり合う領域に分割する請求項７又は請求項８に記載の欠陥検査装置。
10. 前記領域二値化部において、前記輝度閾値及び前記画素数閾値は、複数の閾値が組合わされた複数のセットからなり、各セットを用いて得られた欠陥あり領域の組合わせにより前記欠陥領域画像を生成する請求項７〜９のいずれか１項に記載の欠陥検査装置。
11. 前記複数の閾値の組合わせは、前記輝度閾値が大きい場合は前記画素数閾値を小さく、前記輝度閾値が小さい場合は前記画素数閾値を大きくする組合わせを有する請求項１０に記載の欠陥検査装置。
12. 前記入力画像は輝度が正規化された画像である請求項７〜１１のいずれか１項に記載の欠陥検査装置。

Images