JP5067677B2 - 欠陥検出方法、欠陥検出装置、及びプログラム - Google Patents

Description

本発明は、画像処理技術を用いた欠陥検出方法、欠陥検出装置、及びプログラムに関する。

画像処理技術を用いて工業製品の欠陥を検出する方法としては、検査対象物の性質、及び想定される欠陥の性質等に応じて、従来から様々なものが提案されている。例えば、非特許文献１に説明される通り、テンプレートマッチングの方法によれば、あらかじめ記憶された検査対象物の理想的な形状を表わすテンプレートと入力パターンとを重ね合わせたときのユークリッド距離が許容範囲内であるかどうかを判定することにより、欠陥の有無、及び欠陥が存在する場合の欠陥位置を知ることができる。

テンプレートマッチングによる欠陥検出は幅広く行われているが、この方法は、プリントパターンや鋳造製品のように、理想的な形状が経時的原因により変化し得る検査対象物に適用した場合、誤検出の可能性を伴う。例えば、検査対象物の輪郭線上に欠陥と判定すべき欠けが存在しているが、欠けの度合が、検査対象物の理想的な形状に対して許容される膨張の範囲内である場合、凹凸が相殺され、欠けは欠陥と判定されず、見過ごされる可能性がある。こうした条件の下での欠陥検出にあっては、検査対象物の一部又は全体の膨張、収縮、或いは変形の影響を大きく受けない欠陥検出方法を採用する必要がある。

特許文献１は、検査対象物の輪郭線を構成するエッジ画素を抽出するとともに、各エッジ画素の向きを計測し、抽出されたエッジ画素に順に着目しつつ、着目中のエッジ画素の向きを当該着目中のエッジ画素から所定距離だけ離れた他のエッジ画素の向きと比較することにより、輪郭線上の欠陥の有無を判別する方法を提示している。この方法によれば、検査対象物の膨張、収縮、或いは変形の影響を抑制し、輪郭線上の欠陥を検出することができると考えられる。

しかしながら、輪郭線上の各エッジ画素の向きを計測し、所定距離だけ離れたエッジ画素間の向きを比較するためには、エッジ抽出処理によりエッジ線を抽出した後、一般的には数画素の線幅を有するエッジ線を細線化しなければならない。細線化の処理は、特許文献１に説明される通り、抽出された画素を通り、かつ当該エッジ線を横切る少なくとも一つの直線上において、前記抽出された画素のエッジ強度がその周辺の画素のエッジ強度に対して極大値となる画素を抽出することによって行うが、エッジ抽出処理の段階で設定する閾値よりもエッジ強度が低い領域ではエッジ線が途切れるため、検査対象物の輪郭線上の欠陥検出を適切に行うためには、追加的にエッジ連結等の操作をしなければならない。また、エッジ画素同士を比較するにあたっては、各エッジ画素の座標、及び角度情報をエッジ線に沿ってソートする処理が必要となり、計算処理量が多くなる。

特開２００２−２０３２３３号公報 はじめての画像処理技術（工業調査会、岡崎彰夫著）

本発明は、従来技術における上述の課題を解決するためになされたものであり、検査対象物の輪郭線上の欠陥を検出するにあたり、検出結果に対する、前記検査対象物の許容される膨張、収縮、或いは変形の影響を抑制し、かつ、計算処理量を少なくすることで、高精度かつ効率的な欠陥検出方法、プログラム、及び装置を提供することを目的とする。

本発明は、検査対象物の欠陥を検出する方法であって、前記検査対象物の画像を含む撮像画像に対して、微分処理を適用することにより、エッジ強度画像を生成するとともに、エッジ角度画像を生成する工程と、前記エッジ角度画像に対して、さらに微分処理を適用することにより、強調されたエッジ角度を有する角度変化強度画像を生成する工程と、前記エッジ強度画像と前記角度変化強度画像に共通する特徴に基づいて前記検査対象物の欠陥を検出する工程と、を含むものであることを、最も主要な特徴とする。

請求項１、２、３、４、５，６、１０、１１，１２に記載する方法、プログラム、及び装置においては、従来技術に見られるエッジ線の細線化処理を排し、撮像画像全体に対して同一の微分処理を一様に適用するため、パラメータ設定の削減、及び高速処理が可能となる。

請求項７に記載する方法においては、検査対象物の輪郭線に応答するエッジ線を一方向に追跡した場合に、狭い画素領域（例えば、３画素×３画素からなる領域）内で１８０度を超えて当該エッジ線が逆進することはないという前提に立ち、着目画素の近傍に存在し、比較対象となる２画素の角度差分値が１８０度を超えているときは、当該角度差分値を３６０度から減じた値を、当該着目画素の角度微分値強度とすることにより、安定した検出結果を得ることができる。

請求項８に記載する方法においては、各着目画素に対し、エッジ線の変化方向を表わす正負の符号を角度変化符号として付与することにより、エッジ線の変化方向、つまりエッジ線の変化が凹、凸のいずれであるかを表わす情報を利用することができる。

請求項９に記載する方法においては、請求項１から８のいずれか一に記載の欠陥検出方法において、ブロブ処理を適用する工程をさらに備えていることにより、より精度の高い検出結果を得ることができる。

検査対象物の不良品の原画像を示す図。 検査対象物の不良品の二値化画像を示す図。 検査対象物の良品の二値化画像を示す図。 本発明の方法の工程を示すブロック図。 ソーベルフィルタの一例を示す図。 図１に示す検査対象物の不良品のエッジ線を表わすエッジ強度画像。 エッジ角度Θを表わす概念図。 図１に示す検査対象物の不良品のエッジ角度を表わすエッジ角度画像。 図８のエッジ角度画像に基づく角度変化強度画像。 角度変化強度画像生成のフローチャート。 プリューウィットフィルタの一例を示す図。 エッジ角度画像内の着目画素とその近傍画素を示す図。 着目画素を挟んで存在する画素セットの組み合わせを示す図。 角度差分値の算出方法に関する概念図。 乗算画像を示す図。 欠陥個所とともに、正常個所が抽出される検出結果を示す図。 欠陥の検出結果を示す図。 原画像を膨張、変形した形状に対する欠陥検出結果を示す図。 本発明の装置の構成図を示す図。

以下、図面を参照し、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に記載される発明を限定するものではない。また、以下においては、検査対象物を電子部品のリード端子として説明をするが、本発明の適用はこれに限られるものではない。

図１は、検査対象物の不良品の原画像を示しており、不良品の輪郭線上には、良品には存在しない特徴が存在している。図２は、説明の便宜のために、図１に示された不良品の原画像を一定の閾値を以て二値化したものである。図３は、同一の検査対象物の良品の二値化画像である。図２、及び図３に示す二値化画像は、本発明の実施の過程において、実際には生成されない。

図２においては、不良品の欠陥を、「切れ」、「突起」、「欠け」、「ピンホール」、及び「バリ」と分類して示している。これらの欠陥は、何れも良品の形状のばらつきの許容範囲を超えた異常を示しているものとする。但し、実際の欠陥の種類は上記に例示したものに限定されるものではない。尚、図２において「異物」と分類されたごく狭い領域は、背景に存在する異物を示しており、検査対象物自体に存在するものではないが、本発明の実際の用途によっては、何らかの方法により除去されるべきものである。図２に示される欠陥は、何れも、良品の輪郭線の対応個所に対して、輪郭線の急峻な変化を有している。このように、実際の製造工程において発生する欠陥には、良品の輪郭線の対応個所に対して、輪郭線の急峻な変化を生じさせるものが多い。

はじめに、本発明の方法の一実施形態の概略を述べる。図４は、本発明の方法の各工程を示すブロック図である。まず、検査対象物を撮像した原画像に対して、微分処理を行う（Ｓ１０１）ことにより、エッジ角度画像、及びエッジ強度画像を生成する（Ｓ１０２、Ｓ１０３）。次に、前記エッジ角度画像に対して、後に詳述する手順により、さらに微分処理を行う（Ｓ１０４）ことにより、強調されたエッジ角度を有する角度変化強度画像を生成する（Ｓ１０５）。次に、前記角度変化強度画像と前記エッジ強度画像とを乗算する（Ｓ１０６）ことにより、特徴共通画像を生成する（Ｓ１０７）。さらに、前記特徴共通画像に対して、ブロブ処理を適用する（Ｓ１０８）ことにより、予め定義した条件に合致する画素領域を欠陥の存在位置とする（Ｓ１０９）。欠陥が存在しないものと判定された検査対象物は、良品とする。

以下、各工程を詳述する。
（エッジ強度画像、及びエッジ角度画像の生成工程）
検査対象物の原画像は、ＣＣＤカメラ、ＣＭＯＳカメラ等の撮像装置により撮像され、アナログ・デジタル変換により標本化された画像である。原画像を構成する各画素の濃度値は、０から２５５の２５６段階で量子化されているものとする。白から黒にわたる濃度値を０から２５５の整数値に対応させるにあたっては、０を白、２５５を黒とする方法と、反対に０を黒、２５５を白とする方法があるが、いずれであっても構わない。尚、「検査対象物」と称するのは、特段の断りがない限り、製造工程における検査等において、実際に欠陥検査を行う対象物であって、理想的な形状を有するモデルではない。本発明の方法は、検査対象物の輪郭線に急峻な角度変化が存在する領域を欠陥の存在領域の候補として抽出することを特徴とするものであるから、テンプレートマッチングの方法による欠陥検出の場合のように、検査対象物とモデルの形状の差異分析によって欠陥の存在領域の候補を特定しない。但し、後述するように、良品の輪郭線上に急峻な角度変化を示す個所が存在する場合において、このような正常個所を欠陥と誤認識しないように欠陥の存在領域の候補から除外するためには、何らかの方法で良品、或いはモデル（モデル品の形状を示すＣＡＤデータを含む）の撮像画像を利用する必要がある。

次に、前記原画像に対して、微分処理を行う（Ｓ１０１）。画像に対する微分処理とは、画像を構成する各画素に順に着目し、着目画素の周辺画素に対する変化の度合いを演算する処理である。各画素の変化の度合いは、画素の位置を変数とする場合の微分値となる。具体的には、前記微分処理は、微分フィルタを適用して行い、この処理の結果として、エッジ強度画像、及びエッジ角度画像を生成する（Ｓ１０２、Ｓ１０３）。微分フィルタとしては、ソーベルフィルタ、プリューウィットフィルタ、又はそれらの変形等を任意に選択することができるが、本実施形態においては、ソーベルフィルタを用いるものとする。

一般に、撮像対象物と背景の境界線においては濃度勾配が大きくなるため、微分画像の濃度勾配の大きい箇所は、撮像対象物のエッジ線らしい個所とみなされる。他方、単一色からなる背景内や撮像対象物の表面の色調が均質である個所では、近傍の画素間の濃度勾配は小さく、各着目画素の濃度勾配は小さい値を示す。

図５は、ソーベルフィルタの一例を示す説明図である。一組のソーベルフィルタに含まれる二のフィルタのそれぞれを構成する９の区画の各一は、原画像を構成する画素の大きさに一致しているものとする。ソーベルフィルタを適用する微分処理は、具体的には、着目画素につき、水平方向（ｘ軸方向）、及び垂直方向（ｙ軸方向）のそれぞれに対し、当該着目画素とこれを囲む周辺の８個の画素の濃度値に、図５に示される重み係数を以て積和演算した結果を、当該着目画素の変換後の濃度値とするものである。ソーベルフィルタの手法の詳細は、例えば田村秀行編著「コンピュータ画像処理」オーム社ｐ１９１等に説明されており、このような既知の手法を適宜利用できる。この微分処理により、画像の濃度値が急激に変化する画素位置が特定される。変換後の濃度値は、０から２５５の２５６段階で量子化されているものとする。以下の説明では、濃度勾配のスケールにつき、低い濃度勾配値から高い濃度勾配値に対応して、０から２５５の整数値を割り当てることを前提とする。

図６は、図１に示す検査対象物の不良品の原画像に対して、上記の方法で微分処理を行うことにより生成したエッジ強度画像である。検査対象物の輪郭線に応答する線が白い線として強調されていることが見て取れる。尚、このようにして強調されたエッジ線は、通常、２画素以上の画素からなる一定の幅を持った線として表われる。

次に、エッジ角度画像の生成工程（Ｓ１０３）について説明する。上述の通り、微分フィルタを適用する微分処理（Ｓ１０１）を適用することにより、エッジ強度画像を生成（Ｓ１０２）したが、これと同時に、或いは平行して、着目画素における濃度勾配の方向に関する情報を取得することができる。エッジ強度画像は、検査対象物のエッジ線を強調するものであるが、エッジ線を構成する各エッジ画素について、濃度勾配が極大となる方向（以下、「濃度勾配方向」という）を、当該エッジ画素の方向と捉えることができる。例えば、撮像対象物が白色の背景上に配置される黒色の真円形の平面物体である場合、エッジ線上の一点について濃度勾配が極大となる方向は、当該物体の円中心と当該エッジ線上の一点を結ぶ線の方向となる。

本明細書においては、前記エッジ強度画像中の着目画素の濃度勾配方向に直行する線が当該エッジ強度画像に対して固定された座標系のｘ軸に対してなす反時計回りの角度Θを、当該着目画素の「エッジ角度」と定義する。従って、例えば、検査対象物が真円形の平面物体である場合、エッジ強度画像中のエッジ線上の一のエッジ点についてのエッジ角度は、当該エッジ点における円の法線により決定される。尚、当然のことながら、座標系の設定の仕方により、エッジ角度の測定の基本的な向きは反時計回りではなく、時計回りとすることが適切となり得る。

図７は、本明細書における、エッジ角度の定義を概念的に示す。直線と曲線からなる輪郭線を有する被撮像物のエッジ線上の点Ｐにおける濃度勾配方向を示す線ｌに直行する直線ｔｌのｘ軸に対してなす反時計回りの角度Θが、点Ｐに応答する画素のエッジ角度である。

本明細書において、「エッジ角度」という場合、検査対象物の輪郭線に応答する前記エッジ強度画像内のエッジ線を構成するエッジ点のみならず、エッジ強度画像を構成する全ての画素について、着目画素の濃度勾配方向に直行する線がエッジ強度画像に対して固定された座標系のｘ軸に対してなす反時計回りの角度Θを指すことに注意を要する。エッジ角度は、０から２５５の２５６段階で量子化されているものとする。以下の説明では、エッジ角度は、０度以上３６０度未満の値に対応して、０から２５５の整数値を割り当てられていることを前提とする。但し、厳密には、一回転に相当する３６０度を２５６の段階に区分すると、１段階あたりの角度は１．４０６２５度となり、２５５に対応する角度は３５８．５９３７５度（１．４０６２５×２５５）となることに留意すべきである。

図８は、図１に示す検査対象物の不良品のエッジ強度画像の全画素につき得られたエッジ角度を表わしたエッジ角度画像である。図８のエッジ角度画像を図６のエッジ強度画像と比較すると、エッジ角度画像における、検査対象物の輪郭線に応答する線であって欠陥が存在しない範囲（１０、１１）では、エッジ角度はほぼ均一な値（色相）を示していることが見て取れる。これは、なめらかな、或いは直線的な輪郭線に応答するエッジ線上の近接する画素間では、エッジ角度がほぼ同値をとるためである。他方、同エッジ角度画像における、検査対象物の輪郭線に応答する線であって欠陥が存在する範囲（２０、２１）では、エッジ角度は、強い変化を示している。これは、輪郭線上に急峻な角度変化を生じている個所に応答するエッジ線上の近接する画素間では、エッジ角度に大きなばらつきがあるためである。また、同エッジ角度画像における背景領域では、エッジ角度は、不均一な値を示している。これは、背景領域には高い濃度勾配値がないため、エッジ角度がランダムな値を示すためである。

（角度変化強度画像の生成工程）
次に、エッジ角度画像に対して、さらに微分処理を行う（Ｓ１０４）ことにより、強調されたエッジ角度を有する角度変化強度画像を生成する工程（Ｓ１０５）について説明する。この工程の目的は、エッジ角度画像を構成する各画素に順に着目し、各画素のエッジ角度が周辺画素に対して急激な変化を示す画素位置を特定することにある。微分処理の具体的な方法としては、各種の公知の微分フィルタを適用することが可能だが、上記目的に照らし、エッジ角度の変化に強く反応する方法が好適である。

図９は、図８のエッジ角度画像の全体に対して、微分処理を行うことにより生成した角度変化強度画像を示している。角度変化強度画像の生成の工程については、図１０のフローチャートに従って詳細に説明する。

図１０は、角度変化強度画像の生成工程を示すフローチャートである。この工程では、エッジ角度画像に対して微分処理を行う。ここでの微分処理の手順として、まず、エッジ角度画像を構成する各画素に対し、微分フィルタを適用する。以下、角度変化強度画像を生成する工程で用いる微分フィルタを「角度変化フィルタ」という。本実施例では、角度変化フィルタとして、プリューウィットフィルタを利用する。図１１は、プリューウィットフィルタの一例を示す説明図である。

プリューウィットフィルタのオペレータは、前述のソーベルフィルタと同様に３画素×３画素のマスクサイズを有しているが、ソーベルフィルタとは異なり、上下左右の画素及び対角線上の画素に等しい重みを与えるものである。一の角度変化フィルタに含まれる９の区画の各一は、エッジ角度画像を構成する画素の大きさに一致しているものとする。

尚、プリューウィットフィルタを用いたエッジ検出手法の詳細については、前掲の田村秀行編著「コンピュータ画像処理」において、ソーベルフィルタを用いたエッジ検出手法と対比して説明されている。但し、前掲書においては、プリューウィットフィルタ、及びソーベルフィルタを含む空間フィルタを利用して、本発明の最大の特徴である角度変化強度画像を生成すること、又はその結果を利用して欠陥検出を行うことは教示されておらず、示唆されてもいない。

説明の便宜のため、一の角度変化フィルタの中央区画（８の区画に囲まれる中央の区画）を、エッジ角度画像を構成する着目画素に合わせたときの、当該着目画素を中心として対向する存在する２画素を第一近傍画素、及び第二近傍画素とし、第一近傍画素のエッジ角度をＥ１、第二近傍画素のエッジ角度をＥ２とする。着目画素の縦・横・斜めの何れの側に存在する画素を第一近傍画素とするかは任意に設定することができ、何れの場合も、第一近傍画素の反対側に存在する画素を第二近傍画素とする。図１２に示す通り、３画素×３画素からなる一の角度変化フィルタについて、第一近傍画素と第二近傍画素の組み合わせは４通り存在する。

一の着目画素につき、図１１に示すような一組の角度変化フィルタ（水平方向フィルタを第１角度変化フィルタ、垂直方向フィルタを第２角度変化フィルタとする）を適用する場合、当該着目画素に応答する、重み係数の異なる第一近傍画素、及び第二近傍画素の画素セットは８通りある。しかし、第１角度変化フィルタ、第２角度変化フィルタのそれぞれにつき、各一の方向については第一近傍画素、及び第二近傍画素に対する重み係数がゼロとなり、計算結果に影響を及ぼさないため、図１３に示す通り、実質的には、一の着目画素に応答する第一近傍画素、及び第二近傍画素の画素セットは６通りと考えることができる。

ここで、第１角度変化フィルタの中央の行を例にとって、着目画素の角度変化の算出方法を説明する。エッジ角度画像において、着目画素に係るある一方向のＥ１、Ｅ２に基づいて絶対値で表わされる角度差分値（ｄＥａ）は、次式で表わされる。
｜ｄＥａ｜＝｜Ｅ２−Ｅ１｜
例えば、着目画素を水平方向に挟む２画素のエッジ角度が、図１４−ａの通りである場合について考える。この例においては、Ｅ１は、エッジ強度画像に対して固定された座標系のｘ軸に対して、反時計回り（ａｎｔｉ−ｃｌｏｃｋｗｉｓｅ）に、２５６階調で１０の角度（１４．０６２５度）を示している。着目画素のエッジ角度は、１０の角度より大きい特定されない角度でｘ軸に対して傾いている。Ｅ２は、４０の角度（５６．２５度）を示している。この場合、第１角度変化フィルタを適用して得られる着目画素の水平方向の角度差分値は、３０（｜４０−１０｜＝３０）である。

別の場合として、Ｅ１が４０、Ｅ２も４０であるときは、着目画素の角度差分値は、０（｜４０−４０｜＝０）である（図１４−ｂ）。

別の場合として、Ｅ１が８０、Ｅ２が４０であるときは、着目画素の角度差分値は、４０（｜４０−８０｜＝４０）である（図１４−ｃ）。

さらに別の場合として、Ｅ１が１０、Ｅ２が２４０であるときは、着目画素の角度差分値は、２３０（｜２４０−１０｜＝２３０）である（図１４−ｄ）。

上述の図１４−ａ乃至１４−ｄのうち、１４−ａ、１４−ｂ、１４−ｃにあっては、角度差分値は１２８（１８０度に相当）未満であるのに対し、１４−ｄにおいては１２８以上である。しかし、実際には、数画素からなる狭い領域において、近傍の画素のエッジ角度が１８０度、又はこれを超える角度をもって反転することはほとんど考えられない。従って、反時計回りの角度差分値（ｄＥａ）が１２８から２５６の範囲の整数値を示している場合は、ｘ軸を基準として０度を挟んでいるものと合理的に推定できるため、１２８より小さい方の角度に置き換える処理を行う。このような置換処理は、具体的には次のように行うことができる。

角度差分値（ｄＥａ）が１２８以上である場合は、次式の通り、時計回り（ｃｌｏｃｋｗｉｓｅ）に見た角度を着目画素の置き換えられた角度差分値（ｄＥｃ）とする。
｜ｄＥｃ｜＝２５６−｜ｄＥａ｜
例えば、図１４−ｄの場合においては、角度差分値（ｄＥａ）は２３０（３２３．４３７５度）であるから、２５６から２３０を差し引くことにより、置き換えられた角度差分値（ｄＥｃ）は２６（３６．５６２５度）となる。このような置換処理により、実際には０度を挟んで３６度強の角度変化を示しているに過ぎないにもかかわらず、これを３２３度強の急激な角度変化であるとする誤ったファクターを供給することを回避することができる。

尚、仮に、検査対象物（或いはその欠陥）が画素の幅とほぼ同じ幅の細長い針のような形状を有していて、当該検査対象物が丁度、着目画素に差し掛かっているとした場合、当該着目画素における角度差分値は正しく１２８を示すと考えられる。この場合、前記置換処理の結果、置き換えられた角度差分値（ｄＥｃ）は１２８（１８０度）となる。仮に、角度差分値（ｄＥａ）が測定誤差等の理由により１２７であったとすれば、置換処理はなされないが、同処理が行われた場合との結果の差異は僅かであり、いずれにしても、本発明の方法による欠陥検出結果は、正しく、急激な角度変化を認識すると考えられる。

上記の通り、着目画素の角度差分値の大きさに応じて、絶対値で表わされるｄＥａ又はｄＥｃを、角度微分値強度（｜ｄＥ｜）とする。

前述の通り、一の着目画素に応答する第一近傍画素、及び第二近傍画素からなる画素セット、換言するとＥ１、Ｅ２の組み合わせは６通りある。全ての組み合わせについて角度微分値強度を計算し、それらの値の合計値を当該着目画素の変換後の角度微分値強度（Σ｜ｄＥ｜）とする。尚、前記６通りの組み合わせのそれぞれにつき角度微分強度値を算出するため、絶対値で表わされる角度微分強度値の合計は０から１５３０（＝２５５×６）の範囲を有する。これを８ビットで表わすためには、角度微分強度値の取り得る範囲を０から２５５の２５６段階で正規化すればよい。

上記フローに従って、順次、着目画素をずらして変換後の角度微分値強度を計算することにより、角度変化強度画像を生成することができる（Ｓ１０５）。尚、以降において、前記角度変化強度画像を構成する各画素の変換後の角度微分値強度に言及する場合には、これを単に「角度微分値強度」ということがある。

本実施形態においては、上記の通り、角度差分値を絶対値として取り扱うものとしているが、別の実施形態においては、Ｅ２−Ｅ１の値の正負を区別し、正負符号を保存することもできる。例えば、前記図１４−ｃの場合、着目画素に応答する一の画素セットにつきＥ２−Ｅ１の値は負の値−４０を示しているので、−４０を角度差分値（ｄＥａ）とする。同様に、他の複数の画素セットについても正負符号を伴う値を角度差分値とする。正負符号を考慮すること以外は上記説明の方法に従って、角度微分値強度を計算し、それらの値の合計値を、当該着目画素の角度微分値強度（ΣｄＥ）とする。

このように正負符号（角度変化符号）を考慮した場合、例えば、エッジ線に対して凸の角度変化があるときに角度微分値強度が負の符号を示すならば、反対に、エッジ線に対して凹の角度変化があるときに角度微分値強度は正の符号を示すことになる。この方法によれば、エッジ角度の変化の方向を加味した欠陥検出を行うことができる。つまり、例えば、「欠け」の欠陥と「突起」の欠陥を分類したり、同程度の急峻な角度変化を有するものであっても「欠け」を欠陥と看做さない一方で「突起」を欠陥と看做したりするといった応用が可能となる。

また、本実施形態においては上記の通り、数画素からなる狭い領域において近傍の画素のエッジ角度が１８０度、又はこれを超える角度での反転を示すことはほとんど考えられないとの前提に基づいているが、検査対象物によっては、限界角度の閾値として１８０度より小さい値を設定することも可能である。

（特徴共通画像の生成）
次いで、前記エッジ強度画像と前記角度変化強度画像に共通する特徴を有する画像を生成する。本明細書において、このような画像を「特徴共通画像」と称する場合がある。特徴共通画像を生成する工程を説明する（Ｓ１０６、Ｓ１０７）。特徴共通画像の生成工程は、同一の原画像に基づく二つの画像（角度変化強度画像とエッジ強度画像）の対応画素点であって、共通して高い濃度値（設定によっては低い濃度値）を示すものを抽出することを目的とする。特徴共通画像は、検査対象物の輪郭線上で急峻な角度変化が生じている、欠陥らしい個所を示す画像である。

特徴共通画像の生成は、上記目的を達成することのできる多様な方法によって行うことができる。具体的な方法の一つとして、前記角度変化強度画像と前記エッジ強度画像を乗じることにより得られる乗算画像を特徴共通画像とすることができる（Ｓ１０６、Ｓ１０７）。同一の原画像に基づく前記角度微分値強度（Σ｜ｄＥ｜）と前記エッジ強度を乗算した場合、特徴共通画像においては、前記角度微分値強度と前記エッジ強度の両方が高い値である画素位置で高い濃度値を示す。図１５は、図１の原画像に基づいて生成した特徴共通画像を示す図である。

図１５の特徴共通画像内の強い強度（明るい画素）は、前記角度変化強度画像と前記エッジ強度画像において共通して高い濃度値が得られた画素領域を示している。各領域は、概ね、検査対象物の輪郭線上で急峻な角度変化が生じている個所に一致する。尚、本検査対象物については、良品の輪郭線上にも急峻な角度変化を示す個所が存在するため、乗算画像においては、欠陥個所と同様、それらの個所（図示しない）も強い強度を示している。

特徴共通画像を生成するための他の具体的な方法として、乗算画像に代えて、前記角度変化強度画像と前記エッジ強度画像の論理積（ＡＮＤ条件）を演算することにより得られる論理積画像を特徴共通画像とすることも可能である。この場合であっても、良品の輪郭線上に存在する急峻な角度変化を示す個所が欠陥個所とともに抽出されることは、乗算画像を生成する場合と同様である。

また、特徴共通画像を生成するに際しては、任意の方法により、前記角度変化強度画像と前記エッジ強度画像の両方或いは何れか一方に、何らかの重み付けをしてもよい。例えば、特徴共通画像の生成工程においては、角度変化強度画像を構成する画素のうち、一定以上の角度微分強度値を有する画素のみを使用することができる。また、例えば、良品の輪郭線上に存在する急峻な角度変化を示す個所に応答する角度微分強度値が事前に分かっている場合、前記角度変化強度画像から、当該角度微分強度値を含む一定範囲の角度微分強度値を有する画素を排除した上で、特徴共通画像を生成してもよい。

（ブロブ処理）
上記のようにして得られた特徴共通画像は、概ね、検査対象物の欠陥を含む領域を示しているものと考えられる。しかし、特徴共通画像内で強い強度を示す領域のすべてが実際に検査対象物の欠陥個所に対応している保証はない。そこで、特徴共通画像内で、最終的に欠陥と判定すべき特徴を定義し、かかる特徴に合致する領域を抽出する必要がある。このような欠陥抽出工程（Ｓ１０８、Ｓ１０９）について、以下に説明する。

画像処理技術分野において、画像内の連結成分を抽出し、抽出された連結成分について、面積、重心位置、モーメント等を計測することを、一般にブロブ解析という。ブロブ解析は、特に、対象画像内に複数の連結形状が存在し、それらを個別に解析したいときに有効である。

ブロブ解析（Ｓ１０８）の手順を簡潔に説明する。前処理として、対象画像を一定の閾値により二値化する。次に、二値化画像に対し、公知のラベリング処理を適用する。ラベリング処理においては、例えば、画像の左上から右下に向かって画素（濃度値が１である画素）を順に走査し、連結している近傍画素には同一のラベルを割り当てる。連結が途切れ、新たな画素（濃度値が１である画素）が見つかったら、新たなラベルを割り当てる。ラベリング処理の結果、独立した連結領域毎に異なるラベルが割り振られた画像（「ラベル画像」）が得られる。

ラベル画像に対して適用するブロブ処理としては、検出しようとする欠陥に応じて、以下に例示するものを含む種々の方法が考えられる。

ブロブ処理の一例として、任意の面積を基準として、欠陥とみなすべき連結画素を定義することができる。これは、連結画素の形状に関係なく、一定面積に満たない異常個所は許容することができる場合に有効である。

別の例として、連結画素の一定の周囲長を基準として、欠陥とみなすべき連結画素を定義することもできる。一定の周囲長以上の連結画素を欠陥とすることは勿論、一定の周囲長未満の連結画素を欠陥とすることもできる。

別の例として、連結画素を水平線と垂直線で囲んだときの最小となる外接矩形を基準として、欠陥とみなすべき連結画素を定義することもできる。

その他、検査対象物に生じ得る欠陥の特性に応じ、モーメント、重心、最大長、複雑度、真円度等、任意の基準により欠陥とみなすべき連結画素を定義することができる。また、複数の基準を組み合わせて使用することも可能である。

良品の輪郭線上に急峻な角度変化を示す個所が存在する場合、このような正常個所を欠陥と誤認識しないように欠陥の存在領域の候補から除外する必要があるが、上述のブロブ処理では正常個所と欠陥個所の区別はできない。図１６は、特段の対応を行わなかったことにより、欠陥個所とともに、正常個所（３０、３１、３２、３３）が抽出される例を示している。この問題に対処するため、任意に定義されたマスクを使用して、ラベル画像の一部をブロブ解析から除外することが有効である。具体的には、良品の輪郭線上において急峻な角度変化を示す個所を部分的に覆うようなマスクを定義し、ラベル画像に重ね合わせ、局所的に色相を変更すればよい。図１７は、マスク処理を行なった上で、画素数で表わされる一定面積を基準として欠陥を検出した検出結果を示している（Ｓ１０９）。

また、角度差分値の正負符号を保存する実施形態においては、正負符号と、ブロブ解析の結果に基づき、検出された欠陥について「欠け」と「突起」の分類をすることも可能となる。

以上の通り、本発明の方法では、検査対象物とモデルの形状の差異分析によって欠陥の存在領域の候補を特定するアプローチをとらないから、検査対象物の許容される膨張、収縮、或いは変形の影響を受けることなく、高精度かつ効率的な欠陥検出が可能となる。図１８は、図１の欠陥を含む原画像を人工的に変形して作成した画像に対して、本発明の方法を適用し、必要なマスク処理をした上で、欠陥検出をした例である。検査対象物はもとの形状と比較して膨張し、変形しているが、もとの形状の対応個所に存在するのと同一の欠陥（「切れ」、「突起」、「欠け」、「ピンホール」、及び「バリ」、並びに「異物」）が、正しく検出されていることが分かる。つまり、本発明の方法は、検査対象物の許容される変化に対して、ロバストである。

また、本発明の方法では、エッジ線の細線化を要しないため、エッジ線が途切れることによる不具合を生じない。

さらに、本発明の方法では、エッジ線を構成する画素同士の比較を行わないため、各エッジ画素の座標、及び角度情報をエッジ線に沿ってソートするといった処理が不要であり、計算処理量が少なくて済む。

本発明のプログラムは、本発明の欠陥検出方法をコンピュータに実現させるためのコンピュータプログラムである。

本発明の装置は、本発明の欠陥検出方法を実現させるための欠陥検出装置であって、少なくとも、検査対象物の画像を撮像する手段と、前記検査対象物を含む撮像画像につき、エッジ強度画像、及びエッジ角度画像を生成する手段と、前記エッジ角度画像から強調されたエッジ角度を有する角度変化強度画像を生成する手段と、前記エッジ強度画像と前記角度変化強度画像につき、特徴共通画像を生成する手段と、前記特徴共通画像に基づいて、前記検査対象物の欠陥を検出する手段と、を備えていることを特徴とする欠陥検出装置である。図１９は、本発明の装置の構成図を示す。

本発明の装置は、さらに、各種の設定を行い、また、欠陥検出結果を表示するための表示装置を備えていてもよい。表示装置としては、ＣＲＴの他、液晶ディスプレイやプラズマディスプレイパネル等を使用することができる。

Claims (12)

1. 検査対象物の欠陥を検出する方法であって、
   前記検査対象物の画像を含む撮像画像に対して、微分処理を適用することにより、エッジ強度画像を生成するとともに、エッジ角度画像を生成する工程と、
   前記エッジ角度画像に対して、さらに微分処理を適用することにより、強調されたエッジ角度を有する角度変化強度画像を生成する工程と、
   前記エッジ強度画像と前記角度変化強度画像に共通する特徴に基づいて前記検査対象物の欠陥を検出する工程と、
   を含むことを特徴とする欠陥検出方法。
2. 請求項１に記載の欠陥検出方法において、
   前記エッジ角度画像を生成するための前記微分処理は、前記撮像画像を構成する画素中の一の着目画素につき、当該着目画素の近傍に位置する複数の画素の角度差分値に基づいて行うものであることを特徴とする欠陥検出方法。
3. 請求項１又は２に記載の欠陥検出方法において、
   前記エッジ強度画像、及び前記エッジ角度画像を生成するための前記微分処理は、微分フィルタを適用するものであることを特徴とする欠陥検出方法。
4. 請求項１から３のいずれか一に記載の欠陥検出方法において、前記欠陥を検出する工程は、前記角度変化強度画像と前記エッジ強度画像を乗じる工程を含むものであることを特徴とする欠陥検出方法。
5. 請求項１から３のいずれか一に記載の欠陥検出方法において、前記欠陥を検出する工程は、前記角度変化強度画像と前記エッジ強度画像の論理積を演算する工程を含むものであることを特徴とする欠陥検出方法。
6. 請求項１から５のいずれか一に記載の欠陥検出方法において、前記角度変化強度画像を生成する工程は、
   ３画素×３画素以上のマスクサイズを有する微分フィルタを適用し、
   前記エッジ角度画像を構成する画素中の一の着目画素につき、
   当該着目画素を中心として対向する２画素からなる複数の画素セットの各々を構成する２画素間の角度差分値の総和を角度微分値強度とし、
   順次、前記着目画素をずらして複数の角度微分値強度を算出する工程を含むことを特徴とする欠陥検出方法。
7. 請求項６に記載の欠陥検出方法において、前記角度変化強度画像を生成するための微分処理は、
   前記複数の画素セットの各々を構成する２画素間の角度差分値が０度以上３６０度未満の範囲の値をとるものとし、
   当該角度差分値が１８０度未満であるときはその値を、当該角度差分値が１８０度以上であるときは当該角度差分値を３６０度から減じた値を、当該着目画素の角度微分値強度とすることを特徴とする欠陥検出方法。
8. 請求項７に記載の欠陥検出方法において、前記角度微分値強度を算出する際には、
   さらに、前記角度差分値が正であるときは正、前記角度差分値が負であるときは負の符号を前記着目画素の角度変化符号として付与する工程を含むものであることを特徴とする欠陥検出方法。
9. 請求項１から８のいずれか一に記載の欠陥検出方法において、前記検査対象物の欠陥を検出する工程においては、ブロブ処理を適用する工程をさらに備えていることを特徴とする欠陥検出方法。
10. 請求項１から９のいずれか一に記載の欠陥検出方法をコンピュータに実現させるためのコンピュータプログラム。
11. 請求項１から９のいずれか一に記載の欠陥検出方法を実現させるための欠陥検出装置であって、少なくとも、前記検査対象物の画像を撮像する手段と、前記検査対象物を含む撮像画像につき、前記エッジ強度画像、及び前記エッジ角度画像を生成する手段と、
    前記エッジ角度画像から前記角度変化強度画像を生成する手段と、前記エッジ強度画像と前記角度変化強度画像に共通する特徴に基づいて前記検査対象物の欠陥を検出する手段と、を備えていることを特徴とする欠陥検出装置。
12. 請求項１１に記載の欠陥検出装置であって、前記検査対象物の欠陥の有無、及び検出された欠陥の特徴を視覚的に表示する手段をさらに備えていることを特徴とする欠陥検出装置。