JP6922539B2 - 表面欠陥判定方法および表面欠陥検査装置 - Google Patents

表面欠陥判定方法および表面欠陥検査装置 Download PDF

Info

Publication number
JP6922539B2
JP6922539B2 JP2017154148A JP2017154148A JP6922539B2 JP 6922539 B2 JP6922539 B2 JP 6922539B2 JP 2017154148 A JP2017154148 A JP 2017154148A JP 2017154148 A JP2017154148 A JP 2017154148A JP 6922539 B2 JP6922539 B2 JP 6922539B2
Authority
JP
Japan
Prior art keywords
defect
determination
inspected
abnormality
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017154148A
Other languages
English (en)
Other versions
JP2019032268A (ja
Inventor
祐輔 加賀谷
祐輔 加賀谷
Original Assignee
日立金属株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立金属株式会社 filed Critical 日立金属株式会社
Priority to JP2017154148A priority Critical patent/JP6922539B2/ja
Publication of JP2019032268A publication Critical patent/JP2019032268A/ja
Application granted granted Critical
Publication of JP6922539B2 publication Critical patent/JP6922539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、例えば鋳物等の表面欠陥を精度よく検出することが可能な表面欠陥判定方法および表面欠陥検査装置に関するものである。
安価に同一形状の製品を大量に製造する方法として、鋳造が知られている。鋳造は、複雑な形状の製品を、比較的短時間に製造できる一方、鋳物表面に、鋳型不良による転写、差し込み、砂かみ等の、凹部や凸部の欠陥を生じる場合がある。
しかし、このような表面欠陥は、引け巣等の内部欠陥と異なり、発生部位の予測が困難である。特に、複雑形状の鋳物は、欠陥の判定が難しく、欠陥の判定は、多くの場合、作業者の目視判断に頼っていた。
これに対し、表面欠陥の検出を装置により行う方法が提案されている。例えば、複数の位置からワークを撮像し、各画像の部分輝度を比較することにより、ワーク表面の欠陥検出を行う方法が提案されている(特許文献1)。
特開2013−195368号公報
しかし、鋳物の表面は、正常な部分でも微小な凹凸があり、同一の性状にない。このため、欠陥の見逃しを防止しようと、わずかな特異点でも検出するような判定基準にすると、表面性状のばらつきを欠陥と判定してしまい、虚報率が高くなってしまう。特に、複雑形状の鋳物の場合、欠陥の見え方が発生位置に依存するので、判定基準を決めるのが難しく、精度のよい欠陥判定が困難であった。
一方、精度よく合否判定を行う手法として、例えば、機械学習による判定手法が知られている。機械学習の「教師あり学習」による判定手法は、あらかじめ合格と不合格の両方のデータを学習して判定基準を定めることにより、対象物の合否判定を行うものである。この手法によれば、複雑形状の鋳物であっても、精度よく欠陥判定ができると考えられる。
しかし、上記判定方法を、被検査物の表面欠陥の検出に適用しようとすると、被検査物の各部位について、欠陥と非欠陥の両方の学習サンプルを準備する必要があり、現実的では無い。また、一つの被検査物について大量の画像を取得し、各画像の各部位について機械学習による判定手法を行おうとすると、学習時間および判定時間が非常に長くなってしまう。
本発明は、このような問題に鑑みてなされたものであり、被検査物の表面欠陥の判定を、精度よく、かつ、効率よく行うことが可能な、表面欠陥判定方法および表面欠陥検査装置を提供することを目的とする。
前述した目的を達成するため、第1の発明は、照明と撮像角度との組み合わせを変えた複数の撮像条件により被検査物の表面を撮像して複数の画像を取得するステップAと、前記複数の画像それぞれについて、前記被検査物の表面上の輝度異常部を検出して、輝度異常部の有無を判定するステップBと、前記複数の画像それぞれを複数の局所領域に分割し、前記輝度異常部を含む複数の局所領域を抽出するステップCと、前記輝度異常部を含む複数の局所領域それぞれについて、複数の第1の特徴量を抽出するステップDと、前記第1の特徴量を基に、前記輝度異常部が欠陥起因の可能性を有するか否かを判定するステップEと、前記ステップEにより、前記被検査物の表面上における欠陥候補を取得するステップFと前記欠陥候補について、前記第1の特徴量とは異なる複数の第2の特徴量を抽出するステップGと、前記第2の特徴量を基に、前記欠陥候補が欠陥か虚報かを判定するステップHと、を具備し、前記ステップEの判定には、教師なし学習を用いた判定手法を用い、前記ステップHの判定に、教師あり学習を用いた判定手法を用いることを特徴とする表面欠陥判定方法である。
前記第2の特徴量を、前記ステップEで欠陥起因の可能性があると判定された前記輝度異常部からは抽出し、欠陥起因ではないと判定された前記輝度異常部からは抽出しないことが望ましい。
前記教師なし学習を用いた判定手法として、前記第1の特徴量から算出したマハラノビス距離を基に判定する手法を用い、前記第1の特徴量を、グレーレベル同時生起行列に基づいて算出してもよい。
前記ステップCにおいて、前記複数の画像それぞれの視野に対し、前記被検査物の表面が所定以上の角度となる部位および所定以下の明度となる部位を除く領域について、局所領域に分割することが望ましい。
第1の発明によれば、複数の条件により撮像した複数の画像について、まず、各部位の局所ごとに、異なるパラメータにて設定された、複数の第1の特徴量を用いて、各部位の局所ごとに、欠陥起因の可能性を有する欠陥候補を抽出する。その後、部位による影響が小さい、複数の第2の特徴量を用いて、欠陥候補ごとに欠陥判定を行う。これにより、複雑形状の被検査物でも、精度よく欠陥判定を行うことができる。
そして判定には、非欠陥のサンプルの学習だけを行う「教師なし学習」による判定手法と、欠陥のサンプルと非欠陥のサンプルの両方の学習を行う「教師有り学習」による判定手法とを組み合わせる。このようにすることで、学習に必要となるサンプル数を増やすことなく、複雑形状の被検査物でも、より精度のよい欠陥判定を行うことができる。
特に、ステップEでは、欠陥起因の可能性があると判定した輝度異常部だけから、複数の第2の特徴量を抽出する。このようにすることで、複数の第2の特徴量を、欠陥起因ではないと判定した輝度異常部から抽出してしまうことを避けることができ、検査に必要な処理時間等を短縮して、効率よく欠陥判定を行うことができる。
また、「教師なし学習」による判定手法では、複数の第1の特徴量から算出したマハラノビス距離を基に判定を行う。そして、複数の第1の特徴量は、グレーレベル同時生起行列に基づいて算出する。このようにすることで、例えば鋳肌表面の凹凸を表現するような複雑な特徴量を、1つの特徴量(マハラノビス距離)で表すことができ、欠陥判定を精度よく、より簡単に行うことができる。
また、複数の画像は、それぞれの画像視野にて、被検査物の表面が所定以上の角度となる部位、および、所定以下の明度となる部位を除いて、局所領域に分割する。このようにすることで、輝度異常部を精度よく検出できる部位から欠陥候補を抽出できるので、欠陥判定を精度よく行うことができるとともに、検査に必要な処理時間等を短縮して、欠陥判定を効率よく行うことができる。
第2の発明は、照明装置と、撮像装置と、被検査物を保持するステージと、前記照明装置、前記撮像装置および前記ステージを制御する制御装置と、を具備し、前記制御装置によって、前記照明装置、前記撮像装置および前記ステージを動作させて、照明と撮像角度との組み合わせを変えた複数の撮像条件により被検査物の表面を撮像する画像取得手段と、前記画像取得手段によって得られた複数の画像それぞれについて、前記被検査物の表面上の輝度異常部を検出する輝度異常部検出手段と、前記複数の画像それぞれを複数の局所領域に分割し、前記輝度異常部を含む局所領域を抽出する局所領域抽出手段と、前記輝度異常部を含む局所領域それぞれについて、複数の第1の特徴量を抽出する第1特徴量取得手段と、教師なし学習を用いた判定手法を用いて、前記第1の特徴量を基に、前記輝度異常部が欠陥起因の可能性を有するか否かを判定する第1判定手段と、前記第1判定手段により、前記被検査物の表面上における欠陥候補を取得する欠陥候補取得手段と、前記欠陥候補取得手段により得られたそれぞれの欠陥候補について、前記第1の特徴量とは異なる複数の第2の特徴量を抽出する第2特徴量取得手段と、教師あり学習を用いた判定手法を用いて、前記第2の特徴量を基に、前記欠陥候補が欠陥か虚報かを判定する第2判定手段と、を具備することを特徴とする表面欠陥検査装置である。
第2の発明によれば、複雑形状の鋳物表面であっても、欠陥判定を精度よく行うことが可能な装置にすることができる。
本発明によれば、被検査物の表面欠陥の判定を、精度よく、かつ、効率よく行うことが可能な、表面欠陥判定方法および表面欠陥検査装置を提供することができる。
表面欠陥検査装置1の全体概略図。 表面欠陥検査装置1による表面欠陥検査のフローチャート。 表面欠陥検査装置1による表面欠陥検査のフローチャート。 撮像画像30の概念図。 処理画像30aの概念図。 局所領域33の概念図。 (a)、(b)は、輝度異常部31a、31bの概念図。
以下、本発明の表面欠陥検査装置1について説明する。図1は、表面欠陥検査装置1の全体概略図である。表面欠陥検査装置1は、主に、照明装置3、撮像装置5、ステージ7およびこれらを制御する制御装置10等を備えている。なお、配線等については図示を省略する。表面欠陥検査装置1は、被検査物9として、例えば、タービンホイール等の複雑形状の鋳物表面の欠陥を検出する装置である。
照明装置3は、例えばキセノン管によるストロボである。複数の照明装置3は、互いに位置および照射方向が異なり、それぞれ、ステージ7上の被検査物9に向けて光を照射できるようにしている。すなわち、それぞれの照明装置3によって、被検査物9にあらゆる方向(例えば、後述する被検査物9の中心軸に対して、複数の周方向位置および仰俯角)から光を照射できるようにしている。
なお、各照明装置3から被検査物9への光の照射条件を一定とするため、表面欠陥検査装置1は、外部からの光が被検査物9へ当たらないように、遮光することが望ましい。すなわち、被検査物9には、照明装置3からの光だけを照射することが望ましい。
撮像装置5は、例えばデジタルカメラであり、それぞれ撮像方向を異なる方向に向けている。図示の装置では、撮像装置5を、同一の鉛直線上に、水平方向に対してそれぞれ異なる仰俯角で設置していて、図示を省略したレンズを介して、それぞれ異なる方向からステージ7上の被検査物9を撮像できるようにしている。なお、撮像装置5および照明装置3の台数および配置は、図示の例だけでなく、例えば、3台の撮像装置5および9台の照明装置3を用いて、それらの組合せの27通りの条件で被検査物9を撮像してもよい。
ステージ7は、被検査物9を保持し、鉛直方向を回転軸として任意の角度に回転できるようにしている。これにより、被検査物9の全周を撮像装置5に向けることができるので、被検査物9の全周を撮像装置5によりあらゆる方向から撮像することができる。
ここで、被検査物9が一軸対称形状(中心軸を回転軸として、所定の角度だけ回転させると、見た目上同一の形態となる形状)である場合、ステージ7の回転軸と被検査物9の中心軸とを一致させて、被検査物9をステージ7に固定することが好ましい。このようにすることで、被検査物9を効率よく撮像できる撮像装置5および照明装置3の配置にすることができる。
照明装置3、撮像装置5、ステージ7は、図示を省略した配線により、制御装置10と接続している。制御装置10は、例えばコンピュータであり、各種条件の設定や処理の開始等の指示を入力するキーボードやタッチパネル等の入力部と、事前に各部の動作や合否判定基準等が記憶されたメモリ、HDD、SSD等の記憶部と、あらかじめ入力されたプログラムに基づいて各種の演算や処理を行うCPU等の演算・処理部等を有している。また、制御装置10は、通信制御部により撮像装置5から画像を取得できるとともに、取得した画像や検査結果を記憶部に記憶することもできる。また、制御装置10は、検査結果等をディスプレイやプリンタ、またはスピーカやライト等の出力部に出力することができる。
より具体的には、制御装置10の演算・処理部は、ステージ7を所定の角度に回転して停止し、照明装置3を順次個別に発光させる。そして、制御装置10の演算・処理部は、それぞれの照明装置3の発光と同期して、被検査物9を撮像装置5により各方向から撮像する。さらに、制御装置10は、照明装置3の発光と撮像とが終了すると、ステージ7を所定の角度に回転することができる。これを、被検査物9の全周について繰り返し行うことにより、各種撮像条件による複数の画像を撮像することができる。
なお、前述したように、被検査物9が、例えば、タービンホイールのように、中心軸に対して、所定角度毎に、見た目上、同一の形態になる場合には、ステージ7の一回の回転角度を、被検査物9の形状に応じて設定する。このようにすることで、例えば、フィンが9枚のタービンホイールでは、それぞれのフィンが正面に来る位置で、見た目上、全て同一の形態の画像を撮像することができる。
このような場合、例えば、ステージ7を20度毎回転させることで、全フィンについて、フィンが正面の視野と、フィン間が正面の視野を撮像することができる。すなわち、被検査物9が、タービンホイールのように周方向に同一形状が繰り返される形状の場合には、当該繰り返し角度またはその半角をステージ7の一回の回転角度に設定する。このようにすることで、画像形態の種類を少なくして、欠陥判定に用いる画像の数を少なくすることができる。
次に、被検査物9の表面欠陥判定方法について説明する。図2、図3は、表面欠陥検査装置1により被検査物9の合否判定をする、表面欠陥判定方法のフローチャートである。まず、被検査物9をステージ7に固定する。この際、被検査物9の中心軸とステージ7の回転軸とを合わせて、被検査物9の向きを所定の向きに合わせる。
次に、制御装置10により、各照明装置3を順次個別に発光させて、被検査物9に対して各方面から光を照射する。また、同時に、制御装置10の演算・処理部(画像取得手段を含む)により、それぞれの照明装置3を発光させ、各撮像装置5により、それぞれの方向から被検査物9を撮像する。前述したように、9台の照明装置3と3台の撮像装置5を用いることにより、ステージ7の一つの回転位置において、撮像条件の異なる27枚の画像を取得することができる。
そして、制御装置10により、ステージ7を所定の角度回転させるたびに、同一の撮像動作を繰り返す。例えば、ステージ7を20度ずつ回転させることにより、18回転位置×27枚で486枚の画像を取得する。このように、照明方向と撮像角度とを組み合わせた複数の撮像条件により、被検査物9の表面を複数の方向から撮像し、複数の画像を取得する(ステップ101)。
次に、制御装置10の演算・処理部(輝度異常部検出手段を含む)により、ステップ101で取得した複数の画像を基に、被検査物9表面の輝度異常部を検出する(ステップ102)。輝度異常部は、例えば、取得した画像に所定の処理を行ったものを、基準画像(健全な面性状の画像)と比較することにより検出することができる。これは、被検査物9の表面に欠陥があれば、被検査物9の当該部位に特有な影や光の反射が生じ、画像上における当該部位の輝度が、基準画像上における当該部位の輝度と異なることを利用して検出するもので、制御装置10の演算・処理部は、当該輝度の異なる部位を輝度異常部として検出する。
なお、前述した例のように、各撮像装置5により、被検査物9のフィンの正面位置とフィン間位置の2通りの形態(視野)の画像を取得する場合、3台の撮像装置5によれば、6通りの形態(視野)の画像を取得することができる。そして、各撮像に9台の照明装置を用いれば、それぞれの照明条件によって表面の輝度分布が異なる画像を取得することができる。すなわち、正面位置、撮像角度、照明角度がそれぞれ異なる2×3×9=54通りの画像を取得し、これらを判定に用いることができる。
また、輝度異常部の判定は、制御装置10の記憶部に、基準画像に所定の画像処理(例えばコントラスト調整や二値化処理等)を行った基準処理画像を記憶しておき、制御装置10の演算・処理部により、ステップ101で得た画像にも同様の画像処理を施し、必要に応じて記憶部に保存するとともに、対応する基準処理画像(同一の回転位置、撮像角度、照明角度の基準画像)と比較し、両者に所定以上の差が生じた部位を、輝度異常部と判定することもできる。なお、ステップ102における輝度異常部の検出は、上述の方法以外にも、公知の表面異常部の検出手法を適用することができる。
なお、本実施形態において輝度異常部を検出する場合、基準画像との微小な差を検出できるような「厳しめな」判定基準とする。例えば、事前に複数の不合格製品を用いて判定を行い、全ての欠陥を確実に輝度異常部として検出できるような判定基準にする。このようにすることで、ステップ102での欠陥の見落しを抑制することができ、欠陥検出を精度よく行うことができる。
なお、ステップ102において、欠陥見逃し率を0%に近づけようとすると、鋳物特有の表面性状のばらつき等も、輝度異常部として検出さしてしまうので、虚報率が高くなる。しかし、本発明では、以降のステップにより、輝度異常部が本当の欠陥であるか否かを判定するので、ステップ102では、虚報率がある程度高くなってもよいこととする。
次のステップ103では、ステップ102の検出結果に基づき、被検査物9を全画像について輝度異常部が発見されたか否かを判定する。そして、被検査物8の全画像について輝度異常部が発見されなかった場合には、ステップAに進み、被検査物9を合格とする。
一方、ステップ102の検出結果に基づき、被検査物9のある画像から輝度異常部を検出した場合には、ステップBに進み、制御装置10の演算・処理部(局所領域抽出手段を含む)により、ステップ101で得た複数の画像を複数の局所領域に分割し、輝度異常部を含む複数の局所領域を抽出する(ステップ104)。
図4は、ステップ101で得た画像の一例(概念図)であり、輝度異常部31a、31bを検出した、撮像画像30を示したものである。ステップ104では、撮像画像30のような輝度異常部を含む画像を複数の局所領域に分割する。
図5は、撮像画像30を局所領域33に分割した処理画像30a(概念図)である。局所領域33のサイズは、想定される欠陥のサイズや、被検査物9のサイズにより設定する。例えば、鋳物の表面欠陥を検出する場合には、概ね1mm角程度の局所領域33に分割するのが望ましい。
ここで、局所領域33は、複数の画像中の被検査物9全体を分割するように設定してもよいが、画像ごとに局所領域33に分割する部位を限定してもよい。例えば、複数の画像それぞれの視野について、被検査物9の表面が所定以上の角度となる部位、および、明度が所定以下となる部位等を除く領域だけを、局所領域33に分割してもよい。
例えば、輝度異常部は、被検査物9の表面が撮像装置5の撮像方向に対して略垂直であれば精度よく検出できるが、表面が撮像方向に平行に近づくにつれ検出精度は悪くなる。同様に、輝度異常部は、被検査物9の表面が照明装置3の影になって明度が低くなると検出精度は悪くなる。そこで、局所領域33を、輝度異常部の検出精度が悪くなるような部位を除外するように分割することで、分割した局所領域33については、精度よく輝度異常部を検出することができる。なお、ある撮像条件の画像において、上述の理由にて局所領域33に分割されなかった被検査物9の当該部位は、他の撮像条件の画像で局所領域33に分割されるようにする。すなわち、被検査物9の表面の全ての部位が、取得したある画像において、局所領域33に分割されるようにする。このようにすることで、制御装置10の演算・処理部は、前述した輝度異常部31a、31bを含む複数の局所領域33を精度よく抽出することができる。なお、ステップ104では、輝度異常部31a、31bを含む複数の局所領域33のそれぞれに、互いに区別可能な識別番号等を付し、以降のステップを識別番号順に処理できるようにしてもよい。
次に、制御装置10の演算・処理部(第1特徴量取得手段を含む)は、輝度異常部31aまたは輝度異常部31bを含む未判断の一つの局所領域33に注目し(ステップ105)、輝度異常部31aまたは輝度異常部31bを含む局所領域33について、複数の第1の特徴量を抽出する(ステップ106)。例えば、識別番号の最も若い局所領域33に注目して、複数の第1の特徴量を抽出する。ここで言う特徴量とは、対象となる部位の明るさや面積等といった対象の状態を説明するパラメータ値である。
ステップ106では、複数の第1の特徴量として、例えば、グレーレベル同時生起行列に基づいて算出した複数の特徴量を用いる。グレーレベル同時生起行列は、ある一定距離にあるピクセル間で、組合せのピクセル値の頻度を示す正方行列であり、行列から、エネルギー、相関、局所均質性、コントラスト等の複数の特徴量を算出できる。なお、グレーレベル同時生起行列は、テクスチャ解析手法の一つであり、対象部を模様として捉え、その模様の状態から複数の特徴量を算出することができる。
図6は、前述した輝度異常部31aを含む局所領域33の概念図である。局所領域33は、当該部位の被検査物9の表面と輝度異常部31aとを含んでいる。そして、制御装置10の演算・処理部は、全ての画像について、輝度異常部を含む局所領域33ごとに、異なるパラメータにて設定された、複数の第1の特徴量を抽出する。この際、局所領域33には、例えば、平滑化画像による除算等による正規化等の前処理を行い、輝度異常部を認識しやすくする。
次に、制御装置10の演算・処理部(第1判定手段を含む)により、各輝度異常部について、欠陥起因の可能性について判定を行う(ステップ107)。ここで、ステップ107の判定には機械学習を用いる。すなわち、機械学習により判定基準を作成し、その判定基準に基づいて各輝度異常部が欠陥起因か否かの判定をする。
なお、上記判定のための学習は、全ての画像の全ての局所領域33について行う必要がある。例えば、前述したように、54通りの基準画像それぞれを、200カ所の局所領域33に分割した場合には、54×200=10800の局所領域33について学習が必要であり、そのための学習サンプルが必要になる。
そこで、ステップ107における判定には、いわゆる「教師なし学習」による判定手法を用いる。「教師なし学習」では、非欠陥サンプルだけを学習すればよいので、「教師あり学習」のように、欠陥サンプルと非欠陥サンプルの両方を学習する必要がない。すなわち、上述した全ての局所領域について、複数の欠陥サンプルを準備する必要がないので、判定を効率よく行うことができる。
なお、ステップ107の判定には、例えば、前述した複数の第1の特徴量から算出したマハラノビス距離を基に判定する手法(MT法)や、1class−SVM等を用いることができる。ここで、MT法は、複数の特徴量をマハラノビス距離という1つの値に集約して判定に用いる判定手法であり、マハラノビス距離が閾値より小さければ合格と判定し、閾値より大きければ不合格とする。マハラノビス距離は、複数の合格サンプルの複数の特徴量と、判定対象の複数の特徴量を用いて算出することができる。ステップ107では、あらかじめ制御装置10の記憶部に、全ての局所領域33の非欠陥サンプル、すなわち、正常な面の学習結果を記憶しておき、制御装置10の演算・処理部により、抽出された各局所領域33について、輝度異常部が欠陥起因の可能性を有するか否か、判定を行う。
制御装置10の演算・処理部は、ステップ107において、輝度異常部が欠陥起因の可能性を有するか否かについて判定し、欠陥起因の可能性が無いと判定した場合には、ステップ112に進む。
一方、ステップ107において、輝度異常部が欠陥起因の可能性を有すると判定した場合には、制御装置10の演算・処理部(欠陥候補取得手段を含む)は、当該輝度異常部を、被検査物9表面の欠陥候補として取得する(ステップ108)。
ここで、輝度異常部は、ステップ102において検出した際、あらかじめ複数の第1の特徴量により分類分けをしておき、分類分けした各輝度異常部と可能性のある欠陥種類情報とを関連付けしておいてもよい。例えば、輝度異常部を、サイズや形状等から、あらかじめ、単体凹部、凹部の集団、単体凸部、凸部の集団、異物等のように、可能性が疑われる欠陥に分類しておいてもよい。このようにすることで、ステップ108で取得された全ての欠陥候補と、可能性のある欠陥の種類情報とを関連付けすることができる。
次に、ステップ107において欠陥起因の可能性があると判定された輝度異常部、すなわち、欠陥候補について、制御装置10の演算・処理部(第2特徴量取得手段を含む)により、複数の第2の特徴量を抽出する(ステップ109)。そして、ステップ107において欠陥起因の可能性はない、すなわち、欠陥ではないと判定した輝度異常部からは、複数の第2の特徴量を抽出しない。ここで、第2の特徴量は、第1の特徴量とは異なるものとし、例えば、欠陥候補の真円度、楕円(円)の長短比、最大径、最小径等といった、主に形状由来の特徴量とする。
図7(a)、図7(b)は、欠陥候補である輝度異常部31a、31bを示す概念図である。ステップ109では、局所領域33ごとに複数の第2の特徴量を抽出するのではなく、個々の欠陥候補ごとに複数の第2の特徴量を抽出する。ここで、複数の第2の特徴量を抽出するに当たっては、局所領域33ごとに欠陥候補の見え方が異なる点は考慮せず、被検査物9の全体について同一の判断を行うようにする。すなわち、同一形態の欠陥候補で、部位によって多少見え方が異なる場合があっても、その影響は考慮しないようにする。
次に、制御装置10の演算・処理部(第2判定手段を含む)により、それぞれの欠陥候補が、欠陥か否かを判定する(ステップ110)。なお、ステップ109、110では、欠陥候補ごとに関連付けした欠陥種類により、第2の特徴量の種類や判定基準を変えてもよい。
ステップ110において、欠陥候補を欠陥でないと判定した場合(ステップ107が虚報であったと判定した場合)には、ステップ112に進む。一方、ステップ110の判定で、欠陥候補が欠陥であると判定した場合には、対象の欠陥候補を欠陥と判断する(ステップ111)。
この際、ステップ111で対象の欠陥候補が欠陥であると判断した場合には、制御装置10の出力部から、音や光を出力して作業者に報知してもよい。
次に、制御装置10の演算・処理部により、全ての輝度異常部について、欠陥判定が完了したかどうかを判定する(ステップ112)。具体的には、ステップ104で輝度異常部を含むように分割された全ての局所領域33について、ステップ106以降のステップを行ったかどうかを判定する。未判定の輝度異常部を含む局所領域33がある場合には、ステップ105に戻り、順次、対象となる局所領域33について欠陥判定を行う。判定は、ステップ104において、各局所領域33に識別番号を付し、当該識別番号順に、局所領域33について判定を行ってもよい。
なお、同一の輝度異常部31aを複数の画像にて抽出している場合には、抽出した全ての画像の局所領域33について判定を行う。また、被検査物9の複数個所に輝度異常部が存在する場合には、すべての輝度異常部を含む全ての画像の局所領域33について判定を行う。
全ての輝度異常部について、ステップ106以降の判定を行った後、制御装置10の演算・処理部により、欠陥と判断した欠陥候補が被検査物9にあったか否かを判定する(ステップ113)。被検査物9の全ての欠陥候補を欠陥と判定しなかった場合には、被検査物9を合格とする。すなわち、ステップ103において、輝度異常部が一つも発見されなかった場合、あるいは、被検査物9に輝度異常部があっても、全ての輝度異常部が欠陥ではないと判定した場合には、被検査物9を合格とする。
一方、被検査物9の欠陥候補について、少なくとも一つを欠陥と判定した場合には、被検査物9を不合格と判定する。なお、本実施形態では、被検査物9の全ての輝度異常部についての欠陥判定が終了した後に、被検査物9の合否判定を行うが、例えば、輝度異常部の最初の一つを欠陥と判定した時点で、当該被検査物9を不合格と判定してもよい。すなわち、全ての輝度異常部ついての欠陥判定を待たずに、不合格の判定を行ってもよい。また、本実施形態では、一つの被検査物9について、輝度異常部を一つずつ順次判定したが、全ての輝度異常部について、同時にステップ106以降の工程を行ってもよい。
なお、制御装置10は、被検査物9の合格および不合格とともに、どの位置に欠陥あるいは欠陥候補があったか等の検査結果を、記憶部に記憶させてもよい。また、不合格になった被検査物9は、さらに目視検査を行って、より確実に不合格品だけを抽出してもよい。
ここで、ステップ110の欠陥判定には、ステップ107と同様に、機械学習を用いる。すなわち、それぞれの欠陥候補が欠陥であるか否かについて、機械学習により判定基準を作成し、この判定基準に基づいて判定を行う。ステップ110の欠陥判定には、例えば、SVMやDeep Learning等の判定手法を用いることができる。
また、ステップ110の欠陥判定には、いわゆる「教師あり学習」を用いた判定手法を用いる。「教師あり学習」は「教師なし学習」より精度よく判定できる反面、欠陥サンプルと非欠陥サンプルの両方を、判定結果と関連付けて学習させる必要があり、学習には非欠陥サンプルと欠陥サンプルの両方を準備する必要がある。
ステップ110の欠陥判定のための学習は、様々な形態の欠陥候補について行うが、全ての局所領域33ごとには学習しない。すなわち、各部位ごとに欠陥サンプルを準備することはせず、欠陥形態ごとに欠陥サンプルを準備する。例えば、単体凹部の欠陥に用いる複数の欠陥サンプルとしては、それぞれ異なる位置に単体凹部の欠陥が発生したサンプルでよい。このように、複数の欠陥サンプルと非欠陥サンプルを用いて、単体凹部の欠陥判定の学習を、欠陥形態ごとに行う。
ここで、ステップ110の欠陥判定のための学習に用いる欠陥サンプルは、目視検査で欠陥が確認されたサンプルを種類ごとに分類したものを用いる。一方、ステップ110の欠陥判定のための学習に用いる非欠陥サンプルは、例えば、ステップ103と同基準の判定で、輝度異常部の無かった被検査物9を用いることもできるが、発明者らは、より精度の高い学習方法を見出した。
前述したように、ステップ103における輝度異常部の有無の判定は、全ての欠陥を確実に輝度異常部として検出できるような判定基準で行っている。このため、実際にステップ103で検出した複数の輝度異常部は、多くの非欠陥を含んでいる。同様に、ステップ107において、欠陥起因の可能性を有すると判定した欠陥候補も、多くの非欠陥を含んでいる。
そこで、本発明では、ステップ110の欠陥判定の学習に用いる非欠陥サンプルとして、ステップ107で欠陥候補になったが、目視検査で欠陥が確認されなかったものを用いる。すなわち、ステップ107で欠陥がではないとされないような明らかな非欠陥ではなく、画像において欠陥のように見えるが、目視検査の結果、実際には欠陥ではないものを、ステップ110の欠陥判定の学習に、非欠陥サンプルとして用いる。
このように、欠陥サンプルと非欠陥サンプルを選択することで、ステップ110における欠陥判定を精度よく行うことができる。言い換えれば、ステップ110において、非欠陥を欠陥と判定する虚報率を低減することができる。
以上のように、本実施形態の表面欠陥判定フローについて説明してきたが、本実施形態の機械学習に用いる欠陥、非欠陥のサンプルは、例えば、以下のように準備することができる。まず、所定の数量の被検査物9について全数目視検査を行い、合格と不合格に分ける。そして、目視判定により合格した被検査物9を、ステップ106の判定の学習に用いる非欠陥サンプルとする。
次に、所定の数量の被検査物9について、ステップ101からステップ107までを行い、ステップ107で欠陥候補を抽出した被検査物9について、全数目視検査を行い、合格と不合格の被検査物9に分ける。ここで合格した被検査物9をステップ110の判定の学習に用いる非欠陥サンプルとする。また、不合格の被検査物9は、欠陥の形態により分類し、ステップ110の判定の学習に用いる欠陥サンプルとする。以上のサンプルを用いることにより、表面欠陥検査装置1を用いた、被検査物9の合否検査を行うことができる。
以上、本実施形態によれば、例えば、タービンホイール等の複雑な形状の鋳物表面であっても、欠陥判定を精度よく、かつ、効率よく行うことができる。
特に、「教師なし学習」による判定と、「教師あり学習」による判定とを組み合わせることで、より精度よく判定を行うことができる。なお、本実施形態は、単に「教師なし学習」による判定と「教師あり学習」による判定とを組み合わせているのではなく、まず、各部位を分割した局所領域ごとについて輝度異常部の欠陥起因の可能性について「教師なし学習」による判定を行い、その結果、欠陥起因の可能性がある輝度異常部について「教師あり学習」により欠陥判定を行っている。このようにすることで、それぞれ全く異なる判定基準により欠陥を絞り込むので、欠陥判定をより精度よく行うことができる。
また、局所領域33ごとに、輝度異常部が欠陥起因の可能性を有するか否か判定する際には、「教師なし学習」により判定を行うので、機械学習には、非欠陥サンプルだけを準備すればよく、局所領域33ごとに欠陥サンプルを準備する必要がない。また、局所領域33ごとに、部位による欠陥の見え方の違いも考慮しつつ、輝度異常部が欠陥の可能性を有するか否かを判定するため、部位ごとの形態等に応じた判定を行うことができる。
また、抽出した欠陥候補は、欠陥候補ごとに「教師あり学習」により判定を行うので、精度よく判定を行うことができる。この際、欠陥形態ごとに教師あり学習を行うことにより、判定を行うための学習に、欠陥位置ごとに、欠陥サンプルと非欠陥サンプルの両方を準備する必要はない。
また、欠陥候補ごとに行う「教師あり学習」による判定は、局所領域33ごとに行われた「教師なし学習」による判定によって、欠陥起因の可能性がある判定したものに対してだけ行う。このようにすることで、不要な部位について、複数の第2の特徴量の抽出やこれを用いた演算・処理等を行う必要がなくなるので、短時間にして効率よく欠陥判定を行うことができる。
また、複数の画像は、それぞれの画像視野にて、被検査物9表面全体を局所領域33に分割するのではなく、撮像装置5の撮像方向に垂直な面を基準として、被検査物9の表面が所定以上の角度となる部位、および、所定以下の明度となる部位を除いて、局所領域33に分割する。このようにすることで、輝度異常部を精度よく検出できない部位について、輝度異常部の判定をしなくて済み、欠陥判定を精度よく行うことができる。
異なる検査手法により、所定数の同一の被検査物について表面検査を行い、表面欠陥の検査精度を比較した。条件および結果を表1に示す。
手法1は、画像処理だけで欠陥判定を行った結果であり、処理画像の輝度異常部について、特徴量を閾値判断して欠陥判定したものである。すなわち、前述した実施形態において、ステップ101〜103だけを行ったものである。
手法2は、手法1で欠陥と判定したものについて、さらに、「教師なし学習」であるMT法により、追加的に欠陥判定を行った結果である。すなわち、前述した実施形態において、ステップ101〜107だけを行ったものである。
手法3は、手法1で欠陥と判定したものについて、さらに、「教師あり学習」であるSVMにより、追加的に欠陥判定を行った結果である。すなわち、前述した実施形態において、ステップ101〜111において、ステップ105〜ステップ107を飛ばして検査を行ったものである。
手法4は、手法1で欠陥と判定したものについて、さらに、「教師なし学習」であるMT法、および、「教師あり学習」であるSVMにより、追加的に欠陥判定を行った結果である。すなわち、前述した実施形態において、ステップ101〜111の全てについて検査を行ったものである。
なお、見逃し率は、各手法で合格と判断されたものの内、目視検査で不合格としたもの(実際の不合格製品数/各手法で合格と判定した製品数)である。また、虚報率は、不合格と判断したものの内、目視検査で合格としたものである(実際の合格製品数/各手法で不合格と判定した製品数)。なお、見逃し率および虚報率は、あくまでも被検査物の個数による計算のため、発見された欠陥ごとに適否を判断するものではない。例えば、目視検査で実際に合格となるべき被検査物に、5つの欠陥候補(実際には欠陥ではないもの)が含まれている場合であって、ある手法によれば、その内の4つの欠陥候補が欠陥ではないと正しく判定したとしても、残りの1つの欠陥候補を誤って欠陥起因であるとして判断して不合格であるとすれば、その被検査物に対しては、虚報であると判断される。
結果より、機械学習による判定を行わない手法1では、虚報率が48%と極めて高い結果となった。これは、見逃し率を0にするために、わずかな輝度の違いを輝度異常部と判定したためである。
一方、本実施形態の「教師なし学習」によるMT法を用いた手法2は、手法1に対して虚報率が低減した。なお、手法1だけの場合と比較して、虚報率の低下はわずか3%であるが、前述したように、これは手法1で検出された全ての輝度異常部の内、3%を合格であると判断したというものではない。あくまでも検査体の個数によるものである。このため、実際に手法1で検出された全ての輝度異常部の内、より多くの数の輝度異常部を非欠陥と判定しているものと考えられる。
同様に、本実施形態の「教師あり学習」によるSVMを用いた手法3も、手法1に対して虚報率が低減した。手法2の場合と比較して、より虚報率の低下が大きいのは、「教師あり学習」によって、欠陥判定の精度がよくなったためと考えられる。
これに対し、「教師なし学習」によるMT法による絞り込みと、「教師あり学習」によるSVMを併用した手法4は、手法1に対して虚報率は大きく低減した。本実施形態のように、局所領域ごとのMT法による判定と、欠陥候補ごとのSVMとを組み合わせることで、両者の欠点を互いに補いあい、より精度のよい検査手法となることが分かった。
以上、添付図を参照しながら、本発明の実施の形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1………表面欠陥検査装置
3………照明装置
5………撮像装置
7………ステージ
9………被検査物
10………制御装置
30………撮像画像
30a………処理画像
31a、31b………輝度異常部
33………局所領域

Claims (5)

  1. 照明と撮像角度との組み合わせを変えた複数の撮像条件により被検査物の表面を撮像して複数の画像を取得するステップAと、
    前記複数の画像それぞれについて、前記被検査物の表面上の輝度異常部を検出して、輝度異常部の有無を判定するステップBと、
    前記複数の画像それぞれを複数の局所領域に分割し、前記輝度異常部を含む局所領域を抽出するステップCと、
    前記輝度異常部を含む局所領域について、複数の第1の特徴量を抽出するステップDと、
    前記第1の特徴量を基に、前記輝度異常部が欠陥起因の可能性を有するか否かを判定するステップEと、
    前記ステップEにより、前記被検査物の表面上における欠陥候補を取得するステップFと、
    前記欠陥候補について、前記第1の特徴量とは異なる複数の第2の特徴量を抽出するステップGと、
    前記第2の特徴量を基に、前記欠陥候補が欠陥か虚報かを判定するステップHと、
    を具備し、
    前記ステップEの判定には、教師なし学習を用いた判定手法を用い、前記ステップHの判定に、教師あり学習を用いた判定手法を用いることを特徴とする表面欠陥判定方法。
  2. 前記第2の特徴量を、前記ステップEで欠陥起因の可能性があると判定された前記輝度異常部からは抽出し、欠陥起因ではないと判定された前記輝度異常部からは抽出しないことを特徴とする請求項1に記載の表面欠陥判定方法。
  3. 前記教師なし学習を用いた判定手法として、前記第1の特徴量から算出したマハラノビス距離を基に判定する手法を用い、
    前記第1の特徴量を、グレーレベル同時生起行列に基づいて算出することを特徴とする請求項1または請求項2に記載の表面欠陥判定方法。
  4. 前記ステップCにおいて、前記複数の画像それぞれの視野に対し、前記被検査物の表面が所定以上の角度となる部位および所定以下の明度となる部位を除く領域について、局所領域に分割することを特徴とする請求項1から請求項3のいずれかに記載の表面欠陥判定方法。
  5. 照明装置と、撮像装置と、被検査物を保持するステージと、前記照明装置、前記撮像装置および前記ステージを制御する制御装置と、
    を具備し、
    前記制御装置によって、前記照明装置、前記撮像装置および前記ステージを動作させて、照明と撮像角度との組み合わせを変えた複数の撮像条件により被検査物の表面を撮像する画像取得手段と、
    前記画像取得手段によって得られた複数の画像それぞれについて、前記被検査物の表面上の輝度異常部を検出して、輝度異常部の有無を判定する輝度異常部検出手段と、
    前記複数の画像それぞれを複数の局所領域に分割し、前記輝度異常部を含む局所領域を抽出する局所領域抽出手段と、
    前記輝度異常部を含む局所領域それぞれについて、複数の第1の特徴量を抽出する第1特徴量取得手段と、
    教師なし学習を用いた判定手法を用いて、前記第1の特徴量を基に、前記輝度異常部が欠陥起因の可能性を有するか否かを判定する第1判定手段と、
    前記第1判定手段により、前記被検査物の表面上における欠陥候補を取得する欠陥候補取得手段と、
    前記欠陥候補取得手段により得られたそれぞれの欠陥候補について、前記第1の特徴量とは異なる複数の第2の特徴量を抽出する第2特徴量取得手段と、
    教師あり学習を用いた判定手法を用いて、前記第2の特徴量を基に、前記欠陥候補が欠陥か虚報かを判定する第2判定手段と、
    を具備することを特徴とする表面欠陥検査装置。
JP2017154148A 2017-08-09 2017-08-09 表面欠陥判定方法および表面欠陥検査装置 Active JP6922539B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017154148A JP6922539B2 (ja) 2017-08-09 2017-08-09 表面欠陥判定方法および表面欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017154148A JP6922539B2 (ja) 2017-08-09 2017-08-09 表面欠陥判定方法および表面欠陥検査装置

Publications (2)

Publication Number Publication Date
JP2019032268A JP2019032268A (ja) 2019-02-28
JP6922539B2 true JP6922539B2 (ja) 2021-08-18

Family

ID=65523401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017154148A Active JP6922539B2 (ja) 2017-08-09 2017-08-09 表面欠陥判定方法および表面欠陥検査装置

Country Status (1)

Country Link
JP (1) JP6922539B2 (ja)

Also Published As

Publication number Publication date
JP2019032268A (ja) 2019-02-28

Similar Documents

Publication Publication Date Title
US9721337B2 (en) Detecting defects on a wafer using defect-specific information
KR101832081B1 (ko) 표면 결함 검출 방법 및 표면 결함 검출 장치
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
JP2005277395A5 (ja)
US20140376802A1 (en) Wafer Inspection Using Free-Form Care Areas
TW201504622A (zh) 圖案測定裝置,及半導體計測系統
TWI631638B (zh) 由參考影像改變之檢測方式設定
JP2007149055A5 (ja)
JP6371044B2 (ja) 表面欠陥検査装置および表面欠陥検査方法
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JP4739044B2 (ja) 外観検査装置
CN111539908A (zh) 对样本的缺陷检测的方法及其系统
KR20130031331A (ko) 유리병 검사장치
JP6922539B2 (ja) 表面欠陥判定方法および表面欠陥検査装置
JP6079948B1 (ja) 表面欠陥検出装置および表面欠陥検出方法
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
JP5647999B2 (ja) パターンマッチング装置、検査システム、及びコンピュータプログラム
JP2018096908A (ja) 検査装置及び検査方法
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
CN111527396A (zh) 设置生产线检查的系统和方法
TWI493177B (zh) 一種檢測具週期性結構光學薄膜的瑕疵檢測方法及其檢測裝置
JP2016217877A (ja) 欠損検査装置、及び欠損検査方法
JP2016217913A (ja) X線検査装置
WO2020110667A1 (ja) 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル
JPWO2020158630A1 (ja) 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210712

R150 Certificate of patent or registration of utility model

Ref document number: 6922539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150