JP6756417B1 - ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム - Google Patents
ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム Download PDFInfo
- Publication number
- JP6756417B1 JP6756417B1 JP2020510134A JP2020510134A JP6756417B1 JP 6756417 B1 JP6756417 B1 JP 6756417B1 JP 2020510134 A JP2020510134 A JP 2020510134A JP 2020510134 A JP2020510134 A JP 2020510134A JP 6756417 B1 JP6756417 B1 JP 6756417B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- defect candidate
- defect
- images
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 710
- 238000001514 detection method Methods 0.000 title claims abstract description 178
- 238000007689 inspection Methods 0.000 title claims description 46
- 239000002131 composite material Substances 0.000 claims abstract description 88
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 145
- 230000008569 process Effects 0.000 claims description 118
- 238000012545 processing Methods 0.000 claims description 53
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 41
- 238000005286 illumination Methods 0.000 claims description 28
- 239000000203 mixture Substances 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 241000951471 Citrus junos Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 101100348001 Caenorhabditis elegans nas-24 gene Proteins 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000843975 Empicoris rubromaculatus Species 0.000 description 1
- 206010052128 Glare Diseases 0.000 description 1
- 238000011088 calibration curve Methods 0.000 description 1
- 239000011247 coating layer Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
(1)表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得手段と、前記画像取得手段により取得された各画像について仮欠陥候補を抽出する仮欠陥候補抽出手段と、前記仮欠陥候補抽出手段により仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補を含む画像の数が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定手段と、前記欠陥候補決定手段により決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成手段と、前記画像合成手段により作成された合成画像に基づいて欠陥検出を行う検出手段と、前記欠陥候補決定手段により決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成手段と、を備え、前記画像合成手段は、欠陥候補毎に、前記画像群作成手段により作成された複数の推定領域画像を合成して合成画像を作成するとともに、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を互いにX座標及びY座標方向にずらした複数の組み合わせの中から評価値が最大になるように行うことを特徴とするワークの表面欠陥検出装置。
(2)表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得手段と、前記画像取得手段により取得された各画像について仮欠陥候補を抽出する仮欠陥候補抽出手段と、前記仮欠陥候補抽出手段により仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補を含む画像の数が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定手段と、前記欠陥候補決定手段により決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成手段と、前記画像合成手段により作成された合成画像に基づいて欠陥検出を行う検出手段と、前記欠陥候補決定手段により決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成手段と、を備え、前記画像合成手段は、欠陥候補毎に、前記画像群作成手段により作成された複数の推定領域画像を合成して合成画像を作成するとともに、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を、各中心座標の前記照明装置の明暗パターンに対応する画像の明暗パターンの境界からの位置に基づいて補正し、補正後の中心座標を重ね合わせることにより行うことを特徴とするワークの表面欠陥検出装置。
(3)前記閾値を第1の閾値としたとき、前記欠陥候補決定手段は、仮欠陥候補を欠陥候補として決定する処理の途中において、仮欠陥候補を含む画像の数が前記第1の閾値よりも小さく予め設定された第2の閾値に達していないときは、仮欠陥候補を欠陥候補として決定する処理を中止する前項1または2に記載のワークの表面欠陥検出装置。
(4)前記欠陥候補決定手段は、前記複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する前項1ないし3のいずれかに記載のワークの表面欠陥検出装置。
(5)前記仮欠陥候補の位置は仮欠陥候補の座標で表され、前記仮欠陥候補抽出手段により抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定手段を備え、前記欠陥候補決定手段は、前記後続する各画像において、前記座標推定手段により演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する請求項4に記載のワークの表面欠陥検出装置。
(6)前記合成画像は、標準偏差画像、位相画像、位相差画像、最大値画像、最小値画像、平均値画像の少なくともいずれかである前項1〜5のいずれかに記載のワークの表面欠陥検出装置。
(7)前記仮欠陥候補抽出手段は、小さい欠陥を抽出するルーチンと、緩い凸欠陥を抽出する処理ルーチンの少なくとも2種類で仮欠陥候補を抽出し、緩い凸欠陥のルーチンで検出された仮欠陥候補については欠陥サイズの補正を行う前項1〜6のいずれかに記載のワークの表面欠陥検出装置。
(8)前記検出手段は、欠陥候補の位相画像における2次元的な欠陥信号の2次元的な形状の真円度からのずれ量をもとに、糸ブツを判別する前項1〜7のいずれかに記載のワークの表面欠陥検出装置。
(9)表面欠陥の検出対象であるワークに対して、明暗パターンの照明光を照射する照明装置と、前記照明装置による照明光の前記ワークの被測定部位からの反射光を撮像する撮像手段と、前記ワークに対し前記照明装置による明暗パターンを相対的に移動させる移動手段と、前記移動手段により、前記ワークに対して前記照明装置の明暗パターンを相対的に移動させながら、前記ワークの被測定部位を撮像するように、前記撮像手段を制御する制御手段と、請求項1〜8のいずれかに記載のワークの表面欠陥検出装置と、を備え、前記画像取得手段は、前記撮像手段から前記ワークの被測定部位についての複数の画像を取得するワークの表面検査システム。
(10)表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得ステップと、前記画像取得ステップにより取得された各画像について仮欠陥候補を抽出する仮欠陥候補抽出ステップと、前記仮欠陥候補抽出ステップにより仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補を含む画像の数が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定ステップと、前記欠陥候補決定ステップにより決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成ステップと、前記画像合成ステップにより作成された合成画像に基づいて欠陥検出を行う検出ステップと、前記欠陥候補決定ステップにより決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成ステップと、をワークの表面欠陥検出装置が実行し、前記画像合成ステップでは、欠陥候補毎に、前記画像群作成ステップにより作成された複数の推定領域画像を合成して合成画像を作成するとともに、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を互いにX座標及びY座標方向にずらした複数の組み合わせの中から評価値が最大になるように行うことを特徴とするワークの表面欠陥検出方法。
(11)表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得ステップと、前記画像取得ステップにより取得された各画像について仮欠陥候補を抽出する仮欠陥候補抽出ステップと、前記仮欠陥候補抽出ステップにより仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補を含む画像の数が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定ステップと、前記欠陥候補決定ステップにより決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成ステップと、前記画像合成ステップにより作成された合成画像に基づいて欠陥検出を行う検出ステップと、前記欠陥候補決定ステップにより決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成ステップと、をワークの表面欠陥検出装置が実行し、前記画像合成ステップでは、欠陥候補毎に、前記画像群作成ステップにより作成された複数の推定領域画像を合成して合成画像を作成するとともに、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を、各中心座標の前記照明装置の明暗パターンに対応する画像の明暗パターンの境界からの位置に基づいて補正し、補正後の中心座標を重ね合わせることにより行うことを特徴とするワークの表面欠陥検出方法。
(12)前記閾値を第1の閾値としたとき、前記欠陥候補決定ステップでは、仮欠陥候補を欠陥候補として決定する処理の途中において、仮欠陥候補を含む画像の数が前記第1の閾値よりも小さく予め設定された第2の閾値に達していないときは、仮欠陥候補を欠陥候補として決定する処理を中止する前項10または11に記載のワークの表面欠陥検出方法。
(13)前記欠陥候補決定ステップでは、前記複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する前項10ないし12のいずれかに記載のワークの表面欠陥検出方法。
(14)前記仮欠陥候補の位置は仮欠陥候補の座標で表され、前記仮欠陥候補抽出ステップにより抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定ステップを備え、前記欠陥候補決定ステップでは、前記後続する各画像において、前記座標推定ステップにより演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する前項13に記載のワークの表面欠陥検査方法。
(15)前記合成画像は、標準偏差画像、位相画像、位相差画像、最大値画像、最小値画像、平均値画像の少なくともいずれかである前項10〜14のいずれかに記載のワークの表面欠陥検出方法。
(16)前記仮欠陥候補抽出ステップでは、小さい欠陥を抽出するルーチンと、緩い凸欠陥を抽出する処理ルーチンの少なくとも2種類で仮欠陥候補を抽出し、緩い凸欠陥のルーチンで検出された仮欠陥候補については欠陥サイズの補正を行う前項10〜15のいずれかに記載のワークの表面欠陥検出方法。
(17)前記検出ステップでは、欠陥候補の位相画像における2次元的な欠陥信号の2次元的な形状の真円度からのずれ量をもとに、糸ブツを判別する前項10〜16のいずれかに記載のワークの表面欠陥検出方法。
(18)前項10〜17のいずれかに記載のワークの表面欠陥検出方法をコンピュータに実行させるためのプログラム。
また、前項(1)及び(10)に記載の発明では、欠陥候補が含まれている複数の画像から切り出された複数の推定領域画像を1つの画像に合成し、この合成画像に基づいて欠陥検出が行われるから、欠陥検出に必要な領域のみを合成することができ、高精度な欠陥検出を行うことができる。また、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を互いにX座標及びY座標方向の少なくとも一方にずらした複数の組み合わせの中から評価値が最大になるように行うから、さらに精度の高い合成画像を作成することができ、ひいては高精度の表面欠陥検出を行うことができる。
前項(2)及び(11)に記載の発明によれば、各画像の中心座標を、各中心座標の前記照明装置の明暗パターンに対応する画像の明暗パターンの境界からの位置に基づいて補正し、補正後の中心座標を重ね合わせることで、合成画像の精度をさらに高めることができる。
[1]第1の表面欠陥検出処理
上述したように、欠陥検出PC22は、ワーク1の被測定部位の位置が移動方向に連続的にずれた複数の画像を、各カメラ8から取得する。この様子を図6に示す。同図(A)のA11〜A17は1台のカメラ8から時系列で連続的に取得された画像である。画像中に表示された、縦方向に延びる明帯(白色部分)と暗帯(黒色部分)が横方向に交互に存在する明暗パターンは、照明ユニット6による照明光の明暗縞パターンに対応している。
次に、マッチングの結果、推定座標40とその画像における実際の仮欠陥候補30とが対応する(マッチングする)画像の数を調べ、その数が予め設定された閾値以上かどうかを判断する。そして、閾値以上の場合には、仮欠陥候補30が実際に存在する蓋然性が高いことから、各画像の仮欠陥候補30を欠陥候補として決定する。図6(A)及び(B)の例では、画像A11の後続画像A12〜A17の全てについて、マッチングがとれている。つまり、推定座標40がその画像における仮欠陥候補30についての仮欠陥候補領域に含まれている。推定座標40と実際の仮欠陥候補30とが対応する画像の数が予め設定された閾値以上でない場合は、その仮欠陥候補30が欠陥候補である可能性は高くないと考えられるため、マッチングは中止し、次の仮欠陥候補30の抽出を行う。
また、推定座標40とその画像における実際の仮欠陥候補30とが対応する画像が予め設定された閾値以上存在する場合に、合成画像が作成され、欠陥検出が行われるから、欠陥が存在する可能性の高い場合に欠陥検出を行うことができ、処理負荷が小さくて済み検出効率が向上するうえ、検出精度も良くなる。
[1−1]合成画像作成時の変形例1
ところで、複数の推定領域画像C11〜C17を、各画像の中心座標において重ね合わせて合成するだけでは、精度を出せない場合がある。
[1−2]合成画像作成時の変形例2
複数の推定領域画像C11〜C17を、各画像の中心座標において重ね合わせて合成するだけでは精度を出せない場合の、他の合成画像作成法を図8に基づいて説明する。
[1−3]仮欠陥候補抽出処理の一例
仮欠陥候補抽出部222による、サイズが大きく曲率変化が緩い仮欠陥候補の抽出処理例について説明する。
(1)図9(A)に示すように、仮欠陥候補30によりワーク1の表面が曲率変化を持っていると、視線の方向が変わるが、さらに、各画素が睨む領域が広がる。その結果、各画素が対応する領域が点ではなく広がった領域となり、その領域内の平均的な輝度が画素信号に対応する。つまり、仮欠陥候補30の形状変化が急な場合は、各画素が睨む領域内で曲率変化が大きくなり、視線の傾きに加えて面積の広がりが無視できなくなる。睨む領域の拡大は信号の照明分布の平均化となる。明暗縞パターン照明(図9では白抜き部分が明、黒塗り部分が暗)で、領域が広がると、広がり方に応じた明暗両方の領域の平均的な値が得られる。この現象が生じる部分の明暗縞パターンが順次移動する場合、標準偏差画像でその影響が捉えられる。
(2)図9(B)に示すように、仮欠陥候補30によりワーク1の表面が曲率半径が大きく、ほぼ平面のまま傾くと、対応する領域は点のままだが、傾いていない面とは異なる方向を向く。仮欠陥候補30が大きい(形状変化が緩やかな)場合は、各画素が睨む領域は同じで視線方向が変わることが支配的となり、曲率変化は緩やかになる。標準偏差画像ではその変化は捉えられない。欠陥が大きな場合は、無欠陥部と欠陥部の面の傾きの違いが位相画像で検出できる。無欠陥部であれば、位相画像では、縞と平行方向の位相は同じで、縞と垂直な方向は縞の周期に応じて、一定の位相変化を生じる。欠陥部であれば、位相画像では、上記位相の規則性が乱れる。例えば、X方向、Y方向の位相画像を見ることで、緩やか曲面変化をもつ仮欠陥候補が検出できる。
[1−4]糸ブツ欠陥の検出
欠陥検出部227による欠陥検出の一例として、糸ブツの検出処理について説明する。
[1−5]フローチャート
図10は、欠陥検出PC22で実行される表面欠陥検出処理の内容を示すフローチャートである。この表面欠陥検出処理は、図5のステップS06の前段処理及びステップS08の後段処理の内容をさらに詳細に示したものである。また、この表面欠陥検出処理は、欠陥検出PC22内のプロセッサがハードディスク装置等の内蔵記憶装置に格納された動作プログラムに従って動作することにより実行される。
[2]第2の表面欠陥検出処理
上記の第1の表面欠陥検出処理では、欠陥検出PC22は、カメラ8から時系列で連続的に取得された画像の中から仮欠陥候補30を抽出するものとした。
[2−1]フローチャート
図14は、欠陥検出PCで実行される第2の表面欠陥検出処理を示すフローチャートである。なお、ステップS11〜S13、ステップS15〜S20は、図10のステップS11〜S13、ステップS15〜S20と同じであるので、同一のステップ番号を付し、説明は省略する。
[3]第3の表面欠陥検出処理
上述した第1の表面欠陥検出処理は、各画像A11〜A17において仮欠陥候補30を抽出したのち欠陥候補を決定し、欠陥候補の周囲の推定領域を算出し、複数の推定領域画像C11〜C17を合成して欠陥検出を行った。
[2−1]位置ずらし量に関する変形例1
上記の例では、分割した各領域1〜pに応じた位置ずらし量Sを、各領域1〜pの倍率情報と、事前に想定されるおおよその移動速度から、領域1〜p毎に算出したが、各領域1〜pに対し複数の位置ずらし量を設定した結果から、位置ずらし量Sを設定しても良い。
[2−2]位置ずらし量に関する変形例2
領域1〜p毎の位置ずらし量Sの設定は次のようにして行われても良い。即ち、図17のグラフのように、隣り合う画像間のワーク1の移動距離がわかれば、画像上での位置ずれ量が計算できる。前述の例では、あらかじめ想定されるワーク移動速度に基づいて、位置ずらし量を設定した。
[2−3]位置ずらし量に関する変形例3
変形例2では、ワークの位置を、複数台並べたカメラを用いて求めた。その代わりに、ワーク1あるいはワーク1と同一の動きをする支持部材の同一の部位を、距離センサ、速度センサ、振動センサのいずれか単独、または、それらの組み合わせを含む計測システムで計測し、ワーク位置情報を求めてもよい。
[2−4]フローチャート
ワークの表面検査システムの全体の処理は、図5に示したフローチャートに従って実施される。
[4]標準偏差画像等の作成
第1の表面欠陥検出処理及び第3の表面欠陥検出処理では、明暗の照明パターンを照射した状態でワークを移動させたときに、カメラ8により時系列に撮像された撮像範囲の重複した複数枚の画像に基づいて、合成対象の複数枚の画像を作成し、これら複数枚の画像を1枚の画像に合成して合成画像とした。この合成画像の一つとして、標準偏差画像等のように統計的なばらつき値を計算して合成した画像が考えられる。
[4−1]標準偏差画像に関する他の実施形態1
明暗パターンの照明を行う照明ユニット6のワーク1に対する照度のグラフを図18に示す。図21のグラフでは、波形の頂部71が明帯を示し、底部72が暗帯を示している。
[4−2]標準偏差画像に関する他の実施形態2
この実施形態においても、照明パターンの1周期に対して複数回(N回)の撮像を行う。N回は少ない数でも良い。
2 移動機構
3 照明フレーム
4 支持台
6 照明ユニット
7 カメラフレーム
8 カメラ
21 マスターPC
22 欠陥検出PC
30 仮欠陥候補
40 推定座標
221 画像取得部
222 仮欠陥候補抽出部
223 座標推定部
224 欠陥候補決定部
225 画像群作成部
226 画像合成部
227 欠陥検出部
Claims (18)
- 表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された各画像について仮欠陥候補を抽出する仮欠陥候補抽出手段と、
前記仮欠陥候補抽出手段により仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補を含む画像の数が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定手段と、
前記欠陥候補決定手段により決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成手段と、
前記画像合成手段により作成された合成画像に基づいて欠陥検出を行う検出手段と、
前記欠陥候補決定手段により決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成手段と、
を備え、
前記画像合成手段は、欠陥候補毎に、前記画像群作成手段により作成された複数の推定領域画像を合成して合成画像を作成するとともに、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を互いにX座標及びY座標方向にずらした複数の組み合わせの中から評価値が最大になるように行うことを特徴とするワークの表面欠陥検出装置。 - 表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された各画像について仮欠陥候補を抽出する仮欠陥候補抽出手段と、
前記仮欠陥候補抽出手段により仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補を含む画像の数が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定手段と、
前記欠陥候補決定手段により決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成手段と、
前記画像合成手段により作成された合成画像に基づいて欠陥検出を行う検出手段と、
前記欠陥候補決定手段により決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成手段と、
を備え、
前記画像合成手段は、欠陥候補毎に、前記画像群作成手段により作成された複数の推定領域画像を合成して合成画像を作成するとともに、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を、各中心座標の前記照明装置の明暗パターンに対応する画像の明暗パターンの境界からの位置に基づいて補正し、補正後の中心座標を重ね合わせることにより行うことを特徴とするワークの表面欠陥検出装置。 - 前記閾値を第1の閾値としたとき、前記欠陥候補決定手段は、仮欠陥候補を欠陥候補として決定する処理の途中において、仮欠陥候補を含む画像の数が前記第1の閾値よりも小さく予め設定された第2の閾値に達していないときは、仮欠陥候補を欠陥候補として決定する処理を中止する請求項1または2に記載のワークの表面欠陥検出装置。
- 前記欠陥候補決定手段は、前記複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する請求項1ないし3のいずれかに記載のワークの表面欠陥検出装置。
- 前記仮欠陥候補の位置は仮欠陥候補の座標で表され、
前記仮欠陥候補抽出手段により抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定手段を備え、
前記欠陥候補決定手段は、前記後続する各画像において、前記座標推定手段により演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する請求項4に記載のワークの表面欠陥検出装置。 - 前記合成画像は、標準偏差画像、位相画像、位相差画像、最大値画像、最小値画像、平均値画像の少なくともいずれかである請求項1〜5のいずれかに記載のワークの表面欠陥検出装置。
- 前記仮欠陥候補抽出手段は、小さい欠陥を抽出するルーチンと、緩い凸欠陥を抽出する処理ルーチンの少なくとも2種類で仮欠陥候補を抽出し、緩い凸欠陥のルーチンで検出された仮欠陥候補については欠陥サイズの補正を行う請求項1〜6のいずれかに記載のワークの表面欠陥検出装置。
- 前記検出手段は、欠陥候補の位相画像における2次元的な欠陥信号の2次元的な形状の真円度からのずれ量をもとに、糸ブツを判別する請求項1〜7のいずれかに記載のワークの表面欠陥検出装置。
- 表面欠陥の検出対象であるワークに対して、明暗パターンの照明光を照射する照明装置と、
前記照明装置による照明光の前記ワークの被測定部位からの反射光を撮像する撮像手段と、
前記ワークに対し前記照明装置による明暗パターンを相対的に移動させる移動手段と、
前記移動手段により、前記ワークに対して前記照明装置の明暗パターンを相対的に移動させながら、前記ワークの被測定部位を撮像するように、前記撮像手段を制御する制御手段と、
請求項1〜8のいずれかに記載のワークの表面欠陥検出装置と、
を備え、
前記画像取得手段は、前記撮像手段から前記ワークの被測定部位についての複数の画像を取得するワークの表面検査システム。 - 表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された各画像について仮欠陥候補を抽出する仮欠陥候補抽出ステップと、
前記仮欠陥候補抽出ステップにより仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補を含む画像の数が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定ステップと、
前記欠陥候補決定ステップにより決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成ステップと、
前記画像合成ステップにより作成された合成画像に基づいて欠陥検出を行う検出ステップと、
前記欠陥候補決定ステップにより決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成ステップと、
をワークの表面欠陥検出装置が実行し、
前記画像合成ステップでは、欠陥候補毎に、前記画像群作成ステップにより作成された複数の推定領域画像を合成して合成画像を作成するとともに、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を互いにX座標及びY座標方向にずらした複数の組み合わせの中から評価値が最大になるように行うことを特徴とするワークの表面欠陥検出方法。 - 表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された各画像について仮欠陥候補を抽出する仮欠陥候補抽出ステップと、
前記仮欠陥候補抽出ステップにより仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補を含む画像の数が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定ステップと、
前記欠陥候補決定ステップにより決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成ステップと、
前記画像合成ステップにより作成された合成画像に基づいて欠陥検出を行う検出ステップと、
前記欠陥候補決定ステップにより決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成ステップと、
をワークの表面欠陥検出装置が実行し、
前記画像合成ステップでは、欠陥候補毎に、前記画像群作成ステップにより作成された複数の推定領域画像を合成して合成画像を作成するとともに、合成画像作成時の複数の推定領域画像の位置合わせを、各画像の中心座標を、各中心座標の前記照明装置の明暗パターンに対応する画像の明暗パターンの境界からの位置に基づいて補正し、補正後の中心座標を重ね合わせることにより行うことを特徴とするワークの表面欠陥検出方法。 - 前記閾値を第1の閾値としたとき、前記欠陥候補決定ステップでは、仮欠陥候補を欠陥候補として決定する処理の途中において、仮欠陥候補を含む画像の数が前記第1の閾値よりも小さく予め設定された第2の閾値に達していないときは、仮欠陥候補を欠陥候補として決定する処理を中止する請求項10または11に記載のワークの表面欠陥検出方法。
- 前記欠陥候補決定ステップでは、前記複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する請求項10ないし12のいずれかに記載のワークの表面欠陥検出方法。
- 前記仮欠陥候補の位置は仮欠陥候補の座標で表され、
前記仮欠陥候補抽出ステップにより抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定ステップを備え、
前記欠陥候補決定ステップでは、前記後続する各画像において、前記座標推定ステップにより演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する請求項13に記載のワークの表面欠陥検査方法。 - 前記合成画像は、標準偏差画像、位相画像、位相差画像、最大値画像、最小値画像、平均値画像の少なくともいずれかである請求項10〜14のいずれかに記載のワークの表面欠陥検出方法。
- 前記仮欠陥候補抽出ステップでは、小さい欠陥を抽出するルーチンと、緩い凸欠陥を抽出する処理ルーチンの少なくとも2種類で仮欠陥候補を抽出し、緩い凸欠陥のルーチンで検出された仮欠陥候補については欠陥サイズの補正を行う請求項10〜15のいずれかに記載のワークの表面欠陥検出方法。
- 前記検出ステップでは、欠陥候補の位相画像における2次元的な欠陥信号の2次元的な形状の真円度からのずれ量をもとに、糸ブツを判別する請求項10〜16のいずれかに記載のワークの表面欠陥検出方法。
- 請求項10〜17のいずれかに記載のワークの表面欠陥検出方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/038908 WO2021064893A1 (ja) | 2019-10-02 | 2019-10-02 | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020140283A Division JP2021060392A (ja) | 2020-08-21 | 2020-08-21 | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6756417B1 true JP6756417B1 (ja) | 2020-09-16 |
JPWO2021064893A1 JPWO2021064893A1 (ja) | 2021-10-21 |
Family
ID=72432416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020510134A Active JP6756417B1 (ja) | 2019-10-02 | 2019-10-02 | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220335586A1 (ja) |
JP (1) | JP6756417B1 (ja) |
CN (1) | CN114450711A (ja) |
WO (1) | WO2021064893A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220292665A1 (en) * | 2019-10-02 | 2022-09-15 | Konica Minolta, Inc. | Workpiece surface defect detection device and detection method, workpiece surface inspection system, and program |
CN112179903B (zh) * | 2020-09-30 | 2022-08-19 | 深兰人工智能芯片研究院(江苏)有限公司 | 无锁空瓶检测方法和系统 |
CN114511443A (zh) * | 2020-10-29 | 2022-05-17 | 北京中祥英科技有限公司 | 图像处理、图像识别网络训练和图像识别的方法及装置 |
DE102020213828B4 (de) * | 2020-11-03 | 2022-12-01 | Volkswagen Aktiengesellschaft | Inspektionseinrichtung und Verfahren zum Überprüfen eines mittels eines Sinterverfahrens gefertigten Gegenstands auf mögliche Fehler |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11118731A (ja) * | 1997-10-20 | 1999-04-30 | Nissan Motor Co Ltd | 被検査面の欠陥検査方法およびその装置 |
JP2010151824A (ja) * | 2005-01-14 | 2010-07-08 | Hitachi High-Technologies Corp | パターン検査方法及びその装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040207836A1 (en) * | 2002-09-27 | 2004-10-21 | Rajeshwar Chhibber | High dynamic range optical inspection system and method |
-
2019
- 2019-10-02 JP JP2020510134A patent/JP6756417B1/ja active Active
- 2019-10-02 US US17/639,396 patent/US20220335586A1/en active Pending
- 2019-10-02 WO PCT/JP2019/038908 patent/WO2021064893A1/ja active Application Filing
- 2019-10-02 CN CN201980100819.6A patent/CN114450711A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11118731A (ja) * | 1997-10-20 | 1999-04-30 | Nissan Motor Co Ltd | 被検査面の欠陥検査方法およびその装置 |
JP2010151824A (ja) * | 2005-01-14 | 2010-07-08 | Hitachi High-Technologies Corp | パターン検査方法及びその装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114450711A (zh) | 2022-05-06 |
JPWO2021064893A1 (ja) | 2021-10-21 |
US20220335586A1 (en) | 2022-10-20 |
WO2021064893A1 (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6756417B1 (ja) | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム | |
JP6745173B2 (ja) | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP5672480B2 (ja) | ビードの終端部の形状を判定する装置及びその方法 | |
JP4644819B2 (ja) | 微小変位計測法及び装置 | |
CN106052591B (zh) | 测量设备、测量方法、系统和物品生产方法 | |
JP2021056183A (ja) | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム | |
JPWO2016208606A1 (ja) | 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法 | |
JP2021056182A (ja) | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム | |
WO2013061976A1 (ja) | 形状検査方法およびその装置 | |
JP6079948B1 (ja) | 表面欠陥検出装置および表面欠陥検出方法 | |
US11313675B2 (en) | Thread shape measuring apparatus and measuring method | |
CN111551567B (zh) | 一种基于条纹投影的物体表面缺陷检测方法及系统 | |
CN107271445B (zh) | 一种缺陷检测方法及装置 | |
JPWO2020110667A1 (ja) | 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル | |
JP2006010392A (ja) | 貫通穴計測システム及び方法並びに貫通穴計測用プログラム | |
JP5913903B2 (ja) | 形状検査方法およびその装置 | |
JP2017040600A (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
JP2013213733A (ja) | 検査対象物の検査装置およびその検査方法 | |
JP6425406B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2021065349A1 (ja) | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム | |
US10062155B2 (en) | Apparatus and method for detecting defect of image having periodic pattern | |
JP2021060392A (ja) | ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム | |
JP5895733B2 (ja) | 表面欠陥検査装置および表面欠陥検査方法 | |
JP4430680B2 (ja) | 3次元寸法計測装置及び3次元寸法計測プログラム | |
JP2018021873A (ja) | 表面検査装置、及び表面検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200219 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6756417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |