JP6358351B1 - 表面欠陥検査方法及び表面欠陥検査装置 - Google Patents

表面欠陥検査方法及び表面欠陥検査装置 Download PDF

Info

Publication number
JP6358351B1
JP6358351B1 JP2017054426A JP2017054426A JP6358351B1 JP 6358351 B1 JP6358351 B1 JP 6358351B1 JP 2017054426 A JP2017054426 A JP 2017054426A JP 2017054426 A JP2017054426 A JP 2017054426A JP 6358351 B1 JP6358351 B1 JP 6358351B1
Authority
JP
Japan
Prior art keywords
image
abnormality
degree
texture feature
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017054426A
Other languages
English (en)
Other versions
JP2018155690A (ja
Inventor
嘉之 梅垣
嘉之 梅垣
貴彦 大重
貴彦 大重
腰原 敬弘
敬弘 腰原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017054426A priority Critical patent/JP6358351B1/ja
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Priority to KR1020197027127A priority patent/KR102257734B1/ko
Priority to EP18770965.4A priority patent/EP3605072A4/en
Priority to PCT/JP2018/007418 priority patent/WO2018173660A1/ja
Priority to CN201880018467.5A priority patent/CN110431404B/zh
Priority to MX2019011283A priority patent/MX2019011283A/es
Priority to US16/495,228 priority patent/US10859507B2/en
Application granted granted Critical
Publication of JP6358351B1 publication Critical patent/JP6358351B1/ja
Publication of JP2018155690A publication Critical patent/JP2018155690A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/898Irregularities in textured or patterned surfaces, e.g. textiles, wood
    • G01N21/8983Irregularities in textured or patterned surfaces, e.g. textiles, wood for testing textile webs, i.e. woven material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Textile Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】線状の細長い表面欠陥に対する感度を高めると共に線状の細長い表面欠陥と短く小さい表面欠陥とが混在する場合であっても両者を感度よく検出可すること。
【解決手段】本発明の一実施形態である表面欠陥検査装置1では、テクスチャ特徴画像生成部43が、入力画像に対して複数の空間フィルタによるフィルタ処理を施すことによって複数のテクスチャ特徴画像を生成し、テクスチャ特徴抽出部44が、入力画像上の各位置について複数のテクスチャ特徴画像の対応する位置の値を各々抽出して画像上の各位置における特徴ベクトルを生成し、異常度算出部45が、特徴ベクトルの各々について特徴ベクトルがなす多次元分布における異常度を算出して、入力画像上の各位置についての異常度を示した異常度画像を生成し、欠陥候補検出部46が、異常度画像において異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する。
【選択図】図1

Description

本発明は、表面欠陥検査方法及び表面欠陥検査装置に関する。
一般に、鋼帯の製造ラインでは、製品表面の品質保証や品質管理のために表面欠陥の検査が行われている。近年では、表面欠陥の検査に際して、表面欠陥検査装置の導入が進んでおり、検査の自動化や省力化が図られている。近年導入されている表面欠陥検査装置は、主に照明及びカメラによる光学系と画像処理系とからなるものが主流になっている。従来の表面欠陥検査装置では、対象となる表面欠陥を検出できるように、取得した画像における表面欠陥部の正常部に対するコントラスト、すなわちS/N比(信号雑音比)が大きくなるように、照明やカメラの角度を調整する、光学フィルタを用いる等の工夫をすることが一般的である。一方で、鋼帯の表面欠陥には多種多様な形態があり、それら全てについて良いS/N比が得られるような光学系は少ない。
特に、凹凸が小さく、コントラストが小さいが、鋼帯の長手方向に長いがゆえに有害度が大きな表面欠陥がある。このような表面欠陥の一例として、溶融亜鉛めっき鋼板の模様状ヘゲ欠陥がある。この模様状ヘゲ欠陥は、ヘゲ部と呼ばれる箇所が母材と比べて例えば鍍金厚に違いがあったり、合金化の程度に違いがあったりすることをきっかけに生じる。その結果、例えばヘゲ部の鍍金厚が厚く母材に対して凸である場合、調質圧延を掛けられることによりテンパ部(調質圧延ロールによって平坦につぶされた部分)の面積が非テンパ部の面積に比べて多くなる。一方、ヘゲ部が母材に対して凹である場合には、ヘゲ部は調質圧延ロールに接触しないために、非テンパ部が大半を占める。このため、ヘゲ部は母材と比べて顕著な凹凸を有さないが、凹凸に応じてテンパ部の比率が異なるため光の反射特性が変わり、外観が異なることによって模様状ヘゲ欠陥となる。この模様状ヘゲ欠陥は、溶融亜鉛めっき鋼板の長さ方向に細長く発生するため、凹凸は小さいが外観上有害となり、検出する必要が生じるものである。
また、細長い表面欠陥以外の検出が困難な表面欠陥の例として、アッシュがある。アッシュは溶融亜鉛めっき鋼板で生じる。アッシュは、亜鉛ポットから蒸発した亜鉛の蒸気がポットの付帯物に付着した後、亜鉛浴面に落下して浮遊することによって生成した異物が鋼板に付着して生じる表面欠陥であり、凹凸が小さい模様状の表面欠陥である。アッシュの画像はコントラストが小さいために、これまでの表面欠陥検査装置では自動検出することが困難であった。しかしながら、客先での目視検査でアッシュが見つかって外観上問題となることがあるために、アッシュも検出することが必要な表面欠陥となっている。
これらの表面欠陥は、いずれも検出が必要であるが、コントラストが小さく、従来の技法では検出が困難な表面欠陥であった。このような表面欠陥を検出するため、画像処理系でS/N比を向上させるような工夫も必要となる場合が多い。鋼帯の表面欠陥検査装置における従来の画像処理系では、照明の照度むら等が原因で生じる入力画像の輝度むらを補正した後、所定の閾値との比較によって表面欠陥部を検出することが通常である。さらに、正常部のノイズが大きい場合にはローパスフィルタを適用してノイズ低減を行ったり、微分フィルタを適用して表面欠陥部のエッジを強調したりする等して、表面欠陥部のS/N比を向上することが一般的に行われている。ところが、これらの工夫の多くは特定の表面欠陥種や状況においてのみ効果を有する場合が少なくない。特に前述したような長手方向に長い表面欠陥と長手方向に短い表面欠陥(小さい表面欠陥)とが混在する場合には、通常行われるフィルタ処理では、長手方向に長い表面欠陥のS/N比を上げて感度を上げると長手方向に短い表面欠陥の感度が下がり、逆に長手方向に短い表面欠陥の感度を上げると長手方向に長い表面欠陥の感度が下がるという問題があり、同時にS/N比を向上させることが困難であった。
一方、非特許文献1には、ガボールフィルター(ガボールウェーブレット)を適用した表面欠陥検査方法が記載されている。非特許文献1に記載の方法では、検査画像にガボールウェーブレットを適用して各ウェーブレット係数の統計的解析を行い、無欠陥の背景テクスチャにおける各ウェーブレット係数の分布を計算(推定)した後、計算(推定)された分布から各ウェーブレット係数に対する閾値を自動的に決定し、各ウェーブレット係数(画像)に閾値を適用した結果を結合して表面欠陥部を背景から分離した2値画像を生成する。また、非特許文献1に記載の方法は、布地のような周期的背景を持つ対象でも、ランダムで非周期的な背景を持つ対象にも適用可能である。
Rallo et al. "Unsupervised novelty detection using Gabor filters for defect segmentation in textures", J. Opt. Soc. Am. A, Opt. Image. Sci. Vis., 2009, Sep;26(9):1967-76.
従来の単純な画像と閾値との比較による表面欠陥検査方法によれば、S/N比が低いケースでは、表面欠陥信号とノイズとを分離することができない、すなわち、表面欠陥を検出しようとするとノイズを誤検出し、ノイズを誤検出しないようにすると表面欠陥も検出できないというジレンマが生じる。また、ローパスフィルタ等による対策も特定の形態の表面欠陥や背景(地合い)において効果を有する場合、別の形態の表面欠陥や背景では検出ができないという問題があった。一方、非特許文献1に記載の表面欠陥検査方法では、鋼帯製品の表面欠陥として良く見られる、鋼帯の長さ方向に細長い線状の表面欠陥が検出し難いという問題があった。図12(a)は鋼帯の線状の表面欠陥の画像例及び画像中の破線部の輝度プロファイルを示し、図12(b)は非特許文献1に記載の表面欠陥検査方法で図12(a)に示す表面欠陥を検出した画像及び画像中の破線部の輝度プロファイルを示す。図12(b)に示すように、非特許文献1に記載の表面欠陥検査方法では、鋼帯の長さ方向に細長い線状の表面欠陥を検出できていないことがわかる。
本発明は、上記課題に鑑みてなされたものであって、その目的は、線状の細長い表面欠陥に対する感度を高めると共に線状の細長い表面欠陥と短く小さい表面欠陥とが混在する場合であっても両者を感度よく検出可能な表面欠陥検査方法及び表面欠陥検査装置を提供することにある。
本発明に係る表面欠陥検査方法は、検査対象を撮影して元画像を取得する画像入力ステップと、前記元画像に対して複数の空間フィルタによるフィルタ処理を施すことにより複数のテクスチャ特徴画像を生成するテクスチャ特徴画像生成ステップと、前記元画像上の各位置について前記複数のテクスチャ特徴画像の対応する位置の値を各々抽出して前記元画像上の各位置における特徴ベクトルを生成するテクスチャ特徴抽出ステップと、前記特徴ベクトルの各々について前記特徴ベクトルがなす多次元分布における異常度を算出し、前記元画像上の各位置についての異常度を示した異常度画像を生成する異常度算出ステップと、前記異常度画像において前記異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する検出ステップと、を含むことを特徴とする。
本発明に係る表面欠陥検査方法は、上記発明において、前記テクスチャ特徴画像生成ステップは、前記空間フィルタによるフィルタ処理を、前記元画像を縮小した画像又は前記テクスチャ特徴画像を縮小した画像に対しても施すことにより、別のテクスチャ特徴画像を生成する処理を含むことを特徴とする。
本発明に係る表面欠陥検査方法は、上記発明において、前記元画像又は前記テクスチャ特徴画像の縮小方向が検出対象である線状欠陥と平行な方向である方向を含むことを特徴とする。
本発明に係る表面欠陥検査方法は、上記発明において、前記複数の空間フィルタがウェーブレット変換により実現されることを特徴とする。
本発明に係る表面欠陥検査方法は、上記発明において、前記複数の空間フィルタがガボールフィルタを含むことを特徴とする。
本発明に係る表面欠陥検査方法は、上記発明において、前記特徴ベクトルがなす多次元分布における異常度としてマハラノビス距離を用いることを特徴とする。
本発明に係る表面欠陥検査装置は、検査対象を撮影する撮像手段と、前記撮像手段が撮像した前記検査対象の元画像を取得する画像入力手段と、前記元画像に対して複数の空間フィルタによるフィルタ処理を施すことによって複数のテクスチャ特徴画像を生成するテクスチャ特徴画像生成手段と、前記元画像上の各位置について前記複数の特徴画像の対応する位置の値を各々抽出して前記元画像上の各位置における特徴ベクトルを生成するテクスチャ特徴抽出手段と、前記特徴ベクトルの各々について前記特徴ベクトルがなす多次元分布における異常度を算出して、前記元画像上の各位置についての異常度を示した異常度画像を生成する異常度算出手段と、前記異常度画像において前記異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する検出手段と、を備えることを特徴とする。
本発明に係る表面欠陥検査方法及び表面欠陥検査装置によれば、線状の細長い表面欠陥に対する感度を高めると共に線状の細長い表面欠陥と短く小さい表面欠陥とが混在する場合であっても両者を感度よく検出することができる。
図1は、本発明の一実施形態である表面欠陥検査装置の構成を示す模式図である。 図2は、本発明の一実施形態である表面欠陥検査処理の流れを示すフローチャートである。 図3は、入力画像に対する前処理の流れを示すフローチャートである。 図4は、補正画像に対する欠陥検出処理の流れを示すフローチャートである。 図5は、3次元空間にプロットしたガボール関数の一例を示す図である。 図6は、本発明の実施形態におけるガボールフィルタ処理を示すブロック線図である。 図7は、本発明の実施形態におけるガボールフィルタ処理の変形例を示すブロック線図である。 図8は、二次元の主成分分析の一例を示す図である。 図9は、欠陥判定処理の流れを示すフローチャートである。 図10は、鋼帯表面を撮影した画像例を示す図である。 図11は、図10に示す画像に対して本発明の欠陥検出処理を適用した実施例を示す図である。 図12は、鋼帯の線状の表面欠陥の画像例、非特許文献1に記載の表面欠陥検査方法で表面欠陥を検出した結果、及び本発明の欠陥検出処理で表面欠陥を検出した結果を示す図である。
以下、図面を参照して、本発明の一実施形態である表面欠陥検査装置の構成及びこの表面欠陥検査装置を利用した表面欠陥検査方法について説明する。
〔構成〕
図1は、本発明の一実施形態である表面欠陥検査装置の構成を示す模式図である。図1に示すように、本発明の一実施形態である表面欠陥検査装置1は、照明装置2と、撮像装置3と、画像処理装置4と、表示装置5と、を備えている。
照明装置2は、表面欠陥検査装置1の検査対象である鋼帯Sの表面を照明する。
撮像装置3は、照明装置2によって照明された鋼帯S上の部位を撮影し、得られた鋼帯S表面の画像(元画像)のデータを画像処理装置4に伝送する。撮像装置3は、1次元撮像素子を有する所謂ラインセンサカメラ又は2次元撮像素子を有する所謂エリアカメラのいずれでもよいが、いずれの場合にも鋼帯Sの搬送に同期して撮像が行われる。撮像装置3がラインセンサカメラである場合、照明装置2として連続点灯照明が用いられる。撮像装置3がエリアカメラである場合には、照明装置2として鋼帯Sが一定距離進む毎に閃光を発するフラッシュ照明が用いられる。
画像処理装置4は、撮像装置3から伝送された鋼帯S表面の画像のデータを解析して鋼帯S表面に表面欠陥があればそれらを検出し、且つ、それら表面欠陥の種別や有害度を判定して、その情報を表示装置5に出力する。
画像処理装置4は、画像入力部41、画像補正部42、テクスチャ特徴画像生成部43、テクスチャ特徴抽出部44、異常度算出部45、及び欠陥候補検出部46を内部に備えている。また、画像処理装置4は、必要に応じて、欠陥特徴算出部47及び欠陥判定部48を内部に備えている。
画像入力部41は、内部に一時記憶領域を有し、撮像装置3から伝送された鋼帯S表面の画像のデータを順次一時記憶領域にバッファリングする。
画像補正部42は、画像入力部41の一時記憶領域から画像のデータを順次読み出し、読み出した画像のデータに対して補正処理を行うことによって補正画像を生成する。補正処理では、画像補正部42は、まず画像中に鋼帯Sの両方又は片方のエッジが含まれる場合、そのエッジ位置を検出し、鋼帯Sのエッジの外側に相当する画像領域を検査対象外領域に設定すると共に、例えばエッジ位置を境界とした鋼板Sの内部領域の鏡像で検査対象外領域を埋める。次に、画像補正部42は、照明装置2の照度むら等に起因する鋼帯Sの画像における輝度むらを補正(シェーディング補正)し、画像全体の明るさが均一となるようにする。
テクスチャ特徴画像生成部43は、補正画像に対して複数の空間フィルタ処理を施して画像中の各位置における局所的な模様(テクスチャ)の特徴(局所的な周波数特性)を示す各空間フィルタに対応する特徴画像(以下では特にテクスチャ特徴画像ということがある)を複数生成する。ここでいう空間フィルタは、入力画像の対応する画素とその周囲の画素値を用いて出力画像を生成する処理である。特に通過波長域や通過する信号の波形の方向を変えた複数の空間フィルタを用いるとよい。
テクスチャ特徴抽出部44は、テクスチャ特徴画像生成部43によって生成された複数のテクスチャ特徴画像から入力画像又は補正画像上の各位置に対応した位置の値を抽出して、画像上の各位置のテクスチャ特徴ベクトルを抽出する。テクスチャ特徴ベクトルの数は画像中の全画素数であり、テクスチャ特徴ベクトルの次元はテクスチャ特徴画像の数と一致する。
異常度算出部45は、テクスチャ特徴抽出部44で抽出された複数のテクスチャ特徴ベクトルがなす多次元空間での分布を解析し、各テクスチャ特徴ベクトルの異常度を算出する。そして、異常度算出部45は、算出された各テクスチャ特徴ベクトルの異常度を対応する画像上の位置にマッピングして、異常度画像を生成する。
欠陥候補検出部46は、異常度算出部45によって生成された異常度画像に対して所定の異常度を閾値として二値化を行い、異常度が所定の閾値以上となる画素が連続して繋がる画像領域を欠陥部又は欠陥候補として検出する(ラベリング)。なお、欠陥候補検出部46は、検出された欠陥候補のうち、面積が小さすぎるもの等、有害欠陥でないとみなせる欠陥候補を除外する処理や、検出位置が近い複数の欠陥候補をまとめて一つの欠陥候補として連結する処理を行ってもよい。
欠陥特徴算出部47は、欠陥候補検出部46によって検出された各欠陥候補について、欠陥特徴量を算出する。欠陥特徴量は、補正画像から欠陥候補の領域部分を切り出した欠陥部濃淡画像、及び同じく異常度画像から欠陥候補の領域部分を切り出した欠陥部異常度画像を用いて算出される。
欠陥判定部48は、欠陥特徴算出部47によって算出された欠陥特徴量に基づいて、各欠陥候補の欠陥種別及び有害度を判定する。
表示装置5は、画像処理装置4によって検出された表面欠陥についての検出情報(表面欠陥部の画像や表面欠陥の位置)、判定情報(種別、有害度)、統計情報(鋼帯S全体についての又は欠陥種別や有害度別の欠陥総数、発生率等)等を表示する。
〔表面欠陥検査処理〕
次に、図2〜図6を参照して、本発明の一実施形態である表面欠陥検査処理の流れについて詳細に説明する。
図2は、本発明の一実施形態である表面欠陥検査処理の流れを示すフローチャートである。表面欠陥検査装置1は、表面欠陥検査開始指令を受けると撮像装置3による鋼帯S表面の撮像を開始し、撮像された画像(以下、入力画像と表記)のデータは画像処理装置4の画像入力部41内の一時記憶領域に順次バッファリングされる。
図2に示すように、表面欠陥検査開始後、画像処理装置4は、画像入力部41内の一時記憶領域に未処理の入力画像のデータがあるか否かを判別する(ステップS1)。ラインセンサカメラの場合は、所定のライン数まで画像のデータがバッファリングされるまでは未処理の入力画像のデータがないと判断する。判別の結果、未処理の入力画像のデータがない場合(ステップS1:No)、画像処理装置4は新しい画像のデータが入力されるまで待機する。一方、未処理の入力画像のデータがある場合には(ステップS1:Yes)、画像処理装置4は、前処理(ステップS2)、欠陥検出処理(ステップS3)、及び欠陥判定処理(ステップS4)を順次実行する。次に、画像処理装置4は、表面欠陥検査終了指示が出ているか否かを判別する(ステップS5)。そして、判別の結果、表面欠陥検査終了指示が出ている場合(ステップS5:Yes)、画像処理装置4は表面欠陥検査を終了する。一方、表面欠陥検査終了指示が出ていない場合には(ステップS5:No)、画像処理装置4は、ステップS1の処理に戻り、表面欠陥検査処理を続行する。
[前処理]
次に、図3を参照して、上記前処理(ステップS2)について説明する。
図3は、入力画像に対する前処理の流れを示すフローチャートである。図3に示すように、前処理は、エッジ検出ステップS21、エッジ外部補正ステップS22、及びシェーディング補正ステップS23を含んでいる。これらの処理は画像補正部42にて実行される。
エッジ検出ステップS21では、画像補正部42が、入力画像I(x,y)から鋼帯Sのエッジ位置を検出する。ここで、xは鋼帯Sの幅方向に対応する画素座標、yは鋼帯Sの長さ方向に対応する画素座標であり、x=0,1,…,nx−1、y=0,1,…,ny−1とする。ここで、nxは画像のx方向のサイズ、nyはy方向のサイズである。
エッジ外部補正ステップS22では、画像補正部42が、鋼帯Sのエッジの外側を検査処理対象外領域として指定すると共に、例えばエッジ内側の領域の値を鏡像で検査処理対象外領域に補うことによりエッジ部が検出されないように無害化したエッジ外部補正画像IE(x,y)を生成する。
シェーディング補正ステップS23では、画像補正部42が、エッジ外部補正画像IE(x,y)の輝度むらを補正(シェーディング補正)して画像全体の明るさを均一化した補正画像IC(x,y)を計算する。シェーディング補正処理では、例えば1次元の輝度の移動平均値を元の画像の輝度から引き移動平均値で割って規格化してもよいし、これをx方向及びy方向の両方向とした2次元の輝度の移動平均値としても良い。また、輝度の移動平均値の代わりに任意のローパスフィルタを用いても良い。また、簡便な方法としては、輝度の差分を用いても良いし、さらにはそれに等価なハイパスフィルタを用いてもよい。
なお、以上の一連の前処理において、入力画像I(x,y)の状態に応じてエッジ検出処理ステップS21、エッジ外部補正ステップS22、及びシェーディング補正ステップS23を実施するか否かは適宜選択されてよく、例えばいずれのステップも実施しない場合は補正画像IC(x,y)=入力画像I(x,y)となる。
[欠陥検出処理]
次に、図4〜図6を参照して、上記欠陥検出処理(ステップS3)について説明する。
図4は、補正画像に対する欠陥検出処理の流れを示すフローチャートである。図4に示すように、欠陥検出処理は、テクスチャ特徴画像生成ステップS31、テクスチャ特徴抽出ステップS32、異常度算出ステップS33、及び欠陥候補検出ステップS34を含んでいる。
テクスチャ特徴画像生成ステップS31では、テクスチャ特徴画像生成部43が、補正画像IC(x,y)に対し複数のフィルタ処理を施してテクスチャ特徴画像Fj(x,y)(j=0,1,2,…,NT−1)を生成する。ここで、NTは空間フィルタの数である。本実施形態では空間フィルタとして、ガボール(Gabor)フィルタを用いる。ガボールフィルタは以下の数式(1)により表されるガボール関数を用いた線形フィルタである。
数式(1)は、ガボールフィルタの一般式を示し、正弦波にガウス型の減衰関数を乗算した形式となっている。数式(1)において、λは正弦波の波長、θはガボール関数の縞模様の方向、aは波長の広がり(ガウス関数のバンド幅)を表している。また、bは、空間アスペクト比を表し、ガボール関数のサポートの楕円率を表している。また、iは虚数単位である。図5(a),(b)は、数式(1)においてλ=8,θ=120°,a=0.125,b=1.5としたガボール関数Gabor(x,y:a,b,λ,θ)を3次元空間にプロットした図である。図5(a),(b)に示すように、ガボール関数Gabor(x,y:a,b,λ,θ)は、ガウス関数を窓関数として無限に広がる正弦波を切り取った形をしている。a,b,θを任意に変えることでガボール関数の向き、波の方向、及び減衰率を変えることができる。
画像解析では、数式(1)に示すガボール関数を空間フィルタとして用いるが、特にb=1,a=1/λとした以下の数式(2)に示すガボール関数を用いることがある。そこで、以下では数式(2)に基づき説明する。
ガボールフィルタを画像に畳み込み演算することにより、波長λ(画素)及び波の向きθの局所的周波数成分を抽出することができる。また、パラメータλ及びθを様々に変化させ、さらにはx方向及びy方向のスケールを様々に変化させる(例えばxをx/4に置換すると、x方向の広がりを4倍大きくすることになる)ことにより、それに対応した画像の局所的周波数成分を抽出できる。一方、実用的な計算においてガボールフィルタの広がりを大きくすると畳み込み演算の計算時間が増大してしまう。このため、以下に説明するようにガボールフィルタの広がりを大きくする代わりに、ダウンサンプリングして画像を縮小する手法を用いるとよい。但し、エイリアシングを防止するために、被フィルタリング画像に予めローパスフィルタを適用しておくことが望ましい。
図6は、本発明の実施形態におけるガボールフィルタ処理を表すブロック線図である。図6において、Gq(x,y)(q=0,1,2,3)及びHs(x,y)(s=0,1,2)は、以下の数式(3)〜(6)に示す定義に従ったkx×ky画素のフィルタ係数行列であり、ガボールフィルタを画像に畳み込み演算して適用することを意味する。但し、フィルタ係数行列の中央の座標(x,y)は(0,0)とする。なお、以下に示す数式(3),(5)ではλ=4、以下に示す数式(4),(6)ではλ=4/√2としているが、これはサンプリング定理(λ≧2)及び検出したい対象の信号の該当する方向の空間周波数から決定する。
数式(3)〜(6)に示す定義においては、kx=ky=11が好適である。これは、図5(a)に示すガボール関数における波の進行方向(θ(=120°)方向)の波の数が2.5周期以上を含むことによる。この条件を満たすためには、より正確にはkx/(λcosθ)>2.5、且つ、ky/(λsinθ)>2.5との条件を満たす必要がある。また、このとき、数式(2)の第1項の減衰が中央の10%以下となっており、ガボールフィルタによって空間的に局在した信号を抽出することができる。
また、図6において、LPはxyの2次元方向、LPYはy方向のローパスフィルタであり、例えば以下の数式(7),(8)に示す定義に従ったフィルタ行列を画像に適用することを意味する。ローパスフィルタLPYはy方向4点の移動平均となる向きに畳み込み演算される。ローパスフィルタLP,LPYは後述するダウンサンプリングする際のエイリアシングを防止するフィルタとして設計されている。エイリアシングを防止できれば必ずしも以下の数式(7),(8)に示すローパスフィルタでなくても構わない。
上記の2つのローパスフィルタLP、LPYを画像に畳み込み演算する際は、画像境界の外側は鏡像と仮定して計算が行われる。また、図6において「X2,Y2」と表記したブロックは、画像のX方向及びY方向で各々2画素おきに抽出して、画像サイズをX方向及びY方向に各々1/2にするダウンサンプリング処理を示す。また、「Y4」と表記したブロックは、Y方向のみ4画素おきに抽出して、画像サイズをY方向に1/4にするダウンサンプリング処理を示す。以下、図6に示すブロック線図に従った一連のガボールフィルタ処理について説明する。
まず、テクスチャ特徴画像生成部43は、初期画像をI0(x,y)=Ic(x,y)とする。次に、テクスチャ特徴画像生成部43は、初期画像I0(x,y)に対し順次ローパスフィルタLPと「X2,Y2」型のダウンサンプリングを実行して縮小画像Ip(p=1,2,3)(x,y)を計算する。Ip(x,y)は、ローパスフィルタLPと「X2,Y2」型のダウンサンプリングをp回行った縮小画像である。さらに、テクスチャ特徴画像生成部43は、初期画像を含む縮小画像Ip(x,y)(p=0,1,2,3)の各々に対し、4種類のガボールフィルタGq(x,y)(q=0,1,2,3)を各々畳み込み演算して、特徴画像Ipq(x,y)(p=0,1,2,3,q=0,1,2,3)を計算する。
この段階で合計16種類の特徴画像Ipq(x,y)が得られるが、特徴画像Ipq(x,y)はガボールフィルタの定義式(数式(1))より複素数であるため実部画像と虚部画像とに分解すると合計32種類の特徴画像が得られる。このため、これらをテクスチャ特徴画像Fj(x,y)(j=0、1,2,…,31,すなわちNT=32)とする。但し、p≧1の場合の特徴画像Ipq(x,y)はダウンサンプリングによって縮小されているので、初期画像I0(x,y)と同じサイズに拡大してテクスチャ特徴画像とする。拡大方法しては、線形補間、一番近傍の画素と同じ値とする手法、特徴画像Ipq(x,y)の各画素の値と同じ値をダウンサンプリングされた方向、数だけコピーして埋める手法でも構わない。
この演算により、空間周波数が異なる空間フィルタと空間フィルタの波形の方向が異なる空間フィルタとを組み合わせて元の画像にかけることができている。特に、ダウンサンプリングしてから元の空間フィルタを演算することにより、少ない計算量で元の画像に対して空間周波数の大きな空間フィルタをかけた場合と同じ効果が得られる。以上の処理によって得られる32種類のテクスチャ特徴画像Fj(x,y)(j=0,2,…,31)を用いても良いが、さらに図6における点線で囲まれた「線状欠陥用拡張処理」を実行することで、鋼帯Sの流れ方向に細長い欠陥に対しての検出感度を高めることができる。「線状欠陥用拡張処理」は縮小画像Ip(x,y)(p=0,1,2,3)を計算した後、次のように実行する。
まず、テクスチャ特徴画像生成部43は、画像I0(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J0(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J0s(x,y)(s=0,1,2)を計算する。さらに、テクスチャ特徴画像生成部43は、画像J0(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J1(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J1s(x,y)(s=0,1,2)を計算する。さらに、テクスチャ特徴画像生成部43は、画像J1(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J2(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J2s(x,y)(s=0,1,2)を計算する。
次に、テクスチャ特徴画像生成部43は、画像I1(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J3(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J3s(x,y)(s=0,1,2)を計算する。さらに、テクスチャ特徴画像生成部43は、画像J3(x,y)に対してさらに「Y4」型のダウンサンプリングを施すことによって生成された画像J4(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J4s(x,y)(s=0,1,2)を計算する。次に、テクスチャ特徴画像生成部43は、画像I2(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J5(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J5s(x,y)(s=0,1,2)を計算する。さらに、テクスチャ特徴画像生成部43は、画像J5(x,y)に対してさらに「Y4」型のダウンサンプリングを施すことによって生成された画像J6(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J6s(x,y)(s=0,1,2)を計算する。
次に、テクスチャ特徴画像生成部43は、画像I3(x,y)に対して「Y4」型のダウンサンプリングを施すことによって生成された画像J7(x,y)に対して、3種類のガボールフィルタHs(x,y)(s=0,1,2)を各々畳み込み演算して特徴画像J7s(x,y)(s=0,1,2)を計算する。以上の演算により、Y方向により長い空間周波数の空間フィルタをかけることが可能になり、Y方向に長い表面欠陥に対するS/N比を上げることができる。Y方向に長い表面欠陥が発生する方向、すなわち、鋼帯Sの製造工程では鋼帯Sの長手方向にすることで長い表面欠陥の検出が容易になるメリットがある。
以上により、新たに32種類の特徴画像Jrs(x,y)(r=0,1,…,7,s=0,1,2)が得られる。先に得られた16種類の特徴画像Ipqと合わせた全特徴画像のうち、図6において終端となっている特徴画像Ipq(x,y)(p=0,1,2,3,q=1,2,3)、J00(x,y),J02(x,y)、J10(x,y),J12(x,y)、J20(x,y),J21(x,y),J22(x,y),J30(x,y),J32(x,y),J40(x,y),J41(x,y),J42(x,y),J50(x,y),J52(x,y),J60(x,y),J61(x,y)、J62(x,y)、J70(x,y)、J71(x,y),J72(x,y)の計32種類を実部画像と虚部画像とに分解して得られる64種類の特徴画像をテクスチャ特徴画像Fj(x,y)(j=0,1,2,…,64,すなわちNT=64)とする。
但し、「線状欠陥用拡張処理」を行わない場合と同じく、特徴画像Jrs(x,y)もダウンサンプリング処理によって縮小されているので、初期画像I0(x,y)と同じサイズに拡大してテクスチャ特徴画像とする。なお、jの値と各特徴画像の対応は任意に決めて構わないがここでは便宜的に上述した特徴画像をI,Jのそれぞれ添え字が小さいものから実部、虚部の順にI00(x,y)の実部=0,I00(x,y)の虚部=1,I01(x,y)の実部=2,…,J00(x,y)の実部=25,…,J72(x,y)の虚部=64と表す。
本アルゴリズムでは、I01(x,y),I02(x,y),I03(x,y),I11(x,y),I12(x,y),I13(x,y),I21(x,y),I22(x,y),I23(x,y),I31(x,y),I32(x,y),I33(x,y)の12種類にJ00(x,y),J02(x,y),J10(x,y),J12(x,y),J20(x,y),J21(x,y),J22(x,y),J30(x,y),J32(x,y),J40(x,y),J41(x,y),J42(x,y),J50(x,y),J52(x,y),J60(x,y),J61(x,y),J62(x,y),J70(x,y),J71(x,y),J72(x,y)の20種類を加えた32種類を実部と虚部の画像に分解して得られる64種類のテクスチャ特徴画像Fj(x,y)(j=0,1,2,…,63)を用いている。I00(x,y),I10(x,y),I20(x,y),I30(x,y)を加えた68種類のテクスチャ特徴画像を用いてもよいが、I00(x,y),I10(x,y),I20(x,y),I30(x,y)のフィルタを高速フーリエ変換(FFT)した周波数領域での通過域がJxx(x,y)のフィルタでカバーされているため省略が可能になっている。64種類に限定することで、単に計算量が少なくなるだけではなく、2の6乗の画像を用いるので後の計算で数字を扱いやすいメリットがある。
なお、テクスチャ特徴画像生成ステップS4における実施形態は上記に限定されず、他の任意の空間フィルタ群を用いることができる。例えば2次元のウェーブレット変換やウェーブレットパケット変換を適用することが可能であり、最も簡単なものはHaarウェーブレットである。他にも微分フィルタやエッジ抽出フィルタ、DoG(Difference of Gaussian)フィルタ、LoG(Laplacian of Gaussian)フィルタ等を用いたり、それらを組み合わせて用いたりしても良い。
また、前述したようにダウンサンプリング前のアンチエイリアシングフィルタは上述した空間フィルタでなくても構わない。テクスチャ特徴画像を求めるために用いるガボールフィルタを使うことで計算量を削減できるメリットがある。図7はその流れを示した図であり、ローパスフィルタLPYのフィルタの代わりにG0の空間フィルタを用いている。
次に、テクスチャ特徴抽出ステップS32では、テクスチャ特徴抽出部44が、各画素におけるテクスチャ特徴ベクトルを抽出する。特徴画像Fj(x,y)={fj(x,y)}(fj(x,y)は座標x,yにおける特徴画像Fj(x,y)の値を示す)に対して、以下の数式(9)に示すようにx,yの組を別のインデックスiで置き換え、以下の数式(10)に示すようにFj’={fi,j};j=0,2,…,NT−1と特徴ベクトルを定義することができる。ここで、iは入力画像(補正画像)の画素(x,y)に割り当てられたユニークなインデックスであり、例えばi=nx×y+xと定義され、i=0,1,2,…,nx×ny−1である。また、fi,j=fj(x,y)である。
次に、異常度算出ステップS33では、異常度算出部45が、テクスチャ特徴抽出ステップS32で抽出したテクスチャ特徴ベクトルのNT次元空間での分布を統計的に解析して、入力画像(補正画像)の各画素における異常度を算出し、異常度画像を生成する。異常度としては例えばマハラノビス距離を用いる。具体的には、まず、異常度算出部45は、以下の数式(11)に示すように、特徴ベクトルFjを行ベクトルとしそれを列方向に並べた行列Fを用意する。
これに対して、異常度算出部45は、以下の数式(12)に示すmjを計算する。数式(12)中のΣは全画素についての和を示し、mjは行列Fの全画素についての平均である。
次に、異常度算出部45は、以下の数式(13)に示すように行列Fから平均mjを引いた行列Z(={zi,j})を求める。
ここで、以下の数式(14)に示すように、異常度算出部45は、分散共分散行列C={cj1,j2}(j1,j2=0,1,2,…,Nt−1)をzi,jから算出する。
次に、異常度算出部45は、以下の数式(15)に示すようにマハラノビス距離Di(正しくはマハラノビス距離の2乗であるが、単にマハラノビス距離と呼ぶことにする)を算出する。
但し、W={wi,j}は連立方程式WC=Zの解、すなわちW=ZC-1である。そして最後に、異常度算出部45は、インデックスiよりマハラノビス距離Diを座標(x,y)にマッピングし直して異常度画像D(x,y)=Di(i=x+nx×y)を得る。
なお、このマハラノビス距離を求める計算は、以下の操作と等価である。すなわち、NT枚の特徴画像Fj(x,y)を座標毎に見てみると、f1(x,y),f2(x,y),…,fNT(x,y)のNT次元の値を持っていることがわかる。これをp(x,y)=(f1(x,y),f2(x,y),…,fNT(x,y))とNT次元空間の点として表すことができる。このように画像上の全画素をNT次元空間にプロットする。プロットした集合をばらつきについて規格化し、その規格化された空間で原点からの距離を求めたものがマハラノビス距離である。
ばらつきに対する規格化は、ばらつきの大きい方向から順に直交する基底を取り、各基底方向へのばらつきである標準偏差を求め、各基底方向の成分をこの標準偏差で割ることによってなされる。これは、いわゆる主成分分析の手法と同一となる。図8に2次元の主成分分析の一例を示した。図8に示す主成分分析では、ばらつきの大きい方向から順に直交する第1主成分及び第2主成分を取り、各主成分のばらつきを求め、各主成分方向の成分をばらつきで割ることによって、ばらつきに対する規格化がなされる。図8中、Oが原点、Dがマハラノビス距離、Pが画素を示している。
次に、欠陥候補検出ステップS34では、欠陥候補検出部46が、閾値Dthrにより異常度画像D(x,y)を2値化して、D(x,y)≧Dthrなる画素の連結領域を欠陥部又は欠陥候補として検出する。また、本ステップにおいて、欠陥候補検出部46は、連結領域の面積や連結領域内での異常度の最大値に対して制約を設けて、制約を満たさない欠陥候補は除外してもよい。例えば欠陥候補検出部46は、面積と異常度の最大値の両方が各々に設定された最小値より小さい欠陥候補を除外する。さらに、欠陥候補検出部46は、任意の2つの欠陥候補について、連結領域間の距離が所定の条件を満たす場合に同一の欠陥候補として連結する処理を行う。例えば欠陥候補1内の座標を(x1,y1),欠陥候補2内の座標を(x2,y2)とし、x座標に関する距離制約をdx,y座標に関する距離制約をdyとし、|x1−x2|<dx、且つ、|y1−y2|<dyを満たす座標(x1,y1),(x2,y2)があるとき、欠陥候補検出部46は欠陥候補1と欠陥候補2とを連結する。この連結は、画像の膨張及び収縮の繰り返しによって行っても構わない。
なお、閾値Dthrはマハラノビス距離(の2乗)がカイ2乗分布に従うという仮定のもと、以下の数式(16)に示すように定めるとよい。ここで、数式(16)中、pthrは、異常度が欠陥であると判断する有意水準(確率)を示し、fχ2 -1(p,n)は自由度nのカイ2乗分布の累積密度関数の逆関数である。これにより、異常度に対して確率として閾値を定めることができる。
[欠陥判定処理]
次に、図9を参照して、上記欠陥判定処理(ステップS4)について説明する。
図9は、欠陥判定処理の流れを示すフローチャートである。図9に示すように、欠陥判定処理は、欠陥特徴算出ステップS41及び欠陥判定ステップS42を含む。
欠陥特徴算出ステップS41では、欠陥特徴算出部47が、補正画像Ic(x,y)より欠陥候補の領域部分を切り出した欠陥部濃淡画像、及び異常度画像D(x,y)より欠陥候補の領域部分を切出した欠陥部異常度画像を用いて、それらに対し各種演算を行って、欠陥特徴量を算出する。代表的な欠陥特徴量としては、幅、長さ、面積、アスペクト比、周囲長等の欠陥のサイズや形状に関するもの、欠陥領域内の最大輝度、最小輝度、平均輝度、輝度に関するヒストグラム度数等の濃淡に関するもの等があり、これらは欠陥部濃淡画像より得られる。さらに、本実施形態においては欠陥部異常度画像より欠陥部の最大異常度、平均異常度、及び異常度に関するヒストグラム度数等の異常度に関する特徴量も得られる。さらに、本実施形態においては、各テクスチャ特徴画像Fj(x,y)より欠陥候補の領域部分を切出した欠陥部テクスチャ特徴画像からも各テクスチャ特徴に関する欠陥特徴量が得られる。
次に、欠陥判定ステップS42では、欠陥判定部48が、欠陥特徴算出ステップS41で算出された欠陥特徴量に基づいて、各欠陥候補の欠陥種別及び有害度を判定する。判定にあたっては、ユーザが作成した欠陥特徴量に関する判定ルール(if−thenルールや判定テーブル)か、いわゆる機械学習によって得られる判別器、あるいはそれらの組合せが用いられる。
以上の説明から明らかなように、本発明の一実施形態である表面欠陥検査装置1では、テクスチャ特徴画像生成部43が、入力画像に対して複数の空間フィルタによるフィルタ処理を施すことによって複数のテクスチャ特徴画像を生成し、テクスチャ特徴抽出部44が、入力画像上の各位置について複数のテクスチャ特徴画像の対応する位置の値を各々抽出して画像上の各位置における特徴ベクトルを生成し、異常度算出部45が、特徴ベクトルの各々について特徴ベクトルがなす多次元分布における異常度を算出して、入力画像上の各位置についての異常度を示した異常度画像を生成し、欠陥候補検出部46が、異常度画像において異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する。これにより、線状の細長い表面欠陥に対する感度を高めると共に線状の細長い表面欠陥と短く小さい表面欠陥とが混在する場合であっても両者を感度よく検出することができる。
図10は、鋼帯表面を撮影した画像例である。図10中の2つの長方形で囲われた部分に表面欠陥が存在する。左側の長方形で囲われた表面欠陥は検出が困難な細長い欠陥を示し、右側の長方形で囲われた表面欠陥は検出が困難な長手方向に短い欠陥を示す。図10に示した画像は縦1024画素、横1024画素で縦方向が鋼帯の長さ方向に対応する。図11は図10の画像に対して、本発明の欠陥検出処理(ステップS3)を適用した実施例である。テクスチャ特徴画像生成ステップS31において、線状欠陥用拡張処理を選択して、64種類のテクスチャ特徴画像を生成した。また、欠陥候補検出ステップS34において、異常度に対しpthr=10-10としたときの閾値Dthrを用いて2値化を行い、欠陥候補200画素未満の連結領域は欠陥候補から除外した。本実施例においては、周囲の鋼帯の模様を誤検出することなく、鋼帯の長手方向に細長い欠陥及び長手方向に短い欠陥のいずれも検出することができた。また、図12(c)は、本発明の欠陥検出処理(ステップ3)で図12(a)に示す表面欠陥を検出した画像及び画像中の破線部の輝度プロファイルを示す。pthr=0.0027とした。先に示した図12(b)の非特許文献1の手法による結果と比較して線状欠陥への感度が向上した。
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
1 表面欠陥検査装置
2 照明装置
3 撮像装置
4 画像処理装置
5 表示装置
41 画像入力部
42 画像補正部
43 テクスチャ特徴画像生成部
44 テクスチャ特徴抽出部
45 異常度算出部
46 欠陥候補検出部
47 欠陥特徴算出部
48 欠陥判定部
S 鋼帯

Claims (7)

  1. 検査対象を撮影して元画像を取得する画像入力ステップと、
    前記元画像に対して複数の空間フィルタによるフィルタ処理を施すことにより複数のテクスチャ特徴画像を生成するテクスチャ特徴画像生成ステップと、
    前記元画像上の各位置について前記複数のテクスチャ特徴画像の対応する位置の値を各々抽出して前記元画像上の各位置における特徴ベクトルを生成するテクスチャ特徴抽出ステップと、
    前記特徴ベクトルの各々について前記特徴ベクトルがなす多次元分布における異常度を算出し、前記元画像上の各位置についての異常度を示した異常度画像を生成する異常度算出ステップと、
    前記異常度画像において前記異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する検出ステップと、
    を含むことを特徴とする表面欠陥検査方法。
  2. 前記テクスチャ特徴画像生成ステップは、前記空間フィルタによるフィルタ処理を、前記元画像を縮小した画像又は前記テクスチャ特徴画像を縮小した画像に対しても施すことにより、別のテクスチャ特徴画像を生成する処理を含むことを特徴とする請求項1に記載の表面欠陥検査方法。
  3. 前記元画像又は前記テクスチャ特徴画像の縮小方向が検出対象である線状欠陥と平行な方向である方向を含むことを特徴とする請求項2に記載の表面欠陥検査方法。
  4. 前記複数の空間フィルタがウェーブレット変換により実現されることを特徴とする請求項1〜3のうち、いずれか1項に記載の表面欠陥検査方法。
  5. 前記複数の空間フィルタがガボールフィルタを含むことを特徴とする請求項1〜4のうち、いずれか1項に記載の表面欠陥検査方法。
  6. 前記特徴ベクトルがなす多次元分布における異常度としてマハラノビス距離を用いることを特徴とする請求項1〜5のうち、いずれか1項に記載の表面欠陥検査方法。
  7. 検査対象を撮影する撮像手段と、
    前記撮像手段が撮像した前記検査対象の元画像を取得する画像入力手段と、
    前記元画像に対して複数の空間フィルタによるフィルタ処理を施すことによって複数のテクスチャ特徴画像を生成するテクスチャ特徴画像生成手段と、
    前記元画像上の各位置について前記複数の特徴画像の対応する位置の値を各々抽出して前記元画像上の各位置における特徴ベクトルを生成するテクスチャ特徴抽出手段と、
    前記特徴ベクトルの各々について前記特徴ベクトルがなす多次元分布における異常度を算出して、前記元画像上の各位置についての異常度を示した異常度画像を生成する異常度算出手段と、
    前記異常度画像において前記異常度が所定値を超える部分を欠陥部又は欠陥候補部として検出する検出手段と、
    備えることを特徴とする表面欠陥検査装置。
JP2017054426A 2017-03-21 2017-03-21 表面欠陥検査方法及び表面欠陥検査装置 Active JP6358351B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017054426A JP6358351B1 (ja) 2017-03-21 2017-03-21 表面欠陥検査方法及び表面欠陥検査装置
EP18770965.4A EP3605072A4 (en) 2017-03-21 2018-02-28 SURFACE DEFECT INSPECTION METHOD AND SURFACE DEFECT INSPECTION DEVICE
PCT/JP2018/007418 WO2018173660A1 (ja) 2017-03-21 2018-02-28 表面欠陥検査方法及び表面欠陥検査装置
CN201880018467.5A CN110431404B (zh) 2017-03-21 2018-02-28 表面缺陷检查方法及表面缺陷检查装置
KR1020197027127A KR102257734B1 (ko) 2017-03-21 2018-02-28 표면 결함 검사 방법 및 표면 결함 검사 장치
MX2019011283A MX2019011283A (es) 2017-03-21 2018-02-28 Metodo de inspeccion de defectos superficiales y aparato de inspeccion de defectos superficiales.
US16/495,228 US10859507B2 (en) 2017-03-21 2018-02-28 Surface defect inspection method and surface defect inspection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017054426A JP6358351B1 (ja) 2017-03-21 2017-03-21 表面欠陥検査方法及び表面欠陥検査装置

Publications (2)

Publication Number Publication Date
JP6358351B1 true JP6358351B1 (ja) 2018-07-18
JP2018155690A JP2018155690A (ja) 2018-10-04

Family

ID=62904948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017054426A Active JP6358351B1 (ja) 2017-03-21 2017-03-21 表面欠陥検査方法及び表面欠陥検査装置

Country Status (7)

Country Link
US (1) US10859507B2 (ja)
EP (1) EP3605072A4 (ja)
JP (1) JP6358351B1 (ja)
KR (1) KR102257734B1 (ja)
CN (1) CN110431404B (ja)
MX (1) MX2019011283A (ja)
WO (1) WO2018173660A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108823765A (zh) * 2018-08-13 2018-11-16 何辉 智能布面监测系统
CN109360186A (zh) * 2018-08-31 2019-02-19 广州超音速自动化科技股份有限公司 锂电池隔膜检测方法、电子设备、存储介质及系统
JP2019078640A (ja) * 2017-10-25 2019-05-23 Jfeスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
CN111161246A (zh) * 2019-12-30 2020-05-15 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN114937011A (zh) * 2022-05-12 2022-08-23 北京航空航天大学 一种基于经验Garbor小波变换的光伏电池图像异常检测方法
US11650166B2 (en) * 2017-05-31 2023-05-16 Nipro Corporation Method for evaluation of glass container

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073512A1 (ja) * 2017-10-10 2019-04-18 日本電気株式会社 システム分析方法、システム分析装置、および、プログラム
JP6950811B2 (ja) * 2018-09-28 2021-10-13 Jfeスチール株式会社 金属板の表面欠陥検出方法及び装置並びにめっき鋼板の製造方法
JP7167615B2 (ja) * 2018-10-05 2022-11-09 コニカミノルタ株式会社 画像検査装置、画像検査方法及び画像検査プログラム
CN109557101B (zh) * 2018-12-29 2023-11-17 桂林电子科技大学 一种非标高反射曲面工件的缺陷检测装置及方法
JP6630912B1 (ja) * 2019-01-14 2020-01-15 株式会社デンケン 検査装置及び検査方法
WO2020190686A1 (en) 2019-03-15 2020-09-24 Certainteed Gypsum, Inc. Method of characterizing a surface texture and texture characterization tool
US11087449B2 (en) * 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
CN111141753A (zh) * 2019-12-20 2020-05-12 三峡大学 基于机器视觉的陶瓷瓦表面裂纹检测方法
JP7237872B2 (ja) * 2020-02-14 2023-03-13 株式会社東芝 検査装置、検査方法、及びプログラム
JP7273748B2 (ja) * 2020-02-28 2023-05-15 株式会社東芝 検査装置、検査方法、及びプログラム
CN113313638A (zh) * 2020-12-23 2021-08-27 深圳市杰恩世智能科技有限公司 一种外观缺陷检测方法
CN113030422B (zh) * 2021-03-02 2022-12-16 成都积微物联电子商务有限公司 基于表检仪检测的冷轧带钢质量判定的方法
CN112686896B (zh) * 2021-03-12 2021-07-06 苏州鼎纳自动化技术有限公司 基于分割网络的频域空间结合的玻璃缺陷检测方法
KR20230089381A (ko) * 2021-12-13 2023-06-20 엘지디스플레이 주식회사 표시결함 검출 시스템 및 그 검출 방법
FR3134181A1 (fr) 2022-04-01 2023-10-06 Psa Automobiles Sa Procede de detection d’un defaut d’etat de surface sur une surface metallique d’un element de vehicule
KR102439163B1 (ko) * 2022-06-24 2022-09-01 주식회사 아이브 인공지능 기반의 비지도 학습 모델을 이용한 불량 제품 검출 장치 및 그 제어방법
JP2024013523A (ja) * 2022-07-20 2024-02-01 株式会社ニューフレアテクノロジー 検査装置及び検査画像の生成方法
WO2024044947A1 (zh) * 2022-08-30 2024-03-07 宁德时代新能源科技股份有限公司 缺陷检测的方法、装置和计算机可读存储介质
JP2024048292A (ja) * 2022-09-27 2024-04-08 Jfeスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
WO2024101940A1 (ko) * 2022-11-10 2024-05-16 주식회사 고영테크놀러지 결함의 유형을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
CN115641337B (zh) * 2022-12-23 2023-04-07 中科慧远视觉技术(北京)有限公司 一种线状缺陷检测方法、装置、介质、设备及系统
CN116309578B (zh) * 2023-05-19 2023-08-04 山东硅科新材料有限公司 一种应用硅烷偶联剂的塑料耐磨性图像辅助检测方法
CN116934746B (zh) * 2023-09-14 2023-12-01 常州微亿智造科技有限公司 划伤缺陷检测方法、系统、设备及其介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255275A (ja) * 2000-03-13 2001-09-21 Kawasaki Steel Corp 表面欠陥検査方法及び装置
JP2002195952A (ja) * 2000-12-26 2002-07-10 Nippon Steel Corp 表面疵検出装置
US20030081215A1 (en) * 2001-01-09 2003-05-01 Ajay Kumar Defect detection system for quality assurance using automated visual inspection
JP2008185395A (ja) * 2007-01-29 2008-08-14 Mitsubishi Heavy Ind Ltd 実装基板外観検査方法
JP2013167596A (ja) * 2012-02-17 2013-08-29 Honda Motor Co Ltd 欠陥検査装置、欠陥検査方法及びプログラム
JP2015041164A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650779B2 (en) * 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
US6983065B1 (en) * 2001-12-28 2006-01-03 Cognex Technology And Investment Corporation Method for extracting features from an image using oriented filters
JP2004294202A (ja) * 2003-03-26 2004-10-21 Seiko Epson Corp 画面の欠陥検出方法及び装置
JP2011007553A (ja) 2009-06-24 2011-01-13 Hitachi High-Technologies Corp 欠陥検出方法及び装置
KR101109351B1 (ko) 2009-10-20 2012-01-31 인하대학교 산학협력단 가보 필터를 이용한 금속 패드의 상태 검사 방법
CN102279191B (zh) * 2010-06-13 2014-04-02 中钞特种防伪科技有限公司 周期性纹理图像中缺陷的检测方法和装置
JP2012127682A (ja) * 2010-12-13 2012-07-05 Hitachi High-Technologies Corp 欠陥検査方法及びその装置
US8705839B2 (en) * 2011-11-18 2014-04-22 Sharp Laboratories Of America, Inc. Electronic devices for defect detection
JP6191627B2 (ja) * 2013-01-30 2017-09-06 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
JP6009956B2 (ja) 2013-01-31 2016-10-19 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
CN103234976B (zh) * 2013-04-03 2015-08-05 江南大学 基于Gabor变换的经编机布匹瑕疵在线视觉检测方法
US9098891B2 (en) * 2013-04-08 2015-08-04 Kla-Tencor Corp. Adaptive sampling for semiconductor inspection recipe creation, defect review, and metrology
CN104458755B (zh) * 2014-11-26 2017-02-22 吴晓军 一种基于机器视觉的多类型材质表面缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255275A (ja) * 2000-03-13 2001-09-21 Kawasaki Steel Corp 表面欠陥検査方法及び装置
JP2002195952A (ja) * 2000-12-26 2002-07-10 Nippon Steel Corp 表面疵検出装置
US20030081215A1 (en) * 2001-01-09 2003-05-01 Ajay Kumar Defect detection system for quality assurance using automated visual inspection
JP2008185395A (ja) * 2007-01-29 2008-08-14 Mitsubishi Heavy Ind Ltd 実装基板外観検査方法
JP2013167596A (ja) * 2012-02-17 2013-08-29 Honda Motor Co Ltd 欠陥検査装置、欠陥検査方法及びプログラム
JP2015041164A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650166B2 (en) * 2017-05-31 2023-05-16 Nipro Corporation Method for evaluation of glass container
JP2019078640A (ja) * 2017-10-25 2019-05-23 Jfeスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
CN108823765A (zh) * 2018-08-13 2018-11-16 何辉 智能布面监测系统
CN108823765B (zh) * 2018-08-13 2023-08-29 何辉 智能布面监测系统
CN109360186A (zh) * 2018-08-31 2019-02-19 广州超音速自动化科技股份有限公司 锂电池隔膜检测方法、电子设备、存储介质及系统
CN111161246A (zh) * 2019-12-30 2020-05-15 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111161246B (zh) * 2019-12-30 2024-05-14 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN114937011A (zh) * 2022-05-12 2022-08-23 北京航空航天大学 一种基于经验Garbor小波变换的光伏电池图像异常检测方法
CN114937011B (zh) * 2022-05-12 2024-05-28 北京航空航天大学 一种基于经验Garbor小波变换的光伏电池图像异常检测方法

Also Published As

Publication number Publication date
EP3605072A1 (en) 2020-02-05
KR20190118627A (ko) 2019-10-18
KR102257734B1 (ko) 2021-05-27
US10859507B2 (en) 2020-12-08
JP2018155690A (ja) 2018-10-04
CN110431404A (zh) 2019-11-08
EP3605072A4 (en) 2020-04-08
CN110431404B (zh) 2022-05-27
MX2019011283A (es) 2019-11-01
WO2018173660A1 (ja) 2018-09-27
US20200025690A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6358351B1 (ja) 表面欠陥検査方法及び表面欠陥検査装置
CN106934803B (zh) 电子器件表面缺陷的检测方法及装置
CN111968144B (zh) 一种图像边缘点获取方法及装置
JP6658711B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
US10776953B2 (en) Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern
CN116168026B (zh) 基于计算机视觉的水质检测方法及系统
CN109632808B (zh) 棱边缺陷检测方法、装置、电子设备及存储介质
WO2015096535A1 (zh) 残缺或变形的四边形图像的校正方法
CN113781424B (zh) 一种表面缺陷检测方法、装置及设备
CN110530883B (zh) 一种缺陷检测方法
CN110189290A (zh) 基于深度学习的金属表面细微缺陷检测方法及装置
JP2007156655A (ja) 変動領域検出装置及びその方法
Alazzawi Edge detection-application of (first and second) order derivative in image processing: communication
CN107895371B (zh) 基于峰值覆盖值和Gabor特征的纺织品瑕疵检测方法
CN116128873A (zh) 一种基于图像识别的轴承保持器检测方法、设备及介质
KR20210082624A (ko) 지문 향상 방법
CN111968143A (zh) 基于关联成像的边缘图像提取方法及系统
Prabha et al. Defect detection of industrial products using image segmentation and saliency
CN111415365A (zh) 图像检测方法及装置
JP7469740B2 (ja) ベルト検査システムおよびベルト検査プログラム
KR100955736B1 (ko) 표면 검사용 방법 및 이를 수행하는 장치
KR101615733B1 (ko) 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법
CN112767400B (zh) 缺陷检测方法和装置
JP2002286411A (ja) 縞解析方法および装置
JP2009145161A (ja) 欠陥検出方法および欠陥検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180501

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180501

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180604

R150 Certificate of patent or registration of utility model

Ref document number: 6358351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250