JPWO2020110667A1 - 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル - Google Patents

表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル Download PDF

Info

Publication number
JPWO2020110667A1
JPWO2020110667A1 JP2020515047A JP2020515047A JPWO2020110667A1 JP WO2020110667 A1 JPWO2020110667 A1 JP WO2020110667A1 JP 2020515047 A JP2020515047 A JP 2020515047A JP 2020515047 A JP2020515047 A JP 2020515047A JP WO2020110667 A1 JPWO2020110667 A1 JP WO2020110667A1
Authority
JP
Japan
Prior art keywords
surface defect
bright
image
steel material
inspection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020515047A
Other languages
English (en)
Other versions
JP6753553B1 (ja
Inventor
紘明 大野
紘明 大野
真沙美 楯
真沙美 楯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Application granted granted Critical
Publication of JP6753553B1 publication Critical patent/JP6753553B1/ja
Publication of JPWO2020110667A1 publication Critical patent/JPWO2020110667A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8812—Diffuse illumination, e.g. "sky"
    • G01N2021/8816—Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8822—Dark field detection
    • G01N2021/8825—Separate detection of dark field and bright field
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G01N2021/8918—Metal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N2021/8924—Dents; Relief flaws

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Textile Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本発明に係る表面欠陥検出方法は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出ステップと、を含む。

Description

本発明は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルに関する。
近年、鉄鋼製品の製造工程では、大量不適合防止による歩留まり向上の観点から、熱間又は冷間で鋼材の表面欠陥を検出することが求められている。ここで述べる鋼材とは、鋼管（継目無鋼管、溶接鋼管等）、鋼板（熱延鋼板、冷延鋼板、厚板等）、及び形鋼等の鉄鋼製品、並びにこれら鉄鋼製品が製造される過程で生成される半製品（スラブ等）のことを意味する。光学式の表面検査によって鋼材の表面欠陥の検出を試みた際、単純に鋼材の画像を撮影しただけでは、有害な凹凸性の表面欠陥と無害な平らなスケール模様（冷却むら等に起因する）とを弁別困難なときがある。
そこで、凹凸性の表面欠陥と平らなスケール模様とを精度よく弁別する手法として、異なる方向から弁別可能な光線を照射し、各光線の反射光を受光して画像を取得し、取得した画像間の差分画像を得ることによって表面欠陥を検出する手法が提案されている(特許文献１参照)。また、得られた差分画像に基づいて表面欠陥の形状によって発生する明暗パターンを認識し、表面欠陥の凹形状又は凸形状を判別することにより、表面欠陥の検出精度をさらに向上させる手法も提案されている（特許文献２参照）。
特開２０１５−１２５０８９号公報 特開２０１５−２１０１５０号公報
特許文献１，２に記載の手法によれば、凹凸性の表面欠陥と平らなスケール模様とを差分画像によって精度よく弁別することができる。しかしながら、本発明の発明者らが検討したところ、特許文献１，２に記載の手法では、凹凸がほとんど存在しない表面反射率が高い地鉄部の差分後の信号が、凹形状の表面欠陥信号と類似しているために弁別が困難な場合があることが判明した。なお、地鉄部は、主に表面に黒皮スケールが生成する温度未満において、擦れや衝突等によって黒皮スケールが剥離することで発生し、冷間スリ疵等がこれに該当する。通常、凹凸性の表面欠陥は、熱間において鋼材が柔らかいうちにロールに焼付いた突起物等を押し込み転写することにより発生する。このため、凹凸性の表面欠陥は、はっきりした凹凸形状を有し、なおかつ冷却する過程で健全部と同様に酸化して同じ程度の反射率になる。この結果、図２２（ａ）に示すように、片側投光によって明確な明暗パターンが発生する。これに対して、地鉄部は、鋼材が冷間においてロール等の構造物に擦れることによって発生することが多く、黒皮スケールが剥がれ、地鉄がむき出しとなることによって黒皮スケールに覆われた健全部と比較して反射率が高くなる。この結果、図２２（ｂ）に示すように、地鉄部は深さが殆どないが反射率が高いため、照射方向に関わらず高輝度の信号として撮像される。
また、地鉄部にわずかに凹凸が存在する場合には、特許文献１，２に記載の手法を適用して差分画像を取得した際、凹凸性の表面欠陥と同様の明暗パターンが発生することがある。地鉄部は、検査の目的によって有害及び無害のどちらともなりうる表面欠陥であり、表面欠陥の未検出や過検出の原因となる。特に肉厚保障等の深さが重要な検査においては、凹凸性の表面欠陥は有害、地鉄部は無害とされる場合が多く、凹凸性の表面欠陥と地鉄部とを精度よく弁別することが望ましい。
本発明は、上記課題に鑑みてなされたものであって、その目的は、地鉄部と表面欠陥とを精度よく弁別可能な表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルを提供することにある。また、本発明の他の目的は、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上可能な鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備を提供することにある。
本発明に係る表面欠陥検出方法は、鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出ステップと、を含む。
前記明部の重なり度合は、前記検査対象部位において、表面欠陥候補部に対する前記明部の重なり部分が占める割合であるとよい。
前記検出ステップは、各照明光の反射光による２つ以上の画像から抽出された明部から、検査対象部位における表面欠陥候補部を算出するステップと、表面欠陥候補部に対する前記明部の重なり部分が占める割合に基づいて、前記検査対象部位における表面欠陥を検出するステップと、を含むとよい。
前記検出ステップは、前記２つ以上の画像から抽出された明部の重なり度合が入力された際に該２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力するように、機械学習が施された表面欠陥判定モデルを用いて、前記検査対象部位における前記表面欠陥を検出するステップを含むとよい。
本発明に係る表面欠陥検出装置は、鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、２つ以上の弁別可能な光源で同一の検査対象部位に異なる方向から照明光を照射する照射手段と、各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出手段と、を備える。
本発明に係る鋼材の製造方法は、本発明に係る表面欠陥検出方法を用いて鋼材の表面欠陥を検出しながら鋼材を製造するステップを含む。
本発明に係る鋼材の品質管理方法は、本発明に係る表面欠陥検出方法を用いて表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理するステップを含む。
本発明に係る鋼材の製造設備は、鋼材を製造する製造設備と、前記製造設備によって製造された鋼材を検査する、本発明に係る記載の表面欠陥検出装置と、を備える。
本発明に係る表面欠陥判定モデルの生成方法は、２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照射された照明光の反射光による２つ以上の画像から抽出された明部の重なり度合と、前記検査対象部位に表面欠陥があるか否かの判定結果と、を教師データとして用いて、前記２つ以上の画像から抽出された明部の重なり度合を入力値、該２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、表面欠陥判定モデルとして機械学習により生成する。
本発明に係る表面欠陥判定モデルは、本発明に係る表面欠陥判定モデルの生成方法により生成された。
本発明に係る表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルによれば、地鉄部と表面欠陥とを精度よく弁別できる。また、本発明に係る鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備によれば、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。
図１は、本発明の一実施形態である表面欠陥検出装置の構成を示す模式図である。 図２は、地鉄部の差分画像の一例を示す図である。 図３は、凹形状の表面欠陥の明部画像にＡＮＤ処理を施した結果を示す図である。 図４は、地鉄部の明部画像にＡＮＤ処理を施した結果を示す図である。 図５は、本発明の第１の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。 図６は、本発明の第２の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。 図７は、本発明の第３の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。 図８は、図７に示すラベリング処理の一例を説明するための図である。 図９は、本発明の第４の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。 図１０は、凹凸性の表面欠陥とスケール模様及び無害模様とを撮影した２つの二次元画像及びその差分画像の一例を示す図である。 図１１は、検査対象部位の表面形状が凹形状及び凸形状である場合における一方から光を照射した時の陰影を示す図である。 図１２は、凹形状の表面欠陥の差分画像の一例を示す図である。 図１３は、膨張処理を利用した明部及び暗部の位置関係算出方法の流れを示すフローチャートである。 図１４は、膨張収縮処理を説明するための図である。 図１５は、差分画像及び明暗パターンの一次元プロファイルの一例を示す図である。 図１６は、フィルターの二次元画像及び一次元プロファイルの一例を示す図である。 図１７は、図１６に示すフィルターを用いたフィルター処理が施された差分画像及び一次元プロファイルの一例を示す図である。 図１８は、地鉄部及び凹凸性の表面欠陥について両明部占有率のヒストグラムを計算した結果を示す図である。 図１９は、本発明の第５の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。 図２０は、光源の配置位置の変形例を示す模式図である。 図２１は、図２０に示す光源の配置位置によって得られる明暗パターンを示す模式図である。 図２２は、凹凸性の表面欠陥及び地鉄部の特徴を説明するための模式図である。
以下、図面を参照して、本発明の一実施形態である表面欠陥検出装置の構成及びその動作について説明する。
〔表面欠陥検出装置の構成〕
図１は、本発明の一実施形態である表面欠陥検出装置の構成を示す模式図である。図１に示すように、本発明の一実施形態である表面欠陥検出装置１は、図示矢印方向に搬送される円筒形状の鋼管Ｐの表面欠陥を検出する装置であり、光源２ａ，２ｂ、ファンクションジェネレータ３、エリアセンサ４ａ，４ｂ、画像処理装置５、及びモニター６を主な構成要素として備えている。
光源２ａ，２ｂは照射手段である。光源２ａ，２ｂは、ファンクションジェネレータ３からのトリガー信号に従って鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。光源２ａ，２ｂは、検査対象部位に対して対称に配置されている。すなわち、光源２ａ，２ｂは、鋼管Ｐ表面の法線ベクトルに対して同一の入射角だけずらし、照明光Ｌの照射方向ベクトルと鋼管Ｐ表面の法線ベクトルとが同一平面上となるように配置されている。
ここで、照明光Ｌの入射角を同一にする目的は、異なる入射方向の光源を弁別した時に光学条件をできるだけ等しくすることにある。経験上、各入射角の差が２０°以内の範囲内であれば、同一の入射角と表現する。一方、入射角そのものは、１つの光源の入射角が２５°〜８２．５°の範囲内にあることが経験上望ましい。さらに、光量を稼ぎたい場合は２５°〜５５°の範囲内、光量が十分でＳ／Ｎ比を上げたい場合は６０°〜８２．５°の範囲内から選択することが望ましい。
なお、本明細書中において、入射角とは、光源２ａ，２ｂからの光線の入射方向と、検査対象部位の表面に対する法線とがなす角度を示す。また、検査対象部位の表面に対する法線を０°とする。また、本実施形態では、光源の数を２つとしたが、弁別可能であれば光源の数を３つ以上にしてもよい。ここで述べる弁別可能な光源とは、検査対象部位から得られる反射光についてそれぞれの光源別に反射光量を求めることが可能な光源を意味する。
エリアセンサ４ａ，４ｂは撮像手段である。エリアセンサ４ａ，４ｂは、ファンクションジェネレータ３からのトリガー信号に従って光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。エリアセンサ４ａ，４ｂは、撮影した二次元画像のデータを画像処理装置５に入力する。エリアセンサ４ａ，４ｂは、それぞれの撮像視野を確保した状態で可能な限り検査対象部位の法線ベクトル上に設置されている。なお、本実施形態では、エリアセンサを用いているが、ラインセンサを用いてもよい。この場合、撮影した画像は一次元画像となるが、後述する表面欠陥検出方法はそのまま適用できる。
画像処理装置５は検出手段である。画像処理装置５は、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて、検査対象部位における無害な地鉄部の判定処理を行う装置である。この地鉄部の判定処理は、本発明の最重要技術であるため、この後詳細に説明する。この画像処理装置５は、さらに、機械学習による欠陥判定も行うことができる。さらに、必要に応じて、後述する差分処理を行うことによって検査対象部位における表面欠陥を検出することもできる。画像処理装置５は、エリアセンサ４ａ，４ｂから入力された二次元画像や表面欠陥の検出結果に関する情報をモニター６に出力する。
このような構成を有する表面欠陥検出装置１は、以下に示す表面欠陥検出方法を実行することによって、検査対象部位における地鉄部の判定処理を行う。さらに、表面欠陥検出装置１は、必要に応じて、検査対象部位におけるスケール模様や無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。なお、スケール模様や無害模様とは、厚さ数〜数十μｍ程度の地鉄部分とは光学特性の異なる表面皮膜や表面性状を有する部分のことを意味し、表面欠陥検出方法においてノイズ要因となる部分である。
〔表面欠陥検出方法〕
特許文献１及び特許文献２に記載の表面欠陥検出方法では、冷間スリ疵等の地鉄部の二次元画像に対して同様の差分処理を実施すると、図２（ａ）に示すような凹凸性の表面欠陥の明暗パターンと同様の図２（ｂ）〜（ｅ）に示すような明暗パターンが発生することがある。これは、地鉄部が高い反射率及び輝度のばらつきを有することから、明部及び暗部がランダムに発生するためである。特に表面欠陥の深さが重要な厚板や鋼管等の鋼材の分野では、地鉄部は表面欠陥と比較して非常に多く発生するため、特徴量等による弁別は困難である。
ところが、地鉄部は、検査ニーズに応じて有害と判定しなければならない場合と無害と判定しなければならない場合とがある。このため、表面欠陥の明暗パターンと同様の明暗パターンを有する地鉄部を弁別できない場合、過検出となってしまい表面欠陥の検出性能が低下する。また、地鉄部を有害と判定しなければならない場合においても、地鉄部を表面欠陥と弁別しなければならない場合もある。そして、地鉄部は様々な形状があり、無害と判定したい場合が多い。
このような地鉄部を安定して検出するためには、その特徴であるどの方向から照明光を照射しても定常部より明るいといった特徴を用いる方法が考えられる。ここで述べる定常部とは、表面欠陥でも地鉄部でもない黒皮スケール部のことを指す。すなわち、エリアセンサ４ａ，４ｂから入力された２つの二次元画像から閾値処理やラベリング等で抽出した表面欠陥候補部の領域の中で明部の重なり部分を検出することにより、地鉄部を検出する方法が考えられる。
図３及び図４はそれぞれ、表面欠陥候補部における凹形状の表面欠陥と地鉄部について、エリアセンサ４ａ，４ｂから入力された２つの二次元画像の明部を二値化処理により検出し、検出した明部画像にＡＮＤ処理を施した結果の例である。図３（ｃ）〜（ｅ）に示すように、凹形状の表面欠陥では、２つの二次元画像（図３（ｃ），（ｄ））の明部の位置が異なるため、ＡＮＤ処理を施しても信号は検出されない（図３（ｅ））。これに対して、図４（ｃ）〜（ｅ）に示すように、地鉄部では、２つの二次元画像（図４（ｃ），（ｄ））の明部の位置が一致するため、ＡＮＤ処理を施すと明部及び暗部のほぼ全ての箇所と重なるように信号が検出される（図４（ｅ））。
なお、検査対象部位における表面欠陥候補部を検出する方法は、公知の方法が利用できる。特に特許文献１及び特許文献２に記載された差分画像を利用する方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、表面欠陥候補部、特に凹凸性の表面欠陥候補部を、精度よく検出可能という利点があり、好適である。
なお、表面欠陥候補部の検出のタイミングは、後述する検出ステップが両面部占有率を算出するステップ（後述のＳ５，Ｓ１５，Ｓ２５，Ｓ３７，Ｓ４８）より前であれば、いつでも行ってもよい。例えば、後述する検出ステップとは別に、予め検出しておいてもよい（第１及び第２の実施形態を参照）。また、例えば、後述する検出ステップ内で、検出ステップで使用する明部二値化画像ａと明部二値化画像ｂとのコピーから検出してもよい（第３の実施形態を参照）。さらに、例えば、後述する検出ステップと並行して、検出ステップで使用する生画像ａ、生画像ｂ、補正画像ａ及び補正画像ｂ等のコピーから求めた差分画像を利用して凹凸性の表面欠陥を検出し、この検出された凹凸性の表面欠陥を表面欠陥候補部としてもよい。
従って、２つの二次元画像の明部画像に対してＡＮＤ処理を施すことにより両明部画像を抽出し、表面欠陥候補部をこの両明部画像で評価することにより、表面欠陥候補部が表面欠陥及び地鉄部のどちらであるのかを判別できる。地鉄部は、２つの二次元画像の明部を閾値処理により抽出してＡＮＤ処理を施すことにより検出できる。また、地鉄部でなく表面欠陥等であっても、他方向から照射した２つの二次元画像の明部が偶然わずかに重なる場合がある。これに対して、地鉄部の場合は、他方向から照射した２つの二次元画像の中で高反射率となり、明部がほとんどの領域で重なる。そこで、明部の重なりの程度を特徴量として算出し、その指標を用いて地鉄部と表面欠陥とを弁別してもよい。この方法では、重なり部分の有無で判定した場合よりも、より精度よく弁別ができ好ましい。
以下、上記の考えに基づいて想倒された本発明の第１〜第５の実施形態である表面欠陥検出方法について説明する。
［第１の実施形態］
まず、図５を参照して、本発明の第１の実施形態である表面欠陥検出方法について説明する。
本発明の第１の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて無害な地鉄部の判定を行う。
図５は、本発明の第１の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図５に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ，生画像ｂ）に対して画像補正処理を施すことにより、補正画像ａ，補正画像ｂを生成する（ステップＳ１ａ，Ｓ１ｂ）。ここで述べる画像補正処理には、検査対象領域を切り出す処理や光学系起因の全体の輝度むらを補正するシェーディング補正等の処理が含まれる。
次に、画像処理装置５は、補正画像ａ及び補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂを生成する（ステップＳ２ａ，Ｓ２ｂ）。図５において、ラベル「明部二値化画像ａ」の左横に明部二値化画像ａの例を、ラベル「明部二値化画像ｂ」の右横に明部二値化画像ｂの例を示す。次に、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂの双方において値が１の画素を抽出し両明部画像を生成する（ステップＳ３）。図５において、ラベル「両明部画像」の右横に両明部画像の例を示す。
次に、画像処理装置５は、表面欠陥候補部を用いて両明部画像に対してマスキング算出処理を実施する。この処理により、画像処理装置５は、地鉄部か否かを判定する対象となる領域（つまり、表面欠陥候補部であり、且つ、明部である領域）を切り出した切出両明部画像を生成する（ステップＳ４）。次に、画像処理装置５が、表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する（ステップＳ５）。さらに、画像処理装置５は、算出された両明部占有率を用いた閾値処理等により、表面欠陥候補部が地鉄部か表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ６）。なお、本実施形態は、表面欠陥候補部に対する両明部画像の重なり度合を算出する例であるが、表面欠陥候補部全体のうち両明部画像がどの程度重なっているかが算出できれば、他の処理方法でもよい。例えば、表面欠陥候補部を渦流探傷や超音波探傷等の他の手法で計測し、その中で両明部画像が占める割合を算出してもよい。
［第２の実施形態］
次に、図６を参照して、本発明の第２の実施形態である表面欠陥検出方法について説明する。
本発明の第２の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて無害な地鉄部の判定を行う。
図６は、本発明の第２の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図６に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ，生画像ｂ）それぞれに対して、表面欠陥候補部を用いてマスキング算出処理を実施することにより、地鉄部か否かを判定する対象となる領域を切り出した切出生画像ａ，切出生画像ｂを生成する（ステップＳ１１ａ，Ｓ１１ｂ）。次に、画像処理装置５は、切出生画像ａ及び切出生画像ｂに対して画像補正処理を施すことにより、切出補正画像ａ及び切出補正画像ｂを生成する（ステップＳ１２ａ，Ｓ１２ｂ）。ここで述べる画像補正処理には、光学系起因の全体の輝度むらを補正するシェーディング補正等の処理が含まれる。
次に、画像処理装置５は、切出補正画像ａ及び切出補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂを生成する（ステップＳ１３ａ，Ｓ１３ｂ）。次に、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂの双方において、値が１の画素を抽出し、切出両明部画像を生成する（ステップＳ１４）。次に、画像処理装置５は、表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する（ステップＳ１５）。さらに、画像処理装置５は、算出された両明部占有率を用いた閾値処理等により、表面欠陥候補部が地鉄部か表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ１６）。
［第３の実施形態］
次に、図７を参照して、本発明の第３の実施形態である表面欠陥検出方法について説明する。
本発明の第３の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて無害な地鉄部の判定を行う。
図７は、本発明の第３の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図７に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ、生画像ｂ）それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像ａ及び補正画像ｂを生成する（ステップＳ２１ａ，Ｓ２１ｂ）。この画像補正処理によって以後の明部抽出処理等を精度よく実施することができる。
次に、画像処理装置５は、補正画像ａ及び補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂを生成する（ステップＳ２２ａ，Ｓ２２ｂ）。次に、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂの双方において値が１の画素を抽出し、両明部画像を生成する（ステップＳ２３）。両明部画像において値が１の画素の集合は、明部二値化画像ａと明部二値化画像ｂの双方の明部が重なった明部重なり部となる。これにより、明部二値化画像ａ及び明部二値化画像ｂの中で高反射率部分が重なる部分を抽出することができる。図８（ａ）に明部二値化画像ａの例を、図８（ｂ）に明部二値化画像ｂの例を、図８（ｃ）に両明部画像の例を示す。
次に、画像処理装置５は、生成した両明部画像の値が１である明部の画素にラベリングし、各ブロブ（ラベリングされた画素の集合）を地鉄部候補部とする。図８（ｃ）両明部画像における白い部分（つまり明部）が地鉄部候補部で、明部二値化画像ａ及び明部二値化画像ｂ双方の明部の重なり部に該当する。また、画像処理装置５は、ステップＳ２２ａ，Ｓ２２ｂにて生成された明部二値化画像ａ及び明部二値化画像ｂに対して、今度はＯＲ処理を施す。この処理により、画像処理装置５は、明部ＯＲ画像を生成する。図８（ｄ）に、明部ＯＲ画像の例を示す。それから、画像処理装置５は、この処理で得られた明部ＯＲ画像に、上述した地鉄部候補部をラベリングする。そして、画像処理装置５は、ラベリングされた地鉄部候補部を含む明部の塊を各ブロブとして抽出する。ここで各ブロブを表面欠陥候補部とする（ステップＳ２４）。図８（ｅ）に、表面欠陥候補部の例を示す。白い部分（つまり明部）が表面欠陥候補部である。図８（ｃ）の両明部画像では、ステップＳ２３のＡＮＤ処理により、表面欠陥ではないと思われる明部が削除されている。一方、図８（ｄ）で明らかなように、ＯＲ処理では、欠陥か否かに関わらず全ての明部が残ってしまう。そこで、地鉄部候補部でラベリングすることにより、確実に表面欠陥候補部を検出することができる。
次に、画像処理装置５は、表面欠陥候補部毎に、地鉄部候補部の面積を表面欠陥候補部の面積で除算した値を両明部占有率として算出する（ステップＳ２５）。そして最後に、画像処理装置５は、算出された両明部占有率から表面欠陥候補部が地鉄部か否かを判定し地鉄部を検出する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ２６）。
なお、表面欠陥候補部に対する地鉄部候補部の重なり度合を示す指標は複数考えられる。例えば、各地鉄部候補部の面積がＡＮＤ処理を実施する前の２枚の画像の表面欠陥候補部の面積に対して占める割合等が考えられる。この場合、表面欠陥候補部の面積としては、２か所の表面欠陥候補部のＯＲ処理をした面積、各表面欠陥候補部の面積の和や最大値等を例示できる。両明部占有率が高ければ高いほど、地鉄部である可能性が高い。そのため、単純に一定閾値を用いて、閾値以上であれば地鉄部と判定してもよい。
また、両明部占有率を特徴量として用い、二分決定木法等の公知の機械学習方法を用いて地鉄部を検出してもよい。すなわち、両明部占有率と検査対象部位に表面欠陥があるか否かの判定結果とを教師データとして用いて、２つ以上の画像から算出した両明部占有率を入力値、２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、機械学習により生成する。生成された学習済みモデルを表面欠陥モデルとし、この表面欠陥判定モデルに両明部占有率を入力し、表面欠陥判定モデルの出力値を用いて地鉄部か否かを判定して地鉄部を検出してもよい。これにより、従来手法では弁別困難であった地鉄部と表面欠陥とを精度よく弁別できる。
また、第１〜３の実施形態で算出した地鉄部と表面欠陥候補部の位置関係から表面欠陥候補部が地鉄部であるかどうかを判定してもよい。具体的には、表面欠陥候補部と第１〜３の実施形態で算出した地鉄部がほぼ同一の位置であれば、表面欠陥候補部は地鉄部である可能性が高い。また、第１〜３の実施形態と同様に表面欠陥候補部のうち、両明部がどの程度重なっているかが算出できれば、他の処理方法でもよい。
［第４の実施形態］
地鉄部にわずかに凹凸が存在する場合、凹凸性の表面欠陥と同様の明暗パターンが発生することにより、地鉄部と凹凸性の表面欠陥とを精度よく弁別できないことがある。そこで、本実施形態では、特許文献１及び特許文献２に記載の方法により算出できる凹凸性の表面欠陥を表面欠陥候補部として用いることにより、地鉄部と凹凸性の表面欠陥とを精度よく弁別する。以下、図９を参照して、本発明の第４の実施形態である表面欠陥検出方法について説明する。
本発明の第４の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて、スケールや無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。
図９は、本発明の第４の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図９に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ、生画像ｂ）それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像ａ及び補正画像ｂを生成する（ステップＳ３１ａ，Ｓ３１ｂ）。次に、画像処理装置５は、補正画像ａと補正画像ｂとの間で差分処理を行うことによって差分画像を生成する（ステップＳ３２）。次に、画像処理装置５は、生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出すると共に、差分処理によって除去されたスケール模様や無害模様に関する情報を出力する（ステップＳ３３）。
一方、画像処理装置５は、ステップＳ３１ａ，Ｓ３１ｂにおいて生成された補正画像ａ及び補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂを生成する（ステップＳ３４ａ，Ｓ３４ｂ）。次に、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、明部二値化画像ａ及び明部二値化画像ｂの双方において値が１の画素を抽出して、両明部画像を生成する（ステップＳ３５）。次に、画像処理装置５は、ステップＳ３３の処理において算出された凹凸性の表面欠陥候補部を用いて両明部画像に対してマスキング算出処理を実施する。この処理により、画像処理装置５は、地鉄部か否かを判定する対象となる領域を切り出した切出両明部画像を生成する（ステップＳ３６）。次に、画像処理装置５は、凹凸性の表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する（ステップＳ３７）。さらに、画像処理装置５は、算出された両明部占有率を用いた閾値処理等により、地鉄部か凹凸性の表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ３８）。地鉄部は２方向からの照射によりどちらも凹凸性の表面欠陥候補部全体が明るい信号となるが、凹凸性の表面欠陥は２方向からの照射で陰影のつき方が異なるため、凹凸性の表面欠陥候補部全体で明部と暗部が異なる位置に発生する。従って、地鉄部の両明部占有率は高く、凹凸性の表面欠陥の両明部占有率は低くなる。
なお、ステップＳ３３の処理における差分画像を用いて検査対象部位における凹凸性の表面欠陥候補部を検出する方法としては、公知の方法が利用できる。特に特許文献１及び特許文献２に記載された方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、凹凸性の表面欠陥候補部を精度よく検出可能という利点があり、好適である。以下では、ステップＳ３３の処理の一例として、特許文献１及び特許文献２に記載の技術を用いた例を説明する。
いま、光源２ａから照明光Ｌを照射した時に得られた二次元画像Ｉａを構成する各画素の輝度値をＩａ（ｘ，ｙ）（但し、画素数Ｘ×Ｙとし、ｘ座標を１≦ｘ≦Ｘ、ｙ座標を１≦ｙ≦Ｙとする）、光源２ｂから照明光Ｌを照射した時に得られた二次元画像Ｉｂを構成する各画素の輝度値をＩｂ（ｘ，ｙ）とした時、ステップＳ３２の差分処理によって得られる差分画像Ｉ＿ｄｉｆｆの各画素の輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）は以下に示す数式（１）で表される。
Figure 2020110667
ここで、凹凸性の表面欠陥と表面欠陥で無い健全なスケール模様及び無害模様を撮像した二次元画像Ｉａ、Ｉｂ及びその差分画像Ｉ＿ｄｉｆｆの例をそれぞれ図１０（ａ），（ｂ），（ｃ）に示す。図１０（ａ），（ｂ），（ｃ）に示すように、健全部では、スケール模様や無害模様の有無に関わらず表面の法線ベクトルと光源２ａの成す角と表面の法線ベクトルと光源２ｂの成す角とが等しいため、輝度値Ｉａ（ｘ，ｙ）＝輝度値Ｉｂ（ｘ，ｙ）、すなわち輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）＝０となる。
しかしながら、凹凸性の表面欠陥部分では、表面が凹凸形状を有するため、表面の法線ベクトルと光源２ａの成す角と表面の法線ベクトルと光源２ｂの成す角とが等しくない箇所が必ず存在し、輝度値Ｉａ（ｘ，ｙ）≠輝度値Ｉｂ（ｘ，ｙ）、すなわち輝度値Ｉ＿ｄｉｆｆ（ｘ，ｙ）≠０となる。従って、差分器１１による差分処理によって２つの二次元画像の差分画像Ｉ＿ｄｉｆｆを生成することによって表面欠陥でない健全なスケール模様や無害模様の画像を除去することができる。
次に、差分画像Ｉ＿ｄｉｆｆから凹凸性の表面欠陥候補部を検出するロジックについて説明する。図１１（ａ），（ｂ）はそれぞれ、検査対象部位の表面形状が凹形状及び凸形状である場合における一方の光源から検査対象部位に照明光を照射した時の陰影を示す図である。図１１（ａ）に示すように、検査対象部位の表面形状が凹形状である場合、光源の手前側が単位面積当たりの照射光の光量低下によって暗くなり、光源の奥側が正反射方向に近づくため明るくなる。これに対して、図１１（ｂ）に示すように、検査対象部位の表面形状が凸形状である場合には、光源の手前側が正反射方向に近づくため明るくなり、光源の奥側が凸形状の影となり暗くなる。
すなわち、検査対象部位の表面形状が凹形状である場合と凸形状である場合とで照明光の反射光の明暗パターンが異なる。従って、反射光の明暗パターンを認識することによって凹凸性の表面欠陥候補部の有無を検出することができる。そこで、以下では、反射光の明暗パターンを認識することによって凹凸性の表面欠陥候補部を検出する方法について述べる。なお、以下では、凹凸性の表面欠陥候補部のうち、凹形状の表面欠陥候補部を検出するものとするが、凸形状の表面欠陥候補部も同様のロジックで検出することができる。また、以下で述べる明部とは、差分画像Ｉ＿ｄｉｆｆにおいて輝度が所定閾値以上である画素に対して連結処理を行うことによって得られる所定値以上の面積を持つブロブを意味する。また、以下で述べる暗部とは、差分画像Ｉ＿ｄｉｆｆにおいて輝度が所定閾値以下である画素に対して連結処理を行うことによって得られるある所定値以上の面積を持つブロブを指す。ブロブとはラベリングされた画素の集合を意味する。
なお、上記明部及び暗部を検出する所定閾値及び面積を決定する所定値は、最終的な検出性能を考慮して調整される。言い換えると、所定閾値及び所定値を大きく設定すればするほど、より強い信号を持つ欠陥しか検出することができないが、表面粗さやノイズが原因となる過検出信号を低減させることが可能となる。すなわち、有害な欠陥の定義や使用用途、及び明暗パターンから欠陥判定する弁別性能から、目標とする検出性能及び許容される過検度合いを満たすよう調整することが好ましい。
本実施形態では、閾値処理を行うことによって隣り合う明部と暗部とを抽出することにより明暗パターンを認識する。具体的には、図１に示す表面欠陥検出装置１では、光源２ａ，２ｂは検査対象部位の法線ベクトルに対して左右対称に配置されているため、表面の凹凸形状に起因する反射光の明暗パターンは左右方向に発生する。明暗の左右は差分処理の順番によって逆となるため、ここでは右が明・左が暗である場合を凹形状、右が暗・左が明である場合を凸形状とする。従って、凹形状の表面欠陥の差分画像Ｉ＿ｄｉｆｆは図１２に示すようになる。そこで、明部と暗部の画像をそれぞれ輝度閾値Ｔｈｅ，−Ｔｈｅによって二値化すると、明部及び暗部の二値化画像Ｉ＿ｂｒｉｇｈｔ，Ｉ＿ｄａｒｋはそれぞれ以下に示す数式（２）のように表される。
Figure 2020110667
そして、このようにして明部及び暗部の画像を二値化し、必要に応じて連結・孤立点除去を行った後、隣り合う明部及び暗部の位置関係を算出することによって凹凸性の表面欠陥の有無を検出する。なお、隣り合う明部及び暗部の位置関係の算出方法には様々な方法があり、以下では代表的な３つの算出方法を述べるが、その他の算出方法であっても明部と暗部の位置関係が算出できれば良い。
第１の位置関係算出方法は、隣り合う明部及び暗部に対して特定方向の膨張収縮処理を施すことによって隣り合う明部及び暗部の位置関係を算出する方法である。本算出方法のフローチャートを図１３に示す。本実施形態では、凹形状の表面欠陥を検出するため、右が明、左が暗である明暗のパターンを認識する場合について説明する。右が明、左が暗ということは明部の左側には必ず暗部があり、暗部の右側には必ず明部があるということである。そこで、本算出方法では、始めに、画像処理装置５が、暗部に対して右方向に膨張処理を施し、明部に対しては左方向に膨張処理を施す（ステップＳ３３１ａ，Ｓ３３１ｂ）。ここで、膨張処理が施された明部及び暗部の画像をそれぞれI_bright_extend、I_dark_extendとし、膨張する長さをＷとすると膨張処理は以下に示す数式（３）のように表される。但し、二次元画像の左上を原点として下方向をｙ軸方向正、右方向をｘ軸方向正とする。
Figure 2020110667
なお、本実施形態では、明部と暗部とを同じ長さＷだけ膨張させているが、膨張する長さＷは必ずしも同じである必要は無く、極端に述べれば明部及び暗部の一方のみに対して膨張処理を施してもよい。また、膨張する長さＷは検出したい表面欠陥の大きさにも依存する。
次に、画像処理装置５は、以下に示す数式（４）のように膨張処理が施された明部及び暗部の画像I_bright_extend、I_dark_extendに対してand処理を行うことにより、膨張処理が施された明部及び暗部の画像I_bright_extend、I_dark_extendの重なり部分を凹形状欠陥候補部画像I_defectとして抽出する（ステップＳ３３２ａ，Ｓ３３２ｂ）。
Figure 2020110667
次に、画像処理装置５は、得られた各凹形状欠陥候補部画像I_defectに対して、必要に応じて連結・孤立点除去処理を行った後、ラベリング処理を行うことによって、凹形状欠陥候補ブロブI_defect_blobを生成する（ステップＳ３３３）。そして、画像処理装置５は、各凹形状欠陥候補ブロブI_defect_blobの特徴量を抽出し、抽出結果に基づいて各凹形状欠陥候補ブロブI_defect_blobが凹形状の表面欠陥であるか否かを判別する（ステップＳ３３４ａ，Ｓ３３４ｂ）。なお、凹形状欠陥候補ブロブI_defect_blobの特徴量を調査するためには、明部及び暗部の情報が必要となるため、凹形状欠陥候補ブロブI_defect_blobから明部と暗部を復元する。
具体的には、凹形状欠陥候補部の右側には必ず明部が存在し、左側には必ず暗部が存在するため、画像処理装置５は、凹形状欠陥候補ブロブI_defect_blobの重心を起点として暗部二値化画像I_darkを左側に探索し、最初に見つかったブロブを暗部凹形状欠陥候補ブロブI_dark_blobとする。同様に、画像処理装置５は、凹形状欠陥候補ブロブI_defect_blobの重心を起点として明部二値化画像I_brightを右側に探索し、最初に見つかったブロブを明部凹形状欠陥候補ブロブI_bright_blobとする。そして、画像処理装置５は、こうして復元された明部凹形状欠陥候補ブロブI_bright_blob及び暗部凹形状欠陥候補ブロブI_dark_blobから特徴量を抽出し、抽出された特徴量に基づいて各凹形状欠陥候補ブロブI_defect_blobが凹形状の表面欠陥であるか否かを判別する。具体的な特徴量は欠陥により異なるため、ここでは述べず後述する実施例で一例を挙げる。
この明部凹形状欠陥候補ブロブと暗部凹形状欠陥候補ブロブの復元から、後に述べる両明部占有率の算出に用いる凹凸性の表面欠陥候補部を算出することが可能である。具体的には明部及び暗部のブロブを算出してそれぞれの二値化画像を取得し、ＯＲ処理をした二値化画像で得られる領域や、さらに膨張収縮処理を実施し、明部と暗部の間を埋めた領域を凹凸性の表面欠陥候補部とする。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図１１（ａ），（ｂ）に示したように明暗パターンが逆転するので、図１３に示した処理における明部及び暗部の位置関係を逆にすれば同様の処理により算出可能である。
なお、上記膨張収縮処理とは、図１４に示すように、まず、生画像（図１４（ａ））から生成された暗部二値化画像（図１４（ｂ））と明部二値化画像（図１４（ｃ））とのＡＮＤ処理によって得られた画像（図１４（ｄ））に対して一定の形状で膨張処理（対象ブロブに対して輪郭部を形成する画素を定義して形状で置き換え）を実施した後、その後一定の形状で収縮処理（対象ブロブに対して輪郭部を形成する画素を定義した形状で削除）を実施した画像（図１４（ｅ））を得ることを意味する。膨張収縮距離のパラメータは、明部と暗部との間の距離より大きいブロブであればどのような形状でもよいが、膨張処理と収縮処理で同一の形状とすることが望ましい。また１画素ずつ複数回膨張収縮処理を施しても同様の結果が得られる。
第２の位置関係算出方法では、上述の閾値処理を行い、必要に応じて連結・孤立点除去処理を行った後、明部及び暗部を抽出してラベリングを実施し、隣り合う明部及び暗部の位置関係を認識することにより凹形状の表面欠陥を検出する。具体的には、始めに、画像処理装置５は、ラベリングにより明部及び暗部を個別に認識し、明部及び暗部の重心情報を得る。次に、画像処理装置５は、明部及び暗部の重心情報から各明部の右側の所定範囲内に暗部の重心が存在するか否かを判定する。そして、暗部の重心が存在する場合、画像処理装置５は、対となる明部と暗部との組み合わせを明暗パターンとして認識し、明暗パターンの特徴量解析を行うことによって、凹形状の表面欠陥であるか否かを判別する。なお、ここでは重心情報を用いて明暗パターンを認識したが、隣り合う明部及び暗部の位置が把握できる情報（例えば上端位置や下端位置等）であれば、明暗パターンの認識に用いる情報は必ずしも重心情報でなくてよい。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図１１（ａ），（ｂ）に示したように明暗パターンが逆転するので、図１３に示した処理における明部及び暗部の位置関係を逆にすれば同様の処理により算出可能である。
第３の位置関係算出方法では、上述の閾値処理を行わず、フィルターを用いて明暗パターンを認識することによって、凹形状の表面欠陥を検出する。具体的には、図１に示す表面欠陥検出装置１では、光源２ａ，２ｂが検査対象部位の法線に対して左右対称に配置されているため、表面の凹凸に起因する明暗パターンは左右方向に発生する。図１５（ａ），（ｂ）はそれぞれ、差分画像の一例及び図１５（ａ）に示す線分Ｌにおける明暗パターンの一次元プロファイルを示す図である。
図１５（ａ），（ｂ）に示すように、凹形状の表面欠陥では右が明、左が暗であるため、明暗パターンの一次元プロファイルは右側が山形、左側が谷形の特徴的な一次元プロファイルになる。そこで、本実施形態では、右側が山形、左側が谷形となるようなフィルターＨを予め作成し、以下の数式（５）に示すように差分画像I_diffにフィルターＨをかけることにより、高周波数のノイズが低減され、明暗パターンのみが強調された二次元画像I_contを生成する。
Figure 2020110667
図１６（ａ），（ｂ）はそれぞれ予め作成したフィルターＨの二次元画像及びその左右方向の一次元プロファイルの一例を示す図である。図１７（ａ），（ｂ）はそれぞれ、図１６（ａ），（ｂ）に示すフィルターＨを用いたフィルター処理が施された差分画像及びその左右方向の一次元プロファイルを示す図である。図１７（ａ），（ｂ）に示すように、高周波数のノイズが低減され、明暗パターンのみが強調された二次元画像が得られることがわかる。なお、本実施形態では説明を容易とするため、凹形状欠陥候補部で説明をしたが、凸形状欠陥候補部については、図１１（ａ），（ｂ）に示したように明暗パターンが逆転するので、フィルタの形状を逆にすれば同様の処理により算出可能である。
なお、必要に応じて、幅方向にレンジが異なるフィルターを数種類用意しておくことにより、多くの表面欠陥サイズに対応できるようにしてもよい。画像処理装置５は、このようにして明暗パターンが強調された二元画像に対して、必要に応じて連結・孤立点除去処理を施した後、閾値処理を行うことによって欠陥候補部画像I_defectを抽出する。そして、画像処理装置５は、抽出された欠陥候補部画像I_defectに対して第１の位置関係算出方法と同様の処理を施すことによって、凹形状の表面欠陥を検出する。なお、差分前の２枚の画像で見え方が同一となり、差分後に明暗パターンを形成しないスケール模様や無害模様に関しては、差分前の画像を二値化してラベリングして抽出した凹凸性の表面欠陥候補部から、差分後に明暗パターンを形成するものを除外することで抽出することが可能となる。
［実施例］
図１８に、実機試験における、第４の実施形態に係る表面欠陥検出方法と表面欠陥装置１とを用いて算出した、両明部占有率のヒストグラムの一例を示す。図１８の横軸は両明部占有率をパーセンテージで、縦軸は地鉄部または凹凸性の表面欠陥の頻度をパーセンテージで示している。図１８中の黒菱形の符号は、目視で「地鉄部」と確認された箇所１００％に対し、両明部占有率ごとに幾ら分布しているかを示す。また、図１８中の白四角の符号は、目視で「凹凸性の表面欠陥」と確認された箇所１００％に対し、両明部占有率ごとに幾ら分布しているかを示す。なお、本実施例では、明部は健全部の１．５倍以上の輝度を持つ部分とした。また、凹凸性の表面欠陥候補部は、明暗パターン検出と膨張収縮処理を用いて検出した。
図１８に示すように、凹凸性の表面欠陥と地鉄部とが、両明部占有率の約３０％を閾値として非常によく分離されていることが確認できる。地鉄部が過検出となる検査の場合、凹凸性の表面欠陥候補部に対し、両明部占有率が、例えば３０％以上を地鉄部と判定する。この方法により、凹凸性の表面欠陥を全く除外することなく、９５％以上の地鉄部を除去することが可能となる。なお、直接的に両明部占有率を閾値として弁別する方法も有効であると共に、両明部占有率を特徴量の一つとして、機械学習を用いて弁別しても同様の結果が得られる。
［第５の実施形態］
最後に、図１９を参照して、本発明の第５の実施形態である表面欠陥検出方法について説明する。
本発明の第５の実施形態である表面欠陥検出方法は、照射ステップ、撮像ステップ、及び検出ステップを含む。照射ステップでは、光源２ａ，２ｂが、ファンクションジェネレータ３からのトリガー信号に従って、鋼管Ｐの表面上の同一の検査対象部位に対して弁別可能な照明光Ｌを照射する。撮像ステップでは、エリアセンサ４ａ，４ｂが、ファンクションジェネレータ３からのトリガー信号に従って、光源２ａ，２ｂから照射された照明光Ｌの反射光による二次元画像を撮影する。検出ステップでは、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像を用いて、スケールや無害模様と凹凸性の表面欠陥と地鉄部とを弁別する。
図１９は、本発明の第５の実施形態である表面欠陥検出方法における検出ステップの流れを示すフローチャートである。図１９に示すように、本実施形態の検出ステップでは、まず、画像処理装置５が、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ、生画像ｂ）それぞれに対して、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、及びノイズ除去等の画像補正処理を施すことにより、補正画像ａ及び補正画像ｂを生成する（ステップＳ４１ａ，Ｓ４１ｂ）。次に、画像処理装置５は、補正画像ａと補正画像ｂとの間で差分処理を行うことによって差分画像を生成する（ステップＳ４２）。生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出する（ステップＳ４３）。次に、画像処理装置５は、生成された差分画像から検査対象部位における凹凸性の表面欠陥候補部を算出すると共に、差分処理によって除去されたスケール模様や無害模様に関する情報を出力する。
次に、画像処理装置５は、エリアセンサ４ａ，４ｂから入力された２つの二次元画像（生画像ａ，生画像ｂ）それぞれに対して、ステップＳ４３の処理において算出された凹凸性の表面欠陥候補部を用いてマスキング算出処理を実施する。この処理により、画像処理装置５は、地鉄部か否かを判定する対象となる領域を切り出した切出生画像ａ，切出生画像ｂを生成する（ステップＳ４４ａ，Ｓ４４ｂ）。次に、画像処理装置５は、切出生画像ａ及び切出生画像ｂに対して画像補正処理を施すことにより、切出補正画像ａ及び切出補正画像ｂを生成する（ステップＳ４５ａ，Ｓ４５ｂ）。
次に、画像処理装置５は、切出補正画像ａ及び切出補正画像ｂそれぞれに対して、輝度が閾値以上の画素の値を１、輝度が閾値未満の画素の値を０とすることによって明部を検出する明部二値化処理を施す。この処理により、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂを生成する（ステップＳ４６ａ，Ｓ４６ｂ）。次に、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂに対してＡＮＤ処理を施す。この処理により、画像処理装置５は、切出明部二値化画像ａ及び切出明部二値化画像ｂの双方において値が１の画素を抽出して、切出両明部画像を生成する（ステップＳ４７）。次に、画像処理装置５は、凹凸性の表面欠陥候補部全体のうち切出両明部画像が占める割合を両明部占有率として算出する（ステップＳ４８）。さらに、画像処理装置５は、算出された両明部占有率を用いた閾値処理等により、地鉄部か凹凸性の表面欠陥であるかを判定する。ここで、地鉄部でないと判定した場合は、画像処理装置５は、表面欠陥と判定する（ステップＳ４９）。
なお、ステップＳ４３の処理における差分画像を用いて検査対象部位における凹凸性の表面欠陥候補部を検出する方法としては、公知の方法が利用できる。特に特許文献１及び特許文献２に記載された方法は、スケール模様や無害模様を差分処理により相殺し、凹凸性の表面欠陥により生成される独特の明暗パターンを用いることができるため、凹凸性の表面欠陥候補部を精度よく検出可能という利点があり、好適である。上述のステップＳ３３の処理は、ステップＳ４３の処理の一例とすることができる。
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。例えば、本実施形態では、光源２ａ，２ｂを左右対称に設置したために左右の明暗パターンを認識したが、光源２ａ，２ｂの設置位置が左右ではなく、上下対称又は対称でなかったとしても同様の処理によって凹凸性の表面欠陥を検出することができる。具体的には、光源が上下対称に配置されている場合には、明暗パターンが左右方向から上下方向に変わるだけであるので、明暗パターンを９０度回転させれば同様の処理によって凹凸性の表面欠陥を検出することができる。
また、図２０に示すように照明光の照射方向が９０度異なるように光源２ａ，２ｂを設置した場合には、表面欠陥が凹形状であれば光源の手前側が暗く奥側が明るくなり、表面欠陥が凸形状であれば光源の手前側が明るく、奥側が暗くなる。具体的には、表面欠陥が凹形状である場合、光源２ａからの照明光によって得られる二次元画像は図２１（ａ）に示すようになり、光源２ｂからの照明光によって得られる二次元画像は図２１（ｂ）に示すようになる。このため、差分画像は図２１（ｃ）に示すような左下から右上にかけてコントラストがある明暗パターンとなる。従って、明暗パターンを４５度回転させれば、左右方向の明暗パターンと同様の方法によって凹形状の表面欠陥を検出することができる。さらに、３つ以上の光源を用いることによって、それぞれ複数パターンの差分画像を得ることができるので、表面欠陥の検出精度をより向上させることができる。
また、本実施形態では検査対象部位の法線に対して対称となる方向から照明光を照射した場合について凹凸性の表面欠陥を検出したが、照明光の照射方向は必ずしも対称である必要はない。また、本実施形態の表面欠陥検出方法は熱間、冷間に関わらず鋼材の製造ライン全般に適用することができる。また、製品の弁別のため反射率の高いマーキングを製品表面に塗布する場合も同様の手法によりマーキング部のみを検出することができる。多くの場合、マーキングは独特の形状をしているので、一般的な画像特徴量を用いて弁別することができる。
また、本発明の一実施形態である表面欠陥検出装置１又は表面欠陥検出方法を利用して、鋼材の表面欠陥を検出しながら鋼材を製造することにより、地鉄部と有害な表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。例えば、冷間スリ疵は、鉄鋼プロセスにおいて最も代表的な地鉄部の１つである。表面欠陥（特に、凹凸性の表面欠陥）は熱間圧延中にロールなどの突起物を押し込んで発生することが多く、冷間スリ疵は搬送中に表面がこすれて発生することが多い。そこで、これらの欠陥を弁別して検出することができれば、欠陥発生原因の特定が容易に可能となる。その結果、即座に製造ライン上の原因を取り除くことができるようになり、更なる発生を抑止することが可能となる。また、本発明の一実施形態である表面欠陥検出装置１を、鋼材の製造設備を構成する検査装置として適用してもよい。具体的には、本発明に係る表面欠陥検出装置を利用して製造設備によって製造された鋼材を検査し、鋼材の表面欠陥を検出する。この場合も、上述の理由により、地鉄部と有害な表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上できる。
また、本発明の一実施形態である表面欠陥検出装置１又は表面欠陥検出方法を利用して、表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理することができる。言い換えれば、地鉄部と有害な表面欠陥（特に、凹凸性の表面欠陥）とを精度よく弁別して鋼材の製造歩留まりを向上できる。例えば、冷間スリ疵は、鉄鋼プロセスにおいて最も代表的な地鉄部の１つである。さらに、凹凸性の表面欠陥は有害で、冷間スリ疵は無害である場合、冷間スリ疵を誤検知してしまうと健全な鋼材を欠陥有りと判定して、製造歩留まりを低減させる場合がある。このように、凹凸性の表面欠陥と冷間スリ疵とで重篤度が異なる場合、これらの欠陥を弁別して検出することができれば、鋼材の検査ニーズに応じた判定が可能となり、鋼材の製造歩留まり低下を防ぐことが可能となる。このように、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
本発明によれば、地鉄部と表面欠陥とを精度よく弁別可能な表面欠陥検出方法、表面欠陥検出装置、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデルを提供することができる。また、本発明によれば、地鉄部と表面欠陥とを精度よく弁別して鋼材の製造歩留まりを向上可能な鋼材の製造方法、鋼材の品質管理方法、及び鋼材の製造設備を提供することができる。
１ 表面欠陥検出装置
２ａ，２ｂ 光源
３ ファンクションジェネレータ
４ａ，４ｂ エリアセンサ
５ 画像処理装置
６ モニター
Ｌ 照明光
Ｐ 鋼管

Claims (10)

  1. 鋼材の表面欠陥を光学的に検出する表面欠陥検出方法であって、
    ２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照明光を照射する照射ステップと、
    各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出ステップと、
    を含む表面欠陥検出方法。
  2. 前記明部の重なり度合は、前記検査対象部位において、表面欠陥候補部に対する前記明部の重なり部分が占める割合である、請求項１に記載の表面欠陥検出方法。
  3. 前記検出ステップは、
    各照明光の反射光による２つ以上の画像から抽出された明部から、検査対象部位における表面欠陥候補部を算出するステップと、
    表面欠陥候補部に対する前記明部の重なり部分が占める割合に基づいて、前記検査対象部位における表面欠陥を検出するステップと、
    を含む請求項１に記載の表面欠陥検出方法。
  4. 前記検出ステップは、前記２つ以上の画像から抽出された明部の重なり度合が入力された際に該２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力するように、機械学習が施された表面欠陥判定モデルを用いて、前記検査対象部位における前記表面欠陥を検出するステップを含む請求項１〜３のうち、いずれか一項に記載の表面欠陥検出方法。
  5. 鋼材の表面欠陥を光学的に検出する表面欠陥検出装置であって、
    ２つ以上の弁別可能な光源で同一の検査対象部位に異なる方向から照明光を照射する照射手段と、
    各照明光の反射光による２つ以上の画像から抽出された明部の重なり度合に基づいて前記検査対象部位における表面欠陥を検出する検出手段と、
    を備える表面欠陥検出装置。
  6. 請求項１〜４のうち、いずれか１項に記載の表面欠陥検出方法を用いて鋼材の表面欠陥を検出しながら鋼材を製造するステップを含む鋼材の製造方法。
  7. 請求項１〜４のうち、いずれか１項に記載の表面欠陥検出方法を用いて表面欠陥の有無に基づいて鋼材を分類することによって鋼材の品質を管理するステップを含む鋼材の品質管理方法。
  8. 鋼材を製造する製造設備と、
    前記製造設備によって製造された鋼材を検査する、請求項５に記載の表面欠陥検出装置と、
    を備える鋼材の製造設備。
  9. ２つ以上の弁別可能な光源を利用して同一の検査対象部位に異なる方向から照射された照明光の反射光による２つ以上の画像から抽出された明部の重なり度合と、前記検査対象部位に表面欠陥があるか否かの判定結果と、を教師データとして用いて、
    前記２つ以上の画像から抽出された明部の重なり度合を入力値、該２つ以上の画像に対応する検査対象部位に表面欠陥があるか否かの判定値を出力値とする学習済みモデルを、表面欠陥判定モデルとして機械学習により生成する
    表面欠陥判定モデルの生成方法。
  10. 請求項９に記載の表面欠陥判定モデルの生成方法により生成された表面欠陥判定モデル。
JP2020515047A 2018-11-30 2019-11-08 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル Active JP6753553B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018224403 2018-11-30
JP2018224403 2018-11-30
PCT/JP2019/043930 WO2020110667A1 (ja) 2018-11-30 2019-11-08 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル

Publications (2)

Publication Number Publication Date
JP6753553B1 JP6753553B1 (ja) 2020-09-09
JPWO2020110667A1 true JPWO2020110667A1 (ja) 2021-02-15

Family

ID=70853762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020515047A Active JP6753553B1 (ja) 2018-11-30 2019-11-08 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル

Country Status (8)

Country Link
US (1) US20220011241A1 (ja)
EP (1) EP3889589A4 (ja)
JP (1) JP6753553B1 (ja)
KR (1) KR102613277B1 (ja)
CN (1) CN113196040A (ja)
BR (1) BR112021009765A2 (ja)
RU (1) RU2764644C1 (ja)
WO (1) WO2020110667A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562475B2 (en) * 2020-12-15 2023-01-24 Wipro Limited System and method for detecting product defects across manufacturing process
KR102523770B1 (ko) 2021-06-03 2023-04-19 동의대학교 산학협력단 딥러닝을 활용한 머신 비전 기반의 전장 부품의 품질 관리 시스템 및 방법
CN114618893B (zh) * 2022-04-06 2023-09-19 山东钢铁集团日照有限公司 一种热轧带钢划伤缺陷的快速诊断与控制的操作方法
CN114778684A (zh) * 2022-06-21 2022-07-22 张家港沙龙精密管业有限公司 一种基于服役场景的钢管性能评估方法及系统
CN114937039B (zh) * 2022-07-21 2022-10-25 阿法龙(山东)科技有限公司 一种钢管缺陷智能检测方法
CN117173171B (zh) * 2023-11-02 2023-12-29 深圳市蓝钛科技有限公司 一种基于图像处理的材料表面检测方法、装置和系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4162126A (en) * 1976-12-10 1979-07-24 Hitachi, Ltd. Surface detect test apparatus
US5293538A (en) * 1990-05-25 1994-03-08 Hitachi, Ltd. Method and apparatus for the inspection of defects
JPH04332855A (ja) * 1991-05-07 1992-11-19 Nippon Steel Corp 鋼板の表面欠陥検査装置
JPH06201608A (ja) * 1992-12-25 1994-07-22 Mitsubishi Motors Corp 面検査方法
JP3189588B2 (ja) * 1994-09-14 2001-07-16 日産自動車株式会社 表面欠陥検査装置
JP2000105831A (ja) * 1998-09-29 2000-04-11 Matsushita Electric Ind Co Ltd 表面欠陥検査装置及び方法
US6327374B1 (en) * 1999-02-18 2001-12-04 Thermo Radiometrie Oy Arrangement and method for inspection of surface quality
US20010030744A1 (en) * 1999-12-27 2001-10-18 Og Technologies, Inc. Method of simultaneously applying multiple illumination schemes for simultaneous image acquisition in an imaging system
JP2001304835A (ja) * 2000-04-26 2001-10-31 Toshiba Eng Co Ltd 凹凸測定用照明装置、凹凸測定装置、欠陥検査用照明装置、欠陥検査装置およびその照明方法
US7460703B2 (en) * 2002-12-03 2008-12-02 Og Technologies, Inc. Apparatus and method for detecting surface defects on a workpiece such as a rolled/drawn metal bar
JP2005030848A (ja) * 2003-07-10 2005-02-03 Sumitomo Chem Co Ltd 表面検査のためのシミュレーション方法及び表面検査装置
RU2333474C1 (ru) * 2005-11-23 2008-09-10 Производственное республиканское унитарное предприятие "Завод полупроводниковых приборов" Способ контроля качества поверхности изделий
JP2007240432A (ja) * 2006-03-10 2007-09-20 Omron Corp 欠陥検査装置および欠陥検査方法
JP4755040B2 (ja) * 2006-07-25 2011-08-24 株式会社神戸製鋼所 傷検査装置、傷検査方法
JP5260183B2 (ja) * 2008-08-25 2013-08-14 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP4719284B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 表面検査装置
JP2010223621A (ja) * 2009-03-19 2010-10-07 Sumitomo Metal Ind Ltd 管状品の内表面検査方法
CN102435618A (zh) * 2010-09-29 2012-05-02 旭硝子株式会社 透明板状体的缺陷检查方法及装置
JP5782782B2 (ja) * 2011-03-30 2015-09-24 株式会社Sumco 特定欠陥の検出方法、特定欠陥の検出システムおよびプログラム
JP5726045B2 (ja) * 2011-11-07 2015-05-27 株式会社神戸製鋼所 タイヤ形状検査方法、及びタイヤ形状検査装置
JP6091864B2 (ja) * 2012-11-27 2017-03-08 株式会社キーエンス 形状測定装置、形状測定方法および形状測定プログラム
ES2890649T3 (es) * 2013-05-23 2022-01-21 Rina Consulting Centro Sviluppo Mat S P A Método para la inspección de superficie de productos largos y aparato adecuado para llevar a cabo dicho método
JP2015125069A (ja) * 2013-12-26 2015-07-06 リコーエレメックス株式会社 検査装置および検査方法
JP6040930B2 (ja) 2013-12-27 2016-12-07 Ｊｆｅスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
ES2942266T3 (es) * 2013-12-27 2023-05-31 Jfe Steel Corp Método de detección de defectos de superficie y dispositivo de detección de defectos de superficie
JP6119663B2 (ja) 2014-04-25 2017-04-26 Ｊｆｅスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
JP6248310B2 (ja) * 2014-03-14 2017-12-20 株式会社Ｊｏｌｅｄ 表示パネルの製造方法
GB2526866A (en) * 2014-06-05 2015-12-09 Univ Bristol Apparatus for and method of inspecting surface topography of a moving object
WO2016194939A1 (ja) * 2015-06-05 2016-12-08 新日鐵住金株式会社 金属体の形状検査装置及び金属体の形状検査方法
JP6394514B2 (ja) * 2015-06-25 2018-09-26 Ｊｆｅスチール株式会社 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP6079948B1 (ja) * 2015-06-25 2017-02-15 Ｊｆｅスチール株式会社 表面欠陥検出装置および表面欠陥検出方法
RU2612918C9 (ru) * 2015-09-04 2017-06-13 Николай Петрович Ларионов Устройство для определения положений дефектов на асферической поверхности оптической детали (варианты)
JP6570977B2 (ja) * 2015-11-16 2019-09-04 株式会社エンビジョンＡｅｓｃジャパン 表面検査装置および表面検査方法
KR20170076957A (ko) * 2015-12-24 2017-07-05 주식회사 포스코 강판의 결함 검출 장치 및 방법
CN108362702A (zh) * 2017-12-14 2018-08-03 北京木业邦科技有限公司 一种基于人工智能的单板缺陷检测方法、系统及设备

Also Published As

Publication number Publication date
EP3889589A1 (en) 2021-10-06
KR20210080535A (ko) 2021-06-30
CN113196040A (zh) 2021-07-30
EP3889589A4 (en) 2022-01-19
WO2020110667A1 (ja) 2020-06-04
US20220011241A1 (en) 2022-01-13
KR102613277B1 (ko) 2023-12-12
RU2764644C1 (ru) 2022-01-19
JP6753553B1 (ja) 2020-09-09
BR112021009765A2 (pt) 2021-08-17

Similar Documents

Publication Publication Date Title
JP6753553B1 (ja) 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル
JP6119663B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
CN107735674B (zh) 表面缺陷检测装置、表面缺陷检测方法及钢材的制造方法
WO2015098929A1 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP6394514B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP6922539B2 (ja) 表面欠陥判定方法および表面欠陥検査装置
JP6079948B1 (ja) 表面欠陥検出装置および表面欠陥検出方法
JP6646339B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP2020008501A (ja) 表面欠陥検出装置及び表面欠陥検出方法
JP4739044B2 (ja) 外観検査装置
JP2021056183A (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP6007639B2 (ja) 疵検出方法および疵検出装置
JP6387909B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP6064942B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP7469740B2 (ja) ベルト検査システムおよびベルト検査プログラム
JP7131509B2 (ja) 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法
JP6595800B2 (ja) 欠損検査装置、及び欠損検査方法
JP2007101239A (ja) 外観検査装置及び外観検査方法
JP2006226834A (ja) 表面検査装置、表面検査の方法
JP2018059883A (ja) 表面検査装置及び表面検査方法
JP2008164466A (ja) 物流量測定方法及び物流量測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200312

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200803

R150 Certificate of patent or registration of utility model

Ref document number: 6753553

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250