JPWO2020137151A1 - 学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備 - Google Patents

学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備 Download PDF

Info

Publication number
JPWO2020137151A1
JPWO2020137151A1 JP2020509542A JP2020509542A JPWO2020137151A1 JP WO2020137151 A1 JPWO2020137151 A1 JP WO2020137151A1 JP 2020509542 A JP2020509542 A JP 2020509542A JP 2020509542 A JP2020509542 A JP 2020509542A JP WO2020137151 A1 JPWO2020137151 A1 JP WO2020137151A1
Authority
JP
Japan
Prior art keywords
defect
image
determination
periodic
absence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020509542A
Other languages
English (en)
Other versions
JP6973623B2 (ja
Inventor
腰原　敬弘
敬弘 腰原
紘明 大野
紘明 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Publication of JPWO2020137151A1 publication Critical patent/JPWO2020137151A1/ja
Application granted granted Critical
Publication of JP6973623B2 publication Critical patent/JP6973623B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/8922—Periodic flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G01N2021/8918—Metal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N2021/8924—Dents; Relief flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Textile Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

学習済みモデルの生成方法は、鋼材表面の欠陥部の分布を示した画像であり、かつ同一画像サイズの欠陥マップと、該欠陥マップに予め付与された周期性欠陥の有無と、を含む教師画像を用いて、鋼材表面の欠陥部の分布を示した画像であり、かつ画像サイズが前記同一画像サイズである欠陥マップを入力値、該欠陥マップ内における周期性欠陥の有無に関する値を出力値とする学習済みモデルを機械学習により生成する。

Description

本発明は、学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備に関する。
鋼板の製造ラインでは、製品表面の品質保証や品質管理のため、表面欠陥の検査が行われている。近年は判定システムの導入が進んでおり、検査の自動化や省力化が図られている。近年導入されている鋼材判定システムは、主に照明、カメラによる光学系と画像処理系とからなる検査システムが主流である。これらは、欠陥部において光が散乱することで生じる受光光量の差に基づいて欠陥を検出している。
圧延鋼板の場合、ロール表面の付着物、あるいは欠陥が鋼板に転写されて、鋼板の表面に欠陥が発生する場合がある。これらの欠陥は、長尺な鋼板である鋼帯では、その全長に渡って周期性をもって発生するので、周期性欠陥と呼ばれる。周期性欠陥は、その発生原因から一旦発生すると大量発生につながる。周期性欠陥は、極めて有害であるにもかかわらず、個々の欠陥は非常に微小なため、その検出は容易ではない。さらに、鋼帯の通板速度が速い高速ラインでは、周期性欠陥の検出が一層困難になる。
また、通板中に鋼板が蛇行すると周期性欠陥の幅方向（鋼板の流れ方向に直交する方向）における位置が大きく動くため、周期性欠陥を流れ方向に周期性のある欠陥として検出することが困難になることが知られている。
さらに、製造工程の都合により、実際に周期性欠陥が発生しているラインより下流のラインで周期性欠陥を検査する必要が生じることがある。例えば、酸洗ラインにおける周期性欠陥を冷間圧延後のＣＡＬ（Ｃｏｎｔｉｎｕｏｕｓ Ａｎｎｅａｌｉｎｇ Ｌｉｎｅ：連続焼鈍ライン）において検査する場合が該当する。このように、検査ラインと欠陥発生ラインとが異なる場合、欠陥発生ラインにおいて発生した鋼板の蛇行の影響を、検査ラインにおいて検出した欠陥部の位置情報から判断することはさらに困難となる。
鋼板が蛇行した場合でも周期性欠陥を検出する方法として、幅方向に許容幅を設定する方法が知られている。具体的には、欠陥を検出した場合に、その欠陥から幅方向に一定の許容幅を設定し、この許容幅内において周期的に発生する（例えば３つ以上）欠陥を周期性欠陥と判定することにより、鋼板が蛇行した場合であっても周期性欠陥を検出することができる。
特許文献１には、幅方向の受光信号について鋼板の流れ方向における自己相関係数を演算して周期性欠陥を検出する方法が提案されている。
特許文献２では、欠陥の種別毎に欠陥の評価値と、該欠陥種が周期性欠陥種であるか否かとが予め設定される。さらに、周期性欠陥種に対しては、評価値の合計値の閾値が予め設定される。そして、欠陥を検出する信号レベル（欠陥検出の閾値）をノイズレベル近くに設定し、検出した欠陥の欠陥種を決定し、該欠陥種が周期性欠陥と判断された場合には、該欠陥が同じピッチで一定回数以上連続して発生し、その評価値の合計値が予め設定された評価値の合計値の閾値以上になったときに、該欠陥を周期性欠陥であると判定する方法が提案されている。
特許文献３には、被検体を磁化し、被検体から漏洩する磁束を磁気センサで検出する漏洩磁束法において、計測した信号の２次元マップに基づいて、欠陥と同程度の大きさの複数の小領域をロールピッチ相当で等間隔に配置し、その領域間の相関演算を行うことにより周期性欠陥を検出する方法が提案されている。
特開昭５８−１５６８４２号公報 特開平７−１９８６２７号公報 特開２００９−２６５０８７号公報
許容幅を設定する方法、及び特許文献２に記載の方法は、欠陥の幅方向の位置に着目し、欠陥の幅方向のずれ量を評価しているので、鋼板の蛇行の影響を大きく受ける。その結果、鋼板の蛇行により幅方向の位置のずれ量が大きくなった場合、周期性欠陥と判定できないことがある。一方、幅方向のずれに対する許容量を大きくすると、周期性欠陥ではない欠陥を周期性欠陥として検出（過検出）してしまう。
特許文献１に記載の方法は、幅方向の全信号を記憶し、この信号を検出すべきロールピッチの全てについて自己相関をとる演算を必要とすることから、極めて多大な記憶容量と演算時間とを要する。また、特許文献１に記載の方法において、感度を調整して多量に欠陥が検出された場合には、過検出となり、その中で自己相関演算によって多数の周期性欠陥として認識されてしまい、真の周期性欠陥が分からなくなってしまう可能性がある。
特許文献３に記載の方法は、特許文献１、２と異なり漏洩磁束法に関する技術であるが、この方法でも複数の小領域は幅方向の同じ位置に等間隔で位置するため、鋼板が大きく蛇行する場合には、周期性欠陥を検出できない。
本発明は、上記課題に鑑みてなされたものであって、鋼板が蛇行していても周期性欠陥を高精度で検出することができる学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様に係る学習済みモデルの生成方法は、鋼材表面の欠陥部の分布を示した画像であり、かつ同一画像サイズの欠陥マップと、該欠陥マップに予め付与された周期性欠陥の有無と、を含む教師画像を用いて、鋼材表面の欠陥部の分布を示した画像であり、かつ画像サイズが前記同一画像サイズである欠陥マップを入力値、該欠陥マップ内における周期性欠陥の有無に関する値を出力値とする学習済みモデルを機械学習により生成する。
また、本発明の一態様に係る学習済みモデルの生成方法は、前記入力値として用いる前記欠陥マップの画像サイズが、前記同一画像サイズと異なる場合、該欠陥マップの画像サイズを前記同一画像サイズに変換して前記入力値とする。
また、本発明の一態様に係る学習済みモデルの生成方法は、鋼材表面の欠陥部の分布を示した画像であり、かつ前記教師画像と同一画像サイズである欠陥マップと、該欠陥マップに予め付与された周期性欠陥の有無とを含むテスト画像を用いて生成される学習済みモデルの生成方法であって、前記テスト画像の前記欠陥マップを前記学習済みモデルに入力し、該テスト画像における周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記テスト画像における周期性欠陥の有無を判定し、前記判定された周期性欠陥の有無と前記予め付与された周期性欠陥の有無とを比較して正答率を算出し、前記算出された正答率に応じて、前記学習済みモデルの生成条件を調整する。
また、本発明の一態様に係る学習済みモデルの生成方法は、前記学習済みモデルの生成条件の調整は、前記同一画像サイズを画像サイズが異なる他の同一画像サイズへ変更することである。
また、本発明の一態様に係る学習済みモデルの生成方法は、前記同一画像サイズとして、互いに画像サイズが異なる複数種類の同一画像サイズを設定し、前記設定された各同一画像サイズの前記教師画像と前記テスト画像との組を用いて、前記正答率を前記複数種類の同一画像サイズ毎に算出し、前記算出された正答率が最も高い同一画像サイズの教師画像とテスト画像とを用いて、学習済みモデルを生成する。
また、本発明の一態様に係る学習済みモデルは、鋼材の表面の欠陥部の分布を示した画像であり、かつ同一画像サイズの欠陥マップが、判定画像として入力される入力層と、前記判定画像に対する周期性欠陥の有無に関する値を出力する出力層と、前記判定画像と同一画像サイズである欠陥マップを入力、前記欠陥マップに対する周期性欠陥の有無に関する値を出力とする教師画像を用いて、パラメータが学習された中間層とを備え、前記同一画像サイズである判定画像を入力層に入力し、前記中間層にて計算し、前記出力層から周期性欠陥の有無に関する値を出力するよう、コンピュータを機能させる。
また、本発明の一態様に係る表面欠陥検出方法は、鋼材の表面を撮像した撮像データを取得するステップと、前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記判定画像に対する周期性欠陥の有無を判定するステップと、を含む。
また、本発明の一態様に係る表面欠陥検出方法は、前記学習済みモデルは、前記判定画像が入力された際に、前記周期性欠陥の有無に関する値を出力するように、前記判定画像と同一画像サイズの教師画像を用いて機械学習が施されたものである。
また、本発明の一態様に係る鋼材の製造方法は、表面欠陥検出方法を用いて、鋼材の表面の周期性欠陥を検出し、該検出結果に応じて製造条件を制御して鋼材を製造する。
また、本発明の一態様に係る合否判定方法は、鋼材の表面を撮像した撮像データを取得するステップと、前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記鋼材に対する合否を判定するステップと、を含む。
また、本発明の一態様に係る鋼材の合否判定方法は、前記学習済みモデルは、前記判定画像が入力された際に、前記周期性欠陥の有無に関する値を出力するように、前記判定画像と同一画像サイズの教師画像を用いて機械学習が施されたものである。
また、本発明の一態様に係る鋼材の製造方法は、合否判定方法を利用して、鋼材の合否を判定し、該判定結果に応じて製造条件を制御して鋼材を製造する。
また、本発明の一態様に係る等級判定方法は、鋼材の表面を撮像した撮像データを取得するステップと、前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記判定画像に対する周期性欠陥の有無を判定するステップと、前記欠陥部に基づいて、前記判定画像の欠陥混入率を計算するステップと、前記計算された欠陥混入率と、前記判定画像に対する周期性欠陥の有無の判定結果とに基づいて、前記判定画像に対応する前記鋼材の等級を判定するステップと、を含む。
また、本発明の一態様に係る等級判定方法は、鋼材の表面を撮像した撮像データを取得するステップと、前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記鋼材に対する合否を判定するステップと、前記欠陥部に基づいて、前記判定画像の欠陥混入率を計算するステップと、前記計算された欠陥混入率と、前記鋼材に対する合否の判定結果とに基づいて、前記判定画像に対応する前記鋼材の等級を判定するステップと、を含む。
また、本発明の一態様に係る鋼材の製造方法は、等級判定方法を利用して、鋼材を等級ごとに分別する分別ステップを含む。
また、本発明の一態様に係る表面欠陥判定プログラムは、鋼材の表面を撮像した撮像データを取得するステップと、前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記判定画像に対する周期性欠陥の有無を判定するステップと、を含む処理をコンピュータに実行させる。
また、本発明の一態様に係る合否判定プログラムは、鋼材の表面を撮像した撮像データを取得するステップと、前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記鋼材に対する合否を判定するステップと、を含む処理をコンピュータに実行させる。
また、本発明の一態様に係る判定システムは、鋼材の表面を撮像した撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成する欠陥マップ作成部と、前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するサイズ変換部と、機械学習済みの学習済みモデルに対して、前記判定画像を入力し、周期性欠陥の有無に関する値を出力する周期性欠陥判定部と、前記周期性欠陥の有無に関する値に基づいて、前記判定画像に対する周期性欠陥の有無を判定する、及び／または、前記鋼材の合否を判定する判定部と、を備え、前記学習済みモデルは、前記判定画像が入力された際に、前記周期性欠陥の有無に関する値を出力するように、前記判定画像と同一画像サイズの教師画像を用いて機械学習が施されたものである。
また、本発明の一態様に係る鋼材の製造設備は、判定システムを備える。
本発明によれば、鋼板が蛇行していても周期性欠陥を高精度で検出することができる学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備を実現することができる。
図１は、本発明の実施の形態１に係る鋼材判定システムの構成を示す模式図である。 図２は、学習済みモデルの構成を示す模式図である。 図３は、学習済みモデルを生成する流れを示すフローチャートである。 図４は、欠陥マップの一例を示す図である。 図５は、欠陥マップの一例を示す図である。 図６は、画像サイズを変換する前の欠陥マップの一例を示す図である。 図７は、画像サイズを変換した後の欠陥マップの一例を示す図である。 図８は、本実施の形態で用いたＣＮＮの例を説明するための図である。 図９は、用意した教師画像用欠陥マップ及びテスト画像用欠陥マップの枚数の一例を示す図である。 図１０は、テスト判定結果の一例を示す図である。 図１１は、テスト判定結果の他の一例を示す図である。 図１２は、従来技術によるテスト判定結果の一例を示す図である。 図１３は、同一画像サイズを６０×１２０画素に設定した際の、教師画像及びテスト画像に対する正答率の変化を示すグラフである。 図１４は、同一画像サイズを１２０×２４０画素に設定した際の、教師画像及びテスト画像に対する正答率の変化を示すグラフである。 図１５は、同一画像サイズを２４０×４８０画素に設定した際の、教師画像及びテスト画像に対する正答率の変化を示すグラフである。 図１６は、図１３〜図１５において、テスト画像に対する最高正答率と同一画像サイズとの関係をプロットしたグラフである。 図１７は、図１６のプロット点の正答率の値及び最高正答率の時のエポック数を示す表である。 図１８は、鋼材の周期性欠陥の有無を判定する流れを示すフローチャートである。 図１９は、図１８の判定画像作成処理を示すフローチャートである。 図２０は、図１８の判定を示すフローチャートである。 図２１は、周期性欠陥を含む欠陥マップの一例を示す図である。 図２２は、周期性欠陥を含まない欠陥マップの一例を示す図である。 図２３は、図１８の判定を示すフローチャートである。 図２４は、図１８の判定を示すフローチャートである。 図２５は、本発明の実施の形態２に係る鋼材判定システムの構成を示す模式図である。 図２６は、図１８の判定を示すフローチャートである。 図２７は、図１８の判定を示すフローチャートである。
以下、図面を参照して、本発明の一実施形態である学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備について説明する。はじめに、判定システムの概要を説明する。続いて、この判定システムで用いる表面欠陥を検出するための学習済みモデルについて説明する。その後、この学習済みモデルの生成方法を説明する。そして、学習済みモデルを用いた表面欠陥検出方法、その表面欠陥検出方法を用いた鋼材の製造方法、合否判定方法、その合否判定方法を用いた鋼材の製造方法、鋼材の製造設備、及び等級判定方法を順に説明する。
本発明は、周期性欠陥を有する可能性がある鋼材であれば、鋼材一般に対して適用できるが、以下においては鋼板Ｐを例に説明する。鋼板Ｐは、例えば、冷延鋼板、表面処理鋼板、酸洗鋼板、熱延鋼板、電磁鋼板等の蛇行の影響を受ける可能性のある工程を経て製造された鋼板である。さらに、本発明は、長尺な鋼板である鋼帯にも適用することができる。鋼帯に対して適用する場合には、長い範囲で発生しやすい周期性欠陥により製品品質が大きく損なわれることを防ぐ効果が特に顕著である。
（実施の形態１）
〔鋼材判定システム〕
図１は、本発明の実施の形態１に係る鋼材判定システムの構成を示す模式図である。図１に示すように、本発明の実施の形態１に係る鋼材判定システム１は、照明装置２と、撮像装置３と、画像処理部４と、鋼材判定部５と、を備えている。
鋼材判定システム１は、後述する学習済みモデルを用いて鋼板Ｐの表面に周期性欠陥があるか否かを判定する鋼板Ｐの判定システムである。
照明装置２は、光源として、鋼材判定システム１の検査対象である鋼板Ｐの表面を照明する。照明装置２は、鋼材判定システム１に用いられる光源であればよく、例えば、ＬＥＤ光源、白熱光源、ストロボ、またはメタハラ光源である。
撮像装置３は、照明装置２によって照明された鋼板Ｐの表面を撮像し、その後、得られた鋼板Ｐ表面の画像の電子データを画像処理部４に伝送する。撮像装置３は、１次元撮像素子を有する所謂ラインセンサカメラまたは２次元撮像素子を有する所謂エリアカメラのいずれでもよいが、いずれの場合にも鋼板Ｐの搬送に同期して撮像が行われる。撮像装置３がラインセンサカメラである場合、照明装置２として連続点灯照明が用いられる。撮像装置３がエリアカメラである場合には、照明装置２として鋼板Ｐが一定距離進む毎に閃光を発するフラッシュ照明が用いられる。撮像装置３に用いられる撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってよいが、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。また、撮像装置３は、照明の正反射、拡散反射のいずれを撮像してもよい。図１では、１組の光源とカメラとを図示しているが、光源及びカメラはそれぞれ複数であってもよい。例えば、１組の光源とカメラとを正反射で配置し、もう１組の光源とカメラとを拡散反射で配置する２組の光学系でもよい。さらに、２組の光源とカメラとをそれぞれ拡散反射で配置してもよいし、３組以上の光源とカメラとを組み合わせてもよい。また、鋼板Ｐの幅方向を複数に分割し、複数組の光源とカメラとに分けて撮像し、後で画像を合成してもよい。なお、通常、光源とカメラとの間には、色ガラスフィルタ、ＩＲカットフィルタ、偏光フィルタ等、種々の光学素子が配置されるが、図１では省略した。
画像処理部４は、撮像装置３から伝送された鋼板Ｐ表面の画像のデータを解析して鋼板Ｐ表面に表面欠陥があればそれらを検出し、且つ、それら表面欠陥の種別や有害度を判定して、その情報を鋼材判定部５に出力する。
画像処理部４は、データ取得部４１、画像補正部４２、欠陥検出部４３、欠陥判定部４４、及び欠陥マップ作成部４５を内部に備えている。画像処理部４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の各種演算回路、メモリやハードディスク等の記憶装置を用いて実現される。画像処理部４内の各ブロックは、演算回路によって実行されるプログラムによって実現される。すなわち、画像処理部４は、このプログラムの実行を通じて、データ取得部４１、画像補正部４２、欠陥検出部４３、欠陥判定部４４、及び欠陥マップ作成部４５として機能する。
鋼材判定部５は、サイズ変換部５１、周期性欠陥判定部５２、及び判定部５３を内部に備えている。鋼材判定部５は、ＣＰＵ等の各種演算回路、メモリやハードディスク等の記憶装置を用いて実現される。鋼材判定部５内の各ブロックは、演算回路によって実行されるプログラムによって実現される。すなわち、鋼材判定部５は、このプログラムの実行を通じて、サイズ変換部５１、周期性欠陥判定部５２、及び判定部５３として機能する。また、鋼材判定部５は、液晶または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等からなる表示パネルを有する表示部５５を備える。
鋼材判定システム１は、必要に応じて機械学習部６を備えてもよい。機械学習部６は、サイズ変換部６１、モデル作成部６２、及び正答率算出部６３を内部に備えている。機械学習部６は、ＣＰＵ等の各種演算回路、メモリやハードディスク等の記憶装置を用いて実現される。機械学習部６内の各ブロックは、演算回路によって実行されるプログラムによって実現される。すなわち、機械学習部６は、このプログラムの実行を通じて、サイズ変換部６１、モデル作成部６２、及び正答率算出部６３として機能する。また、機械学習部６は、液晶または有機ＥＬ等からなる表示パネルを有する表示部６５を備える。
画像処理部４、鋼材判定部５、及び機械学習部６は、それぞれ別のコンピュータからなる構成であってよい。この場合、画像処理部４、鋼材判定部５、及び機械学習部６は、それぞれマウス及びキーボード等の図示しない入力部や表示部を有する。なお、図１には、鋼材判定部５の表示部５５及び機械学習部６の表示部６５を図示しているが、入力部や画像処理部４の表示部は図示していない。
また、図１においては、画像処理部４と鋼材判定部５とは、電気的に接続されている。そのため、画像処理部４で作成された後述する欠陥マップや欠陥部等の電子データは、画像処理部４から鋼材判定部５へ伝送されることが可能となっている。
また、機械学習部６は、必要な時に、画像処理部４と鋼材判定部５とのそれぞれに電気的に接続できるようになっている。例えば、学習済みモデルの再学習が必要となった場合、画像処理部４から欠陥マップのバックアップデータと、鋼材判定部５から欠陥マップに対応する周期性欠陥の有無の電子データとを、それぞれ機械学習部６へ入力することができる。そして、機械学習部６で再学習が施された学習済みモデルは、電子データとして、機械学習部６から鋼材判定部５へ出力することができる。
また、機械学習部６のモデル作成部６２は、クラウドコンピューティングを利用したものでもよい。この場合、モデル作成部６２は、サイズ変換部６１と正答率算出部６３とへ、ネット（例えば、インターネットやローカルエリアネットワーク等）を通じて接続される。また、この場合、サイズ変換部６１と正答率算出部６３も、同じまたは別のクラウドコンピューティングを利用したものであってもよい。逆に、サイズ変換部６１と正答率算出部６３とを備えることを不要としてもよい。また、学習済みモデルがベンダー（ユーザへ製品を提供している会社）やメーカー等からクラウドコンピューティング等を利用して提供される場合、機械学習部６のモデル作成部６２を設けなくてもよい。この場合、さらに、サイズ変換部６１と正答率算出部６３とを設けないのであれば、鋼材判定システム１は、機械学習部６を備えないシステムとなる。
また、画像処理部４、鋼材判定部５、及び機械学習部６は、１つのコンピュータからなる構成であってもよく、画像処理部４、鋼材判定部５、及び機械学習部６のうち、いずれか２つが１つのコンピュータからなる構成であってもよい。鋼材判定部５及び機械学習部６が１つのコンピュータからなる構成の場合には、サイズ変換部５１とサイズ変換部６１とは、同一の部であってよい。また、表示部６５，５５も同一の部であってもよい。
また逆に、画像処理部４、鋼材判定部５、及び機械学習部６は、それぞれが１つ以上のコンピュータからなる構成であってもよい。演算回路への負荷が高い処理を行う場合においては、１つ以上のコンピュータから構成することが望ましい。特に、後述する学習済みモデルを生成する機械学習部６は、１つ以上のコンピュータから構成することが望ましい。また、このコンピュータには、クラウドコンピューティングを利用したものも含まれる。
〔学習済みモデル〕
次に、本発明に係る実施の形態１が、周期性欠陥を検出するために用いる学習済みモデルについて説明する。本発明の学習済みモデルは、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定されており、ＣＰＵ及び記憶装置を備えるコンピュータ（本明細書内においては、鋼材判定部５）にて用いられる。学習済みモデルは、教師画像の欠陥マップの画像サイズと同一画像サイズである欠陥マップを入力値、その欠陥マップにおける周期性欠陥の有無に関する値を出力値とする学習済みモデルである。欠陥マップは、有害な欠陥であると判定された欠陥部の２次元分布を示した画像である。言い換えれば、欠陥マップは、欠陥部が点によりプロットされた画像である。
図２は、学習済みモデルの構成を示す模式図である。図２における学習済みモデルは、入力層７１と中間層７２と出力層７３と、を備える。ここで、入力層７１には、鋼板Ｐの表面の欠陥部の分布を示した画像であり、かつ教師画像と同一画像サイズの欠陥マップが、判定画像として入力される。中間層７２は、判定画像と同一画像サイズである欠陥マップを入力、欠陥マップに対する周期性欠陥の有無に関する値を出力とする教師画像を用いて、パラメータが学習されている。出力層７３からは、判定画像に対する周期性欠陥の有無に関する値が出力される。
そして、学習済みモデルは、教師画像と同一画像サイズである判定画像を入力層７１に入力し、中間層７２にて計算し、出力層７３から周期性欠陥の有無に関する値を出力するようコンピュータを機能させる。なお、判定画像は、周期性欠陥の有無を判定される対象となる画像であり、鋼板Ｐの表面の欠陥部の２次元分布を示した画像であり、かつ教師画像と同一画像サイズの欠陥マップある。教師画像については後述する。また、以下において、同一画像サイズとは、判定画像、教師画像、及び後述するテスト画像の欠陥マップの画像サイズを同じサイズに統一する際の画像サイズである。なお、以上に説明した学習済みモデルは、その機能から、分類器（Classifier）と言い換えることもできる。
〔学習済みモデルの生成方法〕
次に、この学習済みモデルの生成方法を説明する。なお、学習済みモデルの生成は、１度行えばよく、生成した学習済みモデルを用いて、繰り返し鋼板Ｐの表面の周期性欠陥を検出することができる。また、本発明の学習済みモデルは、ＣＰＵ及び記憶装置を備えるコンピュータ（本明細書内においては、機械学習部６）にて生成される。また、このコンピュータには、クラウドコンピューティングを利用したものも含まれる。
図３は、学習済みモデルを生成する流れを示すフローチャートである。図３の最初の処理において、矢印が２つあるが、これはステップＳ１〜Ｓ３の処理と、ステップＳ４、Ｓ５の処理とを、並行して行ってよいことを示している。以降のフローチャートにおいても、２本の矢印は同様の処理を意味する。また、矢印の分岐も同様の処理を意味する。なお、ステップＳ１〜Ｓ３の処理を行った後にステップＳ４、Ｓ５の処理を行ってもよい。また、ステップＳ１とステップＳ４との処理、ステップＳ２とステップＳ４との処理をそれぞれまとめて行い、その後にステップＳ３の処理を行ってもよい。
図３に示すように、まず、欠陥マップと、その欠陥マップに予め付与された周期性欠陥の有無と、を教師画像用のデータ組として複数用意する（ステップＳ１）。教師画像用欠陥マップは、長さや幅が異なる鋼板Ｐの表面を予め撮像した撮像データから作成される。
図４、図５は、欠陥マップの一例を示す図である。図４、図５において、黒く表示された部分が欠陥部である。図４は、周期性欠陥を有しない欠陥マップの一例であり、図５は、周期性欠陥Ｄを有する欠陥マップの一例である。予め用意した全ての欠陥マップには、それぞれ対応する周期性欠陥の有無が予め作成されており、各欠陥マップとその欠陥マップにおける周期性欠陥の有無とがそれぞれ対応づけられている。
続いて、サイズ変換部６１は、教師画像用のデータ組に含まれる各欠陥マップの画像サイズを、同一画像サイズに変換するサイズ変換処理を行う（ステップＳ２）。この処理を行うことにより、欠陥マップとその欠陥マップに予め付与された周期性欠陥の有無とを含む教師画像が用意される。
鋼板Ｐは、製造条件ごとに長さ、幅が異なるため、その鋼板Ｐに対応する欠陥マップも長さ、幅が異なるものとなっている。図６は、画像サイズを変換する前の欠陥マップの一例を示す図である。図６に示すように、例えば、長さ１００ｍ、幅１５００ｍｍの鋼板Ｂ１を撮像して作成された欠陥マップと、長さ７５ｍ、幅９００ｍｍの鋼板Ｂ２を撮像して作成された欠陥マップがあるとする。鋼板Ｂ１及び鋼板Ｂ２には、周期間隔８ｍ、蛇行量４６０ｍｍの同程度の周期、蛇行量の周期性欠陥が発生したとする。なお、同一の製造装置を用いて同時期に鋼板を製造すると、発生する周期性欠陥は、同程度の周期、蛇行量となりやすい。
図７は、画像サイズを変換した後の欠陥マップの一例を示す図である。図７に示すように、サイズ変換部６１は、鋼板Ｂ１に対応する欠陥マップと、鋼板Ｂ２に対応する欠陥マップとをそれぞれ１２０×２４０画素の画像サイズ（同一画像サイズ）に変換する。すると、サイズ変換後の欠陥マップＣ１には、周期間隔１９画素、蛇行量３７画素の周期性欠陥が発生しており、サイズ変換後の欠陥マップＣ２には、周期間隔２６画素、蛇行量６１画素の周期性欠陥が発生していることとなる。すなわち、サイズ変換部６１が欠陥マップを同一サイズに変換することにより、異なる周期、蛇行量の周期性欠陥を含む教師画像を用いて機械学習するのと同様の効果が得られる。このように、サイズ変換部６１が、教師画像用欠陥マップの画像サイズを同一サイズに変換して教師画像とすることにより、多くのバリエーションの周期性欠陥を含む教師画像を用いて機械学習するのと同等の効果が得られるため、効率よく機械学習を行うことができる。
なお、初回の同一画像サイズは、適当に設定した画像サイズを用いてよい。また、教師画像の欠陥マップの画像サイズが統一されていないまま機械学習を行い、後述する正答率の結果に基づいて好適な画像サイズを決定してから、サイズ変換部６１により教師画像の欠陥マップを同一画像サイズに変換してもよい。また、同一画像サイズとして、互いに画像サイズが異なる複数種類の同一画像サイズを設定し、設定した各同一画像サイズにおいて後述する正答率を算出し、算出された正答率が予め定めた閾値以上か最も高くなる画像サイズを決定し、決定した同一画像サイズで学習済みモデルを生成してもよい。
なお、いずれの場合においても、サイズ変換部６１を用いずに、他のコンピュータ等を用いて、予め欠陥マップの画像サイズが同一画像サイズにされた教師画像を用意してもよい。
一方、ステップＳ４において、ステップＳ１と同様に、鋼板Ｐ表面の欠陥部の２次元分布を示した画像である欠陥マップと、その欠陥マップに付与された周期性欠陥の有無と、をテスト画像用のデータ組として複数用意する。テスト画像用欠陥マップも、前述の教師画像用欠陥マップと同じく、長さや幅が異なる鋼板Ｐの表面を予め撮像した撮像データから作成される。
続いて、ステップＳ５において、ステップＳ２と同様に、サイズ変換部６１は、テスト画像用のデータ組に含まれる各欠陥マップの画像サイズを、前述の教師画像の欠陥マップと同一画像サイズに変換するサイズ変換処理を行う。この処理を行うことにより、欠陥マップとその欠陥マップに予め付与された周期性欠陥の有無とを含むテスト画像が用意される。
教師画像を用意した後、モデル作成部６２は、ステップＳ２で用意した教師画像を用いて、学習済みモデルを機械学習により生成するモデル作成処理を行う（ステップＳ３）。換言すると、モデル作成部６２が入力値として用いる欠陥マップの画像サイズが、同一画像サイズと異なる場合、ステップＳ２の処理によって、サイズ変換部６１が欠陥マップの画像サイズを同一画像サイズに変換してから入力値とする。
本実施の形態で用いられる機械学習は、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｇ（ディープラーニング））が望ましく、その中でも、特に、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、以下、省略してＣＮＮと称する。）を用いることがより望ましい。これら深層学習を用いる場合、特にＣＮＮを用いる場合は、２層以上のニューラルネットワークを備えていればよい。ＣＮＮを用いる場合、学習済みモデルまたは分類器は、畳み込みニューラルネットワークシステムと言い換えることができる。
本実施の形態にて用いたＣＮＮの例を、図８を用いて詳細に説明する。図８は、欠陥部の２次元分布画像である欠陥マップと、周期性欠陥の有無に関する値とを結びつけるニューラルネットワークモデルを、ＣＮＮを用いて実現した例である。
まず、入力層７１には、入力データとして、１２０×２４０画素の欠陥マップが入力される。
次に、中間層７２として、第１畳み込み層７２０１からドロップアウト層７２１３までを備える。
まず、第１畳み込み層７２０１では、欠陥マップの特徴を抽出し、１２０×２４０×１２８ｃｈのデータが作成される。
続いて、第１活性化関数７２０２では、Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ（ＲｅＬＵ）が適用される。
さらに、第１プーリング層７２０３では、重要な情報を残しながらサイズを縮小して、１２０×２４０×２５６ｃｈのデータが作成される。
その後、第２畳み込み層７２０４、第２活性化関数７２０５、及び第２プーリング層７２０６では、第１畳み込み層７２０１、第１活性化関数７２０２、及び第１プーリング層７２０３と同様の処理が行われ、６０×１２０×２５６ｃｈのデータが作成される。
さらに、第３畳み込み層７２０７、第３活性化関数７２０８、及び第３プーリング層７２０９においても同様の処理が行われ、３０×６０×１６ｃｈのデータが作成される。
そして、第１全結合層７２１０では、ノードの結合の重み付けを行い、１５×３０×１６ｃｈのデータが作成される。
さらに、第４活性化関数７２１１では、ＲｅＬＵが適用される。
その後、第２全結合層７２１２では、ノードの結合の重み付けを行い、１６ｃｈのデータが作成される。そして、ドロップアウト層７２１３を経由して過学習を防ぐ。
最後に、出力層７３から出力データとして、入力した欠陥マップに対して周期性欠陥の有無に関する値を出力する。周期性欠陥の有無に関する値とは、入力した欠陥マップが、周期性欠陥が無い確率ｘ％、周期性欠陥が有る確率ｙ％である。
複数の教師画像を用いた機械学習が完了した後、テスト画像の欠陥マップを、ステップＳ３において作成した学習済みモデルに入力する（ステップＳ６）。すると、学習済みモデルは、入力したテスト画像における周期性欠陥の有無に関する値を出力する。さらに、正答率算出部６３は、学習済みモデルが出力した周期性欠陥の有無に関する値に基づいて、テスト画像における周期性欠陥の有無を判定する。その後、正答率算出部６３は、各テスト画像について、判定された周期性欠陥の有無と、ステップＳ４において予め付与された周期性欠陥の有無とを比較して、正答率を算出する。
ここで、図９で準備した全欠陥マップを用いて得られた、複数種類の同一画像サイズと正答率の例を説明する。この説明により、教師画像の欠陥マップ、テスト画像の欠陥マップ及び後述する判定画像の欠陥マップの画像サイズを同一画像サイズとすることの技術的重要性が、明確になる。
図９は、用意した教師画像用欠陥マップ及びテスト画像用欠陥マップの枚数の一例を示す図である。図９に示すように、まず、長さや幅が異なる鋼板Ｐの表面を予め撮像した撮像データから作成した１５４４枚の欠陥マップ（全欠陥マップ）を用意した。これらの欠陥マップは、予め人により周期性欠陥の有無が判定されており、周期性欠陥が無いと判定された欠陥マップが１１０２枚、周期性欠陥が有ると判定された欠陥マップが４４２枚である。
全欠陥マップのうち、ランダムに選択した８０％（１２３０枚）の欠陥マップは、教師画像用欠陥マップに用いた。教師画像用欠陥マップとそれらに付与された周期性欠陥の有無のデータとのデータ組は、機械学習によって学習済みモデルを作成するために用いられる。なお、教師画像用欠陥マップに用いた１２３０枚の欠陥マップには、周期性欠陥が無いと判定された欠陥マップが８８１枚、周期性欠陥が有ると判定された欠陥マップが３４９枚それぞれ含まれている。
一方、全欠陥マップのうち、残りの２０％（３１４枚）の欠陥マップをテスト画像用欠陥マップに用いた。テスト画像用欠陥マップとそれらに付与された周期性欠陥の有無のデータとのデータ組は、前述の教師画像を用いて作成された学習済みモデルの正答率を確認するテストを行う際に用いられる。なお、テスト画像用欠陥マップに用いた３１４枚の欠陥マップには、周期性欠陥が無いと判定された欠陥マップが２２１枚、周期性欠陥が有ると判定された欠陥マップが９３枚それぞれ含まれている。
図１０と図１１は、テスト判定結果の一例を示す図である。図１０は、サイズ変換部６１において、教師画像及びテスト画像の欠陥マップの画像サイズを、２４０×４８０画素の同一画像サイズとした場合の判定結果である。正答率は、（周期性欠陥なしを周期性欠陥なしと判定した数＋周期性欠陥ありを周期性欠陥ありと判定した数）／（テスト画像の総数）と定義することができ、正答率＝（２０９＋８０）／３１４＝９２．０％と算出することができる。また、過検率は、（周期性なしを周期性ありと判定した数）／（テスト画像の総数）と定義することができ、過検率＝１２／３１４＝３．８％と算出することができる。
図１１は、サイズ変換部６１において、教師画像及びテスト画像の欠陥マップの画像サイズを、１２０×２４０画素の同一画像サイズとした場合の判定結果である。正答率は、（２１１＋８２）／３１４＝９３．３％と算出することができる。また、過検率は、１０／３１４＝３．２％と算出することができる。
図３に戻り、算出された正答率が閾値以上であった場合（ステップＳ７：Ｙｅｓ）、機械学習部６は、学習済みモデルの生成を終了する。例えば、正答率の閾値が９０％である場合、図１０に示す同一画像サイズを２４０×４８０画素に設定した場合においても、図１１に示す同一画像サイズを１２０×２４０画素に設定した場合においても、ステップＳ７の条件が満たされる。
一方、算出された正答率が閾値より小さかった場合（ステップＳ７：Ｎｏ）、ステップＳ２及びステップＳ５に戻り、サイズ変換部６１が、同一画像サイズにされている教師画像及びテスト画像の欠陥マップの画像サイズを、現在の同一画像サイズとは画像サイズが異なる他の同一画像サイズへ変更する。なお、画像サイズの変更の仕方は特に限定されない。例えば、現在の同一画像サイズより大きい画像サイズと小さい画像サイズとの双方の画像サイズを新たな同一画像サイズとして設定し、双方の画像サイズにおいて正答率を算出し、正答率が高くなる方向に画像サイズを繰り返し変更して、正答率が閾値以上となる画像サイズを検出すればよい。また、表示部６５に、算出された正答率や、図１０や図１１のような教師画像及びテスト画像の情報等を表示させ、それらの情報からユーザが変更する画像サイズを入力してもよい。
なお、図１０及び図１１に示した正答率の計算例において、正答率、過検率ともに１２０×２４０画素の方がより画像サイズが大きい２４０×４８０画素よりも改善している。一般に、機械学習において、画像サイズが大きいほど位置情報の分解能が高くなり判定の精度がよくなるが、情報量が多くなるため計算の負担が大きくなる。しかしながら、上述した結果においては、画像サイズが小さい１２０×２４０画素の方が判定の精度がよい。これは、画像サイズを大きくしすぎると、隣り合う周期性欠陥を連続的なものととらえにくくなるためと考えられる。ただし、画像サイズを小さくし過ぎると、隣り合う周期性欠陥を区別できなくなるため好ましくない。なお、画像サイズと正答率との関係については、後で説明する。
また、画像サイズは、１２０×２４０画素、または２４０×４８０画素に限られない。発明者が試したところ、鋼板Ｐの幅方向が６０〜６００画素、長さ方向が１２０〜１２００画素の範囲が、計算量と欠陥の位置情報の分解能のバランスとから適切な画像サイズの範囲であると考えられるが、幅方向が６０〜１８０画素、長さ方向が１２０〜３６０画素とすると計算時間が短くなりより好適であると考えられる。
また、上述した例では、同一画像サイズを繰り返し変更する例を説明したが、これに限られない。例えば、同一画像サイズとして、互いに画像サイズが異なる複数種類の同一画像サイズを設定し、設定した各同一画像サイズにおいて正答率を算出し、算出された正答率が予め定められた閾値以上か最も高くなる画像サイズにおいて、学習済みモデルを生成してもよい。例えば、互いに画像サイズが異なる複数種類の同一画像サイズとして、図１０及び図１１で説明した２４０×４８０画素及び１２０×２４０画素を設定したとすると、より正答率が高い１２０×２４０画素において学習済みモデルが作成される。
また、本発明との比較のため、従来技術を用いた場合の正答率及び過検率を算出した。従来技術として、欠陥を検出した場合に、その欠陥から幅方向に一定の許容幅を設けて、この許容幅内において周期的に発生する欠陥を周期性欠陥と判定する判定方法を用いた。以下の判定において、許容幅は５ｍｍとした。図１２は、従来技術によるテスト判定結果の一例を示す図である。図１２に示すように、正答率は、（８４４＋４０１）／１５４４＝８０．６％、過検率は、２５８／１５４４＝１６．７％である。この結果と学習済みモデルによる判定結果とを対比すると、学習済みモデルによって、正答率、過検率ともに大幅に改善されていることを確認することができる。
ここで、画像サイズと正答率との関係に対する知見について、図１３〜図１７を参照しながら説明する。本検討では、３０×６０画素、６０×１２０画素、１２０×２４０画素、２４０×４８０画素、４８０×９６０画素の５種類の画像サイズを同一画像サイズとした。この５種類の同一画像サイズ毎に、上述した学習モデルの生成方法によって学習済みモデルを作成し、それぞれの正答率を確認した。その結果、同一画像サイズが大きい程、判定の精度（すなわち正答率）がよくなるわけでないことが明らかになった。
各画像サイズの正答率の確認方法は、次の通りである。本検討では、教師画像（教師画像用欠陥マップとそれらに付与された周期性欠陥の有無のデータとのデータ組）及びテスト画像（テスト画像用欠陥マップとそれらに付与された周期性欠陥の有無のデータとのデータ組）に、図９で準備した全欠陥マップを用いた。枚数と内訳は、図９に示されたとおりである。すなわち、教師画像用欠陥マップが１２３０枚、テスト画像用欠陥マップが３１４枚である。さらに、教師画像用欠陥マップの内、周期性欠陥が無いと判定された欠陥マップが８８１枚、周期性欠陥が有ると判定された欠陥マップが３４９枚である。一方、テスト画像用欠陥マップの内、周期性欠陥が無いと判定された欠陥マップが２２１枚、周期性欠陥が有ると判定された欠陥マップが９３枚である。
続いて、これらの教師画像を用いて同一画像サイズ毎に、上述した学習済みモデルの生成方法によって学習済みモデルを作成した。次に、同一画像サイズ毎に作成された学習済みモデルに対し、同じ同一画像サイズのテスト画像を用いて、周期性欠陥の有無を推定させた。これら教師画像による学習過程とテスト画像の推定過程において、エポック数を最大１００まで変化させた場合の損失関数と正答率も合わせて算出した。
図１３〜図１５は、同一画像サイズを６０×１２０画素、１２０×２４０画素、２４０×４８０画素にそれぞれ設定した際の正答率の例を示すグラフである。図１３〜図１５において、縦軸は正答率、横軸はエポック数である。グラフ中の点線が、テスト画像に対する正答率である。参考までに、同じグラフ中に実線で、教師画像に対する正答率も載せておく。
算出したテスト画像に対する正答率の内、同一画像サイズ毎の最高値を、その同一画像サイズにおける正答率とした。図１６は、上述の方法で求めた正答率を、同一画像サイズを横軸にしてプロットしたグラフである。また、図１７は、上述の方法で求めた正答率を数値で示している。また、図１７に併記したエポック数は、テスト画像の最高正答率時におけるエポック数を示している。図１６及び図１７に示すように、５種類の同一画像サイズのうち、同一画像サイズを１２０×２４０画素に設定した場合の正答率が最も高かった。つまり、同一画像サイズが大きい程、判定の精度（すなわち正答率）が良くなるわけでないことが分かる。従って、学習済みモデルを生成する際、及び学習済みモデルを使用する際には、入力値となる画像の画像サイズをただ単に大きくするのではなく、正答率が許容できる範囲に入ると予想される画像サイズを選択し、同一画像サイズとして使用することが、技術的に好ましい。また、正答率が許容範囲に入ると予想される画像サイズの中でも、より高い正答率の画像サイズを選択して使用することが、非常に好ましい。
以上説明した学習済みモデルの生成方法によれば、教師画像及びテスト画像の欠陥マップが同一画像サイズとなるように画像サイズを変更してから、機械学習が施された学習済みモデルを生成するため、正答率の高い学習済みモデル（または分類器、さらに限定された場合は畳み込みニューラルネットワークシステム）を得ることができる。さらに、正答率が閾値以上になるように学習済みモデルの生成条件を調整して機械学習が施された学習済みモデルを生成するため、より正答率の高い学習済みモデルを得ることができる。ここで、学習済みモデルの生成条件の調整の具体的な方法としては、ニューラルネットワーク（本実施の形態においてはＣＮＮ）の中間層数を増やす、中間層の組み合わせ方を変える、及び教師画像をさらに増やして再学習させる等、公知の方法を用いることができる。また、本発明独自の方法としては、教師画像及びテスト画像の欠陥マップの同一画像サイズを別の同一画像サイズへ変換する方法を、用いることができる。さらに、この学習済みモデルを用いて欠陥マップを判定することにより、鋼材表面の周期性欠陥が大きく蛇行していても、人力によらず自動的に高精度で検出することができる。
〔鋼材の表面欠陥検出方法〕
次に、図１８〜図２２を参照して、作成した学習済みモデルを用いた鋼材の表面欠陥検出方法を詳細に説明する。
図１８は、鋼材の周期性欠陥の有無を判定する流れを示すフローチャートである。図１８に示すように、まず、照明装置２から鋼板Ｐの表面に照明光を照射し、撮像装置３が、照明光が照射された鋼板Ｐの表面を撮像する（ステップＳ２１）。撮像装置３が撮像した電子データである撮像データは、画像処理部４に出力される。
続いて、画像処理部４は、判定画像を生成する判定画像作成処理を行う（ステップＳ２２）。判定画像は、学習済みモデルによって周期性欠陥の有無等を判定される対象となる画像である。
図１９は、図１８の判定画像作成処理を示すフローチャートである。図１９に示すように、画像処理部４は、撮像装置３が出力した撮像データに対して前処理を行う（ステップＳ３１）。データ取得部４１は、撮像装置３と接続し、撮像装置３が撮像した像を電子データとして、画像処理部４が取り込めるようにする。まず、データ取得部４１は、内部に一時記憶領域を有し、撮像装置３から伝送された鋼板Ｐ表面の撮像データを順次一時記憶領域にバッファリングする。そして、データ取得部４１は、撮像装置３がエリアセンサやＣＣＤであり、撮像データが所定の大きさの２次元画像である場合、２次元画像データを画像補正部４２に出力する。また、データ取得部４１は、撮像装置３がラインセンサであり、撮像データが一次元データである場合、所定の長さの撮像データを結合させた２次元画像データにして画像補正部４２に出力する。画像補正部４２は、データ取得部４１が出力した２次元画像データに対して、エッジ検出、輝度むらの補正（シェーディング補正）、輝度調整等の画像補正を行う。
続いて、欠陥検出部４３は、予め鋼板Ｐの材料や種類等に基づいて定められた閾値を用いて、各２次元画像データにおいて輝度値が閾値以上の点を欠陥候補部として抽出し、その幅、長さ、位置、輝度の最大値、最小値、平均輝度などの特徴量を計算する欠陥検出処理を行う（ステップＳ３２）。
その後、欠陥判定部４４は、ステップＳ３で算出された欠陥候補部ごとの特徴量に基づいて、有害／無害の判定、大きさ、欠陥の種別、及び重篤度等を判定する欠陥判定処理を行う（ステップＳ３３）。なお、以下において、欠陥候補部のうち、欠陥判定部４４が有害であると判定した欠陥候補部を欠陥部という。また、欠陥部のデータには、少なくとも欠陥の種別、重篤度、大きさ、座標が含まれる。
さらに、欠陥マップ作成部４５は、欠陥判定部４４が判定した欠陥部データから、欠陥部の２次元分布を示す欠陥マップを作成する（ステップＳ３４）。
その後、単数または複数の判定対象となる欠陥マップは、鋼材判定部５へ伝達される。
そして、鋼材判定部５のサイズ変換部５１は、各欠陥マップの画像サイズを教師画像と同一画像サイズに変換するサイズ変換処理を行う（ステップＳ３５）。具体的には、判定対象となる欠陥マップの画像サイズが、予め設定された同一画像サイズよりも大きかった場合、サイズ変換部５１は、画像サイズを小さくして同一画像サイズと同じとする。逆に、判定対象となる欠陥マップの画像サイズが、予め設定された同一画像サイズよりも小さかった場合は、画像サイズを大きくして同一画像サイズと同じとする。なお、教師画像と同一画像サイズとは、学習済みモデルを作成する際の教師画像の欠陥マップの画像サイズであり、教師画像の欠陥マップの画像サイズから、予め設定される。言い換えれば、ステップＳ３５においては、使用される学習済みモデルを作成する際に選択された教師画像及びテスト画像の欠陥マップの同一画像サイズが、判定画像の欠陥マップにも用いられる。
以上説明した処理によって、教師画像及びテスト画像と同一画像サイズの欠陥マップである判定画像が作成される。判定画像は、周期性欠陥の有無を判定する対象となる画像であるから、この時点では周期性結果の有無は未知（未判定）である。そして、判定画像は、この後の処理により、学習済みモデルによって周期性の有無が判定される。
鋼材判定部５のサイズ変換部５１は、前述したステップＳ２、Ｓ４におけるサイズ変換部６１と機能は同一であるが、役割は異なる。ステップＳ３５におけるサイズ変換部５１は、互いに異なった画像サイズの欠陥マップを、予め設定された同一画像サイズに固定し、統一するのが役割である。前述のサイズ変換部６１の場合は、学習済みモデルの正答率を上げるために、特定の同一画像サイズに固定されている教師画像とテスト画像とを、別の同一画像サイズへ変更するのが役割である。
図１８に戻り、鋼材判定部５は、判定画像に対する判定を行う（ステップＳ２３）。判定は、鋼材判定部５が行う処理であり、ここでは、鋼板Ｐの周期性欠陥の有無等を判定する処理である。
図２０は、図１８の判定ステップＳ２３を示すフローチャートである。図２０中の、周期性欠陥判定部５２は、判定画像が周期性欠陥を有する画像であるか否かを判定する周期性欠陥判定処理を行う（ステップＳ４１）。具体的には、周期性欠陥判定部５２は、判定画像を学習済みモデルに入力し、周期性欠陥の有無に関する値を出力する。周期性欠陥の有無に関する値とは、判定画像が周期性欠陥が無い画像である確率ｘ％、及び判定画像が周期性欠陥が有る画像である確率ｙ％である。
続いて、判定部５３は、判定画像に対する判定を行う判定処理を行う（ステップＳ４２）。判定処理は、判定部５３が行う処理であり、ここでは、判定部５３が、判定画像が周期性欠陥を有する画像であるか否かを判定する処理である。具体的には、判定部５３は、周期性欠陥判定部５２が算出した確率ｘに基づいて、判定画像が周期性欠陥が無い画像であるか否かを判定する（ステップＳ４２１）。判定部５３は、周期性欠陥判定部５２が算出した判定画像が周期性欠陥が無い画像である確率ｘ％が閾値以上である場合に、判定画像が周期性欠陥が無い画像であると判定し、確率ｘ％が閾値より小さい場合に、判定画像が周期性欠陥が有る画像であると判定する。なお、判定部５３は、周期性欠陥判定部５２が算出した確率ｙ、または確率ｘ及び確率ｙの双方を用いて、判定画像が周期性欠陥が無い画像であるか否かを判定してもよい。
図１８に戻り、鋼材判定部５は、例えば表示部５５に判定結果を表示することや、判定結果を記憶装置に記憶することにより、判定結果を出力し（ステップＳ２４）、一連の処理を終了する。
以上説明した鋼材の表面欠陥検出方法によれば、学習済みモデル（または分類器、さらに限定された場合は畳み込みニューラルネットワークシステム）を用いることにより、鋼板Ｐが蛇行している場合であっても、周期性欠陥の有無を、人の目視によらず自動的に高精度で判定することができる。
次に、従来技術と本発明の鋼材の表面欠陥検出方法との比較結果について説明する。図２１は、周期性欠陥を含む欠陥マップの一例を示す図である。図２１の（ａ）〜（ｃ）は、いずれも周期性欠陥を含む欠陥マップであり、鋼材の表面欠陥検出方法及び従来技術のいずれによっても周期性欠陥を含むと判定された。
図２２は、周期性欠陥を含まない欠陥マップの一例を示す図である。図２２の（ａ）、（ｂ）は、いずれも周期性欠陥を含まない欠陥マップであり、鋼材の表面欠陥検出方法には、周期性欠陥を含まないと判定され、従来技術には、周期性欠陥を含むと判定された。すなわち、鋼材の表面欠陥検出方法は、従来技術では検出できなかった周期性欠陥を検出することができたことを実証することできた。
なお、上述した鋼材の表面欠陥検出方法を用いて、鋼材の表面の周期性欠陥を検出し、その検出結果に応じて製造条件を制御することにより、鋼材を製造する鋼材の製造方法としてもよい。表面欠陥検出方法以外の鋼材の製造方法は、公知のものや既存のものを利用することができる。製造条件の制御として、例えば、周期性欠陥の原因と考えられる圧延ロールや搬送用のロールを洗浄または交換する。その結果、周期性欠陥を速やかに発見することができ、製造された鋼材の品質が低下することを防止することができる。鋼材の中でも鋼板、特に、長尺な鋼板である鋼帯を製造する場合には、長い範囲で発生しやすい周期性欠陥により製品品質が大きく損なわれることを防ぐ効果が顕著である。
〔鋼材の合否判定方法〕
次に、図２３を参照して、作成した学習済みモデルを用いた鋼材の合否判定方法を詳細に説明する。鋼板Ｐの合否判定方法では、図２０に示すステップＳ４２に代えて、図２３に示すＳ４２の処理を行う。ステップＳ２１、Ｓ２２、及びＳ２４の処理は、上述した処理と同様の処理であるから説明を省略する。
図２３は、図１８の判定ステップＳ２３を示すフローチャートである。図２３に示すように、ステップＳ４１、Ｓ４２１の処理は、上述した処理と同様の処理であるから説明を省略する。ステップＳ４２において、判定部５３は、判定画像に対応する鋼板Ｐが合格であるか否かを判定する（ステップＳ４２２）。判定部５３は、判定画像が周期性欠陥が無い画像であると判定されている場合、その判定画像に対応する鋼板Ｐを合格と判定し、判定画像が周期性欠陥が有る画像であると判定されている場合、その判定画像に対応する鋼板Ｐを不合格と判定する。
なお、上述した鋼材の合否判定方法を用いて、鋼材の合否を判定し、その判定結果に応じて製造条件を制御することにより、鋼材を製造する鋼材の製造方法としてもよい。合否判定方法以外の鋼材の製造方法は、公知のものや既存のものを利用することができる。製造条件の制御として、例えば、判定が不合格である原因と考えられる圧延ロールや搬送用のロールを洗浄または交換する。その結果、周期性欠陥を有することにより判定が不合格である鋼材を速やかに発見することができ、製造された鋼材の品質が低下することを防止することができる。鋼材の中でも鋼板、特に、長尺な鋼板である鋼帯を製造する場合には、長い範囲で発生しやすい周期性欠陥により製品品質が大きく損なわれることを防ぐ効果が顕著である。
〔鋼材の合否判定方法の変形例１〕
図２４は、図１８の判定ステップＳ２３を示すフローチャートである。図２４に示すように、ステップＳ４１の処理は、上述した処理と同様の処理であるから説明を省略する。ステップＳ４２において、判定部５３は、周期性欠陥判定部５２が算出した確率ｘ及び確率ｙに基づいて、判定画像に対応する鋼板Ｐが合格であるか否かを判定する（ステップＳ４２３）。判定部５３は、周期性欠陥判定部５２が算出した判定画像が周期性欠陥が無い画像である確率ｘ％がＡ％以上である場合（ステップＳ４２３：Ｙｅｓ）、その判定画像に対応する鋼板Ｐを合格と判定し、確率ｘ％がＡ％より小さい場合（ステップＳ４２３：Ｎｏ）、その判定画像に対応する鋼板Ｐを不合格と判定する。このように、判定画像が周期性欠陥が無い画像であるか否かの判定を行わずに、直接鋼板Ｐの合否を判定してもよい。
（実施の形態２）
図２５は、本発明の実施の形態２に係る鋼材判定システムの構成を示す模式図である。図２５に示すように、実施の形態２に係る鋼材判定システム１において、鋼材判定部５は、欠陥混入率計算部５４を備える。照明装置２、撮像装置３、画像処理部４、鋼材判定部５、機械学習部６、データ取得部４１、画像補正部４２、欠陥検出部４３、欠陥判定部４４、欠陥マップ作成部４５、サイズ変換部５１，６１、周期性欠陥判定部５２、判定部５３、表示部５５，６５、モデル作成部６２、及び正答率算出部６３は、実施の形態１で説明したものと同じであるから、説明を省略する。
〔鋼材の合否判定方法の変形例２〕
図２６は、図１８の判定ステップＳ２３を示すフローチャートである。図２６に示すように、ステップＳ４１、Ｓ４２１の処理は、上述した処理と同様の処理であるから説明を省略する。また、図２６の最初の処理において、矢印が２つに記載されているが、これはステップＳ４１の処理と、ステップＳ４３の処理とを、並行して行ってよいことを示している。
ステップＳ４３において、欠陥混入率計算部５４は、欠陥混入率を算出する欠陥混入率判定処理を行う。欠陥混入率は、欠陥マップにおける単位面積あたりの欠陥部の個数に基づいて算出される値である。
ステップＳ４２４において、判定部５３が、判定画像が対応する鋼板Ｐを合格と判定した場合（ステップＳ４２４：Ｙｅｓ）、判定部５３は、その判定画像に対応する欠陥マップの欠陥混入率がＺ％以下であるか否かを判定する（ステップＳ４２５）。判定部５３が、欠陥混入率がＺ％以下であると判定した場合（ステップＳ４２５：Ｙｅｓ）、判定部５３は、その判定画像に対応する鋼板Ｐを合格と判定する。一方、判定部５３が、欠陥混入率がＺ％より大きいと判定した場合（ステップＳ４２５：Ｎｏ）、判定部５３は、その判定画像に対応する鋼板Ｐを不合格と判定する。
〔鋼材の合否判定方法の変形例３〕
また、変形例３として、図２６のステップＳ４２１とＳ４２４とに代えて、図２４のステップＳ４２３を用いてもよい。つまり、ステップＳ４２３において、判定部５３は、周期性欠陥の無い画像である確率ｘ％がＡ％以上（ステップＳ４２３：Ｙｅｓ）と判定した判定画像を、ステップＳ４２５へ進め、確率ｘ％がＡ％より小さい（ステップＳ４２３：Ｎｏ）と判定された判定画像に対応する鋼板Ｐを不合格と判定する。この場合は、１ステップ分処理が減るので、より迅速に処理が行えることが期待できる。
なお、上述した鋼材の合否判定方法を用いて、鋼材の合否を判定し、その判定結果に応じて製造条件を制御することにより、鋼材を製造する鋼材の製造方法としてもよい。合否判定方法以外の鋼材の製造方法は、公知のものや既存のものを利用することができる。製造条件の制御として、例えば、判定が不合格である原因と考えられる圧延ロールや搬送用のロールを洗浄または交換する。その結果、周期性欠陥を有することにより判定が不合格である鋼材を速やかに発見することができ、製造された鋼材の品質が低下することを防止することができる。上述した変形例１〜３を用いる場合には、加えて、圧延ロールや搬送用ロールの洗浄または交換をすぐに行う必要があるのか否かを判断できる。この結果、より効率的な制御、例えば、許容できない欠陥の発生を直ちに抑制するなど、が可能となる。鋼材の中でも鋼板、特に、長尺な鋼板である鋼帯を製造する場合には、長い範囲で発生しやすい周期性欠陥により製品品質が大きく損なわれることを防ぐ効果が顕著である。
以上説明した鋼材の合否判定方法によれば、周期性欠陥の有無だけでなく、周期性欠陥の混入率を踏まえて鋼板Ｐの合否を判定することができる。
〔鋼材の等級判定方法〕
次に、図２７を参照して、作成した学習済みモデルを用いた鋼材の等級判定方法を詳細に説明する。鋼板Ｐの等級判定方法では、図２６に示すステップＳ４２に代えて、図２７に示すＳ４２の処理を行う。ステップＳ２１、Ｓ２２、及びＳ２４の処理は、上述した処理と同様の処理であるから説明を省略する。
図２７は、図１８の判定ステップＳ２３を示すフローチャートである。図２７に示すように、ステップＳ４１、Ｓ４３、Ｓ４２１の処理は、上述した処理と同様の処理であるから説明を省略する。
ステップＳ４２４において、判定部５３が、判定画像が対応する鋼板Ｐを合格と判定した場合（ステップＳ４２４：Ｙｅｓ）、判定部５３は、その判定画像に対応する欠陥マップの欠陥混入率がＺ１％以下であるか否かを判定する（ステップＳ４２６）。判定部５３が、欠陥混入率がＺ１％以下であると判定した場合（ステップＳ４２６：Ｙｅｓ）、判定部５３は、その判定画像に対応する欠陥マップの欠陥混入率がＺ２％以下であるか否かを判定する（ステップＳ４２７）。判定部５３が、欠陥混入率がＺ２％以下であると判定した場合（ステップＳ４２７：Ｙｅｓ）、判定部５３は、その判定画像に対応する欠陥マップの欠陥混入率がＺ３％以下であるか否かを判定する（ステップＳ４２８）。判定部５３が、欠陥混入率がＺ３％以下であると判定した場合（ステップＳ４２８：Ｙｅｓ）、判定部５３は、その判定画像に対応する鋼板Ｐの等級が１級であると判定する。
ステップＳ４２８において、判定部５３が、欠陥混入率がＺ３％より大きいと判定した場合（ステップＳ４２８：Ｎｏ）、判定部５３は、その判定画像に対応する鋼板Ｐの等級が２級であると判定する。
ステップＳ４２７において、判定部５３が、欠陥混入率がＺ２％より大きいと判定した場合（ステップＳ４２７：Ｎｏ）、判定部５３は、その判定画像に対応する鋼板Ｐの等級が３級であると判定する。
ステップＳ４２６において、判定部５３が、欠陥混入率がＺ１％より大きいと判定した場合（ステップＳ４２６：Ｎｏ）、判定部５３は、その判定画像に対応する鋼板Ｐを不合格と判定する。
以上説明した鋼材の等級判定方法によれば、周期性欠陥を有する鋼板Ｐを不合格にするとともに、周期性欠陥を有しない鋼板Ｐを欠陥混入率に基づいて等級を分類することができる。この場合においても、学習済みモデル（または分類器、さらに限定された場合は畳み込みニューラルネットワークシステム）を用いているため、鋼板Ｐが蛇行している場合であっても、周期性欠陥の有無を高精度に判定して、鋼板Ｐの等級を判定することができる。
なお、上述した鋼材の等級判定方法では、ステップＳ４２１の後、ステップＳ４２２において鋼板Ｐの合否を判定したがこれに限られない。ステップＳ４２１の後、判定部５３は、ステップＳ４２４で判定画像に対する周期性欠陥の有無を判定し、周期性欠陥が無いと判定された場合にステップＳ４２６〜４２８の鋼板Ｐの等級の分類をまとめて１度に行い、周期性欠陥が有ると判定された場合に鋼板Ｐを不合格と判定してもよい。
また、上述した鋼材の等級判定方法では、判定部５３がステップＳ４２４、Ｓ４２６、Ｓ４２７、Ｓ４２８の処理を順に行う処理を説明したが、これに限られない。判定部５３は、周期性欠陥の有無及び欠陥混入率が入力されると、鋼板Ｐの合否及び等級を出力するテーブルを有していてもよい。この場合、判定部５３に周期性欠陥の有無及び欠陥混入率を入力すると、判定部５３は、鋼板Ｐが合格かつ欠陥混入率がＺ３以下である場合には１級、鋼板Ｐが合格かつ欠陥混入率がＺ３より大きくＺ２以下である場合には２級、鋼板Ｐが合格かつ欠陥混入率がＺ２より大きくＺ１以下である場合には３級、鋼板Ｐが不合格または欠陥混入率がＺ１より大きい場合には不合格とする判定を出力する。
また、変形例として、図２７のステップＳ４２１とＳ４２４とに代えて、図２４のステップＳ４２３を用いてもよい。つまり、ステップＳ４２３において、判定部５３は、周期性欠陥の無い画像である確率ｘ％がＡ％以上（ステップＳ４２３：Ｙｅｓ）と判定した判定画像を、ステップＳ４２６へ進め、確率ｘ％がＡ％より小さい（ステップＳ４２３：Ｎｏ）と判定された判定画像に対応する鋼板Ｐを不合格と判定する。この場合は、１ステップ分処理が減るので、より迅速に処理が行えることが期待できる。
なお、鋼材の製造方法は、上述した鋼材の等級判定方法を用いて、鋼材の等級を判定し、その判定結果を用いて等級毎に鋼材を分別する分別ステップを備えることができる。等級判定方法以外の鋼材の製造方法は、公知のものや既存のものを利用することができる。この場合、鋼材を等級別に分別することができる。その結果、種類は同じだが等級の異なる鋼材を適切な用途先へと出荷することができる。この場合でも、不合格の鋼材が任意の量を超えるようであれば、製造条件を制御してもよい。製造条件の制御として、例えば、判定が不合格である原因と考えられる圧延ロールや搬送用のロールを洗浄または交換する。その結果、周期性欠陥を有することにより判定が不合格である鋼材を速やかに発見することができ、製造された鋼材の品質が低下することを防止することができる。鋼材の中でも鋼板、特に、長尺な鋼板である鋼帯を製造する場合には、長い範囲で発生しやすい周期性欠陥により製品品質が大きく損なわれることを防ぐ効果が顕著である。
なお、鋼材の製造設備は、上述した鋼材判定システムを備えることができる。鋼材判定システム以外の鋼材の製造設備は、公知のものや既存のものを利用することができる。その結果、周期性欠陥を有する鋼材を速やかに発見することができ、製造された鋼材の品質が低下することを防止することができる。また、上述した鋼材判定システムは、少なくとも１つ以上のロールを備えた製造設備に備えられた場合に、より高い効果が得られる。何故ならば、上記効果に加え、鋼材に周期性欠陥が発生する原因と考えられる圧延ロールや搬送用のロールを洗浄または交換する時期についても、周期性欠陥を有する鋼材の発生量に基づいて判断することが容易となるためである。これら鋼材の製造設備の中でも鋼板の製造設備、特に、長尺な鋼板である鋼帯を製造する設備の場合には、特に高い効果を得られる。何故ならば、上記効果に加え、長い範囲で発生しやすい周期性欠陥により製品品質が大きく損なわれることを防ぐ効果が顕著であるためである。
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
１ 鋼材判定システム
２ 照明装置
３ 撮像装置
４ 画像処理部
５ 鋼材判定部
６ 機械学習部
４１ データ取得部
４２ 画像補正部
４３ 欠陥検出部
４４ 欠陥判定部
４５ 欠陥マップ作成部
５１、６１ サイズ変換部
５２ 周期性欠陥判定部
５３ 判定部
５４ 欠陥混入率計算部
５５、６５ 表示部
６２ モデル作成部
６３ 正答率算出部
７１ 入力層
７２ 中間層
７３ 出力層
Ｄ 周期性欠陥
Ｐ 鋼板

Claims (19)

  1. 鋼材表面の欠陥部の分布を示した画像であり、かつ同一画像サイズの欠陥マップと、該欠陥マップに予め付与された周期性欠陥の有無と、を含む教師画像を用いて、
    鋼材表面の欠陥部の分布を示した画像であり、かつ画像サイズが前記同一画像サイズである欠陥マップを入力値、該欠陥マップ内における周期性欠陥の有無に関する値を出力値とする学習済みモデルを機械学習により生成する、学習済みモデルの生成方法。
  2. 前記入力値として用いる前記欠陥マップの画像サイズが、前記同一画像サイズと異なる場合、該欠陥マップの画像サイズを前記同一画像サイズに変換して前記入力値とする、請求項１に記載の学習済みモデルの生成方法。
  3. 鋼材表面の欠陥部の分布を示した画像であり、かつ前記教師画像と同一画像サイズである欠陥マップと、該欠陥マップに予め付与された周期性欠陥の有無とを含むテスト画像を用いて生成される学習済みモデルの生成方法であって、
    前記テスト画像の前記欠陥マップを前記学習済みモデルに入力し、該テスト画像における周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記テスト画像における周期性欠陥の有無を判定し、
    前記判定された周期性欠陥の有無と前記予め付与された周期性欠陥の有無とを比較して正答率を算出し、
    前記算出された正答率に応じて、前記学習済みモデルの生成条件を調整する、請求項１または２に記載の学習済みモデルの生成方法。
  4. 前記学習済みモデルの生成条件の調整は、前記同一画像サイズを画像サイズが異なる他の同一画像サイズへ変更することである、請求項３に記載の学習済みモデルの生成方法。
  5. 前記同一画像サイズとして、互いに画像サイズが異なる複数種類の同一画像サイズを設定し、
    前記設定された各同一画像サイズの前記教師画像と前記テスト画像との組を用いて、前記正答率を前記複数種類の同一画像サイズ毎に算出し、
    前記算出された正答率が最も高い同一画像サイズの教師画像とテスト画像とを用いて、学習済みモデルを生成する、請求項３に記載の学習済みモデルの生成方法。
  6. 鋼材の表面の欠陥部の分布を示した画像であり、かつ同一画像サイズの欠陥マップが、判定画像として入力される入力層と、
    前記判定画像に対する周期性欠陥の有無に関する値を出力する出力層と、
    前記判定画像と同一画像サイズである欠陥マップを入力、前記欠陥マップに対する周期性欠陥の有無に関する値を出力とする教師画像を用いて、パラメータが学習された中間層とを備え、
    前記同一画像サイズである判定画像を入力層に入力し、前記中間層にて計算し、前記出力層から周期性欠陥の有無に関する値を出力するよう、
    コンピュータを機能させるための学習済みモデル。
  7. 鋼材の表面を撮像した撮像データを取得するステップと、
    前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、
    前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、
    前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記判定画像に対する周期性欠陥の有無を判定するステップと、
    を含む、表面欠陥検出方法。
  8. 前記学習済みモデルは、前記判定画像が入力された際に、前記周期性欠陥の有無に関する値を出力するように、前記判定画像と同一画像サイズの教師画像を用いて機械学習が施された、請求項７に記載の表面欠陥検出方法。
  9. 請求項７または８に記載の表面欠陥検出方法を用いて、鋼材の表面の周期性欠陥を検出し、該検出結果に応じて製造条件を制御して鋼材を製造する、鋼材の製造方法。
  10. 鋼材の表面を撮像した撮像データを取得するステップと、
    前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、
    前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、
    前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記鋼材に対する合否を判定するステップと、
    を含む、合否判定方法。
  11. 前記学習済みモデルは、前記判定画像が入力された際に、前記周期性欠陥の有無に関する値を出力するように、前記判定画像と同一画像サイズの教師画像を用いて機械学習が施された、請求項１０に記載の合否判定方法。
  12. 請求項１０または１１に記載の合否判定方法を利用して、鋼材の合否を判定し、該判定結果に応じて製造条件を制御して鋼材を製造する、鋼材の製造方法。
  13. 鋼材の表面を撮像した撮像データを取得するステップと、
    前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、
    前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、
    前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記判定画像に対する周期性欠陥の有無を判定するステップと、
    前記欠陥部に基づいて、前記判定画像の欠陥混入率を計算するステップと、
    前記計算された欠陥混入率と、前記判定画像に対する周期性欠陥の有無の判定結果とに基づいて、前記判定画像に対応する前記鋼材の等級を判定するステップと、
    を含む、等級判定方法。
  14. 鋼材の表面を撮像した撮像データを取得するステップと、
    前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、
    前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、
    前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記鋼材に対する合否を判定するステップと、
    前記欠陥部に基づいて、前記判定画像の欠陥混入率を計算するステップと、
    前記計算された欠陥混入率と、前記鋼材に対する合否の判定結果とに基づいて、前記判定画像に対応する前記鋼材の等級を判定するステップと、
    を含む、等級判定方法。
  15. 請求項１３または１４に記載の等級判定方法を利用して、鋼材を等級ごとに分別する分別ステップを含む鋼材の製造方法。
  16. 鋼材の表面を撮像した撮像データを取得するステップと、
    前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、
    前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、
    前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記判定画像に対する周期性欠陥の有無を判定するステップと、
    を含む処理をコンピュータに実行させるための表面欠陥判定プログラム。
  17. 鋼材の表面を撮像した撮像データを取得するステップと、
    前記撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成するステップと、
    前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するステップと、
    前記判定画像を学習済みモデルに入力して、周期性欠陥の有無に関する値を出力させ、該周期性欠陥の有無に関する値に基づいて、前記鋼材に対する合否を判定するステップと、
    を含む処理をコンピュータに実行させるための合否判定プログラム。
  18. 鋼材の表面を撮像した撮像データに基づいて、欠陥部の分布を示す欠陥マップを作成する欠陥マップ作成部と、
    前記欠陥マップの画像サイズを同一画像サイズに変換して、前記欠陥マップごとに判定画像を作成するサイズ変換部と、
    機械学習済みの学習済みモデルに対して、前記判定画像を入力し、周期性欠陥の有無に関する値を出力する周期性欠陥判定部と、
    前記周期性欠陥の有無に関する値に基づいて、前記判定画像に対する周期性欠陥の有無を判定する、及び／または、前記鋼材の合否を判定する判定部と、を備え、
    前記学習済みモデルは、前記判定画像が入力された際に、前記周期性欠陥の有無に関する値を出力するように、前記判定画像と同一画像サイズの教師画像を用いて機械学習が施された、判定システム。
  19. 請求項１８に記載の判定システムを備えた鋼材の製造設備。
JP2020509542A 2018-12-25 2019-10-31 学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備 Active JP6973623B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018241213 2018-12-25
JP2018241213 2018-12-25
PCT/JP2019/042848 WO2020137151A1 (ja) 2018-12-25 2019-10-31 学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備

Publications (2)

Publication Number Publication Date
JPWO2020137151A1 true JPWO2020137151A1 (ja) 2021-02-18
JP6973623B2 JP6973623B2 (ja) 2021-12-01

Family

ID=71127917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020509542A Active JP6973623B2 (ja) 2018-12-25 2019-10-31 学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備

Country Status (7)

Country Link
US (1) US20220044383A1 (ja)
EP (1) EP3904868A4 (ja)
JP (1) JP6973623B2 (ja)
KR (1) KR102636470B1 (ja)
CN (1) CN113260854A (ja)
MX (1) MX2021007733A (ja)
WO (1) WO2020137151A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112275807B (zh) * 2020-09-30 2022-11-18 首钢集团有限公司 一种热轧带钢轮廓边部平台的检测方法及装置
DE102021122939B4 (de) 2021-09-06 2023-06-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils sowie Verfahren zum Trainieren eines künstlichen neuronalen Netzes
JP2023042738A (ja) * 2021-09-15 2023-03-28 株式会社日立ハイテク 欠陥検査システム及び欠陥検査方法
KR20230073720A (ko) 2021-11-19 2023-05-26 부산대학교 산학협력단 딥러닝 모델을 이용한 냉연강판에서의 표면결함 자동분류를 위한 장치 및 방법
KR102471441B1 (ko) * 2021-12-20 2022-11-28 주식회사 아이코어 딥 러닝을 기반으로 고장을 검출하는 비전 검사 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010185868A (ja) * 2009-01-15 2010-08-26 Nippon Steel Corp 連続欠陥判定方法、連続欠陥判定装置及びプログラム
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58156842A (ja) 1982-03-15 1983-09-17 Toshiba Corp ロ−ル疵検出装置
JPH07198627A (ja) 1994-01-06 1995-08-01 Nippon Steel Corp 金属表面欠陥検査装置
JP3507695B2 (ja) * 1998-04-30 2004-03-15 日本電信電話株式会社 カオスニューラルネットワークを用いた信号検出方法及び装置
KR100838723B1 (ko) * 2001-12-05 2008-06-16 주식회사 포스코 스트립표면 결함부의 검출 및 평점산출장치
JP4414658B2 (ja) * 2003-02-14 2010-02-10 株式会社メック 欠陥検査装置および欠陥検査方法
JP2004354250A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP5453861B2 (ja) 2008-03-31 2014-03-26 Ｊｆｅスチール株式会社 周期性欠陥検出装置及びその方法
JP2010139317A (ja) * 2008-12-10 2010-06-24 Mitsubishi Materials Corp 軸物工具表面の欠陥検査方法および装置
KR101271795B1 (ko) * 2011-08-10 2013-06-07 주식회사 포스코 주편 하면 검사 시스템 및 검사 방법
JP6447637B2 (ja) * 2015-06-25 2019-01-09 Ｊｆｅスチール株式会社 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010185868A (ja) * 2009-01-15 2010-08-26 Nippon Steel Corp 連続欠陥判定方法、連続欠陥判定装置及びプログラム
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOPACZKA ET AL.: "Automated Enhancement and Detection of Stripe Defects in Large Circular Weft Knitted Fabrics", 2016 IEEE 21ST INTERNATIONAL CONFERENCE ON EMERGING TECHNOLOGIES AND FACTORY AUTOMATION (ETFA), JPN6020002369, 2016, ISSN: 0004543977 *

Also Published As

Publication number Publication date
EP3904868A1 (en) 2021-11-03
KR20210091309A (ko) 2021-07-21
EP3904868A4 (en) 2023-01-25
JP6973623B2 (ja) 2021-12-01
CN113260854A (zh) 2021-08-13
WO2020137151A1 (ja) 2020-07-02
KR102636470B1 (ko) 2024-02-13
MX2021007733A (es) 2021-08-05
US20220044383A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
JP6973623B2 (ja) 学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備
Çelik et al. Development of a machine vision system: real-time fabric defect detection and classification with neural networks
JP2007132757A (ja) 外観検査方法および同装置
JP2008175549A (ja) 欠陥検出装置および欠陥検出方法
JP6753553B1 (ja) 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル
JPWO2019216303A1 (ja) 検査装置、検査方法、学習方法、及びプログラム
JP2010133846A (ja) 外観検査装置
JPH06148098A (ja) 表面欠陥検査装置
JP7415286B2 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
JP2019532426A (ja) 複数の処理システムの同期
RU2796806C2 (ru) Способ формирования обучаемой модели, обучаемая модель, способ контроля поверхностных дефектов, способ производства стали, способ определения соответствия/несоответствия, способ определения сорта, программа определения поверхностных дефектов, программа определения соответствия/несоответствия, система определения и оборудование для производства стали
TWI753424B (zh) 外觀檢查管理系統、外觀檢查管理裝置、外觀檢查管理方法以及程式
JPH10123066A (ja) 特異点検出装置及び方法
KR20150074942A (ko) 스캡 결함 검출 장치 및 방법
CN115668290A (zh) 使用深度学习来检查片材物品
WO2015159352A1 (ja) ウェブ検査装置、ウェブ検査方法、ウェブ検査プログラム
JPWO2020158630A1 (ja) 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法
JP2007198803A (ja) 外観検査システム
CN112763511B (zh) 显示面板的线路缺陷的检测方法
Bukhari et al. Automated PCB Inspection System.
JP4889018B2 (ja) 外観検査方法
JP7447874B2 (ja) 鋼板の蛇行量推定モデルの生成方法、鋼板の蛇行量推定方法、鋼板の蛇行制御方法、及び鋼板の製造方法
JP2014135007A (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
JP2001266122A (ja) 色ムラ欠陥検査方法及び装置
JP4382210B2 (ja) 周期性パターンの検査方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R150 Certificate of patent or registration of utility model

Ref document number: 6973623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150