WO2023282043A1 - 検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備 - Google Patents

検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備 Download PDF

Info

Publication number
WO2023282043A1
WO2023282043A1 PCT/JP2022/024605 JP2022024605W WO2023282043A1 WO 2023282043 A1 WO2023282043 A1 WO 2023282043A1 JP 2022024605 W JP2022024605 W JP 2022024605W WO 2023282043 A1 WO2023282043 A1 WO 2023282043A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
inspection
defect determination
determination
image
Prior art date
Application number
PCT/JP2022/024605
Other languages
English (en)
French (fr)
Inventor
紘明 大野
広章 小松原
美和 大橋
Original Assignee
Ｊｆｅスチール株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｊｆｅスチール株式会社 filed Critical Ｊｆｅスチール株式会社
Priority to JP2022552999A priority Critical patent/JP7459957B2/ja
Priority to CN202280044784.0A priority patent/CN117597579A/zh
Priority to KR1020237043410A priority patent/KR20240008931A/ko
Priority to EP22837460.9A priority patent/EP4361615A1/en
Priority to BR112023027343A priority patent/BR112023027343A2/pt
Publication of WO2023282043A1 publication Critical patent/WO2023282043A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Definitions

  • This disclosure relates to inspection methods, classification methods, management methods, steel manufacturing methods, learning model generation methods, learning models, inspection devices, and steel manufacturing equipment.
  • Patent Literature 1 discloses a surface inspection device that optically detects flaws on a surface using feature amounts.
  • the feature quantity includes, for example, a feature quantity based on the size of the flaw, a feature quantity based on the type of flaw, a feature quantity based on the grade of the flaw, and the like.
  • convolutional neural networks which have been increasingly used for image inspection in recent years, have higher discrimination performance than general machine learning methods.
  • General machine learning methods are machine learning methods that use features, such as regression models, decision tree models, random forests, Bayesian inference models, Gaussian mixture models, and boosting methods of these machine learning models. be.
  • Regression models are, for example, linear regression, logistic regression, multiple regression, support vector machines, nonlinear kernels, and the like.
  • Patent Document 1 has discrimination performance that is inferior to that of a convolutional neural network. generate more. Such non-detection and over-detection lead to the outflow of defective products, and reduce the efficiency of the entire process because re-judgment is required in the post-inspection process as a countermeasure. Therefore, there is a need to reduce such underdetections and overdetections.
  • the convolutional neural network has high discrimination performance, so it is possible to reduce the occurrence of undetected and over-detected cases.
  • the convolutional neural network has a problem that it requires a large amount of calculation and cannot process a large number of defect candidates at once. For example, when used for the inspection or classification of steel materials continuously flowing through a production line, in order to realize continuous judgment by a convolutional neural network with a large amount of calculation, it is necessary to parallelize expensive processing equipment. there were. Alternatively, it was necessary to take measures such as lowering the production efficiency for inspection.
  • the purpose of the present disclosure which has been made in view of such circumstances, is to provide an inspection method, a classification method, a management method, a steel manufacturing method, a learning model generation method, a learning model, and an inspection apparatus that can achieve both an improvement in detection accuracy and a reduction in processing time. and to provide steel manufacturing equipment.
  • An inspection method includes An inspection method for detecting surface defects to be inspected, comprising: an imaging step of acquiring an image of the surface of the inspection target; an extracting step of extracting a defect candidate portion from the image; a selection step of selecting the extracted defect candidate part by a first defect determination; and an inspection step of detecting whether the surface defects are harmful or harmless by second defect determination using a convolutional neural network, targeting the defect candidate portions selected by the first defect determination.
  • a classification method includes: A classification method for classifying surface defects to be inspected, an imaging step of acquiring an image of the surface of the inspection target; an extracting step of extracting a defect candidate portion from the image; a selection step of selecting the extracted defect candidate part by a first defect determination; and a classification step of classifying at least one of types and grades of the surface defects by second defect determination using a convolutional neural network, targeting the defect candidate portions selected by the first defect determination.
  • a management method includes: A management step of classifying the inspection objects based on at least one of the types and grades of the surface defects classified by the above classification method.
  • a steel manufacturing method includes: a production step for producing steel; and the inspection step in the above inspection method, In the inspection step, the steel manufactured in the manufacturing step is the inspection target.
  • a steel manufacturing method includes: a production step for producing steel; and the management step in the above management method, In the managing step, the steel manufactured in the manufacturing step is subject to the inspection.
  • a learning model generation method includes: A learning model generation method used in an inspection method for detecting surface defects of an inspection target, Defect candidate portions selected by the first defect determination for an image to be inspected acquired in advance are used as input performance data, and teacher data is used as output performance data for harmful or harmless results of the input performance data. , generating said learning model by a convolutional neural network.
  • a learning model according to an embodiment of the present disclosure includes: It is generated by the learning model generation method described above.
  • An inspection device includes: An inspection device for detecting or classifying surface defects to be inspected, an imaging device that acquires an image of the surface of the inspection target; A defect candidate portion is extracted from the image, the extracted defect candidate portion is selected by a first defect determination, and a convolutional neural network is used for the defect candidate portion selected by the first defect determination.
  • a steel manufacturing facility includes: a manufacturing facility for manufacturing steel; and the above inspection device, The inspection device inspects the steel material manufactured by the manufacturing facility.
  • an inspection method, a classification method, a management method, a steel manufacturing method, a learning model generation method, a learning model, an inspection device, and a steel manufacturing facility that can achieve both improved detection accuracy and shortened processing time are provided. can do.
  • FIG. 1 is a diagram showing an example of the processing flow of surface inspection.
  • FIG. 2 is a diagram showing an example of the flow of generating a determinator.
  • FIG. 3 is a diagram illustrating a configuration example of an inspection apparatus according to one embodiment.
  • FIG. 1 shows an example of the processing flow of surface inspection performed by the inspection method according to the present embodiment.
  • an image of the surface of the object to be inspected is obtained (step S1, imaging step).
  • the object to be inspected is a steel plate, but the object to be inspected is not limited to the steel plate.
  • preprocessing is performed on the image (step S2).
  • Preprocessing is performed for the purpose of removing disturbances from the obtained image and facilitating the detection of defect signals (signals indicating surface defects).
  • Pre-processing may include, for example, inspection region extraction, brightness unevenness correction, frequency filtering, differentiation filtering, and the like.
  • a defect candidate portion extraction process for extracting a defect candidate portion from the image is executed (step S3, extraction step).
  • the defect candidate portion extraction process is a process of extracting and labeling a portion (defect candidate portion) having a different brightness by comparing with the surrounding portion by threshold processing.
  • the defect candidate portion is extracted by threshold processing in the present embodiment, other processing may be used as long as the defect candidate portion can be specified.
  • the entire image may be extracted as the defect candidate portion.
  • a first defect determination process is executed to select (screen) the extracted defect candidate portions by the first defect determination (step S4, screening step). Unlike the second defect determination described below, the first defect determination does not use a convolutional neural network. By the first defect determination, the defect candidate portion is reduced to such an extent that the second defect determination to be described later can be processed. In this embodiment, in the first defect determination, selection is performed so as to exclude defect candidate portions that are reliably determined to be harmless.
  • a feature amount may be extracted from the image, and the defect candidate portion may be selected using the feature amount.
  • the first defect determination uses a learning model generated by machine learning using feature values extracted from past images of the surface of the inspection object, as in an embodiment described later, to determine defect candidate portions. You can select. The details of the learning model used in the first defect determination will be described later.
  • a second defect determination process for detecting harmful or harmless surface defects by second defect determination using a convolutional neural network targeting the defect candidate portions selected by the first defect determination. is executed (step S5, inspection step).
  • a harmless surface defect is a surface defect that does not make an inspection object defective.
  • a harmless surface defect includes, for example, a defect detected as a signal whose physical characteristics are different from those of most healthy sites and made a defect candidate, but which actually does not adversely affect quality and is not a defect. Harmless surface defects also include, for example, defects that were small enough to meet quality standards.
  • Detrimental surface defects refer to surface defects excluding harmless surface defects. The details of the learning model, which is a convolutional neural network, used in the second defect determination will be described later.
  • the second defect determination process may be executed as a process of classifying surface defects to be inspected. That is, instead of the inspection step described above, after the selection step, the second defect determination process may be performed on the defect candidate portions selected by the first defect determination (step S5, classification step). .
  • the second defect determination process classifies at least one of the types and grades of surface defects by second defect determination using a convolutional neural network.
  • a classification method is then realized that classifies the surface defects to be inspected in more detail than the inspection method (harmful or harmless detection).
  • Such a classification method may be applied to a management method including a management step of classifying inspection objects based on at least one of types and grades of detected surface defects of the inspection objects.
  • a method of manufacturing a steel material includes a manufacturing step of manufacturing the steel material and the inspection step or management step described above, and the inspection step or management step manages the steel material manufactured in the manufacturing step as an inspection target.
  • the manufacturing step of manufacturing the steel material may include known processes.
  • the manufacturing step may include a rough rolling step, a finish rolling step, a cooling step, and the like, for example, when the inspection object is a steel plate.
  • the result of the second defect determination process is output as defect information (step S6).
  • Defect determination may be the detection of harmful or harmless surface defects, or classification of at least one of the type and grade of surface defects.
  • the output defect information may be used for quality control of the inspection object in the control method and steel manufacturing method, as described above.
  • FIG. 3 is a diagram illustrating a configuration example of an inspection apparatus according to one embodiment.
  • the inspection device is controlled by a host system (eg, a process computer that manages the manufacturing process to be inspected).
  • the inspection device may be provided as one of the devices constituting the manufacturing facility to be inspected.
  • the inspection device may be configured with, for example, a computing device and a camera.
  • the inspection device may also include a machine learning device, if desired.
  • a camera is an example of an imaging device, and images the surface of an inspection object (a steel plate in the example of FIG. 3) irradiated with light from a light source.
  • the arithmetic device executes preprocessing for an image, defect candidate portion extraction processing, first defect determination processing, and second defect determination processing. Also, the arithmetic device may output data relating to these processes to the host system.
  • the machine learning device acquires teacher data from the arithmetic device and generates a learning model (second determiner) used in the second defect determination.
  • the machine learning device acquires teacher data from the arithmetic device and also generates the learning model (first determiner) used in the first defect determination. do.
  • the first determiner may be manually designed if the learning model is not used in the first defect determination.
  • the generated first determiner and second determiner are stored in a storage unit accessible by the computing device, and stored by the computing device when the first defect determination and the second defect determination are executed. may be read from the department.
  • FIG. 2 is a diagram showing an example of the flow of generating a determinator.
  • the processing flow of the same surface inspection as in FIG. 1 is drawn with dotted lines.
  • the dotted line processing flow indicates that the process is not executed at the same time as the determinator generation flow, and is written together to show the relationship with steps S11, S12, and S21 of the determinator generation flow.
  • the surface inspection processing flow is executed using the generated determinator.
  • the first determiner is generated as follows before the second determiner. First, an image is acquired, preprocessing is performed, and defect candidate portions are extracted by threshold processing. These processes correspond to steps S1 to S3 described above and may be executed by the techniques described above.
  • the acquired image is an image (past image) of an inspection object in which actual defects have already been measured.
  • the extracted defect candidate part and the actual defect are linked (step S11).
  • Machine learning or manual design is performed based on the defect candidate portion that has been associated with the actual defect to generate a first determiner (step S12).
  • the first determiner (learning model) is a model generated in advance by machine learning using feature amounts extracted from pre-captured images of the surface of an arbitrary inspection object. .
  • the feature amount is a feature amount associated with the actual defect, and is used as teacher data.
  • a determination method is used that makes it possible to determine all the defect candidate parts after selection in time in the second defect determination. That is, in the first defect determination, a determination method that does not require much calculation time is required. For example, feature amounts such as size, shape, orientation, and gradation are extracted from an image, and defect determination is performed using the feature amounts. In other words, it is preferable to use a determination method other than the convolutional neural network. In the determination using the feature amount, conditional branching may be created manually (manual design in step S12).
  • judgments using feature values can be performed using general machine learning methods using feature values, such as regression models, decision tree models, random forests, Bayesian estimation models, mixed Gaussian models, or boosting methods of these models. may be used (machine learning in step S12).
  • regression models include, for example, linear regression, logistic regression, multiple regression, support vector machines, nonlinear kernels, and the like.
  • the first defect determination need not be a determination using a feature amount.
  • the first determiner is designed to determine unwanted defect candidates, eg, harmless surface defects, and exclude unwanted defect candidates from the defect candidates determined in the second defect determination.
  • a defect candidate part is selected using the generated first determiner. This process corresponds to step S4 described above.
  • a second determiner is generated by a convolutional neural network based on the selected defect candidate portion (step S21). In step S21, the defect candidate portion selected by the first defect determination for the acquired past image is used as input result data, and teacher data is used in which the harmful or harmless result of the input result data is used as output result data.
  • a learning model is generated by The second determiner uses a convolutional neural network to determine defects that require further determination after the first defect determination (e.g., harmful defects), and the obtained result is the final determination result. is generated as
  • the number of defect candidate parts to be subjected to the second defect determination is set to the threshold of the first determiner so as not to reach the upper limit in consideration of the defect determination processing capability of the second determiner. Or it is preferably adjusted by a parameter.
  • the number of defect candidate parts selected by the first defect determination within the range not exceeding the capability of the second defect determination processing, the number of objects to be determined by the convolutional neural network with high discrimination performance is increased. , it is possible to improve the detection accuracy.
  • the processing time is not delayed in the second defect determination. , the overall processing time can be shortened.
  • the determination time and discrimination performance differ depending on the layer structure, but it is preferable to determine the layer structure in consideration of the permissible determination time and required discrimination performance.
  • the judgment machine was generated. As shown in FIG. 3, a camera and a light source were installed in the thin steel sheet production line, and the entire image of the steel sheet surface was captured by the camera. A monochrome line camera was used. A line light source was used as the light source.
  • the computing device acquired the above images and performed the necessary processing. Specifically, the computing device performed a process to remove luminance unevenness. Further, the arithmetic unit extracts defect candidate portions by performing threshold processing, labeling processing, and the like after normalizing the image with a frequency filter. From the extracted defect candidate portion, more than 100 feature amounts related to shape, orientation, size, gradation, etc. were calculated by image processing.
  • the machine learning device associates the feature quantity of the extracted defect candidate part with the actual defect, attaches a label such as harmful or harmless, and prepares teacher data ("first One teacher data”).
  • the machine learning device automatically constructed a first decision machine based on a binary decision tree through machine learning using the first teacher data.
  • the computing device can perform the first defect determination in real time by using the first determiner generated by the machine learning device.
  • the number of the first training data was 50 data linked as harmful (harmful data) and 400 data linked as harmless (harmless data).
  • cross-validation was used to perform optimal pruning to prevent overfitting.
  • the training data is randomly divided into 10 parts, 90% of which is used as learning data to construct a binary decision tree decision machine, and 10% is used as evaluation data for decision making. was done.
  • evaluation was performed by mutual verification in which all the evaluation data was separated from the learning data.
  • an over-learning suppression penalty is given to the number of branches to suppress over-learning, and the over-learning suppression penalty is set so that the evaluation result by cross-validation is the best, thereby achieving optimal pruning.
  • the first discriminator was designed to reliably detect harmful data while leaving harmless data to some extent.
  • the first classifier was designed to exclude only data that was reliably harmless. Therefore, the first determiner was adjusted so as not to determine harmful data as harmless in the first defect determination. Specifically, the adjustment is such that the first misclassification penalty for misclassifying harmful data as harmless during training is ten times the second misclassification penalty for misclassifying harmless data as harmful. set to size. With this setting, the first determiner was able to correctly determine all harmful data.
  • defect candidate parts determined to be harmful in the first defect determination there are those that are linked as harmless in actual defects.
  • Such harmless data is preferably correctly determined as harmless in the second defect determination.
  • a second classifier was generated using deep learning (specifically, a convolutional neural network) to have better discrimination performance than the first classifier. Data different from the first training data is prepared, and the data of the defect candidate portion judged to be harmful by the first defect judgment is linked with the actual defect, and the training data (the second judgment used as "second training data”) to generate machines.
  • the number of second training data was 58 harmful data and 390 harmless data.
  • random division into learning data and verification data was performed so that all data could be evaluated.
  • the second training data was normalized to 256 ⁇ 256 size by resizing.
  • For the second training data in order to increase the number of data for learning, after resizing, vertically, horizontally, and vertically and horizontally inverted images are added, and each image is -10°, -5°, +5°. and additional images with +10° rotation. After adding the rotated image, the final second training data was obtained by cropping the 224 ⁇ 224 size from the center of the image in order to make all images have the same size. By such inversion and rotation processing, the number of second teacher data could be expanded twenty times.
  • ResNet152 was used as the network structure for deep learning. GAP (Global Average Pooling) was performed with ResNet 152 in order to learn to discriminate between harmful data and harmless data into two classes. After that, remove the fully connected layer for classifying into 1000 classes, instead add 2 fully connected layers that output 128 nodes and a fully connected layer for classifying into 2 classes, and the network structure is constructed. was done. For the deep learning framework, tensorflow (version 2.0.0) using the ImageNet dataset was used.
  • the arithmetic unit can perform the second defect determination in real time.
  • the machine learning device was a device (another computer) provided with a processor different from the arithmetic device.
  • the machine learning device communicated with the computing device and was able to send and receive the necessary data.
  • the defect information that is finally determined to be harmful in the above two-stage defect determination is output to the host system via communication and used to determine whether the steel plate needs maintenance and whether it can be shipped.
  • harmful surface defects may be determined by type and harmfulness (a value indicating the degree of harmfulness).
  • the host system may take optimal measures according to the type and severity of harmful surface defects.
  • the surface defect is a flaw as an example, but is not limited to a flaw.
  • the surface inspection of the steel plate was performed according to the processing flow shown in FIG.
  • 98% of the defect candidate portions determined to be harmless in the defect candidate portion extraction process are determined to be harmless in the first defect determination, and 98% are determined to be harmless in the first defect determination.
  • 99.97% of the defects were judged to be harmless in combination with the first defect judgment.
  • the inspection method and inspection apparatus can both improve the detection accuracy and shorten the processing time by the above steps and configuration.
  • the inspection method and inspection apparatus according to the present embodiment discriminate the detected defect candidates by a conventional machine learning method capable of high-speed processing using feature values etc. as the first defect determination. Limit the number. After that, since the convolutional neural network is applied for the second defect determination, it becomes possible to apply the convolutional neural network with high discrimination performance even to a large number of defect candidates. At this time, since the number of defect candidates limited by the first defect determination can be adjusted to the number that can be processed by the second defect determination or less, the overall processing time can be shortened.
  • the inspection method and inspection apparatus according to the present embodiment can individually adjust the threshold value, parameter, layer structure, etc. of each determination machine in the two-stage defect determination. There is also an effect that the degree of freedom of adjustment increases compared to the case of having one.
  • the purpose of the first defect determination is screening. Therefore, the defect candidate portion determined to be harmful in terms of the actual defect is reliably determined to be harmful, and the defect candidate portion determined to be harmless in terms of the actual defect is allowed to be erroneously determined as harmful to some extent. , preferably adjusted.
  • the first defect determination by machine learning there is a trade-off between erroneously determining a harmful defect as harmless and erroneously determining a harmless defect as a harmful defect. If machine learning is performed without considering this relationship, it may not be possible to reliably determine that a defect candidate portion determined to be harmful in an actual defect is harmful.
  • the judging machine For example, by machine learning using N pieces of data of the defect candidate portion judged to be harmful in the actual defect and M pieces of data of the defect candidate portion judged to be harmless in the actual defect as learning data, the judging machine Consider the case where a is created. Let us consider a case where learning is simply performed so that the number of data judged as correct answers by the judging machine among (N+M) pieces of data is the highest. In that case, even if a physical defect is judged to be either harmful or harmless, data out of the population tends to be erroneously judged. Therefore, it is difficult to reliably determine that a defect candidate portion that has been determined to be harmful in an actual defect is harmful.
  • R 01 is the number of correct answers of defect candidates determined to be harmful in actual defects.
  • R 02 is the number of correct answers for defect candidates determined to be harmless in actual defects.
  • a judgment machine is generated by machine learning so that the larger ⁇ is, the higher the correct answer rate of defect candidates judged to be harmful in terms of actual defects is, and the smaller the ⁇ is, the higher the correct answer rate is of defect candidates judged to be harmless in terms of actual defects. be done. Therefore, by adjusting ⁇ , it is possible to generate a determiner that reliably and correctly determines that a defect candidate portion determined to be harmful in an actual defect is harmful.
  • the same effect can be obtained by duplicating the N pieces of data of the defect candidate portion determined to be harmful in the actual defect at the time of machine learning to increase the number of learning data.
  • ⁇ is adjusted by performing machine learning while changing ⁇ , actually classifying the performance of the obtained determination machine with test data, and evaluating the results so as to meet the requirements for the first defect determination. You can do it by looking for a suitable condition.
  • the test data may be the same as the learning data, but is preferably different from the learning data in order to suppress over-learning.
  • the correct answer rate of the defect candidate part judged to be harmful in the target physical defect can be used, the correct answer rate of the defect candidate part judged to be harmless in the actual defect is used as a constraint condition.
  • An approach may be taken to solve as an optimization problem to maximize.
  • the classes may be further divided and the screening conditions for each class may be determined.
  • detrimental defects may be classified into three categories: severe, moderate, or light, depending on the impact the defect has.
  • the condition is set such that the correct answer rate for defect candidate portions determined to be severely harmful in actual defects is 100%.
  • the condition is set such that the correct answer rate for the defect candidate portion determined to be moderately harmful is 75%.
  • conditions are set such that the percentage of correct answers for defect candidate portions determined to be mildly harmful, for example, is 50%.
  • R 11 is the correct number of defect candidates judged to be severely harmful in physical defects.
  • R 12 is the number of correct answers for defect candidates determined to be moderately harmful in physical defects.
  • R 13 is the number of correct answers for defect candidates determined to be mildly harmful in physical defects.
  • R 14 is the number of correct answers for defect candidates determined to be harmless in actual defects.
  • a line camera was used in the above embodiment, but an area camera may be used. Also, a color camera may be used instead of a monochrome camera.
  • the camera may capture images under a plurality of conditions and combine the image information for inspection.
  • the first defect determination may be performed using feature amounts calculated separately or in combination from images of defect candidates obtained under different conditions. For example, two images obtained by an optical system under two kinds of specular reflection conditions and diffuse reflection conditions may be used, or an image of each channel of a color image may be used. Further, the results of concatenation or operations (eg, addition and subtraction) of defect candidate images obtained under different conditions may be used in the first defect determination.
  • the feature amount may be used in addition to the image.
  • the feature amount may be used in addition to the image.
  • the surface inspection of steel plates is targeted, but it goes without saying that the method can be applied not only to steel plates but also to various steel materials, various material products, and industrial products.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

検出精度の向上と処理時間の短縮を両立できる検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備が提供される。検査方法は、検査対象の表面欠陥の検出を行う検査方法であって、検査対象の表面を撮像した画像を取得する撮像ステップ（Ｓ１）と、画像から欠陥候補部を抽出する抽出ステップ（Ｓ３）と、抽出された欠陥候補部を第一の欠陥判定によって選別する選別ステップ（Ｓ４）と、第一の欠陥判定によって選別された欠陥候補部を対象として、畳み込みニューラルネットワークを用いた第二の欠陥判定によって表面欠陥の有害又は無害の検出を行う検査ステップ（Ｓ５）と、を含む。

Description

検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備
　本開示は、検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備に関する。
　製造業において、製品表面に疵が発生した場合、外観及び強度の観点から不良品となり得る。不良品を流出させないために、疵の無いことを保証する表面検査は非常に重要である。例えば、鉄鋼業では特許文献１のようラインセンサとライン光源を用いた光学式表面検査装置を導入し、自動的に欠陥部を抽出し、有害又は無害の判定、疵の種類などの分類を行う自動検査が実用化されている。特許文献１は、特徴量を用いて、表面の疵を光学的に検出する表面検査装置を開示する。特徴量は、例えば疵の大きさに基づく特徴量、疵の種類に基づく特徴量、疵の等級に基づく特徴量などを含む。
特開平０９－２５７７２３号公報
　ここで、近年、画像検査への活用が進んでいる畳み込みニューラルネットワークは、一般的な機械学習方法と比較して弁別性能が高い。一般的な機械学習方法とは、例えば回帰モデル、決定木モデル、ランダムフォレスト、ベイズ推定モデル、混合ガウシアンモデル、これらの機械学習モデルをブースティングした手法などの、特徴量を用いた機械学習方法である。回帰モデルは、例えば線形回帰、ロジスティック回帰、重回帰、サポートベクターマシン、非線形カーネルなどである。
　特許文献１に記載の機械学習方法は、弁別性能が畳み込みニューラルネットワークに及ばず、有害な欠陥候補部を無害と誤判定する未検出、無害な欠陥候補部を有害と誤判定する過検出などをより多く発生させる。このような未検出及び過検出は、不良品の流出につながったり、対策として検査後の工程で再判断が必要になるため工程全体の能率を低下させたりする。よって、このような未検出及び過検出を低減させる必要がある。
　上記のように、畳み込みニューラルネットワークは、弁別性能が高いため、未検出及び過検出の発生を低減させることができる。しかし、畳み込みニューラルネットワークは、計算量が大きく、一度に大量の欠陥候補部を処理することができないといった課題がある。例えば連続して製造ラインを流れる鋼材の検査又は分類で用いられる場合に、計算量の大きい畳み込みニューラルネットワークによる連続的な判定を実現させるためには、高額な処理装置を並列化させる対応が必要であった。又は、検査のために生産能率を低下させるなどの対応が必要であった。
　かかる事情に鑑みてなされた本開示の目的は、検出精度の向上と処理時間の短縮を両立できる検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備を提供することにある。
　本開示の一実施形態に係る検査方法は、
　検査対象の表面欠陥の検出を行う検査方法であって、
　前記検査対象の表面を撮像した画像を取得する撮像ステップと、
　前記画像から欠陥候補部を抽出する抽出ステップと、
　抽出された前記欠陥候補部を第一の欠陥判定によって選別する選別ステップと、
　前記第一の欠陥判定によって選別された前記欠陥候補部を対象として、畳み込みニューラルネットワークを用いた第二の欠陥判定によって前記表面欠陥の有害又は無害の検出を行う検査ステップと、を含む。
　本開示の一実施形態に係る分類方法は、
　検査対象の表面欠陥の分類を行う分類方法であって、
　前記検査対象の表面を撮像した画像を取得する撮像ステップと、
　前記画像から欠陥候補部を抽出する抽出ステップと、
　抽出された前記欠陥候補部を第一の欠陥判定によって選別する選別ステップと、
　前記第一の欠陥判定によって選別された前記欠陥候補部を対象として、畳み込みニューラルネットワークを用いた第二の欠陥判定によって前記表面欠陥の種類及び等級の少なくとも一つの分類を行う分類ステップと、を含む。
　本開示の一実施形態に係る管理方法は、
　上記の分類方法によって分類された前記表面欠陥の種類及び等級の少なくとも一つに基づいて、前記検査対象を分類する管理ステップを含む。
　本開示の一実施形態に係る鋼材の製造方法は、
　鋼材を製造する製造ステップと、
　上記の検査方法における前記検査ステップと、を含み、
　前記検査ステップは、前記製造ステップで製造された前記鋼材を前記検査対象とする。
　本開示の一実施形態に係る鋼材の製造方法は、
　鋼材を製造する製造ステップと、
　上記の管理方法における前記管理ステップと、を含み、
　前記管理ステップは、前記製造ステップで製造された前記鋼材を前記検査対象とする。
　本開示の一実施形態に係る学習モデルの生成方法は、
　検査対象の表面欠陥の検出を行う検査方法で用いられる学習モデルの生成方法であって、
　予め取得された検査対象の画像に対して第一の欠陥判定によって選別された欠陥候補部を入力実績データとして、前記入力実績データの有害又は無害の結果を出力実績データとする教師データを用いて、畳み込みニューラルネットワークによって前記学習モデルを生成するステップを含む。
　本開示の一実施形態に係る学習モデルは、
　上記の学習モデルの生成方法によって生成される。
　本開示の一実施形態に係る検査装置は、
　検査対象の表面欠陥の検出又は分類を行う検査装置であって、
　前記検査対象の表面を撮像した画像を取得する撮像装置と、
　前記画像から欠陥候補部を抽出し、抽出された前記欠陥候補部を第一の欠陥判定によって選別し、前記第一の欠陥判定によって選別された前記欠陥候補部を対象として、畳み込みニューラルネットワークを用いた第二の欠陥判定によって前記表面欠陥の欠陥判定を行う演算装置と、を備え、
　前記第二の欠陥判定によって行われる前記表面欠陥の欠陥判定は、前記表面欠陥の有害若しくは無害の検出、又は、前記表面欠陥の種類及び等級の少なくとも一つの分類である。
　本開示の一実施形態に係る鋼材の製造設備は、
　鋼材を製造する製造設備と、
　上記の検査装置と、を備え、
　前記検査装置は、前記製造設備で製造された前記鋼材を前記検査対象とする。
　本開示によれば、検出精度の向上と処理時間の短縮を両立できる検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備を提供することができる。
図１は、表面検査の処理フローの例を示す図である。 図２は、判定機の生成フローの例を示す図である。 図３は、一実施形態に係る検査装置の構成例を示す図である。
　以下、図面を参照して本開示の一実施形態に係る検査方法などが説明される。
（検査方法）
　本実施形態に係る検査方法は、検査対象の表面欠陥の検出を行う。図１は、本実施形態に係る検査方法で実行される表面検査の処理フローの例を示す。まず、検査対象の表面を撮像した画像が取得される（ステップＳ１、撮像ステップ）。後述する実施例において、検査対象は鋼板であるが、鋼板に限定されない。
　撮像ステップの後で、画像に対する前処理が実行される（ステップＳ２）。前処理は、得られた画像から外乱を除去し、欠陥信号（表面欠陥を示す信号）を検出しやすくする目的で実施される。前処理は、例えば検査領域の抽出、輝度むら補正、周波数フィルタ、微分フィルタなどを含んでよい。
　前処理を実施した後に、画像から欠陥候補部を抽出する欠陥候補部抽出処理が実行される（ステップＳ３、抽出ステップ）。欠陥候補部抽出処理は、閾値処理で周囲部と比較して、輝度が異なる箇所（欠陥候補部）を抽出し、ラベリングを行う処理である。ここで、本実施形態において閾値処理により欠陥候補部を抽出するが、欠陥候補部が特定できるのであれば、他の処理が用いられてよい。また、画像全体が欠陥候補部として抽出されてよい。
　抽出ステップの後で、抽出された欠陥候補部を第一の欠陥判定によって選別（スクリーニング）する第一の欠陥判定処理が実行される（ステップＳ４、選別ステップ）。第一の欠陥判定は、後述する第二の欠陥判定と異なり、畳み込みニューラルネットワークを使用しない。第一の欠陥判定によって、欠陥候補部が、後述する第二の欠陥判定が処理可能な程度に減らされる。本実施形態において、第一の欠陥判定は、確実に無害と判定される欠陥候補部を除くように、選別を行う。
　第一の欠陥判定は、例えば画像から特徴量を抽出し、特徴量を用いて、欠陥候補部を選別してよい。第一の欠陥判定は、後述する実施例のように、検査対象の表面を撮像した過去の画像から抽出された特徴量を用いた機械学習によって生成された学習モデルを用いて、欠陥候補部を選別してよい。第一の欠陥判定で用いられる学習モデルの詳細については後述する。
　選別ステップの後で、第一の欠陥判定によって選別された欠陥候補部を対象として、畳み込みニューラルネットワークを用いた第二の欠陥判定によって表面欠陥の有害又は無害の検出を行う第二の欠陥判定処理が実行される（ステップＳ５、検査ステップ）。ここで、無害な表面欠陥とは、検査対象を不良品とさせることがない表面欠陥である。無害な表面欠陥は、例えば物理的特性が大部分の健全な部位と異なる信号として検出され欠陥候補とされたが実際には品質上悪影響を与えることがなく欠陥でなかったものを含む。また、無害な表面欠陥は、例えば欠陥であったが十分に小さく品質基準を満たすものなどを含む。有害な表面欠陥は、無害な表面欠陥を除く表面欠陥をいう。第二の欠陥判定で用いられる、畳み込みニューラルネットワークである学習モデルの詳細については後述する。
　ここで、別の実施形態として、第二の欠陥判定処理は、検査対象の表面欠陥の分類を行う処理として実行されてよい。つまり、上記の検査ステップに代えて、選別ステップの後で、第一の欠陥判定によって選別された欠陥候補部を対象として、第二の欠陥判定処理が実行されてよい（ステップＳ５、分類ステップ）。第二の欠陥判定処理は、畳み込みニューラルネットワークを用いた第二の欠陥判定によって表面欠陥の種類及び等級の少なくとも一つの分類を行う。このとき、検査方法（有害又は無害の検出）よりも詳細に、検査対象の表面欠陥の分類を行う分類方法が実現される。このような分類方法は、検出された検査対象の表面欠陥の種類及び等級の少なくとも一つに基づいて、検査対象を分類する管理ステップを含む、管理方法に適用されてよい。また、検査対象が後述する実施例のように鋼板などの鋼材である場合に、鋼材の製造方法が実現できる。鋼材の製造方法は、鋼材を製造する製造ステップと、上記の検査ステップ又は管理ステップと、を含み、検査ステップ又は管理ステップが、製造ステップで製造された鋼材を検査対象として管理する。ここで、鋼材を製造する製造ステップは、公知の工程を含んで構成されてよい。製造ステップは、例えば検査対象が鋼板である場合に、粗圧延工程、仕上げ圧延工程、冷却工程などを含んで構成されてよい。
　第二の欠陥判定処理による結果は、欠陥情報として出力される（ステップＳ６）。欠陥判定は、表面欠陥の有害若しくは無害の検出、又は、表面欠陥の種類及び等級の少なくとも一つの分類であり得る。出力される欠陥情報は、上記のように、管理方法及び鋼材の製造方法において、検査対象の品質管理のために使用されてよい。
（検査装置）
　上記の検査方法は、例えば検査装置によって実行される。図３は、一実施形態に係る検査装置の構成例を示す図である。検査装置は上位システム（一例として検査対象の製造プロセスを管理するプロセスコンピュータ）によって制御される。検査装置は、検査対象の製造設備を構成する装置の一つとして設けられてよい。
　検査装置は、例えば演算装置と、カメラと、を備えて構成されてよい。また、検査装置は、必要に応じて、機械学習装置を備えてよい。カメラは、撮像装置の一例であって、光源から光が照射された検査対象（図３の例では鋼板）の表面を撮像する。演算装置は、画像に対する前処理、欠陥候補部抽出処理、第一の欠陥判定処理及び第二の欠陥判定処理を実行する。また、演算装置は、これらの処理に関するデータを上位システムに出力してよい。機械学習装置は、演算装置から教師データを取得して、第二の欠陥判定で用いられる学習モデル（第二の判定機）を生成する。また、機械学習装置は、第一の欠陥判定で学習モデルが用いられる場合に、演算装置から教師データを取得して、第一の欠陥判定で用いられる学習モデル（第一の判定機）も生成する。ここで、第一の欠陥判定で学習モデルが用いられない場合に、第一の判定機は手動設計されてよい。生成された第一の判定機及び第二の判定機は、演算装置がアクセス可能な記憶部に記憶されて、第一の欠陥判定及び第二の欠陥判定が実行される場合に演算装置によって記憶部から読みだされてよい。
（判定機の生成方法）
　図２は、判定機の生成フローの例を示す図である。図２には、図１と同じ表面検査の処理フローが点線で描かれている。点線の処理フローは、判定機の生成フローと同時に処理が実行されないことを示し、判定機の生成フローのステップＳ１１、Ｓ１２及びＳ２１との関係性を示すために併記されている。判定機の生成フローによって判定機が生成された後に、生成された判定機を用いて表面検査の処理フローが実行される。
　第一の判定機は、第二の判定機よりも前に、以下のように生成される。まず、画像の取得が行われて、前処理が行われて、閾値処理により欠陥候補部が抽出される。これらの処理は、上記のステップＳ１～Ｓ３に対応し、上記の手法によって実行されてよい。ここで、取得される画像は、実物欠陥が既に測定された検査対象の画像（過去の画像）である。
　その後に、抽出された欠陥候補部と実物欠陥との紐づけが実行される（ステップＳ１１）。実物欠陥との紐づけが実行された欠陥候補部に基づいて、機械学習又は手動設計が行われて、第一の判定機が生成される（ステップＳ１２）。機械学習による生成の場合に、第一の判定機（学習モデル）は、任意の検査対象の表面を予め撮像した画像から抽出された特徴量を用いて、機械学習によって予め生成されたモデルである。特徴量は、実物欠陥との紐づけがなされた特徴量であって、教師データとして用いられる。
　第一の判定機を用いる第一の欠陥判定では、弁別性能が低くても、第二の欠陥判定において選別後の全ての欠陥候補部の判定が間に合うような判定手法が用いられる。つまり、第一の欠陥判定では、あまり計算時間がかからない判定方法が求められる。例えば、画像から、大きさ、形状、向き、濃淡などの特徴量を抽出し、その特徴量を用いて欠陥判定が実施される。いわば、畳み込みニューラルネットワーク以外の判定方法であることが好ましい。特徴量を用いた判定は、手動で条件分岐が作成されてよい（ステップＳ１２の手動設計）。また、特徴量を用いた判定は、回帰モデル、決定木モデル、ランダムフォレスト、ベイズ推定モデル、混合ガウシアンモデル又はこれらのモデルをブースティングした手法など、特徴量を用いた一般的な機械学習方法を用いてよい（ステップＳ１２の機械学習）。ここで、回帰モデルは、例えば線形回帰、ロジスティック回帰、重回帰、サポートベクターマシン、非線形カーネルなどを含む。また、十分に高速な処理が可能であれば、第一の欠陥判定は、特徴量を用いた判定でなくてよい。第一の判定機は、例えば無害な表面欠陥など、必要ない欠陥候補部を判定し、第二の欠陥判定で判定される欠陥候補部から必要ない欠陥候補部を除くように設計される。
　生成された第一の判定機を用いて、欠陥候補部が選択される。この処理は、上記のステップＳ４に対応する。選択された欠陥候補部に基づいて、畳み込みニューラルネットワークによって第二の判定機が生成される（ステップＳ２１）。ステップＳ２１では、取得された過去の画像に対して第一の欠陥判定によって選別された欠陥候補部を入力実績データとして、入力実績データの有害又は無害の結果を出力実績データとする教師データを用いて学習モデルが生成される。第二の判定機は、第一の欠陥判定を経てさらに判定が必要な欠陥（例えば有害な欠陥など）を、畳み込みニューラルネットワークを用いて判定し、得られた結果が最終的な判定結果となるように生成される。
　上記のように、第二の欠陥判定の対象となる欠陥候補部の個数は、第二の判定機の欠陥判定処理能力を考慮し、その上限に達しないように、第一の判定機の閾値又はパラメータによって調整されることが好ましい。ここで、第二の欠陥判定処理の能力を超えない範囲で、第一の欠陥判定によって選択される欠陥候補部を多くすることによって、弁別性能が高い畳み込みニューラルネットワークによって判定される対象を増やして、検出精度を高めることが可能である。また、第二の判定機の欠陥判定処理能力の上限に達しないように、第一の欠陥判定によって欠陥候補部の個数が絞られるため、第二の欠陥判定において処理時間が遅延することがなく、全体として処理時間の短縮を実現することができる。
　ここで、深層学習を用いた畳み込みニューラルネットワークでは、層構造により判定時間及び弁別性能が異なるが、許容される判定時間及び求められる弁別性能を加味して層構造を決定することが好ましい。
（第１実施例）
　以下に、図３の検査装置を用いて行われた検査方法の実施例（第１実施例）が説明される。本実施例では、事前に機械学習を用いて構築された判定機を用いて、欠陥判定処理を実施することで、有害である欠陥と無害なものを精度よく弁別することができた。
　まず、判定機の生成が行われた。図３に示すように、薄鋼板製造ラインにカメラと光源が設置されて、鋼板表面の全画像がカメラによって撮像された。カメラはモノクロのラインカメラが使用された。また、光源はライン光源が使用された。演算装置は、上記の画像を取得して必要な処理を行った。具体的に述べると、演算装置は、輝度むらを除去する処理を実行した。また、演算装置は、周波数フィルタで画像の規格化を実行した後に、閾値処理及びラベリング処理などによって欠陥候補部を抽出した。抽出された欠陥候補部から、形状、向き、大きさ及び濃淡などに関する１００以上の特徴量が画像処理によって算出された。
　機械学習装置は、抽出された欠陥候補部の特徴量を、実際の現物欠陥と紐づけして、有害又は無害などのラベルを付けて教師データ（第一の判定機を生成するための「第一の教師データ」）とした。機械学習装置は、第一の教師データを用いた機械学習により、自動で二分決定木による第一の判定機を構築した。演算装置は、機械学習装置によって生成された第一の判定機を用いることによって、リアルタイムに第一の欠陥判定を実行することが可能になった。
　ここで、第一の教師データの数は、有害と紐づけられたデータ（有害データ）が５０で、無害と紐づけられたデータ（無害データ）が４００であった。二分決定木の構築にあたり、相互検証によって、過学習を防ぐ最適な枝刈りが実施された。具体的に述べると、教師データをランダムに１０に分割して、９割を学習用データとして二分決定木の判定機の構築が行われ、１割を評価用データとして構築された判定機による判定が行われた。このような学習と評価を繰り返し１０回行うことで、全ての評価用データを学習用データと分けた相互検証により評価が行われた。このとき、分岐数に過学習を抑制するために過学習抑制ペナルティを与え、相互検証による評価結果が最も良くなるように過学習抑制ペナルティを設定することで最適な枝刈りを実現した。また、第一の判定機は、無害なデータをある程度残しつつ有害なデータを確実に検出する設計とした。換言すると、第一の判定機は、確実に無害なデータだけを除外する設計とした。そのため、第一の欠陥判定で有害データを無害と判定しないように、第一の判定機が調整された。調整について具体的に述べると、学習時に有害データを無害データと誤判定することに対する第一の誤判定ペナルティが、無害データを有害データと誤判定することに対する第二の誤判定ペナルティの１０倍の大きさに設定された。この設定によって、第一の判定機が有害データを全て正しく判定できるようにした。
　第一の欠陥判定で有害と判定された欠陥候補部の中には、現物欠陥にて無害と紐づけられたものが含まれる。このような無害なデータは、第二の欠陥判定で、正しく無害と判定されることが好ましい。第一の判定機より弁別性能が高くなるように、深層学習（具体的には畳み込みニューラルネットワーク）を用いて第二の判定機が生成された。第一の教師データとは異なるデータが用意されて、そのうち第一の欠陥判定によって有害と判定された欠陥候補部のデータが、実際の現物欠陥と紐づけられて、教師データ（第二の判定機を生成するための「第二の教師データ」）として使用された。
　ここで、第二の教師データの数は、有害データが５８で、無害データが３９０であった。第一の欠陥判定における学習と同様に、学習用データと検証用データへのランダムな分割を行い、全てのデータが評価されるようにした。畳み込みニューラルネットワークでは、画像を全て同じサイズに正規化する必要があるため、第二の教師データはリサイズにより２５６×２５６サイズに正規化された。第二の教師データは、学習のデータ数を増やすために、リサイズの後で上下、左右並びに上下及び左右に反転した画像が追加されて、それぞれの画像について－１０°、－５°、＋５°及び＋１０°の回転を行った画像がさらに追加された。回転画像の追加の後で、全ての画像のサイズを同一にするために、画像中心から２２４×２２４サイズを切り出して、最終的な第二の教師データが得られた。このような反転及び回転の処理によって、第二の教師データの数を２０倍に拡張することができた。
　深層学習のネットワーク構造としてＲｅｓＮｅｔ１５２が使用された。有害データと無害データの２クラスへの弁別を学習させるため、ＲｅｓＮｅｔ１５２でＧＡＰ（Ｇｌｏｂａｌ　Ａｖｅｒａｇｅ　Ｐｏｏｌｉｎｇ）が行われた。その後に、１０００クラスへと分類するための全結合層を除き、代わりに１２８ノードを出力する全結合層２つと、２クラスへと分類するための全結合層を追加して、ネットワーク構造が構築された。深層学習のフレームワークには、ＩｍａｇｅＮｅｔのデータセットを用いたｔｅｎｓｏｒｆｌｏｗ（ｖｅｒｓｉｏｎ　２．０．０）が使用された。
　学習では、まずＲｅｓＮｅｔ１５２の重みを取得し、確率的勾配降下法（ＳＧＤ：ｓｔｏｃｈａｓｔｉｃ　ｇｒａｄｉｅｎｔ　ｄｅｓｃｅｎｔ）を使用して転移学習によりネットワークパラメータの最適化を実施した。ＳＧＤのモーメンタムが０．９、学習率減衰が５ｅ４、初期学習率が０．０１、最大学習エポック数が１０に設定された。その結果、最適なエポックは５と判明し、そのときの相互検証正答率が９８．９％となった。
　演算装置は、機械学習装置によって生成された、畳み込みニューラルネットワークの第二の判定機を用いることによって、リアルタイムに第二の欠陥判定を実行することが可能になった。
　ここで、本実施例において、機械学習装置は、演算装置とは別のプロセッサを備える装置（別のコンピュータ）であった。機械学習装置は、演算装置と相互に通信し、必要なデータの送受信が可能であった。
　上記の二段階の欠陥判定で最終的に有害と判定された欠陥情報は、通信により上位システムに出力されて、鋼板の手入れの要否、出荷可否の判断で使用される。さらに有害な表面欠陥は、種類及び有害度（有害の等級を示す値）を判定されてよい。上位システムは、有害な表面欠陥の種類及び有害度に応じて、最適な対応を実施してよい。また、表面欠陥は、一例として疵であるが、疵に限定されない。
　第一の判定機及び第二の判定機の生成が行われた後で、図１に示される処理フローに従って、鋼板の表面検査が行われた。本実施例において、欠陥候補部抽出処理（ステップＳ３、抽出ステップ）で現物欠陥にて無害と判定された欠陥候補部のうち、９８％が第一の欠陥判定で無害と判定されて、第二の欠陥判定では第一の欠陥判定と合わせて９９．９７％が無害と判定された。
　以上のように、本実施形態に係る検査方法及び検査装置は、上記の工程及び構成によって、検出精度の向上と処理時間の短縮を両立できる。つまり、本実施形態に係る検査方法及び検査装置は、検出した欠陥候補に対して、第一の欠陥判定として特徴量などを用いた高速に処理可能な従来の機械学習方法などで判別し欠陥候補数を限定する。その後に、第二の欠陥判定として畳み込みニューラルネットワークを適用するようにしたので、大量の欠陥候補に対しても、弁別性能が高い畳み込みニューラルネットワークを適用することが可能となった。このとき、第一の欠陥判定によって限定される欠陥候補数は、第二の欠陥判定で処理可能な個数以下に調整することができるため、全体として処理時間の短縮を実現することができる。また、本実施形態に係る検査方法及び検査装置は、二段階の欠陥判定において、それぞれの判定機の閾値、パラメータ及び層構造などを個別に調整することが可能であるため、１つの判定機を有する場合と比べて、調整の自由度が高まるといった効果もある。
（第２実施例：第一の判定機の調整方法）
　以下に、第一の判定機の調整方法に関する実施例（第２実施例）が説明される。
　第一の欠陥判定では、スクリーニングが目的である。そのため、現物欠陥にて有害と判定された欠陥候補部を確実に有害と正しく判定しつつ、現物欠陥にて無害と判定された欠陥候補部を有害と多少は誤判定することを許容するように、調整することが好ましい。第一の欠陥判定を機械学習で行う場合、有害な欠陥を無害と誤判定することと、無害な欠陥を有害な欠陥と誤判定することはトレードオフの関係にある。この関係を考慮せずに機械学習を実施すると、現物欠陥にて有害と判定された欠陥候補部を、確実に有害であると判定することができない可能性がある。
　例えば、学習データとして現物欠陥にて有害と判定された欠陥候補部のＮ個のデータと現物欠陥にて無害と判定された欠陥候補部のＭ個のデータとを用いた機械学習によって、判定機が作成されるケースを検討する。単純に（Ｎ＋Ｍ）個のデータのうち、判定機により正答と判定されるデータが最も高くなるように学習する場合を考える。その場合、現物欠陥にて有害又は無害のどちらかに判定したとしても、母集団から外れたデータはどうしても誤判定される傾向にある。したがって、現物欠陥にて有害と判定された欠陥候補部を、確実に有害であると判定することは困難である。
　そこで、評価関数を用いて、評価関数を最大化又は最小化するように機械学習が行われた。本実施例では、重みαを含む下記式に示す評価関数Ｅを最大化するように機械学習を行うことにより、上記のトレードオフを調整することが可能になる。その結果、本実施例では、現物欠陥にて有害と判定された欠陥候補部を優先的に有害と正しく判定させることにより確実に有害であると判定することが可能となる。
　Ｅ＝α×Ｒ０１＋（１－α）×Ｒ０２
　ここで、Ｒ０１は現物欠陥にて有害と判定された欠陥候補の正答数である。また、Ｒ０２は現物欠陥にて無害と判定された欠陥候補の正答数である。
　αが大きくなるほど現物欠陥にて有害と判定された欠陥候補の正答率が高くなり、小さくなるほど現物欠陥にて無害と判定された欠陥候補の正答率が高くなるよう、機械学習により判定機が生成される。したがって、αを調整することにより、現物欠陥にて有害と判定された欠陥候補部を確実に有害と正しく判定する判定機を生成することが可能となる。ここで、重みαを用いる代わりに、機械学習時に現物欠陥にて有害と判定された欠陥候補部のＮ個のデータを複製し、学習データの数を増やすことでも同様の効果が得られる。
　ここで、αの調整は、αを変化させながら機械学習を行い、得られた判定機の性能をテストデータで実際に分類して結果を評価しながら、第一の欠陥判定の要件を満たすような条件を探すことで、行なってよい。テストデータは、学習データと同一でよいが、過学習を抑制するために学習データと異なるデータであることが好ましい。また、目標となる現物欠陥にて有害と判定された欠陥候補部の正答率が利用できる場合に、その正答率を制約条件として、現物欠陥にて無害と判定された欠陥候補部の正答率を最大化するように最適化問題として解く手法が行われてよい。
　ここで、上記の本実施形態において有害と無害の２クラスでの分類が説明されたが、さらに細かくクラスを分けて、クラス毎のスクリーニングの条件を定めてよい。例えば、欠陥が及ぼす影響度に応じて、有害な欠陥を重度、中度又は軽度の３種類に分けてよい。例えば、現物欠陥にて重度の有害と判定された欠陥候補部の正答率は１００％であるように、条件が設定される。例えば、中度の有害と判定された欠陥候補部の正答率は７５％であるように、条件が設定される。また、例えば軽度の有害と判定された欠陥候補部の正答率は５０％であるように、条件が設定される。
　重みα、β及びγを含む下記式に示す評価関数Ｅを用いた最適化問題を解くことによって、現物欠陥にて無害と判定された欠陥候補部の正答率を最大化することができる。
　Ｅ＝α×Ｒ１１＋β×Ｒ１２＋γ×Ｒ１３＋（１－α－β－γ）×Ｒ１４
　ここで、Ｒ１１は現物欠陥にて重度の有害と判定された欠陥候補の正答数である。また、Ｒ１２は現物欠陥にて中度の有害と判定された欠陥候補の正答数である。Ｒ１３は現物欠陥にて軽度の有害と判定された欠陥候補の正答数である。また、Ｒ１４は現物欠陥にて無害と判定された欠陥候補の正答数である。
　本開示の実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態は装置が備えるプロセッサにより実行されるプログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　上記の実施例ではラインカメラを用いたが、エリアカメラを用いてよい。またモノクロではなくカラーカメラを用いてよい。カメラは複数の条件で撮像し、その画像情報を組み合わせて検査してよい。例えば、異なる条件により得られた欠陥候補の画像から別々あるいは組み合わせて算出した特徴量を用いて第一の欠陥判定が行われてよい。例えば、正反射条件と拡散反射条件を２種類の光学系で得られた２枚の画像が用いられてよいし、カラー画像の各チャンネルの画像が用いられてよい。さらに、異なる条件により得られた欠陥候補の画像の連結又は演算（例えば加算及び減算）の結果が第一の欠陥判定で用いられてよい。
　第二の欠陥判定では、実施例では画像のみを用いたが、画像に加えて特徴量が併せて用いられてよい。このとき、深層学習を用いた第二の判定機の構築において、画像に加えて特徴量が併せて用いられてよい。
　本実施形態では、鋼板の表面検査を対象としているが、鋼板のみならず様々な鋼材、さらに様々な素材製品、工業製品の表面検査にも適用可能であることは言うまでもない。

Claims (11)

  1. 　検査対象の表面欠陥の検出を行う検査方法であって、
    　前記検査対象の表面を撮像した画像を取得する撮像ステップと、
    　前記画像から欠陥候補部を抽出する抽出ステップと、
    　抽出された前記欠陥候補部を第一の欠陥判定によって選別する選別ステップと、
    　前記第一の欠陥判定によって選別された前記欠陥候補部を対象として、畳み込みニューラルネットワークを用いた第二の欠陥判定によって前記表面欠陥の有害又は無害の検出を行う検査ステップと、を含む、検査方法。
  2. 　前記第一の欠陥判定は、
    　前記画像から特徴量を抽出し、前記特徴量を用いて選別する、請求項１に記載の検査方法。
  3. 　前記第一の欠陥判定は、学習モデルを用いて選別し、
    　前記学習モデルは、任意の検査対象の表面を予め撮像した画像から抽出された特徴量を用いて、機械学習によって予め生成されたモデルである、請求項１に記載の検査方法。
  4. 　検査対象の表面欠陥の分類を行う分類方法であって、
    　前記検査対象の表面を撮像した画像を取得する撮像ステップと、
    　前記画像から欠陥候補部を抽出する抽出ステップと、
    　抽出された前記欠陥候補部を第一の欠陥判定によって選別する選別ステップと、
    　前記第一の欠陥判定によって選別された前記欠陥候補部を対象として、畳み込みニューラルネットワークを用いた第二の欠陥判定によって前記表面欠陥の種類及び等級の少なくとも一つの分類を行う分類ステップと、を含む、分類方法。
  5. 　請求項４に記載の分類方法によって分類された前記表面欠陥の種類及び等級の少なくとも一つに基づいて、前記検査対象を分類する管理ステップを含む、管理方法。
  6. 　鋼材を製造する製造ステップと、
    　請求項１から３のいずれか一項に記載の検査方法における前記検査ステップと、を含み、
    　前記検査ステップは、前記製造ステップで製造された前記鋼材を前記検査対象とする、鋼材の製造方法。
  7. 　鋼材を製造する製造ステップと、
    　請求項５に記載の管理方法における前記管理ステップと、を含み、
    　前記管理ステップは、前記製造ステップで製造された前記鋼材を前記検査対象とする、鋼材の製造方法。
  8. 　検査対象の表面欠陥の検出を行う検査方法で用いられる学習モデルの生成方法であって、
    　予め取得された検査対象の画像に対して第一の欠陥判定によって選別された欠陥候補部を入力実績データとして、前記入力実績データの有害又は無害の結果を出力実績データとする教師データを用いて、畳み込みニューラルネットワークによって前記学習モデルを生成するステップを含む、学習モデルの生成方法。
  9. 　請求項８に記載の学習モデルの生成方法によって生成される、学習モデル。
  10. 　検査対象の表面欠陥の検出又は分類を行う検査装置であって、
    　前記検査対象の表面を撮像した画像を取得する撮像装置と、
    　前記画像から欠陥候補部を抽出し、抽出された前記欠陥候補部を第一の欠陥判定によって選別し、前記第一の欠陥判定によって選別された前記欠陥候補部を対象として、畳み込みニューラルネットワークを用いた第二の欠陥判定によって前記表面欠陥の欠陥判定を行う演算装置と、を備え、
    　前記第二の欠陥判定によって行われる前記表面欠陥の欠陥判定は、前記表面欠陥の有害若しくは無害の検出、又は、前記表面欠陥の種類及び等級の少なくとも一つの分類である、検査装置。
  11. 　鋼材を製造する製造設備と、
    　請求項１０に記載の検査装置と、を備え、
    　前記検査装置は、前記製造設備で製造された前記鋼材を前記検査対象とする、鋼材の製造設備。
PCT/JP2022/024605 2021-07-08 2022-06-20 検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備 WO2023282043A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022552999A JP7459957B2 (ja) 2021-07-08 2022-06-20 検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備
CN202280044784.0A CN117597579A (zh) 2021-07-08 2022-06-20 检查方法、分类方法、管理方法、钢材的制造方法、学习模型的生成方法、学习模型、检查装置以及钢材的制造设备
KR1020237043410A KR20240008931A (ko) 2021-07-08 2022-06-20 검사 방법, 분류 방법, 관리 방법, 강재의 제조 방법, 학습 모델의 생성 방법, 학습 모델, 검사 장치 및 강재의 제조 설비
EP22837460.9A EP4361615A1 (en) 2021-07-08 2022-06-20 Inspection method, classification method, management method, steel material manufacturing method, training model generation method, training model, inspection device, and steel material manufacturing facility
BR112023027343A BR112023027343A2 (pt) 2021-07-08 2022-06-20 Método de inspeção, método de classificação, método de gerenciamento, método de produção de material de aço, método de geração de modelo de treinamento, modelo de treinamento, dispositivo de inspeção e instalação de produção de material de aço

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021113864 2021-07-08
JP2021-113864 2021-07-08

Publications (1)

Publication Number Publication Date
WO2023282043A1 true WO2023282043A1 (ja) 2023-01-12

Family

ID=84800209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024605 WO2023282043A1 (ja) 2021-07-08 2022-06-20 検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備

Country Status (6)

Country Link
EP (1) EP4361615A1 (ja)
JP (1) JP7459957B2 (ja)
KR (1) KR20240008931A (ja)
CN (1) CN117597579A (ja)
BR (1) BR112023027343A2 (ja)
WO (1) WO2023282043A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010249624A (ja) * 2009-04-15 2010-11-04 Jfe Steel Corp 走行材の表面品質判定装置および表面品質判定方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
KR20150074942A (ko) * 2013-12-24 2015-07-02 주식회사 포스코 스캡 결함 검출 장치 및 방법
WO2020175666A1 (ja) * 2019-02-28 2020-09-03 大日本印刷株式会社 カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
CN111667465A (zh) * 2020-05-22 2020-09-15 广东顺德募优网络科技有限公司 一种基于远红外图像的金属洗手盆缺陷检测方法
JP2020187657A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09257723A (ja) 1996-03-26 1997-10-03 Nkk Corp 表面検査装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010249624A (ja) * 2009-04-15 2010-11-04 Jfe Steel Corp 走行材の表面品質判定装置および表面品質判定方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
KR20150074942A (ko) * 2013-12-24 2015-07-02 주식회사 포스코 스캡 결함 검출 장치 및 방법
WO2020175666A1 (ja) * 2019-02-28 2020-09-03 大日本印刷株式会社 カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
JP2020187657A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
CN111667465A (zh) * 2020-05-22 2020-09-15 广东顺德募优网络科技有限公司 一种基于远红外图像的金属洗手盆缺陷检测方法

Also Published As

Publication number Publication date
JP7459957B2 (ja) 2024-04-02
EP4361615A1 (en) 2024-05-01
CN117597579A (zh) 2024-02-23
KR20240008931A (ko) 2024-01-19
BR112023027343A2 (pt) 2024-03-12
JPWO2023282043A1 (ja) 2023-01-12

Similar Documents

Publication Publication Date Title
US10803573B2 (en) Method for automated detection of defects in cast wheel products
Shipway et al. Automated defect detection for fluorescent penetrant inspection using random forest
CN109543760A (zh) 基于图像滤镜算法的对抗样本检测方法
Islam et al. Capsule image segmentation in pharmaceutical applications using edge-based techniques
CN114463843A (zh) 一种基于深度学习的多特征融合鱼类异常行为检测方法
TWI707299B (zh) 光學檢測二次圖像分類方法
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
KR102666787B1 (ko) 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
CN111161233A (zh) 一种用于冲孔皮革缺陷检测方法及系统
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
CN206897873U (zh) 一种基于检测产品特性的图像处理与检测系统
WO2023282043A1 (ja) 検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備
JP2020077158A (ja) 画像処理装置及び画像処理方法
Mansano et al. Inspection of metallic surfaces using local binary patterns
Wang et al. Detection of capsule foreign matter defect based on BP neural network
Niskanen et al. Experiments with SOM based inspection of wood
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
Rale et al. Comparison of different ANN techniques for automatic defect detection in X-Ray images
Xu et al. A multitarget visual attention based algorithm on crack detection of industrial explosives
CN115830403B (zh) 一种基于深度学习的自动缺陷分类系统及方法
Hernandez et al. Automated defect detection in aluminium castings and welds using neuro-fuzzy classifiers
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法
CN217332186U (zh) 木板ai视觉缺陷检测装置
Momot et al. Analysis of the influence of the threshold level of binarization on the efficiency of segmentation of images of surface defects in steel by the U-NET network
TWI745767B (zh) 光學檢測二次圖像分類方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022552999

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837460

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237043410

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237043410

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 18571253

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2301008337

Country of ref document: TH

WWE Wipo information: entry into national phase

Ref document number: 202280044784.0

Country of ref document: CN

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023027343

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: MX/A/2024/000342

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2022837460

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022837460

Country of ref document: EP

Effective date: 20240123

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112023027343

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20231222