JPWO2020031984A1 - Parts inspection method and inspection system - Google Patents

Parts inspection method and inspection system Download PDF

Info

Publication number
JPWO2020031984A1
JPWO2020031984A1 JP2020535771A JP2020535771A JPWO2020031984A1 JP WO2020031984 A1 JPWO2020031984 A1 JP WO2020031984A1 JP 2020535771 A JP2020535771 A JP 2020535771A JP 2020535771 A JP2020535771 A JP 2020535771A JP WO2020031984 A1 JPWO2020031984 A1 JP WO2020031984A1
Authority
JP
Japan
Prior art keywords
image data
inspection
model
input
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020535771A
Other languages
Japanese (ja)
Inventor
希依彦 永井
希依彦 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blue Tag
Original Assignee
Blue Tag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blue Tag filed Critical Blue Tag
Publication of JPWO2020031984A1 publication Critical patent/JPWO2020031984A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】 検査対象部品の形状が一定で定位置から撮影される画像について、不規則に現れる異常を容易に検出できる部品の検査方法及び検査システムを提供する。【解決手段】 ニューラルネットワークを用いて、正常な画像データを教師データとして読み込んでオートエンコーダを用いて機械学習させ、正常な画像データのみが正確に再構成される正常画像データのモデル（検査モデル）を構築し、その後に検査用の画像データを当該検査モデルに入力してオートエンコーダを用いて、再構成された画像データと入力された検査用の画像データとを比較して、両者が同一と見なされる範囲を超えていれば、異常と判定する検査方法及び検査システムである。【選択図】 図１PROBLEM TO BE SOLVED: To provide a component inspection method and an inspection system capable of easily detecting an abnormality appearing irregularly in an image taken from a fixed position with a constant shape of the component to be inspected. SOLUTION: A model of normal image data (check model) in which normal image data is read as teacher data using a neural network, machine learning is performed using an auto encoder, and only normal image data is accurately reconstructed. After that, the image data for inspection is input to the inspection model, and the reconstructed image data is compared with the input image data for inspection using the auto encoder, and both are the same. If it exceeds the deemed range, it is an inspection method and inspection system that determines that it is abnormal. [Selection diagram] Fig. 1

Description

本発明は、部品の検査方法に係り、特に、ほぼ同じ形状の部品を定められた位置から撮影した画像について異常を検出する部品の検査方法及び検査システムに関する。 The present invention relates to a part inspection method, and more particularly to a part inspection method and an inspection system for detecting an abnormality in an image taken from a predetermined position of a part having substantially the same shape.

［従来の技術］
従来の部品の検査方法には、撮影された画像の異常画像データを学習させて、その異常画像データと撮影された検査対象の画像データとを比較し、両者の相関によって異常を検出するものがあった。[Conventional technology]
The conventional method for inspecting parts is to learn the abnormal image data of the captured image, compare the abnormal image data with the captured image data of the inspection target, and detect the abnormality by the correlation between the two. there were.

［関連技術］
尚、関連する先行技術文献として、特開２００７−２７９０４６号公報「検査システムおよびその方法」（特許文献１）、特開２０１０−１３９３１７号公報「軸物工具表面の欠陥検査方法および装置」（特許文献２）、特開２０１３−２０５３２０号公報「検査条件決定方法、検査方法および検査装置」（特許文献３）、特開２０１７−０５４２３９号公報「画像分類装置および画像分類方法」（特許文献４）がある。[Related technology]
As related prior art documents, JP-A-2007-279046 "Inspection system and its method" (Patent Document 1) and JP-A-2010-139317 "Defect inspection method and apparatus on the surface of a shaft tool" (Patent Document 1). 2), Japanese Patent Application Laid-Open No. 2013-205320 "Inspection Condition Determination Method, Inspection Method and Inspection Device" (Patent Document 3), Japanese Patent Application Laid-Open No. 2017-054239 "Image Classification Device and Image Classification Method" (Patent Document 4). be.

特許文献１には、部品の検査システムであって、撮影したビデオ画像に基づいて参照点に対する特徴部の実際のパラメータを決定して特徴部の配置を検査することが示されている。
特許文献２には、軸物工具の表面を撮影した画像を複数に分割し、学習されているニューラルネットワークの処理部が算出した出力値に基づいて欠陥の有無を判定することが示されている。Patent Document 1 discloses a component inspection system that inspects the arrangement of a feature portion by determining an actual parameter of the feature portion with respect to a reference point based on a captured video image.
Patent Document 2 discloses that an image obtained by photographing the surface of a shaft tool is divided into a plurality of images, and the presence or absence of a defect is determined based on an output value calculated by a learning neural network processing unit.

特許文献３には、典型的な欠陥画像を分類器に学習させておき、検査対象画像の特徴量を算出し、分類器に与えることで検査条件を決定し、検査対象画像から欠陥を検出することが示されている。
特許文献４には、欠陥に対して複数の属性項目が定められ、分類器が教師データセットで学習され、対象画像に対する複数の属性項目の分類結果により欠陥クラスを決定することが示されている。In Patent Document 3, a typical defect image is trained by a classifier, the feature amount of the inspection target image is calculated, and the inspection condition is determined by giving to the classifier, and the defect is detected from the inspection target image. Is shown.
Patent Document 4 shows that a plurality of attribute items are defined for defects, a classifier is trained in a teacher data set, and a defect class is determined based on the classification results of a plurality of attribute items for a target image. ..

特開２００７−２７９０４６号公報JP-A-2007-279046 特開２０１０−１３９３１７号公報Japanese Unexamined Patent Publication No. 2010-139317 特開２０１３−２０５３２０号公報Japanese Unexamined Patent Publication No. 2013-205320 特開２０１７−０５４２３９号公報Japanese Unexamined Patent Publication No. 2017-054239

しかしながら、上記従来の検査方法では、欠陥の形状等の異常がパターン化されたものであれば、異常検出に効果的であるが、欠陥の形状や発生箇所が一定ではなく異常が不規則に発生するものであれば、異常を容易に検出できないという問題点があった。 However, the above-mentioned conventional inspection method is effective in detecting abnormalities if abnormalities such as the shape of defects are patterned, but the shape and location of defects are not constant and abnormalities occur irregularly. If it does, there is a problem that the abnormality cannot be easily detected.

特許文献１〜４では、異常箇所の特徴点を検出して部品の異常を判定するため、様々な異常箇所、異常態様を検出するのが困難なものとなっていた。 In Patent Documents 1 to 4, since the feature points of the abnormal parts are detected to determine the abnormalities of the parts, it is difficult to detect various abnormal parts and abnormal modes.

本発明は上記実状に鑑みて為されたもので、検査対象部品の形状が一定で定位置から撮影される画像について、不規則に現れる異常を容易に検出できる部品の検査方法及び検査システムを提供することを目的とする。 The present invention has been made in view of the above-mentioned actual conditions, and provides an inspection method and an inspection system for parts that can easily detect abnormalities appearing irregularly in an image taken from a fixed position with a constant shape of the parts to be inspected. The purpose is to do.

（検査方法）
上記従来例の問題点を解決するための本発明は、撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、検査装置では、正常な部品の画像データを教師データとして入力し、出力される再構成画像データが入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに検査対象として撮影された部品の画像データを入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定するものである。(Inspection methods)
The present invention for solving the above-mentioned problems of the conventional example is an inspection method in which a part is inspected by an inspection device using image data of a photographed part, and the inspection device is used to perform image data of a normal part. Is input as teacher data, model learning is performed by machine learning so that the output reconstructed image data has the same range of contents as the input teacher data, the trained model is generated as an inspection model, and the inspection model is generated. The image data of the parts taken as the inspection target is input to, the reconstructed image data is compared with the input image data, and if both are recognized as the same range, it is judged to be normal, and both are judged to be normal. If it is not recognized as the same range, it is judged as abnormal.

（ノイズ除去）
本発明は、上記検査方法において、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力するものである。(Noise removal)
In the above inspection method, the present invention is machine-learned so that noise-free image data is input as teacher data for image data of a part to be inspected, and noise-free image data is output when noise-free image data is input. The trained model is generated as a noise removal model, the image data of the parts taken as the inspection target is input to the noise removal model, and the output noise-removed image data is used as the inspection model. It is something to enter.

（平均二乗誤差で算出する検査方法）
本発明は、上記検査方法において、再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、特定の閾値を超える場合には同じ範囲と認定されないものである。(Inspection method calculated by mean square error)
In the above inspection method, the present invention performs an operation of comparing the reconstructed image data with the input image data with a mean square error, and when the calculated value is within a specific threshold value, the same range is applied. If it is certified and exceeds a specific threshold, it is not certified as the same range.

（小地域分割の検査方法）
本発明は、上記検査方法において、教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも複数の小画像に分割して、分割された画像データ毎に入力し、再構成された画像データと入力された画像データとの比較を行うものである。(Inspection method for subregional division)
In the above inspection method, the present invention divides the teacher data into a plurality of small images and performs model learning, and also divides the image data of the parts photographed as the inspection target into a plurality of small images and divides the image data. It is input for each time, and the reconstructed image data is compared with the input image data.

（オートエンコーダ／ＧＡＮ）
本発明は、上記検査方法において、モデル学習では、オートエンコーダ又はＧＡＮのＡＩモデルを用いて行うものである。(Autoencoder / GAN)
According to the present invention, in the above inspection method, model learning is performed using an autoencoder or an AI model of GAN.

（ノイズ除去とＬＢＰの欠陥画像検出）
本発明は、撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定するものである。(Noise removal and LBP defect image detection)
The present invention is an inspection method in which a part is inspected by an inspection device using the image data of the photographed part, and noise-free image data is input as teacher data for the image data of the part to be inspected. Model learning is performed by machine learning so that when image data with noise is input, image data without noise is output, the trained model is generated as a noise removal model, and the parts photographed by the noise removal model as inspection targets. With respect to the image data from which the image data of the above is input and the output noise is removed, the defective portion is estimated by comparing the LBP values in the image data using the image processing of LBP.

（検査システム）
本発明は、撮影され部品の画像データを用いて、部品の検査を行う検査システムであって、正常な部品の画像データを教師データとして記憶する教師データ記憶部と、検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、教師データ記憶部から教師データを入力し、出力される再構成画像データが入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに画像データ記憶部からの画像データを入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定する制御部とを備える検査装置を有するものである。(Inspection system)
The present invention is an inspection system that inspects a part using image data of a photographed part, a teacher data storage unit that stores image data of a normal part as teacher data, and a part photographed as an inspection target. Model learning by machine learning so that the image data storage unit that stores the image data of the above and the teacher data from the teacher data storage unit input the teacher data and the output reconstructed image data has the same range as the input teacher data. Then, the trained model is generated as an inspection model, the image data from the image data storage unit is input to the inspection model, the reconstructed image data is compared with the input image data, and both are the same. It has an inspection device including a control unit that determines that the range is normal and that the two are not identified as abnormal if they are determined to be in the same range.

（ノイズ除去）
本発明は、上記検査システムにおいて、教師データ記憶部には、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして記憶しており、制御部が、教師データ記憶部からノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに画像データ記憶部からの検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力するものである。(Noise removal)
In the above inspection system, in the above inspection system, the teacher data storage unit stores noise-free image data as teacher data for the image data of the component to be inspected, and the control unit receives noise from the teacher data storage unit. Model learning is performed by machine learning so that no image data is input as teacher data, noise-free image data is output when noisy image data is input, the trained model is generated as a noise removal model, and the noise is generated. The image data of the parts taken as the inspection target from the image data storage unit is input to the removal model, and the output noise-removed image data is input to the inspection model.

（平均二乗誤差で算出する検査システム）
本発明は、上記検査システムにおいて、制御部が、再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、特定の閾値を超える場合には同じ範囲と認定されないものである。(Inspection system calculated by mean square error)
In the above inspection system, the control unit performs an operation of comparing the reconstructed image data with the input image data with a mean square error, and the calculated value is within a specific threshold value. Is recognized as the same range, and if it exceeds a specific threshold, it is not recognized as the same range.

（小地域分割の検査システム）
本発明は、上記検査システムにおいて、制御部が、教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも複数の小画像に分割して、分割された画像データ毎に入力し、再構成された画像データと入力された画像データとの比較を行うものである。(Inspection system for subregional division)
In the above inspection system, in the above inspection system, the control unit divides the teacher data into a plurality of small images and performs model learning, and also divides the image data of the parts photographed as the inspection target into a plurality of small images and divides the data. It is input for each image data that has been input, and the reconstructed image data is compared with the input image data.

（オートエンコーダ／ＧＡＮ）
本発明は、上記検査システムにおいて、モデル学習には、オートエンコーダ又はＧＡＮのＡＩモデルを用いたものである。(Autoencoder / GAN)
According to the present invention, in the above inspection system, an autoencoder or an AI model of GAN is used for model learning.

（ノイズ除去とＬＢＰの欠陥画像検出システム）
本発明は、撮影された部品の画像データを用いて、部品の検査を行う検査システムであって、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして記憶する教師データ記憶部と、検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、教師データ記憶部からノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する制御部とを備える検査装置を有するものである。(Noise removal and LBP defect image detection system)
The present invention is an inspection system that inspects a part by using the image data of the photographed part, and is a teacher data storage unit that stores noise-free image data as teacher data for the image data of the part to be inspected. When the image data storage unit that stores the image data of the parts taken as the inspection target and the teacher data storage unit input noise-free image data as teacher data and input the noisy image data, the noise-free image Model learning is performed by machine learning so that the data is output, the trained model is generated as a noise removal model, the image data of the part taken as the inspection target is input to the noise removal model, and the output noise is output. It has an inspection device including a control unit that estimates a defective portion by comparing LBP values in the image data using LBP image processing for the removed image data.

本発明によれば、検査装置が、正常な部品の画像データを教師データとして入力し、出力される再構成画像データが入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに検査対象として撮影された部品の画像データを入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定する検査方法としているので、定位置で撮影される画像データについて不規則に現れる異常を容易に検出できる効果がある。 According to the present invention, the inspection device inputs image data of normal parts as teacher data, and performs model learning by machine learning so that the output reconstructed image data has the same range of contents as the input teacher data. Then, the trained model is generated as an inspection model, the image data of the parts taken as the inspection target is input to the inspection model, the reconstructed image data is compared with the input image data, and both are used. If the data is recognized as the same range, it is judged as normal, and if both are not recognized as the same range, it is judged as an abnormality. It has a detectable effect.

本発明によれば、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力する上記検査方法としているので、検査モデルに入力される前の画像データからノイズを除去でき、異常な画像の検出精度を向上させることができる効果がある。 According to the present invention, for the image data of the component to be inspected, model learning by machine learning is performed so that noise-free image data is input as teacher data, and noise-free image data is output when noise-free image data is input. To generate the trained model as a noise removal model, input the image data of the parts taken as the inspection target to the noise removal model, and input the output noise-removed image data to the inspection model. Since it is an inspection method, noise can be removed from the image data before it is input to the inspection model, and there is an effect that the detection accuracy of an abnormal image can be improved.

本システムの構成ブロック図である。It is a block diagram of the structure of this system. ＡＩ利用の概略図である。It is a schematic diagram of AI utilization. オートエンコーダの概略図である。It is a schematic diagram of an autoencoder. オートエンコーダを用いた画像処理の概略図である。It is the schematic of the image processing using an autoencoder. 検査処理のフローチャートである。It is a flowchart of an inspection process. 本システムの応用例の概略図である。It is the schematic of the application example of this system.

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る部品の検査方法（本検査方法）は、ニューラルネットワークを用いて、正常な画像データを教師データとして読み込んでオートエンコーダを用いて機械学習させて正常画像データのモデル（検査モデル）を構築し、その後に検査用の画像データを当該検査モデルに入力してオートエンコーダを用いて、再構成された画像データと入力された検査用の画像データとを比較して、両者が同一と見なされる範囲を超えていれば、異常と判定するものであり、定位置で撮影される画像データについて不規則に現れる異常を容易に検出できるものである。Embodiments of the present invention will be described with reference to the drawings.
[Outline of Embodiment]
The component inspection method (the present inspection method) according to the embodiment of the present invention uses a neural network to read normal image data as teacher data and machine-learns it using an autoencoder to model normal image data (this inspection method). (Inspection model) is constructed, and then the image data for inspection is input to the inspection model, and the reconstructed image data is compared with the input image data for inspection using the autoencoder, and both are used. If is beyond the range considered to be the same, it is determined to be abnormal, and abnormalities appearing irregularly in the image data taken at a fixed position can be easily detected.

［本システム：図１］
本発明の実施の形態に係る検査システム（本システム）について図１を参照しながら説明する。図１は、本システムの構成ブロック図である。
本システムは、図１に示すように、検査装置１と、表示部２と、入力部３と、画像撮影装置４とを備えている。
本システムでは、画像撮影装置４で撮影された画像データを検査装置１に取り込み、画像データの異常を検出する処理を行うものである。[This system: Fig. 1]
The inspection system (this system) according to the embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram of the configuration of this system.
As shown in FIG. 1, this system includes an inspection device 1, a display unit 2, an input unit 3, and an image capturing device 4.
In this system, the image data captured by the image capturing device 4 is taken into the inspection device 1 and a process of detecting an abnormality in the image data is performed.

［本システムの各部］
本システムの各部について具体的に説明する。
［検査装置１］
検査装置１は、制御部１１と、記憶装置１２と、インタフェース部１３とを備えている。
制御部１１は、記憶装置１２に記憶された処理プログラムを読み込んで検査処理を実行する。具体的な検査処理は後述する。[Each part of this system]
Each part of this system will be described in detail.
[Inspection device 1]
The inspection device 1 includes a control unit 11, a storage device 12, and an interface unit 13.
The control unit 11 reads the processing program stored in the storage device 12 and executes the inspection process. The specific inspection process will be described later.

記憶装置１２は、処理プログラムを記憶する。
また、記憶装置１２は、画像撮影装置４で撮影された画像データを記憶する画像データ記憶部１２１と、正常な画像データを教師データとして記憶する教師データ記憶部１２２と、検査結果のデータを記憶する検査結果データ記憶部１２３とを備えている。The storage device 12 stores the processing program.
Further, the storage device 12 stores an image data storage unit 121 that stores image data captured by the image capturing device 4, a teacher data storage unit 122 that stores normal image data as teacher data, and inspection result data. It is provided with an inspection result data storage unit 123.

インタフェース部１３は、表示部２、入力部３、画像撮影装置４、更にネットワークに接続するインタフェースである。 The interface unit 13 is an interface connected to a display unit 2, an input unit 3, an image capturing device 4, and a network.

［表示部２，入力部３］
表示部２は、画像撮影装置４で撮影された画像データを表示し、検査過程、検査結果を表示する。
入力部３は、本システムにおける処理の指示を入力する。[Display unit 2, input unit 3]
The display unit 2 displays the image data captured by the image capturing device 4, and displays the inspection process and the inspection result.
The input unit 3 inputs an instruction for processing in this system.

［画像撮影装置４］
画像撮影装置４は、部品を定位置で複数箇所から撮影し、撮影した画像データを検査装置１に出力する。画像撮影装置４として、例えば、Ｘ線で撮影する装置を想定している。また、検査用の部品としては、形状が一定で表面が滑らかな部品を想定している。尚、検査内容としては、部品内部の空洞等の欠陥や表面の微細なキズ等を検出するものである。[Image capturing device 4]
The image capturing device 4 photographs the parts at a fixed position from a plurality of locations, and outputs the captured image data to the inspection device 1. As the image capturing device 4, for example, a device that captures images with X-rays is assumed. Further, as the inspection parts, it is assumed that the parts have a constant shape and a smooth surface. The inspection content is to detect defects such as cavities inside parts and minute scratches on the surface.

［ＡＩ利用の概略：図２］
次に、検査装置１におけるＡＩ利用の概略について図２を参照しながら説明する。図２は、ＡＩ利用の概略図である。
図２に示すように、ＡＩ利用では、学習フェーズと推論フェーズがある。[Outline of AI usage: Fig. 2]
Next, the outline of AI utilization in the inspection device 1 will be described with reference to FIG. FIG. 2 is a schematic diagram of AI utilization.
As shown in FIG. 2, AI utilization has a learning phase and an inference phase.

学習フェーズで、検査済の正常と判定された画像データを学習用データ（教師データ）セットとして用いてモデル学習を行い、学習済モデル（検査モデル）を生成する。このモデル学習では、オートエンコーダを用いて機械学習を行って、正常な画像データは正しく復元できるが、異常な画像データは正しく復元できないように学習させる。 In the learning phase, model learning is performed using the image data determined to be normal that has been inspected as a learning data (teacher data) set, and a learned model (inspection model) is generated. In this model learning, machine learning is performed using an autoencoder so that normal image data can be restored correctly, but abnormal image data cannot be restored correctly.

そして、推論フェーズで、検査用に撮影された画像データを入力データとして、学習済モデル（検査モデル）に入力して、その出力データが入力データと同一の範囲内にあれば、「正常」と判定し、同一の範囲内になければ「異常」と判定するものである。 Then, in the inference phase, the image data taken for inspection is input to the trained model (check model) as input data, and if the output data is within the same range as the input data, it is regarded as "normal". Judgment is made, and if it is not within the same range, it is judged as "abnormal".

［処理概略］
次に、本システムにおける処理動作の概略を説明する。
本システムの検査装置１では、以下に説明する機械学習によって検査モデルを生成し、検査対象の撮影された画像データ（入力画像データ）をその検査モデルに入力して、得られた出力画像データと入力画像データを比較して、入力画像データの正常／異常を判定して検査を行うものである。[Processing outline]
Next, the outline of the processing operation in this system will be described.
In the inspection device 1 of this system, an inspection model is generated by the machine learning described below, the photographed image data (input image data) of the inspection target is input to the inspection model, and the output image data obtained and the inspection model are obtained. The input image data is compared, and the normality / abnormality of the input image data is determined and inspected.

具体的には、本システムの検査装置１は、正常な画像データを教師データとして予め読み込んで、深層学習のニューラルネットワーク（ＤＮＮ：Deep Neural Network）の一種であるオートエンコーダ（Auto Encoder）に正常な画像データを入力して、輝度マッピング表示等の画像処理を行って符号化し、圧縮表現し、復号化（復元）して再生画像データを生成し、正常な画像データ（入力データ）と再生画像データ（出力データ）とが同じ画像データとなるよう学習させて学習済モデル（検査モデル／ＡＩモデル）を生成（構築）する。
ここで、正常な画像データは、画像撮影装置４で撮影された１枚の画像全体としているが、その画像の特定の一部の画像部分を対象にしてもよい。Specifically, the inspection device 1 of this system reads normal image data as teacher data in advance, and is normal to an auto encoder (Auto Encoder) which is a kind of deep learning neural network (DNN). Image data is input, image processing such as brightness mapping display is performed, encoded, compressed and expressed, decoded (restored) to generate reproduced image data, and normal image data (input data) and reproduced image data. A trained model (inspection model / AI model) is generated (constructed) by training so that the (output data) is the same image data.
Here, the normal image data is the entire image taken by the image capturing device 4, but a specific part of the image portion of the image may be targeted.

当該検査モデルは、正常な画像群を用いて、同じ位置にある画像の領域は性質が似ていることを利用して、正常な画像の特徴量を取り出すように深層学習のＤＮＮを用いてオートエンコーダを構築する。
これにより、当該検査モデルに正常な画像データが入力されれば、同じ正常な画像データが出力されるが、正常ではない画像データ（異常な画像データ）が入力されると、同じ画像データは出力されないようにしたものである。The check model uses a normal image group and uses the fact that the regions of the images at the same position have similar properties, so that the features of the normal image can be extracted using deep learning DNN. Build an encoder.
As a result, if normal image data is input to the inspection model, the same normal image data is output, but if abnormal image data (abnormal image data) is input, the same image data is output. It is something that is not done.

そして、検査装置１は、上記の特徴を備えた検査モデルに、検査対象の撮影された画像データ（入力画像データ）を画像データ記憶部１２１から入力し、得られた出力画像データと入力画像データとを比較し、同一の画像データとみなされる範囲であれば、当該画像の検査部品を正常と判定し、同一の画像データとみなされる範囲でなければ、当該画像の検査部品を異常と判定するものである。 Then, the inspection device 1 inputs the photographed image data (input image data) of the inspection target into the inspection model having the above characteristics from the image data storage unit 121, and obtains the output image data and the input image data. If it is within the range considered to be the same image data, the inspection part of the image is judged to be normal, and if it is not within the range considered to be the same image data, the inspection part of the image is judged to be abnormal. It is a thing.

［オートエンコーダの概略：図３］
次に、オートエンコーダについて図３を参照しながら説明する。図３は、オートエンコーダの概略図である。
図３に示すように、オリジナル（Original）の画像データｘが入力部（Input）に入力されると、関数ｆ（ｘ）で符号化（Encode）し、符号化された符号化データｈを関数ｇ（ｈ）で復号化（Decode）して出力部（Output）から再構成（Reconstruct）画像データｘ´を得る。[Outline of autoencoder: Fig. 3]
Next, the autoencoder will be described with reference to FIG. FIG. 3 is a schematic view of the autoencoder.
As shown in FIG. 3, when the original image data x is input to the input unit (Input), it is encoded (Encoded) by the function f (x), and the encoded data h is used as a function. Decode with g (h) to obtain Reconstruct image data x'from the output.

本システムの検査装置１では、オリジナルの画像データと再構成画像データｘ´を比較して、両者の差分の値が特定の閾値以下であれば、同じ画像（正常な画像）と判定し、差分の値が特定の閾値を超えていれば、別の画像（異常な画像）と判定する。
尚、本システムのオートエンコーダでは、正常なオリジナルの画像データであれば、再構成画像データｘ´が同じと判定されるよう深層学習させて検査モデルを生成している。The inspection device 1 of this system compares the original image data and the reconstructed image data x', and if the value of the difference between the two is equal to or less than a specific threshold value, it is determined that the image is the same (normal image), and the difference is obtained. If the value of exceeds a specific threshold value, it is determined to be another image (abnormal image).
In the autoencoder of this system, if it is normal original image data, deep learning is performed so that the reconstructed image data x'is determined to be the same, and an inspection model is generated.

［オートエンコーダを用いた画像処理の概略：図４］
次に、オートエンコーダを用いた画像処理について図４を参照しながら説明する。図４は、オートエンコーダを用いた画像処理の概略図である。
本システムの検査装置１におけるオートエンコーダでは、図４に示すように、オリジナル画像（輝度マッピング表示等の画像処理が為された画像）を符号化して圧縮表現し、それを復元して再構成画像を出力する。[Outline of image processing using an autoencoder: Fig. 4]
Next, image processing using the autoencoder will be described with reference to FIG. FIG. 4 is a schematic diagram of image processing using an autoencoder.
As shown in FIG. 4, the autoencoder in the inspection device 1 of this system encodes and compresses the original image (an image processed by image processing such as luminance mapping display), restores it, and reconstructs the image. Is output.

ここで、本システムのオートエンコーダは、正常なオリジナル画像データを教師データとして数多く読み込んで学習させ、正常なオリジナル画像データであれば、オリジナル画像データと再構成画像データとの差分の値が、両画像を同じと見なすことができる範囲となるよう深層学習されている。 Here, the auto encoder of this system reads a lot of normal original image data as teacher data and trains them, and if it is normal original image data, the difference value between the original image data and the reconstructed image data is both. Deep learning is done so that the images can be regarded as the same.

つまり、本システムの検査モデルでは、入力と出力の画像データの差分が同一と見なされる範囲内（差分が特定の閾値以下）であれば、正常な画像データと判定し、同一と見なされる範囲（差分が特定の閾値）を超えて同一と見なされないものになると、異常な画像データと判定するものである。 In other words, in the inspection model of this system, if the difference between the input and output image data is within the range considered to be the same (the difference is less than or equal to a specific threshold value), it is judged as normal image data and the range considered to be the same ( When the difference exceeds a specific threshold value and is not regarded as the same, it is determined as abnormal image data.

オリジナル画像と再構成画像との違いを定量的に把握するために、両画像の相違として再構成エラー値を算出する。演算される再構成エラー値は、ＭＳＥ（Mean Square Error：平均二乗誤差）を用いて算出し、特定の閾値以内である場合に、誤差が少なく同一の画像とみなし、特定の閾値を超える場合に、誤差が大きく同一の画像とはみなさない判定を行うものである。 In order to quantitatively grasp the difference between the original image and the reconstructed image, the reconstructed error value is calculated as the difference between the two images. The calculated reconstruction error value is calculated using MSE (Mean Square Error), and if it is within a specific threshold value, it is regarded as the same image with little error, and if it exceeds a specific threshold value. , The error is large and it is determined that the images are not regarded as the same image.

［検査対象の画像データの検査処理：図５］
次に、検査対象の画像データの検査処理について図５を参照しながら説明する。図５は、検査処理のフローチャートである。
検査装置１の制御部１１が、当該検査モデルに検査対象として撮影した画像データを入力し（Ｓ１）、検査モデルから出力された画像データを取得する（Ｓ２）。[Inspection process of image data to be inspected: Fig. 5]
Next, the inspection process of the image data to be inspected will be described with reference to FIG. FIG. 5 is a flowchart of the inspection process.
The control unit 11 of the inspection device 1 inputs the image data taken as an inspection target into the inspection model (S1), and acquires the image data output from the inspection model (S2).

そして、入力された画像データと出力される画像データとを比較し（Ｓ３）、両者が同一の範囲内かどうかを判定し（Ｓ４）、同一の範囲内と判定されれば（Ｙｅｓの場合）、正常な画像データであると判定し、「正常」の検査結果を検査結果データ記憶部１２３に出力して記憶させる（Ｓ５）。 Then, the input image data and the output image data are compared (S3), it is determined whether they are within the same range (S4), and if it is determined that they are within the same range (in the case of Yes). , It is determined that the image data is normal, and the "normal" inspection result is output to the inspection result data storage unit 123 and stored (S5).

また、同一の範囲内と判定されなければ（Ｎｏの場合）、異常な画像データであると判定し、「異常」の検査結果を検査結果データ記憶部１２３に出力して記憶させ（Ｓ６）、処理を終了する。 If it is not determined to be within the same range (No), it is determined that the image data is abnormal, and the inspection result of "abnormality" is output to the inspection result data storage unit 123 and stored (S6). End the process.

［異常個所の検出］
以上の検査方法では、異常がある画像データを判別できるものではあるが、その異常のある画像データのどの場所（位置）に異常があるのかまでは特定していない。
異常箇所を特定するために、異常箇所が判明しているサンプルの異常な画像データを画像データ記憶部１２１に記憶し、検査対象の画像データで異常と判定された画像データとサンプルの画像データとの相関を演算し、相関の高いサンプル画像データから異常箇所を推定するようにしてもよい。例えば、何番目のピクセルが異常の原因となっているかを突き止めることができる。[Detection of abnormal parts]
Although the above inspection method can identify abnormal image data, it does not specify which location (position) of the abnormal image data has an abnormality.
In order to identify the abnormal part, the abnormal image data of the sample in which the abnormal part is known is stored in the image data storage unit 121, and the image data determined to be abnormal in the image data to be inspected and the image data of the sample It is also possible to calculate the correlation of the above and estimate the abnormal part from the sample image data having a high correlation. For example, it is possible to determine which pixel is causing the anomaly.

また、オリジナル画像からノイズを除去し、オリジナル画像を小領域のグリッドに分割し、その小領域毎にオートエンコーダを用いてモデル学習を行い、当該モデル学習で生成された検査モデルで、検査対象として分割された画像データ毎に異常検出処理を行って異常箇所を小地域単位で特定するようにしてもよい。 In addition, noise is removed from the original image, the original image is divided into a grid of small areas, model learning is performed for each small area using an autoencoder, and the inspection model generated by the model learning is used as an inspection target. Anomaly detection processing may be performed for each of the divided image data to identify the anomaly location in subregion units.

［応用例：図６］
本システムの応用例１について図６を参照しながら説明する。図６は、本システムの応用例の概略図である。
本システムでは、正常な画像データを教師データとしてオートエンコーダで学習させ、正常な画像データを再構成させるＡＩモデル（検査モデル）を構築し、検査用の画像データをそのＡＩモデルに入力し、出力画像データと入力画像データが同一の範囲内になければ、検査用の画像データを異常と判断するものであるが、応用例では、図６に示すように、検査用の画像データに対してノイズ除去の前処理を行うノイズ除去手段２１と、ノイズ除去された画像データから欠陥画像を検知する欠陥画像検知手段２２と、欠陥画像検出手段２３とを備えている。[Application example: Fig. 6]
Application example 1 of this system will be described with reference to FIG. FIG. 6 is a schematic view of an application example of this system.
In this system, normal image data is trained as teacher data by an auto encoder, an AI model (inspection model) that reconstructs normal image data is constructed, and image data for inspection is input to the AI model and output. If the image data and the input image data are not within the same range, the image data for inspection is judged to be abnormal. However, in the application example, as shown in FIG. 6, noise is generated with respect to the image data for inspection. It includes a noise removing means 21 that preprocesses the removal, a defect image detecting means 22 that detects a defective image from the noise-removed image data, and a defective image detecting means 23.

図６におけるノイズ除去手段２１、欠陥画像検知手段２２と欠陥画像検出手段２３は、図１の検査装置１の制御部１１が処理プログラムを実行することで実現される。
また、欠陥画像検知手段２２におけるオートエンコーダ（Auto Encoder）２２ａ、ＧＡＮ（Generative Adversarial Network）２２ｂは、両方を備えていてもよいが、いずれか一つを備えているものであってもよい。
また、欠陥画像検知手段２２と欠陥画像検出手段２３の双方を備えていてもよいが、欠陥画像検知手段２２又は欠陥画像検出手段２３のいずれかを備えるようにしてもよい。The noise removing means 21, the defect image detecting means 22, and the defect image detecting means 23 in FIG. 6 are realized by the control unit 11 of the inspection device 1 of FIG. 1 executing a processing program.
Further, the autoencoder 22a and the GAN (Generative Adversarial Network) 22b in the defect image detecting means 22 may be provided with both, but may be provided with any one of them.
Further, both the defective image detecting means 22 and the defective image detecting means 23 may be provided, but either the defective image detecting means 22 or the defective image detecting means 23 may be provided.

［ノイズ除去手段２１］
検査用の画像データにおけるノイズと欠陥部が似ているため、ノイズを除去することは、本システムにおける検査の精度を向上させる上で非常に重要である。
具体的には、３次元ＣＡＤ（３ＤＣＡＤ：3 Dimensional Computer Aided Design）データを用いて理想状態の正常な２次元画像データ（ノイズなし画像データ）を作成する。
この２次元画像データを教師データとしてニューラルネットワーク（ＡＩモデル／ノイズ除去モデル）に学習させる。
教師データとしてのノイズなし画像データは、図１の検査装置１の教師データ記憶部１２２に記憶させておく。[Noise Removal Means 21]
Since the noise and the defect portion in the image data for inspection are similar to each other, it is very important to remove the noise in order to improve the accuracy of inspection in this system.
Specifically, normal two-dimensional image data (noise-free image data) in an ideal state is created using three-dimensional CAD (3D CAD: 3 Dimensional Computer Aided Design) data.
This two-dimensional image data is trained by a neural network (AI model / noise removal model) as teacher data.
The noise-free image data as the teacher data is stored in the teacher data storage unit 122 of the inspection device 1 of FIG.

そして、ノイズありの２次元画像データを用意して画像データ記憶部１２１に記憶させておき、それらノイズありの画像データを使用して、ノイズありの画像データを入力すると、ノイズなしの画像データが出力されるノイズ除去モデルを構築する。
このノイズ除去モデルがノイズ除去手段２１である。
これにより、検査用の画像データをノイズ除去モデル（ノイズ除去手段２１）に入力すると、ノイズが除去された出力画像データが得られ、ノイズ除去された画像データを欠陥画像検知手段２２に入力する。Then, when two-dimensional image data with noise is prepared and stored in the image data storage unit 121, and the image data with noise is input using the image data with noise, the image data without noise is obtained. Build an output noise removal model.
This noise removing model is the noise removing means 21.
As a result, when the image data for inspection is input to the noise removing model (noise removing means 21), the output image data from which the noise is removed is obtained, and the noise-removed image data is input to the defect image detecting means 22.

ノイズ除去モデルには、例えば、ＧＡＮ（Generative Adversarial Network）を用いて構築する。尚、ＧＡＮ以外のＡＩアルゴリズムを用いても構わない。
ＧＡＮは、敵対的生成ネットワークと言われ、教師なし学習で使用されるＡＩアルゴリズムの一種であり、ゼロサムゲームフレームワークで互いに競合する２つのニューラルネットワークのシステムによって実装される。For the noise removal model, for example, GAN (Generative Adversarial Network) is used. An AI algorithm other than GAN may be used.
GAN, referred to as a hostile generation network, is a type of AI algorithm used in unsupervised learning and is implemented by a system of two neural networks competing with each other in a zero-sum game framework.

ＧＡＮは、生成ネットワーク（generator）と識別ネットワーク（discriminator）の２つのネットワークから構成され、画像生成の生成側がイメージを出力し、識別側がその正否を判定し、更に、生成側は識別側を欺くように学習し、識別側はより正確に識別しようと学習する。このように２つのネットワークが相反した目的で学習するため「敵対的」と称される。 GAN is composed of two networks, a generator and a discriminator. The generator of image generation outputs an image, the discriminator judges the correctness, and the generator deceives the discriminator. The discriminator learns to discriminate more accurately. Since the two networks learn for opposite purposes in this way, they are called "hostile".

ノイズ除去手段２１は、欠陥に近いノイズが厄介な存在であるため、欠陥を検知する前の画像処理として、ノイズだけを除去するのにＡＩを活用したものである。
ＡＩを利用する理由は、第１に、３ＤＣＡＤデータを２次元化したものを理想的な教師データとして活用でき、第２に、画像処理は画像全体に掛ける平滑化フィルタであるため、画像由来と欠陥由来を区別しないが、ＡＩは学習過程でノイズ由来のものだけを取り除けるためである。Since noise close to a defect is a troublesome existence, the noise removing means 21 utilizes AI to remove only the noise as image processing before detecting the defect.
The reason for using AI is that, firstly, the two-dimensional version of 3D CAD data can be used as ideal teacher data, and secondly, the image processing is a smoothing filter that is applied to the entire image, so it is derived from the image. This is because AI can remove only noise-derived data in the learning process, although it does not distinguish between defect-derived data.

［欠陥画像検知手段２２］
欠陥画像検知手段２２は、ノイズ除去手段２１からのノイズを除去された画像データを入力し、オートエンコーダ２２ａ又はＧＡＮ２２ｂを用いて入力画像データに欠陥があるのか否かを判定し、正常／異常の画像を検知した結果を出力し、検査結果データ記憶部１２３に記憶する。
オートエンコーダ２２ａでの処理は、上述した本システムにおける図１〜５に示したものとなる。[Defective image detecting means 22]
The defect image detecting means 22 inputs the image data from which the noise has been removed from the noise removing means 21, determines whether or not the input image data has a defect by using the auto encoder 22a or GAN22b, and determines whether the input image data is normal / abnormal. The result of detecting the image is output and stored in the inspection result data storage unit 123.
The processing by the autoencoder 22a is as shown in FIGS. 1 to 5 in the above-mentioned system.

ＧＡＮ２２ｂは、具体的には、正常な画像データを教師データとしてＧＡＮのＡＩモデル（欠陥画像検知モデル）に学習させる。
そして、異常な画像データを使用して、それら異常な画像データを入力すると、正常な画像データが出力されるＡＩモデル（ＧＡＮ２２ｂ）を構築する。Specifically, the GAN22b trains the AI model (defect image detection model) of the GAN using normal image data as teacher data.
Then, when the abnormal image data is input and the abnormal image data is input, an AI model (GAN22b) that outputs the normal image data is constructed.

これにより、ノイズが除去された画像データを欠陥画像検知手段２２のＧＡＮ２２ｂに入力すると、正常な出力画像データが得られ、入力画像データと出力画像データとを比較し、両データが同一の範囲内か否かを判定し、同一の範囲内であれば正常な画像データと判定し、同一の範囲内でなければ、異常な画像データと判定するものである。
同一の範囲内か否かの判定手法は、本システムの図４で説明したものと同様である。As a result, when the image data from which noise has been removed is input to the GAN22b of the defective image detecting means 22, normal output image data is obtained, the input image data and the output image data are compared, and both data are within the same range. Whether or not it is determined, if it is within the same range, it is determined as normal image data, and if it is not within the same range, it is determined as abnormal image data.
The method for determining whether or not they are within the same range is the same as that described with reference to FIG. 4 of this system.

また、欠陥画像検知手段２２は、画像データを一定数の画素（ピクセル）、例えば、３×３のピクセルの小領域の画像に分割し、その小領域毎に検知処理を行えば、異常箇所を特定できる。
この場合、欠陥画像検知手段２２内で、オートエンコーダ２２ａ又はＧＡＮ２２ｂに画像データを入力する前段に小領域の画像に分割する分割手段を設けるものとする。Further, the defect image detecting means 22 divides the image data into an image of a small area of a certain number of pixels (pixels), for example, 3 × 3 pixels, and performs detection processing for each small area to detect an abnormal portion. Can be identified.
In this case, in the defect image detecting means 22, a dividing means for dividing into a small area image is provided before inputting image data to the autoencoder 22a or GAN22b.

［欠陥画像検出手段２３］
欠陥画像検出手段２３は、ノイズ除去手段２１からのノイズを除去された画像データを入力し、ＬＢＰ（Local Binary Pattern）２３ａを用いて入力画像データにおける欠陥部位があるのか否かを判定し、正常／異常の画像を検出した結果を出力し、検査結果データ記憶部１２３に記憶する。[Defective image detecting means 23]
The defect image detecting means 23 inputs the image data from which the noise has been removed from the noise removing means 21, determines whether or not there is a defect portion in the input image data using the LBP (Local Binary Pattern) 23a, and is normal. / The result of detecting an abnormal image is output and stored in the inspection result data storage unit 123.

ＬＢＰ２３ａは、中心画素と周辺画素の画素値の関係性を元に算出される３×３の画素単位の特徴量（ＬＢＰ値）を用い、画像データにおける他の３×３画素のＬＢＰ値と一定方向（例えば、横方向）に比較していき、正常部位が圧倒的に広範囲であることから、周辺のＬＢＰ値と大きく異なる場合、欠陥箇所と推定するものである。 The LBP23a uses a feature amount (LBP value) in units of 3 × 3 pixels calculated based on the relationship between the pixel values of the central pixel and the peripheral pixels, and is constant with the LBP value of other 3 × 3 pixels in the image data. Compared with the direction (for example, the lateral direction), since the normal part is overwhelmingly wide, if it is significantly different from the surrounding LBP value, it is presumed to be a defective part.

欠陥箇所と推定するための周囲のＬＢＰ値との相違は、例えば、画像データで得られるＬＰＢ値の平均等を基にしきい値を設定し、当該しきい値を超えた場合に、欠陥箇所と判定するものである。 The difference between the defect location and the surrounding LBP value for estimation is that, for example, a threshold value is set based on the average of LPB values obtained from image data, and when the threshold value is exceeded, the defect location and the surrounding LBP value are different. It is a judgment.

［別のシステム］
次に、別の実施の形態に係る検査システム（別のシステム）について説明する。
別のシステムでは、欠陥画像データを教師データとしてＡＩモデルに学習させ、検査対象の画像データを入力すると、欠陥画像データか否かを推論するものである。
そのためには、教師データとなる欠陥の画像データを大量に必要になるが、本システムで得られる欠陥画像データは少なく、別のシステムを実現できない。[Another system]
Next, an inspection system (another system) according to another embodiment will be described.
In another system, the AI model is trained with the defective image data as teacher data, and when the image data to be inspected is input, it is inferred whether or not the defective image data is defective.
For that purpose, a large amount of defect image data as teacher data is required, but the defect image data obtained by this system is small, and another system cannot be realized.

そこで、別のシステムでは、ＡＩを用いて欠陥画像データに似た特徴を持つ「欠陥擬似画像データ」を多くのバリエーションをもって生成する。
例えば、欠陥擬似画像データの生成に、ＧＡＮを用いる。具体的には、本物の欠陥画像データから特徴を抽出し、抽出した特徴に共通する特徴を有する欠陥擬似画像データを変化させながら大量に生成する。Therefore, in another system, AI is used to generate "defect pseudo-image data" having characteristics similar to the defect image data with many variations.
For example, GAN is used to generate defect pseudo-image data. Specifically, features are extracted from real defect image data, and a large amount of defect pseudo-image data having features common to the extracted features is generated while being changed.

そして、大量に生成した欠陥擬似画像データを教師データとして、ニューラルネットワークに学習させ、欠陥画像検出のＡＩモデル（欠陥画像検出モデル）を構築する。
この欠陥画像検出モデルには、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）を想定しており、学習済みモデルに検査対象の画像データを入力すると、画像データにおける欠陥箇所を探知するものである。Then, a large amount of generated defect pseudo-image data is used as teacher data to be trained by a neural network to construct an AI model (defect image detection model) for defect image detection.
CNN (Convolutional Neural Network) is assumed as this defect image detection model, and when the image data to be inspected is input to the trained model, the defect portion in the image data is detected.

別のシステムでは、欠陥擬似画像データを生成するためには、本物の欠陥画像データを収集する必要がある。本システムとの関係では、欠陥画像検知手段２２又は欠陥画像検出２３で本物の欠陥画像データを検知又は検出して収集し、特定の量の欠陥画像データが収集されたら、別システムに移行して処理を行うことが考えられる。
つまり、特定の量の欠陥画像データが蓄積されるまでは、本システムを動作し、その後、別のシステムに切り替えるようにする。切り替えは、プログラム処理により自動化してもよい。In another system, it is necessary to collect real defect image data in order to generate defect pseudo image data. In relation to this system, the defective image detecting means 22 or the defective image detection 23 detects or detects and collects genuine defective image data, and when a specific amount of defective image data is collected, the system is transferred to another system. It is conceivable to perform processing.
That is, the system is operated until a specific amount of defective image data is accumulated, and then the system is switched to another system. Switching may be automated by program processing.

また、本システムと別のシステムを併存させ、状況によって使い分け、検知又は検出の精度を向上させることができる。この場合、図６の欠陥画像検知手段２２と欠陥画像検出手段２３の両方を備え、更に、欠陥画像検知手段２２では、オートエンコーダ２２ａとＧＡＮ２２ｂの双方を備えて、いずれも選択可能とすれば、画像の状況によって欠陥検知又は欠陥検出の精度を向上させることができる。 In addition, this system and another system can coexist and be used properly depending on the situation to improve the detection or detection accuracy. In this case, if both the defective image detecting means 22 and the defective image detecting means 23 of FIG. 6 are provided, and further, the defective image detecting means 22 includes both the autoencoder 22a and the GAN22b, and both can be selected. The accuracy of defect detection or defect detection can be improved depending on the condition of the image.

尚、本システム及び別のシステムでは、検査対象を「部品」として説明したが、工業製品の部品に限らず、複数の部品の組み合わせた完成品も部品に含まれ、更に、食品等も部品に含まれるものとする。 In this system and other systems, the inspection target is described as "parts", but not only parts of industrial products but also finished products that combine multiple parts are included in the parts, and foods and the like are also included in the parts. It shall be included.

［実施の形態の効果］
本システム及び本方法によれば、ニューラルネットワークを用いて、正常な画像データを教師データとして読み込んでオートエンコーダを用いて機械学習させ、正常な画像データのみが正確に再構成される正常画像データのモデル（検査モデル）を構築し、その後に検査用の画像データを当該検査モデルに入力してオートエンコーダを用いて、再構成された画像データと入力された検査用の画像データとを比較して、両者が同一と見なされる範囲を超えていれば、異常と判定するものであり、定位置で撮影される画像データについて不規則に現れる異常を容易に検出できる効果がある。[Effect of Embodiment]
According to this system and this method, normal image data is read as teacher data using a neural network and machine-learned using an auto encoder, and only normal image data is accurately reconstructed. A model (inspection model) is constructed, and then the image data for inspection is input to the inspection model, and the reconstructed image data is compared with the input image data for inspection using the auto encoder. If both of them exceed the range considered to be the same, it is determined to be abnormal, and there is an effect that an abnormality appearing irregularly in the image data taken at a fixed position can be easily detected.

本システムの応用例によれば、欠陥画像を検知する前処理として、ノイズ除去手段２１で画像データにおけるノイズを除去しているので、欠陥画像の検知を精度よく行うことができる効果がある。 According to the application example of this system, since the noise in the image data is removed by the noise removing means 21 as the preprocessing for detecting the defective image, there is an effect that the defective image can be detected accurately.

また、本システムの応用例では、欠陥画像検知手段２２におけるオートエンコーダ２２ａ又はＧＡＮ２２ｂで欠陥画像の検知を行うため、画像データの状況によって欠陥画像の検知を精度よく行うことができる効果がある。 Further, in the application example of this system, since the autoencoder 22a or GAN22b in the defect image detecting means 22 detects the defective image, there is an effect that the defective image can be detected accurately depending on the condition of the image data.

更に、本システムの応用例によれば、欠陥画像検出手段２３におけるＬＢＰ２３ａで欠陥画像の検出を行うため、画像データの状況によって欠陥画像の検出を精度よく行うことができる効果がある。 Further, according to the application example of this system, since the defective image is detected by the LBP 23a in the defective image detecting means 23, there is an effect that the defective image can be detected accurately depending on the condition of the image data.

本発明は、検査対象部品の形状が一定で定位置から撮影される画像について、不規則に現れる異常を容易に検出できる部品の検査方法及び検査システムに好適である。 The present invention is suitable for a component inspection method and inspection system in which an abnormality appearing irregularly can be easily detected in an image taken from a fixed position with a constant shape of the component to be inspected.

１…検査装置、 ２…表示部、 ３…入力部、 ４…画像撮影装置、 １１…制御部、 １２…記憶装置、 １３…インタフェース部、 ２１…ノイズ除去手段、 ２２…欠陥画像検知手段、 ２２ａ…オートエンコーダ、 ２２ｂ…ＧＡＮ、 ２３…欠陥画像検出手段、 ２３ａ…ＬＢＰ、 １２１…画像データ記憶部、 １２２…教師データ記憶部、 １２３…検査結果データ記憶部 1 ... Inspection device, 2 ... Display unit, 3 ... Input unit, 4 ... Imaging device, 11 ... Control unit, 12 ... Storage device, 13 ... Interface unit, 21 ... Noise removal means, 22 ... Defect image detection means, 22a ... Autoencoder, 22b ... GAN, 23 ... Defect image detection means, 23a ... LBP, 121 ... Image data storage unit, 122 ... Teacher data storage unit, 123 ... Inspection result data storage unit

（検査方法＋ノイズ除去）
上記従来例の問題点を解決するための本発明は、撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、検査装置では、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成しておき、正常な部品の画像データを正常な部品の教師データとして入力し、出力される再構成画像データが入力された正常な部品の教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、検査対象として撮影された部品の画像データをノイズ除去モデルに入力し、出力されるノイズが除去された画像データを検査モデルに入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定するものである。 (Inspection method + noise removal)
The present invention for solving the problem of the above-mentioned conventional example is an inspection method in which a part is inspected by an inspection device using image data of a photographed part, and the inspection device is an image of a part to be inspected. Regarding the data, noise-free image data is input as noise-free teacher data, model learning is performed by machine learning so that noise-free image data is output when noise-free image data is input, and the trained model is noise-free. Generated as a removal model, input the image data of the normal part as the teacher data of the normal part, and the output reconstructed image data has the same range as the teacher data of the input normal part. Model learning is performed by machine learning, the trained model is generated as an inspection model, the image data of the parts taken as the inspection target is input to the noise removal model, and the output noise-removed image data is the inspection model. The reconstructed image data is compared with the input image data, and if both are recognized as the same range, it is judged as normal, and if both are not recognized as the same range, it is judged as abnormal. It is a thing.

（小地域分割の検査方法）
本発明は、上記検査方法において、正常な部品の教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも複数の小画像に分割して、分割された画像データ毎に入力し、再構成された画像データと入力された画像データとの比較を行うものである。 (Inspection method for subregional division)
In the above inspection method, the present invention divides the teacher data of a normal part into a plurality of small images for model learning, and also divides the image data of the part taken as an inspection target into a plurality of small images and divides the data. It is input for each image data that has been input, and the reconstructed image data is compared with the input image data.

（ノイズ除去とＬＢＰの欠陥画像検出）
本発明は、撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定するものである。 (Noise removal and LBP defect image detection)
The present invention is an inspection method in which a part is inspected by an inspection device using the image data of the photographed part, and the image data of the part to be inspected is used as noise-free teacher data. Model learning is performed by machine learning so that when input is input and image data with noise is input, image data without noise is output, the trained model is generated as a noise removal model, and the noise removal model is photographed as an inspection target. With respect to the image data obtained by inputting the image data of the parts and removing the output noise, the defect portion is estimated by comparing the LBP values in the image data using the image processing of LBP.

（検査システム＋ノイズ除去）
本発明は、撮影され部品の画像データを用いて、部品の検査を行う検査システムであって、正常な部品の画像データを正常な部品の教師データとして記憶すると共に、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして記憶する教師データ記憶部と、検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、教師データ記憶部からノイズのない教師データを入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成しておき、教師データ記憶部から正常な部品の教師データを入力し、出力される再構成画像データが入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、画像データ記憶部からの検査対象として撮影された部品の画像データを当該ノイズ除去モデルに入力し、出力されるノイズが除去された画像データを検査モデルに入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定する制御部とを備える検査装置を有するものである。 (Inspection system + noise removal)
The present invention is an inspection system that inspects a part using photographed image data of the part, stores the image data of the normal part as teacher data of the normal part, and image data of the part to be inspected. A teacher data storage unit that stores noise-free image data as noise-free teacher data, an image data storage unit that stores image data of parts taken as inspection targets, and a noise-free teacher from the teacher data storage unit. Model learning is performed by machine learning so that when data is input and image data with noise is input, image data without noise is output, and the trained model is generated as a noise removal model from the teacher data storage unit. Input the teacher data of normal parts, perform model learning by machine learning so that the output reconstructed image data has the same range of contents as the input teacher data, and generate the trained model as an inspection model. The image data of the part taken as the inspection target from the image data storage unit is input to the noise removal model, the output noise-removed image data is input to the inspection model, and the reconstructed image data is input. It has an inspection device provided with a control unit that compares the obtained image data and determines that the two are normal if they are determined to be in the same range, and determines that they are abnormal if they are not determined to be in the same range. ..

（小地域分割の検査システム）
本発明は、上記検査システムにおいて、制御部が、正常な部品の教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも複数の小画像に分割して、分割された画像データ毎に入力し、再構成された画像データと入力された画像データとの比較を行うものである。 (Inspection system for subregional division)
In the above inspection system, in the above-mentioned inspection system, the control unit divides the teacher data of a normal part into a plurality of small images and performs model learning, and also divides the image data of the part taken as an inspection target into a plurality of small images. Then, each of the divided image data is input, and the reconstructed image data is compared with the input image data.

（ノイズ除去とＬＢＰの欠陥画像検出システム）
本発明は、撮影された部品の画像データを用いて、部品の検査を行う検査システムであって、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして記憶する教師データ記憶部と、検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、教師データ記憶部からノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する制御部とを備える検査装置を有するものである。 (Noise removal and LBP defect image detection system)
The present invention is an inspection system that inspects a part by using the image data of the photographed part, and is a teacher that stores noise-free image data as noise-free teacher data for the image data of the part to be inspected. Noise-free image data is input as noise-free teacher data from the data storage unit, the image data storage unit that stores the image data of the parts taken as the inspection target, and the teacher data storage unit, and the noisy image data is input. Model learning is performed by machine learning so that noise-free image data is output when input, the trained model is generated as a noise removal model, and the image data of the parts taken as inspection targets is input to the noise removal model. It has an inspection device including a control unit for estimating a defective portion by comparing LBP values in the image data using LBP image processing for the output noise-removed image data.

本発明によれば、検査装置が、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成しておき、正常な部品の画像データを正常な部品の教師データとして入力し、出力される再構成画像データが入力された正常な部品の教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、検査対象として撮影された部品の画像データをノイズ除去モデルに入力し、出力されるノイズが除去された画像データを検査モデルに入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定する検査方法としているので、検査モデルに入力される前の画像データからノイズを除去でき、定位置で撮影される画像データについて不規則に現れる異常を容易に検出でき、異常な画像の検出精度を向上させることができる効果がある。 According to the present invention, the inspection device inputs noise-free image data as noise-free teacher data for the image data of the component to be inspected, and when noise-free image data is input, noise-free image data is output. Model learning is performed by machine learning, the trained model is generated as a noise removal model , image data of normal parts is input as teacher data of normal parts, and output reconstructed image data is input. Model learning is performed by machine learning so that the contents have the same range as the teacher data of the normal parts that have been performed, the trained model is generated as an inspection model, and the image data of the parts taken as the inspection target is used as the noise removal model. Input, output noise-removed image data is input to the inspection model, the reconstructed image data is compared with the input image data, and if both are recognized as the same range, it is normal. Since the inspection method is to judge and judge as abnormal if both are not recognized as the same range, noise can be removed from the image data before being input to the inspection model, and the image data taken at a fixed position is irregularly taken. abnormality can easily be detected appear, there is an effect that as possible is possible to improve the detection accuracy of the abnormal image.

Claims (12)

撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、
前記検査装置では、正常な部品の画像データを教師データとして入力し、出力される再構成画像データが前記入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに検査対象として撮影された部品の画像データを入力し、再構成された画像データと前記入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、前記両者が同じ範囲と認定されない場合は異常と判定する検査方法。This is an inspection method in which a part is inspected by an inspection device using the image data of the photographed part.
In the inspection device, image data of normal parts is input as teacher data, model learning is performed by machine learning so that the output reconstructed image data has the same range as the input teacher data, and the learning is performed. A completed model is generated as an inspection model, image data of parts taken as inspection targets are input to the inspection model, the reconstructed image data is compared with the input image data, and both have the same range. An inspection method in which if it is determined to be normal, it is determined to be normal, and if both are not determined to be in the same range, it is determined to be abnormal. 検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力する請求項１記載の検査方法。 For the image data of the part to be inspected, noise-free image data is input as teacher data, and model learning is performed by machine learning so that noise-free image data is output when noise-free image data is input. The inspection method according to claim 1, wherein a model is generated as a noise removal model, image data of a part taken as an inspection target is input to the noise removal model, and the output image data from which noise is removed is input to the inspection model. .. 再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、前記特定の閾値を超える場合には同じ範囲と認定されない請求項１又は２記載の検査方法。 The operation of comparing the reconstructed image data with the input image data is performed with a mean square error, and if the calculated value is within a specific threshold value, it is recognized as the same range and exceeds the specific threshold value. The inspection method according to claim 1 or 2, which is not recognized as having the same range in some cases. 教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも前記複数の小画像に分割して、前記分割された画像データ毎に入力し、再構成された画像データと前記入力された画像データとの比較を行う請求項１乃至３のいずれか記載の検査方法。 Model learning is performed by dividing the teacher data into a plurality of small images, and the image data of the parts taken as inspection targets is also divided into the plurality of small images, input for each of the divided image data, and reconstructed. The inspection method according to any one of claims 1 to 3, wherein the input image data is compared with the input image data. モデル学習では、オートエンコーダ又はＧＡＮのＡＩモデルを用いて行う請求項１乃至４のいずれか記載の検査方法。 The inspection method according to any one of claims 1 to 4, which is performed by using an autoencoder or an AI model of GAN in model learning. 撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、
検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する検査方法。This is an inspection method in which a part is inspected by an inspection device using the image data of the photographed part.
Regarding the image data of the part to be inspected, noise-free image data is input as teacher data, and model learning is performed by machine learning so that noise-free image data is output when noise-free image data is input. A model is generated as a noise removal model, image data of parts taken as inspection targets are input to the noise removal model, and the output noise-removed image data is used in the image data using LBP image processing. An inspection method for estimating defective parts by comparing LBP values. 撮影され部品の画像データを用いて、部品の検査を行う検査システムであって、
正常な部品の画像データを教師データとして記憶する教師データ記憶部と、
検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、
前記教師データ記憶部から教師データを入力し、出力される再構成画像データが前記入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに前記画像データ記憶部からの画像データを入力し、再構成された画像データと前記入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、前記両者が同じ範囲と認定されない場合は異常と判定する制御部とを備える検査装置を有する検査システム。It is an inspection system that inspects parts using image data of parts that have been photographed.
A teacher data storage unit that stores image data of normal parts as teacher data,
An image data storage unit that stores image data of parts taken as inspection targets,
Teacher data is input from the teacher data storage unit, model learning is performed by machine learning so that the output reconstructed image data has the same range of contents as the input teacher data, and the trained model is used as an inspection model. It is normal if the image data from the image data storage unit is input to the inspection model, the reconstructed image data is compared with the input image data, and both are recognized as having the same range. An inspection system having an inspection device including a control unit that determines that the data is abnormal and determines that the two are in the same range. 教師データ記憶部には、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして記憶しており、
制御部は、前記教師データ記憶部からノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに画像データ記憶部からの検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力する請求項７記載の検査システム。The teacher data storage unit stores noise-free image data as teacher data for the image data of the parts to be inspected.
The control unit inputs noise-free image data as teacher data from the teacher data storage unit, performs model learning by machine learning so that noise-free image data is output when noise-free image data is input, and the learning is performed. The completed model is generated as a noise removal model, the image data of the parts taken as the inspection target from the image data storage unit is input to the noise removal model, and the output noise-removed image data is input to the inspection model. The inspection system according to claim 7. 制御部は、再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、前記特定の閾値を超える場合には同じ範囲と認定されない請求項７又は８記載の検査システム。 The control unit performs an operation of comparing the reconstructed image data with the input image data with a mean square error, and if the calculated value is within a specific threshold value, it is recognized as the same range, and the above-mentioned identification is performed. The inspection system according to claim 7 or 8, which is not recognized as the same range when the threshold value is exceeded. 制御部は、教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも前記複数の小画像に分割して、前記分割された画像データ毎に入力し、再構成された画像データと前記入力された画像データとの比較を行う請求項７乃至９のいずれか記載の検査システム。 The control unit divides the teacher data into a plurality of small images and performs model learning, divides the image data of the parts photographed as an inspection target into the plurality of small images, and inputs each of the divided image data. The inspection system according to any one of claims 7 to 9, wherein the reconstructed image data is compared with the input image data. モデル学習には、オートエンコーダ又はＧＡＮのＡＩモデルを用いた請求項７乃至１０のいずれか記載の検査システム。 The inspection system according to any one of claims 7 to 10, wherein the model learning uses an autoencoder or an AI model of GAN. 撮影された部品の画像データを用いて、部品の検査を行う検査システムであって、
検査対象の部品の画像データについて、ノイズのない画像データを教師データとして記憶する教師データ記憶部と、
検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、
前記教師データ記憶部からノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する制御部とを備える検査装置を有する検査システム。It is an inspection system that inspects parts using the image data of the parts taken.
A teacher data storage unit that stores noise-free image data as teacher data for the image data of the parts to be inspected,
An image data storage unit that stores image data of parts taken as inspection targets,
Noise-free image data is input as teacher data from the teacher data storage unit, model learning is performed by machine learning so that noise-free image data is output when noise-free image data is input, and the trained model is noise-free. The image data of the parts generated as a removal model and photographed as an inspection target is input to the noise removal model, and the output noise is removed from the image data of the LBP value in the image data using LBP image processing. An inspection system having an inspection device including a control unit that estimates a defective part by comparison.
JP2020535771A 2018-08-08 2019-08-05 Parts inspection method and inspection system Pending JPWO2020031984A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018149153 2018-08-08
JP2018149153 2018-08-08
PCT/JP2019/030781 WO2020031984A1 (en) 2018-08-08 2019-08-05 Component inspection method and inspection system

Publications (1)

Publication Number Publication Date
JPWO2020031984A1 true JPWO2020031984A1 (en) 2021-08-10

Family

ID=69414776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020535771A Pending JPWO2020031984A1 (en) 2018-08-08 2019-08-05 Parts inspection method and inspection system

Country Status (2)

Country Link
JP (1) JPWO2020031984A1 (en)
WO (1) WO2020031984A1 (en)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354790B2 (en) * 2019-11-25 2023-10-03 オムロン株式会社 Image inspection device
JP7289427B2 (en) * 2020-02-28 2023-06-12 株式会社Pros Cons Program, information processing method and information processing apparatus
KR20230003484A (en) * 2020-04-16 2023-01-06 하마마츠 포토닉스 가부시키가이샤 Radiation image processing method, learned model, radiation image processing module, radiation image processing program, radiation image processing system, and machine learning method
WO2021210612A1 (en) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 Radiographic image acquiring device, radiographic image acquiring system, and radiographic image acquisition method
KR20230003485A (en) * 2020-04-16 2023-01-06 하마마츠 포토닉스 가부시키가이샤 Radiation image processing method, learned model, radiation image processing module, radiation image processing program, and radiation image processing system
JP7410402B2 (en) * 2020-05-08 2024-01-10 ダイキン工業株式会社 Visual inspection system
JP7459697B2 (en) * 2020-07-09 2024-04-02 コニカミノルタ株式会社 Anomaly detection system, learning device, anomaly detection program, learning program, anomaly detection method, and learning method
JP7459696B2 (en) * 2020-07-09 2024-04-02 コニカミノルタ株式会社 Anomaly detection system, learning device, anomaly detection program, learning program, anomaly detection method, and learning method Learning method for computing device
JPWO2022024245A1 (en) * 2020-07-29 2022-02-03
JP7157112B2 (en) * 2020-10-07 2022-10-19 Ckd株式会社 Solder print inspection device
CN112287875B (en) * 2020-11-16 2023-07-25 北京百度网讯科技有限公司 Abnormal license plate recognition method, device, equipment and readable storage medium
US20240161443A1 (en) * 2021-03-25 2024-05-16 Sony Semiconductor Solutions Corporation Information processing system and learning model generation method
WO2022201451A1 (en) * 2021-03-25 2022-09-29 株式会社日立国際電気 Detection device and detection method
US20240161271A1 (en) * 2021-03-26 2024-05-16 Konica Minolta, Inc. Information processing apparatus, control program, and control method
JP2022168944A (en) 2021-04-27 2022-11-09 株式会社日立ハイテク System for detecting defect and computer-readable medium
KR102653349B1 (en) * 2021-05-26 2024-03-29 서울대학교산학협력단 Anormaly data detection apparatus and method based on auto encoder
JP7483135B2 (en) 2021-06-03 2024-05-14 三菱電機株式会社 Visual inspection device and visual inspection method
WO2023276595A1 (en) * 2021-06-29 2023-01-05 ＬｅａｐＭｉｎｄ株式会社 Abnormality display device, abnormality display program, abnormality display system, and abnormality display method
JP7332654B2 (en) * 2021-06-29 2023-08-23 株式会社かんでんエンジニアリング Overhead line damage assessment system
JP2023008225A (en) * 2021-07-05 2023-01-19 浜松ホトニクス株式会社 Radiation image acquisition device, radiation image acquisition system and radiation image acquisition method
KR102426829B1 (en) * 2021-12-16 2022-07-29 주식회사 인터엑스 Apparatus and method for product surface inspection based Artificial Intelligence
JP7439157B2 (en) * 2022-03-30 2024-02-27 本田技研工業株式会社 Inspection equipment
WO2023195107A1 (en) * 2022-04-06 2023-10-12 日本電気株式会社 Object evaluation device, object evaluation method, and recording medium
JP2023183808A (en) * 2022-06-16 2023-12-28 株式会社日立製作所 Image creation method and visual inspection device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128250A (en) * 1991-11-08 1993-05-25 Toshiba Corp Picture recognizing device
US20170351952A1 (en) * 2016-06-01 2017-12-07 Kla-Tencor Corporation Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
JP2018005773A (en) * 2016-07-07 2018-01-11 株式会社リコー Abnormality determination device and abnormality determination method
JP2018112550A (en) * 2017-01-12 2018-07-19 清華大学Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ Inspection apparatus and method for detecting firearms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128250A (en) * 1991-11-08 1993-05-25 Toshiba Corp Picture recognizing device
US20170351952A1 (en) * 2016-06-01 2017-12-07 Kla-Tencor Corporation Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
JP2018005773A (en) * 2016-07-07 2018-01-11 株式会社リコー Abnormality determination device and abnormality determination method
JP2018112550A (en) * 2017-01-12 2018-07-19 清華大学Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ Inspection apparatus and method for detecting firearms

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
呂 建明、外２名: ""ニューラルネットワークを用いたカラー劣化画像の雑音除去の一方法"", 電子情報通信学会論文誌, vol. 86, no. 5, JPN6019038853, 1 May 2003 (2003-05-01), JP, pages 529 - 539, ISSN: 0004680285 *
笠原 亮介、外２名: ""偏光カメラとＤｅｅｐ ｌｅａｒｎｉｎｇを用いた異常検知による凍結路面検出"", 第２２回 画像センシングシンポジウム ＳＳＩＩ２０１６, JPN6019038854, 8 June 2016 (2016-06-08), JP, pages 1 - 4, ISSN: 0004632876 *

Also Published As

Publication number Publication date
WO2020031984A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
JPWO2020031984A1 (en) Parts inspection method and inspection system
CN108090894B (en) Fabric defect detection method based on distance matching function and perceptual hash algorithm
US20170309011A1 (en) Image processing apparatus, image processing method, and storage medium
CN109685097B (en) Image detection method and device based on GAN
Zakaria et al. Object shape recognition in image for machine vision application
CN110992363B (en) Three-dimensional magnetic flux leakage detection defect reconstruction method based on generation countermeasure network
JP2015041164A (en) Image processor, image processing method and program
JP7435303B2 (en) Inspection device, unit selection device, inspection method, and inspection program
JP2018506046A (en) Method for detecting defects on the tire surface
JP6347589B2 (en) Information processing apparatus, information processing method, and program
CN113012157A (en) Visual detection method and system for equipment defects
JP7426261B2 (en) Learning device, image inspection device, learned parameters, learning method, and image inspection method
JP7298176B2 (en) Defect inspection device and trained model
Yazid et al. Discontinuities detection in welded joints based on inverse surface thresholding
WO2022229976A1 (en) Anomaly detection using a convolutional neural network and feature based memories
JP7459697B2 (en) Anomaly detection system, learning device, anomaly detection program, learning program, anomaly detection method, and learning method
JP2020112483A (en) Exterior appearance inspection system, calculation model construction method and calculation model construction program
CN117274258A (en) Method, system, equipment and storage medium for detecting defects of main board image
CN109285138B (en) Distributed processing system and method for machine vision analysis
CN115485740A (en) Abnormal wafer image classification
US20240005477A1 (en) Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program
TWI812002B (en) Cutting tool image detecting method
CN110634124A (en) Method and equipment for area detection
García et al. A configuration approach for convolutional neural networks used for defect detection on surfaces
JP7460391B2 (en) LEARNING DEVICE, IMAGE INSPECTION DEVICE, PROGRAM, AND LEARNING METHOD

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220111