WO2021100243A1 - Ai外観検査方法、その装置及びそのコンピュータ用のプログラム - Google Patents

Ai外観検査方法、その装置及びそのコンピュータ用のプログラム Download PDF

Info

Publication number
WO2021100243A1
WO2021100243A1 PCT/JP2020/027585 JP2020027585W WO2021100243A1 WO 2021100243 A1 WO2021100243 A1 WO 2021100243A1 JP 2020027585 W JP2020027585 W JP 2020027585W WO 2021100243 A1 WO2021100243 A1 WO 2021100243A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference
teacher
product
inspection
Prior art date
Application number
PCT/JP2020/027585
Other languages
English (en)
French (fr)
Inventor
貴之 石黒
Original Assignee
株式会社テクムズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社テクムズ filed Critical 株式会社テクムズ
Publication of WO2021100243A1 publication Critical patent/WO2021100243A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination

Definitions

  • the present invention relates to an AI visual inspection method, an apparatus thereof, and a program for the computer.
  • the present inventor has been diligently studying the application of AI technology to visual inspection.
  • the field of visual inspection of precision parts not only high accuracy is required, but also the time and effort required to learn the AI visual inspection device becomes a big problem as the variety of parts increases.
  • the present invention addresses such a subject, the first aspect of which is defined as follows.
  • a difference image (teacher) between the reference image prepared in advance as a representative of the normal product of the appearance inspection target product and the teacher image of the appearance inspection target product, and the difference image (teacher).
  • a difference image (normal product) between the normal product image of the visual inspection target product and the reference image
  • a difference image (abnormal product) between the abnormal product image of the visual inspection target product and the reference image.
  • the teacher data (normal product) consisting of the difference image (normal product) and the set of normal labels and the teacher data (abnormal product) consisting of the difference image (abnormal product) and the set of abnormal labels are sent to the Al appearance inspection unit.
  • AI appearance processing unit is made to process the input teacher data (normal product) and the teacher data (abnormal product), and the relationship between the difference image (normal product) and the difference image (abnormal product).
  • AI processing steps for learning to learn A preprocessing step for inspection that creates a difference image (inspection) between the inspection image actually taken for the product to be visually inspected and the reference image, and An input step for inspection for inputting the difference image (inspection) into the Al appearance inspection device in the learning corner, and An AI processing step for inspection that causes the AI appearance processing unit in the learning area to process the input difference image (inspection) to identify the first relationship with respect to the input difference image (inspection).
  • AI visual inspection method comprising.
  • the learning efficiency is increased as well as the accuracy.
  • the improvement in accuracy is mainly due to the use of the difference image as the teacher data used in the learning mode and the inspection data used in the operation mode.
  • the improvement in learning efficiency is mainly due to the use of the difference image as the teacher data used in the learning mode.
  • the difference between the image of the normal product and the image of the abnormal product is emphasized by taking the difference from the reference image. it is conceivable that.
  • a resin molded product was used as the product to be visually inspected.
  • Teacher images of 50,000 normal appearance inspection target products (hereinafter, may be simply abbreviated as "normal products") and 3000 abnormal appearance inspection target products (hereinafter, may be simply abbreviated as “abnormal products”).
  • normal products normal appearance inspection target products
  • 3000 abnormal appearance inspection target products hereinafter, may be simply abbreviated as "abnormal products”
  • Teacher image and prepared 3000 images of objects other than those subject to visual inspection were prepared. Each image is a grayscale photograph, and each pixel constituting the image is given, for example, 256 levels of brightness.
  • the teacher images of normal products and abnormal products include those obtained by so-called padding of images actually taken. Twenty teacher images were randomly selected from the normal teacher images, and an average image was created and used as a standard image.
  • one image is randomly extracted from the selected 20 normal teacher images, and with this image as a reference, other images are pattern-matched with this reference image by a general-purpose method. Align. The average value of the brightness of the pixels constituting each image is calculated, and the result is added to the pixels of the standard image to obtain a standard image.
  • the standard image is not limited to the above.
  • the average image obtained as described above can be further processed manually or according to some rules.
  • a standard image can also be obtained by drawing.
  • a difference image between the standard image obtained in this way and the teacher image is created.
  • the standard image and the teacher image are aligned using the same general-purpose pattern matching method as described above.
  • the difference in brightness of each pixel between the aligned teacher image and the standard image is calculated, and the calculation result is given to each pixel constituting the difference image.
  • a difference image (teacher) is formed.
  • This difference image (teacher) includes a difference image between a normal product teacher image and a standard image (normal product) and a difference image between an abnormal product teacher image and a standard image (abnormal product).
  • a certain threshold value is set, and if the difference is below the threshold value, the difference is set to zero. May be multiplied.
  • the absolute value is stored in the first memory (teacher) as the calculation result of the difference in the brightness of each pixel between the teacher image and the standard image.
  • the value is stored in the second memory (teacher), and when the difference in brightness is negative, the value is stored in the third memory (teacher).
  • the value (difference in brightness) stored in each memory can be displayed on a monitor provided with RGB pixels.
  • the data (absolute value of luminance) stored in the first memory (teacher) is reflected in each output of the RGB pixels. This causes the difference between the teacher image and the standard image to be displayed in grayscale on the monitor. Since both the teacher image and the standard image are shown in grayscale, the monitor display is a realistic reproduction of the difference between them.
  • the data (positive luminance) stored in the second memory (teacher) is reflected in the output of only one of the RGB pixels (for example, R pixel).
  • the bright pixels of the teacher image are displayed in red when comparing the teacher image with the standard image.
  • the bright pixels of the teacher image often display defective parts (when the background is clear) of the visual inspection target product captured in the teacher image, protrusions that easily reflect light, and the like.
  • the data (negative luminance) stored in the third memory (teacher) is reflected in the output of only the other one (for example, B pixel) of the RGB pixels.
  • the dark pixels of the teacher image are displayed in blue when comparing the teacher image with the standard image.
  • the dark pixels of the teacher image often indicate the burr portion (when the background is clear) of the visual inspection target product taken in the teacher image, the concave portion which easily absorbs light, and the like.
  • the difference image (teacher) includes a difference image between the normal product image and the reference image of the visual inspection target product (normal product) and a difference image between the abnormal product image and the reference image of the visual inspection target product (abnormal product).
  • the teacher data (normal product) consisting of the difference image (normal product) and the normal label set and the teacher data (abnormal product) consisting of the difference image (abnormal product) and the abnormal label set are Al visual inspection. It is input to the part.
  • the AI visual inspection unit in which the teacher data (normal product) and the teacher data (abnormal product) are input determines the relationship between the difference image (normal product) and the difference image (abnormal product) as a normal product or an abnormal product. Learn in relation to.
  • AI visual inspection device the one with the following specifications was adopted.
  • AI software Techms DEEPS AI Inspiration PC: Dospara BTO personal computer (Core-i9-9940X, memory 64GB, GPU: NVIDIA GeForce RTX 2080Ti)
  • the difference image (inspection) between the obtained image (inspection image) and the standard image of the appearance inspection target product to be inspected is also obtained. Specifically, the inspection image is aligned with the standard image by pattern matching, and the absolute value is temporarily saved as the calculation result of the difference in the brightness of each pixel between the inspection image and the table life image.
  • the stored data (absolute value of brightness) is input to the trained AI visual inspection device as a difference image (inspection).
  • the trained AI visual inspection device that accepts such an input outputs the first relationship with respect to the inspection image. This first relationship indicates that the product to be visually inspected transferred to the inspection image may be a normal product or an abnormal product.
  • FIG. 1A The learning efficiency of the present invention using the difference image is shown in FIG. 1A.
  • FIG. 1B shows the learning effect when the image of the visual inspection target product is used as it is as the teacher data and trained by the same AI visual inspection device as a comparative example (control). From the results of FIGS. 1A and 1B, it can be seen that by adopting the difference image, the loss function is lowered by about an order of magnitude, the learning speed is high, and overfitting is also reduced.
  • metric learning using the closeness of data as an index as a program for AI.
  • tripletros it is preferable to adopt the above-mentioned tripletros.
  • metric learning the closeness between data is learned. That is, the normal products are gathered nearby, and the abnormal products are learned so as to be separated from the normal products.
  • the difference image (teacher) consists of the brightness difference between the teacher image and the standard image, but the absolute value of the brightness difference can be used to facilitate the processing.
  • grayscale is used as the image of the product to be visually inspected, but a color image can also be used in the same manner.
  • the difference in brightness between the teacher image and the standard image can be taken for each of the RGB pixels constituting one pixel to obtain a difference image (teacher).
  • the inspection image is also a color image, and the difference in brightness between the inspection image and the standard image is taken for each of the RGB pixels constituting the pixel to obtain a difference image (inspection). This enables AI visual inspection of colored industrial products.
  • FIG. 1A shows the learning effect of the AI visual inspection method of the present invention.
  • FIG. 1B shows the learning efficiency performed using the same AI visual inspection device.
  • FIG. 2A shows a system based on the AI visual inspection method of the present invention.
  • FIG. 2B shows the accuracy performed using the same AI visual inspection device.
  • FIG. 3 is a block diagram showing the functions of the AI visual inspection apparatus according to the embodiment of the present invention.
  • FIG. 4 is a block showing the function of the annotation auxiliary unit 100 as well.
  • FIG. 5 is a hardware configuration diagram of the AI visual inspection device of the embodiment.
  • FIG. 6 is a flowchart illustrating the operation of the AI visual inspection apparatus of the embodiment.
  • FIG. 7 shows an example of a product subject to visual inspection.
  • FIG. 3 is a block diagram showing the functions of the AI visual inspection device 1 according to the embodiment of the present invention.
  • the AI visual inspection device 1 includes a learning unit 10 and an operation unit 30.
  • the learning unit 10 and the operation unit 30 use the common AI visual inspection unit 40 and the output 43, but the same AI function (machine learning software) as the AI visual inspection unit learned by the learning unit 10 is used. ) Can be prepared and the learning result can be copied to the other AI visual inspection unit.
  • the learning unit 10 and the operation unit 30 can be physically independent devices.
  • the learning unit 10 includes a teacher image storage unit 11, a reference image storage unit 13, a difference image (teacher) creation unit 15, an AI visual inspection unit 40, and an output unit 43.
  • the teacher image storage unit 11 stores 50,000 images of normal products of the visual inspection target product, 3000 images of the abnormal product, and 3000 images of objects other than the visual inspection target product. Hundreds of items to be visually inspected whose normality / abnormality is identified in advance are photographed by the camera 50 to obtain a teacher image of the normal item and a teacher image of the abnormal item. Further, these are so-called padded to obtain 50,000 and 3,000 sheets suitable for AI treatment, respectively.
  • the reference image of the reference image storage unit 13 is composed of, for example, 20 images of normal products arbitrarily extracted from the teacher image storage unit 11 and averaged thereof.
  • the difference image (teacher) creation unit 15 creates a difference image (teacher) between all the teacher images and the reference images stored in the teacher image storage unit 11.
  • This difference image (teacher) includes a difference image (normal product) between the normal product image and the reference image of the visual inspection target product and a difference image (abnormal product) between the abnormal product image and the reference image of the visual inspection target product. Is done.
  • the teacher data (normal product) consisting of the difference image (normal product) and the normal label set and the teacher data (abnormal product) consisting of the difference image (abnormal product) and the abnormal label set are sent to the Al appearance inspection unit 40. Entered.
  • the AI visual inspection unit 40 processes the input teacher data (normal product) and teacher data (abnormal product) to perform machine learning. It is preferable to use metric learning as an AI program for machine learning. Above all, it is preferable to use the tripletros method. This is because the distance representing the difference between the difference image (normal product) and the difference image (abnormal product) can be remarkably expressed. Of course, it can also be applied to other AI programs.
  • the operation unit 30 includes an inspection image storage unit 31, a reference image storage unit 33, a difference image (inspection) creation unit 35, an AI appearance inspection unit 40, and an output unit 43.
  • An image (inspection image) of the product to be visually inspected taken by the camera 60 is stored in the inspection image storage unit 31.
  • the reference image storage unit 33 stores the same reference image as the reference image stored in the reference image storage unit 13 of the learning unit 10.
  • the difference image (inspection) creation unit 35 creates a difference image (inspection) between the reference image and the inspection image.
  • This difference image (inspection) is input to the learned AI appearance inspection unit 40 and AI-processed.
  • an output according to the learning result of the AI visual inspection unit 40 for example, a distance indicating positive / abnormal or a probability% of being a normal product
  • the absolute value calculation unit 111 of the brightness refers to the teacher image. Calculate the absolute value of the difference in brightness of each pixel of the image. The absolute value of the difference in luminance in each pixel calculated in this way is stored in the first memory 121.
  • the first memory 121 includes a data storage area corresponding to a pixel, and the data of each pixel (Xn, Yn) is stored in the area (Xn, Yn) of the first memory 121.
  • the data stored in the area (Xn, Yn) of the first memory 121 defines the output (luminance) of all the pixels (RGB) existing in the area (Xn, Yn) of the monitor 140 by the RGB driver 131. ..
  • a grayscale difference image (teacher) is displayed on the monitor 140.
  • the luminance calculation unit 110 is provided with the luminance calculation unit 113 and the luminance calculation unit 115.
  • the positive value calculation unit 113 of the brightness calculates the difference in the brightness of each pixel of the teacher image and the reference image. Then, a value having a positive (zero or more) difference in brightness between the two is stored in the area of the second memory 123 corresponding to the pixel.
  • the negative value is converted to a zero value and written to the corresponding area of the second memory 123.
  • the data stored in the area (Xm, Ym) of the second memory 123 defines the output (luminance) of the R pixel existing in the area (Xm, Ym) of the monitor 140 by the R driver 133.
  • the R (red) image is displayed on the monitor 140 as the difference image.
  • the difference image (teacher data) displayed in this way reveals a portion having high brightness in the teacher image, for example, a defective portion (when the background is clear).
  • the luminance negative value calculation unit 115 calculates the difference in luminance between each pixel of the teacher image and the reference image. Then, a value (absolute value) having a negative difference in brightness between the two is stored in the area of the third memory 125 corresponding to the pixel. At this time, the positive value is converted to a zero value and written to the corresponding area of the third memory 125.
  • the data stored in the area (Xk, Yk) of the third memory 125 defines the output (luminance) of the B pixel existing in the area (Xk, Yk) of the monitor 140 by the B driver 135.
  • the B (blue) image is displayed on the monitor 140 as the difference image.
  • the difference image (teacher data) displayed in this way reveals a portion of the teacher image having low brightness, for example, a burr.
  • the operator can select the monitor driver by using the selection unit 137 and manifest the abnormal part by an arbitrary method.
  • the calculation unit 300 includes a CPU 301, a ROM 303, and a RAM 305, and is in charge of controlling the entire system. At the same time, it functions as a difference image (teacher) creation unit 15, a difference image (inspection) creation unit 35, an AI appearance inspection unit 40, a brightness calculation unit 110, and a monitor driver 130.
  • the ROM 303 includes a non-volatile memory (not shown) in which a control program or the like for controlling the arithmetic unit 300 is stored.
  • the RAM 305 readablely stores various set values preset by the user via an input device 330 such as a keyboard, and provides a working area to the CPU 301.
  • the control program for controlling the arithmetic unit 300 is not limited to the ROM 303, but may be stored in the RAM 305, the first storage device 311 and the second storage device 313.
  • the CPU 301 is preferably one suitable for neutral network processing used for AI processing, and the ROM 303 or the first and second storage devices 311, 313 have a capacity capable of storing a large amount of data used during deep learning.
  • the first storage device 311 functions as a teacher image storage unit 11, reference image storage units 13, 33, and an inspection image storage unit 31.
  • the second storage device 313 functions as a luminance memory 120. It is preferable that the first and second storage devices 311, 313 utilize a part of the memory device area of the server system, such as a hard memory and a flash memory. A part of the RAM of the arithmetic unit can be used for the so-called buffer memory for temporarily storing data.
  • the output device 320 is a display or an audio output device
  • the input device 330 corresponds to an audio input unit, a touch panel type keyboard or a mouse arranged on the display, or the like. Further, the input device 330 can input teacher data (image) for AI processing.
  • a general-purpose CCD camera can be used for the cameras 50 and 60. Camera specifications such as its resolution and depth of focus can be set arbitrarily.
  • Each device constituting the computer is connected by a system bus 340.
  • step 1 the teacher image is captured. Hundreds of samples of visual inspection target products that are known to be normal / abnormal are collected and photographed using the camera 50. The shooting mode is grayscale. Then, by a general-purpose padding process, the number of normal teacher images is 50,000 and the number of abnormal teacher images is 3,000. On the other hand, 3000 images different from the visual inspection target product are prepared from the general-purpose database. FIG. 7 shows an example of an image of the product to be visually inspected.
  • step 2 a standard image is created. Twenty images of the normal appearance inspection target product actually taken in step 1 are selected, and the other images are pattern-matched based on one of them. The average brightness of each pixel constituting the pattern-matched image is taken as a reference image.
  • step 3 a difference image (teacher) between the reference image thus obtained and the teacher image prepared in step 1 is created. The teacher image is pattern-matched with the reference image, and the difference in brightness is calculated. The difference in brightness of the pixels is sent to the annotation auxiliary unit 100 shown in FIG. 4, and assists the annotation work in the learning mode.
  • Each difference image (teacher) is labeled with a normal label or an abnormal label based on the attributes of the teacher image (normal or abnormal).
  • the teacher data (normal) is composed of a set of the difference image (normal) and the normal label, which are based on the normal teacher image, and the difference image (abnormal) is based on the abnormal teacher image.
  • a set of anomaly labels make up the teacher data (abnormality).
  • the teacher data (normal) and the teacher data (abnormal) are prepared for all the teacher images, they are input to the AI visual inspection unit 40.
  • the brightness in each pixel constituting the difference image (normal, abnormal) input to the AI appearance inspection unit 40 is an absolute value of the difference in brightness between the reference image and the teacher image.
  • the calculated difference image can be sequentially input to the AI visual inspection unit 40 together with the label.
  • step 7 the AI visual inspection unit 40 into which the difference image (teacher) is input executes AI software: DEEPS AI Injection of Techms Co., Ltd. to perform machine learning.
  • This AI software uses the technique of tripletros.
  • step 9 the product to be visually inspected is photographed by the camera 60, and the inspection image is captured.
  • step 11 a difference image (inspection) between the inspection image thus captured and the reference image prepared in step 2 is created.
  • the inspection image is pattern-matched with respect to the reference image, and the absolute value of the difference in brightness between the reference image and the inspection image in the pixels constituting the difference image (inspection) is the difference image (inspection).
  • step 13 the difference image (inspection) prepared in step 11 is input to the AI appearance inspection unit 40 in the learning area, and the AI process is executed. The result is output as a distance, and the probability (%) of a normal product is obtained according to the output distance. In this way, the appearance inspection target is inspected for abnormalities.
  • the AI visual inspection unit 40 in the learning area it is possible to inspect the presence or absence of abnormalities in almost real time by photographing the sample flowing through the factory line with the camera 60.
  • AI visual inspection device 10 Learning unit 30 Operation unit 100 Annotation auxiliary unit

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

精密部品の外観検査の現場においては、高い精度が求められることはもとより、部品の多品種化に伴い、AI外観検査装置を学習させるために要する手間も大きな課題となる。 外観検査対象品の正常品を代表するものとして予め準備した参照画像と外観検査対象品の教師画像との差分画像(教師データ)を作成する学習用の前処理ステップと、差分画像(教師データ)をAl外観検査部に入力する学習用の入力ステップと、入力された差分画像(教師データ)をAI外観処理部に処理させて、差分画像(正常品)と差分画像(異常品)との間の関係を学習させる学習用のAI処理ステップと、外観検査対象品について実際に撮影した検査画像と参照画像との差分画像(検査データ)を作成する、検査用の前処理ステップと、 学習すみのAl外観検査装置に差分画像(検査データ)を入力する検査用の入力ステップと、 入力された差分画像(検査データ)を学習すみのAI外観処理部に処理させて、入力された差分画像(検査データ)についての第1の関係を特定する検査用のAI処理ステップと、を備えるAI外観検査方法。

Description

AI外観検査方法、その装置及びそのコンピュータ用のプログラム
 本発明はAI外観検査方法、その装置及びそのコンピュータ用のプログラムに関する。
 工業製の精密部品の表面に小さな傷、凹凸その他の変形(以下、欠陥と総称する)があるとその性能が著しく低下する。
 そこで従来では、精密部品を出荷する前に、画像処理技術を利用してその欠陥を検出していた。
 一般的な外観検査方法は、検査対象品の基準画像をあらかじめ準備し、この基準画像と検査対象の撮影画像とを比較し、所定のプログラムに従い両者の違いを顕現化している(特許文献1)。
 また、画像処理の一例として、ニューラルネットワークを利用した所謂AI外観検査装置を用いるものも知られている(特許文献2参照)。
特開2006-242873号公報 特開2019-008599号公報
 本発明者は外観検査にAI技術を適用することにつき鋭意検討を重ねてきた。
 精密部品の外観検査の現場においては、高い精度が求められることはもとより、部品の多品種化に伴い、AI外観検査装置を学習させるために要する手間も大きな課題となる。
 この発明は、かかる課題に対応するものであり、その第1の局面は次のように規定される。
 外観検査対象品の正常品を代表するものとして予め準備した参照画像と外観検査対象品の教師画像との差分画像(教師)を作成する学習用の前処理ステップと、前記差分画像(教師)には外観検査対象品の正常品画像と前記参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と前記参照画像との差分画像(異常品)が含まれる、
 前記差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、前記差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)と、をAl外観検査部に入力する学習用の入力ステップと、
 入力された前記教師データ(正常品)と前記教師データ(異常品)とを前記AI外観処理部に処理させて、前記差分画像(正常品)と前記差分画像(異常品)との間の関係を学習させる学習用のAI処理ステップと、
 外観検査対象品について実際に撮影した検査画像と前記参照画像との差分画像(検査)を作成する、検査用の前処理ステップと、
 前記学習すみのAl外観検査装置に前記差分画像(検査)を入力する検査用の入力ステップと、
 入力された前記差分画像(検査)を前記学習すみのAI外観処理部に処理させて、入力された前記差分画像(検査)についての第1の関係を特定する検査用のAI処理ステップと、
 を備えるAI外観検査方法。
 このように規定される第1の局面のAI検査方法によれば、精度とともに学習効率が高くなる。
 精度の向上は、もっぱら、学習モードで用いる教師データ及び運用モードで用いる検査データとして、差分画像を用いることによる。学習効率の向上はもっぱら学習モードで用いる教師データとして差分画像を用いることに起因する。
 正常品と異常品との外観上の差が比較的小さな外観検査対象品の場合は、参照画像との差分をとることにより、正常品の画像と異常品の画像との差異が強調されるためと考えられる。
 以下具体的な例に基づき、本発明について説明する。
 外観検査対象品として樹脂成型品を用いた。50000個の正常な外観検査対象品(以下、単に「正常品」と略すことがある)の教師画像と3000個の異常な外観検査対象品(以下、単に「異常品」と略することがある)の教師画像とを準備した。その他、外観検査対象品以外の物の画像を3000個準備した。各画像はグレースケール写真であり、画像を構成する各ピクセルには例えば256段階の輝度が付与される。なお、正常品や異常品の教師画像は、実際に撮影した画像をいわゆる水増し処理して得られたものも含まれる。
 正常品の教師画像から無作為に20枚の教師画像を選択し、その平均画像を作成してこれを標準画像とした。
 具体的には、選択した20枚の正常品教師画像から無作為に1枚を抽出し、この画像を基準として、この基準画像に対して他の画像を汎用的な手法でパターンマッチングすることで位置合わせをする。各画像を構成するピクセルの輝度の平均値を演算して、その結果を標準画像のピクセルに付与して標準画像とする。
 標準画像は上記に限定されるものではない。上記のようにして得られた平均画像を更にマニュアルで、もしくは何らかのルールに従って加工することができる。また、作画により標準画像を得ることもできる。
 このようにして得られた標準画像と教師画像との差分画像を作成する。具体的には、標準画像と教師画像とを上記と同様な汎用的なパターンマッチング手法を用いて位置合わせをする。位置合わせされた教師画像と標準画像との各ピクセルの輝度の差を演算し、差分画像を構成する各ピクセルに当該演算結果を付与する。これにより差分画像(教師)が形成される。この差分画像(教師)には、正常品の教師画像と標準画像との差分画像(正常品)と異常品の教師画像と標準画像との差分画像(異常品)とが含まれている。
 上記各ピクセルの輝度の差の演算には、単なる差分演算の他、一定のしきい値を設けて、当該しきい値以下の場合は差をゼロとする、差分を強調するために所定の定数を乗算することがある。
 教師画像と標準画像との各ピクセルの輝度の差の演算結果として、その絶対値を第1のメモリ(教師)に保存する。また、当該輝度の差がゼロ以上のとき、その値を第2のメモリ(教師)に保存し、当該輝度の差が負のとき、その値を第3のメモリ(教師)に保存する。
 各メモリに保存されている値(輝度の差)は、RGB画素を備えたモニタに表示することができる。第1のメモリ(教師)に保存されているデータ(輝度の絶対値)はRGB画素の各出力に反映される。これにより、教師画像と標準画像との差がモニタにグレースケールで表示される。教師画像と標準画像がいずれもグレースケールで表されているので、かかるモニタ表示はそれらの差をリアルに再現したものとなる。
 第2のメモリ(教師)に保存されているデータ(正の輝度)はRGB画素のうちの一つ(例えばRピクセル)のみの出力に反映される。これにより、教師画像と標準画像との比較において教師画像の明るいピクセルが赤色で表示される。教師画像の明るいピクセルは教師画像に撮影された外観検査対象品の欠損部分(背景が明かるい場合)や光を反射しやすい突起等を表示する場合が多い。
 第3のメモリ(教師)に保存されているデータ(負の輝度)はRGB画素の他の一つ(例えばBピクセル)のみの出力に反映される。これにより、教師画像と標準画像との比較において教師画像の暗いピクセルが青色で表示される。教師画像の暗いピクセルは教師画像に撮影された外観検査対象品のバリ部分(背景が明かるい場合)や光を吸収しやすい凹部等を表示する場合が多い。
 このように、メモリの内容を選択することにより、外観検査対象品の異常品画像と参照画像との差分画像(異常品)においてその異常部分の特性が把握しやすくなる。よって、学習モードにおいてオペレータの行うアノテーション作業の補助となる。
 このようにして得られた第1のメモリ(教師)に保存されているデータ(輝度の絶対値)を、差分画像(教師)として、そのラベルとともに、AI外観検査装置へ入力して学習(デープラーニング)させる。即ち、差分画像(教師)には、観検査対象品の正常品画像と参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と参照画像との差分画像(異常品)が含まれるので、差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)とがAl外観検査部に入力される。かかる教師データ(正常品)と教師データ(異常品)とが入力されたAI外観検査部は、差分画像(正常品)と差分画像(異常品)との間の関係を、正常品若しくは異常品とに関連つけて、学習する。
 このAI外観検査装置として以下のスペックのものを採用した。
 AIソフト:テクムズ社 DEEPS AI Inspection
 PC:ドスパラ社製BTOパソコン(Core-i9-9940X,メモリ64GB,GPU:Nvidia社製 GeForce RTX 2080Ti)
 検査対象となる外観検査対象品についても得られた画像(検査画像)と標準画像との差分画像(検査)を得る。具体的には、標準画像に対して検査画像をパターンマッチングにより位置あわせし、検査画像と表寿画像との各ピクセルの輝度の差の演算結果として、その絶対値を一旦保存する。
 保存されているデータ(輝度の絶対値)を、差分画像(検査)として、上記学習済のAI外観検査装置へ入力する。かかる入力を受け入れた学習済のAI外観検査装置は検査画像に関する第1の関係を出力する。この第1の関係は、検査画像に移された外観検査対象品が正常品か異常品の可能性を示すものとする。
 差分画像を用いるこの発明の学習効率を図1Aに示す。
 他方、図1Bは、比較例(コントロール)として、外観検査対象品の画像をそのまま教師データとして用い、同じAI外観検査装置で学習させたときの学習効果を示す。
 図1A及び図1Bの結果より、差分画像を採用することにより、損失関数が1桁程度低くなり、学習速度が速く、かつ過学習も少なくなることがわかる。
 図2A及び図2Bにそれぞれ本発明と比較例の精度を示す。差分画像を用いる本発明ではAUCが0.9992であるのに対し、比較例のAUCは0.947であった。
 このように、本発明によれば、効率的な学習が可能になるとともに検査結果に高い精度が得られる。
 上記において、AI用のプログラムとしてはデータの近さを指標とするメトリックラーニングを採用することが好ましい。その中でも、既述のトリプレットロスを採用することが好ましい。
 メトリックラーニングでは、データ間の近さが学習される。即ち、正常品は近くに集まり、異常品は正常品から離れるように学習がなされることとなる。
 差分画像(教師)は教師画像と標準画像の輝度差からなるものであるが、処理を容易にするため、輝度差の絶対値を用いることができる。
 上記の例では外観検査対象品の画像としてグレースケールを採用したが、同様にカラー画像を用いることもできる。カラー画像の場合は一画素を構成するRGBピクセルのそれぞれにつき教師画像と標準画像との輝度差をとって、差分画像(教師)とすることができる。同様に、検査画像もカラー画像として、その画素を構成するRGB画素のそれぞれにつき検査画像と標準画像との輝度差をとって差分画像(検査)とする。これにより、着色された工業製品についてのAI外観検査が可能となる。
図1Aは本発明のAI外観検査方法による学習効果を示す。 図1Bは同じAI外観検査装置を用いて行った学習効率を示す。 図2Aは本発明のAI外観検査方法による制度を示す。 図2Bは同じAI外観検査装置を用いて行った精度を示す。 図3はこの発明の実施例のAI外観検査装置の機能を示すブロック図である。 図4は同じくアノテーション補助部100の機能を示すブロックである。 図5は実施例のAI外観検査装置のハード構成図である。 図6は実施例のAI外観検査装置の動作を説明するフローチャートである。 図7は外観検査対象品の一例を示す。
 以下、本発明の実施例を説明する。
 図3はこの発明の実施例のAI外観検査装置1の機能を示すブロック図である。AI外観検査装置1は学習部10と運用部30とを備える。図1の例では学習部10と運用部30とは共通のAI外観検査部40及び出力43を使用しているが、学習部10で学習させたAI外観検査部と同じAI機能(機械学習ソフト)を備えた他のAI外観検査部を準備し、これに学習結果をコピーさせることができる。同様に、学習部10と運用部30にそれぞれ出力部を備えることで、学習部10と運用部30とは物理的に独立した装置とすることができる。
 学習部10は教師画像保存部11、参照画像保存部13、差分画像(教師)作成部15、AI外観検査部40及び出力部43を備える。
 教師画像保存部11には外観検査対象品の正常品の画像50000枚、同じく異常品の画像3000枚、外観検査対象品以外の物の画像を3000枚が保存されている。
 予め正常/異常が識別されている数百個の外観検査対象品をカメラ50で撮影して、正常品の教師画像及び異常品の教師画像を得る。さらにこれらをいわゆる水増し処理して、AI処理に適したそれぞれ50000枚及び3000枚とする。
 参照画像保存部13の参照画像は、教師画像保存部11から、例えば任意に20枚の正常品画像を抽出し、それらを平均した画像からなる。
 差分画像(教師)作成部15では、教師画像保存部11に保存されているすべての教師画像と参照画像との差分画像(教師)を作成する。この差分画像(教師)には外観検査対象品の正常品画像と参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と参照画像との差分画像(異常品)が含まれる。そして、差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)とがAl外観検査部40に入力される。
 AI外観検査部40は、入力された教師データ(正常品)と教師データ(異常品)とを処理して機械学習をする。機械学習を行うAIプログラムとしてメトリックラーニングを用いることが好ましい。中でも、トリプレットロス法を用いることが好ましい。差分画像(正常品)と差分画像(異常品)との違いを表す距離を顕著に表現できるからである。
 もちろん、他のAIプログラムにも適用可能である。
 運用部30は検査画像保存部31、参照画像保存部33、差分画像(検査)作成部35、AI外観検査部40及び出力部43を備える。
 カメラ60で撮影された外観検査対象品の画像(検査画像)が検査画像保存部31に保存される。参照画像保存部33には、学習部10の参照画像保存部13に保存されている参照画像と同一の参照画像が保存されている。
 差分画像(検査)作成部35において参照画像と検査画像との差分画像(検査)が作成される。
 この差分画像(検査)は学習済のAI外観検査部40へ入力されてAI処理される。その結果、AI外観検査部40の学習結果に従った出力(例えば、正・異常を表す距離や正常品である確率%)が出力部43に出力される。
 外観検査対象品の異常を検査する場合、アテネーションとして得られた画像において異常のあると思われる部分にマークを付すことがある。
 アテネーションに際し、グレースケールで得られた教師画像と参照画像との差分画像(教師データ)をモニタ140(一般的にカラー画面)に表示するため、輝度の絶対値演算部111で教師画像と参照画像の各画素の輝度の差の絶対値を演算する。このようにして演算された各画素における輝度の差の絶対値は第1のメモリ121に保存される。第1のメモリ121は画素に対応したデータ格納領域を備え、各画素(Xn、Yn)のデータは第1のメモリ121の領域(Xn,Yn)に保存されることとなる。この第1のメモリ121の領域(Xn,Yn)に保存されているデータは、RGBドライバ131によりモニタ140の領域(Xn,Yn)に存在する全画素(RGB)の出力(輝度)を規定する。これにより、モニタ140にはグレースケールの差分画像(教師)が表示される。
 差分画像(教師)のアテネーションをする際、上記のようにして得られた教師画像の撮影条件であるグレースケールの差分画像(教師)を用いることが一般である。
 しかしながら、異常部分を顕現化するには、教師画像と参照画像との輝度の差が正の部分や負の部分である領域を特徴つけることが好ましいことがある。そこでこの例では、輝度演算部110に、輝度の正値演算部113と負値演算部115を設けた。輝度の正値演算部113は教師画像と参照画像の各画素の輝度の差を演算する。そして、両者の輝度の差が正(ゼロ以上)のものの値を当該画素に対応した第2のメモリ123の領域に保存する。このとき、負の値はゼロ値に変換されて、第2のメモリ123の対応する領域に書き込まれる。第2のメモリ123の領域(Xm,Ym)に保存されているデータは、Rドライバ133によりモニタ140の領域(Xm,Ym)に存在するR画素の出力(輝度)を規定する。これにより、モニタ140には差分画像においてR(赤色)画像が表示される。このようにして表示された差分画像(教師データ)は教師画像において輝度の大きい部分、例えば欠損部分(背景が明かる場合)を顕現化する。
 輝度の負値演算部115は教師画像と参照画像の各画素の輝度の差を演算する。そして、両者の輝度の差が負のものの値(絶対値)を当該画素に対応した第3のメモリ125の領域に保存する。このとき、正の値はゼロ値に変換されて、第3のメモリ125の対応する領域に書き込まれる。第3のメモリ125の領域(Xk,Yk)に保存されているデータは、Bドライバ135によりモニタ140の領域(Xk,Yk)に存在するB画素の出力(輝度)を規定する。これにより、モニタ140には差分画像においてB(青色)画像が表示される。このようにして表示された差分画像(教師データ)は教師画像において輝度の小さい部分、例えばバリを顕現化する。
 学習モードにおいてオペレータは、選択部137を用いてモニタドライバを選択し、異常な部分を任意な方式で顕現化することができる。
 このAI外観検査装置1のハード構成を図5に示す。
 演算部300はCPU301、ROM303及びRAM305を備え、システム全体の制御をつかさどる。それとともに、差分画像(教師)作成部15、差分画像(検査)作成部35、AI外観検査部40、輝度演算部110、モニタドライバ130として機能する。ROM303は、演算部300を制御する制御プログラム等が格納された図示しない不揮発性メモリを含む。RAM305は、キーボード等の入力装置330を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、CPU301に対してワーキングエリアを提供したりする。演算部300を制御する制御プログラムはROM303に限らずRAM305や第1記憶装置311及び第2記憶装置313に格納されていてもよい。
 CPU301はAI処理に用いるニュートラルネットワーク処理に適したものが好ましく、ROM303若しくは第1及び第2記憶装置311,313はディープラーニング時に用いる大量のデータを保存できる容量を持つものとする。
 第1記憶装置311は教師画像保存部11、参照画像保存部13,33及び検査画像保存部31として機能する。
 第2記憶装置313は輝度メモリ120として機能する。
 これら第1及び第2の記憶装置311,313はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
 なお、データを一時的に保存する、いわゆるバッファメモリには、演算部のRAMの一部領域を利用できる。
 出力装置320はディスプレイや音声出力装置であり、入力装置330は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。また、入力装置330はAI処理のための教師データ(画像)を入力できるものとする。
 カメラ50、60には汎用的はCCDカメラを用いることができる。その解像度や焦点深度などのカメラのスペックは任意に設定可能である。
 コンピュータを構成する各装置はシステムバス340で連結されている。
 次に、図6のフローチャートを用いてこのAI外観検査装置1の動作について説明する。
 ステップ1では教師画像を取り込む。
 正常/異常が判明している外観検査対象品のサンプルを数百個集め、カメラ50を用いて撮影する。撮影のモードはグレースケールである。そして、汎用的な水増し処理により正常品の教師画像を50000枚、異常品の教師画像を3000枚とする。他方、汎用データベースから、外観検査対象品と異なる画像を3000枚準備する。
 図7に外観検査対象品の画像の例を示す。
 ステップ2では標準画像を作成する。
 ステップ1において実際に撮影した正常な外観検査対象品の画像を20枚選択し、そのうちの1枚を基準にして他の画像をパターンマッチングする。パターンマッチングされた画像を構成する各画素の輝度の平均をとって参照画像とする。
 ステップ3では、このようにして得られた参照画像とステップ1で準備された教師画像との差分画像(教師)を作成する。参照画像に教師画像をパターンマッチングさせ、各輝度の差を演算する。画素の輝度差は図4に示したアノテーション補助部100に送られ、学習モードにおけるアノテーション作業の補助をする。各差分画像(教師)には、教師画像の属性
正常、異常)にもとづき、正常ラベル又は異常ラベルが付される。
 差分画像(教師)うち、正常な教師画像に基づくものである差分画像(正常)と正常ラベルとのセットで教師データ(正常)が構成され、異常な教師画像に基づくものである差分画像(異常)と異常ラベルのセットで教師データ(異常)が構成される。
 ステップ5では、すべての教師画像について教師データ(正常常)、教師データ(異常)が準備されたら、これをAI外観検査部40へ入力する。ここに、AI外観検査部40へ入力される差分画像(正常、異常)を構成する各画素における輝度は、参照画像と教師画像の輝度の差の絶対値である。
 演算された差分画像をそのラベルとともに、逐次AI外観検査部40へ入力することもできる。
 ステップ7では、差分画像(教師)が入力されたAI外観検査部40は、AIソフト:テクムズ社 DEEPS AI Inspectionを実行し、機械学習を行う。なお、このAIソフトはトリプレットロスの技法を利用するものである。
 ステップ9では、外観検査対象品をカメラ60で撮影して、検査画像を取り込む。
 ステップ11では、このようにして取り込まれた検査画像とステップ2で準備した参照画像との差分画像(検査)を作成する。参照画像に対して検査画像をパターンマッチングして、差分画像(検査)を構成する画素における参照画像と検査画像との輝度の差の絶対値が当該差分画像(検査)となる。
 ステップ13では、ステップ11で準備された差分画像(検査)を学習すみのAI外観検査部40へ入力し、AI処理を実行させる。その結果は距離として出力され、出力された距離に応じて正常品の確率(%)が求められる。
 このようにして、外観検査対象につき異常の有無を検査する。学習すみのAI外観検査部40を用いれば、工場のラインを流れるサンプルをカメラ60で撮影することにより、ほぼリアルタイムで異常の有無を検査可能となる。
 この発明は、上記発明の実施形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
1 AI外観検査装置
10 学習部
30 運用部
100 アノテーション補助部

Claims (21)

  1.  外観検査対象品の正常品を代表するものとして予め準備した参照画像と外観検査対象品の教師画像との差分画像(教師)を作成する学習用の前処理ステップと、前記差分画像(教師)には外観検査対象品の正常品画像と前記参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と前記参照画像との差分画像(異常品)が含まれる、
     前記差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、前記差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)と、をAl外観検査部に入力する学習用の入力ステップと、
     入力された前記教師データ(正常品)と前記教師データ(異常品)とを前記AI外観処理部に処理させて、前記差分画像(正常品)と前記差分画像(異常品)との間の関係を学習させる学習用のAI処理ステップと、
     外観検査対象品について実際に撮影した検査画像と前記参照画像との差分画像(検査)を作成する、検査用の前処理ステップと、
     前記学習すみのAl外観検査装置に前記差分画像(検査)を入力する検査用の入力ステップと、
     入力された前記差分画像(検査)を前記学習すみのAI外観処理部に処理させて、入力された前記差分画像(検査)についての第1の関係を特定する検査用のAI処理ステップと、
     を備えるAI外観検査方法。
  2.  前記差分画像(教師)は前記参照画像と前記外観検査対象品の教師画像とをパターンマッチングさせた後、両者の輝度の差を演算して得られ、
     前記差分画像(検査)は前記参照画像と前記外観検査対象品の実際の撮影画像とをパターンマッチングさせた後、両者の輝度の差を演算して得られる、請求項1に記載のAI外観検査方法。
  3.  前記参照画像は複数の正常品の平均画像である、請求項1又は2に記載のAI外観検査方法。
  4.  前記AI外観処理部はAI用プログラムとしてメトリックラーニングを用いる、請求項1~3のいずれかに記載のAI外観検査方法。
  5.  前記AI用プログラムとしてトリプレットロスを用いる、請求項4に記載のAI外観検査方法。
  6.  前記学習用の前処理ステップは、前記教師画像と前記参照画像においてそれぞれ対応するピクセルの輝度の差を演算する学習用の輝度差演算ステップと、前記輝度の差の絶対値を演算する学習用の絶対値演算ステップと、前記輝度の差の絶対値を、前記差分画像(教師)を構成するピクセルに対応する第1のメモリ(教師)に保存する第1の保存ステップを備え、
     前記学習用の入力ステップでは、該第1のメモリ(教師)に保存された前記輝度の差の絶対値を前記差分画像(教師)として、前記正常ラベル又は異常ラベルとともに、前記AI外観処理部へ入力し、
     前記検査用の前処理ステップは、前記検査画像と前記参照画像においてそれぞれ対応するピクセルの輝度の差を演算する検査用の輝度差演算ステップと、前記輝度の差の絶対値を演算する検査用の絶対値演算ステップと、を備え、
     前記検査用の入力ステップでは、前記輝度の差の絶対値を前記差分画像(検査)として前記学習すみのAl外観検査装置に入力する、請求項2に記載のAI外観検査方法。
  7.  前記学習用の前処理ステップにおいて、前記輝度の差がゼロ以上のとき、前記輝度の差を、前記差分画像(教師)を構成するピクセルに対応する第2のメモリ(教師)に保存し、及び/又は
     前記輝度の差が負のとき、前記輝度の差を、前記差分画像(教師)を構成するピクセルに対応する第3のメモリ(教師)に保存する、請求項6に記載のAI外観検査方法。
  8.  RGBピクセルを有するモニタにおいて前記第2のメモリ(教師)に保存されている前記輝度の差を前記モニタの前記RGBピクセルのいずれか1つのピクセルの出力に反映させ、前記第3のメモリ(教師)に保存されている前記輝度の差を前記RGBピクセルの他の1つの出力に反映させ、前記第1のメモリ(教師)に保存されている輝度の差を前記モニタの前記RGBの出力に反映させる、請求項7に記載のAI外観検査方法。
  9.  外観検査対象品の正常品を代表するものとして予め準備した参照画像と外観検査対象品の教師画像との差分画像(教師)を作成する学習用の前処理ステップと、前記差分画像(教師)には外観検査対象品の正常品画像と前記参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と前記参照画像との差分画像(異常品)が含まれる、
     前記差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、前記差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)と、をAl外観検査部に入力する学習用の入力ステップと、
     を備えるAI外観検査用の学習方法。
  10.  外観検査対象品について実際に撮影した検査画像と参照画像との差分画像(検査)を作成する検査用の前処理ステップと、ここに前記参照画像は外観検査対象品の正常品を代表するものとして予め準備されたものである、
     学習すみのAl外観検査装置に前記差分画像(検査データ)を入力する検査用の入力ステップと、
     入力された差分画像(検査データ)をAI外観処理部に処理させて、入力された差分画像(検査データ)についての第1の関係を特定する検査用AI処理ステップと、を備えるAI外観検査方法であって、
     ここに、前記AI外観検査装置は次のステップを実行して学習が行われる、
      前記参照画像と外観検査対象品の教師画像との差分画像(教師)を作成する学習用の前処理ステップと、前記差分画像(教師)には外観検査対象品の正常品画像と前記参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と前記参照画像との差分画像(異常品)が含まれる、
      前記差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、前記差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)と、をAl外観検査部に入力する学習用の入力ステップと、
      入力された前記教師データ(正常品)と前記教師データ(異常品)とを前記AI外観処理部に処理させて、前記差分画像(正常品)と前記差分画像(異常品)との間の関係を学習させる学習用のAI処理ステップ。
  11.  外観検査対象品の正常品を代表するものとして予め準備した参照画像を保存する参照画像保存部と、
     前記参照画像と外観検査対象品の教師画像との差分画像(教師)を作成する学習用の差分画像(教師)作成部と、前記差分画像(教師)には外観検査対象品の正常品画像と前記参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と前記参照画像との差分画像(異常品)が含まれる、
     前記差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、前記差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)との入力を受け入れ、入力された前記教師データ(正常品)と前記教師データ(異常品)とををAI処理して、前記差分画像(正常品)と前記差分画像(異常品)との間の関係を学習するAI外観処理部と、及び
     外観検査対象品について実際に撮影した検査画像と前記参照画像との差分画像(検査)を作成する差分画像(検査)作成部と、を備え、
     学習済の前記AI外観処理部に前記差分画像(検査)を処理させて、入力された前記差分画像(検査)についての第1の関係を特定する、AI外観検査装置。
  12.  前記差分画像(教師)作成部は、前記参照画像と前記外観検査対象品の教師画像とをパターンマッチングさせた後、両者の輝度の差を演算する、
     前記差分画像(検査)作成部は、前記参照画像と前記外観検査対象品の実際の撮影画像とをパターンマッチングさせた後、両者の輝度の差を演算する、
     請求項11に記載のAI外観検査装置。
  13.  前記参照画像は複数の正常品の平均画像である、請求項11又は12に記載のAI外観検査装置
  14.  前記学習用の差分画像(教師)作成部は、前記教師画像と前記参照画像においてそれぞれ対応するピクセルの輝度の差を演算する輝度差演算部と、前記輝度の差の絶対値を演算する絶対値演算部と、前記輝度の差の絶対値を、前記各差分画像(教師)を構成するピクセルに対応して保存する第1のメモリ(教師)を備え、
     前記AI外観処理部に入力される前記差分画像(教師)として、該第1のメモリ(教師)に保存された前記輝度の差の絶対値が用いられる、請求項12に記載のAI外観検査装置。
  15.  前記学習用の差分画像(教師)作成部は、前記輝度の差がゼロ以上のとき、前記輝度の差を、前記差分画像(教師)を構成するピクセルに対応して保存する第2のメモリ(教師)、及び/又は
     前記輝度の差が負のとき、前記輝度の差を、前記差分画像(教師)を構成するピクセルに対応して保存する第3のアドレス(教師)を更に備える、請求項14に記載のAI外観検査装置。
  16.  RGBピクセルを備えるモニタが更に備えられ、該モニタは前記第2のメモリ(教師)に保存されている前記輝度の差を前記モニタの前記RGBピクセルのいずれか1つのピクセルの出力に反映させ、前記第3のメモリ(教師)に保存されている前記輝度の差を前記RGBピクセルの他の1つの出力に反映させ、前記第1のメモリ(教師)に保存されている輝度の差を前記モニタの前記RGBの出力に反映させる、請求項15に記載のAI外観検査装置。
  17.  外観検査対象品の正常品を代表するものとして予め準備した参照画像を保存する参照画像保存部と、
     前記参照画像と外観検査対象品の教師画像との差分画像(教師)を作成する学習用の差分画像(教師)作成部と、前記差分画像(教師)には外観検査対象品の正常品画像と前記参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と前記参照画像との差分画像(異常品)が含まれる、
     前記差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、前記差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)との入力を受け入れ、入力された前記教師データ(正常品)と前記教師データ(異常品)とをAI処理して、前記差分画像(正常品)と前記差分画像(異常品)との間の関係を学習するAI外観処理部と、を備えてなるAI外観検査用の学習装置。
  18.  外観検査対象品について実際に撮影した検査画像と参照画像との差分画像(検査)を作成する検査用の差分画像(検査)作成部と、ここに前記参照画像は外観検査対象品の正常品を代表するものとして予め準備されたものである、
     前記差分画像(検査)を処理させて、入力された前記差分画像(検査)についての第1の関係を特定する学習済のAI外観処理部と、を備えてなるAI外観検査装置であって、
     ここに学習すみの前記AI外観検査装置は次のステップを実行して学習が行われたものである、
      前記参照画像と外観検査対象品の教師画像との差分画像(教師)を作成する学習用の前処理ステップと、前記差分画像(教師)には外観検査対象品の正常品画像と前記参照画像との差分画像(正常品)及び、外観検査対象品の異常品画像と前記参照画像との差分画像(異常品)が含まれる、
      前記差分画像(正常品)及び正常ラベルのセットからなる教師データ(正常品)と、前記差分画像(異常品)及び異常ラベルのセットからなる教師データ(異常品)と、をAl外観検査部に入力する学習用の入力ステップと、
      入力された前記教師データ(正常品)と前記教師データ(異常品)とを前記AI外観処理部に処理させて、前記差分画像(正常品)と前記差分画像(異常品)との間の関係を学習させる学習用のAI処理ステップ、
    AI外観検査装置。
  19.  請求項14に記載のAI外観検査装置に用いられるコンピュータ用のプログラムであって、
     前記輝度差演算部に、前記教師画像と前記参照画像においてそれぞれ対応するピクセルの輝度の差を演算させ、
     前記絶対値演算部に前記輝度の差の絶対値を演算させ、
     前記第1のメモリ(教師)に、前記輝度の差の絶対値を、前記各差分画像(教師)を構成するピクセルに対応して保存させ、
     前記AI外観処理部に、前記差分画像(教師)として、該第1のメモリ(教師)に保存された前記輝度の差の絶対値を処理させる、プログラム。
  20.  請求項19に記載のプログラムであって、前記AI外観検査装置には第2のメモリ(教師)及び/又は第3のメモリ(教師)が更に備えられ、
     前記輝度の差がゼロ以上のとき、前記第2のメモリ(教師)に、前記輝度の差を、前記差分画像(教師)を構成するピクセルに対応して保存させ、
     前記輝度の差が負のとき、第3のアドレス(教師)に、前記輝度の差を、前記差分画像(教師データ)を構成するピクセルに対応して保存させる、プログラム。
  21.  請求項19に記載のプログラムであって、前記AI外観検査装置にはRGBピクセルを備えるモニタが更に備えられ、前記第2のメモリ(教師)に保存されている前記輝度の差を前記モニタの前記RGBピクセルのいずれか1つのピクセルの出力に反映させ、前記第3のメモリ(教師)に保存されている前記輝度の差を前記RGBピクセルの他の1つの出力に反映させ、前記第1のメモリ(教師)に保存されている輝度の差を前記モニタの前記RGBの出力に反映させる、プログラム。
PCT/JP2020/027585 2019-11-18 2020-07-16 Ai外観検査方法、その装置及びそのコンピュータ用のプログラム WO2021100243A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-208323 2019-11-18
JP2019208323 2019-11-18

Publications (1)

Publication Number Publication Date
WO2021100243A1 true WO2021100243A1 (ja) 2021-05-27

Family

ID=75980540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027585 WO2021100243A1 (ja) 2019-11-18 2020-07-16 Ai外観検査方法、その装置及びそのコンピュータ用のプログラム

Country Status (1)

Country Link
WO (1) WO2021100243A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022926A (ja) * 1999-07-06 2001-01-26 Mitsubishi Electric Corp 画像認識方法および画像認識装置
JP2001127129A (ja) * 1999-10-27 2001-05-11 Hitachi Ltd 試料の欠陥検査システム、および検査方法
JP2004038885A (ja) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム
JP2009229200A (ja) * 2008-03-21 2009-10-08 Hitachi Plant Technologies Ltd 異物検査方法および異物検査装置
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP2014182064A (ja) * 2013-03-21 2014-09-29 Ebara Corp 検査用表示装置、欠陥判別方法、検査用表示プログラム
WO2016174926A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置及び画像処理方法及びプログラム
US20180260665A1 (en) * 2017-03-07 2018-09-13 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
JP2019095217A (ja) * 2017-11-17 2019-06-20 ファナック株式会社 外観検査装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022926A (ja) * 1999-07-06 2001-01-26 Mitsubishi Electric Corp 画像認識方法および画像認識装置
JP2001127129A (ja) * 1999-10-27 2001-05-11 Hitachi Ltd 試料の欠陥検査システム、および検査方法
JP2004038885A (ja) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム
JP2009229200A (ja) * 2008-03-21 2009-10-08 Hitachi Plant Technologies Ltd 異物検査方法および異物検査装置
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP2014182064A (ja) * 2013-03-21 2014-09-29 Ebara Corp 検査用表示装置、欠陥判別方法、検査用表示プログラム
WO2016174926A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置及び画像処理方法及びプログラム
US20180260665A1 (en) * 2017-03-07 2018-09-13 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
JP2019095217A (ja) * 2017-11-17 2019-06-20 ファナック株式会社 外観検査装置

Similar Documents

Publication Publication Date Title
CN109934814B (zh) 表面缺陷侦测系统及其方法
JP6705777B2 (ja) 機械学習装置、検査装置及び機械学習方法
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN106097361B (zh) 一种缺陷区域检测方法及装置
CN109060817B (zh) 人工智能复检系统及其方法
JP2019076819A (ja) 仕分けシステム
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN112070747A (zh) Led灯珠缺陷检测方法和装置
JP7393313B2 (ja) 欠陥分類装置、欠陥分類方法及びプログラム
CN112534243A (zh) 检查装置及方法
TWI694250B (zh) 表面缺陷偵測系統及其方法
WO2021100243A1 (ja) Ai外観検査方法、その装置及びそのコンピュータ用のプログラム
CN113016023B (zh) 信息处理方法以及计算机可读的非暂时性记录介质
CN117314826A (zh) 一种显示屏的性能检测方法
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
CN115311273A (zh) 检测模型的训练方法、缺陷检测方法、装置及存储介质
KR102272745B1 (ko) 컴팩트 카메라 모듈 덮개 외관 검사 시스템 및 방법
TWI722861B (zh) 分類方法及分類系統
JP7343336B2 (ja) 検査支援装置および検査支援方法
JP7067321B2 (ja) 検査結果提示装置、検査結果提示方法及び検査結果提示プログラム
JP2011232302A (ja) 画像検査方法及び画像検査装置
WO2023095416A1 (ja) 表示装置の検査方法及び情報処理装置
JP2021157550A (ja) 検出装置及びプログラム
WO2023095417A1 (ja) 画像のコントラスト強調方法及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20890946

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20890946

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP