WO2022201968A1 - 情報処理装置、制御プログラム、および制御方法 - Google Patents

情報処理装置、制御プログラム、および制御方法 Download PDF

Info

Publication number
WO2022201968A1
WO2022201968A1 PCT/JP2022/005821 JP2022005821W WO2022201968A1 WO 2022201968 A1 WO2022201968 A1 WO 2022201968A1 JP 2022005821 W JP2022005821 W JP 2022005821W WO 2022201968 A1 WO2022201968 A1 WO 2022201968A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inspection target
target area
information processing
difference
Prior art date
Application number
PCT/JP2022/005821
Other languages
English (en)
French (fr)
Inventor
智也 岡▲崎▼
高基 舘
芳幸 ▲高▼橋
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to CN202280022813.3A priority Critical patent/CN117083630A/zh
Priority to JP2023508773A priority patent/JPWO2022201968A1/ja
Priority to EP22774768.0A priority patent/EP4318391A4/en
Priority to US18/283,974 priority patent/US20240161271A1/en
Publication of WO2022201968A1 publication Critical patent/WO2022201968A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Definitions

  • the present invention relates to an information processing device, a control program, and a control method.
  • defective products are sorted by detecting product defects through visual inspections.
  • visual inspection techniques such as detecting defects by pattern matching with a reference image using the image of the product.
  • Patent Document 1 discloses the following visual inspection technology using machine learning.
  • an autoencoder or the like is trained so as to restore the normal image data.
  • a learned self-encoder or the like is used to calculate a difference between restored data generated from image data of an object photographed by a camera or the like and the image data. Then, the abnormality of the object is determined based on the magnitude of the difference. This eliminates the need to align the normal image and the image of the object, which serve as a reference for abnormality determination.
  • the present invention was made to solve the above problems. In other words, even if an area other than the inspection target area is reflected in the image of the object, or even if the appearance of the object may partially change due to the nature of the object, erroneous detection of abnormality can be suppressed. , an information processing device, a control program, and a control method.
  • a generating unit that acquires an image and generates a reconstructed image based on the image, a specifying unit that specifies an inspection target area in the image based on the image, the image and the reconstructed image and a calculation unit that calculates the difference in the inspection target area from the above.
  • the calculation unit compares a portion of the inspection target region extracted from the image with a portion corresponding to the inspection target region extracted from the reconstructed image, thereby calculating the difference in the inspection target region.
  • the calculation unit extracts the difference corresponding to the inspection target area from among the differences calculated by comparing the entire image and the entire reconstructed image, thereby extracting the inspection target area.
  • the information processing apparatus according to (1) or (2) above, which calculates the difference in the area.
  • the specifying unit specifies the inspection target area by estimating the inspection target area from the image using a trained model machine-learned so as to estimate the inspection target area from the image.
  • the information processing apparatus according to any one of (1) to (4) above.
  • step (10) a step (a) of acquiring an image and generating a reconstructed image based on the image; a step (b) of specifying an inspection target region in the image based on the image; A control program for causing a computer to execute a procedure (c) of calculating a difference in the inspection target area from the reconstructed image.
  • (11) acquiring an image and generating a reconstructed image based on the image; (b) identifying a region to be inspected in the image based on the image; and (c) calculating a difference in the inspection area from the reconstructed image.
  • the inspection target area in the image is specified based on the image, and the difference between the reconstructed image generated based on the image and the inspection target area of the image is calculated.
  • FIG. 1 is a block diagram of an inspection device;
  • FIG. 4 is a functional block diagram of a control unit;
  • FIG. FIG. 4 is an explanatory diagram for explaining generation of a reconstructed image;
  • FIG. 10 is an explanatory diagram for explaining identification of an inspection target area based on an image;
  • FIG. 10 is a diagram showing a user interface screen for designating an inspection target area in an image of a normal product;
  • FIG. 10 is an explanatory diagram for explaining calculation of a difference in an inspection target region between an image and a reconstructed image; It is a figure which shows the example of the inspection object area
  • FIG. 4 is a diagram showing an example of corresponding regions extracted from a reconstructed image; It is a figure which shows the example of an abnormality score map. It is a flow chart which shows operation of an inspection system.
  • FIG. 1 is a diagram showing the configuration of the inspection system 10.
  • FIG. 2 is a block diagram of an inspection device 100 included in the inspection system 10.
  • the inspection device 100 may be composed of a plurality of devices.
  • the inspection device 100 constitutes an information processing device.
  • the inspection system 10 may include an inspection device 100 and an imaging device 200.
  • the imaging device 200 captures an image 210 (hereinafter also simply referred to as "image 210") of an inspection target 220 (see FIG. 4), which is an object.
  • Image 210 may be an image of all or part of object 220 .
  • Image 210 may be an image that includes things other than object 220 .
  • the photographing device 200 is configured by, for example, a camera.
  • the object 220 is, for example, a product, and the product includes not only finished products such as cloth and semiconductor chips, but also unfinished products such as semiconductor wafers upstream of the manufacturing process and parts such as automobile doors.
  • Image 210 may be, for example, a black and white image or a color image, and may be a 128 pixel by 128 pixel image.
  • the imaging device 200 transmits the image 210 to the inspection device 100 .
  • the inspection apparatus 100 detects (inspects) an abnormality to be analyzed based on the image 210 .
  • Abnormalities include, for example, stains, discoloration, scratches, chips, breaks, bends, and the like.
  • the inspection apparatus 100 can detect an abnormality in the target 220 by outputting an abnormality degree indicating the degree of abnormality.
  • the inspection apparatus 100 includes a control section 110, a storage section 120, a communication section 130, and an operation display section 140. These components are connected to each other via bus 150 .
  • the inspection device 100 is configured by, for example, a computer terminal.
  • the control unit 110 is composed of a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), and other memories, and performs control and arithmetic processing of each unit of the inspection apparatus 100 according to a program. Details of the functions of the control unit 110 will be described later.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the storage unit 120 is configured by a HDD (Hard Disc Drive), SSD (Solid State Drive), etc., and stores various programs and various data.
  • HDD Hard Disc Drive
  • SSD Solid State Drive
  • the communication unit 130 is an interface circuit (for example, a LAN card, etc.) for communicating with an external device via a network.
  • an interface circuit for example, a LAN card, etc.
  • the operation display unit 140 may be composed of, for example, a touch panel.
  • the operation display unit 140 receives various inputs from the user.
  • the operation display unit 140 displays various types of information including detection results of abnormality of the target 220 .
  • control unit 110 The function of the control unit 110 will be explained.
  • FIG. 3 is a functional block diagram of the control unit 110. As shown in FIG. Control unit 110 functions as generation unit 111 , identification unit 112 , and calculation unit 113 .
  • the generation unit 111 acquires the image 210 and generates a reconstructed image 230 based on the image 210 .
  • FIG. 4 is an explanatory diagram for explaining generation of a reconstructed image.
  • the generation unit 111 generates a reconstructed image 230 of the cloth, which is the target 220, based on the image 210 of the cloth, which is the target 220.
  • the generation unit 111 generates a reconstructed image 230 that reproduces the features of a normal product.
  • the generation unit 111 may be configured by an autoencoder using a neural network, for example. To simplify the explanation, the generation unit 111 is assumed to be an autoencoder.
  • the autoencoder that constitutes the generation unit 111 is trained in advance using a relatively large amount of training data of images 210 of normal products.
  • the autoencoder by inputting the normal product image 210 to the autoencoder, the difference (loss) between the output image (reconstructed image) output from the autoencoder and the normal product image 210 is eliminated. Pre-learned by backpropagation.
  • the autoencoder is trained using training data of only good images 210 .
  • the autoencoder is thereby trained to reproduce the features of a good product in the output image. That is, the autoencoder can generate a reconstructed image 230 that reproduces the characteristics of a normal product based on the input image 210 regardless of whether the image 210 is an image of a normal product or an image of a defective product. .
  • An object may be reflected in a non-inspection area outside the inspection area 212 (see FIG. 5) where inspection is required.
  • the non-inspection area reflected in the image 210 is not reproduced or is incompletely reproduced in the reconstructed image 230 due to an abnormal reaction in the generation of the reconstructed image 230 by the generation unit 111.
  • FIG. 5 there is a possibility that the non-inspection area reflected in the image 210 is not reproduced or is incompletely reproduced in the reconstructed image 230 due to an abnormal reaction in the generation of the reconstructed image 230 by the generation unit 111.
  • the reconstructed image 230 shows a case where the diagram 211 for dimension measurement in the non-inspection area is not reproduced.
  • Such a phenomenon occurs because, for example, the image 210 of the training data used for learning of the autoencoder constituting the generation unit 111 does not show the diagram 211 of the non-inspection area, or the image 210 of the diagram 211 does not appear. It is considered that the cause is that the upper position is fluctuating.
  • the rounded ends of the cloth, which are part of the object 220, and the like, which are located in the non-inspection area are not fixed in the rolled state, so there is a possibility that the appearance may vary. As such, portions of such object 220 may also not be reproduced or be incompletely reproduced in reconstructed image 230 due to abnormal reactions in the generation of reconstructed image 230 .
  • the generation unit 111 preferably generates a reconstructed image 230 of an area including the inspection target area 212 and wider than the inspection target area 212 from the image 210 including the inspection target area 212 and the area wider than the inspection target area 212 .
  • the inspection target area 212 is extracted from the image 210 and the reconstructed image 230 is generated based on the image of only the inspection target area 212, the reconstruction accuracy is reduced in a part (edge) of the inspection target area 212.
  • the reconstruction accuracy is reduced in a part (edge) of the inspection target area 212.
  • a part of the inspection target area 212 can be generated. It is possible to prevent the reconstruction accuracy from deteriorating at the part.
  • the identifying unit 112 identifies an inspection target area 212 in the image 210 based on the image 210 .
  • the inspection target area 212 is, for example, a rectangular area in the image 210, and the specifying unit 112 can specify the inspection target area 212 by the diagonal coordinates of the rectangle, for example.
  • the inspection target area 212 is assumed to be rectangular.
  • the coordinates of the diagonal corners of the rectangle specified by the specifying unit 112 as the inspection target area 212 are also referred to as "specified coordinates 213" (see FIG. 5).
  • FIG. 5 is an explanatory diagram for explaining identification of the inspection target area 212 based on the image 210.
  • FIG. 5 an inspection target area 212 is also indicated by a dashed line in the image 210 for the sake of simplicity of explanation.
  • the specifying unit 112 can specify the inspection target area 212 in the image 210 by template matching with the image 210 using the input template image 240 of the inspection target area 212 of the normal product.
  • Template image 240 constitutes a predetermined reference image.
  • Template matching is a method of detecting a portion of image 210 that is most similar to template image 240 by shifting template image 240 on image 210 pixel by pixel and calculating similarity.
  • the target 220 may have features such as patterns in addition to features of shape.
  • the identifying unit 112 can identify the inspection target region 212 in each input image 210 using the template image 240 . Note that the specifying unit 112 may specify the inspection target region 212 in each of the plurality of images 210 by using the coordinates of the inspection target region 212 specified based on one image 210 in common for the plurality of images 210. good.
  • Template image 240 may be specified, for example, as follows.
  • Control unit 110 constitutes a reception unit, displays image 210 of a normal product on operation display unit 140 , and receives specification of inspection target area 212 by the user as specification of template image 240 .
  • the template image 240 can be specified for each product.
  • the template image 240 can be stored in the storage unit 120 in association with the product (for example, identification data specifying the product).
  • the identification unit 112 acquires from the storage unit 120 the template image 240 associated with the product to which the object 220 in the image 210 belongs.
  • FIG. 6 is a diagram showing the user interface screen 141 for designating the inspection target area 212 in the image 210 of the normal product.
  • a user interface screen 141 can be displayed on the operation display unit 140 .
  • an image 210 of a normal product is displayed on the user interface screen 141.
  • the user inputs the inspection target area 212 by, for example, clicking a pair of diagonal positions (positions indicated by white circles in FIG. 6) of the rectangle on the displayed image 210, thereby forming the rectangle. It may be designated as an inspection target area 212 .
  • the designation of the template image 240 described above is preferably performed when the generating unit 111 learns. Since the image 210 used as training data when the generation unit 111 learns is the image 210 of a normal product, the designation of the inspection target region 212 is performed when the generation unit 111 learns, so that the inspection target region 212 can be specified in a short time and efficiently. can be done.
  • the identifying unit 112 may identify the inspection target area 212 in the image 210 by machine learning. Specifically, a neural network model learned from these training data is used, with the inspection target area 212 on the normal product image 210 as a positive example and the area not including the inspection target area 212 as a negative example. Then, the inspection target area 212 may be specified by classifying the inspection target area 212 on the image 210 from the image 210 using the model of the neural network. Known methods such as VGG, EfficientNet, and Vision Transformer can be used for detection of the inspection target region 212 using the neural network.
  • an image 210 of a normal product is input data
  • an inspection target area 212 on the image 210 (specifically, the range of the inspection target area 212 on the image 210, for example, an inspection target area 212 on the image 210 A set of diagonal coordinates of a rectangle with ) is used as a correct label, and a neural network model learned from these training data is used.
  • the inspection target area 212 may be specified by detecting the inspection target area 212 on the image 210 from the image 210 using the model of the neural network.
  • Known methods such as YOLO, EfficientDet, and Detection Transformer can be used to detect the inspection target region 212 using a neural network.
  • the inspection target region 212 used as the correct label in learning the neural network model can be specified as follows.
  • the control unit 110 displays an image 210 of a normal product on the operation display unit 140 and accepts designation of an inspection target area 212 by the user. Specifically, the control unit 110 causes the two positions input by the user by clicking or the like on the image 210 of the normal product displayed on the operation display unit 140 to be displayed on the image 210 as a rectangular area to be inspected 212 . as a pair of diagonal coordinates of . As a result, the inside of the rectangle in the image 210 diagonally opposite the two accepted positions is specified as the inspection target area 212 .
  • the designation by the user of the inspection target region 212 used as the correct label in the learning of the neural network model can be performed by the user interface screen 141 (see FIG. 6) for specifying the inspection target region 212 in the normal product image 210 described above. It can be done using similar user interface screens.
  • the learning of the identifying unit 112 is preferably performed when the generating unit 111 learns.
  • An image 210 used as training data when the generating unit 111 learns is an image 210 of a normal product. Therefore, by specifying the inspection target region 212 to be used as the correct label for learning of the identifying unit 112 during learning of the generating unit 111, training data used for learning of the identifying unit 112 can be efficiently obtained.
  • the identifying unit 112 can identify the inspection target area 212 in the image 210 as the specific coordinates 213 described above.
  • the calculation unit 113 calculates the difference in the inspection target area 212 between the image 210 and the reconstructed image 230 . Specifically, the calculation unit 113 calculates a portion of the inspection target region 212 extracted from the image 210 and a portion corresponding to the inspection target region 212 extracted from the reconstructed image 230 (hereinafter referred to as “corresponding region 231” (see FIG. 7). ) may be compared to calculate the difference in the region of interest 212 between the image 210 and the reconstructed image 230 .
  • FIG. 7 is an explanatory diagram for explaining calculation of the difference in the inspection target area 212 between the image 210 and the reconstructed image 230.
  • FIG. 7 In order to simplify the explanation, a corresponding region 231 is also shown in the reconstructed image 230 .
  • a target 220 is also shown in the diagram showing the specific coordinates 213 .
  • the calculation unit 113 can use the specific coordinates 213 specified by the specifying unit 112 to extract the corresponding region 231 in the reconstructed image 230 . That is, the calculation unit 113 extracts, as the corresponding region 231 , a rectangle having the specific coordinates 213 as one set of diagonals in the reconstructed image 230 .
  • the calculation unit 113 extracts the difference corresponding to the inspection target region 212 from among the differences calculated by comparing the entire image 210 and the entire reconstructed image 230, thereby obtaining the image 210 and the reconstructed image. 230 may be calculated.
  • the difference in the inspection target area 212 between the image 210 and the reconstructed image 230 may be a pixel-by-pixel difference.
  • the calculation unit 113 can calculate the difference in the inspection target region 212 between the image 210 and the reconstructed image 230 as an abnormality score map indicating the degree of abnormality.
  • the abnormality score map is a diagram showing the score of the degree of abnormality corresponding to the magnitude of the difference between the image 210 and the reconstructed image 230, for example, by color, brightness, density, etc. in units of pixels. In the anomaly score map, highly anomalous portions of the object 220 may be highlighted.
  • the score of the degree of abnormality may be the magnitude of the difference between the image 210 and the reconstructed image 230 (for example, the absolute difference in pixel values). It may be the ratio of the difference (for example, 0.3).
  • the calculation unit 113 outputs the calculated abnormality score map.
  • the calculation unit 113 can output the abnormality score map by displaying the abnormality score map on the operation display unit 140 .
  • the calculation unit 113 may output the abnormality score map by transmitting the abnormality score map from the communication unit 130 to an external device or the like.
  • FIG. 8A is a diagram showing an example of an inspection target area 212 extracted from an image 210 of a defective product.
  • FIG. 8B is a diagram showing an example of the corresponding region 231 extracted from the reconstructed image 230.
  • FIG. 8C is a diagram showing an example of an anomaly score map.
  • FIG. 8A an inspection target area 212 of a defective product image 210 including a round dirt defect is shown.
  • FIG. 8B a corresponding region 231 of a reconstructed image 230 reconstructed from the defective image 210 is shown. Since the reconstructed image 230 is reconstructed by extracting the features of the non-defective product from the image 210 of the defective product, the image is an image without (disappeared) the defective round dirt.
  • FIG. 8C shows an abnormality score map generated based on the comparison between the inspection target region 212 of FIG. 8A and the corresponding region 231 of FIG. 8B. As shown in FIG. 8C, in the abnormality score map, the abnormality score for each pixel can be indicated by a color or the like corresponding to the magnitude of the abnormality score.
  • FIG. 9 is a flowchart showing the operation of the inspection system 10.
  • FIG. This flowchart can be executed by the control unit 110 of the inspection apparatus 100 according to a program.
  • the control unit 110 acquires the image 210 by receiving it from the imaging device 200 (S101).
  • the control unit 110 may acquire the image 210 by reading the image 210 stored in the storage unit 120 .
  • control unit 110 Based on the image 210, the control unit 110 generates a reconstructed image 230 by reconstructing the image 210 using an autoencoder or the like (S102).
  • the control unit 110 reads the template image 240 corresponding to the image 210 from the storage unit 120 (S103).
  • the control unit 110 identifies the inspection target area 212 by template matching between the image 210 and the template image 240 (S104).
  • the control unit 110 extracts the inspection target area 212 from the image 210 (S105).
  • the control unit 110 extracts the corresponding area 231 from the reconstructed image 230 (S106).
  • the control unit 110 generates an abnormality score map by comparing the extracted inspection target region 212 of the image 210 with the corresponding region 231 of the reconstructed image 230 (S107).
  • the control unit 110 outputs an abnormality score map (S108).
  • the embodiment has the following effects.
  • the inspection target area in the image is specified based on the image, and the difference between the reconstructed image generated based on the image and the inspection target area of the image is calculated.
  • the inspection target area is specified for each image based on the image. As a result, the abnormality detection accuracy can be improved.
  • the difference in the inspection target area is calculated. Therefore, the amount of calculations for abnormality detection can be reduced.
  • the difference in the inspection target area is calculated by extracting the difference corresponding to the inspection target area from among the differences calculated by comparing the entire image and the reconstructed image. This makes it possible to more easily prevent erroneous detection of abnormalities.
  • the inspection target area in the image is specified by pattern matching between the image and a predetermined reference image. This makes it possible to specify the inspection target area easily and with high accuracy.
  • the inspection target area is specified by estimating the inspection target area from the image using a machine-learned model that has been machine-learned to estimate the inspection target area from the image.
  • the inspection target area can be specified with high accuracy.
  • a machine-learned model that accepts designation of an inspection target area in a non-defective image, uses the designated inspection target area as training data, and performs machine learning to estimate the inspection target area from the image. do.
  • the inspection target area can be specified with high accuracy.
  • the degree of abnormality of the image is calculated based on the difference between the reconstructed image and the inspection target area of the image. This makes it possible to directly grasp product abnormalities.
  • the information processing apparatus, the control program, and the control method described above have described the main configurations in describing the features of the above-described embodiments, and are not limited to the above-described configurations. Various modifications can be made. Moreover, the configuration provided in a general information processing apparatus or the like is not excluded.
  • steps may be omitted from the above-described flowchart, and other steps may be added. Also, part of each step may be executed simultaneously, or one step may be divided into a plurality of steps and executed.
  • the means and methods for performing various processes in the system described above can be realized by either dedicated hardware circuits or programmed computers.
  • the program may be provided by a computer-readable recording medium such as a USB memory or a DVD (Digital Versatile Disc)-ROM, or may be provided online via a network such as the Internet.
  • the program recorded on the computer-readable recording medium is usually transferred to and stored in a storage unit such as a hard disk.
  • the above program may be provided as independent application software, or may be incorporated as one function into the software of the device such as the abnormality detection device.
  • 10 inspection system 100 inspection device, 110 control unit, 111 generator, 112 specific part, 113 calculation unit, 120 storage unit, 130 Communication Department, 140 operation display unit, 200 imaging device, 210 images, 212 inspection target area; 213 specific coordinates, 220 subject, 230 reconstructed image, 231 corresponding regions, 240 template images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】対象物の画像に検査対象領域以外の領域が映り込んだ場合や、対象物の性質上、部分的に外観が変動し得る場合であっても、異常の誤検知を抑止できる、情報処理装置を提供する。 【解決手段】画像を取得して、画像に基づいて再構成画像を生成する生成部と、画像に基づいて、画像における検査対象領域を特定する特定部と、画像と再構成画像との検査対象領域における差異を算出する算出部と、を含む情報処理装置。

Description

情報処理装置、制御プログラム、および制御方法
　本発明は、情報処理装置、制御プログラム、および制御方法に関する。
　工業製品等の生産現場等においては、外観検査により製品の欠陥を検出することで不良品の選別がされている。
　外観検査技術として、製品の画像を用いて、基準画像とのパターンマッチングにより不良を検出する等、様々な技術が知られている。
　下記特許文献１には機械学習を用いた次の外観検査技術が開示されている。カメラ等で撮影された対象物の正常画像データを用いて、当該正常画像データを復元するように自己符号化器等を学習する。学習済の自己符号機等を用いて、カメラ等で撮影された対象物の画像データから生成された復元データと、当該画像データとの差分を計算する。そして、当該差分の大きさに基づいて対象物の異常を判定する。これにより、異常判定の基準となる正常画像と対象物の画像との位置合わせを不要にできる。
国際公開第２０１８／１０５０２８号
　しかし、上記先行技術は、対象物の画像に、検査対象領域以外の領域が映り込む場合、再現画像における、当該検査対象領域以外の領域での異常反応により、正常品であっても不良品と判断され、異常の誤検知を発生させる可能性がある。また、折られた状態の封筒のフラップのように、一部分が固定されていない等の対象物の性質上、正常品であっても部分的に外観が比較的顕著に変動する場合がある。上記先行技術は、この場合も異常の誤検知を発生させる可能性がある。
　本発明は上述の問題を解決するためになされたものである。すなわち、対象物の画像に検査対象領域以外の領域が映り込んだ場合や、対象物の性質上、部分的に対象物の外観が変動し得る場合であっても、異常の誤検知を抑止できる、情報処理装置、制御プログラム、および制御方法を提供することを目的とする。
　本発明の上記課題は、以下の手段によって解決される。
　（１）画像を取得して、前記画像に基づいて再構成画像を生成する生成部と、前記画像に基づいて、前記画像における検査対象領域を特定する特定部と、前記画像と前記再構成画像との前記検査対象領域における差異を算出する算出部と、を有する情報処理装置。
　（２）前記特定部は、前記画像ごとに、前記画像に基づいて前記検査対象領域を特定する、上記（１）に記載の情報処理装置。
　（３）前記算出部は、前記画像から抽出した前記検査対象領域の部分と、前記再構成画像から抽出した前記検査対象領域に対応する部分とを比較することで、前記検査対象領域における前記差異を算出する、上記（１）または（２）に記載の情報処理装置。
　（４）前記算出部は、前記画像全体と、前記再構成画像全体とを比較することで算出した前記差異の中から、前記検査対象領域に対応する前記差異を抽出することで、前記検査対象領域における前記差異を算出する、上記（１）または（２）に記載の情報処理装置。
　（５）前記特定部は、所定の基準画像と前記画像とのパターンマッチングにより、前記画像における前記検査対象領域を特定する、上記（１）～（４）のいずれかに記載の情報処理装置。
　（６）前記特定部は、前記画像から前記検査対象領域を推定するように機械学習された学習済モデルを用いて、前記画像から前記検査対象領域を推定することにより、前記検査対象領域を特定する、上記（１）～（４）のいずれかに記載の情報処理装置。
　（７）良品の前記画像である良品画像における前記検査対象領域の指定を受け付ける受付部をさらに有し、前記学習済モデルは、前記指定がされた前記検査対象領域を訓練データとして、前記画像から前記検査対象領域を推定するように機械学習される、上記（６）に記載の情報処理装置。
　（８）良品の前記画像である良品画像における前記検査対象領域の指定を受け付ける受付部をさらに有し、前記特定部は、前記指定がされた前記検査対象領域に基づいて、前記画像における前記検査対象領域を特定する、上記（１）～（５）のいずれかに記載の情報処理装置。
　（９）前記算出部は、前記差異に基づいて前記画像の異常度を算出する、上記（１）～（８）のいずれかに記載の情報処理装置。
　（１０）画像を取得して、前記画像に基づいて再構成画像を生成する手順（ａ）と、前記画像に基づいて、前記画像における検査対象領域を特定する手順（ｂ）と、前記画像と前記再構成画像との前記検査対象領域における差異を算出する手順（ｃ）と、をコンピューターに実行させるための制御プログラム。
　（１１）画像を取得して、前記画像に基づいて再構成画像を生成する段階（ａ）と、前記画像に基づいて、前記画像における検査対象領域を特定する段階（ｂ）と、前記画像と前記再構成画像との前記検査対象領域における差異を算出する段階（ｃ）と、を有する制御方法。
　画像における検査対象領域を当該画像に基づいて特定し、当該画像に基づいて生成した再構成画像と当該画像の検査対象領域における差異を算出する。これにより、対象物の画像に検査対象領域以外の領域が映り込んだ場合や、対象物の性質上、部分的に対象物の外観が変動する場合であっても異常の誤検知を抑止できる。
検査システムの構成を示す図である。 検査装置のブロック図である。 制御部の機能ブロック図である。 再構成画像の生成について説明するための説明図である。 画像に基づく検査対象領域の特定について説明するための説明図である。 正常品の画像における検査対象領域の指定のためのユーザーインターフェース画面を示す図である。 画像と再構成画像との検査対象領域における差異を算出について説明するための説明図である。 不良品の画像から抽出された検査対象領域の例を示す図である。 再構成画像から抽出された対応領域の例を示す図である。 異常スコアマップの例を示す図である。 検査システムの動作を示すフローチャートである。
　以下、図面を参照して、本発明の実施形態に係る情報処理装置、制御プログラム、および制御方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
　図１は、検査システム１０の構成を示す図である。図２は、検査システム１０に含まれる検査装置１００のブロック図である。検査装置１００は、複数の装置により構成されてもよい。検査装置１００は情報処理装置を構成する。
　検査システム１０は、検査装置１００および撮影装置２００を含み得る。
　撮影装置２００は、対象物である検査の対象２２０（図４参照）の画像２１０（以下、単に「画像２１０」とも称する）を撮影する。画像２１０は対象２２０の全部または一部の画像であり得る。画像２１０は対象２２０以外のものが含まれる画像であり得る。撮影装置２００は、例えばカメラにより構成される。対象２２０は、例えば製品であり、製品には布や半導体チップ等の完成品だけでなく、製造工程の上流の半導体ウエハ等の未完成品や自動車のドア等の部品が含まれる。
　画像２１０は、例えば、白黒画像またはカラー画像で、１２８ピクセル×１２８ピクセルの画像であり得る。撮影装置２００は、画像２１０を検査装置１００へ送信する。
　検査装置１００は、画像２１０に基づいて、解析対象の異常を検出（検査）する。異常には、例えば、汚れ、変色、傷、欠け、折れ、曲げ等が含まれる。後述するように、検査装置１００は、異常の度合いを示す異常度を出力することにより対象２２０の異常を検出し得る。
　図２に示すように、検査装置１００は、制御部１１０、記憶部１２０、通信部１３０、および操作表示部１４０を備える。これらの構成要素は、バス１５０を介して互いに接続される。検査装置１００は、例えばコンピューター端末により構成される。
　制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って検査装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。
　記憶部１２０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等により構成され、各種プログラムおよび各種データを記憶する。
　通信部１３０は、ネットワークを介して、外部の装置と通信するためのインターフェース回路（例えばＬＡＮカード等）である。
　操作表示部１４０は、例えば、タッチパネルにより構成され得る。操作表示部１４０は、ユーザーからの各種入力を受け付ける。操作表示部１４０は、対象２２０の異常の検出結果を含む各種情報を表示する。
　制御部１１０の機能について説明する。
　図３は、制御部１１０の機能ブロック図である。制御部１１０は、生成部１１１、特定部１１２、および算出部１１３として機能する。
　生成部１１１は、画像２１０を取得して、画像２１０に基づいて再構成画像２３０を生成する。
　図４は、再構成画像の生成について説明するための説明図である。
　図４に示す例においては、生成部１１１は、対象２２０である布の画像２１０に基づいて、対象２２０である布の再構成画像２３０を生成している。生成部１１１は、正常品の特徴を再現した再構成画像２３０を生成する。生成部１１１は、例えばニューラルネットワークを用いたオートエンコーダーにより構成され得る。以下、説明を簡単にするために、生成部１１１はオートエンコーダーであるものとして説明する。生成部１１１を構成するオートエンコーダーは、比較的大量の正常品の画像２１０の訓練データを用いて予め学習される。具体的には、オートエンコーダーに正常品の画像２１０を入力することで当該オートエンコーダーから出力される出力画像（再構成画像）と当該正常品の画像２１０との差（ロス）が無くなるように、バックプロパゲーションにより予め学習される。オートエンコーダーは、正常品の画像２１０のみの訓練データを用いて学習される。これにより、オートエンコーダーは、出力画像において正常品の特徴を再現するように学習される。すなわち、オートエンコーダーにより、画像２１０が正常品の画像であっても不良品の画像であっても、入力される画像２１０に基づいて、正常品の特徴を再現した再構成画像２３０が生成され得る。
　図４に示すように、画像２１０において、対象２２０以外のものである、机上に描かれた寸法計測用のメジャーの線図２１１や、対象２２０である布の丸められた両端部等の、外観検査が求められる検査対象領域２１２（図５参照）の外の検査対象外領域にものが映り込む場合がある。この場合、画像２１０に映り込んだ検査対象外領域のものは、生成部１１１による再構成画像２３０の生成における異常反応によって、再構成画像２３０において再現されず、または不完全に再現される可能性がある。図４に示す例においては、再構成画像２３０では、検査対象外領域にある寸法測定用の線図２１１が再現されてない場合が示されている。このような現象が起こるのは、例えば生成部１１１を構成するオートエンコーダーの学習に用いる訓練データの画像２１０に、検査対象外領域の線図２１１が映っておらず、または線図２１１の画像２１０上の位置が変動していることが原因であると考えられる。なお、検査対象外領域にある、対象２２０の一部である布の丸められた両端部等も、丸められた状態で固定されていないため、外観が変動する可能性がある。このため、このような対象２２０の一部も再構成画像２３０の生成における異常反応によって、再構成画像２３０において再現されず、または不完全に再現される可能性がある。
　生成部１１１は、検査対象領域２１２を含む検査対象領域２１２より広い領域の画像２１０から、検査対象領域２１２を含む検査対象領域２１２より広い領域の再構成画像２３０を生成することが好ましい。これは、生成部１１１を構成するオートエンコーダー等による画像２１０の再構成においては、画像２１０の端部でディープニューラルネットワークの畳み込みフィルターが適切に作用しないことが多く、画像２１０の端部での再構成精度が低下する可能性がある。このため、画像２１０から検査対象領域２１２を抽出して検査対象領域２１２のみの画像に基づいて再構成画像２３０を生成すると、検査対象領域２１２の一部（端部）で再構成精度が低下する可能性がある。従って、検査対象領域２１２を含む検査対象領域２１２より広い領域の画像２１０から、検査対象領域２１２を含む検査対象領域２１２より広い領域の再構成画像２３０を生成することで、検査対象領域２１２の一部で再構成精度が低下することを防止できる。
　特定部１１２は、画像２１０に基づいて、画像２１０における検査対象領域２１２を特定する。検査対象領域２１２は、例えば画像２１０における矩形内の領域であり、特定部１１２は、例えば、検査対象領域２１２を矩形の対角の座標により特定し得る。以下、説明を簡単にするために、検査対象領域２１２は矩形であるものとして説明する。また、特定部１１２が検査対象領域２１２として特定する矩形の対角の座標を「特定座標２１３」（図５参照）とも称する。
　図５は、画像２１０に基づく検査対象領域２１２の特定について説明するための説明図である。なお、図５においては、説明を簡単にするために、画像２１０において検査対象領域２１２が破線により併せて示されている。
　特定部１１２は、入力される正常品の検査対象領域２１２のテンプレート画像２４０を用いて、画像２１０とのテンプレートマッチングにより、画像２１０における検査対象領域２１２を特定し得る。テンプレート画像２４０は所定の基準画像を構成する。テンプレートマッチングは、テンプレート画像２４０を画像２１０上で画素単位でシフトし、類似度を算出することにより、テンプレート画像２４０と最も類似する画像２１０上の部分を検出する方法である。なお、図５等においては省略されているが、対象２２０は形状の特徴の他、模様等の特徴を持ちうる。
　特定部１１２は、入力される画像２１０ごとに、テンプレート画像２４０を用いて、それぞれ、画像２１０における検査対象領域２１２を特定し得る。なお、特定部１１２は、１つの画像２１０に基づいて特定された検査対象領域２１２の座標を複数の画像２１０に共通に用いて、当該複数の画像２１０においてそれぞれ検査対象領域２１２を特定してもよい。
　上述したように、テンプレート画像２４０により検査対象領域２１２が特定される。従って、テンプレート画像２４０の指定は、検査対象領域２１２の指定に対応する。テンプレート画像２４０は、例えば次のように指定され得る。制御部１１０は、受付部を構成し、操作表示部１４０において正常品の画像２１０を表示するとともに、ユーザーによる検査対象領域２１２の指定をテンプレート画像２４０の指定として受け付ける。なお、製品ごとにテンプレート画像２４０が指定され得る。テンプレート画像２４０は製品（例えば、製品を特定する識別データ）と対応付けされて記憶部１２０に記憶され得る。特定部１１２は、画像２１０が入力（取得）されたときに、当該画像２１０内の対象２２０が属する製品と対応付けされたテンプレート画像２４０を、記憶部１２０から取得する。
　図６は、正常品の画像２１０における検査対象領域２１２の指定のためのユーザーインターフェース画面１４１を示す図である。ユーザーインターフェース画面１４１は、操作表示部１４０に表示され得る。
　図６の例においては、ユーザーインターフェース画面１４１において正常品の画像２１０が表示されている。ユーザーは、検査対象領域２１２を、表示された画像２１０上で矩形の１組の対角の位置（図６において白丸で表示された位置）をクリックすること等により入力することで、当該矩形を検査対象領域２１２として指定し得る。
　なお、上述したテンプレート画像２４０の指定（すなわち、検査対象領域２１２の指定）は、生成部１１１の学習時に行うことが好ましい。生成部１１１の学習時に訓練データとして用いる画像２１０は、正常品の画像２１０なので、検査対象領域２１２の指定を生成部１１１の学習時に行うことで、検査対象領域２１２の指定を短時間かつ効率的に行うことができる。
　特定部１１２は、正常品の画像２１０を比較的多量に用意できる場合は、機械学習により画像２１０における検査対象領域２１２を特定してもよい。具体的には、正常品の画像２１０上の検査対象領域２１２を正例、検査対象領域２１２を含まない領域を負例として、これらの訓練データにより学習されたニューラルネットワークのモデルを用いる。そして、当該ニューラルネットワークのモデルにより、画像２１０から画像２１０上の検査対象領域２１２を分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）することで検査対象領域２１２を特定してもよい。ニューラルネットワークを用いた検査対象領域２１２の検出には、ＶＧＧ、ＥｆｆｉｃｉｅｎｔＮｅｔ、およびＶｉｓｉｏｎ　Ｔｒａｎｓｆｏｒｍｅｒ等の公知の方法を用い得る。また、正常品の画像２１０を入力データ、当該画像２１０上の検査対象領域２１２（具体的には、当該画像２１０上の検査対象領域２１２の範囲であり、例えば、画像２１０上の検査対象領域２１２である矩形の１組の対角の座標）を正解ラベルとして、これらの訓練データにより学習されたニューラルネットワークのモデルを用いる。そして、当該ニューラルネットワークのモデルにより、画像２１０から画像２１０上の検査対象領域２１２を検出（Ｄｅｔｅｃｔｉｏｎ）することで検査対象領域２１２を特定してもよい。ニューラルネットワークを用いた検査対象領域２１２の検出には、ＹＯＬＯ、ＥｆｆｉｃｉｅｎｔＤｅｔ、およびＤｅｔｅｃｔｉｏｎ　Ｔｒａｎｓｆｏｒｍｅｒ等の公知の方法を用い得る。
　ニューラルネットワークのモデルの学習において正解ラベルとして用いられる検査対象領域２１２は、次のように指定され得る。制御部１１０は、操作表示部１４０において正常品の画像２１０を表示するとともに、ユーザーによる検査対象領域２１２の指定を受け付ける。具体的には、制御部１１０は、操作表示部１４０において表示させた正常品の画像２１０上でユーザーによりクリック等により入力された２箇所の位置を、画像２１０上の検査対象領域２１２である矩形の１組の対角の座標として受け付ける。これにより、受け付けられた２箇所の位置を対角とする、画像２１０における矩形内が検査対象領域２１２として指定される。ニューラルネットワークのモデルの学習において正解ラベルとして用いられる検査対象領域２１２のユーザーによる指定は、上述した、正常品の画像２１０における検査対象領域２１２の指定のためのユーザーインターフェース画面１４１（図６参照）と同様のユーザーインターフェース画面を用いて行い得る。
　なお、特定部１１２の学習（ニューラルネットワークのモデルの学習）は、生成部１１１の学習時に行うことが好ましい。生成部１１１の学習時に訓練データとして用いる画像２１０は、正常品の画像２１０である。このため、特定部１１２の学習に正解ラベルとして用いる検査対象領域２１２の指定を生成部１１１の学習時に行うことで、特定部１１２の学習に用いる訓練データを効率的に取得できる。
　特定部１１２は、画像２１０における検査対象領域２１２を、上述した特定座標２１３として特定し得る。
　算出部１１３は、画像２１０と再構成画像２３０との検査対象領域２１２における差異を算出する。具体的には、算出部１１３は、画像２１０から抽出した検査対象領域２１２の部分と、再構成画像２３０から抽出した検査対象領域２１２に対応する部分（以下、「対応領域２３１」（図７参照）とも称する）とを比較することで、画像２１０と再構成画像２３０との検査対象領域２１２における差異を算出し得る。
　図７は、画像２１０と再構成画像２３０との検査対象領域２１２における差異を算出について説明するための説明図である。なお、説明を簡単にするために、再構成画像２３０において、対応領域２３１が併せて示されている。また、特定座標２１３を示す図において対象２２０が併せて示されている。
　算出部１１３は、特定部１１２により特定された特定座標２１３を、再構成画像２３０における対応領域２３１の抽出に利用し得る。すなわち、算出部１１３は、再構成画像２３０において、特定座標２１３を１組の対角とする矩形を、対応領域２３１として抽出する。
　算出部１１３は、画像２１０の全体と、再構成画像２３０の全体とを比較することで算出した差異の中から、検査対象領域２１２に対応する差異を抽出することで、画像２１０と再構成画像２３０との検査対象領域２１２における差異を算出してもよい。
　画像２１０と再構成画像２３０との検査対象領域２１２における差異は、画素単位の差異であり得る。算出部１１３は、画像２１０と再構成画像２３０との検査対象領域２１２における差異を、異常度を示す異常スコアマップとして算出し得る。異常スコアマップは、画像２１０と再構成画像２３０との差分の大きさに対応する異常度のスコアを、例えば画素単位の色、明度、濃度等で示す図である。異常スコアマップにおいては、対象２２０の異常度が高い部分が強調され得る。異常度のスコアは、画像２１０と再構成画像２３０との差分の大きさ（例えば、画素値の絶対値差分）そのものであってもよく、当該差分の最大値を１としたときの画素ごとの当該差分の割合（例えば、０．３等）であってもよい。
　算出部１１３は、算出した異常スコアマップを出力する。算出部１１３は、操作表示部１４０に異常スコアマップを表示することで異常スコアマップを出力し得る。算出部１１３は、通信部１３０から異常スコアマップを外部装置等へ送信することで異常スコアマップを出力してもよい。
　図８Ａは、不良品の画像２１０から抽出された検査対象領域２１２の例を示す図である。図８Ｂは、再構成画像２３０から抽出された対応領域２３１の例を示す図である。図８Ｃは、異常スコアマップの例を示す図である。
　図８Ａの例においては、丸い汚れの不良を含む不良品の画像２１０の検査対象領域２１２が示されている。図８Ｂの例においては、不良品の画像２１０から再構成された再構成画像２３０の対応領域２３１が示されている。再構成画像２３０は、不良品の画像２１０から良品の特徴が抽出されて再構成されるため、不良である丸い汚れがない（消えた）画像になっている。図８Ｃの例においては、図８Ａの検査対象領域２１２と図８Ｂの対応領域２３１との比較に基づいて生成された異常スコアマップが示されている。図８Ｃに示すように、異常スコアマップにおいては、画素ごとの異常スコアが、異常スコアの大きさに対応する色等で示され得る。
　図９は、検査システム１０の動作を示すフローチャートである。本フローチャートは、プログラムに従い、検査装置１００の制御部１１０により実行され得る。
　制御部１１０は、画像２１０を撮影装置２００から受信することで取得する（Ｓ１０１）。制御部１１０は、記憶部１２０に記憶させた画像２１０を読み出すことで取得してもよい。
　制御部１１０は、画像２１０に基づいて、オートエンコーダー等を用いて画像２１０を再構成することにより、再構成画像２３０を生成する（Ｓ１０２）。
　制御部１１０は、画像２１０に対応するテンプレート画像２４０を記憶部１２０から読み出す（Ｓ１０３）。
　制御部１１０は、画像２１０とテンプレート画像２４０とのテンプレートマッチング等により、検査対象領域２１２を特定する（Ｓ１０４）。
　制御部１１０は、画像２１０から検査対象領域２１２を抽出する（Ｓ１０５）。
　制御部１１０は、再構成画像２３０から対応領域２３１を抽出する（Ｓ１０６）。
　制御部１１０は、抽出した、画像２１０の検査対象領域２１２と、再構成画像２３０の対応領域２３１とを比較することで、異常スコアマップを生成する（Ｓ１０７）。
　制御部１１０は、異常スコアマップを出力する（Ｓ１０８）。
　実施形態は、以下の効果を奏する。
　画像における検査対象領域を当該画像に基づいて特定し、当該画像に基づいて生成した再構成画像と当該画像の検査対象領域における差異を算出する。これにより、対象物の画像に検査対象領域以外の領域が映り込んだ場合や、対象物の性質上、部分的に対象物の外観が変動する場合であっても異常の誤検知を抑止できる。
　さらに、検査対象領域を、画像ごとに、当該画像に基づいて特定する。これにより、異常の検知精度を向上できる。
　さらに、画像から抽出した検査対象領域の部分と、再構成画像から抽出した検査対象領域に対応する部分とを比較することで、検査対象領域における差異を算出する。これにより、異常検出のための演算量を低減できる。
　さらに、画像全体と、再構成画像全体とを比較することで算出した差異の中から、検査対象領域に対応する差異を抽出することで、検査対象領域における前記差異を算出する。これにより、より簡単に異常の誤検知を抑止できる。
　さらに、所定の基準画像と画像とのパターンマッチングにより、当該画像における検査対象領域を特定する。これにより、簡単かつ高精度に検査対象領域を特定できる。
　さらに、画像から検査対象領域を推定するように機械学習された学習済モデルを用いて、画像から検査対象領域を推定することにより、検査対象領域を特定する。これにより、高精度に検査対象領域を特定できる。
　さらに、良品の画像における検査対象領域の指定を受け付け、上記学習済モデルを、指定がされた検査対象領域を訓練データとして、画像から検査対象領域を推定するように機械学習された学習済モデルとする。これにより、高精度に検査対象領域を特定できる。
　さらに、良品の画像における検査対象領域の指定を受け付け、指定がされた検査対象領域に基づいて、画像における検査対象領域を特定する。これにより、より簡単に検査対象領域を指定できる。
　さらに、再構成画像と画像の検査対象領域における差異に基づいて画像の異常度を算出する。これにより、製品の異常を直接的に把握できる。
　以上に説明した、情報処理装置、制御プログラム、および制御方法は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な情報処理装置等が備える構成を排除するものではない。
　例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。
　また、上述したシステムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその異常検知装置等の装置のソフトウエアに組み込まれてもよい。
　本出願は、２０２１年３月２６日に出願された日本特許出願（特願２０２１－０５２７７１号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。
　　１０　　検査システム、
　　１００　　検査装置、
　　１１０　　制御部、
　　１１１　　生成部、
　　１１２　　特定部、
　　１１３　　算出部、
　　１２０　　記憶部、
　　１３０　　通信部、
　　１４０　　操作表示部、
　　２００　　撮影装置、
　　２１０　　画像、
　　２１２　　検査対象領域、
　　２１３　　特定座標、
　　２２０　　対象、
　　２３０　　再構成画像、
　　２３１　　対応領域、
　　２４０　　テンプレート画像。
 

Claims (11)

  1. 　画像を取得して、前記画像に基づいて再構成画像を生成する生成部と、
    　前記画像に基づいて、前記画像における検査対象領域を特定する特定部と、
    　前記画像と前記再構成画像との前記検査対象領域における差異を算出する算出部と、
    　を有する情報処理装置。
  2. 　前記特定部は、前記画像ごとに、前記画像に基づいて前記検査対象領域を特定する、請求項１に記載の情報処理装置。
  3. 　前記算出部は、前記画像から抽出した前記検査対象領域の部分と、前記再構成画像から抽出した前記検査対象領域に対応する部分とを比較することで、前記検査対象領域における前記差異を算出する、請求項１または２に記載の情報処理装置。
  4. 　前記算出部は、前記画像全体と、前記再構成画像全体とを比較することで算出した前記差異の中から、前記検査対象領域に対応する前記差異を抽出することで、前記検査対象領域における前記差異を算出する、請求項１または２に記載の情報処理装置。
  5. 　前記特定部は、所定の基準画像と前記画像とのパターンマッチングにより、前記画像における前記検査対象領域を特定する、請求項１～４のいずれか一項に記載の情報処理装置。
  6. 　前記特定部は、前記画像から前記検査対象領域を推定するように機械学習された学習済モデルを用いて、前記画像から前記検査対象領域を推定することにより、前記検査対象領域を特定する、請求項１～４のいずれか一項に記載の情報処理装置。
  7. 　良品の前記画像である良品画像における前記検査対象領域の指定を受け付ける受付部をさらに有し、
    　前記学習済モデルは、前記指定がされた前記検査対象領域を訓練データとして、前記画像から前記検査対象領域を推定するように機械学習される、請求項６に記載の情報処理装置。
  8. 　良品の前記画像である良品画像における前記検査対象領域の指定を受け付ける受付部をさらに有し、
    　前記特定部は、前記指定がされた前記検査対象領域に基づいて、前記画像における前記検査対象領域を特定する、請求項１～５のいずれか一項に記載の情報処理装置。
  9. 　前記算出部は、前記差異に基づいて前記画像の異常度を算出する、請求項１～８のいずれか一項に記載の情報処理装置。
  10. 　画像を取得して、前記画像に基づいて再構成画像を生成する手順（ａ）と、
    　前記画像に基づいて、前記画像における検査対象領域を特定する手順（ｂ）と、
    　前記画像と前記再構成画像との前記検査対象領域における差異を算出する手順（ｃ）と
    、
    　をコンピューターに実行させるための制御プログラム。
  11. 　画像を取得して、前記画像に基づいて再構成画像を生成する段階（ａ）と、
    　前記画像に基づいて、前記画像における検査対象領域を特定する段階（ｂ）と、
    　前記画像と前記再構成画像との前記検査対象領域における差異を算出する段階（ｃ）と
    、
    　を有する制御方法。
PCT/JP2022/005821 2021-03-26 2022-02-15 情報処理装置、制御プログラム、および制御方法 WO2022201968A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280022813.3A CN117083630A (zh) 2021-03-26 2022-02-15 信息处理装置、控制程序以及控制方法
JP2023508773A JPWO2022201968A1 (ja) 2021-03-26 2022-02-15
EP22774768.0A EP4318391A4 (en) 2021-03-26 2022-02-15 INFORMATION PROCESSING DEVICE, CONTROL PROGRAM AND CONTROL METHOD
US18/283,974 US20240161271A1 (en) 2021-03-26 2022-02-15 Information processing apparatus, control program, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021052771 2021-03-26
JP2021-052771 2021-03-26

Publications (1)

Publication Number Publication Date
WO2022201968A1 true WO2022201968A1 (ja) 2022-09-29

Family

ID=83396923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005821 WO2022201968A1 (ja) 2021-03-26 2022-02-15 情報処理装置、制御プログラム、および制御方法

Country Status (5)

Country Link
US (1) US20240161271A1 (ja)
EP (1) EP4318391A4 (ja)
JP (1) JPWO2022201968A1 (ja)
CN (1) CN117083630A (ja)
WO (1) WO2022201968A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105028A1 (ja) 2016-12-06 2018-06-14 三菱電機株式会社 検査装置及び検査方法
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法
JP2020187735A (ja) * 2019-05-13 2020-11-19 富士通株式会社 表面欠陥識別方法及び装置
JP2020187656A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
JP2021052771A (ja) 2013-03-15 2021-04-08 モジュラー ジェネティクス， インコーポレイテッド アシルアミノ酸の生成

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020187657A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021052771A (ja) 2013-03-15 2021-04-08 モジュラー ジェネティクス， インコーポレイテッド アシルアミノ酸の生成
WO2018105028A1 (ja) 2016-12-06 2018-06-14 三菱電機株式会社 検査装置及び検査方法
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法
JP2020187735A (ja) * 2019-05-13 2020-11-19 富士通株式会社 表面欠陥識別方法及び装置
JP2020187656A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4318391A4

Also Published As

Publication number Publication date
EP4318391A1 (en) 2024-02-07
CN117083630A (zh) 2023-11-17
US20240161271A1 (en) 2024-05-16
JPWO2022201968A1 (ja) 2022-09-29
EP4318391A4 (en) 2024-09-25

Similar Documents

Publication Publication Date Title
US7155052B2 (en) Method for pattern inspection
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
TWI798516B (zh) 取樣檢驗的方法及其系統與非暫態電腦可讀取儲存媒體
US8115169B2 (en) Method and apparatus of pattern inspection and semiconductor inspection system using the same
TWI684000B (zh) 產生檢查配方的方法及其系統
KR101992970B1 (ko) 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
JP7453813B2 (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
JP7492240B2 (ja) 分析装置及び分析方法
CN117274258B (zh) 主板图像的缺陷检测方法、系统、设备及存储介质
WO2020137121A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2022130814A1 (ja) 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム
JP2014126445A (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JP2006113073A (ja) パターン欠陥検査装置及びパターン欠陥検査方法
WO2022201968A1 (ja) 情報処理装置、制御プログラム、および制御方法
JP2023145412A (ja) 欠陥検出方法及びシステム
CN112084728B (zh) 基于pix2pix的PCB灰度图像着色方法及系统
JP7475901B2 (ja) 試験片上の欠陥検出の方法およびそのシステム
JP7462377B1 (ja) 方法、プログラム、情報処理装置、及び学習済みモデル
KR102686135B1 (ko) 인공지능을 활용한 결함 검사 방법 및 인공지능을 활용한 결함 검사 장치
WO2021229901A1 (ja) 画像検査装置、画像検査方法及び学習済みモデル生成装置
WO2024062854A1 (ja) 画像処理装置および画像処理方法
US20230005120A1 (en) Computer and Visual Inspection Method
CN113808136B (zh) 一种基于最近邻算法的液晶屏幕缺陷检测方法和系统
JP7459696B2 (ja) 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法演算装置の学習方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22774768

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023508773

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280022813.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18283974

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022774768

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022774768

Country of ref document: EP

Effective date: 20231026