WO2023218537A1 - 対象領域抽出装置、方法、及びシステム - Google Patents

対象領域抽出装置、方法、及びシステム Download PDF

Info

Publication number
WO2023218537A1
WO2023218537A1 PCT/JP2022/019847 JP2022019847W WO2023218537A1 WO 2023218537 A1 WO2023218537 A1 WO 2023218537A1 JP 2022019847 W JP2022019847 W JP 2022019847W WO 2023218537 A1 WO2023218537 A1 WO 2023218537A1
Authority
WO
WIPO (PCT)
Prior art keywords
target area
image data
inspection
unit
extraction device
Prior art date
Application number
PCT/JP2022/019847
Other languages
English (en)
French (fr)
Inventor
直登 小林
靖 岡島
圭悟 河合
遼介 奥田
絢佳 久米
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2022/019847 priority Critical patent/WO2023218537A1/ja
Publication of WO2023218537A1 publication Critical patent/WO2023218537A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present invention relates to a target area extraction device, method, and system.
  • Patent Document 1 At manufacturing sites such as factories, products manufactured by industrial machines such as machining centers and robots are inspected (for example, Patent Document 1).
  • the inspection target area target pixel area
  • an imaging device such as a camera
  • a defect may be determined based on image information outside the area, or conversely, the defect may be removed from the determination area, resulting in a failure to make a determination.
  • Area detection methods include defining an area as a continuous area of pixels with a certain brightness or higher, or defining a shape pattern of the inspection area in advance and performing pattern matching to define the area. It had been taken.
  • the target area extraction device solves the above problems by performing area extraction on a target inspection image using a deep learning machine trained in advance by a neural network and extracting the inspection target area with higher accuracy. do.
  • One aspect of the present disclosure is a target area extraction device that extracts an inspection target area from image data of the external appearance of a product, the apparatus extracting an inspection target area in the image data of the product.
  • a model storage unit that stores a neural network model trained using a plurality of training image datasets annotated with , a data acquisition unit that acquires image data of the external appearance of the product, and a data acquisition unit that stores image data in the model storage unit.
  • a target area extraction unit that extracts a target area for inspection in the image data from the image data using the model, and an output unit that outputs the target area for inspection in the image data extracted by the target area extraction unit.
  • This is a target area extraction device comprising:
  • Another aspect of the present disclosure is a target area extraction device that creates a model for extracting an inspection target area from image data of the external appearance of a product, the apparatus acquiring image data of the external appearance of the product.
  • a data acquisition unit an annotation unit that annotates the image data with data indicating an inspection target area of the image data; and a machine learning unit that uses the image data and the annotation as a learning image dataset.
  • the present invention is a target area extraction device including a learning unit that generates a model of a neural network based on data processing, and a model storage unit that stores the model.
  • Another aspect of the present disclosure is a computer-executed target area extraction method for extracting an inspection target area from image data of the external appearance of a product, the computer extracting an inspection target area from image data of the external appearance of a product. and storing the image data of the product in a model storage unit that stores a neural network model trained using a plurality of training image data sets annotated with inspection target areas in the image data.
  • the present invention is a target area extraction method that executes the following steps: extracting a target area for inspection in the image data from the image data using a model that has been extracted from the image data; and outputting the extracted target area for inspection in the image data.
  • Another aspect of the present disclosure is a target area learning method executed by a computer that creates a model for extracting an inspection target area from image data of the external appearance of a product, the computer a step of acquiring image data obtained by capturing an image; a step of annotating the image data with data indicating a target area for inspection of the image data; and converting the image data and the annotation into a learning image data set.
  • This is a target area learning method that executes a step of performing machine learning to generate a neural network model, and a step of storing the model.
  • an external appearance inspection system that extracts an inspection target area from image data of the external appearance of a product and detects defects in the extracted inspection target area
  • the system comprising: a robot that grips an image sensor; , a visual inspection system comprising: a target area extracting device; and a defective portion detecting section that detects a defective portion in an inspection target area in the image data extracted by the target area extracting device.
  • FIG. 1 is a hardware configuration diagram of a target area extraction device according to an embodiment.
  • FIG. 2 is a block diagram showing the functions of the target area extraction device according to the first embodiment.
  • FIG. 2 is a block diagram showing the functions of a target area extraction device according to a second embodiment.
  • FIG. 3 is a diagram showing the flow of processing for extracting and narrowing down inspection target regions from image data.
  • FIG. 7 is a block diagram showing the functions of a target area extraction device according to a third embodiment.
  • FIG. 3 is a block diagram showing the functions of a target area extraction device according to a fourth embodiment.
  • FIG. 3 is a block diagram showing the functions of a target area extraction device according to a fifth embodiment.
  • FIG. 2 is a diagram showing an example of a robot used for visual inspection.
  • FIG. 1 is a schematic hardware configuration diagram showing the main parts of a target area extraction device according to an embodiment of the present invention.
  • the target area extraction device 1 of the present invention can be implemented as a control device that controls an industrial machine such as a robot for performing visual inspection, for example.
  • the target area extraction device 1 of the present invention can be applied to a personal computer attached to a control device that controls industrial machinery for visual inspection, a personal computer connected to the control device via a wired/wireless network, or a cell. It can be implemented on a computer, such as a computer, fog computer 6, cloud server 7, etc.
  • an example will be shown in which the target area extraction device 1 is installed on a personal computer connected via a network to a control device that controls industrial machinery.
  • the CPU 11 included in the target area extraction device 1 is a processor that controls the target area extraction device 1 as a whole.
  • the CPU 11 reads out a system program stored in the ROM 12 via the bus 22, and controls the entire target area extraction device 1 in accordance with the system program.
  • the RAM 13 temporarily stores temporary calculation data, display data, and various data input from the outside.
  • the non-volatile memory 14 is composed of, for example, a memory backed up by a battery (not shown) or a SSD (Solid State Drive), and the storage state is maintained even when the power of the target area extraction device 1 is turned off.
  • the nonvolatile memory 14 stores programs and data read from the external device 72 via the interface 15, programs and data input via the input device 71, programs and data acquired from the industrial machine 3, etc. Ru.
  • the data stored in the nonvolatile memory 14 may be expanded to the RAM 13 at the time of execution/use. Further, various system programs such as a known analysis program are written in the ROM 12 in advance.
  • the interface 15 is an interface for connecting the CPU 11 of the target area extraction device 1 and an external device 72 such as a USB device. From the external device 72 side, for example, pre-stored control programs and data related to the operation of each industrial machine 3 can be read. Further, the control program, setting data, etc. edited in the target area extracting device 1 can be stored in external storage means via the external device 72.
  • the interface 20 is an interface for connecting the CPU 11 of the target area extraction device 1 and the wired or wireless network 5.
  • the industrial machine 3, fog computer 6, cloud server 7, etc. are connected to the network 5, and exchange data with the target area extraction device 1.
  • Each data read into the memory, data obtained as a result of executing a program, etc. are outputted and displayed on the display device 70 via the interface 17. Further, an input device 71 including a keyboard, a pointing device, etc. passes commands, data, etc. based on operations by an operator to the CPU 11 via the interface 18.
  • the industrial machine 3 is a machine for inspecting the appearance of products processed by machine tools, injection molding machines, etc.
  • the industrial machine 3 includes an image sensor 4 that captures at least an image of the appearance of the product.
  • An example of the industrial machine 3 is a robot that grips an image sensor 4 as shown in FIG.
  • the target area extracting device 1 acquires image data representing the appearance of a product captured by the image sensor 4 from the industrial machine 3 via the network 5 and the interface 20 .
  • the acquired image data is stored in the RAM 13 to nonvolatile memory 14 and processed by the CPU 11.
  • the interface 21 is an interface for connecting the CPU 11 and the machine learning device 100.
  • the machine learning device 100 includes a processor 101 that controls the entire machine learning device 100, a ROM 102 that stores system programs, etc., a RAM 103 that stores temporary storage for each process related to machine learning, and a memory that stores models and the like.
  • a non-volatile memory 104 is provided.
  • the machine learning device 100 can observe each piece of information that can be acquired by the target area extraction device 1 via the interface 21.
  • the target area extraction device 1 also acquires the processing results output from the machine learning device 100 via the interface 21, stores and displays the acquired results, and connects the network 5 etc. to other devices. Send via.
  • FIG. 2 is a schematic block diagram showing the functions of the target area extraction device 1 according to the first embodiment of the present invention.
  • Each function of the target region extraction device 1 according to the present embodiment is implemented by the CPU 11 of the target region extraction device 1 shown in FIG. This is realized by controlling the operations of each part of the machine learning device 100.
  • the target area extraction device 1 of this embodiment includes a data acquisition section 110, a target area extraction section 120, and an output section 140. Additionally, the RAM 103 to non-volatile memory 104 of the machine learning device 100 have an area for storing a model that has learned the relationship between image data of a product and data indicating the inspection target area in the image data. A model storage unit 210 is prepared in advance.
  • the data acquisition unit 110 may acquire image data of the product imaged by the image sensor 4 included in the industrial machine 3. Further, the data acquisition unit 110 may acquire image data acquired and stored by the external device 72, the fog computer 6, the cloud server 7, etc. The data acquisition unit 110 outputs the acquired image data to the target area extraction unit 120.
  • the target area extraction unit 120 extracts a target area to be inspected in the image data input from the data acquisition unit 110 using a model of a deep learning device.
  • a model of the deep learning device a multilayer neural network model is used that is trained on image data using a plurality of training image datasets annotated with data indicating a region to be inspected in the image data.
  • the target area extraction unit 120 outputs data indicating the target area of the inspection in the extracted image data to the output unit 140.
  • the output unit 140 displays and outputs data indicating the target area of the image data input by the target area extraction unit 120 to the display device 70.
  • the output unit 140 may display and output the data indicating the target area side by side with the image data.
  • the output unit 140 may transmit and output data indicating the target area to the industrial machine 3 from which the image data has been acquired. In this case, the data indicating the target area is used in the industrial machine 3 to determine the inspection range in the image data.
  • the output unit 140 may transmit and output data indicating the target area to a higher-level computer such as the fog computer 6 or the cloud server 7 via the network 5.
  • the data may be output to a log recording area provided in advance on the nonvolatile memory 14 or the like.
  • the target area extraction device 1 By using the target area extraction device 1 according to this embodiment having the above configuration, it is possible to detect the inspection range from the target image with higher accuracy without incurring large costs.
  • the method of acquiring image data has been devised, such as adjusting the exposure time in advance to make it easier to extract the area to be inspected. This is to make features of the machined surface (for example, cutter marks, etc.) that tend to be erroneously detected as outside the inspection target area less noticeable. Therefore, extra work was required for workers during inspections.
  • the target area extraction device 1 according to the present embodiment uses a multilayer neural network, and can learn to include the features of the machined surface that tend to be erroneously detected in conventional methods in the range of the target area for inspection. Therefore, compared to conventional methods, the image data acquisition method requires no extra effort and can be expected to improve accuracy.
  • FIG. 3 is a schematic block diagram showing the functions of the target area extraction device 1 according to the second embodiment of the present invention.
  • Each function of the target region extraction device 1 according to the present embodiment is implemented by the CPU 11 of the target region extraction device 1 shown in FIG. This is realized by controlling the operations of each part of the machine learning device 100.
  • the target area extraction device 1 of this embodiment further includes a target area narrowing down unit 130 in addition to the data acquisition unit 110, the target area extraction unit 120, and the output unit 140. Additionally, the RAM 103 to non-volatile memory 104 of the machine learning device 100 have an area for storing a model that has learned the relationship between image data of a product and data indicating the inspection target area in the image data. A model storage unit 210 is prepared in advance.
  • the functions of the data acquisition unit 110 and target area extraction unit 120 according to this embodiment are similar to those shown in the first embodiment.
  • the target area narrowing unit 130 further inspects the range of the target area in the image data extracted by the target area extraction unit 120 by using a target area detection method using classical image processing techniques such as focus determination and area determination. Narrow down the target area.
  • classical image processing refers to image processing methods that used techniques such as edge detection through binarization processing, shape pattern matching, and Fourier transformation, which were performed before the introduction of machine learning.
  • the target area narrowing unit 130 performs focus determination using known Laplacian differentiation or fast Fourier transform on the range of the target area in the image data, and detects the in-focus portion as the target range for inspection. good.
  • an area smaller than a predetermined area within the extracted target area may be excluded from the target area.
  • the target area narrowing down unit 130 outputs data indicating the detected target area to the output unit 140.
  • the output unit 140 displays and outputs data indicating the target area of the image data input by the target area narrowing unit 130 to the display device 70.
  • the output unit 140 may display and output the data indicating the target area side by side with the image data.
  • the output unit 140 may transmit and output data indicating the target area to the industrial machine 3 from which the image data has been acquired. In this case, the data indicating the target area is used in the industrial machine 3 to determine the inspection range in the image data.
  • the output unit 140 may transmit and output data indicating the target area to a higher-level computer such as the fog computer 6 or the cloud server 7 via the network 5.
  • the data may be output to a log recording area provided in advance on the nonvolatile memory 14 or the like.
  • FIG. 4 shows an example in which the target area extraction device 1 according to the present embodiment detects an inspection target area from image data.
  • the target area extraction unit 120 when image data 301 of a product is acquired, the target area extraction unit 120 first extracts a target area for inspection using a trained model of a multilayer neural network.
  • Data 303 is data obtained by the target area extraction unit 120 extracting the target area for inspection from the image data using a machine learning device. In the data 303, the portion extracted as the inspection target area is shown in white. Thereafter, the target area narrowing unit 130 performs image processing such as focus determination and area determination on the range of the image data 301 that is designated as the inspection target area in the data 303, and further narrows down the inspection target area.
  • Data 305 is data indicating a target area for inspection in the narrowed-down image data detected by the target area narrowing section 130 through image processing. The target area extraction device 1 performs output processing on this data 305 as the target area for inspection in the final image data.
  • the target area extraction device 1 By using the target area extraction device 1 according to this embodiment having the above configuration, it is possible to detect the inspection range from the target image with higher accuracy without incurring large costs.
  • Objects such as products often have complex three-dimensional shapes, and it is required to extract a specific area from them as the area to be inspected.
  • the characteristics of the region required are wide-ranging, and in particular there are cases where it is necessary to extract the detailed state of the target surface.
  • region extraction using machine learning technology as the variety of input data increases, accuracy decreases and learning costs and data collection costs increase. Furthermore, assuming individual variations in workpieces and imaging while moving a camera using a robot, etc., it is necessary to assume an environment in which imaging conditions will fluctuate.
  • the target area extraction device 1 According to the present embodiment, only the in-focus area is targeted by a classical method as a post-processing for the extraction result of the target area for inspection by the machine learning device. This has the effect of stabilizing area detection, improving accuracy, and reducing data collection costs.
  • FIG. 5 is a schematic block diagram showing the functions of the target area extraction device 1 according to the third embodiment of the present invention.
  • the target area extraction device 1 according to the present embodiment has a function of detecting defective parts from image data in visual inspection. It is something that Each function of the target region extraction device 1 according to the present embodiment is implemented by the CPU 11 of the target region extraction device 1 shown in FIG. This is realized by controlling the operations of each part of the machine learning device 100.
  • the functions of the data acquisition unit 110, target area extraction unit 120, and target area narrowing unit 130 according to this embodiment are similar to those shown in the first and second embodiments.
  • the defective portion detection unit 150 detects a defective portion in the image data of the product in a range included in the inspection target area detected by the target area narrowing unit 130.
  • the defective portion detection unit 150 may use a known classical defective portion detection method using image processing. For example, it is possible to use a method of detecting scratches and dirt on the product surface by performing binarization or edge detection on the inspection target area of image data. It is also possible to detect defective parts by applying a blur filter, blob analysis, and contrast conversion. Furthermore, a known technique for detecting defective portions in image data using a multilayer neural network may be used.
  • the defective portion detection unit 150 outputs the presence or absence of a defective portion in the image data to the output unit 140. Further, when a defective portion is detected, the area of the defective portion of the image data is also output to the output unit 140.
  • the output unit 140 displays and outputs the presence or absence of a defective part in the image data input by the defective part detection unit 150 to the display device 70. Further, the output unit 140 may display and output image data, data indicating the target area, and data indicating the area of the detected defective part. Further, the output unit 140 may transmit and output these data to the industrial machine 3 from which the image data has been acquired. Further, the output unit 140 may transmit and output data indicating the target area to a higher-level computer such as the fog computer 6 or the cloud server 7 via the network 5. Alternatively, the data may be output to a log recording area provided in advance on the nonvolatile memory 14 or the like.
  • the target area extraction device 1 By using the target area extraction device 1 according to this embodiment having the above configuration, it is possible to detect the inspection range from the target image with higher accuracy without incurring large costs. Moreover, a defective portion can be detected from within an appropriate inspection target area in image data. When a defective part is detected, the industrial machine 2 can perform operations such as removing the defective product from the line depending on the detection result. In this way, by linking the target area extraction device 1 and the industrial machine 2, it is also possible to construct an appearance inspection system that inspects products with high precision.
  • FIG. 6 is a schematic block diagram showing the functions provided in the target area extraction device 1 according to the fourth embodiment of the present invention.
  • the target area extraction device 1 according to the present embodiment is provided with various functions for learning a model used by the target area extraction device 1 according to the first to third embodiments to extract a target area.
  • Each function of the target region extraction device 1 according to the present embodiment is implemented by the CPU 11 of the target region extraction device 1 shown in FIG. This is realized by controlling the operations of each part of the machine learning device 100.
  • the target area extraction device 1 of this embodiment includes a data acquisition section 110, an annotation adding section 160, and a learning section 180. Further, on the RAM 13 to nonvolatile memory 14 of the target area extraction device 1, a data storage section 220 is prepared in advance, which is an area for storing image data obtained by capturing an image of a product acquired by the data acquisition section 110. Furthermore, on the RAM 103 to non-volatile memory 104 of the machine learning device 100, there is an area for storing a model that has learned the relationship between the image data of the product and the data indicating the inspection target area in the image data. A model storage unit 210 is prepared in advance.
  • the data acquisition unit 110 may acquire image data of a product imaged by the image sensor 4 included in the industrial machine 3. Further, the data acquisition unit 110 may acquire image data acquired and stored by the external device 72, the fog computer 6, the cloud server 7, etc. The data acquisition unit 110 stores the acquired image data in the data storage unit 220.
  • the annotation adding unit 160 adds annotations to the product image data acquired by the data acquiring unit 110.
  • the annotation added to the image data of a product becomes data indicating the area to be inspected within the image data.
  • This data may be, for example, mask data that masks the outside of the inspection target area within the image data.
  • the annotation adding unit 160 may, for example, manually acquire annotations by a worker.
  • the annotation adding unit 160 displays the image data on the display device 70. Then, while referring to the image data, the operator specifies a portion of the image data that is to be inspected.
  • the annotation adding unit 160 creates data indicating the portion that is the input target area of the inspection. Then, a learning image data set is created in which the created data is associated with the image data, and is stored in the data storage unit 220.
  • the learning unit 180 determines the inspection of the image data for the image data based on the learning image data set in which the image data acquired by the data acquisition unit 110 and the annotation added to the image data are associated. Generate a model that has learned the features of the target area. The generated model is then stored in the model storage unit 210. The machine learning performed by the learning unit 180 is known supervised learning. Examples of the model include a multilayer neural network. The model generated by the learning unit 180 can be used to estimate the inspection target area in the image data of the product. Note that the method for learning features of image data using a multilayer neural network as a model is already well known, and therefore detailed description thereof will be omitted in this specification.
  • the target area extraction device 1 can generate a model used in the target area extraction device 1 according to the first to third embodiments. By using the model generated by the target area extraction device 1, it becomes possible to detect the inspection range from the target image with higher accuracy without incurring large costs.
  • FIG. 7 is a schematic block diagram showing the functions included in the target area extraction device 1 according to the fifth embodiment of the present invention.
  • the target area extraction device 1 according to the present embodiment is provided with various functions for learning a model used by the target area extraction device 1 according to the first to third embodiments to extract a target area.
  • Each function of the target region extraction device 1 according to the present embodiment is implemented by the CPU 11 of the target region extraction device 1 shown in FIG. This is realized by controlling the operations of each part of the machine learning device 100.
  • the target area extraction device 1 of this embodiment further includes a data augmentation unit 190 in addition to the data acquisition unit 110, annotation provision unit 160, and learning unit 180.
  • a data storage section 220 is prepared in advance, which is an area for storing image data obtained by capturing an image of a product acquired by the data acquisition section 110.
  • the RAM 103 to non-volatile memory 104 of the machine learning device 100 there is an area for storing a model that has learned the relationship between the image data of the product and the data indicating the inspection target area in the image data.
  • a model storage unit 210 is prepared in advance.
  • the functions of the data acquisition unit 110 and annotation adding unit 160 according to this embodiment are the same as those shown in the fourth embodiment.
  • the data augmentation unit 190 performs image processing (such as brightness correction (gamma correction) processing, scaling processing, rotation processing, and processing of synthesizing images corresponding to defects) on the image data acquired by the data acquisition unit 110. Create multiple image data that have been processed (image processing). Furthermore, a learning image data set is created in which the annotation added to the original image data by the annotation adding unit 160 is associated with the image data obtained by processing each image. Then, the learning image data set in which the original image data and the annotation are associated, and the created learning image data set are output to the learning unit 180.
  • image processing such as brightness correction (gamma correction) processing, scaling processing, rotation processing, and processing of synthesizing images corresponding to defects
  • the data augmentation unit 190 also applies the same method to the annotation added to the processed image data. Perform processing.
  • the data augmentation unit 190 is responsible for augmenting a single learning image dataset into a plurality of learning image datasets based on environmental changes.
  • the learning unit 180 generates a model that has learned the characteristics of the inspection target area within the image data, based on the learning image dataset inflated by the data augmentation unit 190.
  • the generated model is then stored in the model storage unit 210.
  • the machine learning performed by the learning unit 180 is known supervised learning.
  • Examples of the model include a multilayer neural network.
  • the model generated by the learning unit 180 can be used to estimate the inspection target area in the image data of the product. Note that the method for learning features of image data using a multilayer neural network as a model is already well known, and therefore detailed description thereof will be omitted in this specification.
  • the target area extraction device 1 can generate a model used in the target area extraction device 1 according to the first to third embodiments.
  • the model generated by the target area extraction device 1 it becomes possible to detect the inspection range from the target image with higher accuracy without incurring large costs.
  • the data augmentation unit 190 pads the learning image data set, it is possible to efficiently train the model using less image data.
  • Target area extraction device 3
  • Industrial machine 4
  • Image sensor 5
  • Network 6
  • Volt computer 6
  • RAM 14
  • Non-volatile memory 15
  • Bus 70
  • Display device 71
  • Input device 72
  • External device 100
  • Machine learning device 101
  • Processor 102
  • ROM 103
  • RAM 104
  • Non-volatile memory 110
  • Data acquisition section 120
  • Target region extraction section 130
  • Target region narrowing section 140
  • Output section 150
  • Defect part detection section 160
  • Annotation provision section 180
  • Learning section 190
  • Data augmentation section 210
  • Model storage section 220 Data storage section

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明による対象領域抽出装置は、製品の画像データに対して、該画像データにおける検査の対象領域をアノテーションとして付与した学習用画像データセットを複数用いて学習したニューラルネットワークのモデルを記憶するモデル記憶部と、製品の外観を撮像した画像データを取得するデータ取得部と、モデル記憶部に記憶されたモデルを用いて、画像データから該画像データにおける検査の対象領域を抽出する対象領域抽出部と、対象領域抽出部が抽出した、画像データにおける検査の対象領域を出力する出力部と、を備える。

Description

対象領域抽出装置、方法、及びシステム
　本発明は、対象領域抽出装置、方法、及びシステムに関する。
　工場などの製造現場では、マシニングセンタやロボットなどの産業機械により製造された製品の検査を行っている（例えば、特許文献１など）。製品の傷などの欠陥を検査するにあたり、カメラなどの撮像装置で撮影した画像における検査の対象領域部分（対象画素領域）を正しく判定し検出することが、検査の前処理として非常に重要である。この領域検出を間違えてしまうと、領域外の画像情報をもとに欠陥と判定してしまったり、逆に欠陥部を判定領域から外してしまう事により判定漏れが起きたりする。
　領域検出の手法としては、ある輝度以上の画素が決められた連続して存在する領域を領域と定義する方法や、検査範囲の形状パターンをあらかじめ定義してパターンマッチして領域を定義する方法が採られていた。
特開２０１８－１９４５４２号公報
　しかしながら、この方法では、大きい欠陥を検査領域外としてしまう、対象物の形状にばらつきのある鋳物などで領域の検知ミスが起きる、などといった問題が発生していた。
　そこで、より精度よく検査範囲を検出する技術が望まれている。
　本開示による対象領域抽出装置は、対象とする検査画像に対して、ニューラルネットワークによってあらかじめ学習された深層学習器による領域抽出を行い、検査対象領域をより精度よく抽出することにより、上記課題を解決する。
　そして、本開示の一態様は、製品の外観を撮像した画像データから、検査の対象領域を抽出する対象領域抽出装置であって、製品の画像データに対して、該画像データにおける検査の対象領域をアノテーションとして付与した学習用画像データセットを複数用いて学習したニューラルネットワークのモデルを記憶するモデル記憶部と、製品の外観を撮像した画像データを取得するデータ取得部と、前記モデル記憶部に記憶されたモデルを用いて、前記画像データから該画像データにおける検査の対象領域を抽出する対象領域抽出部と、前記対象領域抽出部が抽出した、前記画像データにおける検査の対象領域を出力する出力部と、を備えた対象領域抽出装置である。
　本開示の他の態様は、製品の外観を撮像した画像データから、検査の対象領域を抽出するためのモデルを作成する対象領域抽出装置であって、製品の外観を撮像した画像データを取得するデータ取得部と、前記画像データに対して、該画像データの検査の対象領域を示すデータをアノテーションとして付与するアノテーション付与部と、前記画像データ及び前記アノテーションを学習用画像データセットとした機械学習を行いニューラルネットワークのモデルを生成する学習部と、前記モデルを記憶するモデル記憶部と、を備えた対象領域抽出装置である。
　本開示の他の態様は、製品の外観を撮像した画像データから、検査の対象領域を抽出する、コンピュータが実行する対象領域抽出方法であって、コンピュータが、製品の外観を撮像した画像データを取得するステップと、製品の画像データに対して、該画像データにおける検査の対象領域をアノテーションとして付与した学習用画像データセットを複数用いて学習したニューラルネットワークのモデルを記憶するモデル記憶部に記憶されたモデルを用いて、前記画像データから該画像データにおける検査の対象領域を抽出するステップと、抽出した前記画像データにおける検査の対象領域を出力するステップと、を実行する対象領域抽出方法である。
　本開示の他の態様は、製品の外観を撮像した画像データから、検査の対象領域を抽出するためのモデルを作成する、コンピュータが実行する対象領域学習方法であって、コンピュータが、製品の外観を撮像した画像データを取得するステップと、前記画像データに対して、該画像データの検査の対象領域を示すデータをアノテーションとして付与するステップと、前記画像データ及び前記アノテーションを学習用画像データセットとした機械学習を行いニューラルネットワークのモデルを生成するステップと、前記モデルを記憶するステップと、を実行する対象領域学習方法である。
　本開示の他の態様は、製品の外観を撮像した画像データから、検査の対象領域を抽出し、抽出した検査対象領域における欠陥を検出する外観検査システムであって、撮像センサを把持するロボットと、対象領域抽出装置と、前記対象領域抽出装置が抽出した前記画像データにおける検査の対象領域における欠陥部分を検出する欠陥部分検出部と、を備えた外観検査システムである。
　本開示の一態様により、大きなコストを掛けることなく、対象画像からより精度よく検査範囲を検出することが可能となる。
一実施形態による対象領域抽出装置のハードウェア構成図である。 第１実施形態による対象領域抽出装置の機能を示すブロック図である。 第２実施形態による対象領域抽出装置の機能を示すブロック図である。 画像データからの検査対象領域の抽出と絞り込みの処理の流れを示す図である。 第３実施形態による対象領域抽出装置の機能を示すブロック図である。 第４実施形態による対象領域抽出装置の機能を示すブロック図である。 第５実施形態による対象領域抽出装置の機能を示すブロック図である。 外観検査に用いるロボットの例を示す図である。
　以下、本発明の実施形態を図面と共に説明する。
　図１は本発明の一実施形態による対象領域抽出装置の要部を示す概略的なハードウェア構成図である。本発明の対象領域抽出装置１は、例えば外観検査を行うためのロボットなどの産業機械を制御する制御装置として実装することができる。また、本発明の対象領域抽出装置１は、外観検査を行うための産業機械を制御する制御装置に併設されたパソコンや、該制御装置と有線／無線のネットワークを介して接続されたパソコン、セルコンピュータ、フォグコンピュータ６、クラウドサーバ７などのコンピュータ上に実装することができる。本実施形態では、対象領域抽出装置１を、産業機械を制御する制御装置とネットワークを介して接続されたパソコンの上に実装した例を示す。
　本実施形態による対象領域抽出装置１が備えるＣＰＵ１１は、対象領域抽出装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステム・プログラムを読み出し、該システム・プログラムに従って対象領域抽出装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から入力された各種データなどが一時的に格納される。
　不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などで構成され、対象領域抽出装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたプログラムやデータ、入力装置７１を介して入力されたプログラムやデータ、産業機械３から取得されたプログラムやデータなどが記憶される。不揮発性メモリ１４に記憶されたデータは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システム・プログラムがあらかじめ書き込まれている。
　インタフェース１５は、対象領域抽出装置１のＣＰＵ１１とＵＳＢ装置などの外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えば予め記憶されている制御用プログラムや各産業機械３の動作に係るデータなどを読み込むことができる。また、対象領域抽出装置１内で編集した制御用プログラムや設定データなどは、外部機器７２を介して外部記憶手段に記憶させることができる。
　インタフェース２０は、対象領域抽出装置１のＣＰＵ１１と有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５には、産業機械３やフォグコンピュータ６、クラウドサーバ７などが接続され、対象領域抽出装置１との間で相互にデータのやり取りを行っている。
　表示装置７０には、メモリ上に読み込まれた各データ、プログラムなどが実行された結果として得られたデータなどがインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイスなどから構成される入力装置７１は、作業者による操作に基づく指令、データなどをインタフェース１８を介してＣＰＵ１１に渡す。
　産業機械３は、工作機械や射出成形機などにより加工された製品の外観検査を行うための機械である。産業機械３は、少なくとも製品の外観を撮像する撮像センサ４を備える。産業機械３の例としては、図８に示すような、撮像センサ４を把持するロボットが挙げられる。対象領域抽出装置１は、ネットワーク５及びインタフェース２０を介して産業機械３から撮像センサ４で撮像された製品の外観を示す画像データを取得する。取得した画像データは、ＲＡＭ１３乃至不揮発性メモリ１４に記憶され、ＣＰＵ１１により処理される。
　インタフェース２１は、ＣＰＵ１１と機械学習器１００とを接続するためのインタフェースである。機械学習器１００は、機械学習器１００全体を統御するプロセッサ１０１と、システム・プログラムなどを記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及びモデルなどの記憶に用いられる不揮発性メモリ１０４を備える。機械学習器１００は、インタフェース２１を介して対象領域抽出装置１で取得可能な各情報を観測することができる。また、対象領域抽出装置１は、インタフェース２１を介して機械学習器１００から出力される処理結果を取得し、取得した結果を記憶したり、表示したり、他の装置に対してネットワーク５などを介して送信する。
　図２は、本発明の第１の実施形態による対象領域抽出装置１が備える機能を概略的なブロック図として示したものである。本実施形態による対象領域抽出装置１が備える各機能は、図１に示した対象領域抽出装置１のＣＰＵ１１と、機械学習器１００のプロセッサ１０１とがシステム・プログラムを実行し、対象領域抽出装置１及び機械学習器１００の各部の動作を制御することにより実現される。
　本実施形態の対象領域抽出装置１は、データ取得部１１０、対象領域抽出部１２０、出力部１４０を備える。また、機械学習器１００のＲＡＭ１０３乃至不揮発性メモリ１０４上には、製品を撮像した画像データと、該画像データにおける検査の対象領域を示すデータとの関係を学習したモデルを記憶するための領域としてモデル記憶部２１０が予め用意されている。
　データ取得部１１０は、産業機械３が備える撮像センサ４により撮像された製品の画像データを取得するようにしてよい。また、データ取得部１１０は、外部機器７２や、フォグコンピュータ６、クラウドサーバ７等が取得して記憶している画像データを取得してもよい。データ取得部１１０は、取得した画像データを対象領域抽出部１２０へと出力する。
　対象領域抽出部１２０は、深層学習器のモデルを用いて、データ取得部１１０から入力された画像データにおける検査を行う対象領域を抽出する。深層学習器のモデルとしては、画像データに対して、該画像データにおける検査の対象領域を示すデータをアノテーションとした複数の学習用画像データセットを用いて学習した多層ニューラルネットワークのモデルを用いる。対象領域抽出部１２０は、抽出した画像データにおける検査の対象領域を示すデータを、出力部１４０に出力する。
　出力部１４０は、対象領域抽出部１２０により入力された画像データの対象領域を示すデータを表示装置７０に対して表示出力する。出力部１４０は、対象領域を示すデータを画像データと並べて表示出力するようにしてもよい。また、出力部１４０は、画像データを取得した先の産業機械３に対して対象領域を示すデータを送信出力してもよい。この場合、対象領域を示すデータは、産業機械３において画像データにおける検査範囲の決定に用いられる。更に、出力部１４０は、ネットワーク５を介して対象領域を示すデータをフォグコンピュータ６、クラウドサーバ７などの上位のコンピュータに送信出力するようにしてもよい。また、不揮発性メモリ１４などの上に予め設けられたログ記録領域に出力するようにしてもよい。
　上記構成を備えた本実施形態による対象領域抽出装置１を用いることで、大きなコストを掛けることなく、対象画像からより精度よく検査範囲を検出することが可能となる。従来の方法では、検査の対象領域を抽出しやすいように予め露光時間などを調整するなど、画像データの取得方法に工夫をしていた。これは、検査の対象領域外として誤検出しがちな加工面の特徴（例えばカッターマークなど）を目立たなくなるようにするためである。そのため、検査の際に作業者に余計な作業が発生していた。本実施形態による対象領域抽出装置１では、多層ニューラルネットワークを用いており、従来手法で誤検出しがちな加工面の特徴を検査の対象領域の範囲に含めるように学習することができる。そのため、従来の手法と比較して、画像データの取得方法に余計な手間がかからず、より精度が向上することが期待できる。
　図３は、本発明の第２の実施形態による対象領域抽出装置１が備える機能を概略的なブロック図として示したものである。本実施形態による対象領域抽出装置１が備える各機能は、図１に示した対象領域抽出装置１のＣＰＵ１１と、機械学習器１００のプロセッサ１０１とがシステム・プログラムを実行し、対象領域抽出装置１及び機械学習器１００の各部の動作を制御することにより実現される。
　本実施形態の対象領域抽出装置１は、データ取得部１１０、対象領域抽出部１２０、出力部１４０に加えて、更に対象領域絞込み部１３０を備える。また、機械学習器１００のＲＡＭ１０３乃至不揮発性メモリ１０４上には、製品を撮像した画像データと、該画像データにおける検査の対象領域を示すデータとの関係を学習したモデルを記憶するための領域としてモデル記憶部２１０が予め用意されている。
　本実施形態によるデータ取得部１１０、対象領域抽出部１２０は、データ取得部１１０の各機能は、第１実施形態で示した各機能と同様のものである。
　対象領域絞込み部１３０は、ピント判定や面積判定などの古典的な画像処理の技術による対象領域の検出方法を用いることで、対象領域抽出部１２０が抽出した画像データにおける対象領域の範囲から更に検査の対象領域を絞り込む。本明細書では、機械学習が導入される以前に行われてきた二値化処理によるエッジ検出や形状パターンマッチング、フーリエ変換などの技術を用いた画像処理方法のことを古典的な画像処理としている。対象領域絞込み部１３０は、例えば画像データにおける対象領域の範囲に対して、公知のラプラシアン微分や高速フーリエ変換によるピント判定を行い、ピントがあっている部分を検査の対象範囲として検出するようにしてよい。また、抽出された対象領域の内で予め定めた所定の面積よりも小さい領域について、対象領域から外すようにしてもよい。対象領域絞込み部１３０は、検出した対象領域を示すデータを、出力部１４０に出力する。
　出力部１４０は、対象領域絞込み部１３０により入力された画像データの対象領域を示すデータを表示装置７０に対して表示出力する。出力部１４０は、対象領域を示すデータを画像データと並べて表示出力するようにしてもよい。また、出力部１４０は、画像データを取得した先の産業機械３に対して対象領域を示すデータを送信出力してもよい。この場合、対象領域を示すデータは、産業機械３において画像データにおける検査範囲の決定に用いられる。更に、出力部１４０は、ネットワーク５を介して対象領域を示すデータをフォグコンピュータ６、クラウドサーバ７などの上位のコンピュータに送信出力するようにしてもよい。また、不揮発性メモリ１４などの上に予め設けられたログ記録領域に出力するようにしてもよい。
　図４は、本実施形態による対象領域抽出装置１が、画像データから検査の対象領域を検出する例を示している。本実施形態による対象領域抽出装置１は、製品の画像データ３０１を取得すると、まず、対象領域抽出部１２０が、多層ニューラルネットワークの学習済みモデルを用いて検査の対象領域の抽出を行う。データ３０３は、対象領域抽出部１２０が、機械学習器を用いて画像データから検査の対象領域を抽出したものである。データ３０３では、検査の対象領域として抽出された部分を白で示している。その後、対象領域絞込み部１３０が、画像データ３０１の内で、データ３０３で検査対象領域とされている範囲に対して、ピント判定や面積判定などの画像処理を行い、更に検査の対象領域を絞り込む。データ３０５は、対象領域絞込み部１３０が、画像処理により検出した絞り込んだ画像データにおける検査の対象領域を示すデータである。対象領域抽出装置１は、このデータ３０５を最終的な画像データにおける検査の対象領域であるとして、出力処理を行う。
　上記構成を備えた本実施形態による対象領域抽出装置１を用いることで、大きなコストを掛けることなく、対象画像からより精度よく検査範囲を検出することが可能となる。製品などの対象物は３次元的に複雑な形状をしている事が多く、その中から特定の領域を検査の対象領域として抽出することが求められる。求められる領域の特徴は多岐に渡り、特に対象表面の細かい状態の抽出が必要な場合がある。機械学習の技術を用いた領域抽出では、入力データの多様性が増えると精度の低下や学習コスト、データ収集コストの増大が発生する。また、ワークの個体ばらつきや、ロボットなどでカメラを動かしながらの撮像を想定すると、撮像条件が変動する環境を想定する必要がある。例えば画像全体がピントが合わないという撮像結果もあり得、この場合は画像全体を傷判定から正しく除外する扱いをすることが必要となる。このピント判定をニューラルネットワークなどの深層学習器で学習させることも、充分に多様なデータがあれば可能である。しかしながら、現実的なデータ収集コストを考慮すると、学習データが少ない場合にも対応する必要があり、全てをニューラルネットワークで対応することは困難である。そのため、本実施形態による対象領域抽出装置１では、機械学習器による検査の対象領域の抽出結果に対し、更に後処理として古典的な手法でピントが合っている領域だけを対象としている。これにより、領域検出の安定化、精度向上、データ収集コスト低減といった効果がある。
　図５は、本発明の第３の実施形態による対象領域抽出装置１が備える機能を概略的なブロック図として示したものである。本実施形態による対象領域抽出装置１は、第１，２の実施形態による対象領域抽出装置１が備える各機能に加えて、更に、外観検査における画像データからの欠陥部分の検出を行う機能を備えたものである。本実施形態による対象領域抽出装置１が備える各機能は、図１に示した対象領域抽出装置１のＣＰＵ１１と、機械学習器１００のプロセッサ１０１とがシステム・プログラムを実行し、対象領域抽出装置１及び機械学習器１００の各部の動作を制御することにより実現される。
　本実施形態によるデータ取得部１１０、対象領域抽出部１２０、対象領域絞込み部１３０の各機能は、第１，２実施形態で示した各機能と同様のものである。
　欠陥部分検出部１５０は、製品の画像データの内で、対象領域絞込み部１３０が検出した検査の対象領域に含まれる範囲における欠陥部分を検出する。欠陥部分検出部１５０は、公知の古典的な画像処理による欠陥部分の検出方法を用いてよい。例えば画像データの検査対象領域について２値化やエッジ検出をすることで、製品表面の傷や汚れを検出する方法を用いることができる。また、ぼかしフィルタやブロブ解析、コントラスト変換を掛けることで、欠陥部分を検出することも可能である。更に、多層ニューラルネットワークを用いて画像データ内の欠陥部分を検出する公知の技術を用いるようにしてもよい。これらの欠陥部分の検出方法については既に公知となっているため、本明細書による説明は省略する。欠陥部分検出部１５０は、画像データ内の欠陥部分の有無を出力部１４０に出力する。また、欠陥部分を検出した場合には、画像データの欠陥部分の領域を併せて出力部１４０に出力する。
　本実施形態による出力部１４０は、欠陥部分検出部１５０により入力された画像データ内の欠陥部分の有無を表示装置７０に対して表示出力する。また、出力部１４０は、画像データ、対象領域を示すデータ、検出した欠陥部分の領域を示すデータを表示出力するようにしてもよい。また、出力部１４０は、画像データを取得した先の産業機械３に対してこれらのデータを送信出力してもよい。更に、出力部１４０は、ネットワーク５を介して対象領域を示すデータをフォグコンピュータ６、クラウドサーバ７などの上位のコンピュータにこれらのデータを送信出力するようにしてもよい。また、不揮発性メモリ１４などの上に予め設けられたログ記録領域に出力するようにしてもよい。
　上記構成を備えた本実施形態による対象領域抽出装置１を用いることで、大きなコストを掛けることなく、対象画像からより精度よく検査範囲を検出することが可能となる。また、画像データにおける適切な検査対象領域内から欠陥部分を検出することができる。欠陥部分が検出された際には、その検出結果に応じて産業機械２において欠陥がある製品をラインから除外するなどといった動作を行わせることができる。このように、対象領域抽出装置１と産業機械２を連携させることで、精度よく製品の検査を行う外観検査システムを構築することも可能である。
　図６は、本発明の第４実施形態による対象領域抽出装置１が備える機能を概略的なブロック図として示したものである。本実施形態による対象領域抽出装置１は、第１～３の実施形態による対象領域抽出装置１が対象領域の抽出に用いるモデルを学習するための各機能を備えたものである。本実施形態による対象領域抽出装置１が備える各機能は、図１に示した対象領域抽出装置１のＣＰＵ１１と、機械学習器１００のプロセッサ１０１とがシステム・プログラムを実行し、対象領域抽出装置１及び機械学習器１００の各部の動作を制御することにより実現される。
　本実施形態の対象領域抽出装置１は、データ取得部１１０、アノテーション付与部１６０、学習部１８０を備える。また、対象領域抽出装置１のＲＡＭ１３乃至不揮発性メモリ１４上には、データ取得部１１０が取得した製品を撮像した画像データを記憶するための領域であるデータ記憶部２２０があらかじめ用意されている。更に、機械学習器１００のＲＡＭ１０３乃至不揮発性メモリ１０４上には、製品を撮像した画像データと、該画像データにおける検査の対象領域を示すデータとの関係を学習したモデルを記憶するための領域としてモデル記憶部２１０が予め用意されている。
　本実施形態によるデータ取得部１１０は、産業機械３が備える撮像センサ４により撮像された製品の画像データを取得するようにしてよい。また、データ取得部１１０は、外部機器７２や、フォグコンピュータ６、クラウドサーバ７等が取得して記憶している画像データを取得してもよい。データ取得部１１０は、取得した画像データをデータ記憶部２２０に記憶する。
　アノテーション付与部１６０は、データ取得部１１０が取得した製品の画像データに対してアノテーションを付与する。本発明において、製品の画像データに対して付与されるアノテーションは、当該画像データ内の検査の対象領域を示すデータとなる。このデータは、例えば画像データ内の検査の対象領域外をマスクするマスクデータであってよい。アノテーション付与部１６０は、例えば作業者による手動でアノテーションを取得するようにしてよい。この場合、アノテーション付与部１６０は、画像データを表示装置７０に対して表示する。そして、作業者が画像データを参照しながら、当該画像データ内の検査の対象領域となる部分を指定する。アノテーション付与部１６０は、その入力された検査の対象領域となる部分を示すデータを作成する。そして、作成したデータを画像データと関連付けた学習用画像データセットを作成し、データ記憶部２２０に記憶する。
　学習部１８０は、データ取得部１１０が取得した画像データと、該画像データに対して付与されたアノテーションとが関連付けられた学習用画像データセットに基づいて、画像データに対する該画像データ内の検査の対象領域の特徴を学習したモデルを生成する。そして、生成したモデルをモデル記憶部２１０に記憶する。学習部１８０が行う機械学習は公知の教師あり学習である。モデルとしては、例えば多層ニューラルネットワークなどが挙げられる。学習部１８０が生成したモデルは、製品を撮像した画像データから、該画像データ内の検査の対象領域を推定するために用いることができる。なお、多層ニューラルネットワークをモデルとした画像データの特徴の学習方法については、既に十分に公知となっているため本明細書による詳細な説明は省略する。
　上記構成を備えた本実施形態による対象領域抽出装置１は、第１～３の実施形態による対象領域抽出装置１で用いるモデルを生成することができる。対象領域抽出装置１が生成したモデルを用いることで、大きなコストを掛けることなく、対象画像からより精度よく検査範囲を検出することが可能となる。
　図７は、本発明の第５実施形態による対象領域抽出装置１が備える機能を概略的なブロック図として示したものである。本実施形態による対象領域抽出装置１は、第１～３の実施形態による対象領域抽出装置１が対象領域の抽出に用いるモデルを学習するための各機能を備えたものである。本実施形態による対象領域抽出装置１が備える各機能は、図１に示した対象領域抽出装置１のＣＰＵ１１と、機械学習器１００のプロセッサ１０１とがシステム・プログラムを実行し、対象領域抽出装置１及び機械学習器１００の各部の動作を制御することにより実現される。
　本実施形態の対象領域抽出装置１は、データ取得部１１０、アノテーション付与部１６０、学習部１８０に加えて、更にデータオグメンテーション部１９０を備える。また、対象領域抽出装置１のＲＡＭ１３乃至不揮発性メモリ１４上には、データ取得部１１０が取得した製品を撮像した画像データを記憶するための領域であるデータ記憶部２２０があらかじめ用意されている。更に、機械学習器１００のＲＡＭ１０３乃至不揮発性メモリ１０４上には、製品を撮像した画像データと、該画像データにおける検査の対象領域を示すデータとの関係を学習したモデルを記憶するための領域としてモデル記憶部２１０が予め用意されている。
　本実施形態によるデータ取得部１１０、アノテーション付与部１６０の各機能は、第４の実施形態で示した各機能と同様である。
　データオグメンテーション部１９０は、データ取得部１１０が取得した画像データに対して明るさ補正（ガンマ補正）処理、拡大縮小処理、回転処理、欠陥に相当する画像を合成する処理などの画像処理（画像の加工）を行った複数の画像データを作成する。また、それぞれの画像の加工を行った画像データに対して、アノテーション付与部１６０が元の画像データに付与したアノテーションを関連付けた学習用画像データセットを作成する。そして、元の画像データとアノテーションとが関連付けられた学習用画像データセット、及び作成した学習用画像データセットを学習部１８０へと出力する。データオグメンテーション部１９０は、画像データに対する加工が画像データ内に移っている画像データの位置や大きさを変化させる加工である場合には、当該加工した画像データに付与するアノテーションについても同様の加工を行う。データオグメンテーション部１９０は、１つの学習用画像データセットから、環境変化などを想定した複数の学習用画像データセットを水増しする役割を担う。
　学習部１８０は、データオグメンテーション部１９０が水増しした学習用画像データセットに基づいて、画像データに対する該画像データ内の検査の対象領域の特徴を学習したモデルを生成する。そして、生成したモデルをモデル記憶部２１０に記憶する。学習部１８０が行う機械学習は公知の教師あり学習である。モデルとしては、例えば多層ニューラルネットワークなどが挙げられる。学習部１８０が生成したモデルは、製品を撮像した画像データから、該画像データ内の検査の対象領域を推定するために用いることができる。なお、多層ニューラルネットワークをモデルとした画像データの特徴の学習方法については、既に十分に公知となっているため本明細書による詳細な説明は省略する。
　上記構成を備えた本実施形態による対象領域抽出装置１は、第１～３の実施形態による対象領域抽出装置１で用いるモデルを生成することができる。対象領域抽出装置１が生成したモデルを用いることで、大きなコストを掛けることなく、対象画像からより精度よく検査範囲を検出することが可能となる。また、データオグメンテーション部１９０が学習用画像データセットを水増しするため、少ない画像データを用いて効率よくモデルの学習を進めることができるようになる。
　以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
　　１　　　対象領域抽出装置
　　３　　　産業機械
　　４　　　撮像センサ
　　５　　　ネットワーク
　　６　　　フォグコンピュータ
　　７　　　クラウドサーバ
　　１１　　ＣＰＵ
　　１２　　ＲＯＭ
　　１３　　ＲＡＭ
　　１４　　不揮発性メモリ
　　１５　　インタフェース
　　１７，１８，２０，２１　インタフェース
　　２２　　バス
　　７０　　表示装置
　　７１　　入力装置
　　７２　　外部機器
　１００　　機械学習器
　１０１　　プロセッサ
　１０２　　ＲＯＭ
　１０３　　ＲＡＭ
　１０４　　不揮発性メモリ
　１１０　　データ取得部
　１２０　　対象領域抽出部
　１３０　　対象領域絞込み部
　１４０　　出力部
　１５０　　欠陥部分検出部
　１６０　　アノテーション付与部
　１８０　　学習部
　１９０　データオグメンテーション部
　２１０　　モデル記憶部
　２２０　　データ記憶部

Claims (9)

  1. 　製品の外観を撮像した画像データから、検査の対象領域を抽出する対象領域抽出装置であって、
    　製品の画像データに対して、該画像データにおける検査の対象領域をアノテーションとして付与した学習用画像データセットを複数用いて学習したニューラルネットワークのモデルを記憶するモデル記憶部と、
    　製品の外観を撮像した画像データを取得するデータ取得部と、
    　前記モデル記憶部に記憶されたモデルを用いて、前記画像データから該画像データにおける検査の対象領域を抽出する対象領域抽出部と、
    　前記対象領域抽出部が抽出した、前記画像データにおける検査の対象領域を出力する出力部と、
    を備えた対象領域抽出装置。
  2. 　前記画像データ、及び前記対象領域抽出部が抽出した前記画像データにおける検査の対象領域に対して、古典的画像処理を行うことにより、該検査の対象領域を絞り込む対象領域絞込み部を更に備え、
    　前記出力部は、前記対象領域絞込み部が絞り込んだ、前記画像データにおける検査の対象領域を出力する、
    請求項１に記載の対象領域抽出装置。
  3. 　前記対象領域絞込み部が行う前記古典的画像処理は、画像のピント判定処理である、
    請求項２に記載の対象領域抽出装置。
  4. 　前記ピント判定処理は、ラプラシアン微分を使ったピント判定処理である、
    請求項３に記載の対象領域抽出装置。
  5. 　製品の外観を撮像した画像データから、検査の対象領域を抽出するためのモデルを作成する対象領域抽出装置であって、
    　製品の外観を撮像した画像データを取得するデータ取得部と、
    　前記画像データに対して、該画像データの検査の対象領域を示すデータをアノテーションとして付与するアノテーション付与部と、
    　前記画像データ及び前記アノテーションを学習用画像データセットとした機械学習を行いニューラルネットワークのモデルを生成する学習部と、
    　前記モデルを記憶するモデル記憶部と、
    を備えた対象領域抽出装置。
  6. 　前記画像データに対して画像の加工を行った複数の加工済み画像データを作成するデータオグメンテーション部を更に備え、
    　前記学習部は、前記画像データによる学習用画像データセットに加えて、前記加工済み画像データによる学習用画像データセットを用いた機械学習を行う、
    請求項５に記載の対象領域抽出装置。
  7. 　製品の外観を撮像した画像データから、検査の対象領域を抽出する、コンピュータが実行する対象領域抽出方法であって、
    　コンピュータが、
    　製品の外観を撮像した画像データを取得するステップと、
    　製品の画像データに対して、該画像データにおける検査の対象領域をアノテーションとして付与した学習用画像データセットを複数用いて学習したニューラルネットワークのモデルを記憶するモデル記憶部に記憶されたモデルを用いて、前記画像データから該画像データにおける検査の対象領域を抽出するステップと、
    　抽出した前記画像データにおける検査の対象領域を出力するステップと、
    を実行する対象領域抽出方法。
  8. 　製品の外観を撮像した画像データから、検査の対象領域を抽出するためのモデルを作成する、コンピュータが実行する対象領域学習方法であって、
    　コンピュータが、
    　製品の外観を撮像した画像データを取得するステップと、
    　前記画像データに対して、該画像データの検査の対象領域を示すデータをアノテーションとして付与するステップと、
    　前記画像データ及び前記アノテーションを学習用画像データセットとした機械学習を行いニューラルネットワークのモデルを生成するステップと、
    　前記モデルを記憶するステップと、
    を実行する対象領域学習方法。
  9. 　製品の外観を撮像した画像データから、検査の対象領域を抽出し、抽出した検査対象領域における欠陥を検出する外観検査システムであって、
    　撮像センサを把持するロボットと、
    　請求項１～４のいずれかに記載の対象領域抽出装置と、
    　前記対象領域抽出装置が抽出した前記画像データにおける検査の対象領域における欠陥部分を検出する欠陥部分検出部と、
    を備えた外観検査システム。
PCT/JP2022/019847 2022-05-10 2022-05-10 対象領域抽出装置、方法、及びシステム WO2023218537A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/019847 WO2023218537A1 (ja) 2022-05-10 2022-05-10 対象領域抽出装置、方法、及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/019847 WO2023218537A1 (ja) 2022-05-10 2022-05-10 対象領域抽出装置、方法、及びシステム

Publications (1)

Publication Number Publication Date
WO2023218537A1 true WO2023218537A1 (ja) 2023-11-16

Family

ID=88729910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019847 WO2023218537A1 (ja) 2022-05-10 2022-05-10 対象領域抽出装置、方法、及びシステム

Country Status (1)

Country Link
WO (1) WO2023218537A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153040A (ja) * 2014-02-12 2015-08-24 富士通株式会社 システム、情報処理装置、情報処理方法、および情報処理プログラム
JP2020149673A (ja) * 2019-03-15 2020-09-17 株式会社日立製作所 輸送におけるａｉベースの検査
JP2020160765A (ja) * 2019-03-26 2020-10-01 東京電力ホールディングス株式会社 情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法
WO2021251064A1 (ja) * 2020-06-10 2021-12-16 日立造船株式会社 情報処理装置、判定方法、および情報処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153040A (ja) * 2014-02-12 2015-08-24 富士通株式会社 システム、情報処理装置、情報処理方法、および情報処理プログラム
JP2020149673A (ja) * 2019-03-15 2020-09-17 株式会社日立製作所 輸送におけるａｉベースの検査
JP2020160765A (ja) * 2019-03-26 2020-10-01 東京電力ホールディングス株式会社 情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法
WO2021251064A1 (ja) * 2020-06-10 2021-12-16 日立造船株式会社 情報処理装置、判定方法、および情報処理プログラム

Similar Documents

Publication Publication Date Title
JP7316731B2 (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
JP2006351888A (ja) パターン検査装置およびそれを用いた半導体検査システム
JP2017107541A (ja) 情報処理装置、情報処理方法、プログラムおよび検査システム
JP7435303B2 (ja) 検査装置、ユニット選択装置、検査方法、及び検査プログラム
JP7505866B2 (ja) 点検支援方法、点検支援システム、及び点検支援プログラム
CN112102281B (zh) 基于改进Faster Rcnn的货车制动缸故障检测方法
Zhou et al. Chisel edge wear measurement of high-speed steel twist drills based on machine vision
JP2016110290A (ja) 情報処理装置及び情報処理方法
CN115713476A (zh) 基于激光焊接的视觉检测方法、装置及可读存储介质
KR20210038211A (ko) 이미지 마스킹을 이용한 불량 검사 방법
CN113807378A (zh) 训练数据增量方法、电子装置与计算机可读记录介质
CN115423755A (zh) 晶圆微加工结构缺陷检测方法及其装置、设备、介质
CN112102254A (zh) 基于机器视觉的木材表面缺陷检测方法与系统
WO2022229976A1 (en) Anomaly detection using a convolutional neural network and feature based memories
CN115937059A (zh) 具有生成式训练模型的零件检查系统
WO2023218537A1 (ja) 対象領域抽出装置、方法、及びシステム
CN115719326A (zh) Pcb板缺陷检测方法及装置
Mumbelli et al. An application of Generative Adversarial Networks to improve automatic inspection in automotive manufacturing
JP2022083487A5 (ja)
CN111932531A (zh) 模型训练方法、焊点缺陷检测方法、装置及电子设备
US20230230224A1 (en) Physics-informed anomaly detection in formed metal parts
US20240005477A1 (en) Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program
JP7384000B2 (ja) 協調作業システム、解析収集装置および解析プログラム
CN116724224A (zh) 加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置
JP2023047003A (ja) 機械学習システム、学習データ収集方法及び学習データ収集プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22941619

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024520125

Country of ref document: JP

Kind code of ref document: A