WO2023181277A1 - 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2023181277A1
WO2023181277A1 PCT/JP2022/014050 JP2022014050W WO2023181277A1 WO 2023181277 A1 WO2023181277 A1 WO 2023181277A1 JP 2022014050 W JP2022014050 W JP 2022014050W WO 2023181277 A1 WO2023181277 A1 WO 2023181277A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
image
unit
feature map
neural network
Prior art date
Application number
PCT/JP2022/014050
Other languages
English (en)
French (fr)
Inventor
有史 鴻巣
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2022/014050 priority Critical patent/WO2023181277A1/ja
Publication of WO2023181277A1 publication Critical patent/WO2023181277A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a visual inspection device, a visual inspection method, and a computer-readable recording medium.
  • FIG. 7 is a diagram illustrating a test model learning method according to the prior art.
  • ResNet18, WideResNet50, etc. are used as a neural network.
  • These neural networks are trained in advance using images of normal products.
  • a predetermined number for example, N
  • a predetermined number for example, 100
  • the average ⁇ and covariance matrix ⁇ are calculated for each element of the feature map.
  • the average ⁇ and covariance matrix ⁇ for each element of this feature map are used as a test model.
  • FIG. 8 is a diagram illustrating a method of performing an appearance inspection using a conventional technique.
  • the inspection image is input to a trained neural network to obtain a feature map.
  • the average is calculated for each element of the obtained feature map, and the Mahalanobis distance between this and the test model is determined.
  • the value obtained by normalizing the obtained Mahalanobis distance for each element over the entire feature map is set as the degree of abnormality of the pixel position corresponding to the position of the element. It can be displayed in the form of an abnormality map in which colors are associated with the abnormality degree of each pixel.
  • the position of a pixel larger than a predetermined threshold value is determined to be an abnormal location.
  • the visual inspection method using the conventional technology sometimes fails to detect abnormalities.
  • the orientation of parts in captured image data is not necessarily constant, but conventional technology creates inspection models that cannot successfully detect abnormalities at specific positions of parts that are oriented in a specific direction. In some cases, it was. Therefore, a technology that improves the accuracy of abnormality detection is desired.
  • the appearance inspection device by inputting images of a plurality of normal products to a trained neural network, all outputs of the intermediate layer are acquired as feature maps. Thereafter, the acquired feature map is divided into a predetermined number of groups, and inspection reference values are calculated for each group. Examples of the inspection reference value include the average ⁇ and covariance matrix ⁇ for each element of the feature map. This set of inspection reference values for each group is then set as an inspection model.
  • abnormalities are determined using the inspection standard values for each group based on the inspection values calculated from the feature map obtained by inputting the inspection image into a trained neural network. conduct. Then, the test image is determined to be normal or abnormal by an ensemble inference method using the results of each determination.
  • One aspect of the present disclosure is an appearance inspection device using a trained neural network, which includes a data acquisition unit that acquires an image indicating a normal state as a learning image, and an intermediate layer of the trained neural network that outputs an image.
  • a feature map acquisition unit that acquires a plurality of feature maps indicating the characteristics of the learning image; a group division unit that divides the acquired plurality of feature maps into a predetermined number of groups;
  • the present invention is an external appearance inspection device comprising: an inspection model creation unit that creates an inspection model based on the inspection reference value of the inspection model; and an inspection model storage unit that stores the inspection model created by the inspection model creation unit.
  • Another aspect of the present disclosure is a method executed by a visual inspection device using a trained neural network, which includes the steps of acquiring an image showing a normal state as a learning image, and outputting it in an intermediate layer of the trained neural network. a step of obtaining a plurality of feature maps indicating the characteristics of the training image to be used; a step of dividing the obtained plurality of feature maps into a predetermined number of groups; and a step of using a predetermined inspection reference value as an inspection model for each of the divided groups.
  • This is a method for performing the steps of creating the test model and storing the created test model.
  • Another aspect of the present disclosure is a computer-readable recording medium recording a program for operating a visual inspection device using a trained neural network, the data acquisition unit acquiring an image showing a normal state as a learning image.
  • a feature map acquisition unit that acquires a plurality of feature maps indicating the characteristics of the learning image output in the intermediate layer of the trained neural network; a group division unit that divides the acquired plurality of feature maps into a predetermined number of groups;
  • a test model creation unit that creates a predetermined test reference value as a test model for each group divided by the division unit, and a test model storage unit that stores the test model created by the test model creation unit record a program for operating the computer.
  • a computer-readable recording medium that
  • the accuracy of testing can be increased and false positives can be reduced. We can expect that.
  • FIG. 1 is a hardware configuration diagram of a visual inspection device according to an embodiment.
  • FIG. 2 is a block diagram showing the functions of the visual inspection device according to the first embodiment.
  • FIG. 3 is a diagram showing the flow of processing for creating an inspection model with the visual inspection apparatus according to the first embodiment. It is a block diagram showing the function of the visual inspection device by a 2nd embodiment. It is a figure which shows the flow of the process which performs a visual inspection by the visual inspection apparatus by 2nd Embodiment. It is a figure which shows the flow of the process which performs a visual inspection with the visual inspection apparatus by a modification.
  • FIG. 2 is a diagram illustrating a test model learning method according to the prior art.
  • FIG. 2 is a diagram illustrating a method of performing an appearance inspection using a conventional technique.
  • FIG. 1 is a schematic hardware configuration diagram showing the main parts of a visual inspection apparatus according to an embodiment of the present invention.
  • the visual inspection device 1 according to this embodiment can be implemented as a control device that controls an industrial machine based on a control program, for example.
  • the visual inspection device 1 according to the present embodiment may be a personal computer attached to a control device that controls industrial machinery based on a control program, a personal computer connected to the control device via a wired/wireless network, or a cell computer. , fog computer 6 , and cloud server 7 .
  • an example is shown in which the visual inspection device 1 is mounted on a personal computer connected to a control device via a network.
  • the CPU 11 included in the visual inspection device 1 is a processor that controls the visual inspection device 1 as a whole.
  • the CPU 11 reads a system program stored in the ROM 12 via the bus 22, and controls the entire visual inspection apparatus 1 according to the system program.
  • the RAM 13 temporarily stores temporary calculation data, display data, and various data input from the outside.
  • the nonvolatile memory 14 is composed of, for example, a memory backed up by a battery (not shown) or a SSD (Solid State Drive), and the stored state is maintained even when the power of the visual inspection apparatus 1 is turned off.
  • the non-volatile memory 14 includes data read from the external device 72 via the interface 15, data input via the input device 71, data acquired from the industrial machine 3 (image data captured by the imaging device 4) ) etc. are stored.
  • the data stored in the nonvolatile memory 14 may be expanded to the RAM 13 at the time of execution/use. Further, various system programs such as a known analysis program are written in the ROM 12 in advance.
  • the interface 15 is an interface for connecting the CPU 11 of the visual inspection device 1 to an external device 72 such as a USB device. From the external device 72 side, for example, pre-stored control programs and data related to the operation of each industrial machine 3 can be read. Further, the control program, setting data, etc. edited in the visual inspection apparatus 1 can be stored in external storage means via the external device 72.
  • the interface 20 is an interface for connecting the CPU of the visual inspection device 1 and the wired or wireless network 5.
  • the industrial machine 3, fog computer 6, cloud server 7, etc. are connected to the network 5, and exchange data with the visual inspection device 1.
  • the industrial machine 3 may be, for example, a robot to which an imaging device 4 such as an imaging device is attached.
  • the industrial machine 3 transfers the image captured by the image capturing device 4 to the visual inspection device 1 via the network 5. send to.
  • the display device 70 outputs and displays various data read into the memory, data obtained as a result of executing a program, data output from the machine learning device 100 (described later), etc. via the interface 17. be done. Further, an input device 71 including a keyboard, a pointing device, etc. passes commands, data, etc. based on operations by a worker to the CPU 11 via the interface 18 .
  • the interface 21 is an interface for connecting the CPU 11 and the machine learning device 100.
  • the machine learning device 100 includes a processor 101 that controls the entire machine learning device 100, a ROM 102 that stores system programs, etc., a RAM 103 for temporary storage in each process related to machine learning, and a memory for storing models and the like.
  • a non-volatile memory 104 is provided.
  • the machine learning device 100 can observe various pieces of information that can be acquired by the visual inspection device 1 via the interface 21 (for example, image data of a product captured by the imaging device of the industrial machine 3).
  • the visual inspection device 1 also acquires processing results output from the machine learning device 100 via the interface 21, stores and displays the acquired results, and transmits the results to other devices via the network 5, etc. and send.
  • FIG. 2 is a schematic block diagram showing the functions provided in the visual inspection apparatus 1 according to the first embodiment of the present invention.
  • the visual inspection device 1 according to this embodiment has a function for creating an inspection model for visual inspection.
  • Each function of the visual inspection device 1 is implemented by the CPU 11 of the visual inspection device 1 shown in FIG. 1 and the processor 101 of the machine learning device 100 executing a system program, This is achieved by controlling the operation of the
  • the visual inspection apparatus 1 of this embodiment includes a data acquisition section 110, a feature map acquisition section 120, a group division section 140, and an inspection model creation section 150. Additionally, on the RAM 13 to nonvolatile memory 14 of the visual inspection apparatus 1, a data storage unit 200, which is an area for storing data acquired by the data acquisition unit 110, and a feature map acquired by the feature map acquisition unit 120 are stored. A feature map storage section 220, which is an area for storing the test model created by the test model creation section 150, and a test model storage section 230, which is an area for storing the test model created by the test model creation section 150, are prepared in advance. On the other hand, the machine learning device 100 includes an estimation unit 130. Further, on the RAM 103 to nonvolatile memory 104 of the machine learning device 100, a model storage unit 210 is prepared in advance to store a trained neural network model that has been trained on images of normal products.
  • the data acquisition unit 110 acquires image data of the external appearance of the product.
  • the data acquired by the data acquisition unit 110 may be acquired via the network 5, for example, by an image captured by the imaging device 4 during operation of the industrial machine 3. Further, data stored in advance in the external device 72 such as a USB memory may be acquired. Furthermore, data may be acquired via the fog computer 6, cloud server 7, etc. These data are mainly used for learning the test model. In the learning stage, the data acquired by the data acquisition unit 110 is image data of the appearance of a normal product.
  • the data acquisition unit 110 stores the acquired image data of the appearance of the normal product in the data storage unit 200.
  • the feature map acquisition unit 120 performs estimation processing using a trained neural network stored in the model storage unit 210 based on image data of the appearance of a normal product stored in the data storage unit 200.
  • the estimation unit 130 is instructed to do so.
  • the output of the intermediate layer of the trained neural network is obtained as a feature map.
  • the feature map acquisition unit 120 converts all of the acquired feature maps into predetermined sizes, and then stores them in the feature map storage unit 220.
  • the feature map storage unit 220 stores a plurality of feature maps.
  • the estimation unit 130 executes estimation processing using the trained neural network stored in the model storage unit 210. Then, in the process of executing the estimation process, the output of the intermediate layer of the trained neural network is output to the feature map acquisition unit 120 as a feature map.
  • the estimation unit 130 according to this embodiment does not necessarily need to output the output in the output layer of the neural network to the outside of the machine learning device 100.
  • the group dividing unit 140 divides the plurality of feature maps stored in the feature map storage unit 220 into a predetermined number of groups.
  • the number of groups into which the group dividing unit 140 divides the feature map may be appropriately determined depending on the size of the feature map, the number of obtainable feature maps, and the method of ensemble inference to be performed later. For example, when using majority logic in ensemble inference, it is sufficient to divide into at least three or more groups. Furthermore, when the number of obtainable feature maps is small, it is not effective to divide them into too many groups. It is desirable that the number of group divisions be appropriately determined by an experienced engineer.
  • the test model creation unit 150 calculates a predetermined test reference value for each group divided by the group division unit 140.
  • the predetermined inspection reference value may be a set of an average ⁇ and a covariance matrix ⁇ for each element of a plurality of feature maps belonging to each group.
  • the calculated set of test reference values for each group is stored in the test model storage unit 230 as a test model.
  • a set of mean ⁇ and covariance matrix ⁇ for each element of the feature map calculated for each group is stored as a test model.
  • the test model consists of the average ⁇ and covariance matrix ⁇ for each element of the five feature maps.
  • FIG. 3 is a diagram showing a flow of creating an inspection model for visual inspection using the visual inspection apparatus 1 according to this embodiment.
  • the estimation unit 130 applies the learning image to the trained neural network. Input and make inferences.
  • the feature map acquisition unit 120 acquires the output from the intermediate layer in the inference process as a feature map.
  • the group division unit 140 divides them into a plurality of groups (M groups in FIG. 3).
  • test model creation unit 150 calculates the averages ⁇ 1 to ⁇ M and variance-covariance matrices ⁇ 1 to ⁇ M for each feature map element for each feature map group. These ( ⁇ 1 , ⁇ 1 ) to ( ⁇ M , ⁇ M ) are stored in the test model storage unit 230 as a test model.
  • the visual inspection device 1 divides the feature map acquired from the intermediate layer of the trained neural network into a predetermined number of groups, and calculates the average of each element of the feature map for each group.
  • ⁇ and the variance-covariance matrix ⁇ are used as a test model. Instead of using randomly extracted feature maps as in the prior art, all feature maps are used to calculate a plurality of averages ⁇ and variance-covariance matrices ⁇ . By using this, a comprehensive inspection model can be prepared for images of normal products. The created test model can be used for ensemble inference.
  • FIG. 4 is a schematic block diagram showing the functions provided in the visual inspection apparatus 1 according to the second embodiment of the present invention.
  • the visual inspection apparatus 1 includes a function for performing ensemble inference using an inspection model for visual inspection.
  • Each function of the visual inspection device 1 is implemented by the CPU 11 of the visual inspection device 1 shown in FIG. 1 and the processor 101 of the machine learning device 100 executing a system program, This is achieved by controlling the operation of the
  • the visual inspection apparatus 1 of this embodiment includes a data acquisition section 110, a feature map acquisition section 120, an abnormality determination section 160, and an output section 170. Additionally, on the RAM 13 to nonvolatile memory 14 of the visual inspection apparatus 1, there is a data storage section 200, which is an area for storing data acquired by the data acquisition section 110, and an area for storing inspection models created in advance. A certain test model storage section 230 is prepared. On the other hand, the machine learning device 100 includes an estimation unit 130. Further, on the RAM 103 to nonvolatile memory 104 of the machine learning device 100, a model storage unit 210 is prepared in advance to store a trained neural network model that has been trained on images of normal products.
  • the data acquisition unit 110 acquires image data of the external appearance of the product.
  • the data acquired by the data acquisition unit 110 may be acquired via the network 5, for example, by an image captured by the imaging device 4 during operation of the industrial machine 3. Further, data stored in advance in the external device 72 such as a USB memory may be acquired. Furthermore, data may be acquired via the fog computer 6, cloud server 7, etc. These data are used for visual inspection of the imaged product.
  • the data acquisition unit 110 stores image data of the external appearance of the product in the data storage unit 200.
  • the feature map acquisition unit 120 performs estimation processing using a trained neural network stored in the model storage unit 210 based on image data of the appearance of the product stored in the data storage unit 200.
  • the estimation unit 130 is instructed to perform the following. Then, in the estimation process by the estimation unit 130, the output of the intermediate layer of the trained neural network is obtained as a feature map.
  • the feature map acquisition unit 120 converts all of the acquired feature maps into predetermined sizes, and outputs the converted maps to the abnormality determination unit 160.
  • the estimating unit 130 according to this embodiment has the same function as the estimating unit 130 included in the visual inspection device 1 according to the first embodiment.
  • the anomaly determination unit 160 performs ensemble inference using the test model stored in the test model storage unit 230 based on the feature map acquired by the feature map acquisition unit 120. Then, based on the results of the ensemble inference, abnormalities in the inspection image are determined.
  • Ensemble inference is a method of inference by combining multiple inference results. Majority inference can be considered as the simplest method of ensemble inference.
  • the abnormality determination unit 160 determines abnormality using each of the plurality of inspection reference values stored in the inspection model storage unit 230 with respect to the feature map indicating the characteristics of the inspection image.
  • each determination result if there are many things that are determined to be normal, it is determined that it is normal, and if there are many things that are determined to be abnormal, it is determined that it is abnormal.
  • Other examples include a method in which when a predetermined number of discrimination results or more are obtained, that is used as the discrimination result, and a method in which it is determined that the condition is normal only when all discrimination results match. Ru.
  • FIG. 5 is a diagram showing a flow of determining an abnormality in an inspection image by the appearance inspection apparatus 1 according to the present embodiment.
  • a set of mean and covariance matrices ( ⁇ 1 , ⁇ 1 ) to ( ⁇ M , ⁇ M ) for each element of the feature map is stored in the test model storage unit 230 in advance as a test model.
  • the estimation unit 130 inputs the inspection image to the trained neural network. Make inferences.
  • the feature map acquisition unit 120 acquires the output from the intermediate layer in the inference process as a feature map of the inspection image.
  • the abnormality determination unit 160 performs abnormality determination on the feature map of the test image input from the feature map acquisition unit 120 using each test reference value included in the test model stored in the test model storage unit 230.
  • the abnormality determination unit 160 uses the feature map of the inspection image and each of the elements included in the inspection model. Calculate the Mahalanobis distance between the mean and variance-covariance matrices and normalize it across the feature map. If there is a portion where the Mahalanobis distance is greater than or equal to a predetermined threshold, it is determined that there is an abnormality in that feature map.
  • This abnormality discrimination process is performed for the number of average and variance-covariance matrices (M times). After that, ensemble inference is performed based on the results of M times of abnormality determination. For example, when majority inference is performed as ensemble inference, if the number of times it is determined to be normal is greater than the number of times it is determined to be abnormal, it is determined to be normal. Moreover, in the opposite case, it is determined that it is abnormal. When exact matching inference is performed as ensemble inference, if all the results are determined to be normal, it is determined to be normal, and in other cases, it is determined to be abnormal.
  • the abnormality determination unit 160 may further determine the abnormal location in the test image.
  • the abnormality determination unit 160 creates a map in which elements determined to be abnormal in each feature map are set to 1 (white) and other elements are set to 0 (black), and the created map is used as the inspection image. Create an abnormality map that is image-processed to have the same resolution. Then, a logical sum is performed for each pixel of the M abnormality degree maps created to obtain a final abnormality degree map. On the abnormality level map, the areas where an abnormality has been detected are displayed in white, which has the advantage of allowing you to identify the abnormality at a glance.
  • the output unit 170 outputs the determination result by the abnormality determination unit 160 using a predetermined method.
  • the output unit 170 may output the results of the abnormality determination to the display device 70, for example.
  • the data may be stored and output to a storage area such as the external device 72, the RAM 13, or the nonvolatile memory 14.
  • the output may be transmitted to the industrial machine 3, the fog computer 6, and the cloud server 7 via the network 5.
  • the visual inspection apparatus 1 uses an inspection model including a plurality of inspection reference values created in advance based on a feature map of an inspection image acquired from an intermediate layer of a trained neural network. Multiple abnormalities are determined. Then, by performing ensemble inference based on the results of a plurality of abnormality determinations, the abnormality of the inspection target is determined. By using ensemble inference, it is possible to ensure comprehensiveness in visual inspection. For example, by using majority reasoning in ensemble reasoning, it is expected that the accuracy of visual inspection will improve. In addition, by treating the test as normal when all the discrimination results match, it is expected that false positives in the test will be reduced.
  • the feature map acquisition unit 120 creates a plurality of inspection images by performing a predetermined image expansion process on the inspection images, and The feature map may be output to the abnormality determination unit 160 as a feature map of the inspection image.
  • the abnormality determination unit 160 performs abnormality determination using the test model for each feature map, and performs ensemble inference processing on all determination results.
  • FIG. 6 is a diagram showing a flow of determining an abnormality in an inspection image by the appearance inspection apparatus 1 according to this modification.
  • the example in FIG. 6 shows an example in which rotation processing is used as image expansion processing. As illustrated in FIG.
  • the feature map acquisition unit 120 converts an image obtained by rotating the inspection image by 90 degrees, an image obtained by rotating the inspection image by 180 degrees, and an image obtained by rotating the inspection image by 270 degrees using known image expansion. Created by processing. Then, a feature map of each image is obtained.
  • the abnormality determination unit 160 performs abnormality determination using the test model based on each feature map. Then, ensemble inference is performed using the (M ⁇ 4) abnormality determination results obtained as a result, and a final abnormality determination result is obtained.
  • the abnormality degree map obtained based on each rotated image may be reversely rotated, and a logical sum may be calculated for each pixel.
  • Other examples of image expansion processing include color tone conversion, luminosity conversion, and brightness conversion.
  • the visual inspection device 1 according to this modification can increase the number of discrimination results that serve as material for ensemble inference by performing image expansion processing on the inspection image. This can be expected to improve the accuracy of ensemble inference depending on the purpose.
  • the present invention is not limited to the above-described embodiments, and can be implemented in various forms by making appropriate changes.
  • the learning embodiment and the inference embodiment are described as separate embodiments, but these embodiments can also be implemented as a single embodiment. It is possible.
  • the visual inspection apparatus 1 may be provided with a function to switch the operation mode, and configured to be able to operate in both the learning stage and the visual inspection stage.
  • Appearance inspection device 3 Industrial machine 4 Imaging device 5 Network 6 Fog computer 7 Cloud server 11 CPU 12 ROM 13 RAM 14 Non-volatile memory 15 Interface 17, 18, 20, 21 Interface 22 Bus 70 Display device 71 Input device 72 External device 100 Machine learning device 101 Processor 102 ROM 103 RAM 104 Non-volatile memory 110 Data acquisition unit 120 Feature map acquisition unit 130 Estimation unit 140 Group division unit 150 Inspection model creation unit 160 Abnormality determination unit 170 Output unit 200 Data storage unit 210 Model storage unit 220 Feature map storage unit 230 Inspection model storage unit

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本発明による外観検査装置は、正常な状態を示す画像を学習画像として取得するデータ取得部と、学習済みニューラルネットワークの中間層において出力される学習画像の特徴を示す特徴マップを複数取得する特徴マップ取得部と、取得した複数の特徴マップを所定数のグループに分割するグループ分割部と、グループ分割部が分割したグループ毎に所定の検査基準値を検査モデルとして作成する検査モデル作成部と、検査モデル作成部が作成した検査モデルを記憶する検査モデル記憶部とを備える。

Description

外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体に関する。
　工場などの製造現場では、工作機械やロボットなどの産業機械を複数設置し、これらを稼働させることにより製品を製造している。製造された製品は、外観検査などの検査を経て出荷される（例えば、特許文献１など）。製品の外観検査を行うためには、製品を撮像した画像に基づいて正常な製品の画像であるか、または異常な製品の画像であるかを判別する判別器を予め作成しておく必要がある。
　このような判別器を作成する際には、予め、多くの正常な製品の画像と、多くの異常な製品の画像とを、それぞれ収集する。そして、収集した画像を用いて機械学習を行う。異常な製品の画像については、画像の中の更にどの部分に異常があるのかを特定したいケースも多い。そのような場合には、異常な製品の画像内の異常個所を示すラベル画像を予め作成して学習を行う。
　ニューラルネットワークを用いて外観検査を行う他の方法として、学習済みのニューラルネットワークに対して検査画像を入力した際の中間層の出力の全てまたは一部を特徴マップとして抽出して用いる方法がある（例えば、非特許文献１など）。この方法について、図７，８を用いて説明する。図７は、従来技術による検査モデルの学習方法について説明する図である。この方法では、例えばニューラルネットワークとしてＲｅｓＮｅｔ１８やＷｉｄｅＲｅｓＮｅｔ５０等を用いる。これらのニューラルネットワークを予め正常な製品の画像を用いて学習しておく。そして、学習済みのニューラルネットワークに対して所定数（例えば、Ｎ枚）の画像を入力し、中間層の出力を特徴マップとして所定数（例えば、１００個）だけランダムに取得する。その後、得られた特徴マップのサイズをそろえた上で、特徴マップの要素毎に平均μと共分散行列Σを計算する。この特徴マップの要素毎の平均μと共分散行列Σを検査モデルとする。
　図８は、従来技術による外観検査をする方法について説明する図である。外観検査を行う際には、検査画像を学習済みのニューラルネットワークに入力し、特徴マップを得る。そして、得られた特徴マップの要素毎に平均を計算し、これと検査モデルとの間のマハラノビス距離を求める。求めた要素毎のマハラノビス距離を特徴マップ全体で正規化した値を該要素の位置に対応する画素位置の異常度とする。画素毎の異常度に色を対応付けた異常度マップの形で表示することができる。そして、所定の閾値よりも大きい画素の位置を異常箇所と判別する。
特開２０１４－１９０８２１号公報
Defard T.,Setkov A.,Loesch A. and Audigier R.,"PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization", arXiv preprint, arXiv:2011.08785, 2020.
　しかしながら、従来技術を用いた外観検査の方法では、異常が検出できない場合があった。従来技術では、特定の異常モードにおいて異常の検出率が低下する検査モデルが作られる時がある。また、工場での製品の外観検査では、撮像した画像データ内における部品の向きは必ずしも一定ではないが、従来技術では所定の向きを向いた部品の所定位置の異常をうまく検出できない検査モデルが作られる場合もあった。
　そこで、異常検出の精度が向上する技術が望まれている。
　本開示による外観検査装置では、複数の正常な製品の画像を学習済みのニューラルネットワークに入力することで中間層の出力を全て特徴マップとして取得する。その後、取得した特徴マップを所定数のグループに分割し、それぞれのグループごとに検査基準値を計算する。検査基準値の例としては、特徴マップの要素毎の平均μと共分散行列Σが挙げられる。そして、このグループごとの検査基準値のセットを検査モデルとする。外観検査をする際には、検査画像を学習済みのニューラルネットワークに入力して得られた特徴マップから計算された検査値に基づいて、それぞれのグループごとの検査基準値を用いた異常の判別を行う。そして、それぞれの判別の結果を用いたアンサンブル推論の手法により検査画像の正常／異常を判別する。
　そして、本開示の一態様は、学習済みニューラルネットワークを使った外観検査装置であって、正常な状態を示す画像を学習画像として取得するデータ取得部と、学習済みニューラルネットワークの中間層において出力される前記学習画像の特徴を示す特徴マップを複数取得する特徴マップ取得部と、取得した複数の特徴マップを所定数のグループに分割するグループ分割部と、前記グループ分割部が分割したグループ毎に所定の検査基準値を検査モデルとして作成する検査モデル作成部と、前記検査モデル作成部が作成した検査モデルを記憶する検査モデル記憶部と、を備えた外観検査装置である。
　本開示の他の態様は、学習済みニューラルネットワークを使った外観検査装置が実行する方法であって、正常な状態を示す画像を学習画像として取得するステップと、学習済みニューラルネットワークの中間層において出力される前記学習画像の特徴を示す特徴マップを複数取得するステップと、取得した複数の特徴マップを所定数のグループに分割するステップと、分割した前記グループ毎に所定の検査基準値を検査モデルとして作成するステップと、作成した前記検査モデルを記憶するステップと、を実行する方法である。
　本開示の他の態様は、学習済みニューラルネットワークを使った外観検査装置を動作させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、正常な状態を示す画像を学習画像として取得するデータ取得部、学習済みニューラルネットワークの中間層において出力される前記学習画像の特徴を示す特徴マップを複数取得する特徴マップ取得部、取得した複数の特徴マップを所定数のグループに分割するグループ分割部、前記グループ分割部が分割したグループ毎に所定の検査基準値を検査モデルとして作成する検査モデル作成部、前記検査モデル作成部が作成した検査モデルを記憶する検査モデル記憶部、としてコンピュータを動作させるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
　本開示の一態様により、中間層から取得した特徴マップに基づいて計算される要素毎の異常度について、アンサンブル推論の手法を取り入れたことで、検査の精度を上げたり、偽陽性を減らしたりすることが期待できる。
一実施形態による外観検査装置のハードウェア構成図である。 第１実施形態による外観検査装置の機能を示すブロック図である。 第１実施形態による外観検査装置で検査モデルを作成する処理の流れを示す図である。 第２実施形態による外観検査装置の機能を示すブロック図である。 第２実施形態による外観検査装置で外観検査をする処理の流れを示す図である。 変形例による外観検査装置で外観検査をする処理の流れを示す図である。 従来技術による検査モデルの学習方法について説明する図である。 従来技術による外観検査をする方法について説明する図である。
　以下、本発明の実施形態を図面と共に説明する。
　図１は本発明の一実施形態による外観検査装置の要部を示す概略的なハードウェア構成図である。本実施形態による外観検査装置１は、例えば制御用プログラムに基づいて産業機械を制御する制御装置として実装することができる。また、本実施形態による外観検査装置１は、制御用プログラムに基づいて産業機械を制御する制御装置に併設されたパソコンや、有線／無線のネットワークを介して制御装置と接続されたパソコン、セルコンピュータ、フォグコンピュータ６、クラウドサーバ７の上に実装することができる。本実施形態では、外観検査装置１を、ネットワーク介して制御装置と接続されたパソコンの上に実装した例を示す。
　本実施形態による外観検査装置１が備えるＣＰＵ１１は、外観検査装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステム・プログラムを読み出し、該システム・プログラムに従って外観検査装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から入力された各種データなどが一時的に格納される。
　不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などで構成され、外観検査装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたデータ、入力装置７１を介して入力されたデータ、産業機械３から取得されたデータ（撮像装置４により撮像された画像データを含む）などが記憶される。不揮発性メモリ１４に記憶されたデータは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システム・プログラムがあらかじめ書き込まれている。
　インタフェース１５は、外観検査装置１のＣＰＵ１１とＵＳＢ装置などの外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えば予め記憶されている制御用プログラムや各産業機械３の動作に係るデータなどを読み込むことができる。また、外観検査装置１内で編集した制御用プログラムや設定データなどは、外部機器７２を介して外部記憶手段に記憶させることができる。
　インタフェース２０は、外観検査装置１のＣＰＵと有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５には、産業機械３やフォグコンピュータ６、クラウドサーバ７などが接続され、外観検査装置１との間で相互にデータのやり取りを行っている。
　産業機械３は、例えば撮像装置などの撮像装置４が取り付けられたロボットなどであってよい。撮像装置４が撮像した外観検査の対象となる製品の画像は、産業機械３は、外観検査装置１からの要求に応じて、ネットワーク５を介して撮像装置４で撮像した画像を外観検査装置１へと送信する。
　表示装置７０には、メモリ上に読み込まれた各データ、プログラムなどが実行された結果として得られたデータ、後述する機械学習装置１００から出力されたデータなどがインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイスなどから構成される入力装置７１は、インタフェース１８を介して作業者による操作に基づく指令、データなどをＣＰＵ１１に渡す。
　インタフェース２１は、ＣＰＵ１１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラムなどを記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及びモデルなどの記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して外観検査装置１で取得可能な各情報（例えば、産業機械３の撮像装置により撮像された製品の画像データ）を観測することができる。また、外観検査装置１は、インタフェース２１を介して機械学習装置１００から出力される処理結果を取得し、取得した結果を記憶したり、表示したり、他の装置に対してネットワーク５などを介して送信する。
　図２は、本発明の第１実施形態による外観検査装置１が備える機能を概略的なブロック図として示したものである。本実施形態による外観検査装置１は、外観検査用の検査モデルを作成するための機能を備える。外観検査装置１が備える各機能は、図１に示した外観検査装置１のＣＰＵ１１と、機械学習装置１００のプロセッサ１０１とがシステム・プログラムを実行し、外観検査装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
　本実施形態の外観検査装置１は、データ取得部１１０、特徴マップ取得部１２０、グループ分割部１４０、検査モデル作成部１５０を備える。また、外観検査装置１のＲＡＭ１３乃至不揮発性メモリ１４上には、データ取得部１１０が取得したデータを記憶するための領域であるデータ記憶部２００、特徴マップ取得部１２０が取得した特徴マップを記憶するための領域である特徴マップ記憶部２２０、及び検査モデル作成部１５０が作成した検査モデルを記憶するための領域である検査モデル記憶部２３０があらかじめ用意されている。一方、機械学習装置１００は、推定部１３０を備える。また、機械学習装置１００のＲＡＭ１０３乃至不揮発性メモリ１０４上には、予め正常な製品の画像を学習した学習済みのニューラルネットワークのモデルを記憶するモデル記憶部２１０が予め用意されている。
　データ取得部１１０は、製品の外観を撮像した画像データを取得する。データ取得部１１０が取得するデータは、例えば産業機械３の動作時に撮像装置４で撮像されたものをネットワーク５を介して取得するようにしてもよい。また、ＵＳＢメモリなどの外部機器７２に予め記憶されているデータを取得するようにしてもよい。更に、フォグコンピュータ６、クラウドサーバ７等を介してデータを取得してもよい。これらのデータは、主として検査モデルの学習作業に用いられる。学習段階において、データ取得部１１０が取得するデータは正常な製品の外観を撮像した画像データである。データ取得部１１０は、取得した正常な製品の外観を撮像した画像データをデータ記憶部２００に記憶する。
　特徴マップ取得部１２０は、データ記憶部２００に記憶された正常な製品の外観を撮像した画像データに基づいて、モデル記憶部２１０に記憶されている学習済みのニューラルネットワークを用いた推定処理を行うように推定部１３０に指令する。そして、推定部１３０による推定過程において、学習済みのニューラルネットワークの中間層の出力を特徴マップとして取得する。特徴マップ取得部１２０は、取得した全ての特徴マップをそれぞれ予め定めた所定のサイズへと変換した上で、特徴マップ記憶部２２０に記憶する。特徴マップ記憶部２２０には、複数の特徴マップが記憶される。
　推定部１３０は、モデル記憶部２１０に記憶されている学習済みのニューラルネットワークを用いた推定処理を実行する。そして、推定処理の実行過程において学習済みニューラルネットワークの中間層の出力を特徴マップとして特徴マップ取得部１２０に出力する。本実施形態による推定部１３０は、ニューラルネットワークの出力層おける出力については、必ずしも機械学習装置１００の外部に出力する必要は無い。
　グループ分割部１４０は、特徴マップ記憶部２２０に記憶される複数の特徴マップを、予め定めた所定数のグループに分割する。グループ分割部１４０が特徴マップをいくつのグループに分割するのかについては、特徴マップの大きさ、取得可能な特徴マップの数、及び後に行うアンサンブル推論の手法に応じて適宜決定すればよい。例えば、アンサンブル推論において多数決論理を用いる場合、少なくとも３以上のグループに分割するようにすればよい。また、取得可能な特徴マップの数が少ない場合には、あまり多くのグループに分けるのは効果的ではない。グループの分割数については、経験のある技術者が適宜定めるようにすることが望ましい。
　検査モデル作成部１５０は、グループ分割部１４０が分割したグループ毎に所定の検査の基準値を計算する。所定の検査基準値としては、それぞれのグループに属する複数の特徴マップの要素毎の平均μ及び共分散行列Σの組であってよい。そして、計算されたグループごとの検査基準値のセットを検査モデルとして検査モデル記憶部２３０に記憶する。例えば、グループ毎に計算した特徴マップの要素毎の平均μ及び共分散行列Σのセットが検査モデルとして記憶される。グループ分割部１４０が特徴マップを５つのグループに分割した場合、検査モデルは５つの特徴マップの要素毎の平均μ及び共分散行列Σから成る。
　図３は、本実施形態による外観検査装置１で外観検査用の検査モデル作成する流れを示す図である。図３に例示されるように、外観検査装置１が備えるデータ取得部１１０が正常な製品の外観を撮像した画像データを学習画像として取得すると、推定部１３０が学習画像を学習済みニューラルネットに対して入力して推論を行う。特徴マップ取得部１２０は、推論過程における中間層からの出力を特徴マップとして取得する。複数の学習画像が入力され、複数の特徴マップが取得されると、これをグループ分割部１４０が複数のグループ（図３ではＭ個のグループ）に分割する。そして、検査モデル作成部１５０が、それぞれの特徴マップのグループについて特徴マップの要素毎の平均μ1～μM及び分散共分散行列Σ1～ΣMを計算する。この（μ1，Σ1）～（μM，ΣM）が検査モデルとして検査モデル記憶部２３０に記憶される。
　上記構成を備えた本実施形態による外観検査装置１は、学習済みニューラルネットワークの中間層から取得した特徴マップを所定数のグループに分割し、それぞれのグループごとに計算した特徴マップの要素毎の平均μ及び分散共分散行列Σを検査モデルとして用いる。従来技術のようにランダムに抽出した特徴マップを用いるのではなく、全ての特徴マップを用いて、複数の平均μ及び分散共分散行列Σを計算する。これを用いることで、正常な製品の画像に対して網羅的な検査モデルを用意することができる。作成した検査モデルは、アンサンブル推論に用いることができる。
　図４は、本発明の第２実施形態による外観検査装置１が備える機能を概略的なブロック図として示したものである。本実施形態による外観検査装置１は、外観検査用の検査モデルを用いたアンサンブル推論をするための機能を備える。外観検査装置１が備える各機能は、図１に示した外観検査装置１のＣＰＵ１１と、機械学習装置１００のプロセッサ１０１とがシステム・プログラムを実行し、外観検査装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
　本実施形態の外観検査装置１は、データ取得部１１０、特徴マップ取得部１２０、異常判別部１６０、出力部１７０を備える。また、外観検査装置１のＲＡＭ１３乃至不揮発性メモリ１４上には、データ取得部１１０が取得したデータを記憶するための領域であるデータ記憶部２００、及び予め作成された検査モデルを記憶する領域である検査モデル記憶部２３０が用意されている。一方、機械学習装置１００は、推定部１３０を備える。また、機械学習装置１００のＲＡＭ１０３乃至不揮発性メモリ１０４上には、予め正常な製品の画像を学習した学習済みのニューラルネットワークのモデルを記憶するモデル記憶部２１０が予め用意されている。
　本実施形態によるデータ取得部１１０は、製品の外観を撮像した画像データを取得する。データ取得部１１０が取得するデータは、例えば産業機械３の動作時に撮像装置４で撮像されたものをネットワーク５を介して取得するようにしてもよい。また、ＵＳＢメモリなどの外部機器７２に予め記憶されているデータを取得するようにしてもよい。更に、フォグコンピュータ６、クラウドサーバ７等を介してデータを取得してもよい。これらのデータは、撮像された製品の外観検査に用いられるデータ取得部１１０は、製品の外観を撮像した画像データをデータ記憶部２００に記憶する。
　本実施形態による特徴マップ取得部１２０は、データ記憶部２００に記憶された製品の外観を撮像した画像データに基づいて、モデル記憶部２１０に記憶されている学習済みのニューラルネットワークを用いた推定処理を行うように推定部１３０に指令する。そして、推定部１３０による推定過程において、学習済みのニューラルネットワークの中間層の出力を特徴マップとして取得する。特徴マップ取得部１２０は、取得した全ての特徴マップをそれぞれ予め定めた所定のサイズへと変換した上で、異常判別部１６０に出力する。
　本実施形態による推定部１３０は、第１実施形態による外観検査装置１が備える推定部１３０と同様の機能を備える。
　異常判別部１６０は、前記特徴マップ取得部１２０が取得した特徴マップに基づいて、前記検査モデル記憶部２３０に記憶された検査モデルを用いたアンサンブル推論を行う。そして、アンサンブル推論の結果に基づいて、検査画像の異常を判別する。アンサンブル推論は、複数の推論結果を組み合わせて推論する手法である。最もシンプルなアンサンブル推論の方法としては、多数決推論が考えられる。この場合、異常判別部１６０は、検査画像の特徴を示す特徴マップについて、検査モデル記憶部２３０に記憶された複数の検査基準値のそれぞれを用いて異常の判別を行う。そして、それぞれの判別結果において正常であると判別されるものが多かった場合には正常、異常であると判別されるものが多かった場合は異常であると判別する。他の例として、予め定めた所定数以上の判別結果が得られた場合に、それを判別結果とする場合や、全ての判別結果が一致した場合のみ正常であると判別する方法なども例示される。
　図５は、本実施形態による外観検査装置１で検査画像の異常を判別する流れを示す図である。図５に例示されるように、予め検査モデルとして、特徴マップの要素毎の平均及び共分散行列のセット（μ1，Σ1）～（μM，ΣM）が検査モデル記憶部２３０に記憶されているとする。この時、外観検査装置１が備えるデータ取得部１１０が検査対象となる製品の外観を撮像した画像データを検査画像として取得すると、推定部１３０が検査画像を学習済みニューラルネットに対して入力して推論を行う。特徴マップ取得部１２０は、推論過程における中間層からの出力を検査画像の特徴マップとして取得する。異常判別部１６０は、特徴マップ取得部１２０から入力された検査画像の特徴マップについて、検査モデル記憶部２３０に記憶される検査モデルに含まれるそれぞれの検査基準値を用いて異常判別を行う。図５の例では、Ｍ個の特徴マップの要素毎の平均及び共分散行列が検査モデルに含まれているので、異常判別部１６０は、検査画像の特徴マップと、検査モデルに含まれるそれぞれの平均及び分散共分散行列との間でマハラノビス距離を計算し、特徴マップ全体で正規化する。そして、マハラノビス距離が予め定めた所定の閾値以上の部分がある場合、その特徴マップに異常があると判別する。この異常の判別処理を、平均及び分散共分散行列の個数分（Ｍ回)行う。その後、Ｍ回の異常判別の結果に基づいたアンサンブル推論を行う。例えば、アンサンブル推論として多数決推論を行う場合には、正常と判別された回数が異常と判別された回数よりも多い場合には正常と判別する。また、逆の場合は異常と判別する。アンサンブル推論として完全一致推論を行う場合には、全ての結果が正常と判別された場合に正常と判別し、その他の場合には異常と判別する。
　異常判別部１６０は、検査画像に異常が判別された場合、更に検査画像内の異常箇所を判別するようにしてもよい。この場合、異常判別部１６０は、それぞれの特徴マップで異常があると判別された要素を１（白）、その他の要素を０（黒）とするマップを作成し、作成したマップを検査画像と同じ解像度となるように画像処理した異常度マップを作成する。そして、作成したＭ枚の異常度マップの各画素について論理和をとり最終的な異常度マップとする。異常度マップでは、異常が検出された箇所が白で表示されるため、一見して異常箇所が把握できるメリットがある。
　出力部１７０は、異常判別部１６０による判別結果を所定の方法で出力する。出力部１７０は、例えば異常判別の結果を表示装置７０に対して表示出力するようにしてよい。また、外部機器７２やＲＡＭ１３、不揮発性メモリ１４などの記憶領域に対して記憶出力するようにしてもよい。更に、ネットワーク５を介して、産業機械３やフォグコンピュータ６、クラウドサーバ７に対して送信出力するようにしてもよい。
　上記構成を備えた本実施形態による外観検査装置１は、学習済みニューラルネットワークの中間層から取得した検査画像の特徴マップに基づいて、予め作成されている複数の検査基準値を含む検査モデルを用いて複数の異常判別を行う。そして、複数の異常判別の結果に基づいたアンサンブル推論をすることで、検査対象の異常を判別する。アンサンブル推論を用いることで、外観検査における網羅性を担保することが可能となる。例えば、アンサンブル推論に多数決推論を用いることで、外観検査の精度の向上が期待できる。また、判別結果がすべて一致した場合に正常とみなすようにすることで、検査の偽陽性を削減することが期待できる。
　本実施形態による外観検査装置１の一変形例として、特徴マップ取得部１２０は、検査画像に対して所定の画像拡張処理を行うことで複数の検査画像を作成し、作成した複数の検査画像の特徴マップを検査画像の特徴マップとして異常判別部１６０に出力するようにしてもよい。この場合、異常判別部１６０は、それぞれの特徴マップについて検査モデルを用いた異常の判別を行い、全ての判別結果に対してアンサンブル推論処理を行うようにする。図６は、本変形例による外観検査装置１で検査画像の異常を判別する流れを示す図である。図６の例では、画像拡張処理として回転処理を用いる例を示している。図６に例示されるように、特徴マップ取得部１２０は、検査画像を９０°回転させた画像、検査画像を１８０°回転させた画像、検査画像を２７０°回転させた画像を公知の画像拡張処理により作成する。そして、それぞれの画像の特徴マップを取得する。異常判別部１６０は、それぞれの特徴マップに基づいて、検査モデルを用いた異常判別を行う。そして、その結果得られた（Ｍ×４）個の異常判別結果を用いたアンサンブル推論を行い、最終的な異常判別の結果を得る。この例では、上記と同様に異常度マップを作成することも可能である。それぞれの回転させた画像に基づいて得られた異常度マップを逆回転させて、それぞれの画素について論理和を取るようにすればよい。画像拡張処理としては、他にも色調変換や光度変換、明度変換などの例が挙げられる。
　本変形例による外観検査装置１は、検査画像に対して画像拡張処理をすることで、アンサンブル推論の材料となる判別結果を増加させることができる。これにより、目的に応じたアンサンブル推論の精度の向上が期待できる。
　以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
　例えば、上記した実施形態では、学習をするための実施形態と、推論をするための実施形態を個別の実施形態として説明しているが、これらの実施形態を１つの実施形態として実装することも可能である。この場合、外観検査装置１に動作モードを切り替える機能を設け、学習段階と、外観検査段階とでそれぞれ動作できるように構成すればよい。
　　１　　　外観検査装置
　　３　　　産業機械
　　４　　　撮像装置
　　５　　　ネットワーク
　　６　　　フォグコンピュータ
　　７　　　クラウドサーバ
　　１１　　ＣＰＵ
　　１２　　ＲＯＭ
　　１３　　ＲＡＭ
　　１４　　不揮発性メモリ
　　１５　　インタフェース
　　１７，１８，２０，２１　インタフェース
　　２２　　バス
　　７０　　表示装置
　　７１　　入力装置
　　７２　　外部機器
　１００　　機械学習装置
　１０１　　プロセッサ
　１０２　　ＲＯＭ
　１０３　　ＲＡＭ
　１０４　　不揮発性メモリ
　１１０　　データ取得部
　１２０　　特徴マップ取得部
　１３０　　推定部
　１４０　　グループ分割部
　１５０　　検査モデル作成部
　１６０　　異常判別部
　１７０　　出力部
　２００　　データ記憶部
　２１０　　モデル記憶部
　２２０　　特徴マップ記憶部
　２３０　　検査モデル記憶部

Claims (8)

  1. 　学習済みニューラルネットワークを使った外観検査装置であって、
    　正常な状態を示す画像を学習画像として取得するデータ取得部と、
    　学習済みニューラルネットワークの中間層において出力される前記学習画像の特徴を示す特徴マップを複数取得する特徴マップ取得部と、
    　取得した複数の特徴マップを所定数のグループに分割するグループ分割部と、
    　前記グループ分割部が分割したグループ毎に所定の検査基準値を検査モデルとして作成する検査モデル作成部と、
    　前記検査モデル作成部が作成した検査モデルを記憶する検査モデル記憶部と、
    を備えた外観検査装置。
  2. 　前記データ取得部は、検査対象となる画像を検査画像として取得し、
    　前記特徴マップ取得部は、学習済みニューラルネットワークの中間層において出力される前記検査画像の特徴を示す特徴マップを取得し、
    　前記検査画像の特徴を示す特徴マップに基づいて、前記グループ毎の検査基準値を用いたアンサンブル推論を行い、前記検査画像内の異常を判別する異常判別部と、
    　前記異常判別部による判別結果を出力する出力部と、
    を備えた請求項１に記載の外観検査装置。
  3. 　前記特徴マップ取得部は、更に前記検査画像に対して少なくとも１つの画像拡張処理を施し、前記画像拡張処理を施した画像の特徴マップを取得し、
    　前記異常判別部は、前記検査画像の特徴マップと、前記画像拡張処理を施した検査画像の特徴マップとに基づいて、前記グループ毎の検査基準値を用いたアンサンブル推論を行い、前記検査画像内の異常を判別する、
    請求項２に記載の外観検査装置。
  4. 　前記画像拡張処理は画像回転処理である、
    請求項３に記載の外観検査装置。
  5. 　学習済みニューラルネットワークを使った外観検査装置が実行する方法であって、
    　正常な状態を示す画像を学習画像として取得するステップと、
    　学習済みニューラルネットワークの中間層において出力される前記学習画像の特徴を示す特徴マップを複数取得するステップと、
    　取得した複数の特徴マップを所定数のグループに分割するステップと、
    　分割した前記グループ毎に所定の検査基準値を検査モデルとして作成するステップと、
    　作成した前記検査モデルを記憶するステップと、
    を実行する方法。
  6. 　学習済みニューラルネットワークを使った外観検査装置が実行する方法であって、
    　検査対象となる画像を検査画像として取得するステップと、
    　学習済みニューラルネットワークの中間層において出力される前記検査画像の特徴を示す特徴マップを取得するステップと、
    　前記検査画像の特徴を示す特徴マップに基づいて、請求項５に記載の方法で作成された前記グループ毎の検査基準値を用いたアンサンブル推論を行い、前記検査画像内の異常を判別するステップと、
    　前記判別の結果を出力する出力部と、
    を実行する方法。
  7. 　学習済みニューラルネットワークを使った外観検査装置を動作させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    　正常な状態を示す画像を学習画像として取得するデータ取得部、
    　学習済みニューラルネットワークの中間層において出力される前記学習画像の特徴を示す特徴マップを複数取得する特徴マップ取得部、
    　取得した複数の特徴マップを所定数のグループに分割するグループ分割部、
    　前記グループ分割部が分割したグループ毎に所定の検査基準値を検査モデルとして作成する検査モデル作成部、
    　前記検査モデル作成部が作成した検査モデルを記憶する検査モデル記憶部、
    としてコンピュータを動作させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. 　前記データ取得部は、検査対象となる画像を検査画像として取得し、
    　前記特徴マップ取得部は、学習済みニューラルネットワークの中間層において出力される前記検査画像の特徴を示す特徴マップを取得し、
    更に、
    　前記検査画像の特徴を示す特徴マップに基づいて、前記グループ毎の検査基準値を用いたアンサンブル推論を行い、前記検査画像内の異常を判別する異常判別部、
    　前記異常判別部による判別結果を出力する出力部、
    としてコンピュータを動作させる請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2022/014050 2022-03-24 2022-03-24 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体 WO2023181277A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014050 WO2023181277A1 (ja) 2022-03-24 2022-03-24 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014050 WO2023181277A1 (ja) 2022-03-24 2022-03-24 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2023181277A1 true WO2023181277A1 (ja) 2023-09-28

Family

ID=88100656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014050 WO2023181277A1 (ja) 2022-03-24 2022-03-24 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
WO (1) WO2023181277A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008726A1 (ja) * 2018-07-02 2020-01-09 コニカミノルタ株式会社 対象物体検出プログラム、および対象物体検出装置
US20200175360A1 (en) * 2018-11-29 2020-06-04 International Business Machines Corporation Dynamic updating of a word embedding model
CN112053354A (zh) * 2020-09-15 2020-12-08 上海应用技术大学 一种轨道板裂缝检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008726A1 (ja) * 2018-07-02 2020-01-09 コニカミノルタ株式会社 対象物体検出プログラム、および対象物体検出装置
US20200175360A1 (en) * 2018-11-29 2020-06-04 International Business Machines Corporation Dynamic updating of a word embedding model
CN112053354A (zh) * 2020-09-15 2020-12-08 上海应用技术大学 一种轨道板裂缝检测方法

Similar Documents

Publication Publication Date Title
JP6693938B2 (ja) 外観検査装置
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
JP6870346B2 (ja) データ分析システム、データ分析方法およびプログラム
JP6707920B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109086876B (zh) 设备的运行状态检测方法、装置、计算机设备和存储介质
JP7131617B2 (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
US11126860B2 (en) Abnormality detection device, abnormality detection method, and storage medium
US11568290B2 (en) Method for displaying, user interface unit, display device and inspection apparatus
WO2021205573A1 (ja) 学習装置、学習方法、および推論装置
JP7331509B2 (ja) ボルト検査装置、ボルト検査システム、ボルト検査方法及びプログラム
JP7289658B2 (ja) 分類装置、分類方法、分類プログラム、及び検査装置
JP2021119341A5 (ja)
US20200279359A1 (en) Inspection apparatus, inspection method, and non-volatile storage medium
JP6795562B2 (ja) 検査装置及び機械学習方法
JP2019067278A (ja) 識別コード読取装置及び機械学習装置
JP7056259B2 (ja) 検査システム、識別システム、及び識別器評価装置
JP2021086379A (ja) 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法
JP2020042668A (ja) 検査装置及び機械学習方法
JP7359607B2 (ja) 振動試験解析装置および振動試験解析方法
CN110895719A (zh) 验证装置
WO2023181277A1 (ja) 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体
CN113554645A (zh) 基于wgan的工业异常检测方法和装置
CN112599234A (zh) 诊断装置
JP7251955B2 (ja) 検出装置及び機械学習方法
JP2022114332A (ja) クラス判定システム、クラス判定方法及びクラス判定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22933418

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024509592

Country of ref document: JP