WO2022024985A1 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
WO2022024985A1
WO2022024985A1 PCT/JP2021/027522 JP2021027522W WO2022024985A1 WO 2022024985 A1 WO2022024985 A1 WO 2022024985A1 JP 2021027522 W JP2021027522 W JP 2021027522W WO 2022024985 A1 WO2022024985 A1 WO 2022024985A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
data
additional
unit
estimation
Prior art date
Application number
PCT/JP2021/027522
Other languages
English (en)
French (fr)
Inventor
直登 小林
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to US18/005,671 priority Critical patent/US20230274408A1/en
Priority to DE112021003974.1T priority patent/DE112021003974T5/de
Priority to JP2022540287A priority patent/JPWO2022024985A1/ja
Priority to CN202180059226.7A priority patent/CN116194952A/zh
Publication of WO2022024985A1 publication Critical patent/WO2022024985A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to an inspection device, and in particular, uses a learned learning model stored in a machine learning device to inspect the inspection object based on an estimation result of the state of the inspection object based on data related to the inspection object.
  • a learned learning model stored in a machine learning device to inspect the inspection object based on an estimation result of the state of the inspection object based on data related to the inspection object.
  • Patent Document 1 the appearance of the product manufactured on the manufacturing line is inspected.
  • a classifier that classifies whether the product is a normal product image or an abnormal product image based on the image data obtained by imaging the product with an image pickup device is used. It needs to be created by machine learning.
  • a method of inspecting the appearance of a product there is a method of performing machine learning based on image data obtained from an image pickup device and making a pass / fail judgment using a classifier generated by machine learning.
  • the classifier is obtained by imaging the teacher data with a label indicating that the image data obtained by imaging a non-defective product is a non-defective product and the defective product among the products manufactured by an industrial machine, for example. It can be generated by learning using the teacher data with a label indicating that the image data is defective. Since the discriminator generated in this way is constructed so as to judge the quality of the data used for learning, there is a possibility of erroneous judgment other than the learned data. As a countermeasure, there is additional learning / re-learning that improves the identification accuracy by adding new data to the conventional learning data for learning.
  • the inspection device when performing an inspection using a classifier (model) generated by machine learning, displays the data to be inspected together with a pseudo label and reliability for the data.
  • a classifier model
  • reliability for the data related to a predetermined level of reliability
  • the inspection object is estimated based on the estimation result of the state of the inspection object based on the data related to the inspection object by using the basic model which is the learned learning model stored in the machine learning device.
  • An estimation data storage unit that stores the estimation result of the state of the inspection object and the reliability of the estimation result in association with the data related to the inspection object, and the estimation data.
  • the learning opportunity determination unit that determines that it is the timing to execute additional learning or re-learning and the learning opportunity determination unit execute additional learning or re-learning.
  • additional learning data is extracted from the data stored in the estimation data storage unit, and learning data used for additional learning or re-learning is created based on at least the extracted additional learning data.
  • the user can determine the timing of effective additional learning or re-learning without performing annotation or data examination work, so that learning can be performed efficiently and can be performed. It is expected that the burden on the user can be reduced.
  • a schematic hardware configuration diagram of an inspection device according to an embodiment Schematic functional block diagram of an inspection device according to an embodiment. The figure explaining the example of reliability. A diagram illustrating another example of reliability. The figure which shows the example of the data stored in the estimation data storage part.
  • FIG. 1 is a schematic hardware configuration diagram showing a main part of an inspection device according to an embodiment of the present invention.
  • the inspection device 1 of the present invention can be implemented as, for example, a control device for controlling an industrial machine including an inspection device based on a control program, and an industry including an inspection device based on the control program. It can be mounted on a personal computer attached to a control device for controlling a machine, a personal computer connected to the control device via a wired / wireless network, a cell computer, a fog computer 6, and a cloud server 7. In the present embodiment, the inspection device 1 is mounted on a personal computer connected to the control device via a network.
  • the CPU 11 included in the inspection device 1 is a processor that controls the inspection device 1 as a whole.
  • the CPU 11 reads the system program stored in the ROM 12 via the bus 22 and controls the entire inspection device 1 according to the system program. Temporary calculation data, display data, various data input from the outside, and the like are temporarily stored in the RAM 13.
  • the non-volatile memory 14 is composed of, for example, a memory backed up by a battery (not shown), an SSD (Solid State Drive), or the like, and the storage state is maintained even when the power of the inspection device 1 is turned off.
  • the non-volatile memory 14 was detected by the data read from the external device 72 via the interface 15, the data input via the input device 71, and the sensor 4 acquired from the industrial machine 3 via the network 5. Data etc. are stored.
  • the data stored in the non-volatile memory 14 may be expanded in the RAM 13 at the time of execution / use. Further, various system programs such as a known analysis program are written in the ROM 12 in advance.
  • the industrial machine 3 is equipped with a sensor 4 that detects the appearance and the like of the inspection target (product to be inspected).
  • the industrial machine 3 includes a robot or the like to which a sensor 4 as an image pickup device is attached to the tip thereof.
  • the interface 15 is an interface for connecting the CPU 11 of the inspection device 1 and an external device 72 such as a USB device. From the external device 72 side, for example, data related to the operation of each industrial machine can be read. Further, the program, the setting data, and the like edited in the inspection device 1 can be stored in the external storage means via the external device 72.
  • the interface 20 is an interface for connecting the CPU of the inspection device 1 and the wired or wireless network 5.
  • An industrial machine 3, a fog computer 6, a cloud server 7, and the like are connected to the network 5, and data is exchanged with each other with the inspection device 1.
  • each data read into the memory, data obtained as a result of executing a program, etc., data output from the machine learning device 100, which will be described later, and the like are output and displayed via the interface 17. Will be done.
  • the input device 71 composed of a keyboard, a pointing device, and the like passes commands, data, and the like based on operations by the operator to the CPU 11 via the interface 18.
  • the interface 21 is an interface for connecting the CPU 11 and the machine learning device 100.
  • the machine learning device 100 stores a processor 101 that controls the entire machine learning device 100, a ROM 102 that stores a system program, a RAM 103 that temporarily stores each process related to machine learning, a learning model, and the like.
  • the non-volatile memory 104 to be used is provided.
  • the machine learning device 100 can observe each information (for example, data indicating an operating state of the industrial machine 3) that can be acquired by the inspection device 1 via the interface 21. Further, the inspection device 1 acquires the processing result output from the machine learning device 100 via the interface 21, stores and displays the acquired result, and refers to another device via the network 5 or the like. Send.
  • FIG. 2 shows a schematic block diagram of the functions provided by the inspection device 1 according to the embodiment of the present invention.
  • the CPU 11 included in the inspection device 1 shown in FIG. 1 and the processor 101 included in the machine learning device 100 execute a system program, and the inspection device 1 and the machine learning device 100 are provided. It is realized by controlling the operation of each part of.
  • the inspection device 1 of the present embodiment includes a data acquisition unit 110, a learning opportunity determination unit 120, a learning data creation unit 130, and a learning command unit 140. Further, the machine learning device 100 included in the inspection device 1 includes a learning unit 106 and an estimation unit 108. Further, in the RAM 13 to the non-volatile memory 14 of the inspection device 1, basic data for storing training data (hereinafter referred to as basic learning data) used for generating a learning model stored in the machine learning device 100 is stored. An estimated data storage unit that stores the estimation results by the storage unit 200, the acquisition data storage unit 210 as an area for storing the data acquired from the industrial machine 3 and the like by the data acquisition unit 110, and the estimation unit 108 of the machine learning device 100.
  • basic learning data basic data for storing training data
  • the 220 is prepared in advance, and the learning model storage unit 109 as an area in which the learning model is stored is prepared in advance on the RAM 103 to the non-volatile memory 104 of the machine learning device 100.
  • the learning model storage unit 109 has a learned learning model (hereinafter referred to as a basic model) generated by machine learning using the learning data stored in the basic data storage unit 200 in advance. To do) is remembered.
  • the data acquisition unit 110 executes a system program read from the ROM 12 by the CPU 11 included in the inspection device 1 shown in FIG. 1, mainly performs arithmetic processing using the RAM 13 and the non-volatile memory 14 by the CPU 11, and the interface 15, 18 or 20. It is realized by performing the input control process by.
  • the data acquisition unit 110 acquires data related to the inspection object detected by the sensor 4 during normal operation of the industrial machine 3.
  • the data acquisition unit 110 obtains, for example, image data indicating the appearance of the inspection object detected by the sensor 4 attached to the industrial machine 3, audio data generated by vibrating the inspection object at a predetermined frequency, and the like. get.
  • the data acquired by the data acquisition unit 110 may be image data in a raster format or a predetermined image format obtained by processing the data in the raster format, or may be time-series data such as moving image data.
  • the data acquisition unit 110 may acquire data directly from the industrial machine 3 via the network 5, or acquire the data acquired and stored by the external device 72, the fog computer 6, the cloud server 7, and the like. You may.
  • the data acquired by the data acquisition unit 110 is stored in the acquisition data storage unit 210.
  • the estimation unit 108 included in the machine learning device 100 executes a system program read from the ROM 102 by the processor 101 included in the machine learning device 100 shown in FIG. 1, and performs arithmetic processing mainly using the RAM 103 and the non-volatile memory 104 by the processor 101. Is realized by doing.
  • the estimation unit 108 estimates the state of the inspection object using the basic model stored in the learning model storage unit 109 based on the data acquired by the data acquisition unit 110 and stored in the acquisition data storage unit 210.
  • the estimation result by the estimation unit 108 includes at least a label estimated for the inspection target (hereinafter referred to as a pseudo label) and a reliability related to the pseudo label.
  • the reliability may be data representing the reliability for the above-mentioned pseudo label.
  • This reliability is determined by, for example, as illustrated in FIG. 3, when there is a basic model in which a classification boundary is defined by a predetermined non-defective product group and a defective product group, the basic model identifies the predetermined data A as a non-defective product.
  • the reliability may be defined as a score calculated based on the distance between the predetermined data A and the basic model. Further, for example, as illustrated in FIG. 4, when there is a basic model for discrimination based on a cluster of a predetermined non-defective product group and a cluster of a defective product group, the basic model identifies the predetermined data B as a defective product. Then, the reliability is calculated based on the predetermined data B, the distance (closeness) from the center of the cluster of defective products, and the distance (distance) from the center of other clusters. It may be defined as.
  • the reliability may be calculated from the similarity with the training data, or when the basic model is a neural network, the similarity with respect to the output in the intermediate layer may be adopted.
  • the reliability may be a predetermined numerical value that can define the certainty of the discrimination result according to the type of the machine learning model.
  • the pseudo label and reliability data format are not limited to the above.
  • the pseudo label and the reliability may be expressed as one vector data.
  • the estimation result by the estimation unit 108 is output to the CPU 11 via the interface 21, and is displayed and output to the display device 70, or is displayed and output to the industrial machine 3, the fog computer 6, the cloud server 7, and the like via the network 5. It is sent to. Further, as illustrated in FIG. 5, the inspection result of the inspection object by the estimation unit 108 is stored in the estimation data storage unit 220 in association with the data used for the estimation.
  • the learning opportunity determination unit 120 is realized by executing a system program read from the ROM 12 by the CPU 11 included in the inspection device 1 shown in FIG. 1 and performing arithmetic processing mainly by the CPU 11 using the RAM 13 and the non-volatile memory 14. To.
  • the learning opportunity determination unit 120 determines the timing for executing additional learning or re-learning according to a predetermined condition.
  • the predetermined condition may be a condition using, for example, the reliability of the data stored in the estimation data storage unit 220, the number of data, and the like.
  • a predetermined condition when data having a reliability of a predetermined threshold C th1 % (for example, 80%) or less exists in a predetermined threshold N th1 (for example, 30) or more.
  • the increase in unreliable data in the estimation results by the basic model means that the basic model's ability to discriminate against the inspection target in the current environment is insufficient.
  • the example of the above condition is a condition showing that the discriminating ability of the basic model for the inspection target in the current environment is not sufficient. In such a case, it is necessary to perform additional learning or re-learning on the basic model to create a model more adapted to the inspection target in the current environment.
  • the determination condition used by the learning opportunity determination unit 120 defines an opportunity to improve the adaptability of the basic model currently used to the current environment.
  • the learning data creation unit 130 is realized by executing a system program read from the ROM 12 by the CPU 11 included in the inspection device 1 shown in FIG. 1 and performing arithmetic processing mainly by the CPU 11 using the RAM 13 and the non-volatile memory 14. To.
  • the learning data creation unit 130 creates learning data to be used for additional learning or re-learning when the learning opportunity determination unit 120 determines that it is time to execute additional learning or re-learning.
  • the training data creation unit 130 extracts data necessary for enabling the basic model to more appropriately identify the current environment from the estimation data storage unit 220 as additional training data.
  • the label of the additional training data the pseudo label may be used as it is.
  • learning data used for additional learning or re-learning is created from the extracted additional learning data and the basic learning data stored in the basic data storage unit 200.
  • the learning data creation unit 130 extracts additional learning data from the data that has triggered the determination that the learning opportunity determination unit 120 executes additional learning or re-learning.
  • the reliability is selected from the data having a reliability of a predetermined threshold C th 1% or less and a predetermined threshold N th 1 or more. Even if a predetermined nth 1 piece (for example, 10 pieces) of data having a high degree is extracted as additional learning data, and additional learning or re-learning learning data is created from this and basic learning data. good.
  • a predetermined number may be randomly extracted from the triggered data, and additional learning or re-learning learning data may be created from the extracted data and the basic learning data.
  • the pseudo labels may be extracted from the trigger data so that the pseudo labels are not biased (so that the pseudo labels of non-defective products and the pseudo labels of defective products are the same number, etc.).
  • the learning command unit 140 executes a system program read from the ROM 12 by the CPU 11 included in the inspection device 1 shown in FIG. 1, mainly performs arithmetic processing using the RAM 13 and the non-volatile memory 14 by the CPU 11, and input using the interface 21. It is realized by performing output processing.
  • the learning command unit 140 commands the learning unit 106 of the machine learning device 100 to perform additional learning or re-learning using the learning data created by the learning data creation unit 130 for additional learning or re-learning. When instructing additional learning, the learning command unit 140 instructs the learning unit 106 to perform additional learning using the learning data created by the learning data creation unit 130 for the basic model.
  • the learning command unit 140 instructs the learning unit 106 to perform re-learning using the learning data created by the learning data creation unit 130 for the initialized model. do.
  • the method of additional learning or re-learning the method of additional learning or re-learning of the public value may be appropriately used.
  • the learning command unit 140 may perform predetermined verification on the new model obtained as a result of the additional learning or re-learning by the learning unit 106, and determine whether or not to end the additional learning or re-learning. For example, as a verification operation, the learning command unit 140 estimates using a new model for data having a reliability of a predetermined threshold value C th 3% or more among the data stored in the estimation data storage unit 220. You may try to do. Then, in the learning command unit 140, the estimation result by the new model matches the estimation result by the basic model, and the reliability of the estimation result by the new model is higher than the reliability of the estimation result estimated by using the basic model. It may be a condition for ending additional learning or re-learning that all the improvements have been made.
  • the new model is more adapted to the current environment than the basic model.
  • the training data The creating unit 130 may be instructed to recreate the learning data used for the additional learning or re-learning, and the learning unit 106 may be instructed to perform further additional learning or re-learning.
  • the learning command unit 140 instructs the learning data creation unit 130 to replace some of the additional learning data with other data stored in the estimation data storage unit 220. Just do it.
  • the learning command unit 140 interrupts the repeated execution of the additional learning or the re-learning when the new model does not adapt to the current environment even if the additional learning or the re-learning is repeated a predetermined number of times, and displays to that effect. It may be displayed on the device 70.
  • the learning command unit 140 may verify whether the new model can perform the same level of inspection without any problem as compared with the basic model when the additional learning or the re-learning is completed. At this time, the learning command unit 140 extracts, for example, data having a predetermined threshold value Nth 3 (for example, 100) or more from the basic learning data as sample data, and sets a new model for the sample data. Instruct the estimation unit 108 to perform estimation processing in both the basic model and the basic model. Then, when the estimation result by the new model and the estimation result by the basic model satisfy a predetermined condition, it is determined that the new model can perform a more correct inspection as compared with the basic model.
  • Nth 3 for example, 100
  • the predetermined condition may be, for example, a condition that the estimation result by the new model and the estimation result by the basic model match for all of the sample data, and further, in addition to the above-mentioned condition. Therefore, for all of the sample data, even if the reliability of the estimation result by the new model exceeds the reliability of the estimation result by the basic model, or even if the reliability of the estimation result by the new model is lower, the degree of reliability.
  • the predetermined condition it may be one in consideration of the circumstances of the manufacturing site, such as the ratio of identifying a non-defective product as a defective product is equal to or less than a predetermined threshold value E th1 or less.
  • a predetermined threshold value E th1 or less As a result of the verification, if the new model is not capable of performing the same level of inspection as compared with the basic model, additional learning or re-learning may be repeatedly performed in the same manner as described above.
  • the learning command unit 140 determines that the new model is more adapted to the current environment than the basic model, and that the new model can perform the same level of inspection as the basic model. If so, the new model is adopted as a model to be used for future inspections, and thereafter, the learning unit 106 and the estimation unit 108 are instructed to handle the new model as a basic model.
  • the learning unit 106 included in the machine learning device 100 executes a system program read from the ROM 102 by the processor 101 included in the machine learning device 100 shown in FIG. 1, and performs arithmetic processing mainly using the RAM 103 and the non-volatile memory 104 by the processor 101. Is realized by doing.
  • the learning unit 106 creates a learning model by performing additional learning or re-learning using the learning data created by the learning data creation unit 130 based on the command received from the learning command unit 140, and creates the created learning model. It is stored in the learning model storage unit 109.
  • the machine learning performed by the learning unit 106 may be known unsupervised learning or supervised learning.
  • the inspection device 1 having the above configuration can efficiently and execute learning because the user can determine the timing of effective additional learning or re-learning without performing the work of annotation and data examination. Also, it is expected that the burden on the user can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • General Factory Administration (AREA)

Abstract

検査装置は、検査対象物の状態の推定結果及び該推定結果の信頼度を、検査対象物に係るデータと関連付けて記憶し、その記憶したデータが所定の条件を満たす場合に、追加学習乃至再学習を実行するタイミングであると判定する。追加学習乃至再学習を実行する場合に、記憶したデータから追加の学習データを抽出し、少なくとも抽出した追加の学習データに基づいて、追加学習乃至再学習に用いる学習データを作成し、その作成した学習データを用いて、追加学習乃至再学習を行うように機械学習器に指令する。

Description

検査装置
　本発明は、検査装置に関し、特に機械学習器が記憶する学習済みの学習モデルを用いて、検査対象物に係るデータに基づく該検査対象物の状態の推定結果により該検査対象物の検査を行うための検査装置に関する。
　工場等の製造現場では、製造ラインにおいて製造される製品の外観検査を行っている（例えば、特許文献１）。製品の外観検査を行うためには、撮像装置により製品を撮像して得られた画像データに基づいて正常な製品の画像であるか、または異常な製品の画像であるかを分類する識別器を機械学習により作成しておく必要がある。
　製品の外観を検査する方法として、撮像装置から得られた画像データを基に機械学習を行い、機械学習によって生成された識別器を用いて良否判定をする方法がある。識別器は、例えば産業機械により製造された製品の内で、良品を撮像して得られた画像データに対して良品であることを示すラベルを付与した教師データと、不良品を撮像して得られた画像データに対して不良品であることを示すラベルを付与した教師データとを用いて学習をすることで生成できる。このように生成された識別器は、学習に使用されたデータに対して良否を判定するように構築されるため、学習したデータ以外では誤判定する可能性がある。その対策として、従来の学習データに新たなデータを加えて学習させることで識別精度を向上させる追加学習・再学習がある。
　追加学習・再学習を行う際、以下のような工程がある。
１．学習に用いたデータ以外の新規データに対して、人手でアノテーション（ラベルの付与）を実施
２．ユーザがデータを確認し、折を見て学習の実行を指示
３．学習データに上記新規データを追加して、機械学習を実施
特開２０１４－１９０８２１号公報
　上記したように、追加学習・再学習を行うためには、人手でアノテーションを行う必要がある。しかしながら、一般的に大量の画像データに対して人手でアノテーションを行うには膨大な労力と時間がかかるという問題がある。
　また、どの程度集まったら追加学習・再学習を行う必要があるのか、そのタイミングを見極めるためにはユーザの熟練が必要となる。更に、追加学習・再学習による識別器による識別精度を向上させるためには、適切なデータを用いる必要がある。しかしながら、どのようなデータを用いることで効果的な追加学習・再学習が行えるのかについては、機械学習に関する知識が無いと判断が難しい。
　このように、追加学習・再学習を行うには人手による作業が不可欠である一方で、作業を行うユーザに対する負担が大きいという問題がある。
　そこで、効果的な追加学習・再学習を行うタイミングを判定するための技術が望まれている。
　本発明の一態様による検査装置は、機械学習により生成された識別器（モデル）を用いて検査を行っている際に、その検査対象のデータを、該データに対する擬似的なラベルと信頼度と共に記憶する。そして、所定水準の信頼度に係るデータがある程度集まったことを追加学習乃至再学習のトリガーとすることで、上記課題を解決する。追加学習乃至再学習には、所定水準の信頼度に係るデータと、その擬似ラベルを利用する。
　そして、本発明の一態様は、機械学習器が記憶する学習済みの学習モデルである基本モデルを用いて、検査対象物に係るデータに基づく該検査対象物の状態の推定結果により該検査対象物の検査を行うための検査装置であって、検査対象物の状態の推定結果及び該推定結果の信頼度を、前記検査対象物に係るデータと関連付けて記憶した推定データ記憶部と、前記推定データ記憶部に記憶されたデータが所定の条件を満たす場合に、追加学習乃至再学習を実行するタイミングであると判定する学習契機判定部と、前記学習契機判定部が追加学習乃至再学習を実行するタイミングであると判定した場合に、前記推定データ記憶部に記憶されたデータから追加の学習データを抽出し、少なくとも抽出した追加の学習データに基づいて、追加学習乃至再学習に用いる学習データを作成する学習データ作成部と、前記学習データ作成部が作成した前記学習データを用いて、追加学習乃至再学習を行うように前記機械学習器に指令する学習指令部と、を備えた検査装置である。
　本発明の一態様により、ユーザがアノテーションやデータの吟味の作業を行うことなく、効果的な追加学習乃至再学習を行うタイミングを決定することができるため、効率的かつ学習を実行でき、また、ユーザの負担を軽減できることが期待される。
一実施形態による検査装置の概略的なハードウェア構成図。 一実施形態による検査装置の概略的な機能ブロック図。 信頼度の例を説明する図。 信頼度の他の例を説明する図。 推定データ記憶部に記憶されるデータの例を示す図。
　以下、本発明の実施形態を図面と共に説明する。
　図１は本発明の一実施形態による検査装置の要部を示す概略的なハードウェア構成図である。
本発明の検査装置１は、例えば、制御用プログラムに基づいて検査用機器を含む産業機械を制御する制御装置として実装することができるし、また、制御用プログラムに基づいて検査用機器を含む産業機械を制御する制御装置に併設されたパソコンや、有線／無線のネットワークを介して制御装置と接続されたパソコン、セルコンピュータ、フォグコンピュータ６、クラウドサーバ７の上に実装することができる。本実施形態では、検査装置１を、ネットワークを介して制御装置と接続されたパソコンの上に実装している。
　本実施形態による検査装置１が備えるＣＰＵ１１は、検査装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステムプログラムを読み出し、該システムプログラムに従って検査装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から入力された各種データ等が一時的に格納される。
　不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等で構成され、検査装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたデータ、入力装置７１を介して入力されたデータ、ネットワーク５を介して産業機械３から取得されたセンサ４により検出されたデータ等が記憶される。不揮発性メモリ１４に記憶されたデータは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システムプログラムがあらかじめ書き込まれている。
　産業機械３には、検査対象物（検査対象となる製品）の外観等を検出するセンサ４が取り付けられている。産業機械３には、撮像装置としてのセンサ４が先端に取り付けられたロボット等が含まれる。
　インタフェース１５は、検査装置１のＣＰＵ１１とＵＳＢ装置等の外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えば各産業機械の動作に係るデータ等を読み込むことができる。また、検査装置１内で編集したプログラムや設定データ等は、外部機器７２を介して外部記憶手段に記憶させることができる。
　インタフェース２０は、検査装置１のＣＰＵと有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５には、産業機械３やフォグコンピュータ６、クラウドサーバ７等が接続され、検査装置１との間で相互にデータのやり取りを行っている。
　表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、後述する機械学習器１００から出力されたデータ等がインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置７１は、作業者による操作に基づく指令，データ等をインタフェース１８を介してＣＰＵ１１に渡す。
　インタフェース２１は、ＣＰＵ１１と機械学習器１００とを接続するためのインタフェースである。機械学習器１００は、機械学習器１００全体を統御するプロセッサ１０１と、システムプログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習器１００は、インタフェース２１を介して検査装置１で取得可能な各情報（例えば、産業機械３の動作状態を示すデータ）を観測することができる。また、検査装置１は、機械学習器１００から出力される処理結果をインタフェース２１を介して取得し、取得した結果を記憶したり、表示したり、他の装置に対してネットワーク５等を介して送信する。
　図２は、本発明の一実施形態による検査装置１が備える機能を概略的なブロック図として示したものである。本実施形態による検査装置１が備える各機能は、図１に示した検査装置１が備えるＣＰＵ１１と、機械学習器１００が備えるプロセッサ１０１とがシステムプログラムを実行し、検査装置１及び機械学習器１００の各部の動作を制御することにより実現される。
　本実施形態の検査装置１は、データ取得部１１０、学習契機判定部１２０、学習データ作成部１３０、及び学習指令部１４０を備える。また、検査装置１が備える機械学習器１００は、学習部１０６及び推定部１０８を備える。更に、検査装置１のＲＡＭ１３乃至不揮発性メモリ１４には、機械学習器１００が記憶している学習モデルを生成するために用いられた学習データ（以下、基本学習データとする）を記憶する基本データ記憶部２００、データ取得部１１０が産業機械３等から取得したデータを記憶するための領域としての取得データ記憶部２１０、及び機械学習器１００の推定部１０８による推定結果を記憶する推定データ記憶部２２０が予め用意されており、機械学習器１００のＲＡＭ１０３乃至不揮発性メモリ１０４上には、学習モデルが記憶されている領域としての学習モデル記憶部１０９が予め用意されている。本実施形態による検査装置１では、学習モデル記憶部１０９には、予め基本データ記憶部２００に記憶されている学習データを用いた機械学習により生成された学習済みの学習モデル（以下、基本モデルとする）が記憶されている。
　データ取得部１１０は、図１に示した検査装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステムプログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理と、インタフェース１５、１８又は２０による入力制御処理とが行われることで実現される。
データ取得部１１０は、産業機械３の正常動作時においてセンサ４により検出された検査対象物に係るデータを取得する。データ取得部１１０は、例えば産業機械３に取り付けられたセンサ４により検出された、検査対象物の外観を示す画像データや、検査対象物を所定の周波数で振動させることにより発生する音声データ等を取得する。データ取得部１１０が取得するデータは、ラスタ形式や該ラスタ形式のデータを加工した所定の画像形式の画像データであって良いし、また、動画データ等の時系列データであっても良い、また、データ取得部１１０は、ネットワーク５を介して産業機械３から直接データを取得しても良いし、外部機器７２や、フォグコンピュータ６、クラウドサーバ７等が取得して記憶しているデータを取得しても良い。データ取得部１１０が取得したデータは取得データ記憶部２１０に記憶される。
　機械学習器１００が備える推定部１０８は、図１に示した機械学習器１００が備えるプロセッサ１０１がＲＯＭ１０２から読み出したシステムプログラムを実行し、主としてプロセッサ１０１によるＲＡＭ１０３、不揮発性メモリ１０４を用いた演算処理が行われることにより実現される。
推定部１０８は、データ取得部１１０が取得して取得データ記憶部２１０に記憶したデータに基づいて、学習モデル記憶部１０９に記憶された基本モデルを用いた検査対象物の状態の推定を行う。推定部１０８による推定結果は、少なくとも検査対象物について推定されたラベル（以下、擬似ラベルとする）と該擬似ラベルに係る信頼度とを含む。
　ここで、擬似ラベルとは、基本モデルを用いて識別した推定結果を表すものであって良い。例えば、ある製品の画像データに基づいて、当該製品が良品であるか、或いは不良品であるかを推定する検査を考える。その検査のために予め学習を行い生成された基本モデルが学習モデル記憶部１０９に記憶されているとする。この時、当該基本モデルを用いて所定のデータに基づく推定を行い、該データに対し基本モデルが「良品」と識別した場合、そのデータに対する擬似ラベルを（良品，不良品）＝（１，０）といったｏｎｅ－ｈｏｔベクトルで定めるようにして良い。逆に、基本モデルが「不良品」と識別した場合には、そのデータに対する擬似ラベルを（良品，不良品）＝（０，１）と定めてよい。
　一方、信頼度は、上記した擬似ラベルに対する信頼度を表すデータであって良い。信頼度は、基本モデルによる推定の結果がどの程度確からしいかを示す数値であって良い。例えば上記した例において、所定のデータに対して基本モデルによる識別結果が「良品」であった場合であって、その時の推定のスコアが良品＝０．９、不良品＝０．１であった場合には、擬似ラベルが（良品，不良品）＝（１，０）であることの信頼度を９０％として良い。この信頼度は、例えば図３に例示されるように、所定の良品群と不良品群により分類境界が定められた基本モデルがある場合に、当該基本モデルが所定のデータＡを良品と識別した時、その信頼度を、該所定のデータＡと基本モデルとの距離に基づいて算出されるスコアとして定義しても良い。また、例えば図４に例示されるように、所定の良品群のクラスタと不良品群のクラスタに基づいて識別を行う基本モデルがある場合に、当該基本モデルが所定のデータＢを不良品と識別した時、その信頼度を、該所定のデータＢと不良品群のクラスタの中心からの距離（近さ）と、他のクラスタの中心からの距離（離れ具合）とに基づいて算出されるスコアとして定義しても良い。上記以外にも、信頼度は、学習データとの類似度から算出したり、基本モデルがニューラルネットワークである場合には、中間層での出力に対する類似度を採用したりしても良い。信頼度は、機械学習のモデルの種類に応じて、識別結果の確からしさを定義できる所定の数値を用いるようにして良い。
　なお、擬似ラベルと信頼度のデータ形式については、上記に限定されない。例えば、擬似ラベルと信頼度を１つのベクトルデータとして表現しても良い。この場合、上記した例では擬似ラベルと信頼度を、（良品，不良品）＝（０．９，０．１）等と表現することができる。
　推定部１０８による推定結果は、インタフェース２１を介してＣＰＵ１１へと出力され、そして、表示装置７０に表示出力されたり、ネットワーク５を介して産業機械３や、フォグコンピュータ６、クラウドサーバ７等のコンピュータに送信されたりする。また、推定部１０８による検査対象物の検査結果は、図５に例示されるように、推定に用いられたデータと関連付けて推定データ記憶部２２０に記憶される。
　学習契機判定部１２０は、図１に示した検査装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステムプログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理が行われることで実現される。
学習契機判定部１２０は、予め定めた所定の条件に従って、追加学習乃至再学習を実行するタイミングを判定する。ここで前記の所定の条件としては、例えば推定データ記憶部２２０に記憶されるデータの信頼度や、データの個数等を用いた条件であって良い。所定の条件の例としては、信頼度が予め定めた所定の閾値Ｃth1％（例えば、８０％）以下のデータが、予め定めた所定の閾値Ｎth1個（例えば、３０個）以上存在した場合に追加学習を行う、といったものであって良い。基本モデルによる推定結果の中に信頼度が高くないデータが増えることは、基本モデルの現在の環境における検査対象に対する識別能力が十分ではないことを意味する。上記した条件の例は、基本モデルの現在の環境における検査対象に対する識別能力が十分ではないことを示す条件である。このような場合には、基本モデルに対して追加学習乃至再学習を行い現在の環境における検査対象により適応したモデルを作成する必要がある。このように、学習契機判定部１２０が用いる判定条件は、現在用いている基本モデルの現在の環境に対する適応性を改善する契機を定めるものである。
　学習データ作成部１３０は、図１に示した検査装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステムプログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理が行われることで実現される。
学習データ作成部１３０は、学習契機判定部１２０が追加学習乃至再学習を実行するタイミングであると判定した場合に、追加学習乃至再学習に用いる学習データを作成する。学習データ作成部１３０は、現在の環境に対して基本モデルがより適切な識別が行えるようにするために必要なデータを、追加の学習データとして推定データ記憶部２２０の中から抽出する。追加の学習データのラベルについては、擬似ラベルをそのまま用いればよい。そして、抽出した追加の学習データと、基本データ記憶部２００に記憶される基本学習データとから、追加学習乃至再学習に用いる学習データを作成する。例えば、学習データ作成部１３０は、学習契機判定部１２０が追加学習乃至再学習を実行すると判定するトリガーとなったデータの中から追加の学習データを抽出する。上記した例では、推定データ記憶部２２０に記憶されたデータの内で、信頼度が予め定めた所定の閾値Ｃth1％以下の予め定めた所定の閾値Ｎth1個以上のデータの中から、信頼度が高い予め定めた所定のｎth1個（例えば、１０個）のデータを追加の学習データとして抽出し、これと基本学習データとから追加学習乃至再学習の学習データを作成するようにしても良い。他にも、トリガーとなったデータの中から所定の数をランダムに抽出し、これら抽出したデータと基本学習データとから追加学習乃至再学習の学習データを作成するようにしても良い。また、この時、トリガーとなったデータの中から、擬似ラベルが偏らないように（良品の擬似ラベル、不良品の擬似ラベルが同数となるように等）抽出しても良い。
　学習指令部１４０は、図１に示した検査装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステムプログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理と、インタフェース２１を用いた入出力処理とが行われることで実現される。
学習指令部１４０は、機械学習器１００が備える学習部１０６に、学習データ作成部１３０が作成した追加学習乃至再学習に用いる学習データを用いた追加学習乃至再学習をするように指令する。学習指令部１４０は、追加学習を指令する場合には、学習部１０６に、基本モデルに対して学習データ作成部１３０が作成した学習データを用いた追加学習を行うように指令する。また、学習指令部１４０は、再学習を指令する場合には、学習部１０６に、初期化されたモデルに対して学習データ作成部１３０が作成した学習データを用いた再学習を行うように指令する。追加学習乃至再学習の方法については、公値の追加学習乃至再学習の方法を適宜用いればよい。
　学習指令部１４０は、学習部１０６による追加学習乃至再学習の結果として得られた新たなモデルについて、所定の検証を行い、追加学習乃至再学習を終了させるか否かを判定しても良い。例えば、学習指令部１４０は、検証動作として、推定データ記憶部２２０に記憶されたデータの内で、信頼度が予め定めた所定の閾値Ｃth3％以上のデータについて、新たなモデルを用いた推定を行うようにしても良い。そして、学習指令部１４０は、新たなモデルによる推定結果が基本モデルによる推定結果と一致し、且つ、新たなモデルによる推定結果の信頼度が、基本モデルを用いて推定した推定結果の信頼度よりもすべて向上していることを追加学習乃至再学習の終了条件としても良い。これは、新たなモデルは基本モデルよりも現在の環境に適応したことを意味する。この時、新たなモデルが基本モデルよりも現在の環境に適応していないと判断される場合や、新たなモデルの現在の環境への適応が十分ではないと判断される場合には、学習データ作成部１３０に対して追加学習乃至再学習に用いる学習データを再作成するように指令して、更なる追加学習乃至再学習を行うように学習部１０６に指令するようにしても良い。更なる追加学習乃至再学習を行う場合には、学習指令部１４０は、一部の追加の学習データを推定データ記憶部２２０に記憶される他のデータに入れ替えるように学習データ作成部１３０に指令すれば良い。そして、学習指令部１４０は、例えば所定の回数追加学習乃至再学習が繰り返されても新たなモデルが現在の環境に適応しない場合に、追加学習乃至再学習の繰り返し施行を中断し、その旨表示装置７０に表示するようにしても良い。
　学習指令部１４０は、追加学習乃至再学習が終了した場合に、新たなモデルが基本モデルと比較して問題なく同レベルの検査が行えるようになっているかを検証するようにしても良い。この時、学習指令部１４０は、例えば基本学習データの中から予め定めた所定の閾値Ｎth3個（例えば、１００個）以上のデータをサンプルデータとして抽出し、サンプルデータに対して新たなモデルと基本モデルとの両方で推定処理を行うように推定部１０８に指令する。そして、新たなモデルによる推定結果と、基本モデルによる推定結果とが所定の条件を満足する場合に、新たなモデルが基本モデルと比較してより正しい検査が行えるようになっていると判定する。ここで前記の所定の条件としては、例えば、サンプルデータのすべてについて、新たなモデルによる推定結果と、基本モデルによる推定結果とが一致するという条件であって良いし、さらには上記した条件に加えて、サンプルデータのすべてについて、新たなモデルによる推定結果の信頼度が、基本モデルによる推定結果の信頼度を上回るか、または仮に新たなモデルによる推定結果の信頼度が下回ったとしても、その度合いが予め定めた所定の閾値Ｃth4以内であるという条件であっても良い。また前記所定の条件の他の例としては、良品を不良品と識別する割合が予め定めた所定の閾値Ｅth1以下であるといったような、製造現場の事情を勘案したものであっても良い。検証した結果、新たなモデルが基本モデルと比較して同レベルの検査が行えるようになっていない場合には、上記と同様に追加学習乃至再学習の繰り返し施行するようにしても良い。
　そして、学習指令部１４０は、検証した結果、新たなモデルが基本モデルよりも現在の環境に適応していると判断した場合、また、新たなモデルが基本モデルと同レベルの検査が行えると判断した場合、新たなモデルを今後の検査に用いるモデルとして採用し、以降、新たなモデルを基本モデルとして取り扱うように、学習部１０６、推定部１０８へと指令する。
　機械学習器１００が備える学習部１０６は、図１に示した機械学習器１００が備えるプロセッサ１０１がＲＯＭ１０２から読み出したシステムプログラムを実行し、主としてプロセッサ１０１によるＲＡＭ１０３、不揮発性メモリ１０４を用いた演算処理が行われることにより実現される。
学習部１０６は、学習指令部１４０から受け取った指令に基づいて、学習データ作成部１３０が作成した学習データを用いた追加学習乃至再学習を行うことで学習モデルを作成し、作成した学習モデルを学習モデル記憶部１０９に記憶する。学習部１０６が行う機械学習は公知の教師なし学習や教師あり学習であって良い。
　上記構成を備えた検査装置１は、ユーザがアノテーションやデータの吟味の作業を行うことなく、効果的な追加学習乃至再学習を行うタイミングを決定することができるため、効率的かつ学習を実行でき、また、ユーザの負担を軽減できることが期待される。
　以上、本発明の一実施形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
　　１　検査装置
　　３　産業機械
　　４　センサ
　　５　ネットワーク
　　６　フォグコンピュータ
　　７　クラウドサーバ
　　１１　ＣＰＵ
　　１２　ＲＯＭ
　　１３　ＲＡＭ
　　１４　不揮発性メモリ
　　１５，１７，１８，２０，２１　インタフェース
　　２２　バス
　　７０　表示装置
　　７１　入力装置
　　７２　外部機器
　　１１０　データ取得部
　　１２０　学習契機判定部
　　１３０　学習データ作成部
　　１４０　学習指令部
　　２００　基本データ記憶部
　　２１０　取得データ記憶部
　　２２０　推定データ記憶部
　　１００　機械学習器
　　１０１　プロセッサ
　　１０２　ＲＯＭ
　　１０３　ＲＡＭ
　　１０４　不揮発性メモリ
　　１０６　学習部
　　１０８　推定部
　　１０９　学習モデル記憶部

Claims (7)

  1. 　機械学習器が記憶する学習済みの学習モデルである基本モデルを用いて、検査対象物に係るデータに基づく該検査対象物の状態の推定結果により該検査対象物の検査を行うための検査装置であって、
    　検査対象物の状態の推定結果及び該推定結果の信頼度を、前記検査対象物に係るデータと関連付けて記憶した推定データ記憶部と、
    　前記推定データ記憶部に記憶されたデータが所定の条件を満たす場合に、追加学習乃至再学習を実行するタイミングであると判定する学習契機判定部と、
    　前記学習契機判定部が追加学習乃至再学習を実行するタイミングであると判定した場合に、前記推定データ記憶部に記憶されたデータから追加の学習データを抽出し、少なくとも抽出した追加の学習データに基づいて、追加学習乃至再学習に用いる学習データを作成する学習データ作成部と、
    　前記学習データ作成部が作成した前記学習データを用いて、追加学習乃至再学習を行うように前記機械学習器に指令する学習指令部と、
    を備えた検査装置。
  2. 　前記検査対象物に係るデータは、前記検査対象物に係る画像データである、
    請求項１に記載の検査装置。
  3. 　前記学習契機判定部は、前記推定データ記憶部に記憶されたデータの中に、前記信頼度が予め定めた第１の閾値以下のデータが、予め定めた第２の閾値以上存在する場合に、追加学習乃至再学習を実行するタイミングであると判定する、
    請求項１に記載の検査装置。
  4. 　前記学習データ作成部は、前記推定データ記憶部に記憶されたデータの中で、前記信頼度が予め定めた前記第１の閾値以下のデータの内の信頼度が高いデータを上位から予め定めた第３の閾値の個数のデータを追加の学習データとして抽出する、
    請求項３に記載の検査装置。
  5. 　前記学習データ作成部は、前記推定データ記憶部に記憶されたデータの中で、前記信頼度が予め定めた前記第１の閾値以下のデータの内、予め定めた第３の閾値の個数のデータをランダムに選択し、追加の学習データとして抽出する、
    請求項３に記載の検査装置。
  6. 　前記学習指令部は、追加学習乃至再学習して生成した新たなモデルを、前記推定データ記憶部に記憶されたデータを用いて検証し、検証した結果、前記新たなモデルが前記基本モデルよりも前記推定データ記憶部に記憶されたデータが取得された環境に適応してないと判定された場合、前記学習データ作成部に対して追加学習乃至再学習に用いる学習データを再作成するように指令し、再作成された学習データを用いた追加学習乃至再学習を行うように前記機械学習器に指令する、
    請求項１～５のいずれか一つに記載の検査装置。
  7. 　前記学習指令部は、追加学習乃至再学習して生成した新たなモデルを、前記基本モデルを作成した際に用いた学習データを用いて検証し、検証した結果、前記新たなモデルが前記基本モデルと同レベルの検査が行えないと判定された場合、前記学習データ作成部に対して追加学習乃至再学習に用いる学習データを再作成するように指令し、再作成された学習データを用いた追加学習乃至再学習を行うように前記機械学習器に指令する、
    請求項１～６のいずれか一つに記載の検査装置。
PCT/JP2021/027522 2020-07-27 2021-07-26 検査装置 WO2022024985A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/005,671 US20230274408A1 (en) 2020-07-27 2021-07-26 Inspection device
DE112021003974.1T DE112021003974T5 (de) 2020-07-27 2021-07-26 Prüfgerät
JP2022540287A JPWO2022024985A1 (ja) 2020-07-27 2021-07-26
CN202180059226.7A CN116194952A (zh) 2020-07-27 2021-07-26 检查装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020126661 2020-07-27
JP2020-126661 2020-07-27

Publications (1)

Publication Number Publication Date
WO2022024985A1 true WO2022024985A1 (ja) 2022-02-03

Family

ID=80036224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027522 WO2022024985A1 (ja) 2020-07-27 2021-07-26 検査装置

Country Status (5)

Country Link
US (1) US20230274408A1 (ja)
JP (1) JPWO2022024985A1 (ja)
CN (1) CN116194952A (ja)
DE (1) DE112021003974T5 (ja)
WO (1) WO2022024985A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208594A (ja) * 2002-01-10 2003-07-25 Mitsubishi Electric Corp 類識別装置及び類識別方法
JP2006293820A (ja) * 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP2016519807A (ja) * 2013-03-15 2016-07-07 ザ クリーブランド クリニック ファウンデーションＴｈｅ Ｃｌｅｖｅｌａｎｄ ＣｌｉｎｉｃＦｏｕｎｄａｔｉｏｎ 自己進化型予測モデル
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
WO2019138655A1 (ja) * 2018-01-09 2019-07-18 日本電信電話株式会社 モデル学習装置、モデル学習方法、及びプログラム
US20190370686A1 (en) * 2018-06-01 2019-12-05 Nami Ml Inc. Machine learning model re-training based on distributed feedback
JP2019211969A (ja) * 2018-06-04 2019-12-12 オリンパス株式会社 学習管理装置、学習管理サーバ、および学習管理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014190821A (ja) 2013-03-27 2014-10-06 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208594A (ja) * 2002-01-10 2003-07-25 Mitsubishi Electric Corp 類識別装置及び類識別方法
JP2006293820A (ja) * 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP2016519807A (ja) * 2013-03-15 2016-07-07 ザ クリーブランド クリニック ファウンデーションＴｈｅ Ｃｌｅｖｅｌａｎｄ ＣｌｉｎｉｃＦｏｕｎｄａｔｉｏｎ 自己進化型予測モデル
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
WO2019138655A1 (ja) * 2018-01-09 2019-07-18 日本電信電話株式会社 モデル学習装置、モデル学習方法、及びプログラム
US20190370686A1 (en) * 2018-06-01 2019-12-05 Nami Ml Inc. Machine learning model re-training based on distributed feedback
JP2019211969A (ja) * 2018-06-04 2019-12-12 オリンパス株式会社 学習管理装置、学習管理サーバ、および学習管理方法

Also Published As

Publication number Publication date
CN116194952A (zh) 2023-05-30
DE112021003974T5 (de) 2023-05-25
JPWO2022024985A1 (ja) 2022-02-03
US20230274408A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
JP6693938B2 (ja) 外観検査装置
US10835930B2 (en) Sorting system
JP6903142B2 (ja) 異常検出装置、異常検出方法及びプログラム
CN111505424A (zh) 一种基于深度卷积神经网络的大型实验装置电力设备故障诊断方法
US11568290B2 (en) Method for displaying, user interface unit, display device and inspection apparatus
CN114445746A (zh) 模型训练方法、铁路接触网异常检测方法及相关装置
JP6795562B2 (ja) 検査装置及び機械学習方法
CN113361539A (zh) 一种井下巡检机器人的仪表读取方法、装置及电子设备
CN114730407A (zh) 使用神经网络对工作环境中的人类行为进行建模
US11055047B2 (en) Waveform display device based on waveform extraction
US10539931B2 (en) Time-series data analysis device
JP6823025B2 (ja) 検査装置及び機械学習方法
KR102024829B1 (ko) Ｃａｒｔ 기반의 입력변수 랭킹을 이용한 산업공정의 고장변수 식별을 위한 장치 및 방법
WO2022024985A1 (ja) 検査装置
JP7251955B2 (ja) 検出装置及び機械学習方法
JP7005255B2 (ja) 評価システム、評価方法及びプログラム
WO2023181277A1 (ja) 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体
JP7384000B2 (ja) 協調作業システム、解析収集装置および解析プログラム
JP7322560B2 (ja) プログラム、情報処理方法及び情報処理装置
García et al. A configuration approach for convolutional neural networks used for defect detection on surfaces
CN110895719A (zh) 验证装置
JPWO2021079459A5 (ja)
WO2022065273A1 (ja) 外観検査のためのモデル作成装置及び外観検査装置
CN117115783B (zh) 基于机器视觉的流水线工作行为识别方法
Ushiroda et al. Multi-modal Classification Using Domain Adaptation for Automated Defect Detection Based on the Hammering Test

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21850377

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022540287

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21850377

Country of ref document: EP

Kind code of ref document: A1