WO2020184069A1 - 画像処理方法、画像処理装置、プログラム - Google Patents

画像処理方法、画像処理装置、プログラム Download PDF

Info

Publication number
WO2020184069A1
WO2020184069A1 PCT/JP2020/005997 JP2020005997W WO2020184069A1 WO 2020184069 A1 WO2020184069 A1 WO 2020184069A1 JP 2020005997 W JP2020005997 W JP 2020005997W WO 2020184069 A1 WO2020184069 A1 WO 2020184069A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
priority
learning
normal
abnormal
Prior art date
Application number
PCT/JP2020/005997
Other languages
English (en)
French (fr)
Inventor
小林　弘幸
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021505613A priority Critical patent/JP7095798B2/ja
Priority to US17/435,764 priority patent/US20220051387A1/en
Publication of WO2020184069A1 publication Critical patent/WO2020184069A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to an image processing method, an image processing device, and a program.
  • Patent Document 1 there is a method disclosed in Patent Document 1 as a method for creating a model of a neural network as used for the above-mentioned product inspection.
  • a pseudo image is generated by synthesizing abnormal data representing the characteristics of an abnormal product with an image of a normal product to be learned. Then, in Patent Document 1, it is determined how to synthesize the abnormal data into the image of the normal product by using the random value.
  • the difference between the abnormal product image and the normal product image is used as the abnormal data.
  • an object of the present invention is to solve the above-mentioned problem that the image including the abnormal data cannot be sufficiently learned and the detection accuracy of the abnormal product is lowered.
  • the image processing method which is one embodiment of the present invention, is Based on the priority set for each abnormal data, an abnormal image is generated by inserting the abnormal data into the normal learning image.
  • the abnormal image is input to the model trained to remove the abnormal data from the abnormal image, and the training is based on the difference between the output image output from the model and the normal image for training.
  • the priority of the abnormal data inserted in the normal image is newly set.
  • the model is trained so that the difference between the output image and the normal image for learning becomes small. It takes the configuration.
  • the image processing apparatus is An abnormal image generation unit that generates an abnormal image by inserting the abnormal data into a normal learning image based on the priority set for each abnormal data.
  • the abnormal image is input to the model trained to remove the abnormal data from the abnormal image, and the training is based on the difference between the output image output from the model and the normal image for training.
  • a priority setting unit that newly sets the priority of the abnormal data inserted in the normal image
  • a learning unit that learns the model so that the difference between the output image and the normal image for learning becomes small. With, It takes the configuration.
  • the program which is one form of the present invention For information processing equipment An abnormal image generation unit that generates an abnormal image by inserting the abnormal data into a normal learning image based on the priority set for each abnormal data.
  • the abnormal image is input to the model trained to remove the abnormal data from the abnormal image, and the training is based on the difference between the output image output from the model and the normal image for training.
  • a priority setting unit that newly sets the priority of the abnormal data inserted in the normal image
  • a learning unit that learns the model so that the difference between the output image and the normal image for learning becomes small. To realize, It takes the configuration.
  • the present invention is configured as described above, so that the accuracy of detecting abnormal products can be improved.
  • FIG. 1 It is a block diagram which shows the structure of the image inspection apparatus in Embodiment 1 of this invention. It is a figure which shows an example of the priority data stored in the priority data storage part disclosed in FIG. It is a figure which shows the state of the processing by the image inspection apparatus disclosed in FIG. It is a figure which shows the state of the processing by the image inspection apparatus disclosed in FIG. It is a flowchart which shows the operation of the image inspection apparatus disclosed in FIG. It is a flowchart which shows the operation of the image inspection apparatus disclosed in FIG. It is a flowchart which shows the operation of the image inspection apparatus disclosed in FIG. It is a flowchart which shows the operation of the image inspection apparatus disclosed in FIG. It is a block diagram which shows the hardware structure of the image processing apparatus in Embodiment 2 of this invention. It is a block diagram which shows the structure of the image processing apparatus in Embodiment 2 of this invention. It is a flowchart which shows the operation of the image processing apparatus in Embodiment 2 of this invention.
  • FIGS. 1 to 7 are diagrams for explaining the configuration of the image inspection device, and FIGS. 3 to 7 are diagrams for explaining the processing operation of the image inspection device.
  • the image inspection device 10 uses an image obtained by photographing an inspection target object such as an industrial product to perform an inspection for determining whether the inspection target object is a normal product or an abnormal product. It is a device for.
  • the image inspection device 10 first performs learning using the learning image, and then inspects the inspection image using the learned model, as described below.
  • the image inspection device 10 is composed of one or a plurality of information processing devices including an arithmetic unit and a storage device. Then, as shown in FIG. 1, the image inspection device 10 includes an abnormality image generation unit 11, an abnormality removal unit 12, a priority setting unit 13, and a determination unit 14, which are constructed by the arithmetic unit executing a program. Be prepared. Further, the image inspection device 10 includes a priority data storage unit 16 and a model storage unit 17 formed in the storage device. Hereinafter, each configuration will be described in detail.
  • the abnormal image generation unit 11 inserts abnormal simulated data (abnormal data) into a normal image (normal image for learning) which is a learning image prepared in advance for learning, and generates an abnormal image.
  • abnormal data abnormal data
  • ⁇ "scratch" Insert a linear "scratch” into the image.
  • the insertion method is as follows, for example. 1. 1. Color determination (use some colors in the image or predetermined colors) 2. 2. Determining the end points of the line (determining two random points on the image) 3. 3. Insert a straight line (use the determined color and add a straight line between the determined endpoints) ⁇ "Chip" Insert a chip on the surface of the image.
  • the insertion method is as follows, for example. 1. 1. 1.
  • Color determination (use some colors in the image or predetermined colors) 2. 2. Determining the type of chipping (randomly determining the type of polygon) 3. 3. Determining the vertices of the chip (determining the vertices of the polygon randomly on the image) 4. Insert chip (use the determined color and add a polygon connecting the determined vertices) ⁇ "noise" Insert noise into the image. For example, white noise is inserted into the entire image. ⁇ "stain" Insert a stain on the surface of the image.
  • the insertion method is as follows, for example. 1. 1. Color determination (use some colors in the image or predetermined colors) 2. 2. Determining the shape and area of the stain (determine the range with a circle or polygon. You may add a shade distribution based on a normal distribution, etc.) 3. 3. Insert stain (use the determined color and add the stain of the determined shape)
  • the abnormal image generation unit 11 determines the type of the abnormal simulated data to be inserted into the normal image and the position on the normal image into which the abnormal simulated data is inserted, in the priority (type priority) stored in the priority data storage unit 16. Determining based on degree, position priority).
  • FIG. 2 shows an example of the priority stored in the priority data storage unit 16. The upper figure of FIG. 2 shows the type priority set for each type of abnormal simulated data, and the lower figure of FIG. 2 shows the position priority set for each position of a normal image, that is, for each coordinate (pixel). Shown.
  • the abnormality image generation unit 11 determines the type and position of the abnormality simulation data to be inserted by random numbers, but the type of abnormality simulation data having a high type priority is inserted with a higher probability than other types. , It is determined that the position with the higher position priority is inserted with a higher probability than the other positions. That is, the abnormality simulated data is inserted with higher priority than other types as the type has a higher type priority value, and is inserted with priority over other positions as the position priority value is larger. It becomes.
  • the type of abnormal simulation data to be inserted is determined using random numbers according to the type priority.
  • the total value of the type priorities is A
  • the type priority of the specific abnormality simulated data is B
  • B / A is calculated as the probability that the specific abnormality simulated data is selected.
  • the specific abnormality simulation data is selected with the probability of B / A
  • the type of data having a larger type priority value is preferentially inserted.
  • the probability that the abnormality simulated data of “scratch” is selected is 2 / 7.5.
  • the abnormal image generation unit 11 determines the insertion position of the abnormal simulated data with respect to the normal image using random numbers according to the position priority.
  • the total value of the position priorities is A
  • the position priority of the specific coordinate value of the normal image is B
  • the probability that the specific coordinate value of the normal image into which the specific abnormality simulation data is inserted is selected.
  • B / A is calculated as.
  • the specific coordinate value of the normal image of the abnormal simulated data is selected with the probability of B / A
  • the coordinate value having the larger position priority value is preferentially inserted. For example, in the example of the position priority value shown in the lower part of FIG. 2, among the coordinate values of the 1024 ⁇ 768 pxl image, the higher the position priority value, the higher the probability of insertion.
  • the abnormality simulation data of the determined type is inserted into the determined position on the normal image. For example, as shown in FIG. 3, the abnormal image generation unit 11 inserts a “scratch” as shown by a line graphic into a normal image to generate an abnormal image.
  • the type of abnormal simulation data is "noise"
  • the determined position is not used because it is inserted in the entire image.
  • the abnormality removing unit 12 inputs the abnormality image generated as described above to the model stored in the model storage unit 17, and outputs an output image processed by the model.
  • the model stored in the model storage unit 17 is composed of a neural network NN learned to output an output image obtained by removing the abnormal simulation data from the abnormal image.
  • the abnormality removing unit 12 (learning unit) also learns the model when the abnormality image is input as described above. Specifically, as shown in FIG. 3, the abnormality removing unit 12 acquires a normal image before inserting the abnormality simulation data, and calculates the difference between the normal image and the output image from the model. .. For example, the abnormality removing unit 12 acquires the difference value for each pixel between the normal image and the output image, and calculates the total value of the absolute values as the difference value between the two images. Then, the abnormality removing unit 12 constructs a neural network NN so that the difference between the normal image and the output image becomes small, and trains the model.
  • the model is learned so that the difference between the normal image and the output image becomes smaller, that is, the abnormal simulated data is removed from the abnormal image.
  • the abnormality removing unit 12 uses a method of reproducing an input like an autoencoder of deep learning. The abnormality removing unit 12 passes the difference value between the output image and the normal image calculated during the above-mentioned learning to the priority setting unit 13.
  • the abnormality removing unit 12 inputs an inspection image of the product into a model configured by the learned neural network NN, as shown in FIG. As a result, the abnormality removing unit 12 outputs an output image in which the abnormality portion actually generated in the product is removed according to the model. Then, the abnormality removing unit 12 calculates the difference between the input inspection image and the output image and passes it to the determination unit 14.
  • the priority setting unit 13 receives the difference value between the output image and the normal image calculated from the model at the time of learning by the abnormality removing unit 12, and inserts the difference value into the normal image at the time of learning based on the difference value.
  • the abnormality removing unit 12 calculates a new type priority so that the larger the difference value between the normal image and the output image, the larger the value of the type priority of the abnormality simulated data inserted in the normal image. That is, it is considered that the larger the difference value is, the more the abnormal simulation data is not learned correctly. Therefore, the process of increasing the priority of such abnormal simulation data is performed.
  • the priority setting unit 13 sets a priority coefficient with a larger value as the difference value is larger, and calculates a new priority by multiplying the priority coefficient by the current type priority as shown below. To do.
  • the relationship between the difference value and the preset threshold values M and N (M ⁇ N) is When the difference value ⁇ M, the priority coefficient "1 / ⁇ "( ⁇ > 1), When M ⁇ difference value ⁇ N, the priority coefficient "1", When N ⁇ difference value, the priority coefficient is “ ⁇ ” ( ⁇ > 1).
  • the priority setting unit 13 stores the type priority newly calculated for the type of the abnormality simulated data in the priority data storage unit 16 as described above, and stores the type priority shown in the upper figure of FIG. Update. As a result, at the time of subsequent learning, the type of abnormal simulated data to be inserted into the normal image is determined based on the updated type priority.
  • the priority setting unit 13 determines the position, that is, the coordinates in the normal image in which the abnormal simulation data is inserted at the time of learning, based on the difference value between the output image from the model calculated at the time of learning and the normal image. Set a new position priority.
  • the abnormality removing unit 12 calculates a new position priority so that the larger the difference value between the normal image and the output image, the larger the value of the position priority of the coordinates inserted in the normal image. That is, it is considered that the larger the difference value is, the more the learning is not performed correctly. Therefore, the process of increasing the position priority of the coordinates at such a position is performed.
  • the priority setting unit 13 sets a priority coefficient having a larger value as the difference value is larger, and calculates a new priority by multiplying the current position priority by the priority coefficient. ..
  • the priority setting unit 13 stores the position priority newly calculated for the coordinates of the normal image in the priority data storage unit 16 as described above, and updates the position priority shown in the lower figure of FIG. ..
  • the coordinates at which the abnormality simulated data is inserted into the normal image are determined based on the updated position priority.
  • the priority setting unit 13 is not limited to newly calculating and updating the position priority of only the coordinates in which the abnormality simulation data is inserted. For example, the priority setting unit 13 multiplies the position priority of the coordinates in which the abnormality simulation data is inserted and the coordinates located in a predetermined number of pixel ranges around the abnormal simulation data by the above-mentioned priority coefficient to obtain a new priority.
  • the priority setting unit 13 lowers the coordinates so that the value of the priority coefficient approaches 1 as the coordinates are farther from the coordinates in which the abnormality simulation data is inserted, and multiplies the position priority of each coordinate by the priority coefficient. You may calculate a new priority.
  • the determination unit 14 receives the difference value between the output image from the model and the inspection image calculated at the time of inspection by the abnormality removing unit 12, and based on the difference value, the inspection image is normal. / Judge an abnormality. For example, the determination unit 14 determines that the difference value is equal to or more than a preset determination threshold value, and determines that the difference value is less than the threshold value, that is normal. Then, the determination unit 14 outputs the determination result as an inspection result.
  • the image inspection device 10 reads a normal image which is a learning image (step S1 in FIG. 5). Then, the image inspection device 10 inserts the abnormality simulation data into the normal image to generate the abnormality image (arrows Y1 and Y2 in FIG. 3 and step S2 in FIG. 5). The method of inserting the abnormal simulated data to be inserted into the normal image will be described in detail later.
  • the image inspection device 10 inputs an abnormal image in which abnormality simulated data is inserted into the normal image into the model (arrow Y3 in FIG. 3), and acquires an output image which is an abnormality removal image (arrow Y4 in FIG. 3). Step S3 in FIG. 5). Then, the image inspection device 10 compares the output image with the normal image before inserting the abnormality simulation data, and calculates the difference (arrow Y5 in FIG. 3). Based on the calculated difference, the image inspection device 10 calculates the type of abnormality simulated data and the priority (type priority, position priority) set for each insertion position as shown in FIG. 2, and the priority data. It is stored and updated in the storage unit 16 (arrow Y6 in FIG. 3, step S4 in FIG. 5).
  • the image inspection device 10 performs learning so that the output image from the model becomes a normal image before inserting the abnormality simulation data based on the calculated difference, and updates the model (arrow Y7 in FIG. 3). , Step S5 in FIG.
  • the image inspection device 10 reads out the type priority set for each type of abnormality simulated data shown in the upper figure of FIG. 2 from the priority data storage unit 16. Then, the image inspection device 10 sets the total value of the type priorities to A and the type priority of each abnormality simulation data to B, and calculates B / A as the probability that each abnormality simulation data is selected. The image inspection device 10 selects the type of the anomaly simulation data to be inserted by using a random number so that each anomaly simulation data is selected with such a probability B / A (step S11).
  • the image inspection device 10 reads out the position priority set for each coordinate of the normal image into which the abnormality simulated data is inserted, which is shown in the lower figure of FIG. 2, from the priority data storage unit 16. Then, the image inspection device 10 sets the total value of the position priorities to A and the position priority of each coordinate to B, and calculates B / A as the probability that each coordinate is selected. The image inspection device 10 uses random numbers to select the coordinates to be inserted so that each coordinate is selected with such a probability B / A (step S12).
  • the image inspection device 10 inserts the determined type of abnormality simulation data at the position of the determined coordinates on the normal image to generate an abnormality image (step S13).
  • the image inspection device 10 acquires a difference comparing the output image output from the model during learning and the normal image before inserting the abnormality simulation data (step S21). For example, as the difference, the difference value for each pixel between the normal image and the output image is acquired, and the total value of the absolute values is used.
  • the image inspection device 10 determines the relationship between the normal image, the output image, the difference value, and the threshold values M and N (M ⁇ N) (step S22), and according to the determination result, the priority coefficient is as follows. To set. When the difference value ⁇ M, the priority coefficient "1 / ⁇ "( ⁇ > 1) (step S23) When M ⁇ difference value ⁇ N, the priority coefficient "1" (step S24) When N ⁇ difference value, priority coefficient “ ⁇ ” ( ⁇ > 1) (step S25)
  • the image inspection device 10 calculates a new type priority by multiplying the set priority coefficient by the current type priority set for the type of the inserted abnormality simulation data, and stores the priority data. It is stored in the unit 16 and the type priority is updated (step S26). Similarly, the image inspection device 10 calculates a new position priority by multiplying the set priority coefficient by the current position priority set at the position where the abnormality simulation data is inserted, and calculates the new position priority, and the priority data. It is stored in the storage unit 16 and the position priority is updated (step S27).
  • the image inspection device 10 inputs an inspection image obtained by photographing the product into a model configured by the learned neural network NN (arrow Y11). Then, the image inspection device 10 acquires the output image output from the model (arrow Y12), and calculates the difference between the output image and the inspection image (arrow Y13). The image inspection device 10 determines whether the inspection image is normal / abnormal based on the difference (arrow 14). For example, if the difference value is equal to or greater than the preset determination threshold value, it is determined to be abnormal, and if it is less than the threshold value, it is determined to be normal.
  • the difference between the output image from the model learned to remove the abnormal simulated data from the abnormal image obtained by inserting the abnormal simulated data into the normal image and the normal image is used to generate the abnormal simulated data.
  • the priority is set. In particular, the larger the difference between the output image and the normal image, the higher the priority is set. For this reason, the type of abnormal simulation data that is difficult to remove and the priority of the insertion position are set high, so the learning frequency at such type and insertion position increases, and such learning can be sufficiently performed. It is possible to improve the detection accuracy of.
  • FIGS. 8 to 10 are block diagrams showing the configuration of the image processing apparatus according to the second embodiment
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus.
  • the outline of the configuration of the image inspection apparatus and the processing method by the image inspection apparatus described in the first embodiment is shown.
  • the image processing device 100 is composed of a general information processing device, and is equipped with the following hardware configuration as an example.
  • -CPU Central Processing Unit
  • -ROM Read Only Memory
  • RAM Random Access Memory
  • 103 storage device
  • -Program group 104 loaded into RAM 103
  • a storage device 105 that stores the program group 104.
  • a drive device 106 that reads and writes the storage medium 110 external to the information processing device.
  • -Communication interface 107 that connects to the communication network 111 outside the information processing device -I / O interface 108 for inputting / outputting data -Bus 109 connecting each component
  • the image processing device 100 is equipped with the abnormal image generation unit 121, the priority setting unit 122, and the learning unit 123 shown in FIG. 9 by acquiring the program group 104 by the CPU 101 and executing the program group 104. can do.
  • the program group 104 is stored in the storage device 105 or the ROM 102 in advance, for example, and the CPU 101 loads the program group 104 into the RAM 103 and executes the program group 104 as needed. Further, the program group 104 may be supplied to the CPU 101 via the communication network 111, or may be stored in the storage medium 110 in advance, and the drive device 106 may read the program and supply the program to the CPU 101.
  • the above-mentioned abnormal image generation unit 121, priority setting unit 122, and learning unit 123 may be constructed by an electronic circuit.
  • FIG. 8 shows an example of the hardware configuration of the information processing device which is the image processing device 100, and the hardware configuration of the information processing device is not exemplified in the above case.
  • the information processing device may be configured from a part of the above-described configuration, such as not having the drive device 106.
  • the image processing device 100 executes the image processing method shown in the flowchart of FIG. 10 by the functions of the abnormal image generation unit 121, the priority setting unit 122, and the learning unit 123 constructed by the program as described above.
  • the image processing device 100 is Based on the priority set for each abnormal data, an abnormal image in which the abnormal data is inserted into the normal learning image is generated (step S101).
  • An abnormal image is input to a model trained to remove abnormal data from the abnormal image, and the difference between the output image output from the model and the normal image for learning is acquired (step S102).
  • the priority of the abnormal data inserted in the normal learning image is newly set (step S103).
  • the model is trained so that the difference between the output image and the normal image for training becomes small (step S104).
  • the present invention is configured as described above to obtain the difference between the output image from the model trained to remove the abnormal data from the abnormal image in which the abnormal data is inserted into the normal learning image and the normal image for training. It is used to set the priority of abnormal data. Therefore, since the priority of the abnormal data is set according to the removal situation, for example, it is possible to sufficiently learn the abnormal data that is difficult to remove, and to improve the detection accuracy of the abnormal product. it can.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (RandomAccessMemory)).
  • a semiconductor memory for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (RandomAccessMemory)
  • the program may also be supplied to the computer by various types of temporary computer readable media.
  • Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • Appendix 1 Based on the priority set for each abnormal data, an abnormal image is generated by inserting the abnormal data into the normal learning image.
  • the abnormal image is input to the model trained to remove the abnormal data from the abnormal image, and the training is based on the difference between the output image output from the model and the normal image for training.
  • the priority of the abnormal data inserted in the normal image is newly set.
  • the model is trained so that the difference between the output image and the normal image for learning becomes small.
  • Image processing method Based on the priority set for each abnormal data, an abnormal image is generated by inserting the abnormal data into the normal learning image.
  • the abnormal image is input to the model trained to remove the abnormal data from the abnormal image, and the training is based on the difference between the output image output from the model and the normal image for training.
  • the priority of the abnormal data inserted in the normal image is newly set.
  • the model is trained so that the difference between the output image and the normal image for learning becomes small.
  • the abnormal image in which the abnormal data is inserted at a predetermined position of the normal learning image is generated.
  • the abnormal image is input to the model, and the position priority set for each position of the learning normal image is newly set based on the difference between the output image and the learning normal image.
  • Image processing method. (Appendix 5) The image processing method described in Appendix 4 The position where the value of the position priority of the normal image for learning is larger is prioritized, and the abnormal data is inserted into the position of the normal image for learning to generate the abnormal image.
  • the position priority is newly set so that the larger the difference between the output image and the normal image for learning, the larger the value of the position priority set at the position of the normal image for learning in which the abnormal data is inserted.
  • Set to, Image processing method. (Appendix 6) The image processing method described in Appendix 5 The larger the difference between the output image and the normal image for learning, the larger the priority coefficient is set, and the position priority set at the position of the normal image for learning into which the abnormal data is inserted is set. Multiply the priority coefficient to set the position priority newly, Image processing method. (Appendix 7) The image processing method according to Appendix 5 or 6.
  • Image processing method The larger the difference between the output image and the normal learning image, the larger the position of the normal learning image into which the abnormal data is inserted and the value of the position priority set around the predetermined range. Set the position priority newly, Image processing method.
  • Appendix 7.1 The image processing method according to any one of Appendix 1 to 7. The difference between the output image and the learning normal image for each pixel corresponding to each other is obtained, and the total value obtained by summing up all the pixels is acquired as the difference.
  • Image processing method (Appendix 8) The image processing method according to any one of Appendix 1 to 7. An inspection image is input to the trained model, and the normality / abnormality of the inspection image is determined based on the difference between the inspection output image output from the model and the inspection image.
  • Image processing method An abnormal image generation unit that generates an abnormal image by inserting the abnormal data into a normal learning image based on the priority set for each abnormal data.
  • the abnormal image is input to the model trained to remove the abnormal data from the abnormal image, and the training is based on the difference between the output image output from the model and the normal image for training.
  • a priority setting unit that newly sets the priority of the abnormal data inserted in the normal image
  • a learning unit that learns the model so that the difference between the output image and the normal image for learning becomes small.
  • Image processing device equipped with Appendix 9.1
  • the priority setting unit newly sets the priority so that the larger the difference between the output image and the normal image for learning, the larger the value of the priority of the abnormal data inserted in the normal image for learning.
  • Set to, Image processing device. (Appendix 9.2) The image processing apparatus according to Appendix 9.1.
  • the priority setting unit sets a priority coefficient having a larger value as the difference between the output image and the normal image for learning increases, and sets the priority of the abnormal data inserted in the normal image for learning. Multiply the priority coefficient to set a new priority.
  • Image processing device (Appendix 9.3) The image processing apparatus according to Appendix 9 to 9.2.
  • the abnormal image generation unit generates the abnormal image in which the abnormal data is inserted at a predetermined position of the normal learning image based on the position priority set for each position of the normal image for learning.
  • the priority setting unit inputs the abnormal image to the model, and the position set for each position of the learning normal image based on the difference between the output image and the learning normal image.
  • Set a new priority, Image processing device. (Appendix 9.4)
  • the image processing apparatus according to Appendix 9.3.
  • the abnormal image generation unit gives priority to a position where the value of the position priority of the normal image for learning is larger, inserts the abnormal data at that position of the normal image for learning, and generates the abnormal image.
  • the priority setting unit In the priority setting unit, the larger the difference between the output image and the normal learning image, the larger the value of the position priority set at the position of the normal learning image into which the abnormal data is inserted.
  • Set a new position priority Image processing device.
  • the priority setting unit sets a priority coefficient having a larger value as the difference between the output image and the normal image for learning is larger, and is set at the position of the normal image for learning into which the abnormal data is inserted.
  • the position priority is newly set by multiplying the position priority by the priority coefficient.
  • Image processing device (Appendix 9.6) The image processing apparatus according to Appendix 9.4 or 9.5.
  • the priority setting unit the larger the difference between the output image and the normal learning image, the more the position priority of the normal learning image into which the abnormal data is inserted and the position priority set around the predetermined range thereof. Set the position priority newly so that the value of degree becomes large, Image processing device.
  • Image processing device The image processing apparatus according to any one of Appendix 9 to 9.6.
  • An inspection image is input to the trained model, and the normality / abnormality of the inspection image is determined based on the difference between the inspection output image output from the model and the inspection image. Equipped with a judgment unit, Image processing device.
  • An abnormal image generation unit that generates an abnormal image by inserting the abnormal data into a normal learning image based on the priority set for each abnormal data.
  • the abnormal image is input to the model trained to remove the abnormal data from the abnormal image, and the training is based on the difference between the output image output from the model and the normal image for training.
  • a priority setting unit that newly sets the priority of the abnormal data inserted in the normal image
  • a learning unit that learns the model so that the difference between the output image and the normal image for learning becomes small.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明の画像処理装置１００は、異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成する異常画像生成部１２１と、異常画像から異常データを除去するよう学習されたモデルに対して、異常画像を入力して、当該モデルから出力された出力画像と学習用正常画像との差分に基づいて、学習用正常画像に挿入された異常データの優先度を新たに設定する優先度設定部１２２と、出力画像と学習用正常画像との差分が小さくなるようモデルの学習を行う学習部１２３と、を備える。

Description

画像処理方法、画像処理装置、プログラム
　本発明は、画像処理方法、画像処理装置、プログラムに関する。
　近年、工業製品の検査において、検査対象物体を撮影し、撮影画像から自動的に正常品と異常品を判別することが行われている。このような判別を行うためには、事前に正常品及び／又は異常品の画像を学習して、ニューラルネットワークのモデルを生成する必要がある。そして、検査対象物体の撮影画像をモデルに入力することで、正常品、異常品を判別している。
　ここで、上述した製品検査に用いるようなニューラルネットワークのモデルを作成する手法として、特許文献１に開示の方法がある。特許文献１では、学習する正常品の画像に、異常品の特徴を表す異常データを合成して疑似画像を生成している。そして、特許文献１では、乱数値を用いて、異常データを正常品の画像にどのように合成するかを決定している。なお、特許文献１では、異常データとして、異常品画像と正常品画像との差分を用いている。
特開２００５－１５６３３４号公報
　しかしながら、上述した方法では、異常データによっては学習を十分に行うことができないことも起こりうる。例えば、正常品画像に複雑な模様がある個所や製品のエッジ部分などの領域では、異常データの形状によっては学習が困難である場合がある。また、そもそもいかなる領域であっても、異常データの形状によっては学習が困難である場合がある。このように、異常データの学習が十分行えず、異常品の検知精度が低くなるという問題が生じる。
　このため、本発明の目的は、上述した課題である、異常データを含む画像の学習を十分行うことができず、異常品の検知精度が低くなる、ということを解決することにある。
　本発明の一形態である画像処理方法は、
　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成し、
　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定し、
　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う、
という構成をとる。
　また、本発明の一形態である画像処理装置は、
　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成する異常画像生成部と、
　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定する優先度設定部と、
　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う学習部と、
を備えた、
という構成をとる。
　また、本発明の一形態であるプログラムは、
　情報処理装置に、
　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成する異常画像生成部と、
　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定する優先度設定部と、
　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う学習部と、
を実現させる、
という構成をとる。
　本発明は、以上のように構成されることにより、異常品の検知精度の向上を図ることができる。
本発明の実施形態１における画像検査装置の構成を示すブロック図である。 図１に開示した優先度データ記憶部に記憶される優先度データの一例を示す図である。 図１に開示した画像検査装置による処理の様子を示す図である。 図１に開示した画像検査装置による処理の様子を示す図である。 図１に開示した画像検査装置の動作を示すフローチャートである。 図１に開示した画像検査装置の動作を示すフローチャートである。 図１に開示した画像検査装置の動作を示すフローチャートである。 本発明の実施形態２における画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態２における画像処理装置の構成を示すブロック図である。 本発明の実施形態２における画像処理装置の動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図７を参照して説明する。図１乃至図２は、画像検査装置の構成を説明するための図であり、図３乃至図７は、画像検査装置の処理動作を説明するための図である。
　［構成］
　本発明における画像検査装置１０（画像処理装置）は、工業製品などの検査対象物体を撮影した画像を用いて、当該検査対象物体が正常品であるか異常品であるかを判別する検査を行うための装置である。特に、画像検査装置１０は、以下に説明するように、まず、学習用画像を使用した学習を行い、その後、学習したモデルを用いて検査用画像の検査を実施する。
　上記画像検査装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、画像検査装置１０は、図１に示すように、演算装置がプログラムを実行することで構築された、異常画像生成部１１、異常除去部１２、優先度設定部１３、判定部１４、を備える。また、画像検査装置１０は、記憶装置に形成された、優先度データ記憶部１６、モデル記憶部１７、を備える。以下、各構成について詳述する。
　上記異常画像生成部１１は、予め学習用に用意された学習用画像である正常画像（学習用正常画像）に対して異常模擬データ（異常データ）を挿入して、異常画像を生成する。ここで、異常模擬データとして、例えば以下の種類のデータを用いる。
・「傷」
　画像に対し、線状の「傷」を挿入する。挿入方法としては、例えば以下のように行う。
　１．色の決定（画像の一部の色、あるいは予め定めた色を使う）
　２．線の端点の決定（画像上でランダムな2点を決定する）
　３．直線の挿入（決定した色を使用し、決定した端点間に直線を追加する）
・「欠け」
　画像に対し、面上の欠けを挿入する。挿入方法としては、例えば以下のように行う。
　１．色の決定（画像の一部の色、あるいは予め定めた色を使う）
　２．欠けの種類の決定（多角形の種類をランダムに決定する）
　３．欠けの頂点の決定（画像上でランダムに多角形の頂点を決定する）
　４．欠けの挿入（決定した色を使用し、決定した頂点を結ぶ多角形を追加する）
・「ノイズ」
　画像に対し、ノイズを挿入する。例えば、ホワイトノイズを画像全体に対して挿入する。
・「染み」
　画像に対し、面上の染みを挿入する。挿入方法としては、例えば以下のように行う。
　１．色の決定（画像の一部の色、あるいは予め定めた色を使う）
　２．染みの形状・面積の決定（円形または多角形で、範囲を決定する。正規分布などに基づき、濃淡の分布をつけても良い）
　３．染みの挿入（決定した色を使用し、決定した形状の染みを追加する）
　そして、異常画像生成部１１は、正常画像に挿入する異常模擬データの種類や、異常模擬データを挿入する正常画像上の位置を、優先度データ記憶部１６に記憶されている優先度（種類優先度、位置優先度）に基づいて決定する。ここで、図２に、優先度データ記憶部１６に記憶されている優先度の一例を示す。図２の上図は、異常模擬データの種類毎の設定された種類優先度を示しており、図２の下図は、正常画像の位置毎つまり座標（ピクセル）毎に設定された位置優先度を示している。異常画像生成部１１は、挿入する異常模擬データの種類や位置を、乱数によって決定するが、種類優先度の高い種類の異常模擬データの方が他の種類と比較してより高い確率で挿入され、位置優先度の高い位置の方が他の位置と比較してより高い確率で挿入されるよう決定される。つまり、異常模擬データは、種類優先度の値が大きい種類ほど、他の種類よりも優先して挿入され、位置優先度の値が大きい位置ほど、他の位置よりも優先して挿入されることとなる。
　さらに、異常画像生成部１１による異常模擬データの挿入例を説明する。まず、挿入する異常模擬データの種類を、種類優先度に応じて乱数を用いて決定する。このとき、種類優先度の合計値がＡ、特定の異常模擬データの種類優先度がＢであるとすると、特定の異常模擬データが選択される確率としてＢ／Ａを計算する。これにより、特定の異常模擬データは、Ｂ／Ａの確率で選択されるため、種類優先度の値が大きい種類のデータほど優先して挿入されることとなる。例えば、図２の上段に示す種類優先度の値の例では、「傷」の異常模擬データが選択される確率は、２／７．５となる。
　続いて、異常画像生成部１１は、正常画像に対する異常模擬データの挿入位置を、位置優先度に応じて乱数を用いて決定する。このとき、位置優先度の合計値がＡ、正常画像の特定の座標値の位置優先度がＢであるとすると、特定の異常模擬データを挿入する正常画像の特定の座標値が選択される確率としてＢ／Ａを計算する。これにより、異常模擬データが正常画像の特定の座標値は、Ｂ／Ａの確率で選択されるため、位置優先度の値が大きい座標値ほど優先して挿入されることとなる。例えば、図２の下段に示す位置優先度の値の例では、１０２４×７６８ｐｉｘｌの画像の座標値のうち、位置優先度の値が高い座標値ほど挿入される確率が高くなる。
　異常画像生成部１１は、上述したように、挿入する異常模擬データの種類と位置を決定すると、正常画像上の決定した位置に対して、決定した種類の異常模擬データを挿入する。例えば、図３に示すように、異常画像生成部１１は、正常画像に対して線上図形で示すような「傷」を挿入して、異常画像を生成する。なお、異常模擬データの種類が「ノイズ」である場合には、画像全体に挿入するものであるため、決定した位置は使用しない。
　上記異常除去部１２は、上述したように生成した異常画像を、モデル記憶部１７に記憶されているモデルに対して入力し、かかるモデルによって処理された出力画像を出力する。このとき、モデル記憶部１７に記憶されているモデルは、異常画像から異常模擬データを除去した出力画像を出力するよう学習されたニューラルネットワークＮＮによって構成されている。
　そして、異常除去部１２（学習部）は、上述したように異常画像を入力した場合には、モデルの学習も行う。具体的に、異常除去部１２は、図３に示すように、異常模擬データを挿入する前の正常画像を取得しておき、かかる正常画像と、モデルからの出力画像と、の差分を算出する。例えば、異常除去部１２は、正常画像と出力画像とのピクセルごとの差分値を取得し、その絶対値の合計値を、２つの画像の差分値として算出する。そして、異常除去部１２は、正常画像と出力画像との差分が小さくなるようニューラルネットワークＮＮを構築し、モデルの学習を行う。これにより、モデルは、より正常画像と出力画像との差分が小さくなるよう、つまり、異常画像から異常模擬データが除去されるよう学習される。一例として、異常除去部１２では、ディープラーニングのオートエンコーダーのように入力を再現する手法を用いる。なお、異常除去部１２は、上述した学習の際に算出したモデルからの出力画像と正常画像との差分値を、優先度設定部１３に渡す。
　また、異常除去部１２は、製品の検査時には、図４に示すように、製品を撮影した検査用画像を、学習されたニューラルネットワークＮＮにて構成されたモデルに入力する。これにより、異常除去部１２は、モデルに従って、実際に製品に生じた異常部分が除去された出力画像を出力する。そして、異常除去部１２は、入力された検査用画像と出力画像との差分を算出し、判定部１４に渡す。
　上記優先度設定部１３は、異常除去部１２にて、学習時に算出されたモデルからの出力画像と正常画像との差分値を受け取り、かかる差分値に基づいて、学習時に正常画像に挿入された異常模擬データの種類優先度を新たに設定する。特に、異常除去部１２は、正常画像と出力画像との差分値が大きいほど、正常画像に挿入された異常模擬データの種類優先度の値が大きくなるように新たな種類優先度を算出する。つまり、差分値が大きいほど学習が正しくできていない異常模擬データであると考えられるため、そのような異常模擬データの優先度を上げるという処理を行う。一例として、優先度設定部１３は、以下のように、差分値が大きいほど大きい値の優先度係数を設定し、かかる優先度係数を現在の種類優先度に掛けることによって新たな優先度を算出する。
　差分値と予め設定された閾値Ｍ，Ｎ（Ｍ＜Ｎ）との関係が、
　差分値＜Ｍの場合、優先度係数「１／α」（α＞１）、
　Ｍ≦差分値＜Ｎの場合、優先度係数「１」、
　Ｎ＜差分値の場合、優先度係数「α」（α＞１）、とする。
　そして、優先度設定部１３は、上述したように異常模擬データの種類について新たに算出した種類優先度を、優先度データ記憶部１６に記憶して、図２の上図に示す種類優先度を更新する。これにより、その後の学習時の際には、更新された種類優先度に基づいて、正常画像に挿入される異常模擬データの種類が決定される。
　また、優先度設定部１３は、上述同様に、学習時に算出されたモデルからの出力画像と正常画像との差分値に基づいて、学習時に異常模擬データが挿入された正常画像における位置つまり座標の位置優先度を新たに設定する。特に、異常除去部１２は、正常画像と出力画像との差分値が大きいほど、正常画像に挿入された座標の位置優先度の値が大きくなるように新たな位置優先度を算出する。つまり、差分値が大きいほど学習が正しくできていない挿入位置と考えられるため、そのような位置である座標の位置優先度を上げるという処理を行う。一例として、優先度設定部１３は、上述同様に、差分値が大きいほど大きい値の優先度係数を設定し、かかる優先度係数を現在の位置優先度に掛けることによって新たな優先度を算出する。
　そして、優先度設定部１３は、上述したように正常画像の座標について新たに算出した位置優先度を、優先度データ記憶部１６に記憶して、図２の下図に示す位置優先度を更新する。これにより、その後の学習時の際には、更新された位置優先度に基づいて、異常模擬データを正常画像に挿入する位置である座標が決定される。なお、優先度設定部１３は、上述したように、異常模擬データが挿入された座標のみの位置優先度を新たに算出して更新することに限定されない。例えば、優先度設定部１３は、異常模擬データが挿入された座標、及び、その周囲の所定数のピクセル範囲に位置する座標の位置優先度に、上述した優先度係数を掛けて新たな優先度を算出してもよい。また、優先度設定部１３は、異常模擬データが挿入された座標から遠い座標ほど、優先度係数の値が１に近づくよう下げて設定して、各座標の位置優先度に優先度係数を掛けて新たな優先度を算出してもよい。
　上記判定部１４は、上述したように異常除去部１２にて検査時に算出されたモデルからの出力画像と検査用画像との差分値を受け取り、かかる差分値に基づいて、当該検査用画像の正常／異常を判定する。例えば、判定部１４は、差分値が予め設定された判定用の閾値以上である場合には異常と判定し、閾値未満である場合は正常と判定する。そして、判定部１４は、判定結果を検査結果として出力する。
　［動作］
　次に、上述した画像検査装置１０の動作を、主に図３乃至図７を参照して説明する。まず、図３の処理の様子を示す図と、図５乃至図７のフローチャートを参照して、学習時の動作を説明する。なお、学習時は、複数の学習用画像を用いて何回も繰り返し行うことでモデルを作成するが、以下では、１回の学習の動作を説明することとする。
　まず、画像検査装置１０は、学習用画像である正常画像を読み込む（図５のステップＳ１）。そして、画像検査装置１０は、正常画像に対して異常模擬データを挿入して、異常画像を生成する（図３の矢印Ｙ１，Ｙ２、図５のステップＳ２）。なお、正常画像に挿入する異常模擬データの挿入方法については後に詳述する。
　続いて、画像検査装置１０は、正常画像に異常模擬データを挿入した異常画像をモデルに入力し（図３の矢印Ｙ３）、異常除去画像である出力画像を取得する（図３の矢印Ｙ４、図５のステップＳ３）。そして、画像検査装置１０は、出力画像と、異常模擬データを挿入する前の正常画像と、を比較して差分を算出する（図３の矢印Ｙ５）。画像検査装置１０は、算出した差分に基づいて、図２に示すように異常模擬データの種類や挿入位置毎に設定された優先度（種類優先度、位置優先度）を算出し、優先度データ記憶部１６に記憶して更新する（図３の矢印Ｙ６、図５のステップＳ４）。なお、優先度を算出する処理については後に詳述する。また、画像検査装置１０は、算出した差分に基づいて、モデルからの出力画像が異常模擬データを挿入する前の正常画像となるように学習を実施し、モデルを更新する（図３の矢印Ｙ７、図５のステップＳ５）。
　次に、図６のフローチャートを参照して、上述した図５のステップ２の動作である正常画像に異常模擬データを挿入して異常画像を生成するときの動作を説明する。まず、画像検査装置１０は、優先度データ記憶部１６から、図２の上図に示す、異常模擬データの種類毎に設定された種類優先度を読み出す。そして、画像検査装置１０は、種類優先度の合計値をＡ、各異常模擬データの種類優先度をＢとし、各異常模擬データが選択される確率としてＢ／Ａを算出する。画像検査装置１０は、かかる確率Ｂ／Ａで各異常模擬データが選択されるよう、乱数を用いて挿入する異常模擬データの種類を選択する（ステップＳ１１）。
　続いて、画像検査装置１０は、優先度データ記憶部１６から、図２の下図に示す、異常模擬データを挿入する正常画像の座標毎に設定された位置優先度を読み出す。そして、画像検査装置１０は、位置優先度の合計値をＡ、各座標の位置優先度をＢとし、各座標が選択される確率としてＢ／Ａを算出する。画像検査装置１０は、かかる確率Ｂ／Ａで各座標が選択されるよう、乱数を用いて挿入する座標を選択する（ステップＳ１２）。
　続いて、画像検査装置１０は、決定された種類の異常模擬データを、正常画像上の決定された座標の位置に挿入して、異常画像を生成する（ステップＳ１３）。
　次に、図７のフローチャートを参照して、上述した図５のステップ４の動作である優先度（種類優先度、位置優先度）を更新するときの動作を説明する。まず、画像検査装置１０は、学習時にモデルから出力された出力画像と、異常模擬データを挿入する前の正常画像と、を比較した差分を取得する（ステップＳ２１）。例えば、差分として、正常画像と出力画像とのピクセルごとの差分値を取得し、その絶対値の合計値を用いる。
　そして、画像検査装置１０は、正常画像と出力画像と差分値と閾値Ｍ，Ｎ（Ｍ＜Ｎ）との関係を判定し（ステップＳ２２）、判定結果に応じて、以下のように優先度係数を設定する。
　差分値＜Ｍの場合、優先度係数「１／α」（α＞１）（ステップＳ２３）
　Ｍ≦差分値＜Ｎの場合、優先度係数「１」（ステップＳ２４）
　Ｎ＜差分値の場合、優先度係数「α」（α＞１）（ステップＳ２５）
　そして、画像検査装置１０は、設定した優先度係数を、挿入した異常模擬データの種類に設定されている現在の種類優先度に掛けることによって、新たな種類優先度を算出し、優先度データ記憶部１６に記憶して種類優先度を更新する（ステップＳ２６）。同様に、画像検査装置１０は、設定した優先度係数を、異常模擬データを挿入した位置に設定されている現在の位置優先度に掛けることによって、新たな位置優先度を算出し、優先度データ記憶部１６に記憶して位置優先度を更新する（ステップＳ２７）。
　次に、図４の処理の様子を示す図を参照して、検査時の動作を説明する。まず、画像検査装置１０は、製品を撮影した検査用画像を、学習されたニューラルネットワークＮＮにて構成されたモデルに入力する（矢印Ｙ１１）。そして、画像検査装置１０は、モデルから出力された出力画像を取得し（矢印Ｙ１２）、かかる出力画像と検査用画像との差分を算出する（矢印Ｙ１３）。画像検査装置１０は、差分に基づいて、当該検査用画像の正常／異常を判定する（矢印１４）。例えば、差分値が予め設定された判定用の閾値以上である場合には異常と判定し、閾値未満である場合は正常と判定する。
　以上のように、本発明では、正常画像に異常模擬データを挿入した異常画像から当該異常模擬データを除去するよう学習したモデルからの出力画像と正常画像との差分を用いて、異常模擬データの優先度を設定している。特に、出力画像と正常画像との差分が大きいほど、優先度が高くなるよう設定している。このため、除去が難しい異常模擬データの種類や挿入位置の優先度が高く設定されるため、そのような種類や挿入位置での学習頻度が高まり、かかる学習を十分に行うことができ、異常品の検知精度の向上を図ることができる。
　＜実施形態２＞
　次に、本発明の第２の実施形態を、図８乃至図１０を参照して説明する。図８乃至図９は、実施形態２における画像処理装置の構成を示すブロック図であり、図１０は、画像処理装置の動作を示すフローチャートである。なお、本実施形態では、実施形態１で説明した画像検査装置及び画像検査装置による処理方法の構成の概略を示している。
　まず、図８を参照して、本実施形態における画像処理装置１００のハードウェア構成を説明する。画像処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１（演算装置）
　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２（記憶装置）
　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３（記憶装置）
　・ＲＡＭ１０３にロードされるプログラム群１０４
　・プログラム群１０４を格納する記憶装置１０５
　・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
　・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
　・データの入出力を行う入出力インタフェース１０８
　・各構成要素を接続するバス１０９
　そして、画像処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図９に示す異常画像生成部１２１と優先度設定部１２２と学習部１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した異常画像生成部１２１と優先度設定部１２２と学習部１２３とは、電子回路で構築されるものであってもよい。
　なお、図８は、画像処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に例示されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
　そして、画像処理装置１００は、上述したようにプログラムによって構築された異常画像生成部１２１と優先度設定部１２２と学習部１２３との機能により、図１０のフローチャートに示す画像処理方法を実行する。
　図１０に示すように、画像処理装置１００は、
　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成し（ステップＳ１０１）、
　異常画像から異常データを除去するよう学習されたモデルに対して、異常画像を入力して、当該モデルから出力された出力画像と学習用正常画像との差分を取得し（ステップＳ１０２）、
　差分に基づいて、学習用正常画像に挿入された異常データの前記優先度を新たに設定し（ステップＳ１０３）、
　出力画像と学習用正常画像との差分が小さくなるようモデルの学習を行う（ステップＳ１０４）。
　本発明は、以上のように構成されることにより、学習用正常画像に異常データを挿入した異常画像から当該異常データを除去するよう学習したモデルからの出力画像と学習用正常画像との差分を用いて、異常データの優先度を設定している。このため、除去の状況に応じて異常データの優先度が設定されるため、例えば、除去が難しいような異常データの学習を十分に行うことができ、異常品の検知精度の向上を図ることができる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２０１９年３月８日に特許出願された特願２０１９－０４２４３２の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理方法、画像処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成し、
　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定し、
　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う、
画像処理方法。
（付記２）
　付記１に記載の画像処理方法であって、
　前記異常データの前記優先度の値が大きいほど、当該異常データを優先して前記学習用正常画像に挿入して前記異常画像を生成し、
　前記出力画像と前記学習用正常画像との差分が大きいほど、前記学習用正常画像に挿入された前記異常データの前記優先度の値が大きくなるよう当該優先度を新たに設定する、
画像処理方法。
（付記３）
　付記２に記載の画像処理方法であって、
　前記出力画像と前記学習用正常画像との差分が大きいほど、大きい値の優先度係数を設定し、前記学習用正常画像に挿入された前記異常データの前記優先度に前記優先度係数を乗算して当該優先度を新たに設定する、
画像処理方法。
（付記４）
　付記１乃至３のいずれかに記載の画像処理方法であって、
　前記学習用正常画像の位置毎に設定された位置優先度に基づいて、当該学習用正常画像の所定の位置に前記異常データを挿入した前記異常画像を生成し、
　前記モデルに対して前記異常画像を入力して、前記出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像の位置毎に設定された前記位置優先度を新たに設定する、
画像処理方法。
（付記５）
　付記４に記載の画像処理方法であって、
　前記学習用正常画像の前記位置優先度の値が大きい位置ほど優先して、当該学習用正常画像のその位置に前記異常データを挿入して前記異常画像を生成し、
　前記出力画像と前記学習用正常画像との差分が大きいほど、前記異常データが挿入された前記学習用正常画像の位置に設定された前記位置優先度の値が大きくなるよう当該位置優先度を新たに設定する、
画像処理方法。
（付記６）
　付記５に記載の画像処理方法であって、
　前記出力画像と前記学習用正常画像との差分が大きいほど、大きい値の優先度係数を設定し、前記異常データが挿入された前記学習用正常画像の位置に設定された前記位置優先度に前記優先度係数を乗算して当該位置優先度を新たに設定する、
画像処理方法。
（付記７）
　付記５又は６に記載の画像処理方法であって、
　前記出力画像と前記学習用正常画像との差分が大きいほど、前記異常データが挿入された前記学習用正常画像の位置及びその所定範囲の周囲に設定された前記位置優先度の値が大きくなるよう当該位置優先度を新たに設定する、
画像処理方法。
（付記７．１）
　付記１乃至７のいずれかに記載の画像処理方法であって、
　前記出力画像と前記学習用正常画像とで相互に対応する画素毎の所定の値の差を、全ての画素について合計した合計値を前記差分として取得する、
画像処理方法。
（付記８）
　付記１乃至７のいずれかに記載の画像処理方法であって、
　学習された前記モデルに対して、検査用画像を入力して、当該モデルから出力された検査用出力画像と前記検査用画像との差分に基づいて、当該検査用画像の正常／異常を判定する、
画像処理方法。
（付記９）
　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成する異常画像生成部と、
　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定する優先度設定部と、
　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う学習部と、
を備えた画像処理装置。
（付記９．１）
　付記９に記載の画像処理装置であって、
　前記異常画像生成部は、前記異常データの前記優先度の値が大きいほど、当該異常データを優先して前記学習用正常画像に挿入して前記異常画像を生成し、
　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、前記学習用正常画像に挿入された前記異常データの前記優先度の値が大きくなるよう当該優先度を新たに設定する、
画像処理装置。
（付記９．２）
　付記９．１に記載の画像処理装置であって、
　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、大きい値の優先度係数を設定し、前記学習用正常画像に挿入された前記異常データの前記優先度に前記優先度係数を乗算して当該優先度を新たに設定する、
画像処理装置。
（付記９．３）
　付記９乃至９．２に記載の画像処理装置であって、
　前記異常画像生成部は、前記学習用正常画像の位置毎に設定された位置優先度に基づいて、当該学習用正常画像の所定の位置に前記異常データを挿入した前記異常画像を生成し、
　前記優先度設定部は、前記モデルに対して前記異常画像を入力して、前記出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像の位置毎に設定された前記位置優先度を新たに設定する、
画像処理装置。
（付記９．４）
　付記９．３に記載の画像処理装置であって、
　前記異常画像生成部は、前記学習用正常画像の前記位置優先度の値が大きい位置ほど優先して、当該学習用正常画像のその位置に前記異常データを挿入して前記異常画像を生成し、
　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、前記異常データが挿入された前記学習用正常画像の位置に設定された前記位置優先度の値が大きくなるよう当該位置優先度を新たに設定する、
画像処理装置。
（付記９．５）
　付記９．４に記載の画像処理装置であって、
　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、大きい値の優先度係数を設定し、前記異常データが挿入された前記学習用正常画像の位置に設定された前記位置優先度に前記優先度係数を乗算して当該位置優先度を新たに設定する、
画像処理装置。
（付記９．６）
　付記９．４又は９．５に記載の画像処理装置であって、
　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、前記異常データが挿入された前記学習用正常画像の位置及びその所定範囲の周囲に設定された前記位置優先度の値が大きくなるよう当該位置優先度を新たに設定する、
画像処理装置。
（付記９．７）
　付記９乃至９．６のいずれかに記載の画像処理装置であって、
　学習された前記モデルに対して、検査用画像を入力して、当該モデルから出力された検査用出力画像と前記検査用画像との差分に基づいて、当該検査用画像の正常／異常を判定する判定部を備えた、
画像処理装置。
（付記１０）
　情報処理装置に、
　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成する異常画像生成部と、
　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定する優先度設定部と、
　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う学習部と、
を実現させるためのプログラム。
１０　画像検査装置
１１　異常画像生成部
１２　異常除去部
１３　優先度設定部
１４　判定部
１６　優先度データ記憶部
１７　モデル記憶部
１００　画像処理装置
１０１　ＣＰＵ
１０２　ＲＯＭ
１０３　ＲＡＭ
１０４　プログラム群
１０５　記憶装置
１０６　ドライブ装置
１０７　通信インタフェース
１０８　入出力インタフェース
１０９　バス
１１０　記憶媒体
１１１　通信ネットワーク
１２１　異常画像生成部
１２２　優先度設定部
１２３　学習部
 

Claims (18)

  1. 　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成し、
    　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定し、
    　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う、
    画像処理方法。
  2. 　請求項１に記載の画像処理方法であって、
    　前記異常データの前記優先度の値が大きいほど、当該異常データを優先して前記学習用正常画像に挿入して前記異常画像を生成し、
    　前記出力画像と前記学習用正常画像との差分が大きいほど、前記学習用正常画像に挿入された前記異常データの前記優先度の値が大きくなるよう当該優先度を新たに設定する、
    画像処理方法。
  3. 　請求項２に記載の画像処理方法であって、
    　前記出力画像と前記学習用正常画像との差分が大きいほど、大きい値の優先度係数を設定し、前記学習用正常画像に挿入された前記異常データの前記優先度に前記優先度係数を乗算して当該優先度を新たに設定する、
    画像処理方法。
  4. 　請求項１乃至３のいずれかに記載の画像処理方法であって、
    　前記学習用正常画像の位置毎に設定された位置優先度に基づいて、当該学習用正常画像の所定の位置に前記異常データを挿入した前記異常画像を生成し、
    　前記モデルに対して前記異常画像を入力して、前記出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像の位置毎に設定された前記位置優先度を新たに設定する、
    画像処理方法。
  5. 　請求項４に記載の画像処理方法であって、
    　前記学習用正常画像の前記位置優先度の値が大きい位置ほど優先して、当該学習用正常画像のその位置に前記異常データを挿入して前記異常画像を生成し、
    　前記出力画像と前記学習用正常画像との差分が大きいほど、前記異常データが挿入された前記学習用正常画像の位置に設定された前記位置優先度の値が大きくなるよう当該位置優先度を新たに設定する、
    画像処理方法。
  6. 　請求項５に記載の画像処理方法であって、
    　前記出力画像と前記学習用正常画像との差分が大きいほど、大きい値の優先度係数を設定し、前記異常データが挿入された前記学習用正常画像の位置に設定された前記位置優先度に前記優先度係数を乗算して当該位置優先度を新たに設定する、
    画像処理方法。
  7. 　請求項５又は６に記載の画像処理方法であって、
    　前記出力画像と前記学習用正常画像との差分が大きいほど、前記異常データが挿入された前記学習用正常画像の位置及びその所定範囲の周囲に設定された前記位置優先度の値が大きくなるよう当該位置優先度を新たに設定する、
    画像処理方法。
  8. 　請求項１乃至７のいずれかに記載の画像処理方法であって、
    　前記出力画像と前記学習用正常画像とで相互に対応する画素毎の所定の値の差を、全ての画素について合計した合計値を前記差分として取得する、
    画像処理方法。
  9. 　請求項１乃至８のいずれかに記載の画像処理方法であって、
    　学習された前記モデルに対して、検査用画像を入力して、当該モデルから出力された検査用出力画像と前記検査用画像との差分に基づいて、当該検査用画像の正常／異常を判定する、
    画像処理方法。
  10. 　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成する異常画像生成部と、
    　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定する優先度設定部と、
    　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う学習部と、
    を備えた画像処理装置。
  11. 　請求項１０に記載の画像処理装置であって、
    　前記異常画像生成部は、前記異常データの前記優先度の値が大きいほど、当該異常データを優先して前記学習用正常画像に挿入して前記異常画像を生成し、
    　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、前記学習用正常画像に挿入された前記異常データの前記優先度の値が大きくなるよう当該優先度を新たに設定する、
    画像処理装置。
  12. 　請求項１１に記載の画像処理装置であって、
    　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、大きい値の優先度係数を設定し、前記学習用正常画像に挿入された前記異常データの前記優先度に前記優先度係数を乗算して当該優先度を新たに設定する、
    画像処理装置。
  13. 　請求項１０乃至１２のいずれかに記載の画像処理装置であって、
    　前記異常画像生成部は、前記学習用正常画像の位置毎に設定された位置優先度に基づいて、当該学習用正常画像の所定の位置に前記異常データを挿入した前記異常画像を生成し、
    　前記優先度設定部は、前記モデルに対して前記異常画像を入力して、前記出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像の位置毎に設定された前記位置優先度を新たに設定する、
    画像処理装置。
  14. 　請求項１３に記載の画像処理装置であって、
    　前記異常画像生成部は、前記学習用正常画像の前記位置優先度の値が大きい位置ほど優先して、当該学習用正常画像のその位置に前記異常データを挿入して前記異常画像を生成し、
    　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、前記異常データが挿入された前記学習用正常画像の位置に設定された前記位置優先度の値が大きくなるよう当該位置優先度を新たに設定する、
    画像処理装置。
  15. 　請求項１４に記載の画像処理装置であって、
    　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、大きい値の優先度係数を設定し、前記異常データが挿入された前記学習用正常画像の位置に設定された前記位置優先度に前記優先度係数を乗算して当該位置優先度を新たに設定する、
    画像処理装置。
  16. 　請求項１４又は１５に記載の画像処理装置であって、
    　前記優先度設定部は、前記出力画像と前記学習用正常画像との差分が大きいほど、前記異常データが挿入された前記学習用正常画像の位置及びその所定範囲の周囲に設定された前記位置優先度の値が大きくなるよう当該位置優先度を新たに設定する、
    画像処理装置。
  17. 　請求項１０乃至１６のいずれかに記載の画像処理装置であって、
    　学習された前記モデルに対して、検査用画像を入力して、当該モデルから出力された検査用出力画像と前記検査用画像との差分に基づいて、当該検査用画像の正常／異常を判定する判定部を備えた、
    画像処理装置。
  18. 　情報処理装置に、
    　異常データ毎に設定された優先度に基づいて、当該異常データを学習用正常画像に挿入した異常画像を生成する異常画像生成部と、
    　前記異常画像から前記異常データを除去するよう学習されたモデルに対して、前記異常画像を入力して、当該モデルから出力された出力画像と前記学習用正常画像との差分に基づいて、前記学習用正常画像に挿入された前記異常データの前記優先度を新たに設定する優先度設定部と、
    　前記出力画像と前記学習用正常画像との差分が小さくなるよう前記モデルの学習を行う学習部と、
    を実現させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
     
PCT/JP2020/005997 2019-03-08 2020-02-17 画像処理方法、画像処理装置、プログラム WO2020184069A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021505613A JP7095798B2 (ja) 2019-03-08 2020-02-17 画像処理方法、画像処理装置、プログラム
US17/435,764 US20220051387A1 (en) 2019-03-08 2020-02-17 Image processing method, image processing apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-042432 2019-03-08
JP2019042432 2019-03-08

Publications (1)

Publication Number Publication Date
WO2020184069A1 true WO2020184069A1 (ja) 2020-09-17

Family

ID=72427261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005997 WO2020184069A1 (ja) 2019-03-08 2020-02-17 画像処理方法、画像処理装置、プログラム

Country Status (3)

Country Link
US (1) US20220051387A1 (ja)
JP (1) JP7095798B2 (ja)
WO (1) WO2020184069A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065273A1 (ja) * 2020-09-25 2022-03-31 ファナック株式会社 外観検査のためのモデル作成装置及び外観検査装置
WO2022065272A1 (ja) * 2020-09-25 2022-03-31 ファナック株式会社 外観検査のためのモデル作成装置及び外観検査装置
JPWO2022201451A1 (ja) * 2021-03-25 2022-09-29
WO2023238590A1 (ja) * 2022-06-10 2023-12-14 日立Astemo株式会社 疑似欠陥画像生成装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178229A (ja) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd 教師データ作成方法、画像分類方法および画像分類装置
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
JP2019015654A (ja) * 2017-07-10 2019-01-31 ファナック株式会社 機械学習装置、検査装置及び機械学習方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178229A (ja) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd 教師データ作成方法、画像分類方法および画像分類装置
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
JP2019015654A (ja) * 2017-07-10 2019-01-31 ファナック株式会社 機械学習装置、検査装置及び機械学習方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065273A1 (ja) * 2020-09-25 2022-03-31 ファナック株式会社 外観検査のためのモデル作成装置及び外観検査装置
WO2022065272A1 (ja) * 2020-09-25 2022-03-31 ファナック株式会社 外観検査のためのモデル作成装置及び外観検査装置
JP7428819B2 (ja) 2020-09-25 2024-02-06 ファナック株式会社 外観検査のためのモデル作成装置及び外観検査装置
JPWO2022201451A1 (ja) * 2021-03-25 2022-09-29
WO2022201451A1 (ja) * 2021-03-25 2022-09-29 株式会社日立国際電気 検知装置および検知方法
JP7436752B2 (ja) 2021-03-25 2024-02-22 株式会社日立国際電気 検知装置および検知方法
WO2023238590A1 (ja) * 2022-06-10 2023-12-14 日立Astemo株式会社 疑似欠陥画像生成装置

Also Published As

Publication number Publication date
JP7095798B2 (ja) 2022-07-05
US20220051387A1 (en) 2022-02-17
JPWO2020184069A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
WO2020184069A1 (ja) 画像処理方法、画像処理装置、プログラム
US10657638B2 (en) Wafer map pattern detection based on supervised machine learning
WO2019188040A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2004012422A (ja) パターン検査装置、パターン検査方法およびプログラム
JP2005156334A (ja) 疑似不良画像自動作成装置及び画像検査装置
JP2020531931A (ja) 画像処理方法および装置、記憶媒体、コンピュータ装置
WO2019187594A1 (ja) 学習装置、学習方法および学習プログラム
JP5146797B2 (ja) パターン欠陥検査のための装置、その方法及びそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP5768719B2 (ja) 学習装置、識別装置、学習識別システム及び学習識別装置
KR101910268B1 (ko) 반도체 gp 예측 방법 및 시스템
JP2020135051A (ja) 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
JP2008065246A (ja) レイアウトパターン補正装置、レイアウトパターン補正方法、及びプログラム
JP6177649B2 (ja) データ処理装置、測長システム、欠陥検査システム、画像トラッキングシステム、及びデータ処理方法
TW202100951A (zh) 影像匹配方法、及用於執行影像匹配處理的演算系統
KR101444259B1 (ko) 기판 검사 시의 보상 매트릭스 생성방법
KR20230170806A (ko) 패턴의 임계 치수 변동의 결정
JP2023181587A (ja) 欠陥検査装置
WO2020184006A1 (ja) 画像処理装置、画像処理方法及び非一時的なコンピュータ可読媒体
JP2022150065A (ja) 検査装置、コンピュータプログラム、および、検査方法
JP2007199865A (ja) 画像処理アルゴリズム評価装置、画像処理アルゴリズムの生成装置および画像検査装置ならびに画像処理アルゴリズム評価方法、画像処理アルゴリズムの生成方法および画像検査方法
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
JP2008108044A (ja) 画像処理装置および画像処理方法、並びにプログラム
US20220236192A1 (en) Inspection system, inspection method, and inspection program
WO2022172469A1 (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20770780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021505613

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20770780

Country of ref document: EP

Kind code of ref document: A1