WO2019194044A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2019194044A1
WO2019194044A1 PCT/JP2019/013194 JP2019013194W WO2019194044A1 WO 2019194044 A1 WO2019194044 A1 WO 2019194044A1 JP 2019013194 W JP2019013194 W JP 2019013194W WO 2019194044 A1 WO2019194044 A1 WO 2019194044A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
image
reference image
layer
input
Prior art date
Application number
PCT/JP2019/013194
Other languages
English (en)
French (fr)
Inventor
俊嗣 堀井
祥平 鎌田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP19782200.0A priority Critical patent/EP3779873A4/en
Priority to JP2020511717A priority patent/JP6876940B2/ja
Priority to US16/979,545 priority patent/US11436717B2/en
Priority to CN201980023037.7A priority patent/CN111937033A/zh
Publication of WO2019194044A1 publication Critical patent/WO2019194044A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30144—Printing quality

Definitions

  • the present invention relates to a processing technique, in particular, a processing method for executing processing on an image, and a processing apparatus using the processing method.
  • a characteristic area in the image is detected. This is done by identifying image changes based on the difference between the normal reference image and the inspection target image.
  • the target area and the surrounding area surrounding the target area are defined in the target image, and the feature quantity related to the color and the specificity on the image for each area are numerically indicated as the specificity on the image in the attention area.
  • Outliers are calculated (see, for example, Patent Document 1).
  • the present invention has been made in view of such a situation, and an object thereof is to provide a technique for suppressing a decrease in processing accuracy while suppressing an increase in the amount of learning work.
  • a processing apparatus includes a first input unit that inputs an inspection image to be inspected, a second input unit that inputs a reference image to be referred to, and a first input unit.
  • a processing unit that executes processing of the neural network on the inspection image input to the input unit and the reference image input to the second input unit, and information on defective items included in the inspection image as processing results of the processing unit An output unit for outputting.
  • the method includes a step of inputting an inspection image to be inspected, a step of inputting a reference image to be referred to, a step of executing a neural network process on the input inspection image and the input reference image And a step of outputting information on defective items included in the inspection image as a processing result.
  • FIGS. 1A to 1B are diagrams illustrating a configuration of a processing apparatus according to an embodiment.
  • FIGS. 2A to 2C are diagrams illustrating the configuration of the processing unit illustrated in FIGS. 1A and 1B. It is a figure which shows the data structure of the teacher data input into the teacher data input part of Fig.1 (a). It is a figure which shows the outline
  • FIGS. 7A to 7C are diagrams illustrating the configuration of the processing unit according to the fourth modification.
  • the embodiment relates to a processing apparatus that determines whether a defective item is included in an image to be inspected. For parts where labels have been pasted, switching to laser printing has been made with the aim of reducing label production costs and rationalizing the number of labeling steps. In the case of laser printing, laser printing is automatically inspected by image processing. Until now, overprinting has been detected based on the difference between a laser-printed image to be inspected (hereinafter referred to as “inspection image”) and an image to be referred to (hereinafter referred to as “reference image”). Yes.
  • a difference from the reference image is calculated, and it is determined whether or not the inspection image and the reference image match. If they match, laser printing is correctly performed on the inspection image. If they do not match, laser printing has occurred on the inspection image.
  • the processing apparatus inputs an inspection image and a reference image, and executes learning using information on defective items included in the inspection image as teacher data. In addition, after such learning is performed, the processing apparatus inputs the inspection image and the reference image, and determines a defective item included in the inspection image. That is, rather than learning the reference image itself, a defective item that is a comparison result between the inspection image and the reference image is learned. As a result, when the reference image changes due to product renewal, it is only necessary to input a new reference image and inspection image to the processing device, and it is possible to determine even an unlearned print pattern.
  • FIGS. 1A to 1B show the configuration of the processing apparatus 100.
  • FIG. 1A shows a configuration for learning processing
  • FIG. 1B shows a configuration for determination processing.
  • the determination process is a process for determining a defective item included in the inspection image by using a neural network for the inspection image and the reference image. An example of a defective item is hung and thinned.
  • the processing apparatus 100 in FIG. 1A and the processing apparatus 100 in FIG. 1B may be configured as the same apparatus or may be configured as different apparatuses.
  • the processing device 100 includes a first input unit 110, a second input unit 112, a processing unit 114, and a teacher data input unit 116 as a configuration for learning processing, and a first input unit 110, A second input unit 112, a processing unit 114, and an output unit 118 are included.
  • the processing unit 114 is learned in the learning process, and the processing unit 114 is used in the determination process.
  • the configuration of the processing unit 114 will be described.
  • FIG. 2A to 2C show the configuration of the processing unit 114.
  • FIG. FIG. 2A shows an exemplary configuration of the processing unit 114.
  • the processing unit 114 includes a first convolution layer 142a, a second convolution layer 142b, a third convolution layer 142c, a fourth convolution layer 142d, a first pooling layer 144a, which are collectively referred to as a convolution layer 142, and a first pooling layer 144a.
  • the combination layer 146 is connected to the first input unit 110 and the second input unit 112 in FIGS. 1A to 1B, and inputs the inspection image from the first input unit 110 and the reference image from the second input unit 112. Enter.
  • the combination layer 146 combines the inspection image and the reference image.
  • the two inputs, the inspection image and the reference image are merged into one as another channel. In this case, a combination of the inspection image and the reference image is generated.
  • a difference between corresponding pixels of the inspection image and the reference image that are two inputs is calculated, and an image in which the differences are arranged for each pixel (hereinafter referred to as “difference image”) is generated. .
  • the inspection image, the reference image, and the difference image are merged into one as another channel. In this case, a combination of the inspection image, the reference image, and the difference image is generated. In the fourth example of the combination, the reference image and the difference image are merged into one as separate channels. In this case, a combination of a reference image and a difference image is generated. In the fifth example of the combination, the inspection image and the difference image are merged into one as separate channels. In this case, a combination of the inspection image and the difference image is generated.
  • the combination layer 146 outputs a combination result (hereinafter referred to as “combination image”). Note that the inspection image, the reference image, and the difference image are collectively referred to as “image”.
  • the convolution layer 142 performs spatial filtering for each channel of the combined image while shifting a spatial filter having a size smaller than the size of the image. Since spatial filtering is a well-known technique, description thereof is omitted here, but this spatial filtering corresponds to convolution processing, and image feature amounts are extracted by convolution processing. Note that padding or the like may be performed in the convolution layer 142. Further, the convolution layer 142 may perform a plurality of spatial filterings in parallel by using a plurality of spatial filters in parallel for each channel image. Such parallel use of a plurality of spatial filters increases the image. This corresponds to an increase in the number of channels in the combined image.
  • the pooling layer 144 reduces the size of the image by combining a plurality of pixels included in an arbitrary area in the image of each channel in the combined image into one pixel.
  • average pooling or maximum pooling is performed to combine a plurality of pixels into one pixel.
  • average pooling an average value of a plurality of pixel values in a region is used for one pixel
  • maximum pooling a maximum value of a plurality of pixel values in the region is used for one pixel.
  • the pooling process is performed to enhance the robustness with respect to the translation of the representative value or the average value in the region of interest.
  • the first convolution layer 142a, the first pooling layer 144a, the second convolution layer 142b, the second pooling layer 144b, the third convolution layer 142c, the third pooling layer 144c, the fourth convolution layer 142d, and the fourth pooling layer 144d Processing is executed in the order of. That is, the convolution process and the pooling process are repeatedly performed on the combination image. In addition, by repeating the convolution process and the pooling process, the size of the image of each channel is sequentially reduced. As a result, a combined image having a spatial dimension of 1 ⁇ 1 and having a number of channels of 1 or more is output to the total coupling layer 148.
  • the all connected layer 148 receives the image from which the feature amount is extracted.
  • the all combined layer 148 identifies the image by performing classification into a plurality of classes based on the feature amount. Since a known technique may be used for the processing in the total bonding layer 148, the description is omitted here, but the classification result in the total bonding layer 148 has three types of “OK”, “over”, and “thinning”. Probabilities for each of the classes are shown. Here, “OK” corresponds to a case where no defect item is included in the inspection image with respect to the reference image, and “over” corresponds to a case where a printed portion applied to the inspection image is included in the reference image.
  • Thininning corresponds to a case where the inspection image includes a thin print portion with respect to the reference image.
  • “kake” and “thinning” are defective items.
  • “thickness”, “crushing”, and “foreign matter” may be classified as defective items.
  • the first input unit 110 receives a learning image instead of the inspection image
  • the second input unit 112 receives a reference image.
  • the included defective items are known.
  • the teacher data input unit 116 receives teacher data corresponding to the relationship between the learning image and the reference image, that is, indicating a defective item included in the learning image.
  • the processing unit 114 is configured as shown in FIG.
  • the processing unit 114 performs each convolution so that the relationship between the learning image received by the first input unit 110 and the reference image received by the second input unit 112 becomes the teacher data received by the teacher data input unit 116.
  • the coefficients of the spatial filter of the layer 142 are learned.
  • the reference image shows a pattern ideally laser-printed, and the learning image shows a pattern that can actually be laser-printed.
  • the teacher data indicates the relationship between the reference image and the learning image.
  • FIG. 3 shows the data structure of the teacher data input to the teacher data input unit 116.
  • the teacher data has three channels, and includes OK, multiplication, and thinning as in the classification result in the total coupling layer 148.
  • the teacher data indicates OK.
  • the learning image includes a defective item with respect to the reference image
  • the teacher data indicates whether it is over or thin depending on the cause.
  • omitted here since a well-known technique should just be used for the learning of the coefficient of a spatial filter itself, description is abbreviate
  • the coefficients of the spatial filter derived by learning for the processing unit 114 in FIG. It is set in the processing unit 114 in 1 (b).
  • the first input unit 110 receives the inspection image
  • the second input unit 112 receives the reference image.
  • the processing unit 114 has the configuration shown in FIG. 2A, and a neural network process is performed on the inspection image input to the first input unit 110 and the reference image input to the second input unit 112. Execute.
  • the output unit 118 outputs, as a processing result of the processing unit 114, information on defective items included in the inspection image with respect to the reference image. In other words, any information of OK, application, or thinning is output.
  • FIG. 2B shows another example of the configuration of the processing unit 114.
  • the processing unit 114 includes a first convolution layer 142aa, a first 1-2 convolution layer 142ab, a 1-3 convolution layer 142ac, a 2-1 convolution layer 142ba, and a 2-2 convolution layer, collectively referred to as a convolution layer 142.
  • first pooling layer 144 aa first 1-2 pooling layer 144 ab, first pooling layer 144 ab, first pooling layer 144 ac, 1 pooling layer 144ba, 2nd-2 pooling layer 144bb, 2nd-3 pooling layer 144bc, 4th pooling layer 144d, combination layer 146, and all coupling layer 148 are included.
  • the 1-1 convolution layer 142aa, the 1-1st pooling layer 144aa, the 1-2 convolution layer 142ab, the 1-2 pooling layer 144ab, the 1-3 convolution layer 142ac, and the 1-3 pooling layer 144ac are arranged in this order. It is done. These perform the above-described processing on the inspection image input to the first input unit 110.
  • the 2-1 convolution layer 142ba, the 2-1 pooling layer 144ba, the 2-2 convolution layer 142bb, the 2-2 pooling layer 144bb, the 2-3 convolution layer 142bc, and the 2-3 pooling layer 144bc are arranged in order. It is done. These perform the above-described processing on the reference image input to the second input unit 112.
  • the combination layer 146 inputs the processing result from the first-3 pooling layer 144ac and the processing result from the second-3 pooling layer 144bc.
  • the processing result from the 1-3th pooling layer 144ac is the processing result for the inspection image (hereinafter referred to as “first processing result”)
  • the processing result from the 2-3rd pooling layer 144bc is the processing result for the reference image (hereinafter referred to as “first processing result”).
  • first processing result and the second processing result may be configured by a plurality of channels.
  • the combination layer 146 combines the first processing result and the second processing result.
  • the combination may be made as in any of the first to fifth examples described above.
  • the difference image is generated between the channels corresponding to each other in the first processing result and the second processing result.
  • the combination layer 146 outputs a combination result (hereinafter also referred to as “combination image”).
  • the fourth convolution layer 142d and the fourth pooling layer 144d sequentially perform convolution processing and pooling processing on the combined image.
  • the total coupling layer 148 is configured in the same manner as in FIG. Since the learning process and the determination process of the processing apparatus 100 for the configuration of the processing unit 114 are the same as those described above, the description thereof is omitted here.
  • the weighting coefficient when executing the process of the convolutional layer 142 on the inspection image and the weighting coefficient when executing the process of the convolutional layer 142 on the reference image may be made common. .
  • the weighting factor is made common between the first-first convolution layer 142aa and the second-first convolution layer 142ba.
  • the weighting factor is made common between the first 1-2 convolutional layer 142ab and the second-2 convolutional layer 142bb, and the weighting factor between the first-3 convolutional layer 142ac and the second-3 convolutional layer 142bc. Made common.
  • FIG. 2C shows still another example of the configuration of the processing unit 114.
  • the processing unit 114 includes a 1-1 convolution layer 142aa, a 1-2 convolution layer 142ab, a 1-3 convolution layer 142ac, a 1-4 convolution layer 142ad, and a 2-1 convolution layer, collectively referred to as a convolution layer 142.
  • pooling layer 144ac 1-3 pooling layer 144ac, 1-4 pooling layer 144ad, 2-1 pooling layer 144ba, 2-2 pooling layer 144bb, 2-3 pooling layer 144bc, 2-4 pooling layer 144bd, combination layer 146 , Including the entire bonding layer 148.
  • the -4 convolution layer 142ad and the first-4 pooling layer 144ad are arranged in order. These perform the above-described processing on the inspection image input to the first input unit 110.
  • the combination layer 146 inputs the processing result from the first-4 pooling layer 144ad and the processing result from the second-4 pooling layer 144bd.
  • the processing result from the 1-4th pooling layer 144ad is the processing result for the inspection image (hereinafter also referred to as “first processing result”)
  • the processing result from the 2-4th pooling layer 144bd is the processing for the reference image. This is a result (hereinafter also referred to as “second processing result”).
  • the combination layer 146 combines the first processing result and the second processing result. The combination may be made as in any of the first to fifth examples described above.
  • the combination layer 146 outputs a combination result (hereinafter also referred to as “combination image”).
  • the total bonding layer 148 is configured in the same manner as in FIG. Since the learning process and the determination process of the processing apparatus 100 for the configuration of the processing unit 114 are the same as those described above, the description thereof is omitted here.
  • the weighting coefficient when executing the process of the convolutional layer 142 on the inspection image and the weighting coefficient when executing the process of the convolutional layer 142 on the reference image may be made common. Specifically, the weighting factor is made common between the 1-1 convolution layer 142aa and the 2-1 convolution layer 142ba, and between the 1-2 convolution layer 142ab and the 2-2 convolution layer 142bb. The weighting factor is made common.
  • the weighting factor is made common between the first-3 convolutional layer 142ac and the second-3 convolutional layer 142bc, and the weighting factor is given between the first-4 convolutional layer 142ad and the second-4 convolutional layer 142bd. Made common.
  • FIG. 4 shows an outline of processing in the processing unit 114.
  • it is shown as one input, and the combination layer 146 is omitted.
  • FIGS. 2A to 2C it is only necessary to have two inputs and include the combination layer 146.
  • the processing unit 114 includes a first convolution layer 142a, a second convolution layer 142b, a third convolution layer 142c, a fourth convolution layer 142d, a fifth convolution layer 142e, a sixth convolution layer 142f, and a pooling layer 144, which are collectively referred to as a convolution layer 142.
  • a convolution layer 142 includes a first pooling layer 144a, a second pooling layer 144b, a third pooling layer 144c, a fourth pooling layer 144d, and a fifth pooling layer 144e.
  • Such a convolution layer 142 and a pooling layer 144 show an image of a block that executes each process.
  • the input image 140 is an image that is a processing target of the determination process in the processing apparatus 100. Since the neural network in the processing unit 114 does not include the fully connected layer 148 as in the case of the complete convolution neural network, there is no restriction on the size of the input image 140.
  • the input image 140 is input to the first convolution layer 142a.
  • the layer 144d, the fifth convolution layer 142e, the fifth pooling layer 144e, and the sixth convolution layer 142f are sequentially disposed. That is, as before, the convolution process and the pooling process are repeatedly executed.
  • the first input unit 110 receives a learning image
  • the second input unit 112 receives a reference image
  • the teacher data input unit 116 receives teacher data.
  • the processing unit 114 performs each convolution so that the relationship between the learning image received by the first input unit 110 and the reference image received by the second input unit 112 becomes the teacher data received by the teacher data input unit 116.
  • the coefficients of the spatial filter of the layer 142 are learned.
  • the size of the teacher data is set to have a 1 ⁇ 1 spatial dimension. Therefore, the teacher data only indicates one of a limited number of classes with respect to the relationship between the learning image and the reference image. That is, it is only necessary to indicate whether or not the teacher data for one channel corresponds to one class. Therefore, the amount of work for generating one teacher data is reduced as compared with the case of generating an image in which an object is segmented by color painting. As a result, it is possible to increase the number of teacher data while suppressing an increase in the work amount.
  • the learning image and the reference image are original images from which teacher data is output when the determination process is correctly executed, and the size thereof is such that the teacher data has a 1 ⁇ 1 spatial dimension. Determined.
  • the image used for the learning process and the image used for the determination process may have different sizes.
  • a well-known technique should just be used for the learning of the coefficient of a spatial filter itself, description is abbreviate
  • the second input unit 112 in FIGS. 1A and 1B inputs a plurality of types of reference images as reference images. Each reference image is different from each other.
  • the processing unit 114 executes a neural network process for each of a plurality of types of reference images as a neural network process for the reference image.
  • FIG. 5 is a diagram illustrating a configuration of the processing unit 114.
  • the processing unit 114 includes a first convolution layer 142aa, a first 1-2 convolution layer 142ab, a first 1-3 convolution layer 142ac, a 2-1 convolution layer 142ba, and a 2-2 convolution layer, which are collectively referred to as a convolution layer 142.
  • the inspection image is input to the first input unit 110, and the (N-1) th reference image from the first reference image, that is, the N-1 type of reference images is input to the second input unit 112.
  • the 1-1 convolution layer 142aa receives the inspection image from the first input unit 110
  • the 2-1 convolution layer 142ba receives the first reference image from the second input unit 112, and the 3-1 convolution layer.
  • 142 ca receives the second reference image from the second input unit 112
  • the (N ⁇ 1) th convolution layer 142 na receives the N ⁇ 1 reference image from the second input unit 112.
  • the first-first convolution layer 142aa, the first-first pooling layer 144aa, the first-second convolution layer 142ab, the first-third convolution layer 142ac, and the first-second pooling layer 144ab are the same as before in the neural network for the inspection image. Execute the process.
  • the 2-1 convolution layer 142ba, the 2-1 pooling layer 144ba, the 2-2 convolution layer 142bb, the 2-3 convolution layer 142bc, and the 2-2 pooling layer 144bb are processed by the neural network for the first reference image. Execute. The same applies to other reference images.
  • the combination layer 146 receives the processing result from each of the 1-2th pooling layer 144ab to the N-2th pooling layer 144nb. The combination layer 146 combines these processing results as described above. The combination layer 146 outputs a combination result (hereinafter also referred to as “combination image”).
  • the first dense block 150a is configured by a combination of a convolution layer 142, a combination layer 146, and the like. Since a known technique may be used for the dense block 150, description thereof is omitted here. Since the third pooling layer 144c, the second dense block 150b, and the fourth pooling layer 144d following the first dense block 150a perform the same processing as before, description thereof is omitted here. Learning according to FIG. 5 is performed on the convolution layer 142 and the dense block 150 of FIG.
  • the inspection image input to the first input unit 110 and the reference image input to the second input unit 112 may be images having N-dimensional M channels (N, M integers).
  • N dimension includes one dimension, two dimensions, three dimensions, four dimensions,.
  • the processing unit 114 may perform the same processing as before.
  • the processing unit 114 so far includes the convolution layer 142 and the pooling layer 144, but the convolution layer 142 and the pooling layer 144 may not be included.
  • FIG. 6 shows the configuration of the processing unit 114.
  • the processing unit 114 includes a combination layer 146, a 1-1 total coupling layer 148aa, a 1-2 total coupling layer 148ab, a 1-3 total coupling layer 148ac, and a 2-1 total coupling, collectively referred to as a total coupling layer 148.
  • the 1-1st fully coupled layer 148aa receives an inspection image from the first input unit 110
  • the 2-1st fully coupled layer 148ba receives a reference image from the second input unit 112.
  • the first to total bonding layers 148aa to the first to third total bonding layers 148ac perform processing of the total bonding layers on the inspection image
  • the second to first total bonding layers 148ba to the second to third total bonding layers 148bc. Performs the processing of all connected layers on the reference image.
  • the combination layer 146 receives processing results from the first to third all-coupled layers 148ac and the second to third all-coupled layers 148bc.
  • the combination layer 146 combines these processing results as described above.
  • the combination layer 146 outputs a combination result (hereinafter also referred to as “combination image”).
  • the fourth fully connected layer 148d performs the process of all connected layers on the combined image.
  • the combination layer 146 in FIG. 6 inputs the processing result for the inspection image and the processing result for the reference image, and outputs them to execute processing on the combination image.
  • the inspection image and the reference image may be input and output to cause the combined image to be processed.
  • the processing result for the inspection image and the processing result for the reference image may be input to output a combined image.
  • FIG. 7A to 7C show the configuration of the processing unit 114.
  • the first input image 200a and the second input image 200b are two images input to the combination layer 146, and include an inspection image, a reference image, and a processing result.
  • FIG. 7A shows the past merge in the combination layer 146.
  • the first input image 200a and the second input image 200b of two channels are merged into one channel by the merge.
  • the number of input images 200 that collectively refers to the first input image 200a and the second input image 200b is not limited to “2”.
  • An image made into one channel corresponds to the aforementioned combined image.
  • the first input image 200a and the second input image 200b of two channels are arranged into one channel by arranging them in the x-axis direction.
  • the first input image 200a and the second input image 200b of two channels are arranged into one channel by arranging them in the y-axis direction.
  • the subject of the apparatus, system, or method in the present disclosure includes a computer.
  • the computer executes the program, the main function of the apparatus, system, or method according to the present disclosure is realized.
  • the computer includes a processor that operates according to a program as a main hardware configuration.
  • the processor may be of any type as long as the function can be realized by executing the program.
  • the processor includes one or a plurality of electronic circuits including a semiconductor integrated circuit (IC) or an LSI (Large Scale Integration).
  • the plurality of electronic circuits may be integrated on one chip or provided on a plurality of chips.
  • the plurality of chips may be integrated into one device, or may be provided in a plurality of devices.
  • the program is recorded on a non-transitory recording medium such as a ROM, an optical disk, or a hard disk drive that can be read by a computer.
  • the program may be stored in advance in a recording medium, or may be supplied to the recording medium via a wide area communication network including the Internet.
  • the present embodiment by executing a neural network process on the inspection image and the reference image, information on defective items included in the inspection image can be output as a comparison result between the two images.
  • the result of comparing the two images is output, the amount of learning by the new reference image can be reduced even if the reference image changes.
  • the amount of learning with a new reference image is reduced even if the reference image changes, an increase in the amount of learning work can be suppressed.
  • the neural network is trained using the defective items included in the inspection image as teacher data, it is possible to suppress a decrease in processing accuracy.
  • the process of the convolution layer 142 and the process of the pooling layer 144 are executed for the combination after combining the inspection image and the reference image, an increase in the processing amount can be suppressed. Further, since the convolution layer 142 process and the pooling layer 144 process are executed for each of the inspection image and the reference image, the convolution layer 142 process and the pooling layer 144 process are executed for these combinations. , Processing accuracy can be improved. Moreover, since the process of the convolution layer 142 and the process of the pooling layer 144 are performed on each of the inspection image and the reference image, and these are combined, the accuracy of the process can be improved.
  • the processing accuracy is improved. it can. Moreover, since two inputs are merged into one as a combination, processing can be simplified. Further, since the difference between the two inputs is derived as a combination, the processing accuracy can be improved. Moreover, since at least one of the two inputs is merged into the difference as a combination, the processing accuracy can be improved. Since the convolutional neural network in which the spatial filter of the convolution layer 142 is learned is used for the teacher data having a 1 ⁇ 1 spatial dimension, the workload of creating the teacher data can be reduced.
  • the processing accuracy can be improved.
  • the inspection image and the reference image are images having N-dimensional M channels (N and M are integers), the application range of the present embodiment can be expanded.
  • the degree of freedom in configuration can be improved.
  • the processing of the entire combined layer 148 is performed on the inspection image, the processing of the entire combined layer 148 is performed on the reference image, and the combination of the processing result for the inspection image and the processing result for the reference image is performed. Since the process of all the coupling layers 148 is performed, the freedom degree of a structure can be improved.
  • the processing of the entire combined layer 148 is performed on the inspection image, the processing of the entire combined layer 148 is performed on the reference image, and the processing result for the inspection image and the processing result for the reference image are combined. Can be improved.
  • a processing apparatus (100) includes a first input unit (110) that inputs an inspection image to be inspected, a second input unit (112) that inputs a reference image to be referenced, A processing unit (114) that executes processing of the neural network on the inspection image input to the first input unit (110) and the reference image input to the second input unit (112), and processing of the processing unit (114) As a result, an output unit (118) that outputs information on defective items included in the inspection image is provided.
  • the second input unit (112) inputs a first reference image and a second reference image which are different from each other as a reference image
  • the processing unit (114) is a neural network for the reference image input to the second input unit.
  • neural network processing may be executed for each of the first reference image and the second reference image.
  • the inspection image input to the first input unit (110) and the reference image input to the second input unit (112) may be images having N-dimensional M channels (N and M are integers).
  • the processing unit (114) executes (1) combining the inspection image and the reference image, and (2) executing at least one of processing of the convolution layer (142) and processing of the pooling layer (144) for the combination. May be.
  • the processing unit (114) performs (1) at least one of the processing of the convolution layer (142) and the processing of the pooling layer (144) on the inspection image, and also executes the processing of the convolution layer (142) on the reference image. Executing at least one of the processing and the processing of the pooling layer (144), (2) combining the processing result for the inspection image and the processing result for the reference image, and (3) processing of the convolution layer (142) for the combination; At least one of the processing of the pooling layer (144) may be performed.
  • the processing unit (114) performs (1) at least one of the processing of the convolution layer (142) and the processing of the pooling layer (144) on the inspection image, and also executes the processing of the convolution layer (142) on the reference image. At least one of the processing and the processing of the pooling layer (144) is executed, and (2) the processing result for the inspection image and the processing result for the reference image are combined.
  • the processing unit (114) uses a common weighting factor for executing the processing of the convolutional layer (142) on the inspection image and a weighting factor for executing the processing of the convolutional layer (142) on the reference image. It may be.
  • the neural network used in the processing unit (114) is a convolutional neural network excluding all connection layers.
  • the processing result having a 1 ⁇ 1 spatial dimension is used for the filter of the convolutional layer. Learning may be done.
  • the processing unit (114) may (1) combine the inspection image and the reference image and then (2) execute the processing of the entire coupling layer (148) for the combination.
  • the processing unit (114) executes (1) the processing of all the connection layers (148) on the inspection image and the processing of the all connection layers (148) on the reference image, and (2) the inspection image.
  • the processing result for and the processing result for the reference image may be combined, and (3) the processing of all connected layers (148) may be executed for the combination.
  • the processing unit (114) executes (1) the processing of all the connection layers (148) on the inspection image and the processing of the all connection layers (148) on the reference image, and (2) the inspection image.
  • the processing result for and the processing result for the reference image are combined.
  • the processing unit (114) may combine two inputs into one as a combination.
  • the processing unit (114) may execute merger by arranging two inputs in one direction.
  • the processing unit (114) may derive a difference between two inputs as a combination.
  • the processing unit (114) may merge at least one of the two inputs into the difference as a combination.
  • the method includes a step of inputting an inspection image to be inspected, a step of inputting a reference image to be referred to, a step of executing a neural network process on the input inspection image and the input reference image And a step of outputting information on defective items included in the inspection image as a processing result.
  • the processing unit 114 In the configuration of the processing unit 114 in this embodiment, a plurality of convolution layers 142 and a plurality of pooling layers 144 are alternately arranged.
  • the processing unit 114 may have a configuration such as a GoogleLeNet system, a DenseNet system, or the like. According to this modification, the degree of freedom of configuration can be improved.
  • a plurality of convolution layers 142 and a plurality of pooling layers 144 are alternately arranged.
  • the present invention is not limited to this.
  • only the convolution layer 142 may be included and only the convolution process may be executed, or only the pooling layer 144 may be included and only the pooling process may be executed. According to this modification, the degree of freedom of configuration can be improved.
  • processing device 110 first input unit, 112 second input unit, 114 processing unit, 116 teacher data input unit, 118 output unit, 140 input image, 142 convolution layer, 144 pooling layer, 146 combination layer, 148 all combined layers .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

第１入力部１１０は、検査対象となる検査画像を入力する。第２入力部１１２は、参照されるべき参照画像を入力する。処理部１１４は、第１入力部１１０に入力した検査画像と、第２入力部１１２に入力した参照画像とに対してニューラルネットワークの処理を実行する。出力部１１８は、処理部１１４の処理結果として、検査画像に含まれる不良項目の情報を出力する。

Description

[規則37.2に基づきISAが決定した発明の名称]　画像処理装置および画像処理方法
　本発明は、処理技術、特に画像に対する処理を実行する処理方法およびそれを利用した処理装置に関する。
　製品の外観検査工程において画像中の特徴的な領域が検出される。これは、正常な参照画像と検査対象画像との差をもとに、画像の変化を識別することによってなされる。しかしながら、このような方法では、検査対象の位置決めに誤差がある場合、検査対象の形状がわずかに変化する場合、充分に異常を検出できない。そのため、対象画像に注目領域および注目領域を取り囲む周辺領域を規定し、各領域について色に関連する特徴量および画像上の特異性を使用して注目領域における画像上の特異性として数値的に示す外れ値を計算することがなされる（例えば、特許文献１参照）。
特開２０１７－１０７５４１号公報
　検査対象画像と参照画像との位置調整を不要にしながら、参照画像に対する検査対象画像の異常を検出するために、ニューラルネットワークを使用することが有効である。しかしながら、製品の仕様変更等により参照画像が変わると、新たな参照画像を再学習する必要がある。一方、学習が不十分であると、処理の正確性が低下する。
　本発明はこうした状況に鑑みなされたものであり、その目的は、学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制する技術を提供することにある。
　上記課題を解決するために、本発明のある態様の処理装置は、検査対象となる検査画像を入力する第１入力部と、参照されるべき参照画像を入力する第２入力部と、第１入力部に入力した検査画像と、第２入力部に入力した参照画像とに対してニューラルネットワークの処理を実行する処理部と、処理部の処理結果として、検査画像に含まれる不良項目の情報を出力する出力部と、を備える。
　本発明の別の態様は、処理方法である。この方法は、検査対象となる検査画像を入力するステップと、参照されるべき参照画像を入力するステップと、入力した検査画像と、入力した参照画像とに対してニューラルネットワークの処理を実行するステップと、処理結果として、検査画像に含まれる不良項目の情報を出力するステップと、を備える。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制できる。
図１（ａ）－（ｂ）は、実施例に係る処理装置の構成を示す図である。 図２（ａ）－（ｃ）は、図１（ａ）－（ｂ）の処理部の構成を示す図である。 図１（ａ）の教師データ入力部に入力される教師データのデータ構造を示す図である。 図１（ａ）－（ｂ）の処理部における処理の概要を示す図である。 第１変形例に係る処理部の構成を示す図である。 第３変形例に係る処理部の構成を示す図である。 図７（ａ）－（ｃ）は、第４変形例に係る処理部の構成を示す図である。
　本発明の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、検査対象となる画像に不良項目が含まれているかを判定する処理装置に関する。これまでラベルの貼り付けがなされていた部分に対して、ラベル生産コストの削減、ラベル貼付工数の合理化を目指して、レーザ印字への切替がなされている。レーザ印字の場合、レーザ印字のかけが画像処理により自動検査される。これまでは、検査対象となるレーザ印字の画像（以下、「検査画像」という）と、参照されるべき画像（以下、「参照画像」という）との差分をもとに印字かけが検出されている。具体的には、検査画像の位置が補正されてから、参照画像との差分を算出して、検査画像と参照画像が一致しているか否かが判定される。一致している場合、検査画像においてレーザ印字が正しくなされているが、一致しない場合、検査画像においてレーザ印字のかけが発生している。
　このような手法では、商品毎に文字の太さが異なることを考慮して商品毎に太さのしきい値設定が必要になるとともに、商品毎に３点の領域を設定するためにシビアな位置あわせ調整が必要になる。さらに、これらのことは、商品毎あるいは商品リニューアル毎に変わるので、商品毎あるいは商品リニューアル毎に検査プログラムを調整が必要になる。しきい値設定、シビアな位置あわせ調整を不要にするために、ニューラルネットワークの利用が有効である。しかしながら、ニューラルネットワークでは、参照画像として、各不良項目が含まれた画像と良品の画像とを使用した学習が必要になるので、参照画像におけるパターンが変わると再学習が必要になる。このような再学習のために、学習の作業量が増加する。しかしながら、学習が不十分であると処理の正確性が低下する。
　本実施例に係る処理装置は、検査画像と参照画像を入力し、検査画像に含まれている不良項目の情報を教師データとして学習を実行する。また、そのような学習がなされた後、処理装置は、検査画像と参照画像を入力し、検査画像に含まれている不良項目を判定する。つまり、参照画像自体を学習するのではなく、検査画像と参照画像との比較結果である不良項目を学習する。その結果、商品リニューアルによって参照画像が変わる場合、新たな参照画像と検査画像を処理装置に入力すればよくなり、未学習の印字パターンでも判定が可能になる。
　図１（ａ）－（ｂ）は、処理装置１００の構成を示す。特に、図１（ａ）は、学習処理のための構成を示し、図１（ｂ）は、判定処理ための構成を示す。判定処理は、検査画像と参照画像とにニューラルネットワークを使用することによって、検査画像に含まれている不良項目を判定する処理である。不良項目の一例は、かけ、細りである。図１（ａ）における処理装置１００と図１（ｂ）における処理装置１００とは、同一の装置として構成されてもよいし、別の装置として構成されてもよい。
　処理装置１００は、学習処理ための構成として、第１入力部１１０、第２入力部１１２、処理部１１４、教師データ入力部１１６を含み、判定処理のための構成として、第１入力部１１０、第２入力部１１２、処理部１１４、出力部１１８を含む。ここで、学習処理において処理部１１４が学習され、判定処理において処理部１１４が使用される。処理装置１００の構成を説明する前に、処理部１１４の構成を説明する。
　図２（ａ）－（ｃ）は、処理部１１４の構成を示す。図２（ａ）は、処理部１１４の構成の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１畳み込み層１４２ａ、第２畳み込み層１４２ｂ、第３畳み込み層１４２ｃ、第４畳み込み層１４２ｄ、プーリング層１４４と総称される第１プーリング層１４４ａ、第２プーリング層１４４ｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、組合せ層１４６、全結合層１４８を含む。
　組合せ層１４６は、図１（ａ）－（ｂ）の第１入力部１１０と第２入力部１１２に接続され、第１入力部１１０から検査画像を入力し、第２入力部１１２から参照画像を入力する。組合せ層１４６は、検査画像と参照画像とを組み合わせる。組合せの第１例では、２つの入力である検査画像と参照画像とが別のチャンネルとして１つに合併される。この場合、検査画像と参照画像の組合せが生成される。組合せの第２例では、２つの入力である検査画像と参照画像との対応する画素同士の差分が計算され、画素毎に差分を並べた画像（以下、「差分画像」という）が生成される。組合せの第３例では、検査画像と参照画像と差分画像とが別のチャンネルとして１つに合併される。この場合、検査画像と参照画像と差分画像の組合せが生成される。組合せの第４例では、参照画像と差分画像とが別のチャンネルとして１つに合併される。この場合、参照画像と差分画像の組合せが生成される。組合せの第５例では、検査画像と差分画像とが別のチャンネルとして１つに合併される。この場合、検査画像と差分画像の組合せが生成される。組合せ層１４６は、組合せの結果（以下、「組合画像」という）を出力する。なお、検査画像、参照画像、差分画像は「画像」と総称される。
　畳み込み層１４２は、組合画像の各チャンネルに対して、画像のサイズよりも小さいサイズの空間フィルタをずらしながら空間フィルタリングを実行する。空間フィルタリングは公知の技術であるので、ここでは説明を省略するが、この空間フィルタリングが畳み込み処理に相当し、畳み込み処理によって画像の特徴量が抽出される。なお、畳み込み層１４２においてパディング等が実行されてもよい。さらに、畳み込み層１４２は、各チャンネルの画像に対して、複数の空間フィルタを並列に使用して、複数の空間フィルタリングを並列して実行してもよい。このような複数の空間フィルタの並列使用によって、画像が増加する。これは、組合画像におけるチャンネル数が増加することに相当する。
　プーリング層１４４は、組合画像における各チャンネルの画像内の任意の領域に含まれた複数の画素を１つの画素にまとめることによって、画像のサイズを小さくする。ここで、複数の画素を１つの画素にまとめるために、平均プーリングあるいは最大プーリングが実行される。平均プーリングでは、領域内の複数の画素値の平均値が１つの画素に対して使用され、最大プーリングでは、領域内の複数の画素値のうちの最大値が１つの画素に対して使用される。プーリング処理は、着目領域における代表値あるいは平均値の並進移動に対してロバスト性を強化するためになされる。
　ここでは、第１畳み込み層１４２ａ、第１プーリング層１４４ａ、第２畳み込み層１４２ｂ、第２プーリング層１４４ｂ、第３畳み込み層１４２ｃ、第３プーリング層１４４ｃ、第４畳み込み層１４２ｄ、第４プーリング層１４４ｄの順に処理が実行される。つまり、組合画像に対して、畳み込み処理とプーリング処理とが繰り返し実行される。また、畳み込み処理とプーリング処理とが繰り返されることによって、各チャンネルの画像のサイズが順に小さくされる。その結果、１×１の空間次元となり、かつ１以上のチャンネル数を有する組合画像が全結合層１４８に出力される。
　全結合層１４８は、特徴量が抽出されている画像を受けつける。全結合層１４８は、特徴量に基づいて、複数のクラスへの分類を実行することによって、画像を識別する。全結合層１４８における処理には公知の技術が使用されればよいので、ここでは説明を省略するが、全結合層１４８における分類結果では、「ＯＫ」、「かけ」、「細り」の３つのクラスのそれぞれに対する確率が示される。ここで、「ＯＫ」は、参照画像に対して検査画像に不良項目が含まれない場合に相当し、「かけ」は、参照画像に対して検査画像にかけた印字部分が含まれる場合に相当し、「細り」は、参照画像に対して検査画像に細くなった印字部分が含まれる場合に相当する。特に、「かけ」、「細り」は不良項目であるといえる。なお、「かけ」、「細り」の他に、「太り」、「つぶれ」、「異物」が不良項目として分類されてもよい。
　このような処理部１１４の構成をもとにして、ここでは、図１（ａ）を使用しながら、処理装置１００における学習処理を説明する。前述のごとく、第１入力部１１０は、検査画像の代わりに学習用画像を受けつけ、第２入力部１１２は参照画像を受けつける。学習用画像では、どのような不良項目が含まれているか未知である検査画像とは異なり、含まれている不良項目が既知である。教師データ入力部１１６は、学習用画像と参照画像との関係に対応した、つまり学習用画像に含まれた不良項目を示す教師データを受けつける。処理部１１４は、図２（ａ）のように構成されている。処理部１１４は、第１入力部１１０において受けつけた学習用画像と、第２入力部１１２において受けつけた参照画像との関係が、教師データ入力部１１６において受けつけた教師データとなるように、各畳み込み層１４２の空間フィルタの係数を学習させる。
　参照画像には、理想的にレーザ印字されたパターンが示され、学習用画像には、実際にレーザ印字されうるパターンが示される。また、教師データは、参照画像と学習用画像との関係が示される。図３は、教師データ入力部１１６に入力される教師データのデータ構造を示す。教師データは、３チャンネルを有しており、全結合層１４８における分類結果と同様にＯＫ、かけ、細りを含む。ここで、参照画像に対して学習用画像に不良項目が含まれない場合に教師データはＯＫを示す。一方、参照画像に対して学習用画像に不良項目が含まれる場合に、その原因に応じて、教師データは、かけあるいは細りを示す。なお、空間フィルタの係数の学習自体には公知の技術が使用されればよいので、ここでは説明を省略する。
　次に、図１（ｂ）を使用しながら、処理装置１００における判定処理を説明する。なお、図１（ａ）と図１（ｂ）における処理装置１００とが別の装置として構成される場合、図１（ａ）における処理部１１４に対する学習によって導出された空間フィルタの係数が、図１（ｂ）における処理部１１４に設定される。
　第１入力部１１０は検査画像を受けつけ、第２入力部１１２は参照画像を受けつける。処理部１１４は、図２（ａ）に示される構成を有しており、第１入力部１１０に入力した検査画像と、第２入力部１１２に入力した参照画像とに対してニューラルネットワークの処理を実行する。出力部１１８は、処理部１１４の処理結果として、参照画像に対して検査画像に含まれる不良項目の情報を出力する。つまり、ＯＫ、かけ、細りのいずれかの情報が出力される。
　以下では、処理部１１４の構成の別の例を示す。図２（ｂ）は、処理部１１４の構成の別の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第４畳み込み層１４２ｄ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第１－３プーリング層１４４ａｃ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第２－３プーリング層１４４ｂｃ、第４プーリング層１４４ｄ、組合せ層１４６、全結合層１４８を含む。
　第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－２プーリング層１４４ａｂ、第１－３畳み込み層１４２ａｃ、第１－３プーリング層１４４ａｃは順に並べられる。これらは、第１入力部１１０に入力された検査画像に対して前述の処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－２プーリング層１４４ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－３プーリング層１４４ｂｃは順に並べられる。これらは、第２入力部１１２に入力された参照画像に対して前述の処理を実行する。
　組合せ層１４６は、第１－３プーリング層１４４ａｃからの処理結果と、第２－３プーリング層１４４ｂｃからの処理結果とを入力する。第１－３プーリング層１４４ａｃからの処理結果は検査画像に対する処理結果（以下、「第１処理結果」という）であり、第２－３プーリング層１４４ｂｃからの処理結果は参照画像に対する処理結果（以下、「第２処理結果」という）である。ここで、第１処理結果と第２処理結果は複数のチャンネルによって構成されていてもよい。組合せ層１４６は、第１処理結果と第２処理結果とを組み合わせる。組合せは、前述の第１例から第５例のいずれかのようになされればよい。なお、差分画像の生成は、第１処理結果と第２処理結果との互いに対応したチャンネル同士の間でなされる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。
　第４畳み込み層１４２ｄ、第４プーリング層１４４ｄは、組合画像に対して畳み込み処理とプーリング処理とを順次実行する。全結合層１４８は、図２（ａ）と同様に構成される。このような処理部１１４の構成に対する処理装置１００の学習処理と判定処理は、これまでと同様であるので、ここでは説明を省略する。なお、学習の結果、検査画像に対して畳み込み層１４２の処理を実行する際の重み係数と、参照画像に対して畳み込み層１４２の処理を実行する際の重み係数とが共通にされてもよい。具体的には、第１－１畳み込み層１４２ａａと第２－１畳み込み層１４２ｂａとの間で重み係数が共通にされる。また、第１－２畳み込み層１４２ａｂと第２－２畳み込み層１４２ｂｂとの間で重み係数が共通にされ、第１－３畳み込み層１４２ａｃと第２－３畳み込み層１４２ｂｃとの間で重み係数が共通にされる。
　図２（ｃ）は、処理部１１４の構成のさらに別の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第１－４畳み込み層１４２ａｄ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－４畳み込み層１４２ｂｄ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第１－３プーリング層１４４ａｃ、第１－４プーリング層１４４ａｄ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第２－３プーリング層１４４ｂｃ、第２－４プーリング層１４４ｂｄ、組合せ層１４６、全結合層１４８を含む。
　第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－２プーリング層１４４ａｂ、第１－３畳み込み層１４２ａｃ、第１－３プーリング層１４４ａｃ、第１－４畳み込み層１４２ａｄ、第１－４プーリング層１４４ａｄは順に並べられる。これらは、第１入力部１１０に入力された検査画像に対して前述の処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－２プーリング層１４４ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－３プーリング層１４４ｂｃ、第２－４畳み込み層１４２ｂｄ、第２－４プーリング層１４４ｂｄは順に並べられる。これらは、第２入力部１１２に入力された参照画像に対して前述の処理を実行する。
　組合せ層１４６は、第１－４プーリング層１４４ａｄからの処理結果と、第２－４プーリング層１４４ｂｄからの処理結果とを入力する。第１－４プーリング層１４４ａｄからの処理結果は検査画像に対する処理結果（以下、これもまた「第１処理結果」という）であり、第２－４プーリング層１４４ｂｄからの処理結果は参照画像に対する処理結果（以下、これもまた「第２処理結果」という）である。組合せ層１４６は、第１処理結果と第２処理結果とを組み合わせる。組合せは、前述の第１例から第５例のいずれかのようになされればよい。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。
　全結合層１４８は、図２（ａ）と同様に構成される。このような処理部１１４の構成に対する処理装置１００の学習処理と判定処理は、これまでと同様であるので、ここでは説明を省略する。なお、学習の結果、検査画像に対して畳み込み層１４２の処理を実行する際の重み係数と、参照画像に対して畳み込み層１４２の処理を実行する際の重み係数とが共通にされてもよい。具体的には、第１－１畳み込み層１４２ａａと第２－１畳み込み層１４２ｂａとの間で重み係数が共通にされ、第１－２畳み込み層１４２ａｂと第２－２畳み込み層１４２ｂｂとの間で重み係数が共通にされる。また、第１－３畳み込み層１４２ａｃと第２－３畳み込み層１４２ｂｃとの間で重み係数が共通にされ、第１－４畳み込み層１４２ａｄと第２－４畳み込み層１４２ｂｄとの間で重み係数が共通にされる。
　なお、処理部１１４の構成から全結合層１４８が除外されてもよい。このような構成を図４をもとに説明する。図４は、処理部１１４における処理の概要を示す。ここでは、説明を明瞭にするために、１入力として示し、組合せ層１４６を省略している。しかしながら、図２（ａ）－（ｃ）と同様に、２入力であり、組合せ層１４６が含まれればよい。処理部１１４は、畳み込み層１４２と総称する第１畳み込み層１４２ａ、第２畳み込み層１４２ｂ、第３畳み込み層１４２ｃ、第４畳み込み層１４２ｄ、第５畳み込み層１４２ｅ、第６畳み込み層１４２ｆ、プーリング層１４４と総称する第１プーリング層１４４ａ、第２プーリング層１４４ｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、第５プーリング層１４４ｅを含む。このような畳み込み層１４２、プーリング層１４４は、各処理を実行するブロックのイメージを示す。
　入力画像１４０は、処理装置１００における判定処理の処理対象となる画像である。処理部１１４におけるニューラルネットワークには、完全畳み込みニューラルネットワークと同様に、全結合層１４８が含まれないので、入力画像１４０のサイズに対する制限が設けられない。入力画像１４０は、第１畳み込み層１４２ａに入力される。処理部１１４では、第１畳み込み層１４２ａ、第１プーリング層１４４ａ、第２畳み込み層１４２ｂ、第２プーリング層１４４ｂ、第３畳み込み層１４２ｃ、第３プーリング層１４４ｃ、第４畳み込み層１４２ｄ、第４プーリング層１４４ｄ、第５畳み込み層１４２ｅ、第５プーリング層１４４ｅ、第６畳み込み層１４２ｆが順に配置される。つまり、これまでと同様に、畳み込み処理とプーリング処理とが繰り返し実行される。
　このような処理部１１４の構成をもとにして、ここでは、図１（ａ）を使用しながら、処理装置１００における学習処理を説明する。前述のごとく、第１入力部１１０は学習用画像を受けつけ、第２入力部１１２は参照画像を受けつけ、教師データ入力部１１６は教師データを受けつける。処理部１１４は、第１入力部１１０において受けつけた学習用画像と、第２入力部１１２において受けつけた参照画像との関係が、教師データ入力部１１６において受けつけた教師データとなるように、各畳み込み層１４２の空間フィルタの係数を学習させる。
　本実施例において、教師データのサイズは１×１の空間次元を有するように設定される。そのため、教師データは、学習用画像と参照画像との関係に対して、限定された数のクラスのいずれかを示すだけである。つまり、１つのチャンネルに対する教師データは、１つのクラスに該当するか否かだけを示せばよい。そのため、物体に対して色塗りによるセグメンテーションがなされた画像を生成する場合と比較して、１つの教師データを生成するための作業量が低減する。その結果、作業量の増加を抑制しながら、教師データの数を多くすることが可能である。
　一方、学習用画像と参照画像は、判定処理が正確に実行された場合に教師データが出力されるような元の画像であり、そのサイズは教師データが１×１の空間次元となるように定められる。ここで、入力画像１４０のサイズに対する制限が設けられないので、学習処理に使用される画像と、判定処理に使用される画像とが異なったサイズでもよい。なお、空間フィルタの係数の学習自体には公知の技術が使用されればよいので、ここでは説明を省略する。
　以下では、処理装置１００の変形例を説明する。
（第１変形例）
　図１（ａ）－（ｂ）の第２入力部１１２は、参照画像として複数種類の参照画像を入力する。各参照画像は互いに異なる。処理部１１４は、参照画像に対するニューラルネットワークの処理として、複数種類の参照画像のそれぞれに対してニューラルネットワークの処理を実行する。図５は、処理部１１４の構成を示す図である。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第３－１畳み込み層１４２ｃａ、第３－２畳み込み層１４２ｃｂ、第３－３畳み込み層１４２ｃｃ、第Ｎ－１畳み込み層１４２ｎａ、第Ｎ－２畳み込み層１４２ｎｂ、第Ｎ－３畳み込み層１４２ｎｃ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第３－１プーリング層１４４ｃａ、第３－２プーリング層１４４ｃｂ、第Ｎ－１プーリング層１４４ｎａ、第Ｎ－２プーリング層１４４ｎｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、組合せ層１４６、デンスブロック１５０と総称される第１デンスブロック１５０ａ、第２デンスブロック１５０ｂを含む。
　第１入力部１１０には検査画像が入力され、第２入力部１１２には、第１参照画像から第Ｎ－１参照画像、つまりＮ－１種類の参照画像が入力される。第１－１畳み込み層１４２ａａは、第１入力部１１０からの検査画像を受けつけ、第２－１畳み込み層１４２ｂａは、第２入力部１１２からの第１参照画像を受けつけ、第３－１畳み込み層１４２ｃａは、第２入力部１１２からの第２参照画像を受けつけ、第Ｎ－１畳み込み層１４２ｎａは、第２入力部１１２からの第Ｎ－１参照画像を受けつける。第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第１－２プーリング層１４４ａｂは、これまで通りに検査画像に対するニューラルネットワークの処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－２プーリング層１４４ｂｂは、第１参照画像に対するニューラルネットワークの処理を実行する。他の参照画像についても同様である。
　組合せ層１４６は、第１－２プーリング層１４４ａｂから第Ｎ－２プーリング層１４４ｎｂのそれぞれからの処理結果を受けつける。組合せ層１４６は、前述のようにこれらの処理結果を組み合わせる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。第１デンスブロック１５０ａは、畳み込み層１４２、組合せ層１４６等の組合せによって構成される。デンスブロック１５０には公知の技術が使用されればよいので、ここでは説明を省略する。第１デンスブロック１５０ａに続く、第３プーリング層１４４ｃ、第２デンスブロック１５０ｂ、第４プーリング層１４４ｄは、これまでと同様の処理を実行するので、ここでは説明を省略する。図５の畳み込み層１４２、デンスブロック１５０について、図５に合わせた学習がなされる。
（第２変形例）
　第１入力部１１０に入力した検査画像と、第２入力部１１２に入力した参照画像は、Ｎ次元Ｍチャンネル（Ｎ、Ｍ整数）を有する画像であってもよい。ここで、Ｎ次元には、１次元、２次元、３次元、４次元、・・・・が含まれる。このような検査画像と参照画像に対して、処理部１１４はこれまでと同様の処理を実行すればよい。
（第３変形例）
　これまでの処理部１１４には、畳み込み層１４２、プーリング層１４４が含まれていたが、畳み込み層１４２、プーリング層１４４が含まれなくてもよい。図６は、処理部１１４の構成を示す。処理部１１４は、組合せ層１４６、全結合層１４８と総称される第１－１全結合層１４８ａａ、第１－２全結合層１４８ａｂ、第１－３全結合層１４８ａｃ、第２－１全結合層１４８ｂａ、第２－２全結合層１４８ｂｂ、第２－３全結合層１４８ｂｃ、第４全結合層１４８ｄを含む。つまり、組合せ層１４６を除いて、全結合層１４８だけが含まれる。第１－１全結合層１４８ａａは、第１入力部１１０からの検査画像を受けつけ、第２－１全結合層１４８ｂａは、第２入力部１１２からの参照画像を受けつける。第１－１全結合層１４８ａａから第１－３全結合層１４８ａｃは、検査画像に対して全結合層の処理を実行し、第２－１全結合層１４８ｂａから第２－３全結合層１４８ｂｃは、参照画像に対して全結合層の処理を実行する。組合せ層１４６は、第１－３全結合層１４８ａｃと第２－３全結合層１４８ｂｃから処理結果を受けつける。組合せ層１４６は、前述のようにこれらの処理結果を組み合わせる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。第４全結合層１４８ｄは、組合画像に対して全結合層の処理を実行する。
　図６における組合せ層１４６は、図２（ｂ）と同様に、検査画像に対する処理結果と、参照画像に対する処理結果とを入力し、組合画像に対して処理を実行させるために出力する。しかしながら、図２（ａ）と同様に、検査画像と参照画像とを入力し、組合画像に対して処理を実行させるために出力してもよい。また、図２（ｃ）と同様に、検査画像に対する処理結果と、参照画像に対する処理結果とを入力し、組合画像を出力してもよい。
（第４変形例）
　これまでの組合せ層１４６では、組合せの第１例、第３例から第５例のように、複数のチャンネルが１つに合併されている。合併はこれに限定されない。図７（ａ）－（ｃ）は、処理部１１４の構成を示す。第１入力画像２００ａ、第２入力画像２００ｂは、組合せ層１４６に入力される２つの画像であり、検査画像、参照画像、処理結果を含む。図７（ａ）は、組合せ層１４６におけるこれまでの合併を示し、２つのチャンネルの第１入力画像２００ａ、第２入力画像２００ｂが合併により１つのチャンネルにされる。第１入力画像２００ａ、第２入力画像２００ｂを総称する入力画像２００の数は「２」に限定されない。また、１つのチャンネルにされた画像が前述の組合画像に相当する。図７（ｂ）では、２つのチャンネルの第１入力画像２００ａ、第２入力画像２００ｂが、ｘ軸方向に並べることによって１つのチャンネルにされる。図７（ｃ）では、２つのチャンネルの第１入力画像２００ａ、第２入力画像２００ｂが、ｙ軸方向に並べることによって１つのチャンネルにされる。
　本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
　本実施例によれば、検査画像と参照画像とに対してニューラルネットワークの処理を実行することによって、２つの画像の比較結果として、検査画像に含まれる不良項目の情報を出力できる。また、２つの画像を比較した結果が出力されるので、参照画像が変わっても新たな参照画像による学習の量を低減できる。また、参照画像が変わっても新たな参照画像による学習の量が低減されるので、学習の作業量の増加を抑制できる。また、検査画像に含まれる不良項目を教師データとしてニューラルネットワークを学習させるので、処理の正確性の低下を抑制できる。
　また、検査画像と参照画像とを組み合わせてから、組合せに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行するので、処理量の増加を抑制できる。また、検査画像と参照画像のそれぞれに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行してから、これらの組合せに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行するので、処理の精度を向上できる。また、検査画像と参照画像のそれぞれに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行してから、これらを組み合わせるので、処理の精度を向上できる。
　また、検査画像に対して畳み込み層１４２の処理を実行する際の重み係数と、参照画像に対して畳み込み層１４２の処理を実行する際の重み係数とを共通にするので、処理の精度を向上できる。また、組合せとして、２つの入力を１つに合併するので、処理を簡易にできる。また、組合せとして、２つの入力の差分を導出するので、処理の精度を向上できる。また、組合せとして、差分に、２つの入力の少なくとも１つを合併するので、処理の精度を向上できる。１×１の空間次元を有する教師データに対して、畳み込み層１４２の空間フィルタの学習がなされている畳み込みニューラルネットワークを使用するので、教師データの作成の作業量を低減できる。また教師データの作成の作業量が低減されるので、学習の作業量の増加を抑制できる。また教師データの作成の作業量が低減されるので、教師データの数を多くできる。また、教師データの数が多くなるので、学習の精度を向上できる。
　また、複数の参照画像を入力するので、処理の精度を向上できる。また、検査画像と参照画像は、Ｎ次元Ｍチャンネル（Ｎ、Ｍは整数）を有する画像であるので、本実施例の適用範囲を拡大できる。また、検査画像と参照画像とを組み合わせてから、組合せに対して全結合層１４８の処理を実行するので、構成の自由度を向上できる。また、検査画像に対して全結合層１４８の処理を実行するとともに、参照画像に対して全結合層１４８の処理を実行し、検査画像に対する処理結果と参照画像に対する処理結果との組合せに対して全結合層１４８の処理を実行するので、構成の自由度を向上できる。また、検査画像に対して全結合層１４８の処理を実行するとともに、参照画像に対して全結合層１４８の処理を実行し、検査画像に対する処理結果と参照画像に対する処理結果とを組み合わせるので、構成の自由度を向上できる。
　本発明の一態様の概要は、次の通りである。本発明のある態様の処理装置（１００）は、検査対象となる検査画像を入力する第１入力部（１１０）と、参照されるべき参照画像を入力する第２入力部（１１２）と、第１入力部（１１０）に入力した検査画像と、第２入力部（１１２）に入力した参照画像とに対してニューラルネットワークの処理を実行する処理部（１１４）と、処理部（１１４）の処理結果として、検査画像に含まれる不良項目の情報を出力する出力部（１１８）と、を備える。
　第２入力部（１１２）は、参照画像として、互いに異なった第１参照画像と第２参照画像とを入力し、処理部（１１４）は、第２入力部に入力した参照画像に対するニューラルネットワークの処理として、第１参照画像と第２参照画像とのそれぞれに対してニューラルネットワークの処理を実行してもよい。
　第１入力部（１１０）に入力した検査画像と、第２入力部（１１２）に入力した参照画像は、Ｎ次元Ｍチャンネル（Ｎ、Ｍは整数）を有する画像であってもよい。
　処理部（１１４）は、（１）検査画像と参照画像とを組み合わせてから、（２）組合せに対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行してもよい。
　処理部（１１４）は、（１）検査画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行するとともに、参照画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組合せ、（３）組合せに対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行してもよい。
　処理部（１１４）は、（１）検査画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行するとともに、参照画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組み合わせる。
　処理部（１１４）は、検査画像に対して畳み込み層（１４２）の処理を実行する際の重み係数と、参照画像に対して畳み込み層（１４２）の処理を実行する際の重み係数とを共通にしてもよい。
　処理部（１１４）において使用されるニューラルネットワークは、全結合層を除外した畳み込みニューラルネットワークであり、当該畳み込みニューラルネットワークでは、１×１の空間次元を有する処理結果に対して、畳み込み層のフィルタの学習がなされていてもよい。
　処理部（１１４）は、（１）検査画像と参照画像とを組み合わせてから、（２）組合せに対して全結合層（１４８）の処理を実行してもよい。
　処理部（１１４）は、（１）検査画像に対して全結合層（１４８）の処理を実行するとともに、参照画像に対して全結合層（１４８）の処理を実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組合せ、（３）組合せに対して全結合層（１４８）の処理を実行してもよい。
　処理部（１１４）は、（１）検査画像に対して全結合層（１４８）の処理を実行するとともに、参照画像に対して全結合層（１４８）の処理を実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組み合わせる。
　処理部（１１４）は、組合せとして、２つの入力を１つに合併してもよい。
　処理部（１１４）は、２つの入力を１つの方向に並べることによって合併を実行してもよい。
　処理部（１１４）は、組合せとして、２つの入力の差分を導出してもよい。
　処理部（１１４）は、組合せとして、差分に、２つの入力の少なくとも１つを合併してもよい。
　本発明の別の態様は、処理方法である。この方法は、検査対象となる検査画像を入力するステップと、参照されるべき参照画像を入力するステップと、入力した検査画像と、入力した参照画像とに対してニューラルネットワークの処理を実行するステップと、処理結果として、検査画像に含まれる不良項目の情報を出力するステップと、を備える。
　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　本実施例における処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並べんでいる。しかしながらこれに限らず例えば、処理部１１４は、ＧｏｏｇＬｅＮｅｔ系、ＤｅｎｓｅＮｅｔ系等の構成を有していてもよい。本変形例によれば、構成の自由度を向上できる。
　本実施例における処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並べんでいる。しかしながらこれに限らず例えば、処理部１１４では、畳み込み層１４２のみが含まれて畳み込み処理だけが実行されてもよいし、プーリング層１４４のみが含まれてプーリング処理だけが実行されてもよい。本変形例によれば、構成の自由度を向上できる。
　本発明によれば、学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制できる。
　１００　処理装置、　１１０　第１入力部、　１１２　第２入力部、　１１４　処理部、　１１６　教師データ入力部、　１１８　出力部、　１４０　入力画像、　１４２　畳み込み層、　１４４　プーリング層、　１４６　組合せ層、　１４８　全結合層。

Claims (16)

  1. 　検査対象となる検査画像を入力する第１入力部と、
    　参照されるべき参照画像を入力する第２入力部と、
    　前記第１入力部に入力した検査画像と、前記第２入力部に入力した参照画像とに対してニューラルネットワークの処理を実行する処理部と、
    　前記処理部の処理結果として、検査画像に含まれる不良項目の情報を出力する出力部と、
    　を備えることを特徴とする処理装置。
  2. 　前記第２入力部は、前記参照画像として、互いに異なった第１参照画像と第２参照画像とを入力し、
    　前記処理部は、前記第２入力部に入力した参照画像に対するニューラルネットワークの処理として、第１参照画像と第２参照画像とのそれぞれに対してニューラルネットワークの処理を実行することを特徴とする請求項１に記載の処理装置。
  3. 　前記第１入力部に入力した検査画像と、前記第２入力部に入力した参照画像は、Ｎ次元Ｍチャンネル（Ｎ、Ｍは整数）を有する画像であることを特徴とする請求項１または２に記載の処理装置。
  4. 　前記処理部は、（１）検査画像と参照画像とを組み合わせてから、（２）組合せに対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
  5. 　前記処理部は、（１）検査画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行するとともに、参照画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組合せ、（３）組合せに対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
  6. 　前記処理部は、（１）検査画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行するとともに、参照画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組み合わせることを特徴とする請求項１から３のいずれか１項に記載の処理装置。
  7. 　前記処理部は、検査画像に対して畳み込み層の処理を実行する際の重み係数と、参照画像に対して畳み込み層の処理を実行する際の重み係数とを共通にすることを特徴とする請求項５または６に記載の処理装置。
  8. 　前記処理部において使用されるニューラルネットワークは、全結合層を除外した畳み込みニューラルネットワークであり、当該畳み込みニューラルネットワークでは、１×１の空間次元を有する処理結果に対して、前記畳み込み層のフィルタの学習がなされていることを特徴とする請求項１から７のいずれか１項に記載の処理装置。
  9. 　前記処理部は、（１）検査画像と参照画像とを組み合わせてから、（２）組合せに対して全結合層の処理を実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
  10. 　前記処理部は、（１）検査画像に対して全結合層の処理を実行するとともに、参照画像に対して全結合層の処理を実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組合せ、（３）組合せに対して全結合層の処理を実行することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
  11. 　前記処理部は、（１）検査画像に対して全結合層の処理を実行するとともに、参照画像に対して全結合層の処理を実行し、（２）検査画像に対する処理結果と参照画像に対する処理結果とを組み合わせることを特徴とする請求項１から３のいずれか１項に記載の処理装置。
  12. 　前記処理部は、組合せとして、２つの入力を１つに合併することを特徴とする請求項４から１１のいずれか１項に記載の処理装置。
  13. 　前記処理部は、２つの入力を１つの方向に並べることによって合併を実行することを特徴とする請求項１２に記載の処理装置。
  14. 　前記処理部は、組合せとして、２つの入力の差分を導出することを特徴とする請求項４から１１のいずれか１項に記載の処理装置。
  15. 　前記処理部は、組合せとして、差分に、２つの入力の少なくとも１つを合併することを特徴とする請求項１４に記載の処理装置。
  16. 　検査対象となる検査画像を入力するステップと、
    　参照されるべき参照画像を入力するステップと、
    　入力した検査画像と、入力した参照画像とに対してニューラルネットワークの処理を実行するステップと、
    　処理結果として、検査画像に含まれる不良項目の情報を出力するステップと、
    　を備えることを特徴とする処理方法。
PCT/JP2019/013194 2018-04-04 2019-03-27 画像処理装置および画像処理方法 WO2019194044A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19782200.0A EP3779873A4 (en) 2018-04-04 2019-03-27 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP2020511717A JP6876940B2 (ja) 2018-04-04 2019-03-27 画像処理装置および画像処理方法
US16/979,545 US11436717B2 (en) 2018-04-04 2019-03-27 Image processing device and image processing method
CN201980023037.7A CN111937033A (zh) 2018-04-04 2019-03-27 图像处理装置和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-072512 2018-04-04
JP2018072512 2018-04-04

Publications (1)

Publication Number Publication Date
WO2019194044A1 true WO2019194044A1 (ja) 2019-10-10

Family

ID=68100674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013194 WO2019194044A1 (ja) 2018-04-04 2019-03-27 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US11436717B2 (ja)
EP (1) EP3779873A4 (ja)
JP (2) JP6876940B2 (ja)
CN (1) CN111937033A (ja)
WO (1) WO2019194044A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022074877A1 (ja) * 2020-10-08 2022-04-14 パナソニックＩｐマネジメント株式会社 処理方法およびそれを利用した処理装置
KR102610783B1 (ko) * 2022-11-03 2023-12-07 시냅스이미징(주) Cad 영상을 활용한 전처리가 구현된 딥러닝 검사시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3572972A1 (en) * 2018-05-23 2019-11-27 IDEMIA Identity & Security Germany AG Extendend convolutional neural network for document analysis
KR20210157000A (ko) * 2020-06-19 2021-12-28 현대자동차주식회사 차량 하부 검사 시스템 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191112A (ja) * 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
JP2004354250A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP2017107541A (ja) 2015-12-01 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび検査システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333650B2 (en) 2003-05-29 2008-02-19 Nidek Co., Ltd. Defect inspection apparatus
JP4790523B2 (ja) * 2005-09-14 2011-10-12 株式会社リコー 画像処理装置およびプログラム
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network
US10359371B2 (en) * 2015-08-24 2019-07-23 Kla-Tencor Corp. Determining one or more characteristics of a pattern of interest on a specimen
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
US10944767B2 (en) * 2018-02-01 2021-03-09 International Business Machines Corporation Identifying artificial artifacts in input data to detect adversarial attacks
CN108460787B (zh) * 2018-03-06 2020-11-27 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
CN108259997B (zh) * 2018-04-02 2019-08-23 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
JP6981940B2 (ja) * 2018-08-29 2021-12-17 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
KR102131505B1 (ko) * 2018-08-29 2020-07-07 한국과학기술원 뉴럴 네트워크를 이용한 에코평면 영상 고스트 아티팩트 제거 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191112A (ja) * 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
JP2004354250A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP2017107541A (ja) 2015-12-01 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび検査システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3779873A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022074877A1 (ja) * 2020-10-08 2022-04-14 パナソニックＩｐマネジメント株式会社 処理方法およびそれを利用した処理装置
JP7462168B2 (ja) 2020-10-08 2024-04-05 パナソニックＩｐマネジメント株式会社 処理方法およびそれを利用した処理装置
KR102610783B1 (ko) * 2022-11-03 2023-12-07 시냅스이미징(주) Cad 영상을 활용한 전처리가 구현된 딥러닝 검사시스템

Also Published As

Publication number Publication date
JP7241292B2 (ja) 2023-03-17
CN111937033A (zh) 2020-11-13
US20200410657A1 (en) 2020-12-31
US11436717B2 (en) 2022-09-06
JP6876940B2 (ja) 2021-05-26
EP3779873A4 (en) 2021-06-02
EP3779873A1 (en) 2021-02-17
JPWO2019194044A1 (ja) 2020-12-17
JP2021119474A (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
WO2019194044A1 (ja) 画像処理装置および画像処理方法
US11315235B2 (en) Processing method for performing process on image and processing device using the processing method
CN109829914B (zh) 检测产品缺陷的方法和装置
JP2021057042A (ja) 製品の分類システムおよび製品の分類方法
US11250199B1 (en) Methods and systems for generating shape data for electronic designs
US7032208B2 (en) Defect inspection apparatus
US20160247041A2 (en) Fault-Aware Matched Filter and Optical Flow
US11144702B2 (en) Methods and systems for wafer image generation
CN115713480A (zh) 一种集成电路金属封装深度学习缺陷检测方法
KR101022187B1 (ko) 기판 검사 장치
JPS61212708A (ja) 多層パターン欠陥検出方法及びその装置
JP6803578B2 (ja) 処理方法およびそれを利用した処理装置
WO2022074878A1 (ja) 処理方法およびそれを利用した処理装置
CN114148103B (zh) 一种基于神经网络学习的焊膏印刷标记识别方法及系统
WO2023204240A1 (ja) 処理方法およびそれを利用した処理装置
US11830232B2 (en) Image judgment apparatus and image judgment method
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
JP2019144870A (ja) 対象検査のためのシステム及び方法
WO2021033372A1 (ja) 処理方法およびそれを利用した処理装置
JP7462168B2 (ja) 処理方法およびそれを利用した処理装置
WO2023238384A1 (ja) 試料観察装置および方法
JP7291914B2 (ja) 処理方法およびそれを利用した処理装置
JP2001307070A (ja) 良品パターン登録方法
Sidorchuk et al. Difference Image-Based Training Sets for Automatic Defect Classification at Outgoing Inspection
JP2007006133A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19782200

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020511717

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019782200

Country of ref document: EP

Effective date: 20201104