WO2019146538A1 - 画像処理装置、画像処理方法及び記録媒体 - Google Patents

画像処理装置、画像処理方法及び記録媒体 Download PDF

Info

Publication number
WO2019146538A1
WO2019146538A1 PCT/JP2019/001616 JP2019001616W WO2019146538A1 WO 2019146538 A1 WO2019146538 A1 WO 2019146538A1 JP 2019001616 W JP2019001616 W JP 2019001616W WO 2019146538 A1 WO2019146538 A1 WO 2019146538A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inspection
difference
unit
estimated
Prior art date
Application number
PCT/JP2019/001616
Other languages
English (en)
French (fr)
Inventor
慎一郎 吉田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019567053A priority Critical patent/JP6874864B2/ja
Priority to EP19744330.2A priority patent/EP3748575B1/en
Priority to CN201980010597.9A priority patent/CN111656398A/zh
Priority to US16/965,081 priority patent/US11386538B2/en
Publication of WO2019146538A1 publication Critical patent/WO2019146538A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a recording medium.
  • Patent Document 1 describes an image component separation device that separates an abnormal component in an input medical image.
  • the image component separation device described in Patent Document 1 generates a normal image representing a normal structure of the structure in the subject from an input medical image representing a predetermined structure in the subject. Then, the difference between the input medical image and the normal image is obtained to separate the abnormal component in the input medical image.
  • Patent No. 4895204 gazette
  • a normal image is generated from the entire input medical image representing a predetermined structure in the subject.
  • the generated normal image can be influenced by the entire input medical image, and therefore the separation of the abnormal component can be greatly influenced by the individual difference of the input medical image. .
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and a recording medium capable of discriminating an abnormality while reducing the influence of individual differences of images in view of the above-mentioned problems.
  • a first generation unit that generates a first estimated image including at least a predetermined area of the inspection target using a part of the inspection image including the inspection target;
  • a second generation unit configured to generate a second estimated image by estimating a difference between the first estimated image and the inspection image using the part of the image; the first estimated image; and the inspection
  • a comparison unit that compares an image with an image, and an output unit that outputs a comparison result by the comparison unit, the comparison unit determines the difference between the first estimated image and the inspection image as the second estimation.
  • An image processing apparatus is provided for comparing an image.
  • a second generation step of generating a second estimated image by estimating the difference between the first estimated image and the inspection image using the part of the inspection image, and the first estimation A comparison step of comparing the image with the inspection image, and an output step of outputting the comparison result of the comparison step, the comparison step determining a difference between the first estimated image and the inspection image
  • a first generation unit for generating a second image including at least a predetermined area of the object using a part of the first image including the object;
  • a second generation unit configured to generate a third image by estimating the difference between the second image and the first image using the part of one image; and the second image
  • a comparison unit that compares the first image, and an output unit that outputs a comparison result by the comparison unit, the comparison unit determining a difference between the second image and the first image
  • an abnormality can be determined with high accuracy while reducing the influence of individual differences of images.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flow chart showing the patch extraction step in the operation of the image processing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram (part 1) illustrating the patch extraction step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 5 is a schematic diagram (part 2) illustrating the patch extraction step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 6 is a schematic diagram (part 3) illustrating the patch extraction step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of an image processing apparatus according to
  • FIG. 7 is a flowchart showing normal image learning steps in the operation of the image processing apparatus according to an embodiment of the present invention.
  • FIG. 8 is a schematic diagram (part 1) for explaining a normal image learning step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 9 is a schematic diagram (part 2) for explaining a normal image learning step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 10 is a flowchart showing a normal image generating step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 11 is a schematic diagram for explaining a normal image generating step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 8 is a schematic diagram (part 1) for explaining a normal image learning step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 9 is a schematic diagram (part 2) for explaining a normal image learning step in the operation of the image processing apparatus according to the embodiment of the present invention
  • FIG. 12 is a flowchart showing differential image learning steps in the operation of the image processing apparatus according to an embodiment of the present invention.
  • FIG. 13 is a schematic view illustrating a difference image learning step in the operation of the image processing apparatus according to an embodiment of the present invention.
  • FIG. 14 is a flowchart showing the defective product detection step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 15 is a schematic diagram (part 1) for explaining a defective product detection step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 16 is a schematic diagram (part 2) illustrating the defective product detection step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 17 is a schematic view for explaining the case where the threshold value is fixed in the defective product detection step in the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 18 is a schematic diagram (part 1) for explaining the relationship between the threshold value and the range of possible values of the pixel value of the normal image in the defective product detection step in the operation of the image processing apparatus according to an embodiment of the present invention.
  • FIG. 19 is a schematic diagram (part 2) illustrating the relationship between the threshold value and the range of possible values of the pixel value of the normal image in the defective product detection step in the operation of the image processing apparatus according to an embodiment of the present invention.
  • FIG. 20 is a block diagram showing a functional configuration of an image processing apparatus according to a modification of the embodiment of the present invention.
  • FIG. 21 is a block diagram showing a functional configuration of an image processing apparatus according to another embodiment of the present invention.
  • FIG. 22 is a block diagram showing a functional configuration of an image processing apparatus according to still another embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to the present embodiment.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the image processing apparatus according to the present embodiment.
  • the image processing apparatus processes an inspection image including the inspection target product to be inspected to determine whether the inspection target product is a normal product or a defective product, and the defective product is determined as an abnormality.
  • the case of performing an inspection for detecting However, the image processing apparatus according to the present embodiment can be widely used not only when performing an inspection for detecting a defective product, but also when detecting an abnormality of an object.
  • the image processing apparatus 100 includes a learning data storage unit 10, a patch cutout unit 12, and a patch processed data storage unit 14.
  • the image processing apparatus 100 further includes a normal image learning unit 16 and a normal image learning model storage unit 18.
  • the image processing apparatus 100 further includes an inspection data storage unit 20, a normal image generation unit 22, and a generation normal data storage unit 24.
  • the image processing apparatus 100 includes the difference calculation unit 26, the difference image learning unit 28, the difference image learning model storage unit 30, the difference image generation unit 32, the threshold setting unit 34, and the defective item detection. And a unit 36.
  • the learning data storage unit 10 stores a learning image used for learning by the normal image learning unit 16.
  • the learning image is an image including a normal item to be inspected, that is, an image representing a normal state of the item to be inspected.
  • the patch cutout unit 12 reads the data of the learning image from the learning data storage unit 10, and performs a patch cutout step on the learning image. That is, the patch cutout unit 12 cuts out an image of a patch size as a patch image from the learning image. Also, the patch cutout unit 12 cuts out the image of the central part of the patch image as a central image. The central image includes at least a predetermined area of the inspection object. The patch cutout unit 12 associates and outputs a pair of a center-removed patch image, which is a patch image from which a central image is cut out, and the central image as an image pair. The patch cutout unit 12 stores the image pair output for the learning image in the patch processed data storage unit 14.
  • the patch cutout unit 12 reads the data of the inspection image from the inspection data storage unit 20, and performs patch cutout processing on the inspection image as in the case of the learning image. As in the case of the learning image, the patch cutout unit 12 associates and outputs a pair of a decentered patch image and the central image of an inspection image as an image pair. The patch cutout unit 12 stores the image pair output for the inspection image in the patch processed data storage unit 14.
  • the patch processed data storage unit 14 stores an image pair of the learning image output by the patch cutout unit 12. Further, the patch processed data storage unit 14 stores an image pair of the inspection image output by the patch cutout unit 12.
  • the normal image learning unit 16 reads an image pair for the learning image from the patch processed data storage unit 14 and creates a learning model using the read image pair.
  • the normal image learning unit 16 carries out learning with the center-removed patch image as learning data and the center image as teacher data, among the image pairs for the learning image. Thereby, the normal image learning unit 16 creates a normal image learning model, which is a learning model for restoring the center image from the patch image after the center removal.
  • the normal image learning unit 16 stores the created normal image learning model in the normal image learning model storage unit 18.
  • the normal image learning model storage unit 18 stores the learned normal image learning model created as a result of the learning by the normal image learning unit 16.
  • the inspection data storage unit 20 stores the inspection image.
  • the inspection image is an image including an inspection object which is an inspection object.
  • the product to be inspected is not particularly limited.
  • the image processing apparatus according to the present embodiment can set, for example, any object such as a finished product or a part as an inspection target product.
  • the normal image generation unit 22 functions as a first generation unit, and infers a central image which is an image of the central portion from a patch image of the central portion removed from the image pair of the learning image or the inspection image.
  • An estimated image estimated from the patch image is generated as a normal image.
  • the normal image includes at least a predetermined area of the inspection object included in the learning image or the inspection image.
  • the normal image generation unit 22 reads, from the patch processed data storage unit 14, a decentered patch image of an image pair of a learning image or an inspection image.
  • the normal image generation unit 22 estimates a central image of the decentered patch image from the read decentralized patch image and generates a normal image.
  • the normal image generation unit 22 reads a learned normal image learning model from the normal image learning model storage unit 18 when generating a normal image which is an estimated image.
  • the normal image generation unit 22 uses the read normal image learning model to infer the central image from the decentered patch image that is a part of the patch image in the learning image or the inspection image, and normalizes the inferred image. Generate as an image.
  • the normal image generation unit 22 stores the generated normal image in the generation normal data storage unit 24.
  • the normal image generation unit 22 estimates and generates a normal image of the learning image or the inspection image using the decentered patch image that is a part of the patch image.
  • the normal image generated for the learning image is used for threshold setting described later.
  • the normal image generated for the inspection image is used for defect detection described later.
  • the generation normal data storage unit 24 stores the normal image generated by the normal image generation unit 22.
  • the difference calculating unit 26 calculates a difference between the normal image generated by the normal image generating unit 22 from the center-removed patch image of the image pair of the learning image and the center image forming the image pair with the center-removed patch image. Calculate Thereby, the difference calculation unit 26 generates, for the learning image, a difference image in which the absolute value of the difference between the pixel values of the central image and the normal image for each pixel is a pixel value.
  • the difference calculation method of the difference calculation unit 26 is the same as the difference calculation method of the defective product detection unit 36 described later.
  • the difference image learning unit 28 creates a learning model using the difference image generated by the difference calculation unit 26 and the decentered patch image used for the estimation of the normal image for which the difference image is generated.
  • the difference image learning unit 28 carries out learning with the center-removed patch image as learning data and the difference image as teacher data. Thereby, the difference image learning unit 28 creates a difference image learning model that is a learning model that restores the difference image from the decentered patch image.
  • the difference image learning unit 28 stores the generated difference image learning model in the difference image learning model storage unit 30.
  • the difference image learning model storage unit 30 stores the learned difference image learning model created as a result of learning by the difference image learning unit 28.
  • the difference image generation unit 32 functions as a second generation unit, and generates a difference image by inferring the difference image from the decentered patch image in the image pair of the inspection image.
  • the difference image generation unit 32 reads, from the patch processed data storage unit 14, the decentered patch image of the image pair of the inspection image.
  • the difference image generation unit 32 estimates and generates a difference image from the read center-removed patch image.
  • the difference image generation unit 32 reads the learned difference image learning model from the difference image learning model storage unit 30 when generating the difference image which is the estimated image.
  • the difference image generation unit 32 estimates and generates a difference image from the decentered patch image which is a part of the patch image in the inspection image, using the read difference image learning model.
  • the threshold setting unit 34 sets a threshold used for defect detection in the defective product detection unit 36 based on the difference image generated by the difference image generation unit 32.
  • the threshold setting unit 34 can set, for example, each pixel value of the difference image as a threshold for each pixel. Further, the threshold setting unit 34 can set, for example, each pixel value of the difference image multiplied by a constant multiplication factor to provide a margin as a threshold for each pixel.
  • the defective product detection unit 36 functions as a comparison unit, compares the center image of the image pair of the inspection image with the normal image generated from the patch image after the removal of the center, and is set by the threshold setting unit 34. Detect a failure based on the threshold. Furthermore, the defective product detection unit 36 functions as an output unit, and outputs the detection result of the failure. Further, the defective product detection unit 36 functions as a determination unit, and determines whether the inspection target product included in the inspection image is a normal product or a defective product based on the detection result.
  • the defective product detection unit 36 reads the central image of the image pair of the inspection image from the patch processed data storage unit 14.
  • the defective product detection unit 36 also reads a normal image generated from the center-removed patch image of the image pair from the generation normal data storage unit 24.
  • the defective product detection unit 36 calculates the difference between the read central image and the normal image. As a result, the defective product detection unit 36 generates, for the inspection image, a difference image in which the absolute value of the pixel value difference between the center image and the normal image for each pixel is a pixel value.
  • the defective product detection unit 36 compares the difference image generated for the inspection image with the difference image generated by the difference image generation unit 32. More specifically, the defective product detection unit 36 compares the pixel value of the difference image generated for the inspection image with the threshold value set by the threshold setting unit 34 for each pixel, and the inspection image corresponds to the central image. Detect bad pixels. The defective product detection unit 36 determines the quality of the inspection target product whether the inspection target product included in the inspection image is a normal product or a defective product based on the detected defective pixel, and determines a defective product that is abnormal. Determine and detect.
  • the defective product detection unit 36 outputs the detection result of the defective product.
  • the output method of the detection result is not particularly limited, and various methods can be used.
  • the defective product detection unit 36 can display the detection result on the display device, output the detection result as voice from the voice output device, or store the detection result in a database stored in the storage device.
  • the image processing apparatus 100 described above is configured by, for example, a computer apparatus.
  • An example of the hardware configuration of the image processing apparatus 100 will be described with reference to FIG.
  • the image processing apparatus 100 may be configured by a single device, or may be configured by two or more physically separated devices connected by wire or wirelessly.
  • the image processing apparatus 100 includes a central processing unit (CPU) 1002, a read only memory (ROM) 1004, a random access memory (RAM) 1006, and a hard disk drive (HDD) 1008. ing.
  • the image processing apparatus 100 further includes an output device 1010 and an input device 1012.
  • the CPU 1002, the ROM 1004, the RAM 1006, the HDD 1008, the output device 1010, and the input device 1012 are connected to a common bus line 1014.
  • the CPU 1002 controls the overall operation of the image processing apparatus 100.
  • the CPU 1002 further includes the patch cutout unit 12, the normal image learning unit 16, the normal image generation unit 22, the difference calculation unit 26, the difference image learning unit 28, the difference image generation unit 32, the threshold setting unit 34, and the defective product detection unit Execute a program that realizes the functions of 36 parts.
  • the CPU 1002 loads the program stored in the HDD 1008 or the like into the RAM 1006 and executes the program to realize the functions of the patch cutout unit 12, the normal image learning unit 16, and the normal image generation unit 22.
  • the CPU 1002 loads the program stored in the HDD 1008 or the like into the RAM 1006 and executes the program to execute the difference calculation unit 26, the difference image learning unit 28, the difference image generation unit 32, the threshold setting unit 34, and the defective item detection unit 36. Implement the functions of each part of.
  • the patch cutout unit 12, the normal image learning unit 16, the normal image generation unit 22, the difference calculation unit 26, the difference image learning unit 28, the difference image generation unit 32, the threshold setting unit 34, and the defective item detection unit 36 are each electrically It may be realized by a circuit configuration (circuitry).
  • the term "electrical circuitry” is a term that conceptually includes a single device, a plurality of devices, a chipset, or a cloud.
  • the ROM 1004 stores programs such as a boot program.
  • the RAM 1006 is used as a working area when the CPU 1002 executes a program.
  • the HDD 1008 also stores a program to be executed by the CPU 1002.
  • the HDD 1008 implements the functions of the learning data storage unit 10, patch processed data storage unit 14, normal image learning model storage unit 18, generated normal data storage unit 24, and difference image learning model storage unit 30 described above. It is a storage device.
  • the storage device for realizing the functions of the learning data storage unit 10, patch processed data storage unit 14, normal image learning model storage unit 18, generated normal data storage unit 24, and difference image learning model storage unit 30 is HDD 1008. It is not limited to Various storage devices can be used to implement the functions of these units.
  • the output device 1010 is a device to which the detection result of the defective product detection unit 36 is output, and is, for example, a display device or an audio output device.
  • the input device 1012 is, for example, a keyboard, a mouse or the like. Further, the input device 1012 may be a touch panel incorporated in a display device which is the output device 1010. The operator of the image processing apparatus 100 can set the image processing apparatus 100 or input an instruction to execute processing via the input device 1012.
  • the hardware configuration of the image processing apparatus 100 is not limited to the above-described configuration, and can be various configurations.
  • the image processing apparatus 100 according to the present embodiment executes an image processing method by operating.
  • the operation of the image processing apparatus 100 includes a patch extraction step (see FIG. 3), a normal image learning step (see FIG. 7), and a normal image generation step (see FIG. 10). Also, the operation of the image processing apparatus 100 includes a difference image learning step (see FIG. 12) and a defective product detection step (see FIG. 14).
  • the patch extraction step is performed by the patch extraction unit 12.
  • the normal image learning step is performed by the normal image learning unit 16.
  • the normal image generation step is performed by the normal image generation unit 22.
  • the difference image learning step is performed by the difference image learning unit 28.
  • the defective product detection step is performed by the defective product detection unit 36.
  • FIG. 3 is a flowchart showing the patch extraction step in the operation of the image processing apparatus 100 according to the present embodiment.
  • FIG. 4 to FIG. 6 are schematic diagrams for explaining the patch cutout step in the operation of the image processing apparatus 100 according to the present embodiment.
  • the patch cutout step performed by the patch cutout unit 12 cuts out a patch image from an image, removes an image at the center of the patch image, and the like.
  • the patch extraction step is performed on each of the learning image and the examination image.
  • step S101 the patch cutout unit 12 reads data of an image to be subjected to the patch cutout step.
  • the patch cutout unit 12 reads the learning image from the learning data storage unit 10.
  • the patch cutout unit 12 reads the image data from the inspection data storage unit 20.
  • step S102 the patch cutout unit 12 performs patch cutout processing on the image read in step S101.
  • the inspection object T is included in the image IM read in step S101.
  • the image IM is a learning image or an examination image.
  • the inspection target item T included in the image IM is a normal item.
  • the image IM is an inspection image, it is to be determined whether the inspection target item T included in the image IM is a normal product or a defective product.
  • the patch cutout unit 12 cuts out a rectangular image of a preset patch size as a patch image IMp from, for example, the upper left of the image IM from the read image IM.
  • the patch size for cutting out the patch image IMp can be appropriately set in the size range smaller than the image IM in accordance with the accuracy or the like required for the inspection.
  • the patch cutout unit 12 cuts out and removes a rectangular image of a preset size from the central portion of the cut-out patch image IMp.
  • the patch cutout unit 12 creates a decentered patch image IMr that is a frame-shaped patch image IMp from which the image of the central portion has been removed, and a central image IMc that is an image extracted from the central portion of the patch image IMp.
  • create The patch image IMp before the patch extraction processing includes the center-removed patch image IMr, which is the first area, and the center image IMc, which is the second area, and can be considered to be composed of both images. Note that the size of cutting out the central image IMc can be set as appropriate in accordance with the accuracy required for the inspection, etc., in a range smaller than the patch image IMp.
  • the patch cutout unit 12 cuts out the patch image IMp from the portion moved in the slide direction in the image IM by the preset slide size as described above, and removes the center-removed patch Create an image IMr and a central image IMc.
  • the slide size can be set equal to or less than the width in the slide direction of the patch size from which the patch image IMp is cut out.
  • the patch cutout unit 12 repeats the operations shown in FIGS. 4 to 6 described above until cutout of the patch image IMp is performed for the entire area of the image IM, and the patch image IMr after center removal and the center image IMc of the image IM are performed. Create an image pair that is a pair with.
  • the shapes of the patch image IMp and the central image IMc are not limited to a rectangular shape such as a rectangle.
  • the shapes of the patch image IMp and the center image IMc are, for example, a shape such as a circle, a triangle, etc. that can form a pair of the center-removed patch image IMr and the center image IMc which are surrounding images. I hope there is.
  • the shapes of the patch image IMp and the central image IMc do not have to be identical to each other, and may be different from each other.
  • the image is cut out from the center of the patch image IMp, but if an image of a preset size is cut out from the patch image IMp, the region from which the image is cut out from the patch image IMp is limited to the center It is not a thing. That is, the patch cutout unit 12 may cut out a part of the patch image IMp and create a partial image that is a part of the patch image IMp instead of the central image IMc.
  • the same processing can be performed except that the partial image is used instead of the central image IMc.
  • step S103 the patch cutout unit 12 stores, in the patch processed data storage unit 14, an image pair that is a pair of the center-removed patch image IMr created for the image IM in step S102 and the center image IMc. .
  • the patch cutout unit 12 carries out the patch cutout step for each of the learning image and the inspection image.
  • the patch extraction step for the learning image is performed before the learning step.
  • the patch extraction step for the inspection image may be performed before the learning step or may be performed after the learning step, as long as it is before the normal image generation step.
  • FIG. 7 is a flowchart showing a normal image learning step in the operation of the image processing apparatus 100 according to the present embodiment.
  • FIGS. 8 and 9 are schematic diagrams illustrating normal image learning steps in the operation of the image processing apparatus 100 according to the present embodiment.
  • the normal image learning step performed by the normal image learning unit 16 is performed after the patch cutout step for the learning image.
  • the normal image learning step performs supervised machine learning using data of the learning image for which the patch extraction step has been performed to create a learning model.
  • the normal image learning unit 16 reads learning data to be used for supervised machine learning from the patch processed data storage unit 14.
  • the learning data read by the normal image learning unit 16 is data of an image pair which is a pair of the decentered patch image created for the learning image and the central image.
  • step S202 the normal image learning unit 16 carries out a learning process of performing learning with the decentered patch image as learning data and the center image as teaching data among the image pairs of the learning data read in step S201.
  • the normal image learning unit 16 learns a learning model using the decentered patch image and the central image created for the learning image that is an image representing the normal state of the inspection target product.
  • the normal image learning unit 16 is a learning model that generates an estimated image in which the central image IMc as teaching data is restored from the patch image IMr after decentering of learning data to infer the central image IMc.
  • Create a normal image learning model Mn the normal image learning unit 16 can use, for example, a method capable of reproducing an input like an auto encoder as a method of creating a normal image learning model Mn.
  • the normal image learning unit 16 can perform machine learning using deep learning, for example, as a learning method. As shown in FIG.
  • the normal image learning unit 16 uses a plurality of image pairs of the decentered patch image IMr and the central image IMc created from the clipped patch image IMp for the image IM which is a learning image.
  • the learning for creating the normal image learning model Mn is performed.
  • a normal image learning model Mn learned using the decentered patch image IMr and the central image IMc created for the learning image representing the normal state of the inspection object is created.
  • step S203 the normal image learning unit 16 stores the learned normal image learning model created in step S202 in the normal image learning model storage unit 18.
  • the normal image learning unit 16 creates a normal image learning model that restores a central image, which is another part of the patch image, from the decentered patch image, which is a part of the patch image.
  • the normal image learning unit 16 can perform a learning step in advance before the normal image generating step described below, create a normal image learning model, and store the normal image learning model in the normal image learning model storage unit 18.
  • FIG. 10 is a flowchart showing a normal image generating step in the operation of the image processing apparatus 100 according to the present embodiment.
  • FIG. 11 is a schematic diagram for explaining a normal image generating step in the operation of the image processing apparatus 100 according to the present embodiment.
  • the normal image generation step performed by the normal image generation unit 22 is an estimated image in which the central image of the learning image or the inspection image is inferred by using the learning model and the patch image after the center removal of the learning image or the inspection image. Generate an image.
  • the normal image generated for the learning image is used for threshold setting.
  • the normal image generated for the inspection image is used for defect detection.
  • the normal image generation unit 22 reads target data for generating a normal image from the patch processed data storage unit 14.
  • the target data read by the normal image generation unit 22 is the data of the center removed patch image created in the patch extraction step from the data of the learning image of the learning data storage unit 10 or the data of the inspection image of the inspection data storage unit 20. is there.
  • the normal image generation unit 22 sets an image of the center-removed patch image as an image to be input to the learning model among the image pairs generated for the learning image or the inspection image by the patch cutout unit 12.
  • step S302 the normal image generation unit 22 reads a learned learning model from the normal image learning model storage unit 18. Either step S301 or step S302 may be performed first, or may be performed simultaneously.
  • step S303 the normal image generation unit 22 generates a normal image using the learning model read in step S302, using the decentered patch image read in step S301.
  • the normal image generation unit 22 generates, as a normal image, a central image in a case where the inspection target product is a normal product from the learning image or the inspection image with the central image removed from the learning image or inspection image read in step S301. Do.
  • FIG. 11 shows an image of generation of a normal image of the inspection image by the normal image generation unit 22 in step S303.
  • the normal image generation unit 22 inputs, to the normal image learning model Mn, the decentered patch image IMr created from the cut patch image IMp for the image IM which is an inspection image.
  • the normal image generation unit 22 generates, as an output of the normal image learning model Mn with respect to the input of the center-removed patch image IMr, a normal image IMn which is an image obtained by estimating the central image IMc when the inspection object is a normal product.
  • defects D such as scratches may occur in the inspection target product T included in the image IM which is an inspection image.
  • a normal image can be generated as in the case of the examination image shown in FIG.
  • step S304 the normal image generation unit 22 stores the normal image created in step S303 in the generation normal data storage unit 24.
  • the normal image generation unit 22 generates a normal image using the learning model for each of the plurality of decentered patch images created from the learning image or the inspection image.
  • a method of preparing a normal product template without using machine learning and detecting the defective product based on the difference between the template and the inspection image can be considered.
  • the detection of a defective product may be affected by the individual difference of the inspection object, that is, the individual difference of the inspection image.
  • a normal image is estimated and generated from the decentered patch image in the inspection image, and a defective product is detected based on the estimated normal image.
  • highly robust detection of a defective product can be realized.
  • the threshold value for defect detection is set as described later, even if there is a variation in the image of the normal product, the defective product can be detected with high accuracy.
  • FIG. 12 is a flowchart showing a difference image learning step in the operation of the image processing apparatus 100 according to the present embodiment.
  • FIG. 13 is a schematic diagram for explaining the difference image learning step in the operation of the image processing apparatus 100 according to the present embodiment.
  • the difference image learning step performed by the difference image learning unit 28 is performed after the normal image generation step for the learning image.
  • the difference image learning step performs supervised machine learning using the data of the learning image for which the patch extraction step has been performed and the data of the difference image generated by the difference calculation unit 26 to create a learning model.
  • step S401 the difference calculation unit 26 generates a difference image used for machine learning in the difference image learning unit.
  • the difference calculation unit 26 In the generation of the difference image, the difference calculation unit 26 generates a normal image generated by the normal image generation unit 22 from the decentered patch image of the image pairs of the learning image, the decentered patch image, and the image pair. Calculate the difference with the central image. Thereby, the difference calculation unit 26 generates, for the learning image, a difference image in which the absolute value of the difference between the pixel values of the central image and the normal image for each pixel is a pixel value.
  • step S402 the difference image learning unit 28 performs learning processing in which the decentered patch image generated for the learning image is used as learning data and the difference image generated in step S401 is used as training data.
  • the difference image learning unit 28 reads from the patch processed data storage unit 14 the decentered patch image to be used as learning data.
  • the difference image learning unit 28 learns a learning model using the decentered patch image and the difference image created for the learning image.
  • FIG. 13 shows an image of learning by the difference image learning unit 28 in step S402.
  • the difference image learning unit 28 generates a guess image by restoring the difference image IMd to be teaching data from the patch image IMr after decentering of the training data to guess the difference image IMd.
  • a difference image learning model Md is created.
  • the difference image learning unit 28 can use, as a method of creating the difference image learning model Md, a method capable of reproducing an input like an auto encoder.
  • the difference image learning unit 28 can perform machine learning using deep learning, for example, as a learning method.
  • the difference image learning unit 28 generates a difference image learning model Md using a plurality of image pairs of the decentered patch image IMr and the difference image IMd created from the extracted patch image IMp for the image IM that is a learning image. Do learning to do. Thus, a difference image learning model Md learned using the decentered patch image IMr and the difference image IMd created for the learning image is created.
  • step S403 the difference image learning unit 28 stores the learned difference image learning model created in step S402 in the difference image learning model storage unit 30.
  • FIG. 14 is a flowchart showing the defective product detection step in the operation of the image processing apparatus according to the present embodiment.
  • FIG. 15 and FIG. 16 are schematic diagrams for explaining defective product detection steps in the operation of the image processing apparatus 100 according to the present embodiment.
  • the defective product detection step performed by the defective product detection unit 36 is generated from the central image of the image pair of the decentered patch image and the central image created for the inspection image and the decentralized patch image Calculate the difference from the normal image. Furthermore, in the defective product detection step, defective products that are abnormal are determined and detected based on the calculated difference.
  • step S501 the defective product detection unit 36 generates a center-removed patch image and a central image created for the inspection image from the patch-processed data storage unit 14 as one of the target data. Load the data of the center image of the image pair of. Further, in step S501, the defective product detection unit 36 generates a normal image generated by the learning model from the decentered patch image forming an image pair with the read central image from the generated normal data storage unit 24 as the other of the target data. Read the data of The normal image is a central image inferred from the decentered patch image.
  • step S502 the defective product detection unit 36 calculates the difference between the two types of center images read in step S501, that is, the difference between the center image and the normal image. As a result, the defective product detection unit 36 generates, for the inspection image, a difference image in which the absolute value of the pixel value difference between the center image and the normal image for each pixel is a pixel value.
  • the defective product detection unit 36 and the above-mentioned difference calculation unit 26 calculate the difference between the two types of center images.
  • conversion to another type of image or an image of another color space and filtering are performed.
  • It can also be used to calculate differences.
  • it can be used to calculate the difference after converting it into another type of image such as a gray scale image or a binarized image or converting it into an image of another color space such as HSV or YCbCr.
  • it can be used for the difference calculation after performing filter processing using an edge extraction filter such as an averaging filter, a median filter or the like, a Sobel filter, or a Laplacian filter.
  • step S503 the difference image generation unit 32 generates a difference image by estimating it from the decentered patch image created for the inspection image.
  • the difference image generation unit 32 estimates a difference image using the difference image learning model learned in the difference image learning step.
  • the threshold setting unit 34 sets a threshold used for defect detection in the defective product detection unit 36 based on the difference image generated by the difference image generation unit 32 in step S503. For example, the threshold setting unit 34 sets each pixel value of the difference image as a threshold value for each pixel, or sets each pixel value of the difference image multiplied by a constant multiplication factor as a threshold value for each pixel. Thus, in the present embodiment, the threshold setting unit 34 automatically sets the threshold for defect detection.
  • step S505 the defective product detection unit 36 determines, for each pixel, whether the difference calculated in step S502 exceeds the threshold set in step S504.
  • the defective product detection unit 36 determines that the difference does not exceed the threshold (NO in step S505), it determines that the pixel is a normal pixel without abnormality (step S507). On the other hand, when the defective product detection unit 36 determines that the difference exceeds the threshold (YES in step S505), it determines that the pixel is an abnormal defective pixel (step S506). Thus, the defective product detection unit 36 detects defective pixels in the central image created from the inspection image.
  • the defective product detection unit 36 determines whether the central image created from the inspection image is normal or defective based on the defective pixels thus detected. For example, the defective product detection unit 36 can determine whether the central image is normal or defective based on the total number of defective pixels, the area of a region in which defective pixels continue, or the number of regions including defective pixels. . That is, the defective product detection unit 36 can determine that the central image is defective when the area of the region in which the defective pixels continue or the number of the regions including the defective pixels exceeds a predetermined threshold.
  • FIG. 15 shows an image when it is determined that the central image IMc created from the image IM which is an inspection image is normal.
  • the defective product detection unit 36 calculates the difference between the central image IMc and the normal image IMn, as shown in FIG.
  • the difference image generation unit 32 estimates and generates a difference image IMt, which is an estimated image, from the corresponding decentered patch image IMr using the difference image learning model Md. Furthermore, the threshold setting unit 34 sets a threshold based on the difference image IMt generated by the difference image generation unit 32.
  • the defective product detection unit 36 detects defective pixels by determining, for each pixel, whether the calculated difference between the central image IMc and the normal image IMn exceeds the threshold set by the threshold setting unit 34. As a result of detecting the defective pixels in this manner, for example, the total number of the defective pixels does not exceed the threshold, and thus the central image IMc is determined to be normal. In the case shown in FIG. 15, since the central image IMc does not include the defect D, for example, it is determined that the total number of defective pixels does not exceed the threshold and is normal.
  • FIG. 16 shows an image when it is determined that the central image IMc created from the image IM which is an inspection image is defective.
  • the defective product detection unit 36 detects defective pixels as in the case shown in FIG. 15 as shown in FIG. 16. For example, since the total number of these defective pixels exceeds a threshold, the central image IMc is determined to be defective. Do. In the case shown in FIG. 16, since the central image IMc includes the defect D, for example, the total number of defective pixels exceeds the threshold value, and it is determined to be defective.
  • step S508 the defective product detection unit 36 outputs the determination result as to whether the central image created for the inspection image is normal or defective.
  • the defective product detection unit 36 performs the steps from step S501 to step S508 described above for each of the plurality of central images created for the inspection image.
  • the defective product detection unit 36 detects a defective product based on the determination result output in step S508, and outputs the detection result.
  • the defective product detection unit 36 determines that the inspection target product included in the inspection image is a normal product when the number of central images determined to be defective with respect to the inspection image is zero or less than or equal to a predetermined number. It is determined that On the other hand, when the number of central images determined to be defective with respect to the inspection image exceeds a predetermined number, the defective product detection unit 36 determines that the inspection target product included in the inspection image is a defective product.
  • the defective product detection unit 36 determines the quality of the inspection target product whether the inspection target product included in the inspection image is the normal product or the defective product, detects the defective product, and outputs the detection result. .
  • a normal image is estimated and generated from the center-removed patch image in the inspection image, and a defective product is detected based on the estimated normal image. Therefore, according to the present embodiment, it is possible to realize highly robust detection of defective products.
  • the threshold setting unit 34 sets a threshold used to detect a defective pixel based on the difference image generated by the difference image generation unit 32 using the difference image learning model. As a result, in the present embodiment, even if the image of a normal product includes a fluctuating part that fluctuates for each product, a defective product can be detected with high accuracy.
  • the image of the normal product may include a variable part such as an imprint, a label, etc. which fluctuates for each individual product.
  • the variable part is typically an image part such as, for example, a serial number, a lot number, a stamp indicating a date, etc., a label or the like.
  • whether the difference between the image of the inspection object product and the corresponding normal image generated by the normal image generation unit 22 is the difference due to the variation part as described above, It may be difficult to determine if the difference is due to a defect to be detected.
  • the image IM including the inspection target item T includes, for each inspection target item T, a fluctuation portion that fluctuates as “ABC 123”, “ABC 124”,.
  • the normal image IMn output from the decentered patch image IMr of the patch image IMp including such a variation using the normal image learning model Mn by the normal image generation unit 22 is an average image obtained by averaging the variation. Become. For this reason, if the threshold value is set small, there is a possibility that the fluctuation part of the normal product is erroneously detected as a defect. On the other hand, if the threshold value is set large, there is a risk of missing a defect.
  • the difference serving as the reference of the threshold is output according to the possible range of the pixel value of a certain pixel in the normal image.
  • FIG. 18 and FIG. 19 respectively show the distribution of pixel values of certain pixels in a normal image.
  • the difference image learning model is trained so that the difference serving as the reference of the threshold is small.
  • the difference image learning model is learned to be large.
  • the threshold value for defect detection can be set according to the fluctuation part in the normal image, the defect can be detected with high accuracy. Further, in the present embodiment, such a threshold value can be automatically set by the threshold value setting unit 34, so that it is possible to reduce the time and effort for manually setting the threshold value.
  • the estimated image including at least the predetermined region of the inspection target product is generated as a normal image using a part of the inspection image including the inspection target product. It is possible to discriminate defective products which are abnormal with high accuracy while reducing the influence.
  • the image processing apparatus 100 can also be configured to include a detection result storage unit 38 and a detection result display unit 40, as shown in FIG.
  • FIG. 20 is a block diagram showing a functional configuration of an image processing apparatus according to a modification of the present embodiment.
  • the defective product detection unit 36 stores the detection result of the defective product in the detection result storage unit 38.
  • the defective product detection unit 36 indicates, as a detection result, for example, information indicating whether the product to be inspected is a normal product or a defective product together with an identifier for identifying the inspection image, and a defective part if the product is a defective product. Data and the like of the image can be stored in the detection result storage unit 38. Further, the defective product detection unit 36 can also store the detection result of the defective pixel in the detection result storage unit 38.
  • the detection result storage unit 38 stores the detection result of the defective product or the defective pixel outputted by the defective product detection unit 36.
  • a database for storing the detection results is stored in the detection result storage unit 38.
  • the function of the detection result storage unit 38 is realized by the HDD 1008 in the same manner as the learning data storage unit 10 and the like.
  • the detection result display unit 40 displays the detection result of the defective product or the defective pixel stored in the detection result storage unit 38.
  • the detection result display unit 40 can display an image indicating a defective portion by displaying the defective pixel when displaying the detection result.
  • the detection result display unit 40 is realized by the output device 1010 as a display device.
  • the normal image learning unit 16 restores the central image IMc of the central region constituting the patch image IMp from the patch image IMr after removal of the center of the frame region constituting the patch image IMp. Learn and create a learning model. However, it is not limited to this. For example, the normal image learning unit 16 learns and creates a learning model that generates an inferred image in which the patch image IMp is inferred from the center-removed patch image IMr by recovering the entire patch image IMp including the center image IMc. It can also be done.
  • the normal image generation unit 22 can generate an estimated image in which the entire patch image IMp in the case of a normal product is inferred as a normal image using such a learning model.
  • the defective product detection unit 36 can detect a defective product by comparing the entire patch image IMp of the inspection image with the estimated image obtained by estimating the entire patch image IMp.
  • FIG. 21 is a block diagram showing a functional configuration of an image processing apparatus according to another embodiment.
  • the image processing apparatus 2000 generates a first generation unit 2002 that generates a first inferred image including at least a predetermined region of the inspection target using a part of the inspection image including the inspection target. Have.
  • the image processing apparatus 2000 further includes a second generation unit 2004 configured to generate a second estimated image by estimating the difference between the first estimated image and the inspection image using a part of the inspection image.
  • the image processing apparatus 2000 further includes a comparison unit 2006 that compares the first estimated image with the inspection image, and an output unit 2008 that outputs the comparison result of the comparison unit 2006.
  • the comparison unit 2006 compares the difference between the first estimated image and the inspection image with the second estimated image.
  • a part of the inspection image including the inspection target is used to generate an estimated image including at least a predetermined region of the inspection target, thereby reducing the influence of individual differences of the images. Therefore, the abnormality can be determined with high accuracy.
  • FIG. 22 is a block diagram showing a functional configuration of an image processing apparatus according to still another embodiment.
  • an image processing apparatus 3000 uses a portion of a first image including an object to generate a second image including at least a predetermined region of the object.
  • the generation unit 3002 of The image processing apparatus 3000 further includes a second generation unit 3004 that generates a third image by estimating a difference between the second image and the first image using a part of the first image. ing.
  • the image processing apparatus 3000 further includes a comparison unit 3006 that compares the second image with the first image, and an output unit 3008 that outputs the comparison result by the comparison unit 3006.
  • the comparison unit 3006 compares the difference between the second image and the first image with the third image.
  • a part of the first image including the object is used to generate a second image including at least a predetermined area of the object. Abnormalities can be determined with high accuracy while reducing the influence.
  • the present invention can be widely applied to the case of detecting an abnormal state of an object, that is, a state other than the normal state, by determining whether an object is normal or abnormal.
  • the present invention can also be applied, for example, in the case where damage to an object such as a building is detected as abnormal, or in the case where an abnormal object is detected.
  • a program for operating the configuration of the embodiment to realize the functions of the above-described embodiments is recorded on a recording medium, a program recorded on the recording medium is read as a code, and a processing method is also executed by a computer. It is included in the category of each embodiment. That is, a computer readable recording medium is also included in the scope of each embodiment. Moreover, the computer program itself is included in each embodiment as well as the recording medium in which the computer program described above is recorded.
  • the recording medium for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM (Compact Disc-Read Only Memory), a magnetic tape, a non-volatile memory card, and a ROM can be used.
  • the program is not limited to one in which processing is executed by a single program recorded in the recording medium, but is executed on OS (Operating System) in cooperation with other software and expansion board functions. Are also included in the category of each embodiment.
  • SaaS software as a service
  • a first generation unit that generates a first estimated image including at least a predetermined area of the inspection target using a part of the inspection image including the inspection target;
  • a second generation unit configured to generate a second estimated image by estimating the difference between the first estimated image and the inspection image using the part of the inspection image;
  • a comparison unit that compares the first estimated image with the inspection image;
  • An output unit that outputs a comparison result by the comparison unit; Equipped with The image processing apparatus, wherein the comparison unit compares a difference between the first estimated image and the inspection image with the second estimated image.
  • the inspection image includes a first area and a second area
  • the first generation unit generates the first estimated image of the second area using an image of the first area in the inspection image.
  • the second generation unit uses the image of the first area in the inspection image to generate the first estimated image of the second area and the image of the second area in the inspection image. Generating the second guess image by guessing the difference between The image according to supplementary note 1, wherein the comparison unit compares a difference between the first estimated image of the second area and the image of the second area in the inspection image with the second estimated image. Processing unit.
  • the first generation unit generates the first inferred image using a first learning model learned to infer the image of the second area from the image of the first area.
  • the image processing apparatus according to appendix 2.
  • the second generation unit is trained to infer the difference between the first estimated image of the second area and the image of the second area from the image of the first area
  • the image processing apparatus according to any one of appendices 2 to 4, wherein the second estimated image is generated using a second learning model.
  • the second learning model includes the first estimated image of the second area and the first estimated image of an image representing a normal state of the inspection target including the first area and the second area.
  • the image processing apparatus according to appendix 5, wherein learning is performed using a difference image with the image of the two regions.
  • a threshold setting unit configured to set a threshold based on the second estimated image generated by the second generation unit;
  • the comparison unit detects a defect in the inspection image by comparing a difference between the first estimated image and the inspection image with the threshold set by the threshold setting unit.
  • the threshold setting unit sets the threshold for each pixel.
  • the image processing apparatus according to claim 7, wherein the comparison unit detects a defective pixel in the inspection image by comparing a difference between the first estimated image and the inspection image with the threshold value for each pixel.
  • a first generation unit that generates a second image including at least a predetermined area of the object using a part of the first image including the object;
  • a second generation unit configured to generate a third image by estimating the difference between the second image and the first image using the part of the first image;
  • a comparison unit that compares the second image with the first image;
  • An output unit that outputs a comparison result by the comparison unit; Equipped with The image processing apparatus, wherein the comparison unit compares a difference between the second image and the first image with the third image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像の個体差の影響を低減しつつ異常を判別することができる画像処理装置、画像処理方法及び記録媒体を提供する。画像処理装置は、検査対象を含む検査画像の一部を使って、検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部と、検査画像の一部を使って、第１の推測画像と検査画像との差分を推測して第２の推測画像を生成する第２の生成部と、第１の推測画像と、検査画像とを比較する比較部と、比較部による比較結果を出力する出力部と、を備え、比較部は、第１の推測画像と検査画像との差分を、第２の推測画像と比較する。

Description

画像処理装置、画像処理方法及び記録媒体
　本発明は、画像処理装置、画像処理方法及び記録媒体に関する。
　特許文献１には、入力医用画像中の異常成分を分離する画像成分分離装置が記載されている。特許文献１に記載の画像成分分離装置は、被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する。次いで、入力医用画像と正常画像の差分を求めることにより、入力医用画像中の異常成分を分離する。
特許第４８９５２０４号公報
　しかしながら、特許文献１に記載の画像成分分離装置では、被写体中の所定の構造物を表す入力医用画像の全体から正常画像を生成する。このため、特許文献１に記載の画像成分分離装置では、生成される正常画像が、入力医用画像の全体の影響を受けうるため、異常成分の分離が入力医用画像の個体差に大きく影響されうる。
　本発明の目的は、上述した課題に鑑み、画像の個体差の影響を低減しつつ異常を判別することができる画像処理装置、画像処理方法及び記録媒体を提供することにある。
　本発明の一観点によれば、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部と、前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成部と、前記第１の推測画像と、前記検査画像とを比較する比較部と、前記比較部による比較結果を出力する出力部と、を備え、前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理装置が提供される。
　本発明の他の観点によれば、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、前記第１の推測画像と、前記検査画像とを比較する比較ステップと、前記比較ステップによる比較結果を出力する出力ステップと、を備え、前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法が提供される。
　本発明のさらに他の観点によれば、コンピュータに、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、前記第１の推測画像と、前記検査画像とを比較する比較ステップと、前記比較ステップによる比較結果を出力する出力ステップと、を備え、前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法を実行させるプログラムが記録された記録媒体が提供される。
　本発明のさらに他の観点によれば、物体を含む第１の画像の一部を使って、前記物体の少なくとも所定の領域を含む第２の画像を生成する第１の生成部と、前記第１の画像の前記一部を使って、前記第２の画像と前記第１の画像との差分を推測して第３の画像を生成する第２の生成部と、前記第２の画像と、前記第１の画像とを比較する比較部と、前記比較部による比較結果を出力する出力部と、を備え、前記比較部は、前記第２の画像と前記第１の画像との差分を、前記第３の画像と比較する画像処理装置が提供される。
　本発明によれば、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。
図１は、本発明の一実施形態による画像処理装置の機能構成を示すブロック図である。 図２は、本発明の一実施形態による画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを示すフローチャートである。 図４は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その１）である。 図５は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その２）である。 図６は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その３）である。 図７は、本発明の一実施形態による画像処理装置の動作における正常画像学習ステップを示すフローチャートである。 図８は、本発明の一実施形態による画像処理装置の動作における正常画像学習ステップを説明する概略図（その１）である。 図９は、本発明の一実施形態による画像処理装置の動作における正常画像学習ステップを説明する概略図（その２）である。 図１０は、本発明の一実施形態による画像処理装置の動作における正常画像生成ステップを示すフローチャートである。 図１１は、本発明の一実施形態による画像処理装置の動作における正常画像生成ステップを説明する概略図である。 図１２は、本発明の一実施形態による画像処理装置の動作における差分画像学習ステップを示すフローチャートである。 図１３は、本発明の一実施形態による画像処理装置の動作における差分画像学習ステップを説明する概略図である。 図１４は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを示すフローチャートである。 図１５は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを説明する概略図（その１）である。 図１６は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを説明する概略図（その２）である。 図１７は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップにおいて閾値を固定した場合を説明する概略図である。 図１８は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップにおける閾値と正常画像のピクセル値の取りうる値の範囲との関係を説明する概略図（その１）である。 図１９は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップにおける閾値と正常画像のピクセル値の取りうる値の範囲との関係を説明する概略図（その２）である。 図２０は、本発明の一実施形態の変形例による画像処理装置の機能構成を示すブロック図である。 図２１は、本発明の他の実施形態による画像処理装置の機能構成を示すブロック図である。 図２２は、本発明のさらに他の実施形態による画像処理装置の機能構成を示すブロック図である。
　［一実施形態］
　本発明の一実施形態による画像処理装置及び画像処理方法について図１乃至図２０を用いて説明する。
　まず、本実施形態による画像処理装置の構成について図１及び図２を用いて説明する。図１は、本実施形態による画像処理装置の機能構成を示すブロック図である。図２は、本実施形態による画像処理装置のハードウェア構成の一例を示すブロック図である。
　本実施形態では、画像処理装置が、検査対象である検査対象品を含む検査画像を処理することにより、検査対象品が正常品であるか不良品であるかを判定して、異常として不良品を検出する検査を行う場合を例に説明する。ただし、本実施形態による画像処理装置は、不良品を検出する検査を行う場合のみならず、物体について異常を検出する場合に広く用いることができる。
　図１に示すように、本実施形態による画像処理装置１００は、学習データ保存部１０と、パッチ切り出し部１２と、パッチ処理済みデータ保存部１４とを備えている。また、画像処理装置１００は、正常画像学習部１６と、正常画像学習モデル記憶部１８とを備えている。また、画像処理装置１００は、検査データ保存部２０と、正常画像生成部２２と、生成正常データ保存部２４とを備えている。
　また、本実施形態による画像処理装置１００は、差分計算部２６と、差分画像学習部２８と、差分画像学習モデル記憶部３０と、差分画像生成部３２と、閾値設定部３４と、不良品検出部３６とを備えている。
　学習データ保存部１０は、正常画像学習部１６による学習に用いられる学習画像を保存する。学習画像は、検査対象品の正常品を含む画像、すなわち、検査対象品の正常な状態を表す画像である。
　パッチ切り出し部１２は、学習データ保存部１０から学習画像のデータを読み込み、学習画像に対してパッチ切り出しステップを実施する。すなわち、パッチ切り出し部１２は、学習画像からパッチサイズの画像をパッチ画像として切り出す。また、パッチ切り出し部１２は、パッチ画像からその中心部の画像を中心画像として切り出す。中心画像は、検査対象品の少なくとも所定の領域を含んでいる。パッチ切り出し部１２は、中心画像が切り出されたパッチ画像である中心除去済みパッチ画像と、その中心画像との対を画像対として関連付けて出力する。パッチ切り出し部１２は、学習画像について出力した画像対をパッチ処理済みデータ保存部１４に保存する。
　また、パッチ切り出し部１２は、検査データ保存部２０から検査画像のデータを読み込み、学習画像の場合と同様に、検査画像に対してパッチ切り出し処理を実施する。パッチ切り出し部１２は、学習画像の場合と同様に、検査画像について、中心除去済みパッチ画像と、その中心画像との対を画像対として関連付けて出力する。パッチ切り出し部１２は、検査画像について出力した画像対をパッチ処理済みデータ保存部１４に保存する。
　パッチ処理済みデータ保存部１４は、パッチ切り出し部１２により出力される学習画像についての画像対を保存する。また、パッチ処理済みデータ保存部１４は、パッチ切り出し部１２により出力される検査画像についての画像対を保存する。
　正常画像学習部１６は、パッチ処理済みデータ保存部１４から学習画像についての画像対を読み込み、読み込んだ画像対を用いて学習モデルを作成する。正常画像学習部１６は、学習画像についての画像対のうち、中心除去済みパッチ画像を学習データ、中心画像を教師データとして学習を実施する。これにより、正常画像学習部１６は、中心除去済みパッチ画像から中心画像を復元する学習モデルである正常画像学習モデルを作成する。正常画像学習部１６は、作成した正常画像学習モデルを正常画像学習モデル記憶部１８に保存する。
　正常画像学習モデル記憶部１８は、正常画像学習部１６による学習の結果作成された学習済みの正常画像学習モデルを保存する。
　検査データ保存部２０は、検査画像を保存する。検査画像は、検査対象である検査対象品を含む画像である。検査対象品は、特に限定されるものではない。本実施形態による画像処理装置は、例えば、完成品、部品等のあらゆる物体を検査対象品とすることができる。
　正常画像生成部２２は、第１の生成部として機能し、学習画像又は検査画像についての画像対のうちの中心除去済みパッチ画像からその中心部の画像である中心画像を推測し、中心除去済みパッチ画像から推測した推測画像を正常画像として生成する。正常画像は、学習画像又は検査画像に含まれる検査対象品の少なくとも所定の領域を含んでいる。正常画像生成部２２は、パッチ処理済みデータ保存部１４から学習画像又は検査画像についての画像対のうちの中心除去済みパッチ画像を読み込む。正常画像生成部２２は、読み込んだ中心除去済みパッチ画像から、その中心除去済みパッチ画像の中心画像を推測して正常画像として生成する。
　正常画像生成部２２は、推測画像である正常画像の生成に際して、正常画像学習モデル記憶部１８から学習済みの正常画像学習モデルを読み込む。正常画像生成部２２は、読み込んだ正常画像学習モデルを用いて、学習画像又は検査画像におけるパッチ画像の一部である中心除去済みパッチ画像からその中心画像を推測して、推測した推測画像を正常画像として生成する。正常画像生成部２２は、生成した正常画像を生成正常データ保存部２４に保存する。
　こうして、正常画像生成部２２は、学習画像又は検査画像について、パッチ画像の一部である中心除去済みパッチ画像を使って正常画像を推測して生成する。学習画像について生成された正常画像は、後述する閾値設定のために用いられる。また、検査画像について生成された正常画像は、後述する不良検出のために用いられる。
　生成正常データ保存部２４は、正常画像生成部２２により生成された正常画像を保存する。
　差分計算部２６は、学習画像についての画像対のうちの中心除去済みパッチ画像から正常画像生成部２２により生成された正常画像と、その中心除去済みパッチ画像と画像対をなす中心画像との差分を計算する。これにより、差分計算部２６は、学習画像について、中心画像と正常画像とのピクセルごとのピクセル値の差の絶対値をピクセル値とする差分画像を生成する。なお、差分計算部２６の差分の計算方法は、後述する不良品検出部３６の差分の計算方法と同様である。
　差分画像学習部２８は、差分計算部２６により生成された差分画像と、その差分画像を生成した正常画像の推測に用いた中心除去済みパッチ画像とを用いて学習モデルを作成する。差分画像学習部２８は、中心除去済みパッチ画像を学習データ、差分画像を教師データとして学習を実施する。これにより、差分画像学習部２８は、中心除去済みパッチ画像から差分画像を復元する学習モデルである差分画像学習モデルを作成する。差分画像学習部２８は、作成した差分画像学習モデルを差分画像学習モデル記憶部３０に記憶する。
　差分画像学習モデル記憶部３０は、差分画像学習部２８による学習の結果作成された学習済みの差分画像学習モデルを保存する。
　差分画像生成部３２は、第２の生成部として機能し、検査画像についての画像対のうちの中心除去済みパッチ画像から差分画像を推測して生成する。差分画像生成部３２は、パッチ処理済みデータ保存部１４から検査画像についての画像対のうちの中心除去済みパッチ画像を読み込む。差分画像生成部３２は、読み込んだ中心除去済みパッチ画像から差分画像を推測して生成する。差分画像生成部３２は、推測画像である差分画像の生成に際して、差分画像学習モデル記憶部３０から学習済みの差分画像学習モデルを読み込む。差分画像生成部３２は、読み込んだ差分画像学習モデルを用いて、検査画像におけるパッチ画像の一部である中心除去済みパッチ画像から差分画像を推測して生成する。
　閾値設定部３４は、差分画像生成部３２により生成された差分画像に基づき、不良品検出部３６における不良検出に用いられる閾値を設定する。閾値設定部３４は、例えば、差分画像の各ピクセル値をピクセルごとの閾値として設定することができる。また、閾値設定部３４は、例えば、差分画像の各ピクセル値に一定の乗率を掛けてマージンを設けたものをピクセルごとの閾値として設定することができる。
　不良品検出部３６は、比較部として機能し、検査画像についての画像対のうちの中心画像と、その中心除去済みパッチ画像から生成した正常画像とを比較し、閾値設定部３４により設定された閾値に基づき不良を検出する。さらに、不良品検出部３６は、出力部として機能し、不良の検出結果を出力する。また、不良品検出部３６は、判定部として機能し、検出結果に基づき、検査画像に含まれる検査対象品が正常品であるか不良品であるかを判定する。
　不良品検出部３６は、パッチ処理済みデータ保存部１４から検査画像についての画像対のうちの中心画像を読み込む。また、不良品検出部３６は、その画像対のうちの中心除去済みパッチ画像から生成された正常画像を生成正常データ保存部２４から読み込む。不良品検出部３６は、それぞれ読み込んだ中心画像と正常画像との差分を計算する。これにより、不良品検出部３６は、検査画像について、中心画像と正常画像とのピクセルごとのピクセル値の差の絶対値をピクセル値とする差分画像を生成する。
　不良品検出部３６は、検査画像について生成された差分画像を、差分画像生成部３２により生成された差分画像と比較する。より具体的には、不良品検出部３６は、検査画像について生成された差分画像のピクセル値を、閾値設定部３４により設定された閾値とピクセルごとに比較して、検査画像について、中心画像における不良ピクセルを検出する。不良品検出部３６は、検出した不良ピクセルに基づき、検査画像に含まれる検査対象品が正常品であるか不良品であるかの検査対象品の良否を判定して、異常である不良品を判別して検出する。
　不良品検出部３６は、不良品の検出結果を出力する。検出結果の出力方法は特に限定されるものではなく、種々の方法を用いることができる。例えば、不良品検出部３６は、検出結果を表示装置に表示させたり、検出結果を音声として音声出力装置から出力したり、記憶装置に記憶されたデータベースに検出結果を格納することができる。
　上述した画像処理装置１００は、例えばコンピュータ装置により構成される。画像処理装置１００のハードウェア構成の一例について図２を用いて説明する。なお、画像処理装置１００は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。
　図２に示すように、画像処理装置１００は、ＣＰＵ（Central　Processing　Unit）１００２と、ＲＯＭ（Read　Only　Memory）１００４と、ＲＡＭ（Random　Access　Memory）１００６と、ＨＤＤ（Hard　Disk　Drive）１００８とを備えている。また、画像処理装置１００は、出力装置１０１０と、入力装置１０１２とを備えている。ＣＰＵ１００２、ＲＯＭ１００４、ＲＡＭ１００６、ＨＤＤ１００８、出力装置１０１０及び入力装置１０１２は、共通のバスライン１０１４に接続されている。
　ＣＰＵ１００２は、画像処理装置１００の全体の動作を制御する。また、ＣＰＵ１００２は、上記のパッチ切り出し部１２、正常画像学習部１６、正常画像生成部２２、差分計算部２６、差分画像学習部２８、差分画像生成部３２、閾値設定部３４及び不良品検出部３６の各部の機能を実現するプログラムを実行する。ＣＰＵ１００２は、ＨＤＤ１００８等に記憶されたプログラムをＲＡＭ１００６にロードして実行することにより、パッチ切り出し部１２、正常画像学習部１６、正常画像生成部２２の各部の機能を実現する。また、ＣＰＵ１００２は、ＨＤＤ１００８等に記憶されたプログラムをＲＡＭ１００６にロードして実行することにより、差分計算部２６、差分画像学習部２８、差分画像生成部３２、閾値設定部３４及び不良品検出部３６の各部の機能を実現する。
　なお、パッチ切り出し部１２、正常画像学習部１６、正常画像生成部２２、差分計算部２６、差分画像学習部２８、差分画像生成部３２、閾値設定部３４及び不良品検出部３６は、それぞれ電気回路構成（circuitry）により実現されていてもよい。ここで、電気回路構成（circuitry）とは、単一のデバイス（single　device）、複数のデバイス（multiple　devices）、チップセット（chipset）又はクラウド（cloud）を概念的に含む文言である。
　ＲＯＭ１００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ１００６は、ＣＰＵ１００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ１００８には、ＣＰＵ１００２が実行するプログラムが記憶されている。
　また、ＨＤＤ１００８は、上記の学習データ保存部１０、パッチ処理済みデータ保存部１４、正常画像学習モデル記憶部１８、生成正常データ保存部２４及び差分画像学習モデル記憶部３０の各部の機能を実現する記憶装置である。なお、学習データ保存部１０、パッチ処理済みデータ保存部１４、正常画像学習モデル記憶部１８、生成正常データ保存部２４及び差分画像学習モデル記憶部３０の各部の機能を実現する記憶装置は、ＨＤＤ１００８に限定されるものではない。種々の記憶装置をこれら各部の機能を実現するものとして用いることができる。
　出力装置１０１０は、不良品検出部３６による検出結果が出力されるものであり、例えば、表示装置、音声出力装置である。
　入力装置１０１２は、例えば、キーボード、マウス等である。また、入力装置１０１２は、出力装置１０１０である表示装置に組み込まれたタッチパネルであってもよい。画像処理装置１００のオペレータは、入力装置１０１２を介して、画像処理装置１００の設定を行ったり、処理の実行の指示を入力したりすることができる。
　なお、画像処理装置１００のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。
　次に、上記本実施形態による画像処理装置１００の動作についてさらに図３乃至図１６を用いて説明する。本実施形態による画像処理装置１００は、動作することにより画像処理方法を実行する。
　本実施形態による画像処理装置１００の動作は、パッチ切り出しステップ（図３参照）と、正常画像学習ステップ（図７参照）と、正常画像生成ステップ（図１０参照）とを含んでいる。また、画像処理装置１００の動作は、差分画像学習ステップ（図１２参照）と、不良品検出ステップ（図１４参照）とを含んでいる。パッチ切り出しステップは、パッチ切り出し部１２により実施される。正常画像学習ステップは、正常画像学習部１６により実施される。正常画像生成ステップは、正常画像生成部２２により実施される。差分画像学習ステップは、差分画像学習部２８により実施される。不良品検出ステップは、不良品検出部３６により実施される。
　まず、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップについて図３乃至図６を用いて説明する。図３は、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップを示すフローチャートである。図４乃至図６は、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップを説明する概略図である。
　パッチ切り出し部１２により実施されるパッチ切り出しステップは、画像からのパッチ画像の切り出し、パッチ画像の中心部の画像の除去等を行う。パッチ切り出しステップは、学習画像及び検査画像のそれぞれについて実施される。
　まず、図３に示すように、ステップＳ１０１において、パッチ切り出し部１２は、パッチ切り出しステップを実施すべき画像のデータを読み込む。学習画像についてパッチ切り出しステップを実施する場合、パッチ切り出し部１２は、学習データ保存部１０から学習画像を読み込む。一方、検査画像についてパッチ切り出しステップを実施する場合、パッチ切り出し部１２は、検査データ保存部２０から画像データを読み込む。
　次いで、ステップＳ１０２において、パッチ切り出し部１２は、ステップＳ１０１で読み込んだ画像に対してパッチ切り出し処理を実施する。図４に示すように、ステップＳ１０１で読み込んだ画像ＩＭには、検査対象品Ｔが含まれている。画像ＩＭは、学習画像又は検査画像である。画像ＩＭが学習画像である場合、画像ＩＭに含まれる検査対象品Ｔは正常品である。画像ＩＭが検査画像である場合、画像ＩＭに含まれる検査対象品Ｔは、正常品であるか不良品であるかを判定すべきものである。
　パッチ切り出し処理において、パッチ切り出し部１２は、図４に示すように、読み込んだ画像ＩＭから、あらかじめ設定されたパッチサイズの矩形状の画像をパッチ画像ＩＭｐとして画像ＩＭの例えば左上から切り出す。なお、パッチ画像ＩＭｐを切り出すパッチサイズは、画像ＩＭよりも小さいサイズの範囲で、検査に要求される精度等に応じて適宜設定することができる。
　さらに、パッチ切り出し処理において、パッチ切り出し部１２は、図５に示すように、切り出したパッチ画像ＩＭｐの中心部から、あらかじめ設定されたサイズの矩形状の画像を切り出して除去する。こうして、パッチ切り出し部１２は、中心部の画像が除去された枠状のパッチ画像ＩＭｐである中心除去済みパッチ画像ＩＭｒを作成するとともに、パッチ画像ＩＭｐの中心部から切り出した画像である中心画像ＩＭｃを作成する。パッチ切り出し処理前のパッチ画像ＩＭｐは、第１の領域である中心除去済みパッチ画像ＩＭｒと、第２の領域である中心画像ＩＭｃとを含み、両画像から構成されていると考えることができる。なお、中心画像ＩＭｃを切り出すサイズは、パッチ画像ＩＭｐよりも小さいサイズの範囲で、検査に要求される精度等に応じて適宜設定することができる。
　その後、パッチ切り出し部１２は、図６に示すように、あらかじめ設定されたスライドサイズの分だけ画像ＩＭにおいてスライド方向に移動した箇所から、上記と同様にパッチ画像ＩＭｐを切り出して、中心除去済みパッチ画像ＩＭｒ及び中心画像ＩＭｃを作成する。なお、スライドサイズは、パッチ画像ＩＭｐを切り出すパッチサイズのスライド方向の幅と同じ又はその幅以下に設定することができる。
　パッチ切り出し部１２は、上述した図４乃至図６に示す動作を、画像ＩＭの全領域についてパッチ画像ＩＭｐの切り出しが行われるまで繰り返して行い、画像ＩＭについて中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対である画像対を作成していく。
　なお、上記では、パッチ画像ＩＭｐ及び中心画像ＩＭｃをいずれも矩形の形状としているが、これらの形状は、矩形等の四角形の形状に限定されるものではない。パッチ画像ＩＭｐ及び中心画像ＩＭｃの形状は、四角形の形状ほか、例えば、円形、三角形等の、周囲の画像である中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対が作成することができる形状であればよい。パッチ画像ＩＭｐ及び中心画像ＩＭｃの形状は、互いに同一の形状である必要はなく、互いに異なる形状であってもよい。
　また、上記では、パッチ画像ＩＭｐの中心部から画像を切り出しているが、パッチ画像ＩＭｐからあらかじめ設定されたサイズの画像を切り出していれば、パッチ画像ＩＭｐから画像を切り出す領域は中心部に限定されるものではない。すなわち、パッチ切り出し部１２は、パッチ画像ＩＭｐからその一部を切り出して、中心画像ＩＭｃに代えてパッチ画像ＩＭｐの一部である部分画像を作成してもよい。中心画像ＩＭｃに代えてパッチ画像ＩＭｐの一部である部分画像を作成する場合も、中心画像ＩＭｃに代えて部分画像を用いる点を除いて同様に処理することができる。
　次いで、ステップＳ１０３において、パッチ切り出し部１２は、ステップＳ１０２で画像ＩＭについて作成された中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対である画像対を、パッチ処理済みデータ保存部１４に保存する。
　上述のようにして、パッチ切り出し部１２は、学習画像及び検査画像のそれぞれについてパッチ切り出しステップを実施する。なお、学習画像についてのパッチ切り出しステップは、学習ステップの前に実施する。一方、検査画像についてのパッチ切り出しステップは、正常画像生成ステップの前であれば、学習ステップの前に実施することもできるし、学習ステップの後に実施することもできる。
　次に、本実施形態による画像処理装置１００の動作における正常画像学習ステップについて図７乃至図９を用いて説明する。図７は、本実施形態による画像処理装置１００の動作における正常画像学習ステップを示すフローチャートである。図８及び図９は、本実施形態による画像処理装置１００の動作における正常画像学習ステップを説明する概略図である。
　正常画像学習部１６により実施される正常画像学習ステップは、学習画像についてのパッチ切り出しステップの後に実施される。正常画像学習ステップは、パッチ切り出しステップが実施された学習画像のデータを使った教師あり機械学習を行って、学習モデルを作成する。
　まず、図７に示すように、ステップＳ２０１において、正常画像学習部１６は、パッチ処理済みデータ保存部１４から、教師あり機械学習に使う学習用データを読み込む。ここで正常画像学習部１６が読み込む学習用データは、学習画像について作成された中心除去済みパッチ画像と中心画像との対である画像対のデータである。
　次いで、ステップＳ２０２において、正常画像学習部１６は、ステップＳ２０１で読み込んだ学習用データの画像対のうち、中心除去済みパッチ画像を学習データ、中心画像を教師データとして学習を行う学習処理を実施する。正常画像学習部１６は、検査対象品の正常な状態を表す画像である学習画像について作成された中心除去済みパッチ画像及び中心画像を用いて学習モデルを学習させる。
　図８及び図９は、ステップＳ２０２の正常画像学習部１６による学習のイメージを示している。正常画像学習部１６は、図８に示すように、学習用データの中心除去済みパッチ画像ＩＭｒから、教師データとする中心画像ＩＭｃを復元して中心画像ＩＭｃを推測した推測画像を生成する学習モデルである正常画像学習モデルＭｎを作成する。ここで、正常画像学習部１６は、正常画像学習モデルＭｎを作成する手法として、例えば、オートエンコーダのように入力を再現することのできる手法を用いることができる。また、正常画像学習部１６は、学習の手法として例えばディープラーニングを用いた機械学習を実施することができる。正常画像学習部１６は、図９に示すように、学習画像である画像ＩＭについて、切り出されたパッチ画像ＩＭｐから作成された中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの画像対を複数用いて正常画像学習モデルＭｎを作成するための学習を行う。こうして、検査対象品の正常な状態を表す画像である学習画像について作成された中心除去済みパッチ画像ＩＭｒ及び中心画像ＩＭｃを用いて学習させた正常画像学習モデルＭｎが作成される。
　次いで、ステップＳ２０３において、正常画像学習部１６は、ステップＳ２０２で作成された学習済みの正常画像学習モデルを正常画像学習モデル記憶部１８に保存する。
　上述のようにして、正常画像学習部１６は、パッチ画像の一部である中心除去済みパッチ画像から、パッチ画像の他の一部である中心画像を復元する正常画像学習モデルを作成する。正常画像学習部１６は、以下に説明する正常画像生成ステップの前にあらかじめ学習ステップを実施して正常画像学習モデルを作成して正常画像学習モデル記憶部１８に保存しておくことができる。
　一般的に、ディープラーニングをはじめとする機械学習では、高い精度を出すためには、大量の正解データが必要となる。正常品及び不良品の判別の場合には、正解データとして正常品及び不良品のいずれについても十分な量のデータを収集する必要がある。しかしながら、実際の現場では、不良品についてデータを十分に収集することは困難である。
　これに対して、本実施形態では、検査対象品の正常品を含む画像である学習画像から作成された中心除去済みパッチ画像及び中心画像を用いて機械学習を行うため、検査対象品の不良品を含む画像を学習画像として用意する必要がない。したがって、本実施形態によれば、十分な量の学習用データを容易に用意することができるため、学習モデルを容易に作成することができる。
　次に、本実施形態による画像処理装置１００の動作における正常画像生成ステップについて図１０及び図１１を用いて説明する。図１０は、本実施形態による画像処理装置１００の動作における正常画像生成ステップを示すフローチャートである。図１１は、本実施形態による画像処理装置１００の動作における正常画像生成ステップを説明する概略図である。
　正常画像生成部２２により実施される正常画像生成ステップは、学習モデルと学習画像又は検査画像の中心除去済みパッチ画像とを使って、学習画像又は検査画像の中心画像を推測した推測画像である正常画像を生成する。学習画像について生成された正常画像は、閾値設定のために用いられる。検査画像について生成された正常画像は、不良検出のために用いられる。
　まず、図１０に示すように、ステップＳ３０１において、正常画像生成部２２は、パッチ処理済みデータ保存部１４から、正常画像を生成するための対象データを読み込む。ここで正常画像生成部２２が読み込む対象データは、学習データ保存部１０の学習画像のデータ又は検査データ保存部２０の検査画像のデータからパッチ切り出しステップで作成された中心除去済みパッチ画像のデータである。正常画像生成部２２は、パッチ切り出し部１２により学習画像又は検査画像について作成される画像対のうち、中心除去済みパッチ画像を学習モデルに入力する画像とする。
　次いで、ステップＳ３０２において、正常画像生成部２２は、正常画像学習モデル記憶部１８から、学習済みの学習モデルを読み込む。なお、ステップＳ３０１及びステップＳ３０２は、いずれが先に実施されてもよいし、同時に実施されてもよい。
　次いで、ステップＳ３０３において、正常画像生成部２２は、ステップＳ３０１で読み込んだ中心除去済みパッチ画像を使って、ステップＳ３０２で読み込んだ学習モデルを用いて正常画像を生成する。正常画像生成部２２は、正常画像として、ステップＳ３０１で読み込んだ学習画像又は検査画像についての中心除去済みパッチ画像から、検査対象品が正常品である場合の中心画像を学習モデルにより推測して生成する。
　図１１は、ステップＳ３０３の正常画像生成部２２による検査画像についての正常画像の生成のイメージを示している。正常画像生成部２２は、図１１に示すように、検査画像である画像ＩＭについて、切り出されたパッチ画像ＩＭｐから作成された中心除去済みパッチ画像ＩＭｒを正常画像学習モデルＭｎに対する入力とする。正常画像生成部２２は、中心除去済みパッチ画像ＩＭｒの入力に対する正常画像学習モデルＭｎの出力として、検査対象品が正常品である場合の中心画像ＩＭｃを推測した画像である正常画像ＩＭｎを生成する。なお、検査画像である画像ＩＭに含まれる検査対象品Ｔには、傷等の欠陥Ｄが生じている場合がある。学習画像についても、図１１に示す検査画像の場合と同様に正常画像を生成することができる。
　次いで、ステップＳ３０４において、正常画像生成部２２は、ステップＳ３０３で作成された正常画像を生成正常データ保存部２４に保存する。
　上述のようにして、正常画像生成部２２は、学習画像又は検査画像から作成された複数の中心除去済みパッチ画像のそれぞれについて、学習モデルにより正常画像を生成する。
　不良品を検出する方法としては、機械学習を使わず、正常品のテンプレートを用意し、テンプレートと検査画像との差分に基づき不良品を検出する手法が考えられる。しかしながら、このようなテンプレートを用いた方法では、不良品の検出が、検査対象品の個体差、すなわち検査画像の個体差の影響を受ける場合がある。
　これに対して、本実施形態では、検査画像における中心除去済みパッチ画像から正常画像を推測して生成し、推測された正常画像を基準に不良品を検出する。このため、本実施形態では、正常品のテンプレートを用いる場合とは異なり、ロバスト性の高い不良品の検出を実現することができる。
　さらに、本実施形態では、後述するように不良検出のための閾値を設定するため、正常品の画像にバリエーションがある場合であっても、高い精度で不良品を検出することができる。
　次に、本実施形態による画像処理装置１００の動作における差分画像学習ステップについて図１２及び図１３を用いて説明する。図１２は、本実施形態による画像処理装置１００の動作における差分画像学習ステップを示すフローチャートである。図１３は、本実施形態による画像処理装置１００の動作における差分画像学習ステップを説明する概略図である。
　差分画像学習部２８により実施される差分画像学習ステップは、学習画像についての正常画像生成ステップの後に実施される。差分画像学習ステップは、パッチ切り出しステップが実施された学習画像のデータ、及び差分計算部２６により生成された差分画像のデータを使った教師あり機械学習を行って、学習モデルを作成する。
　まず、図１２に示すように、ステップＳ４０１において、差分計算部２６は、差分画像学習部２８における機械学習に用いられる差分画像を生成する。差分画像の生成では、差分計算部２６は、学習画像についての画像対のうちの中心除去済みパッチ画像から正常画像生成部２２により生成された正常画像と、その中心除去済みパッチ画像と画像対をなす中心画像との差分を計算する。これにより、差分計算部２６は、学習画像について、中心画像と正常画像とのピクセルごとのピクセル値の差の絶対値をピクセル値とする差分画像を生成する。
　次いで、ステップＳ４０２において、差分画像学習部２８は、学習画像について作成された中心除去済みパッチ画像を学習データ、ステップＳ４０１で生成された差分画像を教師データとして学習を行う学習処理を実施する。差分画像学習部２８は、学習データとして用いる中心除去済みパッチ画像をパッチ処理済みデータ保存部１４から読み込む。差分画像学習部２８は、学習画像について作成された中心除去済みパッチ画像及び差分画像を用いて学習モデルを学習させる。
　図１３は、ステップＳ４０２の差分画像学習部２８による学習のイメージを示している。差分画像学習部２８は、図１３に示すように、学習用データの中心除去済みパッチ画像ＩＭｒから、教師データとする差分画像ＩＭｄを復元して差分画像ＩＭｄを推測した推測画像を生成する学習モデルである差分画像学習モデルＭｄを作成する。ここで、差分画像学習部２８は、差分画像学習モデルＭｄを作成する手法として、オートエンコーダのように入力を再現することのできる手法を用いることができる。また、差分画像学習部２８は、学習の手法として例えばディープラーニングを用いた機械学習を実施することができる。差分画像学習部２８は、学習画像である画像ＩＭについて、切り出されたパッチ画像ＩＭｐから作成された中心除去済みパッチ画像ＩＭｒと差分画像ＩＭｄとの画像対を複数用いて差分画像学習モデルＭｄを作成するための学習を行う。こうして、学習画像について作成された中心除去済みパッチ画像ＩＭｒ及び差分画像ＩＭｄを用いて学習させた差分画像学習モデルＭｄが作成される。
　次いで、ステップＳ４０３において、差分画像学習部２８は、ステップＳ４０２で作成された学習済みの差分画像学習モデルを差分画像学習モデル記憶部３０に保存する。
　次に、本実施形態による画像処理装置１００の動作における不良品検出ステップについて図１４乃至図１６を用いて説明する。図１４は、本実施形態による画像処理装置の動作における不良品検出ステップを示すフローチャートである。図１５及び図１６は、本実施形態による画像処理装置１００の動作における不良品検出ステップを説明する概略図である。
　不良品検出部３６により実施される不良品検出ステップは、検査画像について作成された中心除去済みパッチ画像と中心画像との画像対のうちの中心画像と、その中心除去済みパッチ画像から生成された正常画像との差分を計算する。さらに、不良品検出ステップでは、計算された差分に基づき、異常である不良品を判別して検出する。
　まず、図１４に示すように、ステップＳ５０１において、不良品検出部３６は、対象データの一方として、パッチ処理済みデータ保存部１４から、検査画像について作成された中心除去済みパッチ画像と中心画像との画像対のうちの中心画像のデータを読み込む。また、ステップＳ５０１において、不良品検出部３６は、対象データの他方として、生成正常データ保存部２４から、読み込んだ中心画像と画像対をなす中心除去済みパッチ画像から学習モデルにより生成された正常画像のデータを読み込む。正常画像は、中心除去済みパッチ画像から推測された中心画像である。
　次いで、ステップＳ５０２において、不良品検出部３６は、ステップＳ５０１で読み込んだ２種類の中心画像の差分、すなわち中心画像と正常画像との差分を計算する。これにより、不良品検出部３６は、検査画像について、中心画像と正常画像とのピクセルごとのピクセル値の差の絶対値をピクセル値とする差分画像を生成する。
　このように、不良品検出部３６及び上述の差分計算部２６は、２種類の中心画像の差分を計算する。これらの際には、例えば、ＲＧＢ画像その他のカラー画像の２種類の中心画像をそのまま差分の計算に用いるほかに、別の種類の画像や別の色空間の画像への変換、フィルタ処理を行ってから差分の計算に用いることもできる。例えば、グレースケール画像、２値化画像等の別の種類の画像に変換したり、ＨＳＶやＹＣｂＣｒといった別の色空間の画像に変換したりしてから差分の計算に用いることができる。また、例えば、平均化フィルタ、メディアンフィルタ等の前処理フィルタや、ソーベルフィルタ、ラプラシアンフィルタ等のエッジ抽出フィルタを用いたフィルタ処理を行ってから差分の計算に用いることができる。
　一方、ステップＳ５０３において、差分画像生成部３２は、検査画像について作成された中心除去済みパッチ画像から差分画像を推測して生成する。差分画像生成部３２は、差分画像学習ステップで学習された差分画像学習モデルを用いて差分画像を推測する。
　次いで、ステップＳ５０４において、閾値設定部３４は、ステップＳ５０３で差分画像生成部３２により生成された差分画像に基づき、不良品検出部３６における不良検出に用いられる閾値を設定する。例えば、閾値設定部３４は、差分画像の各ピクセル値をピクセルごとの閾値として設定し、又は差分画像の各ピクセル値に一定の乗率を掛けたものをピクセルごとの閾値として設定する。こうして、本実施形態では、閾値設定部３４により不良検出のための閾値が自動的に設定される。
　次いで、ステップＳ５０５において、不良品検出部３６は、ステップＳ５０２で計算された差分が、ステップＳ５０４で設定された閾値を超えるか否かをピクセルごとに判定する。
　不良品検出部３６は、差分が閾値を超えていないと判定すると（ステップＳ５０５、ＮＯ）、当該ピクセルを異常のない正常ピクセルであると判定する（ステップＳ５０７）。一方、不良品検出部３６は、差分が閾値を超えていると判定すると（ステップＳ５０５、ＹＥＳ）、当該ピクセルを異常のある不良ピクセルであると判定する（ステップＳ５０６）。こうして、不良品検出部３６は、検査画像から作成された中心画像について、不良ピクセルを検出する。
　不良品検出部３６は、こうして検出される不良ピクセルに基づき、検査画像から作成された中心画像が正常であるか不良であるかを判定する。例えば、不良品検出部３６は、不良ピクセルの総数、不良ピクセルが連続する領域の面積又は不良ピクセルを含む領域の数に基づき、中心画像が正常であるか不良であるかを判定することができる。すなわち、不良品検出部３６は、不良ピクセルが連続する領域の面積又は不良ピクセルを含む領域の数が所定の閾値を超えた場合に、中心画像が不良であると判定することができる。
　図１５は、検査画像である画像ＩＭから作成された中心画像ＩＭｃが正常であると判定される場合のイメージを示している。不良品検出部３６は、図１５に示すように、中心画像ＩＭｃと正常画像ＩＭｎとの差分を計算する。
　差分画像生成部３２は、対応する中心除去済みパッチ画像ＩＭｒから差分画像学習モデルＭｄを用いて推測画像である差分画像ＩＭｔを推測して生成する。さらに、閾値設定部３４は、差分画像生成部３２により生成された差分画像ＩＭｔに基づき閾値を設定する。
　不良品検出部３６は、計算した中心画像ＩＭｃと正常画像ＩＭｎとの差分が、閾値設定部３４により設定された閾値を超えるか否かをピクセルごとに判定して、不良ピクセルを検出する。不良品検出部３６は、こうして不良ピクセルを検出した結果、例えばそれら不良ピクセルの総数が閾値を超えないため、中心画像ＩＭｃが正常であると判定する。図１５に示す場合、中心画像ＩＭｃは、欠陥Ｄを含んでいないため、例えば不良ピクセルの総数が閾値を超えず、正常であると判定される。
　一方、図１６は、検査画像である画像ＩＭから作成された中心画像ＩＭｃが不良であると判定される場合のイメージを示している。不良品検出部３６は、図１６に示すように、図１５に示す場合と同様に不良ピクセルを検出した結果、例えばそれら不良ピクセルの総数が閾値を超えるため、中心画像ＩＭｃが不良であると判定する。図１６に示す場合、中心画像ＩＭｃは、欠陥Ｄを含んでいるため、例えば不良ピクセルの総数が閾値を超え、不良であると判定される。
　次いで、ステップＳ５０８において、不良品検出部３６は、検査画像について作成された中心画像が正常であるか不良であるかの判定結果を出力する。
　不良品検出部３６は、上述したステップＳ５０１からステップＳ５０８までのステップを、検査画像について作成された複数の中心画像のそれぞれについて実施する。
　次いで、ステップＳ５０９において、不良品検出部３６は、ステップＳ５０８で出力された判定結果に基づき、不良品を検出してその検出結果を出力する。不良品の検出に際して、不良品検出部３６は、検査画像について不良と判定された中心画像の数が零又は所定数以下である場合には、検査画像に含まれる検査対象品が正常品であると判定する。一方、不良品検出部３６は、検査画像について不良と判定された中心画像の数が所定数を超える場合には、検査画像に含まれる検査対象品が不良品であると判定する。
　こうして、不良品検出部３６は、検査画像に含まれる検査対象品が正常品であるか不良品であるかの検査対象品の良否を判定して不良品を検出し、その検出結果を出力する。
　上述のように、本実施形態では、検査対象品の正常品を含む学習画像を用いて、中心除去済みパッチ画像から中心画像を復元する正常画像学習モデルを作成するため、不良品を含む画像を収集する必要がない。したがって、本実施形態によれば、十分な量の学習用データを容易に用意することができるため、学習モデルを容易に作成することができる。
　また、本実施形態では、検査画像における中心除去済みパッチ画像から正常画像を推測して生成し、推測された正常画像を基準に不良品を検出する。このため、本実施形態によれば、ロバスト性の高い不良品の検出を実現することができる。
　さらに、本実施形態では、不良ピクセルを検出するために用いる閾値を、差分画像生成部３２により差分画像学習モデルを用いて生成された差分画像に基づき、閾値設定部３４により設定する。これにより、本実施形態では、正常品の画像に、個々の品ごとに変動する変動部分が含まれている場合であっても、高い精度で不良品を検出することができる。
　正常品の画像には、個々の品ごとに変動する刻印、ラベル等の変動部分が含まれている場合がある。変動部分は、典型的には、例えば、シリアル番号、ロット番号、日付等を表示する刻印、ラベル等の画像部分である。これらのような変動部分を含む場合、検査対象品の画像と、正常画像生成部２２により生成された対応する正常画像との差分が、上記のような変動部分に起因する差分であるのか、本来検出すべき不良に起因する差分であるのか判別が困難なことがある。このため、差分と固定の閾値とを比較して不良を検出する場合、閾値を大きく設定すると不良を見逃し、閾値を小さく設定すると、正常品の変動部分を不良として誤って検出するおそれがある。
　例えば、図１７に示すように、検査対象品Ｔを含む画像ＩＭには、検査対象品Ｔごとに、「ＡＢＣ１２３」、「ＡＢＣ１２４」、…のように変動する変動部分が含まれている。このような変動部分を含むパッチ画像ＩＭｐの中心除去済みパッチ画像ＩＭｒから正常画像生成部２２により正常画像学習モデルＭｎを用いて出力される正常画像ＩＭｎは、変動部分を平均した平均的な画像になる。このため、閾値を小さく設定すると、正常品の変動部分を不良として誤って検出するおそれがある。一方、閾値を大きく設定すると、不良を見逃すおそれがある。
　これに対して、本実施形態では、閾値の設定のために用いる差分画像学習モデルの学習において、正常画像中のあるピクセルのピクセル値の取りうる範囲に応じて、閾値の基準となる差分が出力されるように学習される。図１８及び図１９は、それぞれ正常画像中のあるピクセルのピクセル値の分布を示している。
　変動部分が少なく、正常画像中のあるピクセルのピクセル値の取りうる範囲が狭い図１８に示す場合、閾値の基準となる差分が小さくなるように差分画像学習モデルが学習される。一方、図１８に示す場合と比較して変動部分が多く、正常画像中のあるピクセルのピクセル値の取りうる範囲が広い図１９に示す場合、閾値の基準となる差分が図１８に示す場合よりも大きくなるように差分画像学習モデルが学習される。
　このように、本実施形態では、正常画像における変動部分に応じて不良検出のための閾値を設定することができるため、高い精度で不良を検出することができる。また、本実施形態では、このような閾値を閾値設定部３４により自動的に設定することができるため、人手による閾値設定の手間を低減することができる。
　以上のとおり、本実施形態によれば、検査対象品を含む検査画像の一部を使って、検査対象品の少なくとも所定の領域を含む推測画像を正常画像として生成するので、画像の個体差の影響を低減しつつ高い精度で異常である不良品を判別することができる。
　なお、本実施形態による画像処理装置１００は、図２０に示すように、検出結果保存部３８と、検出結果表示部４０とを備えるように構成することもできる。図２０は、本実施形態の変形例による画像処理装置の機能構成を示すブロック図である。
　図２０に示す場合、不良品検出部３６は、不良品の検出結果を検出結果保存部３８に保存する。不良品検出部３６は、検出結果として、例えば、検査画像を識別する識別子とともに、検査対象品が正常品であるか不良品であるかを示す情報、不良品である場合には不良箇所を示す画像のデータ等を検出結果保存部３８に保存することができる。また、不良品検出部３６は、不良ピクセルの検出結果を検出結果保存部３８に保存することもできる。
　検出結果保存部３８は、不良品検出部３６により出力された不良品又は不良ピクセルの検出結果を保存する。検出結果保存部３８には、例えば、検出結果を格納するデータベースが保存されている。検出結果保存部３８の機能は、学習データ保存部１０等と同様にＨＤＤ１００８により実現される。
　検出結果表示部４０は、検出結果保存部３８に保存された不良品又は不良ピクセルの検出結果を表示する。検出結果表示部４０は、検出結果の表示に際して、不良ピクセルを表示することにより、不良箇所を示す画像を表示することができる。検出結果表示部４０は、表示装置としての出力装置１０１０により実現される。
　また、上記図８に示す場合においては、正常画像学習部１６は、パッチ画像ＩＭｐを構成する枠状領域の中心除去済みパッチ画像ＩＭｒから、パッチ画像ＩＭｐを構成する中心領域の中心画像ＩＭｃを復元する学習モデルを学習して作成している。しかしながら、これに限定されるものではない。例えば、正常画像学習部１６は、中心除去済みパッチ画像ＩＭｒから、中心画像ＩＭｃを含むパッチ画像ＩＭｐの全体を復元してパッチ画像ＩＭｐを推測した推測画像を生成する学習モデルを学習して作成することもできる。この場合、正常画像生成部２２は、このような学習モデルを用いて、正常画像として、正常品である場合のパッチ画像ＩＭｐの全体を推測した推測画像を生成することができる。また、不良品検出部３６は、検査画像についてのパッチ画像ＩＭｐの全体と、そのパッチ画像ＩＭｐの全体を推測した推測画像と比較して不良品を検出することができる。
　［他の実施形態］
　上記各実施形態において説明した画像処理装置は、他の実施形態によれば、図２１に示すように構成することもできる。図２１は、他の実施形態による画像処理装置の機能構成を示すブロック図である。
　図２１に示すように、画像処理装置２０００は、検査対象を含む検査画像の一部を使って、検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部２００２を備えている。また、画像処理装置２０００は、検査画像の一部を使って、第１の推測画像と検査画像との差分を推測して第２の推測画像を生成する第２の生成部２００４を備えている。また、画像処理装置２０００は、第１の推測画像と、検査画像とを比較する比較部２００６と、比較部２００６による比較結果を出力する出力部２００８とを備えている。比較部２００６は、第１の推測画像と検査画像との差分を、第２の推測画像と比較する。
　他の実施形態による画像処理装置２０００によれば、検査対象を含む検査画像の一部を使って、検査対象の少なくとも所定の領域を含む推測画像を生成するため、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。
　また、上記各実施形態において説明した画像処理装置は、さらに他の実施形態によれば、図２２に示すように構成することもできる。図２２は、さらに他の実施形態による画像処理装置の機能構成を示すブロック図である。
　図２２に示すように、さらに他の実施形態による画像処理装置３０００は、物体を含む第１の画像の一部を使って、物体の少なくとも所定の領域を含む第２の画像を生成する第１の生成部３００２を備えている。また、画像処理装置３０００は、第１の画像の一部を使って、第２の画像と第１の画像との差分を推測して第３の画像を生成する第２の生成部３００４を備えている。また、画像処理装置３０００は、第２の画像と、第１の画像とを比較する比較部３００６と、比較部３００６による比較結果を出力する出力部３００８とを備えている。比較部３００６は、第２の画像と第１の画像との差分を、第３の画像と比較する。
　さらに他の実施形態による画像処理装置３０００によれば、物体を含む第１の画像の一部を使って、物体の少なくとも所定の領域を含む第２の画像を生成するため、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。
　［変形実施形態］
　本発明は、上記実施形態に限らず、種々の変形が可能である。
　例えば、上記実施形態では、検査対象品から不良品を検出する検査の場合を例に説明したが、これに限定されるものではない。本発明は、何らかの物体について正常状態であるか異常状態であるかを判定して、物体の異常状態、すなわち正常状態以外の状態を検出する場合に広く適用することができる。本発明は、例えば、建築物等の物体の破損を異常として検出する場合、異常物を検出する場合等にも適用することができる。
　また、上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。
　該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact　Disc-Read　Only　Memory）、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating　System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software　as　a　Service）の形態でユーザに対して提供することもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部と、
　前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成部と、
　前記第１の推測画像と、前記検査画像とを比較する比較部と、
　前記比較部による比較結果を出力する出力部と、
　を備え、
　前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理装置。
　（付記２）
　前記検査画像は、第１の領域と第２の領域とを含み、
　前記第１の生成部は、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記第１の推測画像を生成し、
　前記第２の生成部は、前記検査画像における前記第１の領域の前記画像を使って、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を推測して前記第２の推測画像を生成し、
　前記比較部は、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を、前記第２の推測画像と比較する付記１記載の画像処理装置。
　（付記３）
　前記第１の生成部は、前記第１の領域の前記画像から前記第２の領域の前記画像を推測するように学習させた第１の学習モデルを用いて前記第１の推測画像を生成する付記２記載の画像処理装置。
　（付記４）
　前記第１の学習モデルは、前記検査対象の正常な状態を表す画像を用いて学習させたものである付記３記載の画像処理装置。
　（付記５）
　前記第２の生成部は、前記第１の領域の前記画像から、前記第２の領域の前記第１の推測画像と前記第２の領域の前記画像との差分を推測するように学習させた第２の学習モデルを用いて前記第２の推測画像を生成する付記２乃至４のいずれかに記載の画像処理装置。
　（付記６）
　前記第２の学習モデルは、前記第１の領域と前記第２の領域とを含む前記検査対象の正常な状態を表す画像についての、前記第２の領域の前記第１の推測画像と前記第２の領域の画像との差分画像を用いて学習させたものである付記５記載の画像処理装置。
　（付記７）
　前記第２の生成部により生成された前記第２の推測画像に基づき閾値を設定する閾値設定部を有し、
　前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記閾値設定部により設定された前記閾値と比較することにより、前記検査画像における不良を検出する付記１乃至６のいずれかに記載の画像処理装置。
　（付記８）
　前記閾値設定部は、ピクセルごとの前記閾値を設定し、
　前記比較部は、前記第１の推測画像と前記検査画像との差分をピクセルごとに前記閾値と比較することにより、前記検査画像における不良ピクセルを検出する付記７記載の画像処理装置。
　（付記９）
　前記第１の推測画像は、前記少なくとも所定の領域に前記検査対象の正常な状態を表す画像を含む付記１乃至８のいずれかに記載の画像処理装置。
　（付記１０）
　前記比較部による前記比較結果に基づいて、前記検査対象の良否を判定する判定部を備える付記１乃至９のいずれかに記載の画像処理装置。
　（付記１１）
　検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、
　前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、
　前記第１の推測画像と、前記検査画像とを比較する比較ステップと、
　前記比較ステップによる比較結果を出力する出力ステップと、
　を備え、
　前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法。
　（付記１２）
　コンピュータに、
　検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、
　前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、
　前記第１の推測画像と、前記検査画像とを比較する比較ステップと、
　前記比較ステップによる比較結果を出力する出力ステップと、
　を備え、
　前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法を実行させるプログラムが記録された記録媒体。
　（付記１３）
　物体を含む第１の画像の一部を使って、前記物体の少なくとも所定の領域を含む第２の画像を生成する第１の生成部と、
　前記第１の画像の前記一部を使って、前記第２の画像と前記第１の画像との差分を推測して第３の画像を生成する第２の生成部と、
　前記第２の画像と、前記第１の画像とを比較する比較部と、
　前記比較部による比較結果を出力する出力部と、
　を備え、
　前記比較部は、前記第２の画像と前記第１の画像との差分を、前記第３の画像と比較する画像処理装置。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年１月２９日に出願された日本出願特願２０１８－０１２３０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０…学習データ保存部
１２…パッチ切り出し部
１４…パッチ処理済みデータ保存部
１６…正常画像学習部
１８…正常画像学習モデル記憶部
２０…検査データ保存部
２２…正常画像生成部
２４…生成正常データ保存部
２６…差分計算部
２８…差分画像学習部
３０…差分画像学習モデル記憶部
３２…差分画像生成部
３４…閾値設定部
３６…不良品検出部
３８…検出結果保存部
４０…検出結果表示部
１００…画像処理装置

Claims (13)

  1. 　検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部と、
    　前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成部と、
    　前記第１の推測画像と、前記検査画像とを比較する比較部と、
    　前記比較部による比較結果を出力する出力部と、
    　を備え、
    　前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理装置。
  2. 　前記検査画像は、第１の領域と第２の領域とを含み、
    　前記第１の生成部は、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記第１の推測画像を生成し、
    　前記第２の生成部は、前記検査画像における前記第１の領域の前記画像を使って、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を推測して前記第２の推測画像を生成し、
    　前記比較部は、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を、前記第２の推測画像と比較する請求項１記載の画像処理装置。
  3. 　前記第１の生成部は、前記第１の領域の前記画像から前記第２の領域の前記画像を推測するように学習させた第１の学習モデルを用いて前記第１の推測画像を生成する請求項２記載の画像処理装置。
  4. 　前記第１の学習モデルは、前記検査対象の正常な状態を表す画像を用いて学習させたものである請求項３記載の画像処理装置。
  5. 　前記第２の生成部は、前記第１の領域の前記画像から、前記第２の領域の前記第１の推測画像と前記第２の領域の前記画像との差分を推測するように学習させた第２の学習モデルを用いて前記第２の推測画像を生成する請求項２乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記第２の学習モデルは、前記第１の領域と前記第２の領域とを含む前記検査対象の正常な状態を表す画像についての、前記第２の領域の前記第１の推測画像と前記第２の領域の画像との差分画像を用いて学習させたものである請求項５記載の画像処理装置。
  7. 　前記第２の生成部により生成された前記第２の推測画像に基づき閾値を設定する閾値設定部を有し、
    　前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記閾値設定部により設定された前記閾値と比較することにより、前記検査画像における不良を検出する請求項１乃至６のいずれか１項に記載の画像処理装置。
  8. 　前記閾値設定部は、ピクセルごとの前記閾値を設定し、
    　前記比較部は、前記第１の推測画像と前記検査画像との差分をピクセルごとに前記閾値と比較することにより、前記検査画像における不良ピクセルを検出する請求項７記載の画像処理装置。
  9. 　前記第１の推測画像は、前記少なくとも所定の領域に前記検査対象の正常な状態を表す画像を含む請求項１乃至８のいずれか１項に記載の画像処理装置。
  10. 　前記比較部による前記比較結果に基づいて、前記検査対象の良否を判定する判定部を備える請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 　検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、
    　前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、
    　前記第１の推測画像と、前記検査画像とを比較する比較ステップと、
    　前記比較ステップによる比較結果を出力する出力ステップと、
    　を備え、
    　前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法。
  12. 　コンピュータに、
    　検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、
    　前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、
    　前記第１の推測画像と、前記検査画像とを比較する比較ステップと、
    　前記比較ステップによる比較結果を出力する出力ステップと、
    　を備え、
    　前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法を実行させるプログラムが記録された記録媒体。
  13. 　物体を含む第１の画像の一部を使って、前記物体の少なくとも所定の領域を含む第２の画像を生成する第１の生成部と、
    　前記第１の画像の前記一部を使って、前記第２の画像と前記第１の画像との差分を推測して第３の画像を生成する第２の生成部と、
    　前記第２の画像と、前記第１の画像とを比較する比較部と、
    　前記比較部による比較結果を出力する出力部と、
    　を備え、
    　前記比較部は、前記第２の画像と前記第１の画像との差分を、前記第３の画像と比較する画像処理装置。
PCT/JP2019/001616 2018-01-29 2019-01-21 画像処理装置、画像処理方法及び記録媒体 WO2019146538A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019567053A JP6874864B2 (ja) 2018-01-29 2019-01-21 画像処理装置、画像処理方法及びプログラム
EP19744330.2A EP3748575B1 (en) 2018-01-29 2019-01-21 Image processing device, image processing method, and recording medium
CN201980010597.9A CN111656398A (zh) 2018-01-29 2019-01-21 图像处理设备、图像处理方法和记录介质
US16/965,081 US11386538B2 (en) 2018-01-29 2019-01-21 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-012307 2018-01-29
JP2018012307 2018-01-29

Publications (1)

Publication Number Publication Date
WO2019146538A1 true WO2019146538A1 (ja) 2019-08-01

Family

ID=67395478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001616 WO2019146538A1 (ja) 2018-01-29 2019-01-21 画像処理装置、画像処理方法及び記録媒体

Country Status (5)

Country Link
US (1) US11386538B2 (ja)
EP (1) EP3748575B1 (ja)
JP (1) JP6874864B2 (ja)
CN (1) CN111656398A (ja)
WO (1) WO2019146538A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043816A (ja) * 2019-09-12 2021-03-18 アイシン精機株式会社 画像復元装置、画像復元方法、画像復元プログラム、復元器生成装置、復元器生成方法、復元器生成プログラム、判定器生成装置、判定器生成方法、判定器生成プログラム、物品判定装置、物品判定方法、および物品判定プログラム
WO2021070675A1 (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537341A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 基于大数据及自学习的线路隐患在线监测装置及识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132959A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 欠陥検査方法および装置
JP2006325937A (ja) * 2005-05-26 2006-12-07 Fujifilm Holdings Corp 画像判定装置、画像判定方法およびそのプログラム
JP4895204B2 (ja) 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2014221163A (ja) * 2013-05-14 2014-11-27 国立大学法人九州工業大学 画像診断支援装置及び支援方法
JP2018012307A (ja) 2016-07-22 2018-01-25 富士フイルム株式会社 液体付与装置、及び液体付与方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4274400B2 (ja) * 2000-05-12 2009-06-03 富士フイルム株式会社 画像の位置合わせ方法および装置
JP4234311B2 (ja) * 2000-09-19 2009-03-04 富士フイルム株式会社 画像の位置合わせ方法
JP2004041694A (ja) * 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd 画像生成装置およびプログラム、画像選択装置、画像出力装置、画像提供サービスシステム
JP2005189655A (ja) * 2003-12-26 2005-07-14 Nec Electronics Corp マスク検査方法
JP2006006359A (ja) * 2004-06-22 2006-01-12 Fuji Photo Film Co Ltd 画像生成装置、画像生成装置方法、およびそのプログラム
JP4506395B2 (ja) 2004-10-05 2010-07-21 オムロン株式会社 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2011211628A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP5546317B2 (ja) 2010-03-31 2014-07-09 株式会社デンソーアイティーラボラトリ 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP6241121B2 (ja) * 2012-09-14 2017-12-06 株式会社リコー 画像検査装置、画像検査システム及び画像検査方法
JP6371613B2 (ja) * 2014-07-09 2018-08-08 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2016132468A1 (ja) 2015-02-18 2016-08-25 株式会社日立製作所 データ評価方法および装置、故障診断方法および装置
JP6546826B2 (ja) * 2015-10-08 2019-07-17 株式会社日立パワーソリューションズ 欠陥検査方法、及びその装置
WO2017141611A1 (ja) * 2016-02-19 2017-08-24 株式会社Ｓｃｒｅｅｎホールディングス 欠陥検出装置、欠陥検出方法およびプログラム
JP6702064B2 (ja) 2016-06-07 2020-05-27 株式会社デンソー 外観異常検査装置、方法、及びプログラム
JP6241576B1 (ja) 2016-12-06 2017-12-06 三菱電機株式会社 検査装置及び検査方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132959A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 欠陥検査方法および装置
JP2006325937A (ja) * 2005-05-26 2006-12-07 Fujifilm Holdings Corp 画像判定装置、画像判定方法およびそのプログラム
JP4895204B2 (ja) 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2014221163A (ja) * 2013-05-14 2014-11-27 国立大学法人九州工業大学 画像診断支援装置及び支援方法
JP2018012307A (ja) 2016-07-22 2018-01-25 富士フイルム株式会社 液体付与装置、及び液体付与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3748575A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043816A (ja) * 2019-09-12 2021-03-18 アイシン精機株式会社 画像復元装置、画像復元方法、画像復元プログラム、復元器生成装置、復元器生成方法、復元器生成プログラム、判定器生成装置、判定器生成方法、判定器生成プログラム、物品判定装置、物品判定方法、および物品判定プログラム
US11815468B2 (en) 2019-09-12 2023-11-14 Aisin Corporation Image restoration apparatus, image restoration method, image restoration program, restorer generation apparatus, restorer generation method, restorer generation program, determiner generation apparatus, determiner generation method, determiner generation program, article determination apparatus, article determination method, and article determination program
JP7383946B2 (ja) 2019-09-12 2023-11-21 株式会社アイシン 画像復元装置、画像復元方法、画像復元プログラム、復元器生成装置、復元器生成方法、復元器生成プログラム、判定器生成装置、判定器生成方法、判定器生成プログラム、物品判定装置、物品判定方法、および物品判定プログラム
WO2021070675A1 (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム
JP7536517B2 (ja) 2019-10-08 2024-08-20 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム

Also Published As

Publication number Publication date
US20210118118A1 (en) 2021-04-22
JP6874864B2 (ja) 2021-05-19
EP3748575A1 (en) 2020-12-09
EP3748575A4 (en) 2021-03-10
CN111656398A (zh) 2020-09-11
JPWO2019146538A1 (ja) 2021-01-07
EP3748575B1 (en) 2024-07-31
US11386538B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
WO2019087803A1 (ja) 画像処理装置、画像処理方法及び記録媒体
US11797886B2 (en) Image processing device, image processing method, and image processing program
WO2019146538A1 (ja) 画像処理装置、画像処理方法及び記録媒体
JP2018005773A (ja) 異常判定装置及び異常判定方法
JP6936961B2 (ja) 情報提供装置、端末、本人確認システム、情報提供方法及びプログラム
JP7034840B2 (ja) 外観検査装置および方法
CN103606221B (zh) 清分机故障自动诊断方法以及装置
EP3910437B1 (en) Monitoring apparatus, monitoring method, and computer-readable medium
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6918735B2 (ja) 監視装置、監視方法および監視プログラム
CN111986103A (zh) 图像处理方法、装置、电子设备和计算机存储介质
JP7309366B2 (ja) 監視システム、監視方法およびプログラム
CN112380968A (zh) 检测方法、装置、电子设备及存储介质
US20200167908A1 (en) Determination device and determining method thereof
JP7240199B2 (ja) パラメータ決定方法、パラメータ決定装置、及びプログラム
CN115205288B (zh) 工业缺陷检测方法和装置
CN115374517A (zh) 布线软件的测试方法、装置、电子设备及存储介质
EP4318391A1 (en) Information processing device, control program, and control method
US20230342911A1 (en) Image processing apparatus, image processing method, and medium
US20230267727A1 (en) Image analysis apparatus, image analysis method, and storage medium
JP2023008416A (ja) 異常検知システムおよび異常検知方法
JP2024139881A (ja) 検査装置
JP2006139374A (ja) 異常画像抽出方法及び異常画像抽出装置
TW202311879A (zh) 裝置管理系統、裝置的障礙原因推測方法以及非暫時性地記憶程式的記憶媒體
JP2022021858A (ja) 教師データの修正方法、その装置及びそのコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19744330

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019567053

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019744330

Country of ref document: EP

Effective date: 20200831