WO2020071162A1 - 教師データ生成装置及び教師データ生成プログラム - Google Patents

教師データ生成装置及び教師データ生成プログラム

Info

Publication number
WO2020071162A1
WO2020071162A1 PCT/JP2019/037047 JP2019037047W WO2020071162A1 WO 2020071162 A1 WO2020071162 A1 WO 2020071162A1 JP 2019037047 W JP2019037047 W JP 2019037047W WO 2020071162 A1 WO2020071162 A1 WO 2020071162A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
determination target
unit
teacher data
determination
Prior art date
Application number
PCT/JP2019/037047
Other languages
English (en)
French (fr)
Inventor
幸寛 中川
Original Assignee
株式会社システムスクエア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社システムスクエア filed Critical 株式会社システムスクエア
Priority to US17/281,228 priority Critical patent/US20220067434A1/en
Priority to EP19868890.5A priority patent/EP3862749A4/en
Priority to JP2020511540A priority patent/JP6754155B1/ja
Priority to CN201980065322.5A priority patent/CN112789499A/zh
Publication of WO2020071162A1 publication Critical patent/WO2020071162A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/30—Accessories, mechanical or electrical features
    • G01N2223/305—Accessories, mechanical or electrical features computer simulations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/643—Specific applications or type of materials object on conveyor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the present invention relates to an inspection apparatus for inspecting an inspected object based on an image of the inspected object, and teacher data for generating teacher data for performing machine learning to generate a learned model for performing pass / fail determination of the inspected object. It relates to a generating device.
  • the X-ray inspection apparatus has an X-ray generation unit and an X-ray detection unit facing each other, and sequentially transports the inspection object by a transport device such as a conveyor so as to pass between the X-ray generation unit and the X-ray detection unit.
  • An X-ray transmission image of the inspection object is constructed using X-ray transmission data obtained when passing between the X-ray detection unit, and the inspection object is inspected non-destructively using the X-ray transmission image. It is a device to do. Examples of its use include, for example, a foreign matter contamination inspection for inspecting whether foreign matter has entered the contents of a packaged product, a number inspection for inspecting whether the contents have a predetermined number, a crack in the contents, and the like.
  • the trained model can improve the accuracy of judgment by inputting a large amount of teacher data and repeating learning, but it has not been easy to prepare a large amount of teacher data efficiently until now.
  • a great deal of labor is required to prepare a large number of images with pass / fail judgment results while adjusting the image conditions (size, contrast, etc.). .
  • the present invention has been made in view of the above problems, and has as its object to provide a teacher data generation device capable of quickly generating a large amount of teacher data to be input to a learning program.
  • the teacher data generation device of the present invention generates teacher data used for machine learning.
  • the trained model generated by machine learning using the teacher data generated by the teacher data generation device determines whether the inspected object is a normal product by inputting an image of the inspected object into the learned model. It is used in an inspection device that performs an inspection.
  • the teacher data generation device includes: a determination target image extracting unit that extracts one or more determination target images including a determination target that satisfies a predetermined condition from an input image in which the inspection target is captured; Based on a sorting operation for sorting to a normal product or an abnormal product, a sorting processing unit that associates each determination target image with a sorting result, and each determination target image and a sorting result are associated with each other.
  • a teacher data storage unit for storing teacher data.
  • the determination target image extraction unit performs image processing on the input image and outputs a processed image, and a determination unit that specifies a determination target included in the processed image based on a predetermined determination condition. It is preferable to include a target specifying unit and an image cutout unit that cuts out a determination target image including the determination target specified by the determination target specifying unit from the processed image and outputs the cutout image.
  • the image cutout unit may specify a minimum rectangle including the determination target specified by the determination target specifying unit, and output an image obtained by resizing an image included in the minimum rectangle to a predetermined size as a determination target image.
  • the determination target image extracting unit may normalize the brightness of the determination target image and output the normalized image.
  • the display control means causes the plurality of determination target images to be displayed side by side in the first region of the display, and displays the input image in the second region of the display while superimposing the display indicating the region corresponding to the determination target image. Good.
  • the display control means determines the selected determination in the input image displayed in the second area of the display.
  • a display indicating the area corresponding to the image is displayed.
  • the computer program according to the present invention may cause a computer to function as any one of the teacher data generation devices described above.
  • FIG. 2 is a block diagram illustrating a configuration of the inspection device 1.
  • FIG. 2 is a diagram illustrating an example of a configuration of an inspection unit 10.
  • FIG. 3 is a block diagram illustrating a configuration of a teacher data generation unit 12.
  • FIG. 5 is a diagram illustrating an example of a predetermined determination condition in a determination target specifying unit.
  • FIG. 9 is a diagram illustrating another example of a predetermined determination condition in the determination target specifying unit. 9 is a graph showing the relationship between input and output in normalizing the brightness of a determination target image. It is a figure which shows the process which deletes reflection other than a determination target. It is a figure showing an example of a screen which displays a judgment object picture.
  • FIG. 1 is a block diagram illustrating a configuration of the inspection device 1.
  • FIG. 2 is a diagram illustrating an example of a configuration of an inspection unit 10.
  • FIG. 3 is a block diagram illustrating a configuration of a teacher data generation unit 12.
  • FIG. 5
  • FIG. 14 is a diagram illustrating a display example of information indicating a determination result in a determination target image display area. It is a figure showing an example of a display of a score, a judgment result, etc. in an information display field. It is a flowchart which shows the procedure of the operation
  • FIG. 1 is a block diagram showing a configuration of an inspection apparatus 1 for inspecting whether or not an inspection object 2 is a normal product.
  • the inspection apparatus 1 includes an inspection unit 10, a control unit 11, a display 16, and an operation interface 18.
  • the inspection object 2 to be inspected by the inspection apparatus 1 is a defective product to be removed from the normal product 2A (for example, a product having a chip, a crack, or the like, a product having an abnormal relative mass or shape, or a bite occurring in a seal portion. Products) and foreign matter (eg, pebbles, bones, etc.).
  • an object to be removed 2B In the following, those to be removed from the inspection object 2 such as defective products and foreign matter are collectively referred to as an object to be removed 2B.
  • the removal target 2B corresponds to an abnormal product in the present invention.
  • the inspection device 1 has an inspection mode and a learning mode.
  • the inspection mode an inspection is performed in which the learned model generated by the machine learning execution unit 14 is applied to the image of the inspection object 2 captured by the inspection unit 10 to detect the removal target 2B mixed into the inspection object 2. I do.
  • the inspection apparatus 1 detects the removal target 2B mixed in the inspection object 2 by analyzing an image of the inspection object 2.
  • teacher data is generated by the teacher data generation unit 12 based on the image of the inspection object 2 captured by the inspection unit 10 and the like, and the teacher data is input to the machine learning execution unit 14 to perform learning. The completed model to learn.
  • the inspection unit 10 captures an image of the inspection object 2 necessary for performing the inspection.
  • An example of the inspection unit 10 is an X-ray inspection apparatus that captures an X-ray transmission image of the inspection object 2, but is not limited to this as long as the inspection apparatus performs inspection based on the image of the inspection object 2.
  • the inspection unit 10 inspects the inspection object 2 by applying a learned model generated in advance by the machine learning execution unit 14 to the captured image of the inspection object 2. Further, the inspection unit 10 provides the captured image of the inspection object 2 as an input image to the teacher data generation unit 12 in the learning mode.
  • FIG. 2 shows an example of the configuration of the inspection unit 10.
  • X-rays are emitted as electromagnetic waves and an X-ray transmission image is acquired as an image for inspection.
  • the inspection unit 10 includes a transport unit 101, an electromagnetic wave irradiation unit 102, an electromagnetic wave detection unit 103, an image configuration unit 104, a storage unit 105, and a determination unit 106.
  • the transport unit 101 is configured by one or a plurality of belt conveyors, transports the inspection object 2 to an inspection area where an image is captured, and discharges the inspection object 2 from the inspection area.
  • the electromagnetic wave irradiating unit 102 irradiates an examination area with an electromagnetic wave (for example, X-ray, visible light, or the like) necessary to capture an image.
  • the electromagnetic wave irradiating unit 102 is arranged, for example, to irradiate an electromagnetic wave perpendicular to a transport surface on which the inspection object 2 is placed in the transport unit 101.
  • the inspection target area is covered with a shielding cover as necessary to prevent the electromagnetic wave emitted from the electromagnetic wave irradiation unit 102 from leaking outside.
  • the electromagnetic wave detection unit 103 is disposed at a position facing the electromagnetic wave irradiation unit 102 with the transport unit 101 interposed therebetween.
  • the electromagnetic wave detection unit 103 includes a plurality of detection elements that can detect the electromagnetic waves irradiated by the electromagnetic wave irradiation unit 102, and detects a spatial distribution of the electromagnetic waves that pass through the inspection area and reach the electromagnetic wave detection unit 103.
  • the electromagnetic wave detection unit 103 may be, for example, a line sensor, an area sensor, a TDI (Time Delay Integration) sensor, or the like.
  • the electromagnetic waves emitted from the electromagnetic wave irradiation unit 102 are attenuated according to the transmittance of the electromagnetic wave at each position of the inspection object 2. Then, the electromagnetic wave reaches the electromagnetic wave detection unit 103, and the state inside the inspection object 2 is observed as a distribution of the contrast of the electromagnetic wave intensity detected by the electromagnetic wave detection unit 103.
  • the image forming unit 104 configures the distribution of the contrast of the electromagnetic wave intensity detected by the electromagnetic wave detecting unit 103 as a two-dimensional image, and stores the data of the image in the storage unit 105.
  • the storage unit 105 is configured by a storage device such as a RAM and a hard disk.
  • the determination unit 106 performs an inspection of the inspection object 2 (determination of pass / fail) by applying the learned model generated in advance by the machine learning execution unit 14 to the image of the inspection object 2 configured by the image configuration unit 104.
  • the image configuration unit 104 and the determination unit 106 may be configured as a part of the control unit 11 described later.
  • the display 16 is a display device such as a liquid crystal display, and displays an operation screen of the inspection device 1 and various images.
  • the operation interface 18 is an input means such as a switch, a mouse, and a keyboard, and receives an operation input of the inspection apparatus by a user.
  • the control unit 11 controls the components of the inspection device 1.
  • the control unit 11 is configured by a computer including, for example, a CPU, a storage element, and the like.
  • the control unit 11 includes a teacher data generation unit 12 and a machine learning execution unit 14.
  • the teacher data generation unit 12 corresponds to a teacher data generation device of the present invention
  • the machine learning execution unit 14 corresponds to a learned model generation device of the present invention.
  • the teacher data generation unit 12 generates teacher data used for machine learning performed by the machine learning execution unit 14 in the learning mode of the inspection device 1.
  • FIG. 3 is a block diagram illustrating a configuration of the teacher data generation unit 12. As shown in FIG. 3, the teacher data generation unit 12 includes a determination target image extraction unit 120, a display control unit 124, a distribution processing unit 125, and a teacher data storage unit 126.
  • the judgment target image extracting unit 120 extracts one or more judgment target images in which a candidate to be detected as the removal target object 2B is captured from the input image in which the inspection object 2 is captured. As illustrated in FIG. 3, the determination target image extracting unit 120 includes an image processing unit 121, a determination target specifying unit 122, and an image clipping unit 123.
  • the image processing unit 121 performs image processing such as filtering on the input image and outputs a processed image.
  • the image processing performed by the image processing unit 121 is, for example, a process of reducing the noise by blurring the image with an averaging filter, a Gaussian filter, or the like, or a feature extraction such as a differential filter (Roberts filter, Prewitt filter, Sobel filter, etc.) or a Laplacian filter.
  • a filter to enhance the edge.
  • the determination target specifying unit 122 specifies a determination target included in the processed image based on a predetermined determination condition.
  • a predetermined determination condition for example, a method of setting a reference level of a constant brightness and setting a darker (or brighter) portion as a determination target (FIG. 4), or a method of roughly determining the brightness in an image
  • a method of setting a reference level that changes depending on a position along a change (which substantially coincides with a change in the thickness of the inspection object 2) and using a portion darker (or brighter) than the reference level as a determination target (FIG. 5) Is mentioned.
  • the degree to which the reference level is separated from the rough change in brightness may be set in accordance with the assumed density and size of the removal target 2B (foreign matter). In addition to these determinations based on brightness, conditions such as shape and area may be appropriately combined according to the removal target 2B to be detected.
  • the types and conditions of the image processing performed by the image processing unit 121 (hereinafter, these are collectively referred to as image processing conditions), and the determination conditions in the determination target specifying unit 122 are removed from the input image.
  • the selection is made according to the type of the candidate for the target 2B. For example, it is preferable to use a determination condition based on a reference level of constant brightness for the test object 2 having a constant thickness, and to roughly change the brightness for the test object 2 having a non-constant thickness. May be used.
  • the image cutout unit 123 cuts out the determination target image including the determination target identified by the determination target identification unit 122 from the processed image, and outputs the extracted image.
  • the image clipping unit 123 specifies the minimum rectangle including the determination target specified by the determination target specifying unit 122, and resizes the image included in the minimum rectangle to a predetermined size.
  • the output image may be output as a determination target image.
  • the cutout size (the number of vertical and horizontal pixels of the rectangle) can be set by the user from a setting screen or the like, and the image cutout unit 123 cuts out the image including the determination target with the set cutout size, and The image may be resized to the size and output as the determination target image.
  • the image cutout unit 123 includes the determination target in the area of the size set in such a determination target. It is preferable to cut out the image at the set cutout size after reducing the image so that the image is reduced.
  • An image with a uniform size is suitable as teacher data for machine learning.
  • the image cutout unit 123 may further perform image processing on the determination target image. For example, the image cutout unit 123 may normalize the brightness of the determination target image and output the normalized image. Specifically, as shown in FIG. 6, the image cutout unit 123 sets the brightness of the darkest pixel included in the original determination target image to be as dark as possible (to obtain the minimum brightness I min. ), And the brightness should be normalized so that the brightness of the brightest pixel is maximized (so as to have the maximum brightness I max ). In this way, each determination target image can be an image with uniform brightness and high contrast, and can be an image suitable for machine learning. Note that the normalization method is not limited to the above.
  • the image cutout unit 123 may perform a process of deleting an object other than the determination target that appears in the determination target image. Specifically, as shown in FIG. 7, the image cutout unit 123 determines that the largest blob (BLOB; the brightness included in the original determination target image is equal to or less than a predetermined value (the value is It is preferable to perform a process of erasing blobs other than the one block of pixel group (0). With this configuration, it is possible to prevent the reflection of an object other than the determination target from affecting the determination.
  • BLOB largest blob
  • the display control unit 124 controls display on the display.
  • the display control unit 124 may be such that the inspection device 1 is shared with a configuration other than the teacher data generation unit 12 in the inspection device 1.
  • the display control unit 124 causes the display 16 to selectably display the determination target image extracted by the determination target image extraction unit 120.
  • FIG. 8 shows a display example when the determination target image is displayed on the display 16.
  • the determination target display screen includes an input image display R2, a determination target image display region R1, and an information display region R3.
  • the determination target image display region R1 is a region where the determination target images are displayed side by side.
  • a user interface for performing a pass / fail determination for each determination target image is displayed in addition to the determination target image.
  • the input image display R2 is an area where the input image is displayed.
  • the information display area R3 is an area in which information (for example, an image file name, a storage location, and the like) regarding the selected determination target image is displayed.
  • a display indicating an area corresponding to the extracted determination target image (that is, a minimum rectangle including the determination target) may be displayed in a superimposed manner. Specifically, the minimum rectangular frame including the determination target may be displayed so as to be superimposed on the input image.
  • the display indicating the area corresponding to the determination target image may be configured so that the user can select display / non-display.
  • the determination target image may be displayed by sorting the images in the order of “the determination result that the possibility is high”.
  • information indicating a determination result may be visually displayed on each determination target image displayed side by side in the determination target image display region R1.
  • a score, a determination result (normal product / removal target object), or the like may be displayed at a position superimposed on or adjacent to each determination target image.
  • a display effect indicating whether the image is a normal product or a removal target object may be provided for each determination target image. For example, depending on whether the product is a normal product or an object to be removed, it may be surrounded by a frame of a different color.
  • the judgment target image By clicking one of the judgment target images displayed in the judgment target image display area R1, the judgment target image can be selected.
  • the selected determination target image is displayed with a frame in the determination target image display region R1, and the selected determination target image is displayed in the input image display R2. Is displayed so as to be distinguished from the others (for example, surrounded by a double frame).
  • the judgment target image corresponding to the minimum rectangle can be selected.
  • the input image display R2 is clicked in this manner, the determination target image corresponding to the selected minimum rectangle is displayed in a frame in the determination target image display region R1, and the selected target image is displayed in the input image display R2.
  • the smallest rectangle is displayed so that it can be distinguished from the others (for example, surrounded by a double frame).
  • a portion corresponding to the selected judgment target image may be enlarged and displayed on the input image display R2. In this way, it is possible to easily confirm the portion corresponding to the focused determination target image in detail. Further, for the selected determination target image, a score, a determination result (separation of normal product / removal target), and the like may be displayed in the information display region R3 as shown in FIG.
  • the distribution processing unit 125 allows the user to visually determine whether the inspection object 2 shown in the determination target image is the normal product 2A or the removal target object 2B with respect to the extracted determination target image.
  • the distribution processing unit 125 allocates the determination target image selected in accordance with the operation to one of the normal product 2A and the removal target object 2B. Is stored in the teacher data storage unit 126 in which the determination target image and the determination result are associated with each other.
  • the operation of distributing the judgment result for the inspection object is, for example, a case where the user operates the operation interface 18 while viewing the display 16 to select the judgment target image, and the inspection object 2 shown in the selected judgment target image is a normal item.
  • the user visually determines whether the object is 2A or the object to be removed 2B, and clicks the OK button in the case of the normal object 2A and clicks the NG button in the case of the object to be removed 2B.
  • the configuration may be such that the user does not operate to select a determination target image, but rather performs an operation of sequentially allocating to a plurality of determination target images in accordance with the order automatically determined by the distribution processing unit 125. Good.
  • the teacher data storage unit 126 is configured by a storage device such as a RAM and a hard disk.
  • the teacher data storage unit 126 may also serve as the storage unit 105 in the inspection unit 10.
  • the method by which the teacher data storage unit 126 stores the teacher data can be any method as long as the test object 2 shown in the image to be determined is either the normal product 2A or the removal object 2B so as to be identifiably stored. It may be.
  • the teacher data storage unit 126 may store the determination target image determined as the normal product 2A and the determination target image determined as the removal target 2B in different folders.
  • the teacher data storage unit 126 stores information indicating whether the inspection object 2 shown in the determination target image is the normal product 2A or the removal target object 2B in a file as a file name or additional information of the determination target image. May be embedded. Note that the teacher data storage unit 126 may be used in such a manner that a storage medium provided for the inspection apparatus 1 to store various information is shared.
  • the machine learning execution unit 14 executes a learning program for causing the learned model to execute machine learning.
  • the machine learning execution unit 14 inputs the teacher data generated by the teacher data generation unit 12 and stored in the teacher data storage unit 126 to the learning program, performs machine learning, and generates a learned model.
  • the machine learning execution unit 14 can generate a new learned model by performing new machine learning, or generate a new learned model by additionally performing machine learning on an existing learned model. You can also.
  • machine learning may be performed on an initial (unlearned) trained model prepared in advance.
  • the machine learning execution unit 14 generates an image processing condition of the image processing unit 121, a determination condition of the determination target specifying unit 122, and an image cutout when the teacher data generation unit 12 generates the teacher data for the learned model to be generated. It is preferable to record the conditions for cutting out the image to be determined by the unit 123 in association with each other.
  • FIG. 11 is a flowchart showing the procedure of the operation of the inspection device 1 in the learning mode.
  • the learning mode is started by selecting the learning mode on the operation interface 18 of the inspection device 1.
  • an operation screen for the learning mode is displayed on the display 16.
  • the user can generate teacher data and perform machine learning on the learned model.
  • the teacher data generation unit 12 receives an operation of selecting an input image by the user (Step S100).
  • the input image may be an image of the inspection object 2 actually captured by the inspection unit 10 or an image separately prepared for learning.
  • the teacher data generation unit 12 receives an operation of selecting a learned model by the user (Step S110).
  • the learned model selected here is a target on which additional learning is performed in the subsequent machine learning. If a new learned model is to be generated, step S110 may be omitted.
  • the teacher data generation unit 12 receives an operation for selecting an image processing condition, and performs image processing according to the selection (step S120). Specifically, the image processing condition is selected by the user selecting a selection item of the image processing condition displayed on the operation screen. At this time, the teacher data generation unit 12 displays the preview image on the display 16 so that the result of performing the image processing on the input image under the selected image processing condition can be easily checked before the selection is determined. Good. When the selection is confirmed, the image processing unit 121 performs image processing according to the selected content and outputs a processed image.
  • the teacher data generation unit 12 accepts an operation of setting a determination condition in the determination target specifying unit 122, and performs a determination according to the setting (Step S130). Specifically, an image processing condition is set by a user selecting a selection item of a determination condition displayed on the operation screen. At this time, the teacher data generating unit 12 superimposes the extraction result on the input image so that the extraction result of the candidate for the removal target 2B under the selected determination condition can be easily checked before the selection is determined. May be displayed on the display 16. When the selection is confirmed, the determination target specifying unit 122 performs a determination (extraction of a candidate for the removal target 2B) according to the selection.
  • the teacher data generation unit 12 receives the setting of the condition for cutting out the determination target image in the image cutout unit 123, and cuts out the determination target image according to the setting (step S140).
  • the setting of the cutout condition is determined, the image cutout unit 123 performs a cutout process of the determination target image according to the setting content.
  • the extracted determination target image is stored in a folder for a determination target image that is not sorted as a normal product 2A or a removal target object 2B.
  • the teacher data generation unit 12 skips steps S120 to S140 and associates the learned model with the learned model.
  • the following processing may be performed assuming that the selected image processing condition, determination condition, and cutout condition have been selected. By doing so, additional machine learning can be performed under the same conditions as machine learning performed on the learned model in the past, and higher accuracy of the learned model can be expected.
  • the teacher data generation unit 12 accepts an operation of selecting which of the determination target images cut out in step S140 is to be assigned to the normal product 2A or the removal target object 2B, and according to the selection, the determination target image is determined.
  • the determination result is recorded as teacher data associated with the determination result (step S150).
  • the machine learning execution unit 14 receives an instruction to execute machine learning based on the teacher data generated in step S150, executes a learning program according to the instruction, and executes machine learning on the learned model. Perform (Step S160). At this time, the machine learning execution unit 14 displays, on the operation screen, an interface that allows the user to select whether to additionally perform machine learning on the existing learned model or generate a new learned model. When performing machine learning in addition to the existing learned model, a menu may be presented to allow the user to select the learned model. Note that the selection of the learned model at this stage may be omitted, and the machine learning may be performed on the learned model selected in step S110. When the machine learning in step S160 is completed, a series of processes in the learning mode is completed.
  • FIG. 12 is a flowchart illustrating a procedure of the operation of the inspection apparatus 1 in the inspection mode.
  • the inspection mode is started by selecting the inspection mode on the operation interface 18 of the inspection device 1.
  • an operation screen for the inspection mode is displayed on the display 16.
  • the user can inspect the inspection object 2 by operating the operation screen for the inspection mode in the following procedure.
  • the inspection apparatus 1 accepts an operation by a user for setting inspection conditions (step S200).
  • the inspection conditions in addition to the general inspection device conditions such as the irradiation intensity of X-rays and visible light at the time of capturing an image, the exposure time, the transport speed, and the like, the selection of the learned model used for the determination of the removal target 2B is selected. included.
  • the inspection unit 10 starts the inspection of the inspection object 2 according to a predetermined operation by the user. That is, the inspection unit 10 transports the inspection object 2 to the imaging position and performs imaging (step S210), inputs the captured image to the learned model, and determines whether the image includes the removal target object 2B. Is determined. Specifically, the trained model outputs a numerical value (score) from 0 to 1 for each of the inspected objects 2 appearing in the image. This score indicates a determination result that the closer to 1, for example, the higher the possibility of being the removal target object 2B.
  • the inspection unit 10 sets a predetermined threshold value for the score output by the learned model, sets the inspection object 2 having a score equal to or higher than the threshold value as the removal target object 2B, and performs necessary processing on the removal target object 2B (Ste S220).
  • the necessary processes include, for example, a process of displaying a figure (for example, a frame) indicating the removal target 2B on the display 16 together with the captured image, a process of removing the removal target 2B, and a process of removing the removal target 2B and a normal product 2A and the like.
  • the inspection for one unit of the inspection object 2 is completed.
  • the inspection device 1 continuously inspects the inspection object 2 by repeating the above-described series of steps.
  • the inspection apparatus 1 can quickly generate a large amount of teacher data to be input to the learning program in the learning mode, and generate a learned model by performing machine learning using the generated teacher data as an input. can do.
  • highly accurate inspection can be performed using the learned model generated in the learning mode.
  • the present invention is not limited to these examples.
  • the teacher data generation unit 12 and the machine learning execution unit 14 are built in the inspection device 1, but the teacher data generation unit 12 and the machine learning execution unit 14 are not built in the inspection device 1. May be provided as an individual teacher data generation device or a learned model generation device.
  • the teacher data generation unit 12 and the machine learning execution unit 14 may be realized by causing a computer to execute a computer program that functions as the teacher data generation unit 12 and the machine learning execution unit 14 described above.
  • the determination target image extracting unit 120 includes the image clipping unit 123, and the image clipping unit 123 cuts out the determination target image including the determination target from the input image and outputs the image.
  • the configuration may be such that the processing is performed without cutting out the determination target image.
  • a determination target included in the input image is specified by the determination target specifying unit 122, and labeling processing is performed on the specified determination target in the input image (that is, the determination target is specified in the input image without being cut out as a separate image). (To be able to identify the target to be determined).
  • it may be configured such that each of the determination items is classified as a normal product or an abnormal product.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

学習用プログラムに入力する教師データを素早く大量に生成することが可能な教師データ生成装置を提供する。本発明の教師データ生成装置(１２）は、機械学習に用いられる教師データを生成する。教師データ生成装置が生成した教師データを用いて機械学習により生成される学習済みモデルは、被検査物を撮像した画像を当該学習済みモデルに入力することにより被検査物が正常品か否かの検査を行う検査装置で用いられる。教師データ生成装置は、被検査物が写る入力画像から、所定の条件を満たす判定対象を含んだ１以上の判定対象画像を抽出する判定対象画像抽出部（１２０）と、判定対象画像に写る被検査物を正常品と非正常品のいずれかに振り分ける振分操作に基づき、それぞれの判定対象画像と振り分けの結果とを対応付ける振分処理部（２５）と、それぞれの判定対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶部（１２６）とを備える。

Description

教師データ生成装置及び教師データ生成プログラム
　本発明は、被検査物を撮影した画像に基づき被検査物を検査する検査装置において、被検査物の良否判定を行うための学習済みモデルを生成すべく機械学習させる教師データを生成する教師データ生成装置に関する。
　Ｘ線検査装置は、Ｘ線発生部とＸ線検出部とを対向させ、これらの間を通るように被検査物をコンベア等の搬送装置で順次搬送し、被検査物がＸ線発生部とＸ線検出部との間を通過する際に得られるＸ線透過データを用いて、被検査物のＸ線透過画像を構築し、当該Ｘ線透過画像を用いて被検査物を非破壊で検査する装置である。その用途としては、例えば、包装された商品の内容物に異物が混入していないかを検査する異物混入検査、内容物が所定の個数を備えているかを検査する個数検査、内容物にひび割れ等の欠陥が発生していないかを検査する欠陥検査などがある。これらの検査は食品、医薬品、工業部品等の様々な物品に対して行われる。また、Ｘ線検査装置以外にも、被検査物を撮影した画像に基づき被検査物を検査する検査装置が実用化されている。
　この種の検査装置では、所定の判定基準に基づき、被検査物を良品と不良品とに振り分ける。従来、この判定基準は予め定義されたものであったが、昨今の機械学習技術の発達により、学習用プログラムに教師データ（学習用データ）を入力することにより生成される学習済みモデルを判定基準として用いるものが提案されている（例えば特許文献１を参照）。
特開２０１１－０８９９２０号公報
　学習済みモデルは、多数の教師データを入力して学習を繰り返すことにより判定の精度を改善することが可能であるが、これまで教師データを効率よく大量に準備することは容易でなかった。特に画像を教師データとする場合には、その画像の条件（サイズ、コントラスト等）を揃えつつ、合否の判定結果を伴った画像を大量に準備するために、多大な労力が必要とされていた。
　本発明は上記の課題に鑑みてなされたものであり、学習用プログラムに入力する教師データを素早く大量に生成することが可能な教師データ生成装置を提供することを目的とする。
　本発明の教師データ生成装置は機械学習に用いられる教師データを生成する。教師データ生成装置が生成した教師データを用いて機械学習により生成される学習済みモデルは、被検査物を撮像した画像を当該学習済みモデルに入力することにより被検査物が正常品か否かの検査を行う検査装置で用いられるものである。教師データ生成装置は、被検査物が写る入力画像から、所定の条件を満たす判定対象を含んだ１以上の判定対象画像を抽出する判定対象画像抽出部と、判定対象画像に写る被検査物を正常品と非正常品のいずれかに振り分ける振分操作に基づき、それぞれの判定対象画像と振り分けの結果とを対応付ける振分処理部と、それぞれの判定対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶部とを備える。
　本発明では、判定対象画像抽出部は、入力画像に対し画像処理を行い、処理済み画像を出力する画像処理部と、所定の判定条件に基づき、処理済み画像に含まれる判定対象を特定する判定対象特定部と、判定対象特定部が特定した判定対象を含む判定対象画像を、処理済み画像から切り出して出力する画像切出し部とを備えるとよい。
　本発明では、画像切出し部は、判定対象特定部が特定した判定対象を含む最小矩形を特定し、当該最小矩形に含まれる画像を所定のサイズにリサイズした画像を判定対象画像として、出力するとよい。
　本発明では、判定対象画像抽出部は、判定対象画像の明暗を正規化して出力するとよい。
　本発明では、ディスプレイと、ディスプレイによる表示を制御する表示制御手段とをさらに備えるとよい。そして、表示制御手段は、ディスプレイの第１領域に複数の判定対象画像を並べて表示させるとともに、ディスプレイの第２領域に入力画像を、判定対象画像に対応する領域を指し示す表示を重畳しつつ表示させるとよい。
　本発明では、表示制御手段は、ディスプレイの第１領域に表示された複数の判定対象画像のうちの１つが選択されると、ディスプレイの第２領域に表示された入力画像における当該選択された判定画像に対応する領域を指し示す表示をさせるとよい。
　本発明に係るコンピュータプログラムは、コンピュータを上記のいずれかの教師データ生成装置として機能させるとよい。
検査装置１の構成を示すブロック図である。 検査部１０の構成の一例を示す図である。 教師データ生成部１２の構成を示すブロック図である。 判定対象特定部における所定の判定条件の一例を示す図である。 判定対象特定部における所定の判定条件の他の例を示す図である。 判定対象画像の明度の正規化における入出力の関係を示すグラフである。 判定対象以外のものの映り込みを削除する処理を示す図である。 判定対象画像を表示する画面の一例を示す図である。 判定対象画像表示領域おける判定結果を示す情報の表示例を示す図である。 情報表示領域におけるスコアや判定結果等の表示例を示す図である。 学習モードでの検査装置１の動作の手順を示すフローチャートである。 検査モードでの検査装置１の動作の手順を示すフローチャートである。
　以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
〔検査装置１の構成〕
　図１は、被検査物２が正常品か否かを検査する検査装置１の構成を示すブロック図である。検査装置１は、検査部１０、制御部１１、ディスプレイ１６及び操作インタフェース１８を備える。検査装置１が検査する被検査物２は、正常品２Ａの中に除去すべき不良品（例えば欠け、割れ等のある製品、相対質量や形状が異常な製品、シール部に噛み込みが生じた製品等）、異物（例えば、小石、骨等）が混入したものである。以下では、これらの不良品、異物等の被検査物２から除去すべきものを総称して除去対象物２Ｂと呼ぶ。除去対象物２Ｂは本発明における非正常品に相当する。
　検査装置１は、検査モードと学習モードを備える。検査モードでは、検査部１０にて撮影した被検査物２の画像に対し機械学習実行部１４により生成される学習済みモデルを適用して被検査物２に混入した除去対象物２Ｂを検出する検査を行う。検査モードにおいて、検査装置１は、被検査物２を撮影した画像を解析することにより被検査物２に混入している除去対象物２Ｂを検出する。一方、学習モードでは、検査部１０等で撮影した被検査物２の画像をもとに教師データ生成部１２により教師データを生成して、この教師データを機械学習実行部１４に入力し、学習済みモデルに学習を行わせる。
　検査部１０は、検査を行うために必要な被検査物２の画像を撮影する。検査部１０の例としては、被検査物２のＸ線透過画像を撮像するＸ線検査装置が挙げられるが、被検査物２の画像に基づき検査を行う検査装置であればこれに限定されない。検査モードにおいて、検査部１０は、撮影した被検査物２の画像に対して機械学習実行部１４により予め生成された学習済みモデルを適用して被検査物２の検査を行う。また、検査部１０は、撮影した被検査物２の画像を、学習モードにおいて教師データ生成部１２への入力画像として提供する。
　図２は、検査部１０の構成の一例を示している。この例では、電磁波としてＸ線を照射してＸ線透過画像を検査のための画像として取得する。検査部１０は、搬送部１０１、電磁波照射部１０２、電磁波検出部１０３、画像構成部１０４、記憶部１０５、及び判定部１０６を備える。
　搬送部１０１は、１または複数のベルトコンベアで構成され、画像を撮影する検査領域まで被検査物２を搬送し、検査領域から被検査物２を排出させる。電磁波照射部１０２は、画像を撮影するのに必要な電磁波（例えば、Ｘ線、可視光等）を、検査領域に照射する。電磁波照射部１０２は、例えば搬送部１０１における被検査物２が載置される搬送面に垂直に、電磁波を照射するように配置される。検査対象領域は、電磁波照射部１０２から照射される電磁波が外部に漏れるのを防ぐべく、必要に応じて遮蔽カバーで覆われる。
　電磁波検出部１０３は、搬送部１０１を挟んで電磁波照射部１０２と対向する位置に配置される。電磁波検出部１０３は、電磁波照射部１０２が照射した電磁波を検出可能な検出素子を複数備え、検査領域を通過して電磁波検出部１０３に到達する電磁波の空間的分布を検出する。電磁波検出部１０３は、例えば、ラインセンサ、エリアセンサ、ＴＤＩ（Time Delay Integration）センサ等とするとよい。
　電磁波照射部１０２と電磁波検出部１０３の間の検査領域に被検査物２が存在すると、電磁波照射部１０２から照射された電磁波は被検査物２の各位置における当該電磁波の透過率に応じて減衰されて電磁波検出部１０３に到達することになり、被検査物２の内部の状態が電磁波検出部１０３によって検出される電磁波強度のコントラストの分布として観測される。
　画像構成部１０４は、電磁波検出部１０３で検出した電磁波強度のコントラストの分布を２次元の画像として構成し、記憶部１０５に当該画像のデータを格納する。記憶部１０５は、ＲＡＭ、ハードディスク等の記憶装置により構成される。
　判定部１０６は、画像構成部１０４が構成した被検査物２の画像に機械学習実行部１４により予め生成された学習済みモデルを適用して、被検査物２の検査（良否の判定）を行う。なお、画像構成部１０４及び判定部１０６は、後述する制御部１１の一部として構成されてもよい。
　ディスプレイ１６は、液晶ディスプレイ等の表示装置であり、検査装置１の操作画面や各種画像を表示する。操作インタフェース１８は、スイッチ、マウス、キーボード等の入力手段であり、ユーザによる検査装置の操作入力を受け付ける。
　制御部１１は検査装置１の各構成要素の制御を司る。制御部１１は、例えばＣＰＵ、記憶素子等により構成されるコンピュータにより構成される。制御部１１は、教師データ生成部１２と機械学習実行部１４とを含んでいる。教師データ生成部１２は本発明の教師データ生成装置に相当し、機械学習実行部１４は本発明の学習済みモデル生成装置に相当する。
　教師データ生成部１２は、検査装置１の学習モードにおいて、機械学習実行部１４にて実施される機械学習に用いられる教師データを生成する。図３は、教師データ生成部１２の構成を示すブロック図である。図３に示すように、教師データ生成部１２は、判定対象画像抽出部１２０、表示制御部１２４、振分処理部１２５、及び教師データ記憶部１２６を備える。
　判定対象画像抽出部１２０は、被検査物２が写る入力画像から除去対象物２Ｂとして検出すべきものの候補が写る１以上の判定対象画像を抽出する。図３に示したように、判定対象画像抽出部１２０は、画像処理部１２１、判定対象特定部１２２、及び画像切出し部１２３を備える。
　画像処理部１２１は、入力画像に対しフィルタリング等の画像処理を行い、処理済み画像を出力する。画像処理部１２１が行う画像処理は、例えば、平均化フィルタ、ガウシアンフィルタ等で画像をぼかしノイズを軽減する処理や、微分フィルタ（Ｒｏｂｅｒｔｓフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ等）やラプラシアンフィルタなどの特徴抽出フィルタにより例えばエッジを強調する処理等とするとよい。
　判定対象特定部１２２は、所定の判定条件に基づき、処理済み画像に含まれる判定対象を特定する。所定の判定条件としては、例えば、一定の明るさの基準レベルを設定し、それよりも暗い（あるは明るい）部分を判定対象とする方法（図４）や、画像内における明るさの大まかな変化（被検査物２の厚さの変化とほぼ一致する）に沿って位置によって変化する基準レベルを設定し、基準レベルよりも暗い（あるは明るい）部分を判定対象とする方法（図５）が挙げられる。基準レベルを明るさの大まかな変化からどの程度離すかは、想定する除去対象物２Ｂ（異物）の密度やサイズに応じて設定するとよい。これらの明るさに基づく判定に加え、検出したい除去対象物２Ｂに応じて、形状、面積などの条件を適宜組み合わせるとよい。
　画像処理部１２１にて行われる画像処理の種類や条件（以下、これらを総称して画像処理条件と呼ぶ）、及び判定対象特定部１２２における判定条件は、入力画像の中から抽出しようとする除去対象物２Ｂの候補の種類に応じて選択される。例えば、厚みが一定の被検査物２に対しては、一定の明るさの基準レベルに基づく判定条件を用いるとよく、厚みが一定でない被検査物２に対しては、明るさの大まかな変化に沿って変化する基準レベルを用いるとよい。
　画像切出し部１２３は、判定対象特定部１２２が特定した判定対象を含む判定対象画像を、処理済み画像から切り出して出力する。画像切出し部１２３が行う処理の具体例としては、画像切出し部１２３は、判定対象特定部１２２が特定した判定対象を含む最小矩形を特定し、当該最小矩形に含まれる画像を所定のサイズにリサイズした画像を判定対象画像として出力するとよい。あるいは、設定画面等から切り出しサイズ（矩形の縦及び横のピクセル数）をユーザが設定できるようにして、この設定された切り出しサイズで画像切出し部１２３が判定対象を含む画像を切出すとともに所定のサイズにリサイズして判定対象画像として出力してもよい。判定対象特定部１２２が特定した判定対象の中に設定された切り出しサイズに収まらない大きさのものが含まれる場合、画像切出し部１２３は、そのような判定対象が設定されたサイズの領域に含まれるように画像を縮小した上で、設定された切り出しサイズで画像を切り出すとよい。サイズの揃った画像は機械学習の教師データとして好適である。
　画像切出し部１２３は、判定対象画像に対しさらに画像処理を施してもよい。例えば、画像切出し部１２３は、判定対象画像の明暗を正規化して出力するとよい。具体的には、図６に示したように、画像切出し部１２３は、もとの判定対象画像内に含まれる最も暗い画素の明度を最大限暗くなるように（最小明度Ｉｍｉｎとなるように）、かつ、最も明るい画素の明度を最大限明るくなるように（最大明度Ｉｍａｘとなるように）、明度を正規化するとよい。このようにすれば、各判定対象画像を明るさが揃ったコントラストの強い画像とすることができ、機械学習に適した画像とすることができる。なお、正規化の方法は上記に限定されない。また、画像切出し部１２３は、判定対象画像に写りこんだ判定対象以外のものを削除する処理を行ってもよい。具体的には、図７に示したように、画像切出し部１２３は、もとの判定対象画像内に含まれる最も大きなブロブ（ＢＬＯＢ；明度が所定値以下（二値化した場合には値が０）となる一塊の画素群）以外のブロブを消去する処理を行うとよい。このようにすれば、判定対象以外のものの映り込みが判定に影響することを防ぐことができる。
　表示制御部１２４は、ディスプレイでの表示を制御する。なお、表示制御部１２４は、検査装置１は検査装置１内で教師データ生成部１２以外の構成と共用されるものであってもよい。表示制御部１２４は、判定対象画像抽出部１２０により抽出された判定対象画像を、ディスプレイ１６に選択可能に表示させる。図８は、判定対象画像をディスプレイ１６に表示する際の表示例を示している。判定対象表示画面は、入力画像表示Ｒ２、判定対象画像表示領域Ｒ１、情報表示領域Ｒ３を備えている。判定対象画像表示領域Ｒ１は、判定対象画像が並べて表示される領域である。判定対象画像表示領域Ｒ１には、判定対象画像のほか、各判定対象画像に対する合否の振り分けを行うためのユーザインタフェース等が表示される。入力画像表示Ｒ２は入力画像が表示される領域である。情報表示領域Ｒ３は、選択された判定対象画像に関する情報（例えば、画像ファイルの名称、格納場所等）が表示される領域である。
　入力画像表示Ｒ２に入力画像を表示する際、抽出された判定対象画像に対応する領域（つまり、判定対象を含む最小矩形）を指し示す表示を重畳して表示するとよい。具体的には、判定対象を含む最小矩形の枠を、入力画像に重畳して表示するとよい。この判定対象画像に対応する領域を示す表示は、ユーザが表示／非表示を選択できるように構成されるとよい。
　判定対象画像表示領域Ｒ１に判定対象画像を並べて表示する際、既存の学習済みモデルにて各判定対象画像の判定を行った場合のスコア（このスコアが高いほど（あるは低いほど）正常品２Ａである可能性が高いという判定結果を意味する）の順にソートして、判定対象画像を表示するとよい。
　また、判定対象画像表示領域Ｒ１に並べて表示する個々の判定対象画像に対し、図９に示すように判定結果を示す情報を視認可能に表示してもよい。具体的には、個々の判定対象画像に重畳または隣接する位置にスコアや判定結果（正常品／除去対象物の別）等を表示してもよい。また、個々の判定対象画像について、正常品か除去対象物かを示す表示上の演出をしてもよい。例えば、正常品か除去対象物かに応じて、異なる色の枠で囲む等とするとよい。
　判定対象画像表示領域Ｒ１に表示された判定対象画像の１つをクリックすることで、その判定対象画像を選択することができる。判定対象画像表示領域Ｒ１で判定対象画像を選択すると、判定対象画像表示領域Ｒ１においては選択された判定対象画像が枠で囲まれて表示され、入力画像表示Ｒ２においては、選択された判定対象画像に対応する最小矩形が、他とは区別できるよう（例えば、二重の枠で囲まれて）に表示される。
　上記とは反対に、入力画像表示Ｒ２に表示された判定対象画像に対応する最小矩形の１つをクリックすることで、当該最小矩形に対応する判定対象画像を選択することができる。このようにして入力画像表示Ｒ２をクリックすると、判定対象画像表示領域Ｒ１においては選択された最小矩形に対応する判定対象画像が枠で囲まれて表示され、入力画像表示Ｒ２においては、選択された最小矩形が、他とは区別できるよう（例えば、二重の枠で囲まれて）に表示される。このような入力画像と選択した判定対象画像とを対応付けた表示を行うことにより、選択した判定対象画像が入力画像においてどのように映っているのかを一見して把握することが可能になる。
　また、判定対象画像が選択されると、入力画像表示Ｒ２において、選択された判定対象画像に対応する部分を拡大して表示するとよい。このようにすれば、着目した判定対象画像に対応する部分を、容易に詳しく確認することができる。また、選択された判定対象画像について、情報表示領域Ｒ３において、図１０に示すようにスコアや判定結果（正常品／除去対象物の別）等を表示してもよい。
　振分処理部１２５は、切出された判定対象画像について、判定対象画像に写る被検査物２が正常品２Ａなのか除去対象物２Ｂなのかをユーザが目視に基づいて振り分ける。ユーザによる被検査物に対する判定結果を振り分ける操作が行われると、振分処理部１２５はその操作に応じて選択されている判定対象画像を正常品２Ａと除去対象物２Ｂのいずれかに振り分け、それぞれの判定対象画像と判定結果とを対応付けた教師データを教師データ記憶部１２６に記憶させる。被検査物に対する判定結果を振り分ける操作とは、例えば、ユーザがディスプレイ１６を見ながら操作インタフェース１８を操作して判定対象画像を選択し、選択中の判定対象画像に写る被検査物２が正常品２Ａなのか除去対象物２Ｂなのかをユーザが目視して判定し、正常品２Ａの場合にはＯＫボタンをクリックし、除去対象物２Ｂの場合にはＮＧボタンをクリックするといった操作である。なお、ユーザが操作して判定対象画像を選択するのではなく、振分処理部１２５により自動的に決定された順番に従って複数の判定対象画像に対して順次振り分ける操作を行うように構成してもよい。
　教師データ記憶部１２６は、ＲＡＭ、ハードディスク等の記憶装置により構成される。教師データ記憶部１２６は、検査部１０における記憶部１０５を兼用してもよい。教師データ記憶部１２６が教師データを記憶する方法は、判定対象画像に写る被検査物２が正常品２Ａと除去対象物２Ｂとのいずれであるかを識別可能に記憶してさえいればいかなる方法であってもよい。例えば、教師データ記憶部１２６は、正常品２Ａと判定された判定対象画像と除去対象物２Ｂと判定された判定対象画像とを、互いに異なるフォルダに分けて記憶するとよい。あるいは、教師データ記憶部１２６は、判定対象画像に写る被検査物２が正常品２Ａと除去対象物２Ｂとのいずれであるかを示す情報を、判定対象画像のファイル名や付加情報としてファイルに埋め込んでもよい。なお、教師データ記憶部１２６は、検査装置１が各種情報を記憶するために備える記憶媒体を共用する形で用いてもよい。
　機械学習実行部１４は、学習済みモデルに機械学習を実行させるための学習用プログラムを実行する。機械学習実行部１４は、上記のように教師データ生成部１２が生成して教師データ記憶部１２６に記憶した教師データを学習用プログラムに入力して機械学習を行い、学習済みモデルを生成する。機械学習実行部１４は、新規に機械学習を行い新たな学習済みモデルを生成することもできるし、既存の学習済みモデルに対して追加的に機械学習を行うことにより新たな学習済みモデルを生成することもできる。新規に学習済みモデルを生成する場合には、予め準備した初期の（未学習の）学習済みモデルに対して機械学習を行うとよい。機械学習実行部１４は、生成する学習済みモデルについて、教師データ生成部１２が教師データを生成する際の画像処理部１２１での画像処理条件、判定対象特定部１２２での判定条件、及び画像切出し部１２３での判定対象画像の切出し条件を関連付けて記録するとよい。
　続いて、以上のように構成される検査装置１の動作を、学習モードと検査モードのそれぞれについて説明する。
〔学習モードにおける動作〕
　図１１は、学習モードでの検査装置１の動作の手順を示すフローチャートである。学習モードは、検査装置１の操作インタフェース１８にて学習モードを選択することにより開始される。学習モードが開始されると、ディスプレイ１６に学習モード用の操作画面が表示される。ユーザは、この学習モード用の操作画面を以下の手順で操作することによって、教師データの生成及び、学習済みモデルに対する機械学習を行うことができる。
　はじめに、教師データ生成部１２は、ユーザによる入力画像を選択する操作を受け付ける（ステップＳ１００）。入力画像は、検査部１０にて実際に撮影された被検査物２の画像であってもよいし、学習用に別途準備された画像であってもよい。続いて、教師データ生成部１２は、ユーザによる学習済みモデルを選択する操作を受け付ける（ステップＳ１１０）。ここで選択される学習済みモデルは、後段の機械学習において追加の学習が行われる対象となる。なお、新規に学習済みモデルを生成する場合には、ステップＳ１１０を省略してもよい。
　続いて、教師データ生成部１２は、画像処理条件を選択する操作を受け付け、選択に応じた画像処理を実施する（ステップＳ１２０）。具体的には、操作画面に表示される画像処理条件の選択項目をユーザが選ぶことにより、画像処理条件が選択される。このとき、教師データ生成部１２は、選択された画像処理条件での画像処理を入力画像に施した結果を、選択が確定する前に確認しやすくすべく、プレビュー画像をディスプレイ１６に表示させるとよい。選択が確定されると、画像処理部１２１は、選択内容に応じた画像処理を実施して処理済み画像を出力する。
　続いて、教師データ生成部１２は、判定対象特定部１２２での判定条件を設定する操作を受け付け、設定に応じた判定を実施する（ステップＳ１３０）。具体的には、操作画面に表示される判定条件の選択項目をユーザが選ぶことにより、画像処理条件が設定される。このとき、教師データ生成部１２は、選択された判定条件での除去対象物２Ｂの候補の抽出結果を、選択が確定する前に確認しやすくすべく、抽出結果を入力画像に重畳したプレビュー画像をディスプレイ１６に表示させるとよい。選択が確定されると、判定対象特定部１２２は、選択内容に応じた判定（除去対象物２Ｂの候補の抽出）を実施する。
　続いて、教師データ生成部１２は、画像切出し部１２３で判定対象画像を切出す条件の設定を受け付け、設定に応じた判定対象画像の切出しを実施する（ステップＳ１４０）具体的には、操作画面に表示される、判定対象画像のサイズ、正規化の要否等の設定項目に所望の設定を入力することにより、判定対象画像を切出す条件が設定される。切出す条件の設定が確定されると、画像切出し部１２３は、設定内容に応じて判定対象画像の切出し処理を実施する。このとき切出された判定対象画像は、正常品２Ａか除去対象物２Ｂかの振り分けがされていない判定対象画像用のフォルダに格納される。
　なお、ステップＳ１１０において選択した学習済みモデルに画像処理条件、判定条件、及び切出し条件が関連付けられている場合、教師データ生成部１２はステップＳ１２０～ステップＳ１４０を省略しつつ、学習済みモデルに関連付けられている画像処理条件、判定条件及び切出し条件が選択・されたものとして以後の処理を行うようにしてもよい。このようにすれば、学習済みモデルに対する過去に行わられた機械学習と同じ条件で、追加の機械学習を行うことができ、学習済みモデルの高精度化が期待できる。
　続いて、教師データ生成部１２は、ステップＳ１４０で切り出した判定対象画像のそれぞれについて、正常品２Ａと除去対象物２Ｂのいずれに振り分けるかを選択する操作を受け付け、選択に応じて判定対象画像と判定結果とを対応付けた教師データとして記録する（ステップＳ１５０）。
　ステップＳ１５０に続いて、機械学習実行部１４は、ステップＳ１５０で生成した教師データに基づく機械学習を実行する指示を受け付け、当該指示に応じて学習用プログラムを実行して学習済みモデルに対する機械学習を実施する（ステップＳ１６０）。このとき、機械学習実行部１４は、既存の学習済みモデルに対して追加的に機械学習を実施するのか、新規に学習済みモデルを生成するのかをユーザに選択させるインタフェースを操作画面に表示する。既存の学習済みモデルに追加的に機械学習を実施する場合、ユーザに学習済みモデルを選択させるメニューを提示するとよい。なお、この段階での学習済みモデルの選択を省略し、ステップＳ１１０で選択した学習済みモデルに対して機械学習を実施するように構成してもよい。そして、ステップＳ１６０での機械学習を終了すると、学習モードでの一連の処理が完了となる。
〔検査モードにおける動作〕
　図１２は、検査モードでの検査装置１の動作の手順を示すフローチャートである。検査モードは、検査装置１の操作インタフェース１８にて検査モードを選択することにより開始される。検査モードが開始されると、ディスプレイ１６に検査モード用の操作画面が表示される。ユーザは、この検査モード用の操作画面を以下の手順で操作することによって、被検査物２の検査を行うことができる。
　はじめに、検査装置１は、ユーザによる検査条件を設定する操作を受け付ける（ステップＳ２００）。検査条件としては、画像撮影時のＸ線や可視光等の照射強度、露光時間、搬送速度等の一般的な検査装置の条件に加え、除去対象物２Ｂの判定に用いる学習済みモデルの選択が含まれる。
　検査条件の設定が完了すると、ユーザによる所定の操作に応じて、検査部１０は被検査物２の検査を開始する。すなわち、検査部１０は、被検査物２を撮影位置まで搬送して撮影を行い（ステップＳ２１０）、撮影した画像を学習済みモデルに入力して画像中に除去対象物２Ｂが含まれているか否かを判定する。具体的には、学習済みモデルは画像中に写る被検査物２のそれぞれに対して０から１の数値（スコア）を出力する。このスコアは、例えば１に近いほど除去対象物２Ｂである可能性が高いという判定結果を表している。検査部１０では、学習済みモデルが出力するスコアに対して所定の閾値を設け、当該閾値以上のスコアの被検査物２を除去対象物２Ｂとし、この除去対象物２Ｂについて必要な処理を行う（ステップＳ２２０）。ここで、必要な処理とは、例えば、撮影した画像とともに除去対象物２Ｂを示す図形（例えば枠）をディスプレイ１６に表示する処理、除去対象物２Ｂを除去する処理、除去対象物２Ｂと正常品２Ａとを振り分ける処理等である。以上で１単位の被検査物２に対する検査が完了となる。なお、被検査物２が連続して検査装置１に送り込まれる場合、検査装置１は上記の一連の工程を繰り返すことで連続的に被検査物２の検査を実施する。
　以上のような構成により、検査装置１は、学習モードにおいて学習用プログラムに入力する教師データを素早く大量に生成することができ、生成した教師データを入力として機械学習することにより学習済みモデルを生成することができる。そして検査モードにおいては、学習モードで生成した学習済みモデルを用いて精度の高い検査を行うことが可能となる。
〔実施形態の変形〕
　なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。
　例えば、上記実施形態では、教師データ生成部１２及び機械学習実行部１４は、検査装置１に内蔵されていたが、教師データ生成部１２及び機械学習実行部１４は、検査装置１に内蔵されずに個別の教師データ生成装置、あるいは学習済みモデル生成装置として提供されてもよい。例えば、上記の教師データ生成部１２及び機械学習実行部１４として機能させるコンピュータプログラムをコンピュータに実行させることにより教師データ生成部１２及び機械学習実行部１４を実現してもよい。
　また、上記の実施形態では、判定対象画像抽出部１２０は画像切出し部１２３を備え、この画像切出し部１２３が入力画像から判定対象を含む判定対象画像を切り出して出力したが、判定対象画像抽出部１２０が判定対象画像を切り出すことなく処理する構成としてもよい。例えば、入力画像に含まれる判定対象を判定対象特定部１２２で特定し、特定した判定対象について入力画像内にてラベリング処理を行うように（つまり、別画像として切り出すことなく入力画像内で特定された判定対象を識別できるように）構成してもよい。この場合、入力画像内に含まれる各判定対象について、それぞれ正常品か非正常品かを振り分けるように構成するとよい。
　また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に含有される。
１　検査装置
１０　検査部
１２　教師データ生成部
１２０　判定対象画像抽出部
１２１　画像処理部
１２２　判定対象特定部
１２３　画像切出し部
１２４　表示制御部
１２５　振分処理部
１２６　教師データ記憶部
１４　機械学習実行部
１６　ディスプレイ
１８　操作インタフェース
２　被検査物
２Ａ　正常品
２Ｂ　除去対象物

Claims (7)

  1. 　機械学習に用いられる教師データを生成する教師データ生成装置であって、
    　前記教師データを用いて前記機械学習により生成される学習済みモデルは、被検査物を撮像した画像を当該学習済みモデルに入力することにより前記被検査物が正常品か否かの検査を行う検査装置で用いられるものであり、
    　前記被検査物が写る入力画像から、所定の条件を満たす判定対象を含んだ１以上の判定対象画像を抽出する判定対象画像抽出部と、
    　前記判定対象画像に写る前記被検査物を正常品と非正常品のいずれかに振り分ける振分操作に基づき、それぞれの前記判定対象画像と振り分けの結果とを対応付ける振分処理部と、
    　それぞれの前記判定対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶部とを備える
    ことを特徴とする教師データ生成装置。
  2. 　前記判定対象画像抽出部は、前記入力画像に対し画像処理を行い、処理済み画像を出力する画像処理部と、
    　所定の判定条件に基づき、前記処理済み画像に含まれる前記判定対象を特定する判定対象特定部と、
    　前記判定対象特定部が特定した前記判定対象を含む前記判定対象画像を、前記処理済み画像から切り出して出力する画像切出し部と
    　を備えることを特徴とする請求項１に記載の教師データ生成装置。
  3. 　前記画像切出し部は、前記判定対象特定部が特定した前記判定対象を含む最小矩形を特定し、当該最小矩形に含まれる画像を所定のサイズにリサイズした画像を前記判定対象画像として、出力することを特徴とする請求項２に記載の教師データ生成装置。
  4. 　前記判定対象画像抽出部は、前記判定対象画像の明暗を正規化して出力することを特徴とする請求項１から３のいずれか１項に記載の教師データ生成装置。
  5. 　ディスプレイと、前記ディスプレイによる表示を制御する表示制御手段とをさらに備え、
    　前記表示制御手段は、前記ディスプレイの第１領域に複数の前記判定対象画像を並べて表示させるとともに、前記ディスプレイの第２領域に前記入力画像を、前記判定対象画像に対応する領域を指し示す表示を重畳しつつ表示させることを特徴とする、請求項１から４のいずれか１項に記載の教師データ生成装置。
  6. 　前記表示制御手段は、前記ディスプレイの第１領域に表示された複数の前記判定対象画像のうちの１つが選択されると、前記ディスプレイの第２領域に表示された前記入力画像における当該選択された判定画像に対応する領域を指し示す表示をさせることを特徴とする、請求項５に記載の教師データ生成装置。
  7. 　コンピュータを請求項１から請求項６のいずれか１項に記載の教師データ生成装置として機能させるコンピュータプログラム。
PCT/JP2019/037047 2018-10-01 2019-09-20 教師データ生成装置及び教師データ生成プログラム WO2020071162A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/281,228 US20220067434A1 (en) 2018-10-01 2019-09-20 Training data generation device and training data generation program
EP19868890.5A EP3862749A4 (en) 2018-10-01 2019-09-20 TRAINING DATA GENERATION DEVICE AND TRAINING DATA GENERATION SYSTEM
JP2020511540A JP6754155B1 (ja) 2018-10-01 2019-09-20 教師データ生成装置、検査装置およびコンピュータプログラム
CN201980065322.5A CN112789499A (zh) 2018-10-01 2019-09-20 教师数据生成装置和教师数据生成程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-186778 2018-10-01
JP2018186778 2018-10-01

Publications (1)

Publication Number Publication Date
WO2020071162A1 true WO2020071162A1 (ja) 2020-04-09

Family

ID=70054810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037047 WO2020071162A1 (ja) 2018-10-01 2019-09-20 教師データ生成装置及び教師データ生成プログラム

Country Status (5)

Country Link
US (1) US20220067434A1 (ja)
EP (1) EP3862749A4 (ja)
JP (1) JP6754155B1 (ja)
CN (1) CN112789499A (ja)
WO (1) WO2020071162A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022033627A (ja) * 2020-08-17 2022-03-02 日本信号株式会社 画像処理装置
JP7029201B1 (ja) 2021-02-04 2022-03-03 コネクテッドロボティクス株式会社 物体検査装置、検査用プログラム、及びシステム
WO2023276595A1 (ja) * 2021-06-29 2023-01-05 ＬｅａｐＭｉｎｄ株式会社 異常表示装置、異常表示プログラム、異常表示システム及び異常表示方法
JP7240780B1 (ja) 2022-10-04 2023-03-16 株式会社 システムスクエア 検査装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6973623B2 (ja) * 2018-12-25 2021-12-01 Ｊｆｅスチール株式会社 学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備
US20220398855A1 (en) * 2019-10-30 2022-12-15 Nec Corporation Matching support apparatus, matching support method, and computer-readable recording medium
CN115485742B (zh) * 2021-06-18 2023-06-27 空间转移株式会社 学习模型、信号处理装置、飞行物以及程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011089920A (ja) 2009-10-23 2011-05-06 Shimadzu Corp Ｘ線検査方法、及び該ｘ線検査方法を用いたｘ線検査装置
JP2014153906A (ja) * 2013-02-08 2014-08-25 Honda Motor Co Ltd 検査装置、検査方法及びプログラム
JP2016156647A (ja) * 2015-02-23 2016-09-01 株式会社 システムスクエア 電磁波を使用した検査装置
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 外観検査装置、照明装置、撮影照明装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548847B2 (en) * 2002-05-10 2009-06-16 Microsoft Corporation System for automatically annotating training data for a natural language understanding system
EP1767927B1 (en) * 2004-06-24 2016-03-16 ISHIDA CO., Ltd. X-ray inspection apparatus, and method for creating an image processing procedure of the x-ray inspection apparatus
CN101799434B (zh) * 2010-03-15 2011-06-29 深圳市中钞科信金融科技有限公司 一种印刷图像缺陷检测方法
CN101916370B (zh) * 2010-08-31 2012-04-25 上海交通大学 人脸检测中非特征区域图像处理的方法
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6336735B2 (ja) * 2013-11-11 2018-06-06 第一実業ビスウィル株式会社 外観検査装置
CN105808555B (zh) * 2014-12-30 2019-07-26 清华大学 检查货物的方法和系统
CN106662537A (zh) * 2015-01-29 2017-05-10 株式会社Decsys 光学式外观检查装置以及使用该装置的光学式外观检查系统
US10885389B2 (en) * 2016-06-02 2021-01-05 Sony Corporation Image processing device, image processing method, learning device, and learning method
JP6557198B2 (ja) * 2016-09-06 2019-08-07 ファナック株式会社 数値制御装置
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
CN107607562B (zh) * 2017-09-11 2020-06-02 北京匠数科技有限公司 一种违禁物品识别设备及方法、x光行李安检系统
JP2023122140A (ja) * 2022-02-22 2023-09-01 株式会社Ｓｃｒｅｅｎホールディングス 教師データ生成装置、教師データ生成方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011089920A (ja) 2009-10-23 2011-05-06 Shimadzu Corp Ｘ線検査方法、及び該ｘ線検査方法を用いたｘ線検査装置
JP2014153906A (ja) * 2013-02-08 2014-08-25 Honda Motor Co Ltd 検査装置、検査方法及びプログラム
JP2016156647A (ja) * 2015-02-23 2016-09-01 株式会社 システムスクエア 電磁波を使用した検査装置
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 外観検査装置、照明装置、撮影照明装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3862749A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022033627A (ja) * 2020-08-17 2022-03-02 日本信号株式会社 画像処理装置
JP7483552B2 (ja) 2020-08-17 2024-05-15 日本信号株式会社 画像処理装置
JP7029201B1 (ja) 2021-02-04 2022-03-03 コネクテッドロボティクス株式会社 物体検査装置、検査用プログラム、及びシステム
JP2022119455A (ja) * 2021-02-04 2022-08-17 コネクテッドロボティクス株式会社 物体検査装置、検査用プログラム、及びシステム
WO2023276595A1 (ja) * 2021-06-29 2023-01-05 ＬｅａｐＭｉｎｄ株式会社 異常表示装置、異常表示プログラム、異常表示システム及び異常表示方法
JP7240780B1 (ja) 2022-10-04 2023-03-16 株式会社 システムスクエア 検査装置
JP2024054011A (ja) * 2022-10-04 2024-04-16 株式会社 システムスクエア 検査装置

Also Published As

Publication number Publication date
EP3862749A4 (en) 2022-07-13
JP6754155B1 (ja) 2020-09-09
JPWO2020071162A1 (ja) 2021-02-15
US20220067434A1 (en) 2022-03-03
EP3862749A1 (en) 2021-08-11
CN112789499A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
JP6754155B1 (ja) 教師データ生成装置、検査装置およびコンピュータプログラム
US11010890B2 (en) Method for the non-destructive testing of the volume of a test object and testing device configured for carrying out such a method
JP6537008B1 (ja) 検査装置
JP2019211288A (ja) 食品検査システムおよびプログラム
JP2016156647A (ja) 電磁波を使用した検査装置
EP4130723A1 (en) Training data generation device, inspection device, and program
US11574400B2 (en) System and method for automated visual inspection
EP3862748A1 (en) X-ray inspection device for detecting residual bones in chicken breast meat
KR20210131695A (ko) Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법
EP3805742A1 (en) Inspection device
CN112255251B (zh) 检查装置
JP2003014580A (ja) 検査装置、検査方法
KR20220111214A (ko) 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램
JP3047168B2 (ja) 鶏卵の検査方法
JP6861990B2 (ja) Ｘ線検査装置
JP7393793B2 (ja) Ｘ線検査装置
JP2563865B2 (ja) 画像認識装置及び方法
JP2006145228A (ja) ムラ欠陥検出方法及び装置
WO2023112497A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
EP4224154A1 (en) X-ray inspection device
WO2023053728A1 (ja) 表示処理装置、表示処理方法、及び、表示処理プログラム
WO2022181746A1 (ja) 画像表示装置、画像表示方法及びプログラム
JP2022156999A (ja) 検査方法、検査装置
JP2024054011A (ja) 検査装置
JP2002259971A (ja) 画像濃淡ムラ検出方法及びこの検査装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020511540

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868890

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019868890

Country of ref document: EP

Effective date: 20210503